淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-0207201418565900
中文論文名稱 SeparaTags:結合Android及Hadoop之智慧城市感測資料處理平台
英文論文名稱 SeparaTags: A Sensor Data Processing Platform based on Android and Hadoop for Building Intelligent Cities
校院名稱 淡江大學
系所名稱(中) 資訊工程學系資訊網路與通訊碩士班
系所名稱(英) Master's Program in Networking and Communications, Department of Computer Science and Information Engineering
學年度 102
學期 2
出版年 103
研究生中文姓名 廖韋哲
研究生英文姓名 Wei-Che Liao
學號 601420234
學位類別 碩士
語文別 中文
第二語文別 英文
口試日期 2014-06-12
論文頁數 77頁
口試委員 指導教授-林其誼
委員-林振緯
委員-蔡智強
委員-林其誼
中文關鍵字 Hadoop  HBase  Hipi  Android  智慧城市  感測資訊 
英文關鍵字 Hadoop  HBase  Hipi  Android  Intelligent Cities  Exif 
學科別分類 學科別應用科學資訊工程
中文摘要   由於現今感測器的多元化發展,以及行動裝置、行動網路的普及,所以每天使用者所產生的資料量也隨之龐大,其中包括感測資訊Exif。在快速遞增的大量感測資訊當中,要如何將其利用並且做出有效率的分析以及運算是個嶄新的議題。在這篇論文中,我們把重點放在處理這些各種感測裝置環境底下所產生的大量數據,這些數據包括我們生活周遭所產生的資訊,例如溫度、道路狀況和空氣品質、噪音值等等,最後我們透過雲端運算技術進行數值的分析。
  因此,我們在基於Hadoop的智慧城市中開發了一個感測資訊處理平台,我們設想這些感測資訊被嵌入在車輛上的行車紀錄器或是使用者的行動裝置所擷取、拍攝的圖片當中,藉著Android作業系統的智慧手機,使用者可以將這些圖像檔案上傳到我們開發的Separatags Android應用程序Hadoop叢集當中;在圖像檔案上傳之後,我們使用MapReduce框架來處理它們。具體而言,在Map Task
我們利用開發完善的Hadoop Image Processing Interface (HIPI) 套件擷取圖像檔案中我們所需的感測資訊,然後在Reduce Task這些感測資訊將會被儲存到HBase當中。此外,我們使用Hadoop分散式檔案系統(HDFS)儲存安裝在車輛上的行車紀錄器、行動裝置所拍攝的街道圖片,那麼使用者就可以使用他們的Android智慧手機或是網路瀏覽器來訪問這些感測資訊和街道圖片。
  總而言之,本研究開發的感測資訊處理平台是一個創新的應用,是為發展智慧城市中一個重要且有用的相關基礎。
英文摘要   With the rapid development of sensor technologies, along with the increasing popularity of mobile devices and wireless/mobile networks, the volume of data generated by human beings and all sorts of devices are getting larger and larger every day. It is without doubt that how to deal with the huge amount of data in an efficient way and to transform these data into useful information for people to make use of has become an important research topic. In this thesis, we focus on handling the large amount of environmental conditions data collected by various sensor devices. These data produced around us such as the temperature, the road conditions and the air quality can be numerically analyzed by utilizing the cloud computing technology. Therefore, we implemented a sensor data processing platform for intelligent cities based on Hadoop. We assume that sensor data are embedded in the image files captured by the vehicle drive recorders and the smartphones. With Android smartphones, users can upload the image files to the Hadoop cluster by the Separatags Android App we developed. After the image files are uploaded, we use the MapReduce framework to process them. Specifically, in the Map task we utilize the well-developed Hadoop Image Processing Interface (HIPI) library to extract the desired sensor data from the image files, and then in the Reduce task these sensor data are inserted into HBase. Besides, we use the Hadoop Distributed File System (HDFS) to store the street images captured by driving recorders installed in vehicles. People can then use their Android smartphones or standard web browsers to access the sensor data and the street images. In sum, the data processing platform we developed can be an important building block for constructing various useful and creative applications to serve people living in intelligent cities.
論文目次 目錄
第一章 緒論 1
1.1 研究背景與動機 1
1.2 研究目的與重要性 2
1.3 論文架構 4
第二章 相關研究 6
2.1 Hadoop系統架構 6
2.1.1 HDFS分散式檔案系統 7
2.1.2 MapReduce軟體框架 9
2.1.3 HBase分散式資料庫 11
2.2 Hipi - Hadoop圖像處理套件 11
2.3 智慧城市實踐案例 15
2.4 相關感測資訊平台實例 17
第三章 系統架構與流程設計 20
3.1 SeparaTags運作流程 20
3.2 後端雲端系統架構 22
3.3 接收端監聽服務 29
第四章 系統實作與結果 32
4.1 系統開發環境 32
4.2 系統實作及分析 35
4.2.1 SeparaTags Android應用程式實作 35
4.2.2 Hadoop雲端系統實作 40
4.2.3 接收端監聽服務實作 51
4.3 系統實測結果 54
4.3.1 SeparaTags應用程式 54
4.3.2 系統監聽並執行服務 62
4.3.3 Hadoop雲端系統執行結果 63
第五章 結論與未來展望 67
5.1 結論 67
5.2 未來展望 67
參考文獻 68
附錄 – 英文論文 71

圖目錄
圖 1-1 本系統實作SeparaTags與Hadoop之基本架構圖 4
圖 2-1 Cull Mapper使用範例 13
圖 2-2 Hipi流程架構圖(截取自Hipi官網[13]) 14
圖 2-3 參考文獻[15]之系統架構圖 18
圖 3-1 SeparaTags流程架構圖 21
圖 3-2 MapReduce架構流程圖 23
圖 3-3 MapReduce WordCount 範例 26
圖 3-4 本實作之後端運作完整流程圖 29
圖 3-5 Socket流程架構圖 31
圖 4-1 Eclipse模擬Hadoop環境之基本設定 33
圖 4-2 Eclipse模擬Hadoop環境之進階設定 33
圖 4-3 成功加載於Eclipse上的HDFS 34
圖 4-4 AccountManager抓取使用者帳號 36
圖 4-5 Cursor類別使用範例 38
圖 4-6 Scanfile 實作流程 42
圖 4-7 HIB中加入多重圖檔Scanfile流程圖 44
圖 4-8 Mapper擷取Exif訊息實例 46
圖 4-9 Exiftool軟體取出的Exif數據(部分內容) 47
圖 4-10 使用Hipi僅擷取出所需的Exif數據 47
圖 4-11 Reducer搜索字串API實例 48
圖 4-12 InsertData方法實例 50
圖 4-13 使用QueryAll方法查詢資料庫 51
圖 4-14 感測資料處理平台流程圖 54
圖 4-15 要求使用者認證的服務聲明 55
圖 4-16 取得使用者ID方可進入主程式 55
圖 4-17 SepataTags主選單畫面 56
圖 4-18 SeparaTags上傳頁面 57
圖 4-19 已選取要上傳之含有感測資訊圖片 58
圖 4-20 使用者上傳確認 58
圖 4-21 使用者訊息回饋 59
圖 4-22 SeparaTags圖片瀏覽頁面 60
圖 4-23 輸入檔案名稱查詢出該環境圖片 61
圖 4-24 輸入使用者ID查詢出該環境圖片 61
圖 4-25 系統監聽服務 62
圖 4-26 使用者操作紀錄之Log檔 63
圖 4-27 MapReduce執行過程 64
圖 4-28 模擬HIB加入多張圖片時MapReduce執行結果 64
圖 4-29 HIB加入多張圖片時Mapper Exif輸出內容 65
圖 4 30 HBase spt_table查詢結果 65
圖 4 31 Hadoop網頁管理集群的HBase信息 66

表目錄
表 3-1 HBase 資料庫表格欄位 28
表 4-1 getSystemService服務對象內容 37
表 4-2 本系統spt_table以表格型態呈現(部份內容) 66
參考文獻 [1] IBM。2013。為企業海量資料賦予意義。
網址:http://www-01.ibm.com/software/tw/data/bigdata。上網日期:2014-01-03
[2] Hadoop, Available at: http://hadoop.apache.org. Accessed 04 May 2013.
[3] 新北市研考會。智慧ing – 新北市智慧城市藍圖。2012。網址:http://www.construction.taichung.gov.tw/public/data/105010/1017-02.pdf
上網日期:2013-11-08
[4] Exif, "Standard of the Camera & Imaging Products Association, CIPA
[5] Daniel Eran Dilger, “IDC data shows 66% of Android's 81% smartphone share are
Junk phones selling for $215”, Available at: http://appleinsider.com/articles/13/11/12/idc-data-shows-66-of-androids-81-smartphone-share-are-junk-phones-selling-for-215. Accessed 14 February 2014.
[6] DC-008-Translation-2012, Exchangeable image file format for digital still cameras: Exif Version 2.3. Available at:
http://www.digitalpreservation.gov/formats/fdd/fdd000146.shtml
[7] Apache Lucene, Available at: http://lucene.apache.org/core. Accessed 27 March 2014.
[8] The Google File System. Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung. December 2003.
[9] “Disco MapReduce,” Available at: http://discoproject.org. Accessed 12 May 2014.
[10] “Map Reduce with mincemeat,” Available at: http://svandenborne.wordpress.com/2013/04/25/map-reduce-with-mincemeat. Accessed 12 May 2014.
[11] “bashreduce: A Bare-Bones MapReduce,” Available at: http://www.linux-mag.com/id/7407. Accessed 12 May 2014.
[12] Donald E. Knuth, The Art of Computer Programming: Volume 3, Sorting and Searching, second edition (Addison-Wesley, 1998).
[13] Hipi, Available at: http://hipi.cs.virginia.edu. Accessed 18 November 2013.
[14] Intelligent Community of the Year , Available at: https://www.intelligentcommunity.org/index.php?src=gendocs&ref=ICF_Awards&category=Events. Accessed 21 May 2014.
[15] Information and Communication Technology from. FOLDOC. Available at: http://rubble.ultralab.anglia.ac.uk/stevenson/ICTUKIndex.html. Accessed 21 May 2014.
[16] 李佳蓁,2013,『基於MapReduce運算框架之智慧城市感測資訊處理平台實作』,淡江大學資訊工程學系101學年度碩士論文
[17] Tom White, Hadoop: The Definitive Guide, 3rd Edition, O'Reilly Media, May 2012
[18] ExifTool, Available at: http://www.sno.phy.queensu.ca/~phil/exiftool. Accessed 07 May 2013.
[19] Thrift, Available at: http://thrift.apache.org. Accessed 07 May 2013.
[20] “Hadoop + HBase + thrift + php Install and Design,” Available at:
https://sites.google.com/site/waue0920/Home/hbase/hadoop-hbase-thrift-php-an-zhuang-she-ding-cheng-shi-she-ji . Accessed 12 May 2013.
[21] HBase, Available at: http://hbase.apache.org. Accessed 12 May 2013.
[22] Ubuntu, Available at: http://www.ubuntu.com. Accessed 16 January 2013.
[23] “Apache™ HadoopR project - Secure Impersonation using UserGroupInformation.doAs,”
[24] “Hadoop Eclipse Plug-in,” Available at: http://wiki.apache.org/hadoop/EclipsePlugIn. Accessed 04 October 2013.
[25] “Hadoop 1.1.2 API Reference,” Available at: http://hadoop.apache.org/docs/r1.1.2/api/index.html. Accessed 09 October 2013.
[26] “Exiv2,” Available at: http://www.exiv2.org/tags.html. Accessed 21 November 2013.
[27] “Apache™ HadoopR project - Secure Impersonation using UserGroupInformation. doAs,” Available at: http://hadoop.apache.org/docs/stable/Secure_Impersonation.html. Accessed 21 November 2013.
[28] “Incense Rising – Taichung and the Announcement,” Available at: http://www.digitalcommunities.com/blogs/communities/Incense-Rising--Taichung-and-the-Announcement.html. Accessed 02 April 2014.
[29] “Intelligent Community Forum (ICF),” Available at: http://www.intelligentcommunity.org. Accessed 23 May 2014.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2014-07-15公開。
  • 同意授權瀏覽/列印電子全文服務,於2014-07-15起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信