系統識別號 | U0002-0907201311190900 |
---|---|
DOI | 10.6846/TKU.2013.00252 |
論文名稱(中文) | 基於MapReduce運算框架之智慧城市感測資訊處理平台實作 |
論文名稱(英文) | Implementation of a MapReduce-based Sensor Data Processing Platform for Intelligent Cities |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 資訊工程學系碩士班 |
系所名稱(英文) | Department of Computer Science and Information Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 101 |
學期 | 2 |
出版年 | 102 |
研究生(中文) | 李佳蓁 |
研究生(英文) | Chia-Chen Li |
學號 | 600411804 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | 英文 |
口試日期 | 2013-05-27 |
論文頁數 | 88頁 |
口試委員 |
指導教授
-
林其誼
委員 - 林其誼 委員 - 林振緯 委員 - 王思齊 |
關鍵字(中) |
雲端運算 Hadoop MapReduce |
關鍵字(英) |
Cloud computing Hadoop MapReduce |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
鑒於現代城市生活水準的提高帶動人們對環境資訊的需求提升,如何有效地處理、儲存環境中的感測資訊,並適當管理後再提供使用者查詢,已經成為建構智慧型城市的重要基礎。由於人類生活環境中每分每秒所產生的資訊,如早晚氣溫、行車環境、空氣品質等可數值化的資訊過於龐大且繁雜,為了要快速並準確地處理這些數據,我們利用雲端運算技術中的分散式儲存及程式開發模型MapReduce等核心技術,佐以HBase雲端資料庫的管理能力,以達成高效能的運算及儲存機制,並將這些數據提供予使用者或第三方軟體使用,以期實現智慧型城市的建構基礎。 |
英文摘要 |
With the rapid development of sensor technologies, in nowadays modern cities are deployed with various types of sensors to gather the environmental data. It is without doubt that how to deal with the huge amount of data collected by various sensors in an efficient way and to transform these data to useful information for the citizens to make use of has become an important research topic in building intelligent cities. The vast amount of data produced around us such as the temperature, the road conditions and the air quality can be numerically analyzed by utilizing the cloud computing technology. In this research, we implemented a MapReduce-based sensor data processing platform for intelligent cities. Specifically, we focus on using the MapReduce framework to process the raw data uploaded from the sensors, and then using HBase, which is a distributed, scalable, big data store, to save the sensor data. Besides, we use the Hadoop Distributed File System (HDFS) to store the street images captured by event data recorders installed in vehicles. In sum, the data processing platform we developed can be an important building block for constructing various useful applications to serve the citizens in intelligent cities. |
第三語言摘要 | |
論文目次 |
目錄 第一章 緒論 1 1.1 研究背景與動機 1 1.2 研究目的與重要性 2 1.3 論文架構 3 第二章 相關研究 5 2.1 智慧型城市建構實例 5 2.2 整合式平台建構實例 9 2.3 Hadoop分散式系統架構 13 2.3.1 MapReduce運算框架 16 2.3.2 HBase分散式資料庫 17 第三章 系統架構分析與研究方法 19 3.1 系統架構 19 3.2 感測裝置端上傳介面 22 3.3 背景傾聽程式 24 3.4 核心運算程式 28 第四章 系統實作與結果討論 34 4.1 系統實作說明 34 4.1.1 開發工具與環境 34 4.1.2 感測裝置端上傳介面之實作 35 4.1.3 背景傾聽程式之實作 38 4.1.4 核心運算程式之實作 41 4.2 運行成果 49 4.2.1 感測裝置端上傳時期 49 4.2.2 系統監聽與提交任務時期 51 4.2.3 任務完成時期 54 4.2.4 成果展現 58 4.3 基於瀏覽器之叢集連結使用者介面實作 61 4.3.1 開發工具與環境 62 4.3.2 操作流程 63 4.3.3 各類別功能說明 64 4.3.4 運行成果 69 4.4 實作問題討論 73 4.4.1 同名檔案的移動問題 73 4.4.2 表格名稱變數 75 第五章 結論與未來展望 79 5.1 結論 79 5.2 未來展望 79 參考文獻 81 附錄-英文論文 84 圖目錄 圖 2-1智慧型城市建構實例之PlanIT Valley構想圖[12] 7 圖 2-2智慧型城市建構實例之PlanIT Valley UOS架構 8 圖 2-3智慧型城市建構實例之PlanIT Valley能源使用量預測圖[12] 9 圖 2-4整合式平台建構實例之交通資訊服務雲架構圖[15] 12 圖 2-5整合式平台建構實例之交通資訊服務雲查詢流程圖[15] 13 圖 2-6MapReduce運算框架之WordCount處理流程圖 17 圖 3-1平台架構圖 21 圖 3-2使用者上傳介面之叢集辨認架構 23 圖 3-3核心運算程式之exiftool解析資訊 32 圖 3-4核心運算程式之Mapper類別輸出結果 32 圖 3-5核心運算程式之Mapper類別輸出key/value內容 33 圖 4-1背景傾聽程式流程圖 38 圖 4-2背景傾聽程式之記錄檔 39 圖 4-3核心運算程式輸出之記錄檔內容 48 圖 4-4運行成果之平台架構圖 49 圖 4-5感測裝置端上傳時期中啟動監聽程式 49 圖 4-6感測裝置端上傳時期中上傳檔案(1) 50 圖 4-7感測裝置端上傳時期中上傳檔案(2) 50 圖 4-8感測裝置端上傳時期中等待寫入記錄檔 50 圖 4-9系統監聽與提交任務時期中接收端回報 51 圖 4-10系統監聽與提交任務時期中上傳與接收 52 圖 4-11系統監聽與提交任務時期中檢查記錄檔大小 52 圖 4-12系統監聽與提交任務時期中移動檔案至暫存資料夾 53 圖 4-13系統監聽與提交任務時期中啟動任務 53 圖 4-14任務完成時期中任務進度回報 54 圖 4-15任務完成時期中任務達成報告 55 圖 4-16任務完成時期中輸出資料夾內容 57 圖 4-17任務完成時期中輸出結果 57 圖 4-18成果展現之運算資料 58 圖 4-19成果展現之HBase指令 58 圖 4-20成果展現之任務成果 59 圖 4-21成果展現之應用程式實例 61 圖 4-22基於瀏覽器之叢集連結使用者介面實作架構圖 63 圖 4-23基於瀏覽器之叢集連結使用者介面實作類別關係圖 67 圖 4-24基於瀏覽器之叢集連結使用者介面實作執行流程圖 69 圖 4-25基於瀏覽器之叢集連結使用者介面實作步驟圖一 70 圖 4-26基於瀏覽器之叢集連結使用者介面實作步驟圖二 70 圖 4-27基於瀏覽器之叢集連結使用者介面實作步驟圖三 71 圖 4-28基於瀏覽器之叢集連結使用者介面實作步驟圖四 71 圖 4-29基於瀏覽器之叢集連結使用者介面實作步驟圖五 72 圖 4-30基於瀏覽器之叢集連結使用者介面實作步驟圖六 72 圖 4-31基於瀏覽器之叢集連結使用者介面實作步驟圖七 73 圖 4-32同名檔案的移動問題中相同檔名的情況 74 圖 4-33同名檔案的移動問題中覆蓋失敗的情況 74 圖 4-34同名檔案的移動問題中檔案已存在的情況 74 圖 4-35表格名稱變數中開啟表格程式碼(1) 76 圖 4-36表格名稱變數中開啟表格程式碼(2) 76 圖 4-37表格名稱變數中新增表格 77 表目錄 表 3-1核心運算程式之叢集資料庫欄位 28 |
參考文獻 |
[1] “Prominent users: Yahoo! - Wikipedia,the free encyclopedia,” http://en.wikipedia.org/wiki/Apache_Hadoop#Yahoo.21 [2] Google maps, http://maps.google.com.tw http://en.wikipedia.org/wiki/Line-of-sight_propagation [3] Apache™ HadoopR project, http://hadoop.apache.org [4] “Apache Software Foundation - Wikipedia,the free encyclopedia,” http://en.wikipedia.org/wiki/Apache_Software_Foundation [5] Jeffery Dean and Sanjay Ghemawat, “MapReduce: Simplified Data Processing on Large Clusters,” Google, Inc. [6] "JavaScript - Wikipedia, the free encyclopedia," http://en.wikipedia.org/wiki/JavaScript [7] 張忠吉,黃惠敏,賴正川等人,永續智慧城市發展創新空間資訊平台-以臺中市為例,2012台灣地理資訊學會年會暨學術研討會 [8] 陳嘉懿,PlanIT Valley - 葡萄牙的雲端智慧生態城,智慧化居住空間專屬網站(http://www.ils.org.tw) [9] 陳嘉懿,韓國的智慧城市 - 松島國際商業特區(Songdo IBD),智慧化居住空間專屬網站(http://www.ils.org.tw) [10] “Internet in Singapore: Broadband access - Wikipedia, the free encyclopedia,” http://en.wikipedia.org/wiki/Internet_in_Singapore [11] Living PlanIT SA, http://living-planit.com/ [12] 圖片來源取自Living PlanIT官方網站http://living-planit.com/city_of_the_future_image_bank.htm [13] Living PlanIT SA, “Living PlanIT at Cisco C-scape”, July 2011 – Version 1 [14] “Socket Direct Protocol – Wikipedia, the free encyclopedia,” http://en.wikipedia.org/wiki/Sockets_Direct_Protocol [15] 林昱廷,整合式交通資訊雲之實作,逢甲大學資訊工程學系碩士論文,民國一零一年一月 [16] “Hadoop 1.1.2 API Reference,” http://hadoop.apache.org/docs/r1.1.2/api/index.html [17] “Apache™ HadoopR project - What Is Apache Hadoop,” http://hadoop.apache.org/#What+Is+Apache+Hadoop [18] “SQL - Wikipedia, the free encyclopedia,” http://en.wikipedia.org/wiki/SQL [19] “Java (programming language) - Wikipedia, the free encyclopedia,” http://en.wikipedia.org/wiki/Java_(programming_language) [20] Apache HBase™, http://hbase.apache.org/ [21] “Divide and conquer algorithm - Wikipedia, the free encyclopedia,” http://en.wikipedia.org/wiki/Divide_and_conquer_algorithm [22] “Apache™ HadoopR project - Example: WordCount v1.0,” http://hadoop.apache.org/docs/r1.0.4/mapred_tutorial.html#Example%3A+WordCount+v1.0 [23] “Daemon(computing) - Wikipedia, the free encyclopedia,” http://en.wikipedia.org/wiki/Daemon_(computing) [24] Java Service Wrapper, http://wrapper.tanukisoftware.com/ [25] Jakarta project, http://wiki.apache.org/jakarta/ [26] “ExifTool by Phil Harvey,” http://www.sno.phy.queensu.ca/~phil/exiftool/ [27] “hadoop4win --Hadoop for Windows using Cygwin,” http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win [28] Ubuntu, http://www.ubuntu.com [29] “Eclipse - The Eclipse Foundation open source community website,” http://www.eclipse.org/ [30] “Hadoop Eclipse Plug-in,” http://wiki.apache.org/hadoop/EclipsePlugIn [31] Apache Tomcat, http://tomcat.apache.org/ [32] “Java Servlet - Wikipedia, the free encyclopedia,” http://en.wikipedia.org/wiki/Java_Servlet [33] “Apache™ HadoopR project - Secure Impersonation using UserGroupInformation.doAs,” http://hadoop.apache.org/docs/stable/Secure_Impersonation.html |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信