淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-1807201512391800
中文論文名稱 關聯式資料庫結合NoSQL特性處理時間序列資料之研究
英文論文名稱 A Study on Time Series Data Processing with Relational Database and NoSQL Feature
校院名稱 淡江大學
系所名稱(中) 資訊管理學系碩士在職專班
系所名稱(英) On-the-Job Graduate Program in Advanced Information Management
學年度 103
學期 2
出版年 104
研究生中文姓名 黃聖文
研究生英文姓名 Sheng-Wen Huang
學號 701630146
學位類別 碩士
語文別 中文
口試日期 2015-05-30
論文頁數 69頁
口試委員 指導教授-吳錦波
委員-楊欣哲
委員-衛信文
委員-吳錦波
中文關鍵字 NoSQL  Informix  巨量資料  時間序列 
英文關鍵字 NoSQL  Informix  Big Data  Timeseries 
學科別分類
中文摘要 關聯式資料庫在資訊歷史發展過程中,佔有相當大的份量,發展相當成熟,而近年來在軟硬體技術的發展,資料的類型格式開始多元化,處理的速度需求持續增加,資料的成長量也開始無法負荷,逐漸衍伸了巨量資料的議題。
本研究的目的是在關聯式資料庫中,模擬企業內部可能產生的大量資料,透過延展NoSQL資料庫的部分特性,處理具有時間特性持續產生的巨量資料。使用IBM Informix推出的混合型資料庫進行實驗,透過腦波儀模擬儀器設備取得腦波十四個波段,持續不斷產生的腦波資料,將資料透過三種不同實驗特性寫入資料庫,比較關聯式資料架構、時間序列資料架構、時間序列資料結合JSON資料格式架構,進行資料處理的時間與架構異動的成本比較,並將讀取儀器設備之資料進行分類,進行分析模擬並呈現。
經過實驗的結果,在關聯式資料庫的基礎架構上,延展時間序列資料與JSON儲存格式的特性,可快速達到存取資料的目的,在分析速度上更加的即時,並可減少處理資料與架構異動的時間成本。企業可參照本研究架構進行應用,來達成傳統資料庫中結合NoSQL特性處理大量時間序列資料的目的。
英文摘要 Relational databases, in the history IT applications, have played an important role and been fairly mature. However, in recent years, as the advances of hardware and software technologies, data are getting more diversified in format. The quest for processing speed continues, and the growth of data volume has become a burden. Hence, it comes with big data issues that need to be solved.
The purpose of this study is to simulate the large amounts of data that a company might continuously generate through the use of relational databases with some features of extended NoSQL database. We use hybrid database from IBM Informix for this simulation. We also use a fourteen-channel electroencephalogram (EEG) to collect brain wave, as the surrogate of big data generated. Then, write brain wave data into the database with the purpose to compare three different experimental features: relational data architecture, time series data architecture, and time series data with JSON data format architecture based on the cost of data processing time and architecture change. The collected data are then classified and analyzed.
The experimental results show that the extended time series data and JSON data format achieve the processing need of big data. Not only can it access data faster, but it also analyze data more quickly. The results, furthermore, show the reduction both in cost of processing data and changing architecture. This study could provide references to companies who want to solve problems in processing large number of time-series data by combining traditional repository with NoSQL features.
論文目次 目錄 V
表目錄 VIII
圖目錄 IX
第一章 緒論 1
1.1 研究背景與動機 1
1.2 研究目的 3
1.3 論文架構 4
第二章 文獻探討 5
2.1 CAP理論 6
2.2 ACID模型 8
2.3 BASE模型 10
2.4 關聯式資料庫 10
2.5 NoSQL 12
2.6 IBM Informix 14
2.7 JSON/BSON 18
2.8 時間序列功能 19
2.9 腦波資料 22
2.10 小結 23
第三章 實驗設計 24
3.1 模擬資料與架構設計 26
3.1.1 資料存取架構設計 26
3.1.2 儲存空間差異設計 31
3.1.3 資料庫架構調整設計 31
3.2 實驗環境描述 32
3.2.1 軟硬體架構 32
3.2.2 資料庫環境架構 33
3.3 資料處理架構 35
3.3.1 通用資料表 35
3.3.2 標準關聯式記錄架構 37
3.3.3 時間序列記錄架構 39
3.3.4 時間序列與JSON記錄架構 42
3.4 實驗流程 46
第四章 資料分析 47
4.1 實驗資料紀錄 47
4.1.1 資料寫入 47
4.1.2 資料讀取 47
4.1.3 儲存空間 50
4.1.4 架構調整 51
4.2 實驗結果說明 51
4.2.1 資料寫入速度 51
4.2.2 資料讀取速度 52
4.2.3 資料儲存量分析 56
4.2.4 架構異動分析 56
4.2.5 模擬情境分析 57
第五章 結論 62
5.1 研究結果 62
5.2 建議 64
參考文獻 66

表目錄
表 2 1:含有時間型資料的關聯式表格 20
表 2 2:含有時間型資料的 Informix TimeSeries 表格 21
表 3 1:profile資料規格表 35
表 3 2:testlist資料規格表 36
表 3 3:testdata腦波紀錄檔規格表 37
表 3 4:testdata_ts腦波紀錄檔規格表 40
表 3 5:row type ts規格表 40
表 3 6:testdata_json腦波紀錄檔規格表 43
表 3 7:row type tsjson規格表 43
表 4 1:資料寫入時間比對表 47
表 4 2:特定資料查詢時間比較表 48
表 4 3:所有資料查詢時間比較表 48
表 4 4:兩個資料表交互(Join)查詢時間比較表 49
表 4 5:三個資料表交互(Join)查詢時間比較表 50
表 4 6:儲存空間比較表 50
表 4 7:欄位增加修改速度比較表 51
表 4 8:欄位刪除修改速度比較表 51
表 4 9:模擬情境取值方式 60

圖目錄
圖 2 1:IBM Informix NoSQL技術架構 17
圖 3 1:VMWare ESXi Serve4.1環境 32
圖 3 2:VMWare ESXi Serve4.1建立虛擬環境 33
圖 3 3:Red Hat Enterprise Linux 6.2環境 33
圖 3 4:測試資料庫安裝環境 34
圖 3 5:基本資料檔案建立語法(I) 36
圖 3 6:基本資料檔案建立語法(II) 37
圖 3 7:標準關聯式資料表關聯圖 38
圖 3 8:標準關聯式資料SQL寫入語法 39
圖 3 9:時間序列紀錄資料表關聯圖 41
圖 3 10:時間序列資料SQL寫入語法 42
圖 3 11:時間序列與Json紀錄資料表關聯圖 44
圖 3 12:時間序與Json資料SQL寫入語法 45
圖 3 13:實驗流程圖 46
圖 4 1:特定資料查詢時間比較曲線圖 52
圖 4 2:所有資料查詢時間比較曲線圖 53
圖 4 3:兩個資料表交互(Join)查詢時間比較曲線圖 53
圖 4 4:三個資料表交互(Join)查詢時間比較曲線圖 53
圖 4 5:兩個資料表交互(Join)查詢時間比較曲線圖(調整後) 55
圖 4 6:三個資料表交互(Join)查詢時間比較曲線圖(調整後) 55
圖 4 7:資料儲存空間比較圖 56
圖 4 8:關聯式資料架構異動比較圖 57
圖 4 9:特定波段警示狀況示意圖 58
圖 4 10:設備運作狀況示意圖 59

參考文獻 一、 中文文獻
1. IBM,2014,『IBM Informix TimeSeries Data使用手冊』。
2. IDC國際數據資訊,2014,『2015年台灣ICT市場十大趨勢預測』。http://www.idc.com.tw/about/448.html
3. 呂美英、郭显娥,2012。『NOSQL 和可擴展的 SQL』山西大同大學學報:自然科學板。第28期,15~18頁。
4. 林郁翔,2007,『關聯式資料庫系統的主要成分』,台北:ithome。http://www.ithome.com.tw/node/46156
5. 胡世忠,2013,『雲端時代的殺手級應用: Big Data 海量資料分析』臺北市:天下雜誌.。
6. 衷嵐焜,2011,『平行及分散式計算處理超大量感測器資料-以SELENE(Kaguya)之光譜感測器為例』台灣地理資訊學會研討會論文集。
7. 張百裕,2013,『物聯網 (IoT) 技術應用於整合性製造執行系統 (MES) 之研究-以光學研磨廠為例』淡江大學管理科學學系碩士班學位論文。
8. 陳勁華,2014,『應用腦波訊號分析風險考量下之決策行為』淡江大學資訊管理學系碩士班學位論文,1~59頁。
9. 逸凡,CAP理論,http://www.jdon.com/bigdata/how-to-understand-cap.html
10. 魏伊伶,2013,『Big Data趨勢下,儲存設備發展趨勢』,EK產業情報網市場趨勢分析,巨量資料與雲端運算。

二、 英文文獻
11. Arrowcat,『ACID、Data Replication、CAP與BASE』,http://www.cnblogs.com/hustcat/archive/2010/09/07/1820970.html
12. Banker, K. 2011. MongoDB in action. Manning Publications Co..
13. Beyer, M. A., & Laney, D. ,2012. “The importance of ‘big data’: a definition. Stamford, CT: Gartner.”.
14. Chen, Hsinchun, Roger HL Chiang, and Veda C. Storey., 2012. "Business Intelligence and Analytics: From Big Data to Big Impact." MIS quarterly 36.4,1165-1188.
15. Chen, Whei-Jen, et al. ,2011.“IBM Informix Developer's Handbook.”,IBM Redbooks.
16. Dantale, Vaibhav S., et al.,2012.”Solving Business Problems with Informix TimeSeries.” IBM Redbooks.
17. DeCandia, G., Hastorun, D., Jampani, M., Kakulapati, G., Lakshman, A., Pilchin, A., ... & Vogels, W. , 2007. “Dynamo: amazon's highly available key-value store.” In ACM SIGOPS Operating Systems Review ,Vol. 41, No. 6, pp. 205-220.
18. Gilbert, S., & Lynch, N. ,2002. “Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services.” ACM SIGACT News, 33(2), 51-59.
19. Hecht, R., & Jablonski, S. ,2011. Nosql evaluation. In International Conference on Cloud and Service Computing ,pp. 336-41.
20. Huang, S., Chen, Y., Chen, X., Liu, K., Xu, X., Wang, C., & Halilovic, I.,2014. “The next generation operational data historian for IoT based on informix. In Proceedings of the 2014 ACM SIGMOD international conference on Management of data”, pp. 169-176. ACM.
21. JSON,http://www.json.org/
22. Lawrence, R. ,2014. “Integration and Virtualization of Relational SQL and NoSQL Systems Including MySQL and MongoDB. In Computational Science and Computational Intelligence (CSCI)”, 2014 International Conference on Vol. 1, pp. 285-290. IEEE.
23. Manyika, J., Chui, M., Brown, B., Bughin, J., Dobbs, R., Roxburgh, C.,& McKinsey Global Institute. 2011. “Big data: The next frontier for innovation, competition, and productivity.”
24. Miller, John F.III, et al..2014.” Informix NoSQL- Very Deep Dive” 2014 IIUG Informix Conference.
25. Parker, Z., Poe, S., & Vrbsky, S. V. ,2013. “Comparing nosql mongodb to an sql db.” In Proceedings of the 51st ACM Southeast Conference p. 5. ACM.
26. Roijackers, J., & Fletcher, G. ,2012. “Bridging SQL and NoSQL.” Master's thesis, Eindhoven University of Technology.
27. Strozzi, C. ,2011.“NoSQL-A relational database management system.”,http://www.strozzi.it/cgi-bin/CSA/tw7/I/en_US/nosql/Home% 20Page.[ : 8  2013].
28. Wiki, ACID, http://zh.wikipedia.org/wiki/ACID.
29. Wiki, IBM Informix, http://en.wikipedia.org/wiki/IBM_Informix.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2015-07-27公開。
  • 同意授權瀏覽/列印電子全文服務,於2015-07-27起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2486 或 來信