系統識別號 | U0002-2407201914415300 |
---|---|
DOI | 10.6846/TKU.2019.00793 |
論文名稱(中文) | 基於EXT4以支援疊瓦式磁記錄硬碟的檔案系統 |
論文名稱(英文) | An EXT4-based File System for Shingled Magnetic Recording Disks |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 電機工程學系碩士班 |
系所名稱(英文) | Department of Electrical and Computer Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 107 |
學期 | 2 |
出版年 | 108 |
研究生(中文) | 陳佑展 |
研究生(英文) | Yu-Chan Chen |
學號 | 606450038 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | |
口試日期 | 2019-07-11 |
論文頁數 | 52頁 |
口試委員 |
指導教授
-
衛信文(hwwei@mail.tku.edu.tw)
委員 - 朱國志(kcchu@mail.lhu.edu.tw) 委員 - 衛信文(hwwei@mail.tku.edu.tw) 委員 - 李維聰(wtlee@mail.tku.edu.tw) |
關鍵字(中) |
EXT4 疊瓦式磁記錄 寫入限制 |
關鍵字(英) |
EXT4 Shingled Magnetic Recording Write limit |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
硬碟一直在電腦產品中發揮著不可或缺的作用,但是在大數據時代,資料量急劇增加,預計將繼續以倍增速度成長,這迫使硬碟供應商面臨傳統硬碟容量不足以儲存客戶產生的大量資料的事實。然而,目前在硬碟上使用的垂直式磁記錄技術即將達到其儲存密度限制。因此,業界引入了一種新技術的疊瓦式磁記錄硬碟來解決容量限制問題,並且是最受矚目的新硬碟技術之一。 疊瓦式磁記錄(SMR)硬碟比傳統硬碟具有更大的儲存容量。透過使用重疊磁軌來增加磁記錄密度,從而增加硬碟容量。而且,SMR硬碟採用傳統硬碟中的磁頭,其特徵在於傳統硬碟讀寫磁頭所需的磁場強度小於寫入磁頭所需磁場的磁場強度。因此,製造SMR硬碟時,製造商不必增加開發新磁頭的成本,使得疊瓦式磁記錄硬碟有可能成為未來資訊時代的主要儲存介質。 然而疊瓦式硬碟的缺點是,有隨機寫入的限制存在。因此,如何克服SMR硬碟的寫入限制及其後續問題將成為本文研究的重點。在本文中,我們提出了一種基於EXT4以支援疊瓦式磁記錄硬碟的檔案系統,以解決疊瓦式硬碟引入的寫入放大問題。EXT4是一常見的檔案系統,並且能夠配合硬碟來分配資料的寫入及其他配置。但傳統的EXT4檔案系統的運作方式並沒有針對疊瓦式硬碟做相關的優化處理,若是將疊瓦式硬碟當作儲存媒介使用,勢必需對現有的檔案系統進行修改或調整,以因應新形態硬碟。因此,我們在本文中提出三種機制來降低隨機寫操作的所造成的寫入成本。 透過本論文的方法機制,為疊瓦式磁記錄硬碟的寫入限制提供了一種合適的寫入方法。 首先,我們將不同的資料分為熱數據和冷數據,用於判斷資料的更新頻率,並且藉由本文提出的檔案系統來決定寫入的資料要安排寫入至硬碟的哪個儲存位置。其次,檔案更新的部分,針對不同資料的儲存類型,將分別透過兩種不同的寫入方式:原地寫入(in-place)和非原地寫入(out-of-place)來做資料的更新,藉此以降低硬碟的寫入放大和讀/寫速度。最後,空間重組可以回收舊有空間,並允許連續寫入後續資料,且會定期檢查儲存資料的屬性,以最大限度地利用硬碟的容量。 藉由本論文的實驗,可以發現本文提出的檔案系統與方法機制,能夠改善SMR硬碟的隨機寫入的寫入放大問題,並有效的提升疊瓦式磁記錄硬碟的性能。 |
英文摘要 |
Hard drives have always played an indispensable role in computer products, but in the era of big data, the amount of data has increased dramatically and is expected to continue to grow at an alarming rate, which forced the hard disk vendor to face the fact that capacity of traditional hard disks is insufficient to store such large amount of data. However, the Perpendicular Magnetic Recording technology currently used on hard disks is about to reach its storage density limit. Therefore, a new technology Shingled Magnetic Recording (SMR) disk is introduced to address capacity constraints and is one of the most promising new hard disk technologies. A SMR hard disk has a larger storage capacity than a conventional hard disk and increases the magnetic recording density by overlapping magnetic tracks. Moreover, the SMR hard disk uses a conventional hard disk read/write head therefore, the manufacturers do not have to increase the cost of developing new magnetic heads, making it possible to use shingled magnetic recording hard disks as the main storage medium for the information age in the future. However, the disadvantage of the SMR hard disk is that there are restrictions on random writing. Therefore, how to overcome the write limit of SMR hard disk and its follow-up problems is the main purpose of this thesis. In this thesis, we propose a file system based on EXT4 to support the SMR hard disk to reduce the write amplification problem introduced by the SMR hard disk. EXT4 is a common file system but is not optimized for SMR disk. If the SMR disk is used as a storage medium, it is necessary to modify or adjust the existing file system to respond new form of hard drive. Therefore, we propose three mechanisms to reduce the write amplification. First, we divide the data into hot data and cold data, which are used to judge the update frequency of the data. Second, use two different writing methods: in-place update and out-of-place update for updating different types of data, i.e., cold data and hot data. Finally, use spatial reorganization method to reclaim unused space and allow subsequent data to be written continuously. In addition, the attributes of the stored data will be check periodically to adjust the updating method of stored data. The simulation results show that the proposed method can reduce the write amplification of random write and effectively improve the performance of SMR disk. |
第三語言摘要 | |
論文目次 |
目錄 致謝 I 中文摘要 II 英文摘要 IV 第一章 緒論 1 1.1 前言 1 1.2 動機與目的 2 1.3 論文章節架構 3 第二章 背景知識與相關文獻 4 2.1 疊瓦式磁記錄 4 2.2 疊瓦式硬碟內部設計與定義 5 2.3 驅動器管理SMR 8 2.4 主機管理SMR 9 2.5 主機感知SMR 10 2.6 第四代擴充套件檔案系統(Fourth extended file system) 12 2.6.1 EXT4檔案系統結構 13 2.6.2 索引節點(Inode) 14 2.6.3 擴展屬性(Extended Attributes) 15 第三章 基於EXT4以支援疊瓦式硬碟的檔案系統 17 3.1 File classification 17 3.2 Dual-mode file update 20 3.3 Space Reorganization 24 3.4 流程圖 27 第四章 模擬與結果 29 4.1 實驗內容 29 4.1.1 模擬環境與數據 29 4.2 數據與分析 30 4.2.1 數據討論 47 第五章 貢獻與未來展望 49 5.1 主要貢獻 49 5.2 未來展望 49 參考文獻 50 圖目錄 圖2.1 疊瓦式磁記錄技術 4 圖2.2 疊瓦式磁記錄頻帶結構 5 圖2.3 循序寫入優先區域配置 6 圖2.4 強制順序寫入區域配置 7 圖2.5 EXT4檔案系統結構 13 圖2.6 EXT4 Inode 結構 14 圖2.7 擴展屬性 15 圖3.1檔案類型分類 18 圖3.2硬碟磁軌內外圈分配圖 19 圖3.3原始的擴展屬性 20 圖3.4修改後的擴展屬性 20 圖3.5原地寫入更新前 22 圖3.6原地寫入更新後 22 圖3.7非原地寫入更新前 23 圖3.8非原地寫入更新後 24 圖3.9熱數據的定義屬性 26 圖3.10冷數據的定義屬性 26 圖3.11 流程圖 28 圖4.1 1000筆寫入與更新時間模擬結果 32 圖4.2 1000筆寫入與更新效能百分比 32 圖4.3 500筆寫入與更新時間模擬結果 33 圖4.4 500筆寫入與更新效能百分比 34 圖4.5 100寫入與更新時間模擬結果 35 圖4.6 100筆寫入與更新效能百分比 35 圖4.7 10筆寫入與更新時間模擬結果 36 圖4.8 10筆寫入與更新效能百分比 37 圖4.9 各筆數整體寫入與更新效能百分比模擬結果 38 圖4.10 檔案類型比率0.9時1000筆寫入與各更新數量時間模擬結果 39 圖4.11 檔案類型比率0.9時1000筆寫入與各更新數量效能百分比 40 圖4.12 檔案類型比率0.8時1000筆寫入與各更新數量時間模擬結果 41 圖4.13 檔案類型比率0.8時1000筆寫入與各更新數量效能百分比 41 圖4.14 檔案類型比率0.7時1000筆寫入與各更新數量時間模擬結果 42 圖4.15 檔案類型比率0.7時1000筆寫入與各更新數量效能百分比 43 圖4.16 檔案類型比率0.6時1000筆寫入與各更新數量時間模擬結果 44 圖4.17 檔案類型比率0.6時1000筆寫入與各更新數量效能百分比 44 圖4.18 檔案類型比率0.5時1000筆寫入與各更新數量時間模擬結果 45 圖4.19 檔案類型比率0.5時1000筆寫入與各更新數量效能百分比 46 圖4.20 1000筆寫入與各更新數在不同檔案比率的整體效能百分比 47 表目錄 表4.1 1000筆寫入與更新時間模擬結果 31 表4.2 500筆寫入與更新時間模擬結果 33 表4.3 100筆寫入與更新時間模擬結果 34 表4.4 10筆寫入與更新時間模擬結果 36 表4.5 檔案類型比率0.9時1000筆寫入與各更新數量時間模擬結果 39 表4.6 檔案類型比率0.8時1000筆寫入與各更新數量時間模擬結果 40 表4.7 檔案類型比率0.7時1000筆寫入與各更新數量時間模擬結果 42 表4.8 檔案類型比率0.6時1000筆寫入與各更新數量時間模擬結果 43 表4.9 檔案類型比率0.5時1000筆寫入與各更新數量時間模擬結果 45 |
參考文獻 |
[1] Jorge Campello. “Shingled Magnetic Recording (SMR) Introduction”, (2013, May,14), Retrieved from T10 SMR Study Group [2] HGST, a Western Digital Company. “SMR: The Next Generation of Storage Technology”, Storage Developer Conference,2015. [3] Ahmed Amer, JoAnne Holliday, Darrell D. E. Long, Ethan L. Miller, Jehan-François Paris, Thomas Schwarz. “Data Management and Layout for Shingled Magnetic Recording”, IEEE Transactions on Magnetics, 2011. [4] Jorge Campello, Adam Manzanares. “SMR Impact on Linux Storage Subsystem”, Retrieved from HGST, a Western Digital Company,2014. [5] Extending Magic Pocket Innovation with the first petabyte scale SMR drive deployment, (2018, June,12), Retrieved from Magic Pocket & Hardware Engineering Teams [6] Seagate. “Zoned Block Device Overview”, 2014, July. [7] Weiping He and David H.C. Du “SMaRT: An Approach to Shingled Magnetic Recording Translation”, 15th USENIX Conference on File and Storage Technologies (FAST ’17), February 27–March 2, 2017. [8] Liuying Ma, Lu Xu. “HMSS: A High Performance Host-Managed Shingled Storage System Based on Awareness of SMR on Block Layer”, 2016 IEEE 18th International Conference on High Performance Computing and Communications. [9] XUCHAO XIE, LIQUAN XIAO, XIONGZI GE, QIONG LI. ” SMRC: An Endurable SSD Cache for Host-Aware Shingled Magnetic Recording Drives”, IEEE Access, Date of Publication: 09 April 2018. [10] Brain Carrier. “File System Forensic Analysis”, Retrieved from Addison Wesley Professional, March 17, 2005. [11] Ckujau, Silentbob, Meih44, Vedanerv, Newzheng. “EXT4 Disk Layout”. Retrieved from ext4.wiki.kernel.org. [12] Akash Bundele, Prof. Dr. S. E. Yedey. “Comparative study of File systems (NTFS, FAT, FAT32, EXT2, EXT3, EXT4)”, International Journal for Research in Applied Science & Engineering Technology (IJRASET), August, 2018. [13] Wolfgang Mauerer. “Professional Linux Kernel Architecture”, Retrieved from Wiley Publishing, Inc., Indianapolis, Indiana, 2008. [14] DanielP. Bovet, Marco Cesati. “Understanding the Linux Kernel, 3rd Edition”, Retrieved from O’Reilly, Nov, 2005. [15] “What’s the Diff : Hot and Cold Data Storage”. Retrieved from Roderick Bauer, February 7, 2019. [16] “Shingled Magnetic Recording Technologies for Large-Capacity Hard Disk Drives”, Retrieved from TOSHIBA REVIEW GLOBAL EDITION Vol. 1, No. 2, 2015. [17] Ckujau, Silentbob, Meih44, Vedanerv, Newzheng. “Ext4 Disk Inode_Table Layout”. Retrieved from ext4.wiki.kernel.org. [18] Fenggang Wu, Ziqi Fan, Ming-Chang Yang, Baoquan Zhang, Xiongzi Ge, and David H.C. Du. “Performance Evaluation of Host Aware Shingled Magnetic Recording (HA-SMR) Drives”, IEEE Transactions on Computers, 07 June 2017. |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信