系統識別號 | U0002-1507201913111600 |
---|---|
DOI | 10.6846/TKU.2019.00389 |
論文名稱(中文) | 應用實驗設計於機器學習模型優化之研究 |
論文名稱(英文) | Application of experiment design to optimization of machine learning models |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 大數據分析與商業智慧碩士學位學程 |
系所名稱(英文) | Master's Program In Big Data Analytics and Business Intelligence |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 107 |
學期 | 2 |
出版年 | 108 |
研究生(中文) | 張駿宏 |
研究生(英文) | Chun-Hung Chang |
學號 | 606890092 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | |
口試日期 | 2019-07-01 |
論文頁數 | 37頁 |
口試委員 |
指導教授
-
陳景祥
共同指導教授 - 林志娟 委員 - 吳牧恩 委員 - 陳麗菁 |
關鍵字(中) |
機器學習 實驗設計 時間成本 超參數 |
關鍵字(英) |
machine learning Design of experiments Time cost Hyper parameter tuning |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
隨著科技的發達,宣告Big-Data的時代已開始,因資料量遽增,硬體設備的進步成為一項重要的發展技術。軟體上,機器學習模型中使用核心作為平行/分散運算的方法也越來越多。但在有限的資源下,也不及資料量與運算量增加的速度。 因此,本研究想探討由於機器學習模型訓練時,超參數的設定沒有過往的經驗或固定的步驟可參考,往往透過試誤法來取得最佳解,因此帶來昂貴的時間成本。研究採用兩種的資料(IRIS、MNIST)、三種模型(類神經網路、最近鄰算法、強化學習),利用實驗設計的概念建立三種訓練模型,後續比較與不使用實驗設計方法的差別,希望提供不同於以往的暴力解,應用既有的統計方法來取的理想解,使分析者能在短時間內獲得理想模型,以利後續分析。 |
英文摘要 |
As technology advances, the BIG-DATA Era is beginning. Because the data volume is increasing so fast, hardware development becomes an importance development technology. In software, there is a growing number of machine learning models using the CPU to do the parallel computing. But with limited resources, they can not catch up the data volume and demanded computing speed. Therefore, this study wants to explore the hyper parameter optimization in machine learning model training. The optimization often uses trial and error to find the best hyper-paramater combination, but it will need a lot of time. The research uses two datasets (IRIS, MNIST) and three models (neural network, nearest neighbor algorithm, extreme gradient boosting) to compare hyper-parameter optimizations with and without using the design of experiments. |
第三語言摘要 | |
論文目次 |
目錄 第一章 緒論 1 第一節 研究背景 1 第二節 研究動機與目的 1 第三節 論文結構 2 第二章 文獻探討 3 第一節 機器學習 3 第二節 實驗設計(田口法) 6 第三節 Lenth方法 8 第三章 研究方法 10 第一節 R軟體 10 第二節 R軟體caret套件 10 (一) 資料切割與處理 11 (二) 模型調校 13 第三節 R軟體qualityTools 套件 14 第四節 田口法應用於caret調校 16 第五節 比較模型介紹 17 第六節 模型鑑別指標介紹 20 (一) 差均方根(RMSE) 20 (二) 預測正確率(Accuracy) 20 第四章 模擬結果 21 第一節 資料簡介 21 第二節 模擬前設定 22 (一) 鳶尾花資料 27 (二) mnist手寫資料 31 第五章 結論與建議 35 第一節 結論 35 第二節 建議 35 參考文獻 36 表目錄 表 1 四因子兩水準全因子實驗 6 表 2田口法下四因子兩水準部分因子設計圖 7 表 3 t0.975;d值與tr;d值 8 表 4 αpse0.5,2.5值 9 表 5 tpse0.95值 9 表 6 田口法實驗設計表 15 表 7 類神經方法部分因子實驗 16 表 8 模型一Neural Network (類神經網路) 17 表 9 模型二k-Nearest Neighbors(最近鄰算法) 18 表 10 模型三 eXtreme Gradient Boosting(強化學習) 19 表 11類神經網路田口直交表 24 表 12最近鄰算法田口直交表 25 表 13強化學習田口直交表 26 表 14 iris類神經網路模擬結果 27 表 15 iris最近鄰算法模擬結果 28 表 16 iris強化學習模擬結果 29 表 17 mnist最近鄰算法模型模擬結果 31 表 18 mnist強化學習模型模擬結果 33 圖目錄 圖 1 研究架構圖 2 圖 2 單層類神經網路架構圖 3 圖 3 多層類神經網路架構圖 4 圖 4 最近鄰算法架構圖 4 圖 5 支持向量機架構圖 5 圖 6 CARET架構圖 10 圖 7 IRIS資料 21 圖 8 MNIST手寫資料 22 圖 9 iris類神經網路Lenth plot 27 圖 10 iris最近鄰算法Lenth Plot 28 圖 11 iris強化學習Lenth Plot 29 圖 12 Iris強化學習重要超參數訓練結果 30 圖 13 Iris強化學習重要超參數Effect Plot 30 圖 14 mnist最近鄰算法Lenth Plot 31 圖 15 mnist最近鄰算法重要超參數訓練結果 32 圖 16 mnist最近鄰算法重要超參數Effect Plot 32 圖 17 mnist 強化學習Lenth Plot 33 圖 18 mnist強化學習重要超參數訓練結果 34 圖 19 mnist強化學習重要超參數Effect Plot 34 |
參考文獻 |
參考文獻 中文文獻: 陳景祥,2018, R軟體:應用統計方法, 二版,台北:東華。 方劉信, 2000,以模糊化Lenth方法在2^(k-p) 設計之應用, 碩士論文, 淡江大學應用統計所。 蔡育儒, 2014, 可處理巨量資料的平行化CHAID決策樹, 碩士論文, 淡江大學應用統計所。 王羽盟, 2009,應用田口方法探討塑膠射出成形最佳化參數--以醫療生理監視器為例,碩士論文, 國立中興大學機械工程學系所。 朱志忠、林俊一, 1994, 以實驗計畫法探討製糖濾泥吸收二氧化硫之最適操作條件,技術學刊,Vol.9, No.2, pp.181-184。 吳全耀、吳黃素月、趙熹、鄭昌家 , 1994, 田口式品質工程在食品加工上的應用-文蛤軟糖的製造, 中國水產月刊, Vol.493, pp.29-40。 侯東旭, 2008, 應用田口直交表於網路教學品質改善之研究 , 碩士論文, 國立屏東教育大學資訊科學系。 陳和賢、黃卓治、謝政峰、王志源, 2000,應用田口品質工程於蛋黃酥桿捲製程改進之研究, 台灣農業化學與食品科學, Vol.38,No.3, pp.214~222。 詹佩珍, 2002, 製紙廠廢水處理單元最適化操作條件之建立-利用田口品質工評估模式, 碩士論文,國立高雄第一科技大學環境與安全衛生工程所。 簡志興, 2004, 應用田口品質工程於無鉛焊錫製程參數最佳化之研究, 碩士論文, 國立臺灣科技大學工業管理系。 林尚明, 2008, 以田口法進行光學玻璃基板拋光製程最佳化研究, 碩士論文, 中興大學機械工程學系所。 林登文, 2013, 應用田口法對氧化鋯平面磨削表面粗糙度參數最佳化研究, 碩士論文, 中興大學機械工程學系所 英文文獻: Hebb, D.O. The Organization of Behavior. New York: Wiley & Sons, 1949. Hinton, G. E., Osindero, S. & Teh, Y.-W. A fast learning algorithm for deep belief nets. Neural Comp. 18, 1527–1554 (2006). Kuhn, M., 2008, Building Predictive Models in R Using the caret, Package.Journal of Statistical Software 28(5) Perry D. HAALAND and Michael A. O'CONNELL, 1995, Inference for Effect-Saturated Fractional Factorials, American Society for Quality37(1), 82-93 Russell V. Lenth., 1989, Quick and Easy Analysis of Unreplicated Factorials. American Society for Quality31(4), 469-473 Taguchi,G.,Introduction to Quality Engineering: Designing Quality into Productsand Processes,UNIPUB, 1986. |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信