淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-2906202002343400
中文論文名稱 應用深度學習於事實型問答系統之研究
英文論文名稱 A Study of Deep Learning for Question Answering System in Factoid Question
校院名稱 淡江大學
系所名稱(中) 大數據分析與商業智慧碩士學位學程
系所名稱(英) Master's Program In Big Data Analytics and Business Intelligence
學年度 108
學期 2
出版年 109
研究生中文姓名 郭育菱
研究生英文姓名 Yu-Ling Kuo
學號 607890166
學位類別 碩士
語文別 中文
口試日期 2020-06-04
論文頁數 63頁
口試委員 指導教授-戴敏育
委員-魏世杰
委員-古倫維
中文關鍵字 人工智慧  自然語言處理  深度學習  BERT  事實型問答  問答系統 
英文關鍵字 Artificial Intelligence  Natural Language Processing  Deep Learning  BERT  Factoid Question Answering  Question Answering 
學科別分類
中文摘要 近年來自然語言處理已經成為電腦科學領域與人工智慧領域中的一個重要研究方向,其中一項是回答針對文章所提出問題的機器閱讀理解。加上語音助理的崛起,使問答系統更能應用在商業運作。過去文獻中較少結合預訓練模型與判定事實型問句與答案的分類是否相同,並完成問答系統。
本研究利用系統發展研究方法論建構一個問答系統。使用台達閱讀理解資料集建立一個模型,實現基於事實型問答的系統,並結合比對問答句的分類以EM與F1進行評估。最後比對是否能夠增加EM的比例,比較預期答案類型是否能有效增加回答正確率。
經研究證實透過比對問答句的分類可以提高EM比例,在開發集與測試集分別提高3.25%與3.69%。本研究的研究貢獻為建構建構出了一個利用BERT預訓練模型應用在DRCD資料集,並加入預期答案分析比較的問答系統。並證實在問句與答案分類相同情況下,會提高問答系統的預測正確率。
英文摘要 In recent years, natural language processing has become an important research direction in the field of computer science and artificial intelligence. One of them is machine reading comprehension. In the past, the literature rarely combined the pre-train model and whether the classification of factoid questions and answers is the same, and completed a question answering system. This research uses Delta's reading comprehension dataset to build a model to implement a factoid question answering system, and combine the classification of question and answer sentences to evaluate with EM and F1. It has been confirmed by research that the classification of question and answer sentences can increase the percentage of EM, which is increased by 3.25% and 3.69% in the development and test datasets, respectively. The research contribution of this research is to construct a question answering system that uses the BERT pre-training model to apply to the DRCD dataset, and adds the expected answer analysis and comparison. And confirmed that the question and answer classification is the same, it will improve the EM score of the question answering system.
論文目次 目錄
第一章 緒論 1
1.1 研究背景 1
1.2 研究動機 2
1.3 研究目的 2
1.4 研究架構 2
第二章 文獻探討 4
2.1 問答系統(Question Answering System) 4
2.2 深度學習(Deep Learning) 7
2.3 自然語言處理(Natural Language Processing) 8
2.3.1 序列到序列(Sequence to Sequence) 9
2.3.2 注意力機制 (Attention Mechanism) 10
2.3.3 自注意力機制(Transformer) 11
2.3.4 BERT語言模型 12
2.4 本章小節 15
第三章 研究方法與架構 16
3.1 研究方法 16
3.2 系統架構 19
3.3 語料庫來源 20
3.4 資料前處理 23
3.5 BERT微調 26
3.6 核心模型 28
3.7 評估方式 30
第四章 資料分析與結果 33
4.1 實驗環境 33
4.2 BERT預訓練模型介紹 33
4.3 資料集介紹 33
4.4 實驗參數 34
4.5 實驗結果 36
4.5.1 開發集問答系統實驗結果 36
4.5.2 測試集問答系統實驗結果 41
4.5.3 預期答案與答案分類實驗結果 47
4.5.4 分類與問答系統結合實驗結果 53
4.5.5 本研究與DRCD原始論文結果比較 58
第五章 結論與建議 59
5.1. 結論 59
5.2. 研究貢獻 60
5.3. 管理意涵 60
5.4. 未來研究方向 61
參考文獻 62


圖目錄
圖 1本研究之研究架構與流程 3
圖 2人工智慧、機器學習、深度學習之間的關係圖 7
圖 3 序列到序列模型架構 9
圖 4注意力機制下的序列到序列模型 10
圖 5 Transformer模型架構 11
圖 6 BERT、OpenAI GPT與ELMo預訓練模型架構差異 12
圖 7 BERT預訓練與微調架構圖 14
圖 8系統發展研究法生命週期循環圖 17
圖 9系統發展研究法 系統開發流程圖 18
圖 10應用BERT深度學習的問答系統之研究的系統架構 19
圖 11 資料原始檔案(Shao et al., 2018) 20
圖 12資料集中問句的長度分布圖 22
圖 13資料集中答案的長度分布圖 22
圖 14 資料前處理流程圖 23
圖 15 轉換後的檔案內容 23
圖 16 在文章中標記出答案 24
圖 17預期答案分類的柱狀圖 25
圖 18不同任務微調情境 27
圖 19 BERT的輸入表示 28
圖 20問答任務情境 28
圖 21預期答案分類任務情境 29
圖 22答案類型分類任務情境 29
圖 23三個模型使用流程圖 30
圖 24 Config8在開發集與測試集的結果 43
圖 25 Config16在開發集與測試集的結果 44
圖 26 Config17在開發集與測試集的結果 44
圖 27 Config18在開發集與測試集的結果 45
圖 28 Config1、2、3、10、11與12在開發集與測試集的結果(a)~(f) 46
圖 29 Q-EAT分類模型在100筆開放測試中的評估結果 47
圖 30 Q-EAT分類模型在1,000筆原始資料集中的封閉測試結果 49
圖 31答案分類模型在100筆開放測試中的評估結果 50
圖 32答案分類模型在1,000筆原始資料集中的封閉測試結果 52
圖 33問句與答案分類模型在開放測試的預測正確率比較圖 52
圖 34問句與答案分類模型在封閉測試的預測正確率比較圖 53
圖 35開發集與測試集增加分類模型後的EM分數結果變化 57
圖 36開發集與測試集增加分類模型後的F1分數結果變化 57



表目錄
表 1遮蔽語言模型(MLM)預訓練任務遮蔽說明 13
表 2資料集問句資料分析 21
表 3資料集答案資料分析 21
表 4三位評分員問句類別評分表 25
表 5問句類別評估表 25
表 6 F1指標範例 31
表 7資料欄位說明 33
表 8 BERT問答系統微調模型實驗參數表 35
表 9 BERT問答系統微調模型實驗參數表 36
表 10不同參數模型在開發集的結果 37
表 11開發集的預測結果探討 – 完全正確 38
表 12開發集的預測結果探討 – 部分正確 39
表 13開發集的預測結果探討 – 完全錯誤 40
表 14不同參數模型在測試集的結果 42
表 15 Q-EAT分類模型在開放測試中的結果探討 – 分類正確 48
表 16 Q-EAT分類模型在開放測試中的結果探討 – 分類錯誤 48
表 17答案分類模型在開放測試中的結果探討 – 分類正確 50
表 18答案分類模型在開放測試中的結果探討 – 分類錯誤 51
表 19開發集的問句分類結果表 53
表 20開發集的答案分類結果表 54
表 21測試集的問句分類結果表 54
表 22測試集的答案分類結果表 54
表 23在開發集的分析結果 55
表 24在測試集的分析結果 55
表 25開發集與測試集的EM結果表現 56
表 26開發集與測試集的F1結果表現 56
表 27 DRCD資料集在不同模型下的結果比較 58

參考文獻 參考文獻
Bahdanau, D., Cho, K., & Bengio, Y. J. a. p. a. (2014). Neural machine translation by jointly learning to align and translate.
Day, M.-Y., Lee, C.-W., Wu, S.-H., Ong, C.-S., & Hsu, W.-L. (2005). An integrated knowledge-based and machine learning approach for Chinese question classification. Paper presented at the 2005 International Conference on Natural Language Processing and Knowledge Engineering.
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. J. a. p. a. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding.
Fleiss, J. L., Cohen, J., & Everitt, B. S. J. P. b. (1969). Large sample standard errors of kappa and weighted kappa. 72(5), 323.
Gers, F. A., Schmidhuber, J., & Cummins, F. (1999). Learning to forget: Continual prediction with LSTM.
Green Jr, B. F., Wolf, A. K., Chomsky, C., & Laughery, K. (1961). Baseball: an automatic question-answerer. Paper presented at the Papers presented at the May 9-11, 1961, western joint IRE-AIEE-ACM computer conference.
LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W., & Jackel, L. D. J. N. c. (1989). Backpropagation applied to handwritten zip code recognition. 1(4), 541-551.
Mishra, A., Jain, S. K. J. J. o. K. S. U.-C., & Sciences, I. (2016). A survey on question answering systems with classification. 28(3), 345-361.
Nunamaker Jr, J. F., Chen, M., & Purdin, T. D. J. J. o. m. i. s. (1990). Systems development in information systems research. 7(3), 89-106.
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Paper presented at the Proceedings of the 40th annual meeting on association for computational linguistics.
Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. J. a. p. a. (2018). Deep contextualized word representations.
Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. J. U. h. s.-u.-w.-a. c. o.-a. r. l. l. u. p. p. (2018). Improving language understanding by generative pre-training.
Rajpurkar, P., Zhang, J., Lopyrev, K., & Liang, P. J. a. p. a. (2016). Squad: 100,000+ questions for machine comprehension of text.
Shao, C. C., Liu, T., Lai, Y., Tseng, Y., & Tsai, S. J. a. p. a. (2018). Drcd: a chinese machine reading comprehension dataset.
Shibuki, H., Sakamoto, K., Kano, Y., Mitamura, T., Ishioroshi, M., Itakura, K. Y., . . . Kando, N. (2014). Overview of the NTCIR-11 QA-Lab Task. Paper presented at the Ntcir.
Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Paper presented at the Advances in neural information processing systems.
Suykens, J. A., & Vandewalle, J. J. N. p. l. (1999). Least squares support vector machine classifiers. 9(3), 293-300.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., . . . Polosukhin, I. (2017). Attention is all you need. Paper presented at the Advances in neural information processing systems.
Woods, W. A. (1973). Progress in natural language understanding: an application to lunar geology. Paper presented at the Proceedings of the June 4-8, 1973, national computer conference and exposition.

論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2020-07-01公開。
  • 同意授權瀏覽/列印電子全文服務,於2020-07-01起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2486 或 來信