近年來自然語言處理已經成為電腦科學領域與人工智慧領域中的一個重要研究方向，其中一項是回答針對文章所提出問題的機器閱讀理解。加上語音助理的崛起，使問答系統更能應用在商業運作。過去文獻中較少結合預訓練模型與判定事實型問句與答案的分類是否相同，並完成問答系統。
    本研究利用系統發展研究方法論建構一個問答系統。使用台達閱讀理解資料集建立一個模型，實現基於事實型問答的系統，並結合比對問答句的分類以EM與F1進行評估。最後比對是否能夠增加EM的比例，比較預期答案類型是否能有效增加回答正確率。
    經研究證實透過比對問答句的分類可以提高EM比例，在開發集與測試集分別提高3.25%與3.69%。本研究的研究貢獻為建構建構出了一個利用BERT預訓練模型應用在DRCD資料集，並加入預期答案分析比較的問答系統。並證實在問句與答案分類相同情況下，會提高問答系統的預測正確率。

In recent years, natural language processing has become an important research direction in the field of computer science and artificial intelligence. One of them is machine reading comprehension. In the past, the literature rarely combined the pre-train model and whether the classification of factoid questions and answers is the same, and completed a question answering system. This research uses Delta's reading comprehension dataset to build a model to implement a factoid question answering system, and combine the classification of question and answer sentences to evaluate with EM and F1. It has been confirmed by research that the classification of question and answer sentences can increase the percentage of EM, which is increased by 3.25% and 3.69% in the development and test datasets, respectively. The research contribution of this research is to construct a question answering system that uses the BERT pre-training model to apply to the DRCD dataset, and adds the expected answer analysis and comparison. And confirmed that the question and answer classification is the same, it will improve the EM score of the question answering system.

目錄
第一章	緒論	1
1.1	研究背景	1
1.2	研究動機	2
1.3	研究目的	2
1.4	研究架構	2
第二章	文獻探討	4
2.1	問答系統(Question Answering System)	4
2.2	深度學習(Deep Learning)	7
2.3	自然語言處理(Natural Language Processing)	8
2.3.1	序列到序列(Sequence to Sequence)	9
2.3.2	注意力機制 (Attention Mechanism)	10
2.3.3	自注意力機制(Transformer)	11
2.3.4	BERT語言模型	12
2.4	本章小節	15
第三章	研究方法與架構	16
3.1	研究方法	16
3.2	系統架構	19
3.3	語料庫來源	20
3.4	資料前處理	23
3.5	BERT微調	26
3.6	核心模型	28
3.7	評估方式	30
第四章	資料分析與結果	33
4.1	實驗環境	33
4.2	BERT預訓練模型介紹	33
4.3	資料集介紹	33
4.4	實驗參數	34
4.5	實驗結果	36
4.5.1	開發集問答系統實驗結果	36
4.5.2	測試集問答系統實驗結果	41
4.5.3	預期答案與答案分類實驗結果	47
4.5.4	分類與問答系統結合實驗結果	53
4.5.5	本研究與DRCD原始論文結果比較	58
第五章	結論與建議	59
5.1.	結論	59
5.2.	研究貢獻	60
5.3.	管理意涵	60
5.4.	未來研究方向	61
參考文獻	62

 
圖目錄
圖 1本研究之研究架構與流程	3
圖 2人工智慧、機器學習、深度學習之間的關係圖	7
圖 3 序列到序列模型架構	9
圖 4注意力機制下的序列到序列模型	10
圖 5 Transformer模型架構	11
圖 6 BERT、OpenAI GPT與ELMo預訓練模型架構差異	12
圖 7 BERT預訓練與微調架構圖	14
圖 8系統發展研究法生命週期循環圖	17
圖 9系統發展研究法 系統開發流程圖	18
圖 10應用BERT深度學習的問答系統之研究的系統架構	19
圖 11 資料原始檔案(Shao et al., 2018)	20
圖 12資料集中問句的長度分布圖	22
圖 13資料集中答案的長度分布圖	22
圖 14 資料前處理流程圖	23
圖 15 轉換後的檔案內容	23
圖 16 在文章中標記出答案	24
圖 17預期答案分類的柱狀圖	25
圖 18不同任務微調情境	27
圖 19 BERT的輸入表示	28
圖 20問答任務情境	28
圖 21預期答案分類任務情境	29
圖 22答案類型分類任務情境	29
圖 23三個模型使用流程圖	30
圖 24 Config8在開發集與測試集的結果	43
圖 25 Config16在開發集與測試集的結果	44
圖 26 Config17在開發集與測試集的結果	44
圖 27 Config18在開發集與測試集的結果	45
圖 28 Config1、2、3、10、11與12在開發集與測試集的結果(a)~(f)	46
圖 29 Q-EAT分類模型在100筆開放測試中的評估結果	47
圖 30 Q-EAT分類模型在1,000筆原始資料集中的封閉測試結果	49
圖 31答案分類模型在100筆開放測試中的評估結果	50
圖 32答案分類模型在1,000筆原始資料集中的封閉測試結果	52
圖 33問句與答案分類模型在開放測試的預測正確率比較圖	52
圖 34問句與答案分類模型在封閉測試的預測正確率比較圖	53
圖 35開發集與測試集增加分類模型後的EM分數結果變化	57
圖 36開發集與測試集增加分類模型後的F1分數結果變化	57


 
表目錄
表 1遮蔽語言模型(MLM)預訓練任務遮蔽說明	13
表 2資料集問句資料分析	21
表 3資料集答案資料分析	21
表 4三位評分員問句類別評分表	25
表 5問句類別評估表	25
表 6 F1指標範例	31
表 7資料欄位說明	33
表 8 BERT問答系統微調模型實驗參數表	35
表 9 BERT問答系統微調模型實驗參數表	36
表 10不同參數模型在開發集的結果	37
表 11開發集的預測結果探討 – 完全正確	38
表 12開發集的預測結果探討 – 部分正確	39
表 13開發集的預測結果探討 – 完全錯誤	40
表 14不同參數模型在測試集的結果	42
表 15 Q-EAT分類模型在開放測試中的結果探討 – 分類正確	48
表 16 Q-EAT分類模型在開放測試中的結果探討 – 分類錯誤	48
表 17答案分類模型在開放測試中的結果探討 – 分類正確	50
表 18答案分類模型在開放測試中的結果探討 – 分類錯誤	51
表 19開發集的問句分類結果表	53
表 20開發集的答案分類結果表	54
表 21測試集的問句分類結果表	54
表 22測試集的答案分類結果表	54
表 23在開發集的分析結果	55
表 24在測試集的分析結果	55
表 25開發集與測試集的EM結果表現	56
表 26開發集與測試集的F1結果表現	56
表 27 DRCD資料集在不同模型下的結果比較	58

參考文獻
Bahdanau, D., Cho, K., & Bengio, Y. J. a. p. a. (2014). Neural machine translation by jointly learning to align and translate. 
Day, M.-Y., Lee, C.-W., Wu, S.-H., Ong, C.-S., & Hsu, W.-L. (2005). An integrated knowledge-based and machine learning approach for Chinese question classification. Paper presented at the 2005 International Conference on Natural Language Processing and Knowledge Engineering.
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. J. a. p. a. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. 
Fleiss, J. L., Cohen, J., & Everitt, B. S. J. P. b. (1969). Large sample standard errors of kappa and weighted kappa. 72(5), 323. 
Gers, F. A., Schmidhuber, J., & Cummins, F. (1999). Learning to forget: Continual prediction with LSTM. 
Green Jr, B. F., Wolf, A. K., Chomsky, C., & Laughery, K. (1961). Baseball: an automatic question-answerer. Paper presented at the Papers presented at the May 9-11, 1961, western joint IRE-AIEE-ACM computer conference.
LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W., & Jackel, L. D. J. N. c. (1989). Backpropagation applied to handwritten zip code recognition. 1(4), 541-551. 
Mishra, A., Jain, S. K. J. J. o. K. S. U.-C., & Sciences, I. (2016). A survey on question answering systems with classification. 28(3), 345-361. 
Nunamaker Jr, J. F., Chen, M., & Purdin, T. D. J. J. o. m. i. s. (1990). Systems development in information systems research. 7(3), 89-106. 
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Paper presented at the Proceedings of the 40th annual meeting on association for computational linguistics.
Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. J. a. p. a. (2018). Deep contextualized word representations. 
Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. J. U. h. s.-u.-w.-a. c. o.-a. r. l. l. u. p. p. (2018). Improving language understanding by generative pre-training. 
Rajpurkar, P., Zhang, J., Lopyrev, K., & Liang, P. J. a. p. a. (2016). Squad: 100,000+ questions for machine comprehension of text. 
Shao, C. C., Liu, T., Lai, Y., Tseng, Y., & Tsai, S. J. a. p. a. (2018). Drcd: a chinese machine reading comprehension dataset. 
Shibuki, H., Sakamoto, K., Kano, Y., Mitamura, T., Ishioroshi, M., Itakura, K. Y., . . . Kando, N. (2014). Overview of the NTCIR-11 QA-Lab Task. Paper presented at the Ntcir.
Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Paper presented at the Advances in neural information processing systems.
Suykens, J. A., & Vandewalle, J. J. N. p. l. (1999). Least squares support vector machine classifiers. 9(3), 293-300. 
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., . . . Polosukhin, I. (2017). Attention is all you need. Paper presented at the Advances in neural information processing systems.
Woods, W. A. (1973). Progress in natural language understanding: an application to lunar geology. Paper presented at the Proceedings of the June 4-8, 1973, national computer conference and exposition.