§ 瀏覽學位論文書目資料
  
系統識別號 U0002-3008201811273600
DOI 10.6846/TKU.2018.00999
論文名稱(中文) 人工智慧自動文本摘要研究
論文名稱(英文) A Study of Artificial Intelligence for Automatic Text Summarization
第三語言論文名稱
校院名稱 淡江大學
系所名稱(中文) 資訊管理學系碩士班
系所名稱(英文) Department of Information Management
外國學位學校名稱
外國學位學院名稱
外國學位研究所名稱
學年度 106
學期 2
出版年 107
研究生(中文) 陳昭妤
研究生(英文) Chao-Yu Chen
學號 606630027
學位類別 碩士
語言別 繁體中文
第二語言別
口試日期 2018-06-02
論文頁數 47頁
口試委員 指導教授 - 戴敏育
委員 - 劉嘉傑
委員 - 梁恩輝
委員 - 戴敏育
關鍵字(中) 人工智慧
序列到序列
自動文本摘要
深度學習
遞迴類神經網路
關鍵字(英) Artificial Intelligence
Sequence-to-Sequence
Automatic Text Summarization
Deep Learning
Recurrent Neural Networks
第三語言關鍵字
學科別分類
中文摘要
隨著時代改變與技術發展,人們接收到的資訊量大增,協助人們快速抓取到關鍵變成是一大重點。自動文本摘要便是其中一大議題,依據文本的類型、摘要生成的方式、目標摘要的形式以及軟硬體技術的支援程度不同來決定使用的理論與技術。過去的文獻中較少以深度學習技術來解決產生標題(短摘要)的問題,因此本研究欲檢驗深度學習應用於短摘要生成的效果。
本研究使用WOS資料庫來收集49724筆情感分析相關的論文資料,使用前處理後的論文摘要與標題來訓練兩種不同方法建置的模組,並以ROUGE評估與標準標題的相似度。
經由本研究兩大模組的比較,可發現傳統統計性模組於ROUGE-1及ROUGE-L的表現較佳,而深度學習模組在ROUGE-2以及各種評估機制的精確度較佳。
英文摘要
Automatic text summarization has played a critical role in helping people obtain key information from increasing huge data with the advantaged development of technology. In the past, few literatures are related to solve the problem of generating titles (short summaries) by using artificial intelligence (AI). The purpose of this study is that we proposed an AI approach for automatic text summarization. We developed an AI text summarization system architecture with two models, namely, statistical model, and deep learning model as well as evaluating the performance of two models. Essay titles and essay abstracts are used to train artificial intelligence deep learning model to generate the candidate titles and evaluated by ROUGE for performance evaluation. We used 5-fold cross evaluation to evaluate the performance. In ROUGE-1 and ROUGE-L, the performance of statistical model is better. In ROGUGE-2, the performance of deep learning model is better. The contribution of this paper is that we proposed an AI automatic text summarization system by applying deep learning to generate short summaries from the titles and abstracts of the Web of Science (WOS) database.
第三語言摘要
論文目次
目錄
 第一章 緒論	1
1.1	研究背景	1
1.2	研究動機	1
1.3	研究目的	2
1.4	研究架構	2
 第二章 文獻探討	4
2.1	文本摘要 (Text Summarization)	4
2.1.1	文本摘要技術及主要方法	7
2.1.2	文本摘要評估方法-ROUGE	7
2.2	人工智慧 (Artificial Intelligence)	10
2.2.1	類神經網路 (Artificial Neural Network)	13
2.2.2	深度學習 (Deep Learning)	13
2.2.3	遞迴神經網路 (Recurrent Neural Network)	14
一、	長短期記憶 (Long Short-Term Memory)	15
二、	閘循環單元 (Gate Recurrent Unit)	16
三、	序列到序列 (Sequence-to-sequence)	16
2.3	本章小結	17
 第三章 研究方法與系統架構	19
3.1	研究方法	19
3.2	研究架構	21
3.3	資料收集來源說明	22
3.4	資料集	23
3.4.1	資料前處理	25
3.5	深度學習模型參數設定	27
 第四章 資料分析與實驗結果	29
4.1	實驗與評估方式	29
4.2	傳統統計性模組結果	29
4.3	深度學習模組結果	31
4.4	兩大模組比較結果	42
 第五章 結論與建議	44
5.1	結論	44
5.2	研究貢獻	44
5.3	管理意涵	44
5.4	研究限制	45
5.5	未來研究方向	45
 參考文獻	46
 
圖目錄
圖1 論文架構	3
圖2 人工智慧、機器學習、深度學習三者關係	12
圖3 RNN架構圖	14
圖4 LSTM架構圖	15
圖5 GRU架構圖	16
圖6 seq2seq架構圖	17
圖7 系統發展為核心的研究生命週期圖	20
圖8 系統發展方法論流程圖	20
圖9 本研究架構圖	21
圖10 WOS資料庫收集資料資料之流程	24
圖11 原始資料集樣貌	24
圖12 自動文本摘要示意圖	25
圖13 資料集縮減及分割五折之示意圖	26
圖14 Keras及TensorFlow架構圖	27
圖15 傳統統計性模組流程圖	30
圖16 隨機5000筆訓練50000 epochs的loss值	33
圖17 隨機5000筆訓練100000 epochs的loss值	35
圖18 隨機10000筆訓練50000 epochs的loss值	37
圖19 Fold-1訓練50000 epochs的loss值	39
圖20 Fold-2訓練50000 epochs的loss值	39
圖21 Fold-3訓練50000 epochs的loss值	40
圖22 Fold-4訓練50000 epochs的loss值	40
圖23 Fold-5訓練50000 epochs的loss值	41
 
表目錄
表1 自動文本摘要之分類	6
表2 ROUGE-N之說明	8
表3 ROUGE-L之說明	8
表4 ROUGE-W之說明	9
表5 ROUGE-S之說明	10
表6 人工智慧類型分類及對應之測試方法	11
表7 摘要與標題的統計分析表	26
表8 深度學習模型參數表	28
表9 傳統統計性模組使用TF*IDF產生候選標題之評估結果	31
表10 隨機5000筆訓練50000 epochs的seq2seq模型產生候選標題之評估結果	33
表11 隨機5000筆訓練50000 epochs的seq2seq模型產生候選標題之部分結果	34
表12 隨機5000筆訓練100000 epochs的seq2seq模型產生候選標題之評估結果	35
表13 隨機5000筆訓練100000 epochs的seq2seq模型產生候選標題之部分結果	36
表14 隨機10000筆訓練50000 epochs的seq2seq模型產生候選標題之評估結果	37
表15 隨機10000筆訓練50000 epochs的seq2seq模型產生候選標題之部分結果	38
表16 深度學習模組產生摘要之評估結果	42
表17 兩大模組之評估結果	43
參考文獻
林大貴. (2017). TensorFlow+Keras深度學習人工智慧實務應用 (1 ed.): 博碩.
洪敬政. (2017). 情感分析研究的知識結構. 淡江大學, 
Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473. 
Baxendale, P. B. (1958). Machine-made index for technical literature—an experiment. IBM Journal of Research and Development, 2(4), 354-361. 
Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: a library for support vector machines. ACM transactions on intelligent systems and technology (TIST), 2(3), 27. 
Cho, K., Van Merriënboer, B., Bahdanau, D., & Bengio, Y. (2014). On the properties of neural machine translation: Encoder-decoder approaches. arXiv preprint arXiv:1409.1259. 
Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078. 
Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555. 
Das, D., & Martins, A. F. (2007). A survey on automatic text summarization. Literature Survey for the Language and Statistics II course at CMU, 4, 192-195. 
Edmundson, H. P. (1969). New methods in automatic extracting. Journal of the ACM (JACM), 16(2), 264-285. 
Gambhir, M., & Gupta, V. (2017). Recent automatic text summarization techniques: a survey. Artificial Intelligence Review, 47(1), 1-66. 
Graves, A., Mohamed, A.-r., & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Paper presented at the Acoustics, speech and signal processing (icassp), 2013 ieee international conference on.
Hinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. science, 313(5786), 504-507. 
Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. R. (2012). Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580. 
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. 
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444. doi:10.1038/nature14539
Lin, C.-Y. (2004). Rouge: A package for automatic evaluation of summaries. Paper presented at the Text summarization branches out: Proceedings of the ACL-04 workshop.
Luhn, H. P. (1958). The automatic creation of literature abstracts. IBM Journal of research and development, 2(2), 159-165. 
McCarthy, J. (1998). What is artificial intelligence? 
McCulloch, W. S., & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, 5(4), 115-133. 
Nenkova, A., & McKeown, K. (2012). A survey of text summarization techniques. Mining text data, 43-76. 
Nunamaker Jr, J. F., Chen, M., & Purdin, T. D. (1990). Systems development in information systems research. Journal of management information systems, 7(3), 89-106. 
Olah, C. (2015). Understanding lstm networks. GITHUB blog, posted on August, 27, 2015. 
Piryani, R., Madhavi, D., & Singh, V. K. (2017). Analytical mapping of opinion mining and sentiment analysis research during 2000–2015. Information Processing & Management, 53(1), 122-150. 
Radev, D. R., Hovy, E., & McKeown, K. (2002). Introduction to the special issue on summarization. Computational linguistics, 28(4), 399-408. 
Rumelhart, D., Hinton, G., & Williams, R. (1986). Learning internal representation by back propagation. Parallel distributed processing: exploration in the microstructure of cognition, 1. 
Russell, S. J., & Norvig, P. (2010). Artificial intelligence: a modern approach (3 ed.): Prentice hall Upper Saddle River.
Sondak, N. E., & Sondak, V. K. (1989). Neural networks and artificial intelligence. Paper presented at the ACM SIGCSE Bulletin.
Specht, D. F. (1991). A general regression neural network. IEEE transactions on neural networks, 2(6), 568-576. 
Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Paper presented at the Advances in neural information processing systems.
Utgoff, P. E., & Stracuzzi, D. J. (2002). Many-layered learning. Neural Computation, 14(10), 2497-2529. 
Zaccone, G. (2016). Getting Started with TensorFlow: Packt Publishing Ltd.
Zheng, X., Chen, H., & Xu, T. (2013). Deep Learning for Chinese Word Segmentation and POS Tagging. Paper presented at the EMNLP.
論文全文使用權限
校內
校內紙本論文立即公開
同意電子論文全文授權校園內公開
校內電子論文立即公開
校外
同意授權
校外電子論文立即公開

如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信