系統識別號 | U0002-3008201811273600 |
---|---|
DOI | 10.6846/TKU.2018.00999 |
論文名稱(中文) | 人工智慧自動文本摘要研究 |
論文名稱(英文) | A Study of Artificial Intelligence for Automatic Text Summarization |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 資訊管理學系碩士班 |
系所名稱(英文) | Department of Information Management |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 106 |
學期 | 2 |
出版年 | 107 |
研究生(中文) | 陳昭妤 |
研究生(英文) | Chao-Yu Chen |
學號 | 606630027 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | |
口試日期 | 2018-06-02 |
論文頁數 | 47頁 |
口試委員 |
指導教授
-
戴敏育
委員 - 劉嘉傑 委員 - 梁恩輝 委員 - 戴敏育 |
關鍵字(中) |
人工智慧 序列到序列 自動文本摘要 深度學習 遞迴類神經網路 |
關鍵字(英) |
Artificial Intelligence Sequence-to-Sequence Automatic Text Summarization Deep Learning Recurrent Neural Networks |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
隨著時代改變與技術發展,人們接收到的資訊量大增,協助人們快速抓取到關鍵變成是一大重點。自動文本摘要便是其中一大議題,依據文本的類型、摘要生成的方式、目標摘要的形式以及軟硬體技術的支援程度不同來決定使用的理論與技術。過去的文獻中較少以深度學習技術來解決產生標題(短摘要)的問題,因此本研究欲檢驗深度學習應用於短摘要生成的效果。 本研究使用WOS資料庫來收集49724筆情感分析相關的論文資料,使用前處理後的論文摘要與標題來訓練兩種不同方法建置的模組,並以ROUGE評估與標準標題的相似度。 經由本研究兩大模組的比較,可發現傳統統計性模組於ROUGE-1及ROUGE-L的表現較佳,而深度學習模組在ROUGE-2以及各種評估機制的精確度較佳。 |
英文摘要 |
Automatic text summarization has played a critical role in helping people obtain key information from increasing huge data with the advantaged development of technology. In the past, few literatures are related to solve the problem of generating titles (short summaries) by using artificial intelligence (AI). The purpose of this study is that we proposed an AI approach for automatic text summarization. We developed an AI text summarization system architecture with two models, namely, statistical model, and deep learning model as well as evaluating the performance of two models. Essay titles and essay abstracts are used to train artificial intelligence deep learning model to generate the candidate titles and evaluated by ROUGE for performance evaluation. We used 5-fold cross evaluation to evaluate the performance. In ROUGE-1 and ROUGE-L, the performance of statistical model is better. In ROGUGE-2, the performance of deep learning model is better. The contribution of this paper is that we proposed an AI automatic text summarization system by applying deep learning to generate short summaries from the titles and abstracts of the Web of Science (WOS) database. |
第三語言摘要 | |
論文目次 |
目錄 第一章 緒論 1 1.1 研究背景 1 1.2 研究動機 1 1.3 研究目的 2 1.4 研究架構 2 第二章 文獻探討 4 2.1 文本摘要 (Text Summarization) 4 2.1.1 文本摘要技術及主要方法 7 2.1.2 文本摘要評估方法-ROUGE 7 2.2 人工智慧 (Artificial Intelligence) 10 2.2.1 類神經網路 (Artificial Neural Network) 13 2.2.2 深度學習 (Deep Learning) 13 2.2.3 遞迴神經網路 (Recurrent Neural Network) 14 一、 長短期記憶 (Long Short-Term Memory) 15 二、 閘循環單元 (Gate Recurrent Unit) 16 三、 序列到序列 (Sequence-to-sequence) 16 2.3 本章小結 17 第三章 研究方法與系統架構 19 3.1 研究方法 19 3.2 研究架構 21 3.3 資料收集來源說明 22 3.4 資料集 23 3.4.1 資料前處理 25 3.5 深度學習模型參數設定 27 第四章 資料分析與實驗結果 29 4.1 實驗與評估方式 29 4.2 傳統統計性模組結果 29 4.3 深度學習模組結果 31 4.4 兩大模組比較結果 42 第五章 結論與建議 44 5.1 結論 44 5.2 研究貢獻 44 5.3 管理意涵 44 5.4 研究限制 45 5.5 未來研究方向 45 參考文獻 46 圖目錄 圖1 論文架構 3 圖2 人工智慧、機器學習、深度學習三者關係 12 圖3 RNN架構圖 14 圖4 LSTM架構圖 15 圖5 GRU架構圖 16 圖6 seq2seq架構圖 17 圖7 系統發展為核心的研究生命週期圖 20 圖8 系統發展方法論流程圖 20 圖9 本研究架構圖 21 圖10 WOS資料庫收集資料資料之流程 24 圖11 原始資料集樣貌 24 圖12 自動文本摘要示意圖 25 圖13 資料集縮減及分割五折之示意圖 26 圖14 Keras及TensorFlow架構圖 27 圖15 傳統統計性模組流程圖 30 圖16 隨機5000筆訓練50000 epochs的loss值 33 圖17 隨機5000筆訓練100000 epochs的loss值 35 圖18 隨機10000筆訓練50000 epochs的loss值 37 圖19 Fold-1訓練50000 epochs的loss值 39 圖20 Fold-2訓練50000 epochs的loss值 39 圖21 Fold-3訓練50000 epochs的loss值 40 圖22 Fold-4訓練50000 epochs的loss值 40 圖23 Fold-5訓練50000 epochs的loss值 41 表目錄 表1 自動文本摘要之分類 6 表2 ROUGE-N之說明 8 表3 ROUGE-L之說明 8 表4 ROUGE-W之說明 9 表5 ROUGE-S之說明 10 表6 人工智慧類型分類及對應之測試方法 11 表7 摘要與標題的統計分析表 26 表8 深度學習模型參數表 28 表9 傳統統計性模組使用TF*IDF產生候選標題之評估結果 31 表10 隨機5000筆訓練50000 epochs的seq2seq模型產生候選標題之評估結果 33 表11 隨機5000筆訓練50000 epochs的seq2seq模型產生候選標題之部分結果 34 表12 隨機5000筆訓練100000 epochs的seq2seq模型產生候選標題之評估結果 35 表13 隨機5000筆訓練100000 epochs的seq2seq模型產生候選標題之部分結果 36 表14 隨機10000筆訓練50000 epochs的seq2seq模型產生候選標題之評估結果 37 表15 隨機10000筆訓練50000 epochs的seq2seq模型產生候選標題之部分結果 38 表16 深度學習模組產生摘要之評估結果 42 表17 兩大模組之評估結果 43 |
參考文獻 |
林大貴. (2017). TensorFlow+Keras深度學習人工智慧實務應用 (1 ed.): 博碩. 洪敬政. (2017). 情感分析研究的知識結構. 淡江大學, Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473. Baxendale, P. B. (1958). Machine-made index for technical literature—an experiment. IBM Journal of Research and Development, 2(4), 354-361. Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: a library for support vector machines. ACM transactions on intelligent systems and technology (TIST), 2(3), 27. Cho, K., Van Merriënboer, B., Bahdanau, D., & Bengio, Y. (2014). On the properties of neural machine translation: Encoder-decoder approaches. arXiv preprint arXiv:1409.1259. Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555. Das, D., & Martins, A. F. (2007). A survey on automatic text summarization. Literature Survey for the Language and Statistics II course at CMU, 4, 192-195. Edmundson, H. P. (1969). New methods in automatic extracting. Journal of the ACM (JACM), 16(2), 264-285. Gambhir, M., & Gupta, V. (2017). Recent automatic text summarization techniques: a survey. Artificial Intelligence Review, 47(1), 1-66. Graves, A., Mohamed, A.-r., & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Paper presented at the Acoustics, speech and signal processing (icassp), 2013 ieee international conference on. Hinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. science, 313(5786), 504-507. Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. R. (2012). Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444. doi:10.1038/nature14539 Lin, C.-Y. (2004). Rouge: A package for automatic evaluation of summaries. Paper presented at the Text summarization branches out: Proceedings of the ACL-04 workshop. Luhn, H. P. (1958). The automatic creation of literature abstracts. IBM Journal of research and development, 2(2), 159-165. McCarthy, J. (1998). What is artificial intelligence? McCulloch, W. S., & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, 5(4), 115-133. Nenkova, A., & McKeown, K. (2012). A survey of text summarization techniques. Mining text data, 43-76. Nunamaker Jr, J. F., Chen, M., & Purdin, T. D. (1990). Systems development in information systems research. Journal of management information systems, 7(3), 89-106. Olah, C. (2015). Understanding lstm networks. GITHUB blog, posted on August, 27, 2015. Piryani, R., Madhavi, D., & Singh, V. K. (2017). Analytical mapping of opinion mining and sentiment analysis research during 2000–2015. Information Processing & Management, 53(1), 122-150. Radev, D. R., Hovy, E., & McKeown, K. (2002). Introduction to the special issue on summarization. Computational linguistics, 28(4), 399-408. Rumelhart, D., Hinton, G., & Williams, R. (1986). Learning internal representation by back propagation. Parallel distributed processing: exploration in the microstructure of cognition, 1. Russell, S. J., & Norvig, P. (2010). Artificial intelligence: a modern approach (3 ed.): Prentice hall Upper Saddle River. Sondak, N. E., & Sondak, V. K. (1989). Neural networks and artificial intelligence. Paper presented at the ACM SIGCSE Bulletin. Specht, D. F. (1991). A general regression neural network. IEEE transactions on neural networks, 2(6), 568-576. Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Paper presented at the Advances in neural information processing systems. Utgoff, P. E., & Stracuzzi, D. J. (2002). Many-layered learning. Neural Computation, 14(10), 2497-2529. Zaccone, G. (2016). Getting Started with TensorFlow: Packt Publishing Ltd. Zheng, X., Chen, H., & Xu, T. (2013). Deep Learning for Chinese Word Segmentation and POS Tagging. Paper presented at the EMNLP. |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信