淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-3008201811273600
中文論文名稱 人工智慧自動文本摘要研究
英文論文名稱 A Study of Artificial Intelligence for Automatic Text Summarization
校院名稱 淡江大學
系所名稱(中) 資訊管理學系碩士班
系所名稱(英) Department of Information Management
學年度 106
學期 2
出版年 107
研究生中文姓名 陳昭妤
研究生英文姓名 Chao-Yu Chen
學號 606630027
學位類別 碩士
語文別 中文
口試日期 2018-06-02
論文頁數 47頁
口試委員 指導教授-戴敏育
委員-劉嘉傑
委員-梁恩輝
委員-戴敏育
中文關鍵字 人工智慧  序列到序列  自動文本摘要  深度學習  遞迴類神經網路 
英文關鍵字 Artificial Intelligence  Sequence-to-Sequence  Automatic Text Summarization  Deep Learning  Recurrent Neural Networks 
學科別分類
中文摘要 隨著時代改變與技術發展,人們接收到的資訊量大增,協助人們快速抓取到關鍵變成是一大重點。自動文本摘要便是其中一大議題,依據文本的類型、摘要生成的方式、目標摘要的形式以及軟硬體技術的支援程度不同來決定使用的理論與技術。過去的文獻中較少以深度學習技術來解決產生標題(短摘要)的問題,因此本研究欲檢驗深度學習應用於短摘要生成的效果。
本研究使用WOS資料庫來收集49724筆情感分析相關的論文資料,使用前處理後的論文摘要與標題來訓練兩種不同方法建置的模組,並以ROUGE評估與標準標題的相似度。
經由本研究兩大模組的比較,可發現傳統統計性模組於ROUGE-1及ROUGE-L的表現較佳,而深度學習模組在ROUGE-2以及各種評估機制的精確度較佳。
英文摘要 Automatic text summarization has played a critical role in helping people obtain key information from increasing huge data with the advantaged development of technology. In the past, few literatures are related to solve the problem of generating titles (short summaries) by using artificial intelligence (AI). The purpose of this study is that we proposed an AI approach for automatic text summarization. We developed an AI text summarization system architecture with two models, namely, statistical model, and deep learning model as well as evaluating the performance of two models. Essay titles and essay abstracts are used to train artificial intelligence deep learning model to generate the candidate titles and evaluated by ROUGE for performance evaluation. We used 5-fold cross evaluation to evaluate the performance. In ROUGE-1 and ROUGE-L, the performance of statistical model is better. In ROGUGE-2, the performance of deep learning model is better. The contribution of this paper is that we proposed an AI automatic text summarization system by applying deep learning to generate short summaries from the titles and abstracts of the Web of Science (WOS) database.
論文目次 目錄
第一章 緒論 1
1.1 研究背景 1
1.2 研究動機 1
1.3 研究目的 2
1.4 研究架構 2
第二章 文獻探討 4
2.1 文本摘要 (Text Summarization) 4
2.1.1 文本摘要技術及主要方法 7
2.1.2 文本摘要評估方法-ROUGE 7
2.2 人工智慧 (Artificial Intelligence) 10
2.2.1 類神經網路 (Artificial Neural Network) 13
2.2.2 深度學習 (Deep Learning) 13
2.2.3 遞迴神經網路 (Recurrent Neural Network) 14
一、 長短期記憶 (Long Short-Term Memory) 15
二、 閘循環單元 (Gate Recurrent Unit) 16
三、 序列到序列 (Sequence-to-sequence) 16
2.3 本章小結 17
第三章 研究方法與系統架構 19
3.1 研究方法 19
3.2 研究架構 21
3.3 資料收集來源說明 22
3.4 資料集 23
3.4.1 資料前處理 25
3.5 深度學習模型參數設定 27
第四章 資料分析與實驗結果 29
4.1 實驗與評估方式 29
4.2 傳統統計性模組結果 29
4.3 深度學習模組結果 31
4.4 兩大模組比較結果 42
第五章 結論與建議 44
5.1 結論 44
5.2 研究貢獻 44
5.3 管理意涵 44
5.4 研究限制 45
5.5 未來研究方向 45
參考文獻 46

圖目錄
圖1 論文架構 3
圖2 人工智慧、機器學習、深度學習三者關係 12
圖3 RNN架構圖 14
圖4 LSTM架構圖 15
圖5 GRU架構圖 16
圖6 seq2seq架構圖 17
圖7 系統發展為核心的研究生命週期圖 20
圖8 系統發展方法論流程圖 20
圖9 本研究架構圖 21
圖10 WOS資料庫收集資料資料之流程 24
圖11 原始資料集樣貌 24
圖12 自動文本摘要示意圖 25
圖13 資料集縮減及分割五折之示意圖 26
圖14 Keras及TensorFlow架構圖 27
圖15 傳統統計性模組流程圖 30
圖16 隨機5000筆訓練50000 epochs的loss值 33
圖17 隨機5000筆訓練100000 epochs的loss值 35
圖18 隨機10000筆訓練50000 epochs的loss值 37
圖19 Fold-1訓練50000 epochs的loss值 39
圖20 Fold-2訓練50000 epochs的loss值 39
圖21 Fold-3訓練50000 epochs的loss值 40
圖22 Fold-4訓練50000 epochs的loss值 40
圖23 Fold-5訓練50000 epochs的loss值 41

表目錄
表1 自動文本摘要之分類 6
表2 ROUGE-N之說明 8
表3 ROUGE-L之說明 8
表4 ROUGE-W之說明 9
表5 ROUGE-S之說明 10
表6 人工智慧類型分類及對應之測試方法 11
表7 摘要與標題的統計分析表 26
表8 深度學習模型參數表 28
表9 傳統統計性模組使用TF*IDF產生候選標題之評估結果 31
表10 隨機5000筆訓練50000 epochs的seq2seq模型產生候選標題之評估結果 33
表11 隨機5000筆訓練50000 epochs的seq2seq模型產生候選標題之部分結果 34
表12 隨機5000筆訓練100000 epochs的seq2seq模型產生候選標題之評估結果 35
表13 隨機5000筆訓練100000 epochs的seq2seq模型產生候選標題之部分結果 36
表14 隨機10000筆訓練50000 epochs的seq2seq模型產生候選標題之評估結果 37
表15 隨機10000筆訓練50000 epochs的seq2seq模型產生候選標題之部分結果 38
表16 深度學習模組產生摘要之評估結果 42
表17 兩大模組之評估結果 43
參考文獻 林大貴. (2017). TensorFlow+Keras深度學習人工智慧實務應用 (1 ed.): 博碩.
洪敬政. (2017). 情感分析研究的知識結構. 淡江大學,
Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.
Baxendale, P. B. (1958). Machine-made index for technical literature—an experiment. IBM Journal of Research and Development, 2(4), 354-361.
Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: a library for support vector machines. ACM transactions on intelligent systems and technology (TIST), 2(3), 27.
Cho, K., Van Merriënboer, B., Bahdanau, D., & Bengio, Y. (2014). On the properties of neural machine translation: Encoder-decoder approaches. arXiv preprint arXiv:1409.1259.
Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078.
Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555.
Das, D., & Martins, A. F. (2007). A survey on automatic text summarization. Literature Survey for the Language and Statistics II course at CMU, 4, 192-195.
Edmundson, H. P. (1969). New methods in automatic extracting. Journal of the ACM (JACM), 16(2), 264-285.
Gambhir, M., & Gupta, V. (2017). Recent automatic text summarization techniques: a survey. Artificial Intelligence Review, 47(1), 1-66.
Graves, A., Mohamed, A.-r., & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Paper presented at the Acoustics, speech and signal processing (icassp), 2013 ieee international conference on.
Hinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. science, 313(5786), 504-507.
Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. R. (2012). Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580.
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444. doi:10.1038/nature14539
Lin, C.-Y. (2004). Rouge: A package for automatic evaluation of summaries. Paper presented at the Text summarization branches out: Proceedings of the ACL-04 workshop.
Luhn, H. P. (1958). The automatic creation of literature abstracts. IBM Journal of research and development, 2(2), 159-165.
McCarthy, J. (1998). What is artificial intelligence?
McCulloch, W. S., & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, 5(4), 115-133.
Nenkova, A., & McKeown, K. (2012). A survey of text summarization techniques. Mining text data, 43-76.
Nunamaker Jr, J. F., Chen, M., & Purdin, T. D. (1990). Systems development in information systems research. Journal of management information systems, 7(3), 89-106.
Olah, C. (2015). Understanding lstm networks. GITHUB blog, posted on August, 27, 2015.
Piryani, R., Madhavi, D., & Singh, V. K. (2017). Analytical mapping of opinion mining and sentiment analysis research during 2000–2015. Information Processing & Management, 53(1), 122-150.
Radev, D. R., Hovy, E., & McKeown, K. (2002). Introduction to the special issue on summarization. Computational linguistics, 28(4), 399-408.
Rumelhart, D., Hinton, G., & Williams, R. (1986). Learning internal representation by back propagation. Parallel distributed processing: exploration in the microstructure of cognition, 1.
Russell, S. J., & Norvig, P. (2010). Artificial intelligence: a modern approach (3 ed.): Prentice hall Upper Saddle River.
Sondak, N. E., & Sondak, V. K. (1989). Neural networks and artificial intelligence. Paper presented at the ACM SIGCSE Bulletin.
Specht, D. F. (1991). A general regression neural network. IEEE transactions on neural networks, 2(6), 568-576.
Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Paper presented at the Advances in neural information processing systems.
Utgoff, P. E., & Stracuzzi, D. J. (2002). Many-layered learning. Neural Computation, 14(10), 2497-2529.
Zaccone, G. (2016). Getting Started with TensorFlow: Packt Publishing Ltd.
Zheng, X., Chen, H., & Xu, T. (2013). Deep Learning for Chinese Word Segmentation and POS Tagging. Paper presented at the EMNLP.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2018-08-30公開。
  • 同意授權瀏覽/列印電子全文服務,於2018-08-30起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2486 或 來信