系統識別號 | U0002-1707201901010900 |
---|---|
DOI | 10.6846/TKU.2019.00506 |
論文名稱(中文) | 人工智慧情感對話機器人 |
論文名稱(英文) | Artificial Intelligence Affective Conversational Robot |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 資訊管理學系碩士在職專班 |
系所名稱(英文) | On-the-Job Graduate Program in Advanced Information Management |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 107 |
學期 | 2 |
出版年 | 108 |
研究生(中文) | 洪麒盛 |
研究生(英文) | Chi-Sheng Hung |
學號 | 706630257 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | 英文 |
口試日期 | 2019-06-01 |
論文頁數 | 69頁 |
口試委員 |
指導教授
-
戴敏育(myday@mail.tku.edu.tw)
委員 - 楊婉秀(wsyang@cc.ncue.edu.tw) 委員 - 魏世杰(sekewei@mail.tku.edu.tw) 委員 - 戴敏育(myday@mail.tku.edu.tw) |
關鍵字(中) |
對話機器人 情感分析 人工智慧 自然語言 深度學習 |
關鍵字(英) |
Artificial Intelligence ChatBot Deep Learning Natural Language Processing Sentiment Analysis |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
近年來交談機器人(ChatBot)已成為各領域所廣泛運用的技術之一。為了與用戶有更好要互動,提升交談機器人在對話時的溫度,也變成各交談機器人的課題之一。 本研究的對話模型使用檢索式模型與生成式模型做為主要對話訓練模型,情感分析模型則是使用MLP、LSTM與BiLSTM三種模型,以Word2Vec與Semantic做為相似度模型的比較,最後將對話模型、情感分析模型與相似度模型三種模型整合比較。本研究也提出情感對話機器人指數(Affective Conversational Robot Index; ACR Index)做為評估情感對話機器人的標準,最後實驗結果顯示情感分析預測上情感分析模型使用BiLSTM,相似度模型使用Word2Vec,對話模型使用檢索式模型的對話效果最為出色。 |
英文摘要 |
The ChatBot has become one of technologies using in various applications. For better interaction between ChatBot and user, programing the humanity in Chatbot is one of main subject in this application. This research uses the Retrieval-base model & Generative Model for main dialogue developing model. In sentiment analysis model, use MLP, LSTM and BiLSTM for training. Comparison between similarity models are based on Word2Vec and Semantic. At the end, summarize the dialogue model, sentiment analysis model and similarity model. Besides, this study applies ACR Index as standard for evaluating affective dialogue. The study result demonstrates sentiment analysis model using BiLSTM has the most outstanding feedback in sentiment analysis prediction. Similarity model using Word2Vec and Dialogue model using Retrieval-base model have better dialogue effect. |
第三語言摘要 | |
論文目次 |
目錄 第一章 緒論 1 1.1 研究背景與動機 1 1.2 研究目的 2 1.3 論文架構 2 第二章 文獻探討 4 2.1 交談機器人(Chat bot) 4 2.1.1 ELIZA 4 2.1.2 A.L.I.C.E. 6 2.1.3 Facebook Messenger Platform 7 2.2 對話機器人模型(ChatBot Model) 9 2.2.1 模版式模型(Rule/Template Based Model) 9 2.2.2 檢索式模型(Information Retrieval Based Model) 10 2.2.3 生成式模型(Generative Based Model) 11 2.3 自然語言處理(Natural Language Processing) 12 2.4 情感分析(Sentiment Analysis) 13 2.5 本章小結 14 第三章 研究方法與系統架構 15 3.1 研究方法 15 3.2 研究架構 18 3.3 語料庫收集 19 3.4 資料前處理 22 3.5 檢索式模型架構 26 3.6 生成式模型架構 29 3.6.1. 深度學習架構 TensorFlow 30 3.6.2. 活化函數(Activation Function) 30 3.6.3. 優化器(Optimizer) 31 3.7 情感分析模型 32 3.7.1. 多層感知機 (Multilayer Perceptron MLP) 32 3.7.2. 雙向長短記憶(Bi-Directional LSTM) 33 3.8 相似度模型 34 3.8.1. Word2Vec 相似度 35 3.8.2. 語意相似度(Semantic Similarity) 35 第四章 資料分析與實驗結果 38 4.1. 情感預測模型 38 4.2. 相似度分析模型 45 4.2.1. Word2Vec相似度模型產生 45 4.2.2. 語意相似度模型產生 46 4.2.3. 相似度模型評估 48 4.3. 對話模型 49 4.3.1. 資訊檢索對話模型產生 49 4.3.2. 生成對話模型產生 51 4.4. 情緒回覆實驗 53 4.4.1. 情緒回覆實驗評估方式 53 4.4.2. 情緒回覆實驗結果 54 4.5. 情感對話實驗 54 4.5.1. 情感對話實驗評估方式 54 4.5.2. 情感對話實驗結果 56 4.6. 增強式情感對話生成式模型 58 4.6.1. 增強式情感對話生成式模型方法 59 4.6.2. 增強式情感對話生成式模型實驗結果 61 第五章 結論與建議 63 5.1. 結論 63 5.2. 研究貢獻 64 5.3. 管理意涵 64 5.4. 研究限制 65 5.5. 未來研究方向 66 參考文獻 67 表目錄 表 1 Eliza典型對話結果 5 表 2問答的AMIL CODE 6 表 3 情感分類表 21 表 4語料庫資料分析表 24 表 5 情緒分析資料表 25 表 6 對話情緒分析表 26 表 7 情感預測模型 MLP訓練模型參數表 39 表 8 情感預測模型 LSTM訓練模型參數表 41 表 9 情感預測模型 BiLSTM訓練模型參數表 43 表 10 各情感預測模型損失值與準確率匯總表 44 表 11 相似度模型評分表 48 表 12 生成式對話 訓練模型參數表 51 表 13 情緒回覆實驗評分表 54 表 14 情感對話評分分類表 55 表 15 情感對話機器人一致性評估表 56 表 16 情感對話機器人總評分比較表 57 表 17 生成式模型得分評估表 58 表 18 相似度評估表 59 表 19 增強式情感對話機器人一致性評估表 62 表 20 增強式情感對話機器人總評分比較表 62 圖目錄 圖 1人工智慧情感對話機器人 論文架構圖流程圖 3 圖 2 AIML取得使用者對話範例 7 圖 3 FaceBook Messenger Platform 網站功能介紹圖 8 圖 4 Facebook Messenger 商務交談畫面 9 圖 5 Rule based 簡單規則集範例 10 圖 6文字資訊檢索的流程 11 圖 7長短記憶網路記憶單元架構圖 12 圖 8系統發展研究法生命週期循環圖 16 圖 9系統發展研究法 系統開發流程圖 17 圖 10人工智慧情感交談機器人系統研究架構圖 18 圖 11 NTCIR STC3 語料庫下載網址 20 圖 12 STC3語料庫原始檔案 20 圖 13 2017 NLPCC 料語庫原始檔案 21 圖 14資料前處理流程圖 22 圖 15語系轉換示意圖 23 圖 16結構化後語料庫資訊 23 圖 17資料清理呈現圖 24 圖 18 STC3&NLPCC Token 長度分佈圖 25 圖 19對話情緒百分比長條圖 26 圖 20 Solr 檢索式搜尋平台管理畫面 27 圖 21 Solr 檢索式搜尋結果 28 圖 22情感對話機器人檢索式模型架構圖 28 圖 23情感對話機器人生成式模型流程圖 29 圖 24 ReLU活化函數圖 31 圖 25情感預測模型流程圖 32 圖 26多層感知機神經網絡示意圖 33 圖 27長短記憶網路架構 33 圖 28 BiLSTM神經網路示意圖 34 圖 29研究語料庫轉換詞向量之流程圖 35 圖 30語意相似度模型轉換示意圖 36 圖 31語意相似度模型混淆矩陣得分圖 36 圖 32多層感知機 模型訓練過程 39 圖 33多層感知機各類別準確率的混淆矩陣圖 40 圖 34長短記憶模型訓練過程 41 圖 35長短記憶模型各類別準確率的混淆矩陣 42 圖 36雙向長短記憶模型訓練過程 43 圖 37雙向長短記憶各類別準確率的混淆矩陣圖 44 圖 38維基百科文檔於Word2Vec 訓練過程 45 圖 39 Word2Vec相似度模型驗證圖 46 圖 40英文語意相似度模型驗證結果 47 圖 41中文語意相似度模型驗證結果 47 圖 42相似度模型評分長條圖 49 圖 43檢索式對話模型產出對話 50 圖 44語句截長補短示意圖 51 圖 45生成式模型訓練趨勢圖 52 圖 46生成式對話模型產出對話 52 圖 47情緒回覆實驗評估對話 53 圖 48情感對話評分示意圖 55 圖 49生成式對話模型產生對話 58 圖 50生成式模型得分分佈長條圖 59 圖 51相似度成長曲線圖 60 圖 52增強生成式模型情感對話產生範例圖 61 |
參考文獻 |
Abraham, A. (2005). Rule‐Based expert systems. Handbook of measuring system design. Alice. (2002). A.L.I.C.E AI Foundation. Retrieved from http://www.Alicebot.org/. Chowdhury, G. G. (2003). Natural language processing. Annual review of information science and technology, 37(1), 51-89. Facebook. (2018). Facebook for Developers. Retrieved from https://developers.facebook.com/ Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. Jaakkola, T., & Haussler, D. (1999). Exploiting generative models in discriminative classifiers. Paper presented at the Advances in neural information processing systems. Jozefowicz, R., Zaremba, W., & Sutskever, I. (2015). An empirical exploration of recurrent network architectures. Paper presented at the International Conference on Machine Learning. Jurafsky, D., & Martin, J. H. (2014). Speech and language processing (Vol. 3): Pearson London:. Liu, B. (2012). Sentiment analysis and opinion mining. Synthesis lectures on human language technologies, 5(1), 1-167. Mauldin, M. L. (1994). Chatterbots, tinymuds, and the turing test: Entering the loebner prize competition. Paper presented at the AAAI. Nasukawa, T., & Yi, J. (2003). Sentiment analysis: Capturing favorability using natural language processing. Paper presented at the Proceedings of the 2nd international conference on Knowledge capture. Olah, C. (2015). Understanding LSTM Networks. Prendinger, H., & Ishizuka, M. (2005). The empathic companion: A character-based interface that addresses users'affective states. Applied Artificial Intelligence, 19(3-4), 267-285. Quan, C., & Ren, F. (2009). Construction of a blog emotion corpus for Chinese emotional expression analysis. Paper presented at the Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 3-Volume 3. Wallace, R. (2003). The Elements of AIML Style. ALICE Artificial Intelligence Foundation. In: Inc. Wallace, R., Tomabechi, H., & Aimless, D. (2003). Chatterbots Go Native: Considerations for an eco-system fostering the development of artificial life forms in a human world. Published online: http://www. pandorabots. com/pandora/pics/chatterbotsgonative. doc. Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45. Wu, Y., Wu, W., Xing, C., Zhou, M., & Li, Z. (2017). Sequential matching network: A new architecture for multi-turn response selection in retrieval-based chatbots. Paper presented at the Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Zhang, H., Lan, Y., Guo, J., Xu, J., & Cheng, X. (2018). Reinforcing Coherence for Sequence to Sequence Model in Dialogue Generation. Paper presented at the IJCAI. |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信