近年來交談機器人(ChatBot)已成為各領域所廣泛運用的技術之一。為了與用戶有更好要互動，提升交談機器人在對話時的溫度，也變成各交談機器人的課題之一。 
本研究的對話模型使用檢索式模型與生成式模型做為主要對話訓練模型，情感分析模型則是使用MLP、LSTM與BiLSTM三種模型，以Word2Vec與Semantic做為相似度模型的比較，最後將對話模型、情感分析模型與相似度模型三種模型整合比較。本研究也提出情感對話機器人指數(Affective Conversational Robot Index; ACR Index)做為評估情感對話機器人的標準，最後實驗結果顯示情感分析預測上情感分析模型使用BiLSTM，相似度模型使用Word2Vec，對話模型使用檢索式模型的對話效果最為出色。

The ChatBot has become one of technologies using in various applications. For better interaction between ChatBot and user, programing the humanity in Chatbot is one of main subject in this application.
	This research uses the Retrieval-base model & Generative Model for main dialogue developing model. In sentiment analysis model, use MLP, LSTM and BiLSTM for training. Comparison between similarity models are based on Word2Vec and Semantic. At the end, summarize the dialogue model, sentiment analysis model and similarity model. Besides, this study applies ACR Index as standard for evaluating affective dialogue. The study result demonstrates sentiment analysis model using BiLSTM has the most outstanding feedback in sentiment analysis prediction. Similarity model using Word2Vec and Dialogue model using Retrieval-base model have better dialogue effect.

目錄
第一章	緒論	1
1.1	研究背景與動機	1
1.2	研究目的	2
1.3	論文架構	2
第二章	文獻探討	4
2.1	交談機器人(Chat bot)	4
2.1.1	ELIZA	4
2.1.2	A.L.I.C.E.	6
2.1.3	Facebook Messenger Platform	7
2.2	對話機器人模型(ChatBot Model)	9
2.2.1	模版式模型(Rule/Template Based Model)	9
2.2.2	檢索式模型(Information Retrieval Based Model)	10
2.2.3	生成式模型(Generative Based Model)	11
2.3	自然語言處理(Natural Language Processing)	12
2.4	情感分析(Sentiment Analysis)	13
2.5	本章小結	14
第三章	研究方法與系統架構	15
3.1	研究方法	15
3.2	研究架構	18
3.3	語料庫收集	19
3.4	資料前處理	22
3.5	檢索式模型架構	26
3.6	生成式模型架構	29
3.6.1.	深度學習架構 TensorFlow	30
3.6.2.	活化函數(Activation Function)	30
3.6.3.	優化器(Optimizer)	31
3.7	情感分析模型	32
3.7.1.	多層感知機 (Multilayer Perceptron MLP)	32
3.7.2.	雙向長短記憶(Bi-Directional LSTM)	33
3.8	相似度模型	34
3.8.1.	Word2Vec 相似度	35
3.8.2.	語意相似度(Semantic Similarity)	35
第四章	資料分析與實驗結果	38
4.1.	情感預測模型	38
4.2.	相似度分析模型	45
4.2.1.	Word2Vec相似度模型產生	45
4.2.2.	語意相似度模型產生	46
4.2.3.	相似度模型評估	48
4.3.	對話模型	49
4.3.1.	資訊檢索對話模型產生	49
4.3.2.	生成對話模型產生	51
4.4.	情緒回覆實驗	53
4.4.1.	情緒回覆實驗評估方式	53
4.4.2.	情緒回覆實驗結果	54
4.5.	情感對話實驗	54
4.5.1.	情感對話實驗評估方式	54
4.5.2.	情感對話實驗結果	56
4.6.	增強式情感對話生成式模型	58
4.6.1.	增強式情感對話生成式模型方法	59
4.6.2.	增強式情感對話生成式模型實驗結果	61
第五章	結論與建議	63
5.1.	結論	63
5.2.	研究貢獻	64
5.3.	管理意涵	64
5.4.	研究限制	65
5.5.	未來研究方向	66
參考文獻	 67



















表目錄
表 1 Eliza典型對話結果	5
表 2問答的AMIL CODE	6
表 3 情感分類表	21
表 4語料庫資料分析表	24
表 5 情緒分析資料表	25
表 6 對話情緒分析表	26
表 7 情感預測模型 MLP訓練模型參數表	39
表 8 情感預測模型 LSTM訓練模型參數表	41
表 9 情感預測模型 BiLSTM訓練模型參數表	43
表 10 各情感預測模型損失值與準確率匯總表	44
表 11 相似度模型評分表	48
表 12 生成式對話 訓練模型參數表	51
表 13 情緒回覆實驗評分表	54
表 14 情感對話評分分類表	55
表 15 情感對話機器人一致性評估表	56
表 16 情感對話機器人總評分比較表	57
表 17 生成式模型得分評估表	58
表 18 相似度評估表	59
表 19 增強式情感對話機器人一致性評估表	62
表 20 增強式情感對話機器人總評分比較表	62




圖目錄
圖 1人工智慧情感對話機器人 論文架構圖流程圖	3
圖 2 AIML取得使用者對話範例	7
圖 3 FaceBook Messenger Platform 網站功能介紹圖	8
圖 4 Facebook Messenger 商務交談畫面	9
圖 5 Rule based 簡單規則集範例	10
圖 6文字資訊檢索的流程	11
圖 7長短記憶網路記憶單元架構圖	12
圖 8系統發展研究法生命週期循環圖	16
圖 9系統發展研究法 系統開發流程圖	17
圖 10人工智慧情感交談機器人系統研究架構圖	18
圖 11 NTCIR STC3 語料庫下載網址	20
圖 12 STC3語料庫原始檔案	20
圖 13 2017 NLPCC 料語庫原始檔案	21
圖 14資料前處理流程圖	22
圖 15語系轉換示意圖	23
圖 16結構化後語料庫資訊	23
圖 17資料清理呈現圖	24
圖 18 STC3&NLPCC Token 長度分佈圖	25
圖 19對話情緒百分比長條圖	26
圖 20 Solr 檢索式搜尋平台管理畫面	27
圖 21 Solr 檢索式搜尋結果	28
圖 22情感對話機器人檢索式模型架構圖	28
圖 23情感對話機器人生成式模型流程圖	29
圖 24 ReLU活化函數圖	31
圖 25情感預測模型流程圖	32
圖 26多層感知機神經網絡示意圖	33
圖 27長短記憶網路架構	33
圖 28 BiLSTM神經網路示意圖	34
圖 29研究語料庫轉換詞向量之流程圖	35
圖 30語意相似度模型轉換示意圖	36
圖 31語意相似度模型混淆矩陣得分圖	36
圖 32多層感知機 模型訓練過程	39
圖 33多層感知機各類別準確率的混淆矩陣圖	40
圖 34長短記憶模型訓練過程	41
圖 35長短記憶模型各類別準確率的混淆矩陣	42
圖 36雙向長短記憶模型訓練過程	43
圖 37雙向長短記憶各類別準確率的混淆矩陣圖	44
圖 38維基百科文檔於Word2Vec 訓練過程	45
圖 39 Word2Vec相似度模型驗證圖	46
圖 40英文語意相似度模型驗證結果	47
圖 41中文語意相似度模型驗證結果	47
圖 42相似度模型評分長條圖	49
圖 43檢索式對話模型產出對話	50
圖 44語句截長補短示意圖	51
圖 45生成式模型訓練趨勢圖	52
圖 46生成式對話模型產出對話	52
圖 47情緒回覆實驗評估對話	53
圖 48情感對話評分示意圖	55
圖 49生成式對話模型產生對話	58
圖 50生成式模型得分分佈長條圖	59
圖 51相似度成長曲線圖	60
圖 52增強生成式模型情感對話產生範例圖	61

Abraham, A. (2005). Rule‐Based expert systems. Handbook of measuring system design. 
Alice. (2002). A.L.I.C.E AI Foundation. Retrieved from http://www.Alicebot.org/.
Chowdhury, G. G. (2003). Natural language processing. Annual review of information science and technology, 37(1), 51-89. 
Facebook. (2018). Facebook for Developers. Retrieved from https://developers.facebook.com/
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. 
Jaakkola, T., & Haussler, D. (1999). Exploiting generative models in discriminative classifiers. Paper presented at the Advances in neural information processing systems.
Jozefowicz, R., Zaremba, W., & Sutskever, I. (2015). An empirical exploration of recurrent network architectures. Paper presented at the International Conference on Machine Learning.
Jurafsky, D., & Martin, J. H. (2014). Speech and language processing (Vol. 3): Pearson London:.
Liu, B. (2012). Sentiment analysis and opinion mining. Synthesis lectures on human language technologies, 5(1), 1-167. 
Mauldin, M. L. (1994). Chatterbots, tinymuds, and the turing test: Entering the loebner prize competition. Paper presented at the AAAI.
Nasukawa, T., & Yi, J. (2003). Sentiment analysis: Capturing favorability using natural language processing. Paper presented at the Proceedings of the 2nd international conference on Knowledge capture.
Olah, C. (2015). Understanding LSTM Networks. 
Prendinger, H., & Ishizuka, M. (2005). The empathic companion: A character-based interface that addresses users'affective states. Applied Artificial Intelligence, 19(3-4), 267-285. 
Quan, C., & Ren, F. (2009). Construction of a blog emotion corpus for Chinese emotional expression analysis. Paper presented at the Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 3-Volume 3.
Wallace, R. (2003). The Elements of AIML Style. ALICE Artificial Intelligence Foundation. In: Inc.
Wallace, R., Tomabechi, H., & Aimless, D. (2003). Chatterbots Go Native: Considerations for an eco-system fostering the development of artificial life forms in a human world. Published online: http://www. pandorabots. com/pandora/pics/chatterbotsgonative. doc. 
Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45. 
Wu, Y., Wu, W., Xing, C., Zhou, M., & Li, Z. (2017). Sequential matching network: A new architecture for multi-turn response selection in retrieval-based chatbots. Paper presented at the Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers).
Zhang, H., Lan, Y., Guo, J., Xu, J., & Cheng, X. (2018). Reinforcing Coherence for Sequence to Sequence Model in Dialogue Generation. Paper presented at the IJCAI.