近年來因社群網路的興起，人們互相分享資訊造就社群網路成為大數據提供者，過載的資訊量也增加網路使用者分析與消化資訊的困難度。本研究實作一產品評論的正負評價分類系統，目標在於分析社群網路上海量的商品評論訊息，找出實際有用的資訊並以正負評價做為分類。此系統以社群網站上針對商品的相關評論為資料來源，再透過自然語言處理技術將文本資料轉換為電腦可以理解的詞向量，接下來用深度學習與情緒分析技術將評論內容做正負評價分類。
　　本研究使用Jieba做為中文斷詞工具，並使用word2vec訓練詞向量模型及文本的特徴提取，再使用PCA降低資料維度，最後使用SVM、MLP、LSTM三種不同的深度學習方法，進行評論的正負評價分類，在實驗過程中嘗試調整各項參數值進行多次訓練，再交叉比對實驗結果以找出最佳的深度學習方法及參數設定，以訓練出更有效的深度學習模型。由實驗結果得出LSTM在文本分類的精確度優於另外兩個方法，且不易受參數調整影響，是相對穩定的分類模型。

In recent years, with the increasing popularity of social networking, the way that people share information with each other lets social networks become a big data provider. Overloaded information also increases the difficulty for users to analyze information. This study is aimed to analyze a large number of product reviews on the social network and find useful information on evaluation classification by means of building positive and negative comments for product reviews.
　　This dataset is a product review on Taobao.com, and then we convert text data into word vectors using natural language processing techniques. At last, we use machine or deep learning technique to classify the comments as positive and negative evaluations. This study employs Jieba Chinese word segmentation tool and extracts the features of word2vec training word vector model and text. Finally, we classify the positive and negative comments by using three different machine or deep learning methods, SVM, MLP and LSTM. In the experiments, we try to adjust the parameters and conduct numerous cross-matching to the experimental results in order to find the best machine learning method and parameters assignment as well as to train this system with more effective machine or deep learning model.

目錄
第1章	緒論	1
1.1	研究背景與動機	1
1.2	研究目的	2
1.3	論文架構	2
第2章	文獻研究	3
2.1	詞嵌入技術	3
2.1.1	Word2Vec	4
2.1.2	GloVe	5
2.2	支援向量機	6
2.3	多層感知機	11
2.4	長短時記憶網路	13
第3章	研究方法	16
3.1	系統架構	16
3.2	資料前處理	17
3.2.1	編碼處理	17
3.2.2	去除雜訊	17
3.2.3	中文斷詞	17
3.3	詞向量及特徴提取	18
3.4	降維	20
3.5	文本分類	20
3.6	分類結果衝量指標	22
3.6.1	混淆矩陣	22
3.6.2	ROC曲線和AUC數值	24
第4章	實驗與分析	26
4.1	實驗環境	26
4.2	實驗資料集	26
4.3	實驗結果	27
4.3.1	實驗一 支援向量機	28
4.3.2	實驗二 多層感知機	29
4.3.3	實驗三 長短時記憶網路	32
4.4	實驗結果分析與比較	34
第5章	結論	38
參考文獻	39
1.	中文文獻	39
2.	英文文獻	39
英文論文	42

圖目錄
圖一 CBOW and Skip-gram架構示意圖	4
圖二 SVM示意圖	7
圖三 SVM示意圖	8
圖四 包含一層隱藏層的MLP	11
圖五 RNN結構示意圖	13
圖六 LSTM架構說明[14]	14
圖七 系統架構圖	16
圖八 ROC曲線示意圖[20]	24
圖九 PCA曲線圖	27
圖十 SVM分類的ROC曲線圖(AUC=0.93)	29
圖十一 MLP分類的ROC曲線圖(AUC=0.97)	30
圖十二 MLP分類的acc曲線圖	31
圖十三 MLP分類的loss曲線圖	31
圖十四 LSTM分類的ROC曲線圖(AUC=0.99)	33
圖十五 LSTM分類的acc曲線圖	33
圖十六 LSTM分類的loss曲線圖	34
圖十七 ROC曲線圖彙整	36

表目錄
表格一 評論使用Jieba斷詞結果	18
表格二 評論轉換成特徵詞向量結果	19
表格三 分類結果衝量指標(混淆矩陣)	22
表格四 AUC數值判別規則	25
表格五 SVM參數調整與分類精確度的影響	28
表格六 SVM分類結果(混淆矩陣)	28
表格七 MLP參數調整與分類精確度的影響	30
表格八 MLP分類結果(混淆矩陣)	30
表格九 LSTM參數調整與分類精確度的影響	32
表格十 LSTM分類結果(混淆矩陣)	32
表格十一 實驗結果彙整表	35

1.	中文文獻
[1]	苏良刚，< lstm-sentiment-analysis >，網址：https://github.com/Elliottssu/lstm-sentiment-analysis，上網日期：2019年5月3日。
[2]	李政霖，《即時空氣品質動態監測系統結合LSTM模型預測PM2.5濃度之應用》，碩士論文，國立臺北科技大學電機工程系，2019。
[3]	洪進國，《基於社群媒體深度學習與情感分析之個人化推薦方法之研究》，博士論文，朝陽科技大學資訊管理系，2018。
[4]	高彦琳、战学刚、迟呈英，〈基于CNN-LSTM模型的情感分析研究〉，辽宁科技大学学报，第41卷，第6期，2018。
[5]	雷明，《机器学习与应用》，清华大学出版社，2018。

2.	英文文獻
[6]	David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, Learning Internal Representations by Error Propagation, MIT Press Cambridge, 1987.
[7]	TeuvoKohonen, “An introduction to neural computing,” Neural Networks, vol. 1, no. 1, pp. 3 - 16, 1988.
[8]	Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin, “A Neural Probabilistic Language Model,” Machine Learning Research, vol. 3, pp. 1137 - 1155, 2003.
[9]	Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, “Efficient Estimation of Word Representations inVector Space,” Proceedings of the International Conference on Learning Representations, 2013.
[10]	Jeffrey Pennington, Richard Socher, Christopher D. Manning, “GloVe: Global Vectors for Word Representation,” Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2014.
[11]	Corinna Cortes, Vladimir Vapnik, “Machine Learning,” Support vector networks, vol. 20, no. 3, pp. 25, 1995.
[12]	F. Rosenblatt, “The Perceptron: A Probabilistic Model for Information Storage and Organization in The Brain,” Psychological Review, vol. 65, no. 6, pp. 386 - 408, 1958.
[13]	Sepp Hochreiter, Jürgen Schmidhuber, “Long Short-Term Memory,” Neural Computation, vol. 9, no. 8, pp. 1735 - 1780, 1997.
[14]	deepsystems.ai, Evolution: from vanilla RNN to GRU & LSTMs. https://docs.google.com/presentation/d/1UHXrKL1oTdgMLoAHHPfMM_srDO0BCyJXPmhe4DNh_G8/pub?start=false&loop=false&delayms=3000#slide=id.g24de73a70b_0_0 , accessed 2019/5/11.
[15]	Yarin Gal, Zoubin Ghahramani, “A Theoretically Grounded Application of Dropout in Recurrent Neural Networks,” NIPS'16 Proceedings of the 30th International Conference on Neural Information Processing Systems, 2016.
[16]	Ning Qian, “On the momentum term in gradient descent learning algorithms,” Neural Networks, vol. 12, no. 1, pp. 145 - 151, 1999.
[17]	John Duchi, Elad Hazan, Yoram Singer, “Adaptive Subgradient Methods for Online Learning and Stochastic Optimization,” Machine Learning Research, vol. 12, pp. 2121 - 2159, 2011.
[18]	Diederik P. Kingma, Jimmy Lei Ba, “Adam: A Method for Stochastic Optimization,” International Conference on Learning Representations (ICLR) , pp. 1 - 13, 2015.
[19]	Kelly H. Zou, A. James O’Malley, Laura Mauri, “Receiver-Operating Characteristic Analysis for Evaluating Diagnostic Tests and Predictive Models,” Circulation, vol. 115, no. 5, pp. 654 - 657, 2007.
[20]	Kai Walz, Receiver operating characteristic. https://www.wikiwand.com/en/Receiver_operating_characteristic , accessed 2019/5/11.
[21]	Navonil Majumder, Soujanya Poria, Alexander Gelbukh, Erik Cambria, “Deep Learning-Based Document Modeling for Personality Detection from Text,” IEEE Intelligent Systems, vol. 32, no. 2, pp. 74 - 79, 2017.
[22]	Chunting Zhou, Chonglin Sun, Zhiyuan Liu, Francis C.M. Lau, A C-LSTM Neural Network for Text Classification. https://arxiv.org/abs/1511.08630 , accessed 2019/5/20.
[23]	Kai Sheng Tai, Richard Socher, Christopher D. Manning, “Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks,” Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, 2015.