近年來民眾經常使用社群媒體網路來表達自己的觀點，社群媒體超越了傳統媒體投書陳情等方式，成為民眾發表意見、抒發情緒、表達自身觀點與立場的重要平台。為有助於掌握民眾對於交通服務之預期與實際感知差距，仍有必要進行民眾使用運具的相關調查，因此本研究嘗試尋求在經濟上、實務上具有可行性的調查方法，以便持續每年追蹤民眾對於交通服務現況的意見表達與感受程度，供政府與業者相關單位參考之用。
本研究藉由自然語言處理、社群媒體意見挖掘技術以及視覺語意深度學習方法，建立一套結合圖像和文字的意見挖掘模式，並應用於軌道運輸場站服務評論。首先透過爬蟲系統去蒐集有關臺北都會區的軌道運輸場站評論，並標註為三個類別：意向分類(Intent) 、圖文關係(Image-Text Relation) 、內容分類(Content)，建立軌道運輸場站為本體的社群媒體評論資料庫；然後建構軌道運輸場站服務評論意見挖掘之分類模式，以視覺語意向量(Visual Semantic Embedding) 建構視覺語意融合運算神經網路;最後以視覺化技術，探討意見挖掘結果與實際狀況之關係，直觀旅客使用軌道運輸場站所關注之議題及評論意向情感。
經由實證分析得知，本研究之視覺語意分類模式具有良好預測能力，準確率分別為意向分類 (72.7%)、圖文關係(73.9%) 、內容分類(61.2%)，其中車站相關的內容分類的準確度達0.75，但其整體準確度被其餘二個分類拉低。
本研究借助視覺化技術，將評論分析結果結合地理位置、時間因素分別以視覺化圖形呈現，可提供營運管理者直觀式的資訊顯示畫面。網路評論作為旅客對體驗品質(Quality of Experience) 的體現，軌道營運管理者可藉由本系統持續追蹤各個場站旅客情感意向的時空變化趨勢，不但可了解目前各場站服務的績效狀態，亦可作為軌道運輸場站品質管理之參考。最後本研究提出因應負面評論的回饋機制，使營運管理者對於新出現的負面評論可進行即時檢視，以研擬後續改善之行動方案。

In recent years, people are frequently using social networks to express their opinions that social media may have exceeded the traditional way of writing complaint letter, therefore social media become an important platform for people to express their feelings, more importantly their sentiments and opinions. In order to reduce the gap between public expectations and actual perceptions towards transportation services, it is still necessary to conduct satisfaction surveys through some economically and practically feasible means to continuously sense travelers’ feelings towards transportation services for the use as a reference.
This study applies natural language processing and social media mining techniques to assess railway transportation station services that include establishing an opinion mining model combined with images and texts through visual semantic deep learning methods. Firstly, this study uses crawler algorithm to collect comments on Mass Rapid Transit (MRT) stations in Taipei metropolitan, labeling those comments into three categories: intent, image-text relationship, content type, forming a social media comment database on the ontology of MRT stations. Secondly, this study constructs a classification model for mining comments on MRT stations, including the use of visual semantic embedding to construct a “visual semantic fusion computing neural network”. Finally, this study explores the relationships between the results and actual cases that visualize main topics concerned and sentiment-intention trends of comments on MRT stations for the operator.
The empirical study proves a satisfying predictive ability of the visual semantic classification model which the accuracy results are shown as follows: intent type (72.7%), image-text relationship (73.9%), and content type (61.2%). Among the content type, the terminal-related content has the accuracy of 75%, but its overall accuracy is lowered by the other two categories.
This study has also visualized the results of social media mining with geographic and time factors to present vivid graphs through visualization technique, providing an intuitive information display dashboard for the MRT operator. Since online comments can imply the travelers’ quality of experience, this study provides the MRT operator a tool to sense the sentiment-intention trends of comments on each station continuously and access the current service level as well as part of the quality management assessment. This study also proposes a feedback mechanism, so that the MRT operator is able to monitor for any emergent or negative comments and as a reference for future improvement measures.

目錄
第一章 緒論		1
1.1 研究背景與動機	1
1.2 研究目的	4
1.3 研究範圍	5
1.4 研究流程	5
第二章 文獻回顧	8
2.1 社群媒體挖掘相關文獻	8
2.1.1社群媒體	9
2.1.2社群媒體挖掘	10
2.1.3情境感知(Context-Aware)	10
2.2 意見挖掘相關文獻	12
2.3 文字輿情分析相關文獻	13
2.3.1 文本探勘處理	13
2.3.2 情感分析	14
2.4 圖像分析相關文獻	15
2.5 視覺語意分析	16
2.5.1 視覺語意的分類	16
2.5.2 視覺語義向量(Visual-Semantic Embedding )	17
2.6 深度學習	18
2.6.1視覺語意的融合運算	19
2.7文獻評析與小結	21
第三章 研究方法	23
3.1 評論文本斷詞	24
3.3 深度學習	26
3.3.1 GRU-RNN架構	29
3.3.2 ResNet V2架構	30
3.4 視覺語意融合計算	35
第四章 實證分析	36
4.1 以軌道運輸場站為本體的社群媒體資料庫建立	37
4.1.1文本圖像評論取得	38
4.1.2 文本圖像評論分類	43
4.1.3 資料庫文本圖像評論檢視	49
4.2 軌道運輸場站服務評論之意見挖掘模式	53
4.2.1 資料預處理	55
4.2.1.1 文本處理	55
4.2.1.2圖像處理	57
4.2.2設定訓練集與驗證集	57
4.2.3 模式建立	58
4.2.4 神經網路構建	59
4.2.5 模式訓練	63
4.2.6 模式驗證	69
4.3. 軌道運輸場站服務評論視覺化	73
4.3.1 意見挖掘視覺化—以年份別	73
4.3.2 意見挖掘視覺化—以車站別	74
4.3.3意見挖掘視覺化—熱力圖	78
4.3.4意見挖掘視覺化-以區域別	80
4.5. 管理意涵	83
第五章 結論與建議	86
5.1 結論	86
5.2 建議	89
參考文獻		90
附錄：神經網路架構圖	95

圖目錄
圖1.1	網路族最近一年的網路公共參與情形	3
圖1.2	研究流程圖	7
圖2.1	各年齡層擁有社群網站帳號比例	8
圖2.2	3個隱藏層的前饋神經網路 Feedforward Deep Learning		 Models	19
圖2.3	Kiros等人(2014) VSE encoder-decoder模型	19
圖2.4	Ahuja等人(2018) VSE-CoAtt-2(紅色為圖像注意力機制；		藍色為文字注意力機制)	20
圖2.5	Zhang等人(2018)VSE分類結果	20
圖2.6	意圖判斷結果	21
圖3.1	社群媒體意見挖掘建構流程圖	23
圖3.2	CBOW和Skip-gram架構示意圖	25
圖3.3	批次標準化演算法	27
圖3.4	全連接層	27
圖3.5	線性整流函數ReLu	28
圖3.6	Softmax激活函數	29
圖3.7	Simple RNN示意圖	29
圖3.8	GRU示意圖	30
圖3.9	卷積層示意圖	31
圖3.10	池化層示意圖	31
圖3.11	ResNet的神經網路架構	31
圖3.12	殘差網路的說明圖	32
圖3.13	ResNet 與 ResNet V2 模型比較圖	33
圖3.14	本研究視覺語意融合運算構想圖	35
圖4.1	本研究實作流程	36
圖4.2	建立以軌道運輸場站為本體的社群媒體資料庫流程圖	37
圖4.3	評論內容與html元素(淡水捷運站一評論為例)	39
圖4.4	收集到的評論總數情形	39
圖4.5	資料庫型態 (已隱藏評論者個資)	41
圖4.6	資料庫結構表	41
圖4.7	評論分類	44
圖4.8	圖像分類例子	49
圖4.9	評論數量(按年計)	49
圖4.10	評論字數分佈	50
圖4.11	意向分類比例一覽	51
圖4.12	圖文關係比例一覽	51
圖4.13	內容分類比例一覽	52
圖4.14	建立軌道運輸場站服務評論之意見挖掘分類模式流程圖-		主流程	53
圖4.15	建立軌道運輸場站服務評論之意見挖掘分類模式流程圖-		子流程	54
圖4.16	運輸相關字典	55
圖4.17	資料集分割的評論分類比例	58
圖4.18	研究模式建構流程	58
圖4.19	模式架構圖	59
圖4.20	語意文本輸入層	60
圖4.21	視覺圖像輸入層(節錄)	61
圖4.22	融合層	62
圖4.23	輸出層	63
圖4.24	5-fold交叉驗證示例	64
圖4.25	5-fold交叉驗證下每條串列的評論分類比例	64
圖4.26	設定參數並指示訓練	65
圖4.27	運算過程(以訓練4為例)	65
圖4.28	運算過程(以訓練4為例)(續2)	65
圖4.29	模式訓練準確度曲線(以訓練1為例)	66
圖4.30	模式訓練損失曲線(以訓練1為例)	67
圖4.31	模式預測過程	69
圖4.32	混淆矩陣定義	69
圖4.33	意向分類歷年數量變化	74
圖4.34	資料庫統計資料與經緯度	75
圖4.35	以場站坐標定位的軌道運輸場站統計資訊面板	76
圖4.36	軌道運輸場站統計結果-以捷運淡水站為例	77
圖4.37	評論數量熱力圖	79
圖4.38	臺北都會區軌道運輸場站服務評價視覺化儀表板	80
圖4.39	淡水區域軌道運輸場站評論之意向分類統計	81
圖4.40	淡水區域軌道運輸場站評論之圖文關係統計	81
圖4.41	淡水區域軌道運輸場站評論之內容分類統計	82
圖4.42	淡水區域軌道運輸場站評論之數量統計	82

表目錄
表2.1 	社群媒體平臺分類表	9
表3.1 	Tensorflow Keras中ResNet預訓練模型表現	33
表3.2 	ResNet V2 101模式	34
表4.1	資料欄位說明	42
表4.2	意向分類、圖文關係、內容分類標註策略	45
表4.3	斷詞結果舉例	56
表4.4	模式於測試集之表現	68
表4.5	意向分類之混淆矩陣	71
表4.6	圖文關係之混淆矩陣	71
表4.7	內容分類之混淆矩陣	72
表4.8	模式分類效果檢驗	72
表4.9	負面評論應對策略	84
表4.10	不同內容評論對應之負責單位	85

1.	Ahuja, K., Sikka, K., Roy, A., & Divakaran, A. (2018). Understanding visual ads by aligning symbols and objects using co-attention. arXiv preprint arXiv:1807.01448..
2.	Ames, M., & Naaman, M. (2007). Why we tag: motivations for annotation in mobile and online media. Paper presented at the CHI.
3.	Byun, H., & Cheverst, K. (2004). Utilizing Context History to Provide Dynamic Adaptations. Applied Artificial Intelligence, 18, 533 - 548.
4.	Chen, T., Lu, D., Kan, M.-Y., & Cui, P. (2013). Understanding and classifying image tweets. Proceedings of the 2013 ACM Multimedia Conference, 781-784. 
5.	Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078.
6.	Dey, A. (2001). Understanding and Using Context, Personal and Ubiquitous Computing, Vol. 5.
7.	Durden, J. M., Bett, B. J., Schoening, T., Morris, K. J., Nattkemper, T. W., & Ruhl, H. A. (2016). Comparison of image annotation data generated by multiple investigators for benthic ecology. Marine Ecology Progress Series, 552, 61-70. 
8.	Folium. Folium 0.11.0 documentation. 擷取自2020/04. https://python-visualization.github.io/folium/index.html 
9.	Frome, A., Corrado, G. S., Shlens, J., Bengio, S., Dean, J., Ranzato, M. A., & Mikolov, T. (2013). Devise: A deep visual-semantic embedding model. Paper presented at the Advances in neural information processing systems.
10.	Goffman, E. (1978). The presentation of self in everyday life: Harmondsworth London.
11.	He, D., Jiang, Z., Chen, J., Liu, J., Miao, J., & Shah, A. (2019). Classification of metro facilities with deep neural networks. Journal of Advanced Transportation, 2019. 
12.	He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition.
13.	He, K., Zhang, X., Ren, S., & Sun, J. (2016). Identity mappings in deep residual networks. Paper presented at the European conference on computer vision.
14.	Hinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. science, 313(5786), 504-507.
15.	Hogan, B. (2010). The presentation of self in the age of social media: Distinguishing performances and exhibitions online. Bulletin of Science, Technology & Society, 30(6), 377-386. 
16.	Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167. 
17.	Java, A., Song, X., Finin, T., & Tseng, B. (2007). Why we twitter: understanding microblogging usage and communities. Paper presented at the Proceedings of the 9th WebKDD and 1st SNA-KDD 2007 workshop on Web mining and social network analysis.
18.	Kaplan, A. M., & Haenlein, M. (2010). Users of the world, unite! The challenges and opportunities of Social Media. Business horizons, 53(1), 59-68.
19.	Khan, K., Baharudin, B., Khan, A., & Ullah, A. (2014). Mining opinion components from unstructured reviews: A review. Journal of King Saud University-Computer and Information Sciences, 26(3), 258-275. 
20.	Kiros, R., Salakhutdinov, R., & Zemel, R. S. (2014). Unifying visual-semantic embeddings with multimodal neural language models. arXiv preprint arXiv:1411.2539. 
21.	Kruk, J., Lubin, J., Sikka, K., Lin, X., Jurafsky, D., & Divakaran, A. (2019). Integrating text and image: determining multimodal document intent in instagram posts. arXiv preprint arXiv:1904.09073. 
22.	Lee, K., & Yu, C. (2018). Assessment of airport service quality: A complementary approach to measure perceived service quality based on Google reviews. Journal of Air Transport Management, 71, 28-44.
23.	Li, J., MacDonald, C., & Zheng, R. (2008). Stylometric feature selection for assessing review helpfulness. Paper presented at the 18th Workshop on Information Technologies and Systems (WITS2008).
24.	Li, P.-H., Fu, T.-J., & Ma, W.-Y. (2019). Remedying BiLSTM-CNN Deficiency in Modeling Cross-Context for NER. arXiv preprint arXiv:1908.11046. 
25.	Lutzroeder. Netron browser version. 擷取自2020/04. https://github.com/lutzroeder/netron 
26.	Mapbox. Mapbox GL JS.API reference. 擷取自2020/04. https://docs.mapbox.com/mapbox-gl-js/api/ 
27.	Marsh, E. E., & White, M. D. (2003). A taxonomy of relationships between images and text. Journal of Documentation, 59, 647-672..
28.	Martinec, R., & Salway, A. (2005). A system for image–text relations in new (and old) media. Visual communication, 4(3), 337-371. 
29.	Mendelson, A. L., & Papacharissi, Z. (2010). Look at us: Collective narcissism in college student Facebook photo galleries. The networked self: Identity, community and culture on social network sites, 1974, 1-37. 
30.	Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781. 
31.	Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. Paper presented at the Advances in neural information processing systems.
32.	Park, T., Li, J., Zhao, H., & Chau, M. (2009). Analyzing writing styles of bloggers with different opinions. Paper presented at the Proceedings of the 19th Annual Workshop on Information Technologies and Systems (WITS 2009).
33.	Plotly. Dash User Guide. 擷取自2020/04. https://dash.plotly.com/ 
34.	Schilit, B., Adams, N., & Want, R. (1994). Context-Aware Computing Applications, Mobile Computing Systems and Applications. Paper presented at the Proc. IEEE Workshop on Mobile Computing Systems and Applications.
35.	Scikit-learn developers. Scikit-Learn API Reference. 擷取自2020/04. https://scikit-learn.org/stable/modules/classes.html
36.	Song, Y., & Soleymani, M. (2019). Polysemous visual-semantic embedding for cross-modal retrieval. Paper presented at the Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.
37.	Sullivan, A. (2001). Cultural capital and educational attainment. Sociology, 35(4), 893-912. 
38.	Tensorflow . Tensorflow Core v2.2.0 API reference.. 擷取自2020/04. https://www.tensorflow.org/api_docs/python/tf 
39.	Tague, Nancy R. (2004). The Quality Toolbox Second Edition. Quality Press.
40.	Yan, Z., Jing, X., & Pedrycz, W. (2017). Fusing and mining opinions for reputation generation. Information Fusion, 36, 172-184. 
41.	Zhang, M., Hwa, R., & Kovashka, A. (2018). Equal but not the same: Understanding the implicit relationship between persuasive images and text. arXiv preprint arXiv:1807.08205. 
42.	國家發展委員會(2018). 107 年個人家戶數位機會調查報告
43.	資策會FIND/經濟部技術處「資策會FIND（2016）/ 服務系統體系驅動新興事業研發計畫（2/4）
44.	施伯燁（2014）。社群媒體－使用者研究之概念、方法與方法論初探。傳播研究與實踐，4(2)，207-227。
45.	陳譽晏（2015）。運用R Shiny建立文字探勘平台之語意分析及輿情分析。Journal of Data Analysis，10(6)，51-78。
46.	姚天昉、程希文、徐飛玉、漢思•烏思克爾特、王睿（2008）。文本意見挖掘綜述。中文資訊學報，22(3)，71-80。
47.	陳亭愷(2015) 國道計程電子收費實施後之網路輿情文本情感分析研究, 淡江大學碩士論文。
48.	許政穆、吳維鈞、張宜睿(2007)。以知識本體論建構出應用於無所不在服務的情境模型，2007臺灣網際網路研討會(TANET) 論文集(二)。
49.	陳翰(2016),從社群媒體挖掘以感測日常交通滿意度之研究,淡江大學運輸管理學系運輸科學碩士班碩士論文。
50.	中央研究院(2020). CkipTagger 中文說明. 擷取自2020/04. https://github.com/ckiplab/ckiptagger/wiki/Chinese-README
51.	內政部國土測繪中心. 輕軌捷運-「臺灣地區交通路網數值圖資料檔」之全臺輕軌捷運車站位置及名稱. 擷取自2020/04. https://www.tgos.tw/TGOS/Web/Metadata/TGOS_MetaData_View.aspx?MID=D9130A546A992CE156E94ED8BA9E9546&SHOW_BACK_BUTTON=false&keyword=捷運
52.	內政部國土測繪中心. 捷運-「臺灣地區交通路網數值圖資料檔」之全臺捷運車站位置及名稱. 擷取自2020/04. https://www.tgos.tw/TGOS/Web/Metadata/TGOS_MetaData_View.aspx?MID=D9130A546A992CE156E94ED8BA9E9546&SHOW_BACK_BUTTON=false&keyword=捷運
53.	內政部國土測繪中心. 輕軌捷運車站-「臺灣地區交通路網數值圖資料檔」之全臺捷運車站位置及名稱. 擷取自2020/04. https://www.tgos.tw/TGOS/Web/Metadata/TGOS_MetaData_View.aspx?MID=D9130A546A992CE156E94ED8BA9E9546&SHOW_BACK_BUTTON=false&keyword=捷運
54.	內政部國土測繪中心. 捷運車站-「臺灣地區交通路網數值圖資料檔」之全臺捷運車站位置及名稱. 擷取自2020/04 . https://www.tgos.tw/TGOS/Web/Metadata/TGOS_MetaData_View.aspx?MID=D9130A546A992CE1355AE105F908B29E&SHOW_BACK_BUTTON=false&keyword=捷運