隨著行動網路的普及，智慧客服近年來快速興起，改善了過往人工客服諸如耗時、人力成本高、不易長時間大量配置等缺點。為減輕大學招生部門的人力配置，本研究建置了基於問答集之文字客服機器人，即時提供問答服務，供有意入學的申請者參考。

    為了計算用戶提問與問答集的相似度，本研究評估了3種句子向量化及比對方法，包含 TensorFlow Hub 平台提供的通用句子編碼器，問答型通用句子編碼器，和 BERT單一句子編碼器。3種方法皆經過實驗挑選合適的相似度門檻值。在經由人工分析問答記錄後，得知問答型通用句子編碼器表現最佳。在兩次不同對象下，採用科技接受模式構面之問卷調查後，得知問答型通用句子編碼器和BERT單一句子編碼器分別表現最佳。

    另外，前台互動方面設計了LINE 與網頁兩種介面供評估。在採用使用者介面量表之問卷調查後，得知LINE介面於「認知負荷」構面及「資訊品質」構面上表現較佳；網站介面則於「系統態度」構面及「錯誤解決性」構面上表現較佳。

With the ubiquitous mobile networks, the intelligent customer services have seen a quick boom in recent years. Compared with traditional human customer services, the drawbacks of time-consuming, high labor cost, and difficulty in long hours of mass deployment have been thus improved. In order to reduce the manpower allocated for university admissions, the study has built an FAQ-based text chatbot to provide the real-time question answering service for prospective applicants. 

    To compute the similarity between the user query and the frequently asked questions, three methods for sentence embedding and matching are evaluated. From TensorFlow Hub, they include the universal sentence encoder, the universal sentence encoder for question answering, and the BERT single-sentence encoder. Experiments have been conducted to set up appropriate similarity thresholds for the three methods. From log analysis based on human judgement, it is found that the universal sentence encoder for question answering performs the best in accuracy. In two questionnaire surveys targeting different subjects, it is found that based on factors in the technology acceptance model, the methods using the universal sentence encoder for question answering and the BERT single-sentence encoder perform the best separately. 

     In addition, the front-end interactive system is designed with the LINE and web interfaces for assessment. From a questionnaire survey based on the user interface scale, it is found that the LINE interface performs better on the “cognitive load” and “information quality” dimensions while the web interface performs better on the “system attitude” and “error resolution” dimensions.

第一章 緒論 1
1.1研究背景 1
1.2研究動機 2
1.3研究目的 3
1.4研究架構 4
第二章 文獻探討 5
2.1聊天機器人 5
2.1.1 樣板式模型	5
2.1.2 檢索式模型	5
2.1.3 生成式模型 6
2.2通訊軟體LINE 6
2.3人工智慧與自然語言模型	6
2.3.1 BERT語言模型與微調	7
2.3.2 TensorFlow Hub 8
2.4校園聊天機器人建置之相關研究 8
2.5 科技接受模式	9
2.6 使用者介面量表 9
2.6.1 使用者互動滿意度評估:QUIS 11
2.6.2 使用者感知滿意度評估:PSSUQ 12
2.6.3 系統易用性評估:SUS 12
2.6.4 網站易用性評估:WAMMI 14
2.6.5 感知易用性評估:UMUX 14
2.6.6 感知滿意度評估:SUPR-Q 15
2.6.7 視覺美學評估:VisAWI 15
第三章 方法介紹 17
3.1 研究方法 17
3.2系統架構 17
3.2.1 使用之方法及模型 19
3.3資料集來源介紹 25
3.3.1.淡江大學商管學院招生常見問答集 25
3.3.2.ColleGo大學選才與高中育才輔助系統 25
3.4 前台系統介面輔助功能 29
3.5評估方法 30
3.5.1 系統評估 30
3.5.2 使用者介面體驗評估 31
第四章 實作架構與實驗結果	35
4.1系統開發工具與實驗環境	35
4.2實驗參數 35
4.2.1門檻值設定 35
4.3實驗結果 41
4.3.1前台互動系統介面呈現	41
4.3.2 後台比對系統結果測試 41
4.3.3 實際系統答覆正確/錯誤數調查	42
4.3.4問卷調查分析-系統評估 43
4.3.5 前台互動系統介面呈現-加入輔助提問功能 51
4.3.6問卷調查分析-使用者介面體驗 53
4.3.7上線部署 59
第五章 研究結論與建議 60
5.1結論	60
5.2研究貢獻 61
5.3 管理實務意涵	61
參考文獻	62
附錄一 行動應用介面之使用者體驗量表 (原始量表) 65
附錄二實測詢問相同問題，A/B/C助理之回覆情況 67

圖目錄
圖 1 智慧客服時代四階段	1
圖 2 研究流程架構圖 4
圖 3 單句分類任務微調情境 7
圖 4 SUS易用性分數對照表 13
圖 5 系統架構圖	18
圖 6 系統架構圖(Model A) 20
圖 7 系統架構圖(Model B) 22
圖 8 系統架構圖(Model C) 24
圖 9 網頁自動匹配生成之問題句清單 29
圖 10 LINE延伸提問功能 33
圖 11 網頁即時匹配提問功能 34
圖 12 Model A 命中率與門檻值關係38
圖 13 Model B 命中率與門檻值關係 39
圖 14 Model C 命中率與門檻值關係 39
圖 15 前期LINE前台互動系統介面 41
圖 16 後期LINE前台互動系統介面-1 51
圖 17 後期LINE前台互動系統介面-2 51
圖 18 網頁前台互動系統介面 52
圖 19 網頁即時匹配提問功能 52
圖 20 介面問卷調查-性別	53
圖 21 介面問卷調查-年齡 53
圖 22 介面問卷調查-平均使用時間 54
圖 23 介面問卷調查-使用用途 54
圖 24 用戶詢問數趨勢圖 59

表目錄
表1 人工客服與智慧客服差異之處 1
表2 全台行動APP用戶數排名 6
表3 文字問答機器人應用於校園領域之研究整理	8
表4 各系統評估量表之研究整理 10
表5 QUIS滿意度評量表 11
表6 PSSUQ 可用性量表 12
表7 SUS易用性量表 13
表8 WAMMI 網頁分析與測量清單 14
表9 UMUX用戶經驗可用性指標 15
表10 SUPR-Q 使用者體驗百分等級問卷 15
表11 VisAWI網站視覺美學量表 16
表12 客服機器人實作 18
表13 淡江大學商管學院招生常見問答集各筆數內容 25
表14 問題微調與否之下系統回應的優缺點 25
表15 微調資料的方法 26
表16 ColleGo選才平台常用問答集各筆數內容 26
表17 大學招生用常見問答集 27
表18 商管學院14個系所 27
表19 16項使用者意圖 28
表20 大學招生用資料集各筆數內容 28
表21 系統評估問卷 30
表22 使用者介面體驗問卷 31
表23 實驗開發環境 35
表24 抽取50筆使用者提問內容_以8筆為例 35
表25 情境一 門檻值設太高的缺點 36
表26 情境二 門檻值設太低的缺點 37
表27 人工判斷下的答覆正確/錯誤數累計原則 38
表28 本研究3種方法之實驗參數 40
表29 Model C實驗參數 40
表30 實測詢問相同問題，A/B/C助理之回覆情況-以三道問題為例 41
表31 人工判斷下的答覆正確/錯誤累計原則 42
表32 A/B/C助理實際回覆正確/錯誤累計情況 42
表33 問卷情境一 客服A/B/C助理 項目統計資料 44
表34 可靠性統計資料表-客服A/B/C助理 46
表35 描述性統計資料- 客服A/B/C助理 46
表36 多重比較 - 客服A/B/C助理 46
表37 問卷情境二 項目統計資料-客服A/B/C助理 48
表38 問卷情境二 可靠性統計資料表-客服A/B/C助理 49
表39 問卷情境二 描述性統計資料- 客服A/B/C助理 49
表40 問卷情境二 多重比較 - 客服A/B/C助理 50
表41 前台互動系統介面說明 51
表42 使用者介面體驗問卷 LINE/網站項目統計資料 55
表43 可靠性統計資料表- LINE/網頁介面 56
表44 描述性統計資料-LINE/網頁介面 56
表45 成對比較-LINE/網頁介面 57
表46 使用者介面體驗之文字回饋 57

英文文獻
Adamopoulou, E., & Moussiades, L. (2020). An overview of chatbot technology. IFIP International Conference on Artificial Intelligence Applications and Innovations, 

Bangor, A., Kortum, P., & Miller, J. (2009). Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of usability studies, 4(3), 114-123. 

Brooke, J. (1996). SUS-A quick and dirty usability scale. Usability evaluation in industry, 189(194), 4-7. 

Bughin, J., Seong, J., Manyika, J., Chui, M., & Joshi, R. (2018). NOTES FROM THE AI FRONTIER MODELING THE IMPACT OF AI ON THE WORLD ECONOMY. Mckinsey&Company. Retrieved 02.05 from https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-AI-frontier-modeling-the-impact-of-ai-on-the-world-economy#

Chin, J. P., Diehl, V. A., & Norman, K. L. (1988). Development of an instrument measuring user satisfaction of the human-computer interface. Proceedings of the SIGCHI conference on Human factors in computing systems, 

Davis, F. D., Bagozzi, R., & Warshaw, P. R. (1989). User Acceptance of Computer Technology: A Comparison of Two Theoretical Models. Management Science, 35, 982-1003. 

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805. 

Finstad, K. (2010). The usability metric for user experience. Interacting with Computers, 22(5), 323-327. 

Fu, X. (2010). Mobile phone UI design principles in the design of human-machine interaction design. 2010 IEEE 11th International Conference on Computer-Aided Industrial Design & Conceptual Design 1, 

Gartner. (2017). From bots and AI to counterfeit reality and fake news, these predictions require IT leaders to pace their adoption. Retrieved 02.05 from https://www.gartner.com/smarterwithgartner/gartner-top-strategic-predictions-for-2018-and-beyond/

Kanak, M., Habiba, U., & Kabir, M. (2019). DIU FAQBOT. http://dspace.daffodilvarsity.edu.bd:8080/handle/123456789/4035 

Khin, N. N., & Soe, K. M. (2020). University Chatbot using Artificial Intelligence Markup Language. 2020 IEEE Conference on Computer Applications (ICCA), 

Kirakowski, J., & Cierlik, B. (1998). Measuring the usability of web sites. Proceedings of the Human Factors and Ergonomics Society annual meeting, 

Lewis, J. R. (1992). Psychometric evaluation of the post-study system usability questionnaire: The PSSUQ. Proceedings of the human factors society annual meeting, 

Moshagen, M., & Thielsch, M. T. (2010). Facets of visual aesthetics. International journal of human-computer studies, 68(10), 689-709. 

Nielsen, J. (1994). Usability engineering. Morgan Kaufmann. 

Nunamaker, J. F., Chen, M., & Purdin, T. D. M. (1990, 1990/12/01). Systems Development in Information Systems Research. Journal of Management Information Systems, 7(3), 89-106. https://doi.org/10.1080/07421222.1990.11517898 

Rahman, J. (2012). Implementation of ALICE chatbot as domain specific knowledge bot for BRAC U (FAQ bot) BRAC University]. 

Rogers, E. M. (1986). Communication technology. Simon and Schuster. 

Sauro, J. (2015). SUPR-Q: A comprehensive measure of the quality of the website user experience. Journal of usability studies, 10(2). 

Skowronek, A. (2020). University Generates $3.1 Million With One-Day Chatfuel Campaign. Retrieved 02.05 from https://chatfuel.com/blog/posts/messenger-chatbot-for-universities-and-college

wearesocial. (2020). Digital in 2020 wearesocial. Retrieved 02.05 from https://wearesocial.com/digital-2020

WorldPopulationReview. (2021). World Population Review. WorldPopulationReview. https://worldpopulationreview.com/

中文文獻
INSIDE. (2020). Audi 數位轉型之路：怎善用 Facebook 聊天機器人作行銷、客服？. Retrieved 02.05 from https://www.inside.com.tw/article/22022-audi-taiwan-and-messenger-api

NCTUNews. (2021). 從關懷學生角度出發 交大校園聊天機器人正式登場. Retrieved 02.05 from https://www.nctu.edu.tw/article/8376

李姿陵. (2017). 行動應用介面之使用者體驗量表發展 國立高雄大學]. 高雄市. https://hdl.handle.net/11296/2v4f5v

教育部統計處. (2019). 大專校院學生及畢業生人數預測分析報告(108~123學年度). 教育部統計處. 

陳宜琳. (2019). 國立臺灣師範大學圖書館參考諮詢機器人建置與評估. 臺灣師範大學圖書資訊學研究所學位論文, 1-111. 

衛生福利部疾病管制署. (2020). 雙語聊天機器人「防疫專家」加入防疫，掌握全球疫情更給力. Retrieved 02.05 from https://www.cdc.gov.tw/Bulletin/Detail/oQJeZwPSJ746M4hT3uhwUQ?typeid=9

蕭聖儒. (2021). 人工智慧客服系統-以大專院校招生為例. 淡江大學資訊管理學系碩士班學位論文, 1-84. 

聯合新聞網. (2020). 銀行拚AI 機器人客服時代來了. Retrieved 02 from https://udn.com/news/story/7239/4833750