§ 瀏覽學位論文書目資料
  
系統識別號 U0002-0806201509331500
DOI 10.6846/TKU.2015.00188
論文名稱(中文) 數位學習平台使用性評估之研究-以教育部數位學習服務平台為例
論文名稱(英文) A Study of Usability Evaluation of E-Learning Platform-with an Example of E-Learning Service Center at Ministry of Education
第三語言論文名稱
校院名稱 淡江大學
系所名稱(中文) 教育科技學系碩士在職專班
系所名稱(英文) Department of Educational Technology
外國學位學校名稱
外國學位學院名稱
外國學位研究所名稱
學年度 103
學期 2
出版年 104
研究生(中文) 劉子晏
研究生(英文) Tzu-Yen Liu
學號 702730028
學位類別 碩士
語言別 繁體中文
第二語言別
口試日期 2015-05-29
論文頁數 191頁
口試委員 指導教授 - 沈俊毅
委員 - 趙貞怡
委員 - 李世忠
關鍵字(中) 數位學習
使用性評估
眼球追蹤
關鍵字(英) E-Learning
Usability Evaluation
Eye-tracking
第三語言關鍵字
學科別分類
中文摘要
數位學習時代已來臨,網路教學平台為其中之一。沒有真實情境之實體接觸,平台使用者介面,擔負訊息傳遞與接收的管道,影響使用者和網站互動之順暢程度、學習成效、教學品質以及繼續透過此平台教學與學習的意願。「教育部數位學習服務平台」落實教師在職進修並且有效快速地將12年國教理念傳遞給全國中小教師,自2010年3月正式開放,4年之間累積人氣達1,790萬人次且平台使用率逐年增加。本研究採用「啟發式評估」,邀請5位數位學習與電腦多媒體實務經驗專家進行評估;接著由13位受測者進行「使用性測試」並輔以眼球追蹤及軟體側錄;最後進行「受測者訪談與滿意度調查」。本研究匯集上述3方面研究資料交叉比對,評估並探討該平台之操作介面使用性及其問題,同時得到本研究之研究結論與建議。研究結果發現,13位受測者對於該平台整體滿意度之評定描述屬於普通(OK),平均SUS總分為53分(標準偏差18分)。該平台大致符合「設計之一致性」、「設計與真實世界之連結」、「直覺化的介面」、「美感而且簡約之設計」此4項指標;但「系統之可視性」則有改善空間;另外,專家認為缺乏「提供彈性且有效率之操作」及「使用者之控制權與自主權」的設計,受測者認為缺乏「錯誤防範、回復及指引」的設計。此外,本研究也彙整出該平台使用性的10項問題、並提出該平台未來設計之10項建議。
英文摘要
Digital learning time has come, and the network teaching platform is one of them. Without the real physical situation of contact, the user interface of platform is responsible for message delivery and reception, the impact of the extent of the smooth interaction of users and websites, learning outcomes, teaching quality, and willingness to continue through this platform of teaching and learning. "E-Learning Service Center at Ministry of Education" implements teacher in-service training, and it passes the concept of the 12-year national education policy to the country’s elementary school and high school teachers effectively and quickly. "E-Learning Service Center" has operated since March 2010 and had accumulated 17.9 million passengers in four years. The platform usage increases every year. This study uses "heuristic evaluation" and invites five experts with digital learning and multimedia practical experiences to evaluate the platform. Then, "usability testing" complemented by eye-tracking and software recording are proceeded by 13 testing-users. At last, "interviews and satisfaction surveys" are proceeded by the above 13 testing-users. This study makes a collection of the above three cross-comparison research data to evaluate and explore usability problem of the platform, and at the same time get conclusions and recommendations of this study. Research finds that 13 testing-users evaluate satisfaction of the platform to be ordinary (OK) in description, the average SUS score of 53 points (the standard deviation of 18 points).The website design is generally in line with " consistency and standards," " match between system and real world," " recognition rather than recall ,"" aesthetic and minimalist design," for the requirements of this 4; but in the " visibility of system status," there is room for improvement; moreover, experts think it’s lack of "flexibility and efficiency of use "and" user control and freedom " as well as testing-users think it’s lack of " error prevention, recovery, and guidelines " in design. In addition, the study also compiles 10 usability issues of this website and proposes 10 recommendations for its future design.
第三語言摘要
論文目次
目次
謝誌.i
中文摘要…ii
英文摘要...iii
目次	v
表次	..vii
圖次	.viii
第一章	緒論	1
第一節  研究背景與動機	1
第二節  研究目的與問題	5
第三節  名詞釋義	6
第四節  研究範圍與限制	7
第五節  研究之貢獻	9
第二章	文獻探討	11
第一節 數位學習	11
第二節 人機介面與使用性	22
第三節  使用性評估	38
第四節  眼球追蹤與眼動儀	52
第三章	研究方法	63
第一節  研究流程與實施	63
第二節  研究方法與設計	67
第三節 研究樣本	71
第四節  研究工具	74
第五節  資料處理與分析	99
第四章    研究結果與討論103
	第一節  使用性評估現況分析103
	第二節  使用性評估問題分析114
	第三節  使用性評估設計建議139
第五章    結論與建議157
	第一節  研究結論157
	第二節  研究建議161

參考文獻163
附錄一   「教育部數位學習服務平台」使用性之專家評鑑檢核表...168
附錄二   「教育部數位學習服務平台」使用性測試任務清單...173
附錄三    「教育部數位學習服務平台」使用性測試觀察紀錄表…174
附錄四    「教育部數位學習服務平台」使用性滿意度問卷調查表…176
附錄五   專家評鑑檢核表之評分結果..178
附錄六   本研究三階段使用性評估問題彙整表..180
附錄七   本研究三階段使用性評估之設計建議彙整表..183
附錄八   13位受測者各項任務成功或失敗統計表….187
附錄九   13位受測者各項任務錯誤次數統計表…188
附錄十   13位受測者各項任務執行時間與標準時間統計表…..189
附錄十一13位受測者各項任務執行時間之標準化與排名統計表..190
附錄十二13位受測者任務執行時間、成功率與錯誤次數排名統計表…191

表次
表2-2-1 「教育部數位學習服務平台」使用性現況評估與5大面向相關性對照..24
表2-2-2  彙整專家使用性原則…………………………………………………….30
表2-3-1  Nielsen (1993)提出9種使用性評估方法之優缺點………………….....40
表2-3-2  SUS量表………………………………………….……………………....49
表2-3-3  Hom(1998)使用性評估方法分類表…………………………….……….51
表2-4-1  眼球轉動測量法之比較表……………………………………………….56
表2-4-2  運用眼動資料於使用性評估之參考指標…………..……………….…..57
表3-2-1  本研究之研究方法與設計考量………………………………………….68
表3-3-1  本研究「啟發式評估」專家基本資料表………………………………72
表3-3-2  本研究13位受測者個人背景資料調查彙整表………………………...73
表3-4-1  本研究之研究階段、方法與工具彙整表……………………………….75
表3-4-2 「教育部數位學習服務平台」使用者測試任務設計來源之彙整表…...78
表3-4-3 「教育部數位學習服務平台」使用者測試任務列表……………….......80
表3-4-4 「教育部數位學習服務平台」使用者測試任務標準路徑與觀察重點…81
表3-4-5  Morae呈現之量測結果與說明……………………………………….….86
表3-4-6  7個等級描述評定量表統計資料………………………………………. 88
表3-4-7  本研究「使用性滿意度問卷調查表」之設計來源比較…………….……89
表3-4-8  本研究「受測者訪談大綱」與問題切入點對照表……………….…….91
表3-5-1  本研究之研究目的與資料分析對照表……………..……………...… .101
表4-1-1  13位受測者填寫系統使用性量表(SUS)分數彙整與評定結果……....104
表4-1-2  8大使用性原則專家評分百分比彙整表………………………………106
表4-1-3  13位受測者針對8大指標符合度調查結果與比較表………………...108
表4-1-4  各項任務成功率及錯誤次數統計表…………………………………...113
表4-2-1 「教育部數位學習網」之使用性問題……………………………….….115
表4-3-1 「教育部數位學習網」之設計建議………………………………….…..140

圖次
圖2-1-1   E-Learning是包含網路學習的遠距教學……...…………….…………12
圖2-1-2   遠距教學的發展年代與實施方式…………………………….………..14
圖2-1-3   數位學習反覆開發的過程…………….…………………………...…...17
圖2-2-1   人機介面生命週期的五大發展階段……………………………….…..25
圖2-4-1   眼球運動與大腦認知系統之關係………………..…………………….52
圖2-4-2   遠紅外線光源進入眼球產生四種不同的反射影像…………………...55
圖3-1-1   本研究之研究流程……………………………………………………...64
圖3-4-1   「教育部數位學習服務平台」網站地圖 ……………………………...93
圖3-4-2   登入平台………………………..……………………………………….94
圖3-4-3   研習學員之功能介面……………………...……………………………94
圖3-4-4   課程總覽………………………………………………………………...95
圖3-4-5   熱門課程………………………………………………………………...95
圖3-4-6   我的課表………………………………………………………………...96
圖3-4-7   選課結果……………………………………………………………...…96
圖3-4-8   課程頁面………………………………………………………………...96
圖3-4-9   線上測驗………………………………………………………………...97
圖3-4-10  學習紀錄……………………………………………………………..…97
圖3-4-11  教材分享………………………………………………………………...98
圖4-2-1   測1進行任務2-1之任務失敗眼動軌跡圖………………………….117
圖4-2-2   測1進行任務2-1之任務成功眼動軌跡圖………………………….118
圖4-2-3   教材下載過程不適當的訊息造成受測者困惑之眼動軌跡………….120
圖4-2-4   點選「學習紀錄」未明確告知「線上測驗」是否通過…………….123
圖4-2-5   欲進入「線上測驗」連續出現三個彈跳視窗,造成困惑………….124
圖4-2-6   執行任務2-1時,造成受測者誤解的導覽列………………………..129
圖4-2-7   受測者忽略「最新消息」標題,並點選「中小學教師課程」視線
          圖(1/2)…………………………………………....................................130
圖4-2-8   受測者忽略「最新消息」標題,並點選「中小學教師課程」視線
          圖(2/2)…………………………………………………………………131
圖4-2-9  「教育部數位學習服務平台」登入畫面分格圖………………….…..132
圖4-2-10 「教育部數位學習服務平台」登入後首頁分格圖……………….…..133
圖4-2-11  須以拉桿調整畫面以顯示各項功能鍵…………………...……….….134
圖4-2-12  填入課程名稱多空格造成無法搜尋……………………...……….….135
圖4-2-13  10大項任務之成功率………………………………………………....136
圖4-2-14  任務中不同課程之成功率………………………………………….…137
圖4-2-15  教材下載路徑不一致……………………………………………….…138
圖4-2-16  課程觀看路徑不一致……………………………………………….…138
圖4-3-1  「功能選單」改善建議圖…………………………………………........142
圖4-3-2  「教材下載」改善建議圖(1/2)………………………………................142
圖4-3-3  「教材下載」改善建議圖(2/2)…………………………………….......143
圖4-3-4  「操作手冊」改善建議圖………………………………………………144
圖4-3-5  「課程頁面的路徑指引」改善建議圖(1/2)…………………………...145
圖4-3-6  「課程頁面的路徑指引」改善建議圖(2/2)……………………………145
圖4-3-7  「線上測驗」改善建議圖(1/2)………………………….………………146
圖4-3-8  「線上測驗」改善建議圖(2/2)…………………………….……………147
圖4-3-9  「音量」控制改善建議圖…...……………………….…………….…...148
圖4-3-10  「全螢幕」控制改善建議圖……………………...…………….………148
圖4-3-11 「前進/後退播放進度控制棒」改善建議……………………………..149
圖4-3-12  「暫停」與「播放」鍵改善建議圖…………………………………..150
圖4-3-13  「圖形介面之亂碼」改善建議圖…………………………………….150
圖4-3-14   「圖形介面之文字說明」改善建議圖………………………………...151
圖4-3-15  「內容呈現區」標題改善建議圖…………………………………….151
圖4-3-16   版面配置改善建議圖(1/2)…………………………….…………....152
圖4-3-17   版面配置改善建議圖(2/2)…………………………….……………153
圖4-3-18  修改搜索引擎的漏洞之改善建議圖………………………………...154
圖4-3-19  「教材下載路徑」改善建議圖(1/2)………………………………….154
圖4-3-20  「教材下載路徑」改善建議圖(2/2)……………………..……………155
圖4-3-21  「課程觀看路徑」改善建議圖…………………………..……………155
圖4-3-22  「圖形介面一致性」改善建議圖………………………..……………156
參考文獻
中文部分:
李青蓉、魏丕信、施郁芬、邱昭彰(1998)。人機介面設計,空大教材。
李世忠(1993)。使用者介面的探討。視聽教育雙月刊,35(1),19-57。
林佩瑩(2011)。眼動追蹤與使用者經驗:以使用者「觀」點分析使用性中介模式(未出版之碩士論文)。國立交通大學,新竹市。
林燕珍、何榮桂(2011)。數位學習服務平台簡介及其應用。台灣教育,670,12-21。
邱國鈞(2006)。追瞳系統之研製及其應用(未出版之碩士論文)。國立中央大學,桃園縣。
陳年興、楊錦潭(2006)。數位學習理論與實務。新北市:博碩文化。
陳文生(2005)。台灣網際網路發展史編撰研究計畫期未報告。財團法人台灣網路資訊中心委託研究。
陳建豪(譯)(1998)。人機介面與互動入門:電腦之人因工程(原作者:Jenny Preece)。台北市:和碩科技文化。(原著出版年:1993)
陳學志、賴惠德、邱發忠(2010)。眼球追蹤技術在學習與教育上的應用。教育科學研究期刊,55(4),39-68。
教育部數位學習服務平台(2012)。教育部數位學習平台研習學員(學生端)操作手冊。國立中正大學。嘉義縣。
張亮(譯)(2008)。設計好網站的黃金準則(原作者:Nielsen J. & Loranger H.)。台北市:精誠資訊。(原著出版年:2006)
張俊明、張祖亮、張永達(2004)。教學資源網站『內容管理系統』簡介。科學教育月刊,272,14-20。
資策會教育訓練處講師群著(2003)。數位學習最佳指引。台北市:資策會教育處
蔡介立、顏妙璇、汪勁安(2005)。眼球移動測量及在中文閱讀研究之應用。應用心理學,28,91-104。
賴建都(2008)。網路重度使用者對網頁訊息認知與瀏覽模式之研究-以台灣購物網站商品訊息呈現為例。行政院國家科學委員會補助專題研究計畫成果報告。國立政治大學廣告學系。
韓承靜、蔡介立(2008)。眼球軌跡記錄─科學學習研究的明日之星。科學教育月刊,310,2-11。
魏澤群(2007)。優使性2.0(Usability2.0)-網站經驗設計與使用者研究,網奕資訊科技,台北市。
魏澤群(2005)。使用者最大-從優使性(Usability)出發的網站設計原則,網奕資訊科技,台北市。
顧淑馨(譯)(2005)。全球舞台大未來(原作者:大前研一)。台北市:培生。(原著出版年:2005)
西文部分:
Alex Poole & Linden J. Ball(2006).Eye Tracking in HCI and Usability Research,Lancaster University, UK.
Bangor, A., Kortum, P. T., & Miller, J. T. (2008). An Empirical Evaluation of the System Usability Scale. International Journal of Human-Computer Interaction, 24, 574-594.
Bangor,A.,Kortum,P.,& Miller,J.(2009).Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale.Joural of Usability Studies,4,3,114-123.
Barnum, C. (2008). Usability testing of e-learning easy, effective, affordable. elearn Magazine. Retrieved from http://elearning.acm.org
Bell, B.(1992). Using programming walkthroughs to design a visual language. Technical Report CU-CS-581-92(Ph.D. Thesis), University of Colorado, Boulder, CO.
Bias, R. G. (1994). The pluralistic usability walkthrough: Coordinated empathies. In Nielsen, J., and Mack, R. L.(Eds.), Usability Inspection Methods, John Wiley& Sons, New York, 65–78.
Brooke, J. (1996). "SUS: a ‘quick and dirty’ usability scale". In P. W. Jordan, B. Thomas, B. A. Weerdmeester, & A. L. McClelland. Usability Evaluation in Industry. London: Taylor and Francis.
Duchowski, A. T. (2007). Eye tracking methology. New York: Springer.
Ehmke, C. and Wilson, S. (2007). Identifying Web Usability Problems from eye-Tracking Data.BCS-HCI '07 Proceedings of the 21st British HCI Group Annual Conference on People and Computers: HCI...but not as we know it, 1, (p.119-128).UK: British Computer Society.
Gaffney, G. (2000).Usability Techniques Series, Information & Design, www.infodesign.com.au
Homero, C. G. & Fernando, G. R. (2008). E-learning Platforms. Retrieved from Universidad Carlos III de Madrid , Department of Telematic Engineering Web site:  http://www.it.uc3m.es/rueda/lsfc/trabajos/curso07-08/E-learning%20platforms-HomeroCanales-FernandoGarcia.pdf
Hom, J.(1998).The usability method toolbox. Retrieval August 4, 2014,from http://usability.jameshom.com/
Huffaker, D. A.(2003). The e-Learning Design Challenge Technology, models and design principles, USA.
Huffaker, D. A., & Calvert, S. L. (2003). The New Science of Learning: Active Learning, Metacognition, and Transfer of Knowledge in e-Learning Applications. Journal of Educational Computing Research, 29, 3, 325-334.
Just M. A., and Carpenter P. A. (1976). Eye Fixations and Cognitive Process. Cognitive Psychology, 8, 441-480.
Kahn, M. J., and Prail, A. (1994). Formal usability inspections. In Nielsen, J., and Mack, R.L. (Eds.), Usability Inspection Methods, John Wiley & Sons, New York, 141–172.
Khan B. H. (2005), Program Evaluation in E-Learning. Retried from  http://badrulkhan.com/
Khan B. H. (2004), The People–Process–Product Continuum in E-Learning: The E-Learning P3 Model, Issue of Educational Technology, 44, 5, 33-40.
Krauzlis, R. J. (2005). The control of voluntary eye movements: new perspectives. The Neuroscientist, 11, 124-137.
Lewis, J R, & Sauro, J. (2009). The Factor Structure of the System Usability Scale. in Proceedings of the Human Computer Interaction International Conference (HCII 2009), San Diego CA.
Lohr, L. and Eikleberry, C. (2001).  Learner-Centered Usability: Tools for Creating a Learner-Friendly Instructional Environment. Performance Improvement, 40, 4, 24–27.
Morae Components and Features . Retrieval August 11,2014,from http://www.techsmith.com/morae-features.html
myGaze Eye Tracking Plug-in for Morae Manual(Version 2.0,April 2013) . Retrieval July 4,2014,from http://www.myGaze.com
myGaze Eye Tracking System Manual(Version 3.2,April 2013) . Retrieval July 4,2014,from http://www.myGaze.com
National Science Digital Library. (2005). Evaluation Digital Libraries: A User-Friendly Guide. The University of Georgia: Reeves, T. C., Apedoe, X., Woo Y. H.
Nielsen, J. (1992). The usability engineering life cycle. IEEE Computer 25, 3 (March), 109-118.
Nielsen, J. (1993). Usability Engineering, Academic Press, Boston, MA.
Nielsen, J. and Mack, R.L. (Eds.) (1994). Usability Inspection Methods, John Wiley & Sons, Inc. New York.
Nielsen, J. (1994). Usability Inspection Methods. Conference Companion on Human Factors in Computing Systems (p.413-414). Boston, Massachusetts, USA.
Nielsen J.(2000). Why you only need to test with 5 users. Retrieval August 11, 2014, from http://www.useit.com/alertbox/20000319.html
Nielsen, J. and Pernice, K. (2010). Eyetracking Web Usability. Berkeley, CA: New Rider.
Oztekin, A. , Kong, Z. J. and Uysal, O. (2010) UseLearn: A novel checklist and usability evaluation method for eLearning systems by criticality metric analysis. International Journal of Industrial Ergonomics, 40, p455-469.
Oztekin, A. Delen, D. Turkyilmaz, A. and Zaim, S. (2013) A machine learning-based usability evaluation method for eLearning systems. Decision Support Systems, 56, p63-73. 
Ramakrisnan, P. Jaafar, A. Razak, F. H. A. Ramba, D. A. (2012). Evaluation of User Interface Design for Leaning Management System (LMS): Investigating Student’s Eye Tracking Pattern and Experiences. Indonesia. Procedia-Social and Behavioral Sciences, 67, p527-537.
Rosenberg, M. J. (2001).  E-Learning: Strategies for Delivering Knowledge in the Digital Age. New York: McGraw-Hill.
Sharma, C. and Dubey, S. K. (2014) Analysis of Eye Tracking Techniques in Usability and HCI Perspective. International Conference on Computing for Sustainable Global Development. India.
Shneiderman B. & Plaisant C.(2009), Designing the user interface: strategies for effective human-computer interaction(5th Edition).
Tennant. R. (1999). User Interface Design: Some Guiding Principles. Library Journal ,124(17), 28-9. 
TechSmith Corporation. (2009). Software Usability Testing with Morae. Okemos, Michigan.
Wharton, C., Rieman, J., Lewis, C., and Poison, P. (1994).The cognitive walkthrough method: A practitioner’s guide. In Nielsen, J., and Mack, R. L. (Eds.), Usability Inspection Methods, John Wiley & Sons, New York, 105–140.
Windows XP gained market share in January (or did it?) . Retrieval April 24,2014,from http://www.pcworld.com/article/2093741/windows-xp-gained-market-share-in-january-or-did-it.html
Wixon, D., Jones, S., Tse, L., and Casaday, G. (1994). Inspections and design reviews: Framework, history, and reflection. In Nielsen, J., and Mack, R.L. (Eds.), Usability Inspection Methods, John Wiley & Sons, New York, 77–104.
Wu, C. I. (2012). HCI and Eye Tracking Technology for Learning Effect. Indonesia. Procedia-Social and Behavioral Sciences, 64, p626-632 4 ( 2012 ).
Yengin, I., Karahoca, A. and Karahoca, D. (2011) E-Learning success model for instructors’ satisfactions in perspective of interaction and usability outcomes. Procedia Computer Science, 3, p1396–1403.
Zaharias, P. (2004). Usability and e-Learning the road towards integration. elearn Magazine. Retrieved from http://elearning.acm.org
論文全文使用權限
校內
校內紙本論文立即公開
同意電子論文全文授權校園內公開
校內電子論文立即公開
校外
同意授權
校外電子論文立即公開

如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信