近年來，政府開始大力推動以數位學習的方式來進行公務人員的訓練。然而，至今卻沒有一套可用來評量數位學習成效的評鑑標準，以致於無法對其整體效益做出精確的判斷。因此，本研究希望藉由發展一套數位學習成效評鑑指標，來協助公部門機構在推動與執行數位學習活動時，能有效取得改進建議與相關人員作決策時之參考依據，並確實了解數位學習所帶來的整體效益。

本研究首先經由文獻探討的方式，彙整出初步的評鑑指標，作為第一回合德懷術問卷的內容，並經過八位專家共三回合德懷術問卷調查，取得專家趨一致性的意見，建構出本研究之公部門數位學習成效評鑑指標，共分反應、學習、行為、結果和投資報酬五大面向，73項指標項目，其中包含12項評鑑標，以及61項細項指標。研究結果如下：

一、反應面向的評鑑指標包含「公部門數位學習之組織方面的滿意度」、「公部門數位學習之網路環境及資訊設備的滿意度」、「公部門數位學習之系統服務的滿意度」、以及「公部門數位學習之數位教材的滿意度」。
二、學習面向的評鑑指標包含「參與數位學習後技能的增進」、「參與數位學習後知識的增長」。
三、行為面向的評鑑指標為「參與數位學習後，知識增長、技能增進或態度轉變所導致的行為表現」。
四、結果面向的評鑑指標包含「數位學習所導致服務產出及服務品質的提升」、「數位學習所導致時間的縮短」、「數位學習所導致顧客滿意度提升」。
五、投資報酬面向的評鑑指標包含「數位學習所產生的利益」、「數位學習所產生的成本」。

根據研究結果，提出對公部門數位學習成效評鑑指標之應用與後續研究的建議，期望政府公部門能更加重視數位學習成效的評鑑，以提升數位學習成效評鑑之階層。

Recently, the government starts to hold many e-learning courses for the training of civil servants. However, there is no evaluation criteria to understand the effectiveness of e-learning in public sectors and that makes them unable to assess the overall effectiveness precisely. Therefore, this study is to develop a series of evaluation indicators for e-learning effectiveness to help the public sectors to get the suggestions of improvement and the references of making decision, and indeed to comprehend the overall effectiveness of e-learning clearly .

    This study begins with the relevant literature review and develops the first Delphi technique questionnaire, and then invites 8 experts as panelists for Delphi study. Conducting three times of Delphi technique questionnaire survey, a consensus from the experts was obtained and the “evaluation indicators for e-learning effectiveness of public sectors” was established. This evaluation criteria consist of five dimensions, including reaction, learning, behavior, result and return on investment (ROI), and 73 indicators were detailed divided. The results are listed as follows:
1.The evaluation indicators under reaction dimension include “The satisfaction of organization of e-learning in public sector”, “The satisfaction of the network environment and information equipment of e-learning in public sector”, “The satisfaction of system services of e-learning in public sector”, ” The satisfaction of instructional materials of e-learning in public sector”.
2.The evaluation indicators under learning dimension include “the knowledge enhancement after attending e-learning”, “the skill improvement after attending e-learning”.
3.The evaluation indicators under behavior dimension include “the behavior resulted from the knowledge enhancement, skill improvement and attitude transformation after attending e-learning”.
4.The evaluation indicators under result dimension include “the elevation of the service output and the service quality resulted from e-learning”, “the condensation of time resulted from e-learning”, “the advance of customer satisfaction resulted from e-learning”.
5.The evaluation indicators under ROI dimension include “the benefits induced by e-learning”, “the cost induced by e-learning”.

    Based on the results, suggestions on the application of the evaluation indicators for e-learning effectiveness of public sectors and further research were provided. The e-learning effectiveness evaluation was expected to be emphasized by the government so as to advance the evaluation levels in the future.

目錄

第壹章	緒論	1
第一節	研究背景與動機	1
第二節	研究目的	4
第三節	研究問題	4
第四節	名詞釋義	5
第五節	研究範圍與限制	6
第貳章	文獻探討	8
第一節	數位學習之內涵	8
第二節	公部門推動數位學習之現況	12
第三節	數位學習成效評鑑	18
第四節	公部門數位學習成效評鑑指標	37
第參章	研究方法	63
第一節	研究架構	63
第二節	研究對象	65
第三節	研究工具	67
第四節	研究程序	69
第五節	資料分析	71
第肆章	研究結果與討論	74
第一節	第一回合德懷術問卷調查結果分析與討論	74
第二節	第二回合德懷術問卷調查結果分析與討論	101
第三節	第三回合德懷術問卷調查結果分析與討論	128
第伍章	結論與建議	164
第一節	結論	164
第二節	建議	171
參考文獻	185
一、中文部分	185
二、英文部分	189
附錄	191
附錄一  第一回合德懷術調查問卷	191
附錄二  第二回合德懷術調查問卷	203
附錄三  第三回合德懷術調查問卷	219


表次

表2-2-1 公部門數位學習網站調查情形	14
表2-3-1 Kirkpatrick評鑑模式、Phillips評鑑模式、CIPP評鑑模式及Brinkerhoff六階段評鑑模式之比較	35
表2-4-1 數位學習相關主題之文獻及其內涵	45
表2-4-2 反應面向之評鑑指標及細項指標	48
表2-4-3 學習面向之評鑑指標及細項指標	55
表2-4-4 行為面向之評鑑指標及細項指標	57
表2-4-5 結果面向之評鑑指標及細項指標	60
表2-4-6 投資報酬面向之評鑑指標及細項指標	62
表3-2-1 德懷術調查問卷之專家名單	66
表4-1-1 第一回合德懷術問卷之統計資料與修正表－「A-1公部門數位學習之組織方面的滿意度」部分	77
表4-1-2 第一回合德懷術問卷之統計資料與修正表－「A-2公部門數位學習之網路環境及資訊設備的滿意度」部分	79
表4-1-3 第一回合德懷術問卷之統計資料與修正表－「A-3公部門數位學習之系統服務的滿意度」部分	80
表4-1-4 第一回合德懷術問卷之統計資料與修正表－「A-4公部門數位學習之數位教材的滿意度」部分	81
表4-1-5 第一回合德懷術問卷之統計資料與修正表－「B-1參與數位學習後知識的增長」部分	84
表4-1-6 第一回合德懷術問卷之統計資料與修正表－「B-1參與數位學習後技能的增進」部分	86
表4-1-7 第一回合德懷術問卷之統計資料與修正表－「C-1參與數位學習後，知識增長、技能增進或態度轉變所導致的行為表現」部分	89
表4-1-8 第一回合德懷術問卷之統計資料與修正表－「D-1數位學習所導致服務產出及服務品質的提升」部分	91
表4-1-9 第一回合德懷術問卷之統計資料與修正表－「D-2數位學習所導致時間的縮短」部分	92
表4-1-10 第一回合德懷術問卷之統計資料與修正表－「D-3數位學習所導致人員流動率降低」部分	93
表4-1-11 第一回合德懷術問卷之統計資料與修正表－「D-4數位學習所導致顧客滿意度提升」部分	95
表4-1-12 第一回合德懷術問卷之統計資料與修正表－「E-1數位學習所產生的利益」部分	97
表4-1-13 第一回合德懷術問卷之統計資料與修正表－「E-2數位學習所產生的成本」部分	98
表4-1-14 第一回合問卷前後各面向之題數	99
表4-1-15第一回合德懷術問卷新增及刪除之指標項目	99
表4-2-1 第二回合德懷術問卷之統計資料與修正表－「A-1公部門數位學習之組織方面的滿意度」部分	104
表4-2-2 第二回合德懷術問卷之統計資料與修正表－「A-2公部門數位學習之網路環境及資訊設備的滿意度」部分	106
表4-2-3 第二回合德懷術問卷之統計資料與修正表－「A-3公部門數位學習之系統服務的滿意度」部分	107
表4-2-4 第二回合德懷術問卷之統計資料與修正表－「A-4公部門數位學習之數位教材的滿意度」部分	108
表4-2-5 第二回合德懷術問卷之統計資料與修正表－「B-1參與數位學習後知識的增長」部分	112
表4-2-6 第二回合德懷術問卷之統計資料與修正表－「B-1參與數位學習後技能的增進」部分	115
表4-2-7 第二回合德懷術問卷之統計資料與修正表－「C-1參與數位學習後，知識增長、技能增進或態度轉變所導致的行為表現」部分	117
表4-2-8 第二回合德懷術問卷之統計資料與修正表－「D-1數位學習所導致服務產出及服務品質的提升」部分	119
表4-2-9 第二回合德懷術問卷之統計資料與修正表－「D-2數位學習所導致時間的縮短」部分	120
表4-2-10 第二回合德懷術問卷之統計資料與修正表－「D-3數位學習所導致人員流動率降低」部分	121
表4-2-11 第二回合德懷術問卷之統計資料與修正表－「D-4數位學習所導致顧客滿意度提升」部分	122
表4-2-12 第二回合德懷術問卷之統計資料與修正表－「E-1數位學習所產生的利益」部分	124
表4-2-13 第二回合德懷術問卷之統計資料與修正表－「E-2數位學習所產生的成本」部分	125
表4-2-14 第一、二、三回合問卷前各面向之題數	126
表4-2-15第二回合德懷術問卷新增及刪除之指標項目	126
表4-3-1 第三回合德懷術問卷之統計資料與修正表－「A-1公部門數位學習之組織方面的滿意度」部分	132
表4-3-2 第三回合德懷術問卷之統計資料與修正表－「A-2公部門數位學習之網路環境及資訊設備的滿意度」部分	134
表4-3-3 第三回合德懷術問卷之統計資料與修正表－「A-3公部門數位學習之系統服務的滿意度」部分	135
表4-3-4 第三回合德懷術問卷之統計資料與修正表－「A-4公部門數位學習之數位教材的滿意度」部分	137
表4-3-5 第三回合德懷術問卷之統計資料與修正表－「B-1參與數位學習後知識的增長」部分	140
表4-3-6 第三回合德懷術問卷之統計資料與修正表－「B-1參與數位學習後技能的增進」部分	143
表4-3-7 第三回合德懷術問卷之統計資料與修正表－「C-1參與數位學習後，知識增長、技能增進或態度轉變所導致的行為表現」部分	145
表4-3-8 第三回合德懷術問卷之統計資料與修正表－「D-1數位學習所導致服務產出及服務品質的提升」部分	146
表4-3-9 第三回合德懷術問卷之統計資料與修正表－「D-2數位學習所導致時間的縮短」部分	147
表4-3-10 第三回合德懷術問卷之統計資料與修正表－「D-4數位學習所導致顧客滿意度提升」部分	148
表4-3-11 第三回合德懷術問卷之統計資料與修正表－「E-1數位學習所產生的利益」部分	149
表4-3-12 第三回合德懷術問卷之統計資料與修正表－「E-2數位學習所產生的成本」部分	151
表4-3-13 第一、二、三回合問卷前以及第三回合問卷後各面向之題數	151
表4-3-14第二回合德懷術問卷新增及刪除之指標項目	152
表4-3-15第二回合及第三回合問卷之標準差變化表	153
表4-3-16 Wilcoxon檢定統計值	160
表4-3-17三回合之問卷收發時程與回收率	163
表5-1-1 反應階層面向指標	166
表5-1-2 學習階層面向指標	168
表5-1-3 行為階層面向指標	169
表5-1-4 結果階層面向指標	170
表5-1-5 投資階層報酬面向指標	170
表5-2-1 不同類別之數位教材在「參與數位學習後技能的增進」指標下所適合採用之細項指標	173
表5-2-2 各面向評鑑指標可採用之評鑑方法、評鑑時機及評鑑指引	178

 
圖次

圖2-1-1 數位學習相關名詞範圍大小關係圖	10
圖2-3-1 評鑑、訓練過程與績效之關係	21
圖2-3-2 Phillips之ROI模式十步驟	32
圖3-1-1 研究架構	64
圖3-4-1 研究流程圖	70

一、中文部分

王光復（2000）。訓練成效評估之著眼點及實施方法。就業與訓練，18（1），60-66。
行政院人事行政局（2005）。各機關（構）學習網站調查資料。2007年10月1日，取自http://www.cpa.gov.tw/cpa2004/pftrain/download/EXTR96021501.xls
朱則剛、李麗君、單文經、楊美雪（譯）（1998）。Barbara B.Seels & Rita C. Richey著。載於張霄亭（總校閱），教育科技的定義與範疇研究。台北：五南。
吳三靈（2006）。推動公務人員數位學習之現況與展望。研習論壇，67，12-20。
李允傑（2007）。公部門績效評估技術與指標。研考雙月刊，31（2），26-39。
李匡雲（2006）。國民小學教師評鑑指標之建構。國立臺南大學教育學系課程與教學研究所碩士論文，未出版，台南。
余志鴻（2006）。數位學習互動模式對學習者資訊技能學習成效與態度之影響。國立臺灣師範大學資訊教育研究所，未出版，台北。
何俐安（2006）。探討人力資源發展成果-談組織評鑑教育訓練之模式。研習論壇，67，31-41。
李業成（2001）。企業導入網路學習系統(e-learning)關鍵因素之探討。義守大學管理科學研究所碩士論文，未出版，高雄。
吳濟安（2005）。數位學習與公務人力資源發展之初探—以我國政府六大數位學習網為例。競爭力評論，9，84-103。
吳瓊治（2006）。訓練成效的評鑑。品質月刊，42（10），44-48。
林和春（2002）。CIPP模式在教育機構評鑑上的運用--以評鑑桃園縣國小鄉土教育資源中心為例。學校行政，20，23-52。
周瑞貞（2006）。迎接e世代的來臨-談公務人員數位學習。研習論壇，71，38-45。
周新富（2007）。教育研究法。台北：五南。
林宜玄、蕭芳玲（2004）。訓練評鑑模式之比較分析。商業職業教育季刊，93，11-20。
施富有（2004）。提供鷹架對不同學習成就學生數位學習成效之探討－以高年級水的三態教學活動為例。國立新竹教育大學課程與教學研究所碩士論文，未出版，新竹。
計惠卿（2003）。數位學習的成功因素：STCPPP構面。公教資訊，7（1），18-28。
孫志麟（2000）。教育指標的概念模式。教育政策論壇，3（1），117-136。
陳正宏（2002）。非營利組織績效評估指標之研究─以台灣300家主要基金會為例。國防管理學院資訊管理研究所碩士論文，未出版，台北。
許玫琦（2004）公部門學習網站運作現況之探討-以台北e大為例。人事月刊，38（1），54-60。
陳思均（2001）。地方公務員訓練成效評估之研究。東海大學公共事務研究所碩士論文，未出版，台中。
郭昭佑（2001）。教育評鑑指標建構方法探究。國教學報，13，251-278。
陳俊瑋（2005）。數位學習系統之設計原則研究-以故宮為例。國立交通大學應用藝術研究所碩士論文，未出版，新竹。
張春興（2003）。教育心理學：三化取向的理論與實踐。台北：東華。
張瓊穗、羅百萱（2008）。公部門數位學習成效評鑑指標之探析-以公務人力發展中心為例。未出版。
許進旺（2004）。成人教育目標導向、學習滿意度與學習成效之探討-以高雄市立空中大學為例。中華大學經營管理研究所碩士論文，未出版，新竹。
陳欽峰（2003）。Scorm-Based 適性化網路學習管理平台之設計。台中師範學院教育測驗統計研究所碩士論文，未出版，台中。
陳勁甫、鍾武侖（2007）。工作滿足、組織承諾、工作尋找與離職傾向關係之研究－以某國際航空公司空服員為例。運輸學刊，19（2），191-213。
陳美華、李文瑞（2004）。文藻外語學院英語能力設定標準之內容及意義。語文與國際研究，1，97-115。
陳偉泓、高熏芳（2004）。資訊教育實施成效評鑑準則之初探。教育研究月刊，122，133-147。
陳志忠、李明興、杜阿仙（2006）。公部門服務品質、服務價值、顧客滿意度與行為意向關係之實證研究－以工業技術研究院育成中心為例。公共事務評論，7（1），63-98。
陳正昌、孫志麟、鄭明長、陳秀碧、樊雪春、劉子鍵等（譯）（1996）。R.M.Gagne著。載於于鳳娟（主編），教學設計原理。台北：五南。
曾小玲（2002）。企業推動e-learning模式之探討。國立中山大學資訊管理研究所碩士論文，未出版，高雄。
黃怡儒（2005）。資訊教育訓練學習滿意度關鍵因素之研究。元智大學管理研究所碩士論文，未出版，桃園。
黃倩如（2007）。訓練成效評估資料之蒐集與分析。人事月刊，44（2），51-55。
黃曼容（2005）。公務部門發展數位學習課程之需求分析輔助手冊研發。淡江大學教育科技學系碩士論文，未出版，台北。
黃清標（2005）。企業顧客滿意度調查及滿意度問題改善方法。品質月刊，41（4），47-53。
黃雁萍（2006）。如何評估訓練成效ROI。學習園區電子報，45。2007年9月25日，取自http://www.elearn.org.tw/eLearn/eNews/eL_Insight_045.htm
黃曙東（譯）（2005）。D.L.Stufflebeam著。CIPP評鑑模式。載於蘇錦麗（主編），評鑑模式：教育及人力服務的評鑑觀點（頁333-383）。台北：高等教育。
博士博數位人力資源（2005）。Jack Philips ROI 研習心得分享。2007年10月7，取自www.pospo.com.tw/news/200508/recommend.htm
葉重新（2005）。教育研究法【第二版】。台北：心理。
楊昭德（2007）。以科技接受模型探究數位學習為基礎之學習滿意度與績效之研究。大葉大學資訊管理研究所碩士論文，未出版，彰化。
楊家興（2004）。我國網路教學品質指標芻議。管理與資訊學報，9，207-228。
楊寶華（2005）。企業數位學習成效評鑑指標建構之研究─以金融服務業為例。國立彰化師範大學人力資源管理研究所碩士論文，未出版，彰化。
楊聰財、李明濱、吳英璋（2003）。CIPP 評鑑模式在醫學教育領域的適用性。醫學教育，7（3），218-233。
經濟部工業局（2007）。數位學習服務品質規範V3.0。2008年2月26日，取自http://www.dcipo.csd.org.tw/index.asp?link=msg_Data&msg_c=c7&sn=68
經濟部工業局（2007）。數位學習教材品質規範V3.0。2008年2月26日，取自http://www.dcipo.csd.org.tw/index.asp?link=msg_Data&msg_c=c7&sn=68
廖培瑜（2001）。企業訓練線上學習成效評量之研究。國立臺灣師範大學工業科技教育研究所，未出版，台北。
廖培瑜、錢毓琦（2001）。網路化教育訓練(Web-Based Training)之評鑑，品質月刊，38（8），28-32。
蔡德祿（2003）。淺談e-Learning與SCORM標準年，資訊與電腦雜誌，276，10-12。
戴幼農（1994）。訓練評核的原則與方法。就業與訓練，12（4），16-22。
謝政彥（2006）。訓練投資報酬－ROI方法論初探。人事月刊，42（6），48-52。
謝臥龍、駱慧文（2004）。德懷研究。載於謝臥龍（主編），質性研究（頁317-382）。台北：心理。
簡建忠（1994）。訓練評鑑。台北：五南。
簡茂發、劉湘川（1993）。電腦會議式大慧調查法及其在教育上之應用。資訊與教育，35，6-11。
蘇錦麗（譯）（2005）。G. F. Madaus & D. L. Stufflebeam著。方案評鑑：歷史的回顧。載於蘇錦麗（主編），評鑑模式：教育及人力服務的評鑑觀點（頁3-22）。台北：高等教育。
蘇錦麗（譯）（2005）。G. F. Madaus & T. Kellaghan著。評鑑的模式、隱喻及定義。載於蘇錦麗（主編），評鑑模式：教育及人力服務的評鑑觀點（頁23-39）。台北：高等教育。
蘇照雅、陳怡穎（2005）。數位學習導入企業組織之探討。生活科技教育，38（7），26-36。


二、英文部分

ASTD (American Society for Training & Development) (n.d.). E-learning Glossary. Retrieved August 31, 2007, from http://www.learningcircuits.org/glossary.html
Broadbent, B. (2002). ABCs of e-learning: Reaping the benefits and avoiding the pitfalls. San Francisco: Jossey- Bass / Pfeiffer.
Brinkerhoff, R. O. (1988). An integrated evaluation model for HRD. Training and Development Journal,42 (2),66-68.
Cavalli-Sforza, V. & Ortolano, L. (1984). Delphi farecasts of land use: Transportation interaction. Journal of Transportation Engineering, 110(3), 324-339.
Delahaye, B. L. (2001). Human resource development: principles and practice. Sydney, Australia: John Wiley & Sons Inc.
Galvin, J. C. (1983). What can trainers learn from educators about evaluating management training? Training and Development Journal, 37(8), 52-56.
Kirkpatrick, D. L. (1996). Great ideas revisited: Techniques for evaluating training programs. Training & Development, 50(1), 54-59.
Kirkpatrick, D. L. (1998). Evaluating training program : The four levels (2nd ed.). San Francisco: Berrett-Koehler Publishers.
Kirkpatrick, D. L. (2006).Seven keys to unlock the four levels of evaluation. Performance Improvement, 45(7), 5-8.
Kaufman, R. & Keller, J. M. (1994). Levels of evaluation: Beyond Kirkpatrick. Human Resource Development Quarterly, 5(4), 371-380.
McNamara (n.d.). Basic Guide to Program Evaluation. Retrieved October 8, 2007, from http://www.managementhelp.org/evaluatn/fnl_eval.htm
ODL QC (Open and distance learning quality council) (2000). Standards in open & distance learning. Retrieved October 15, 2007, from  http://dspace.dial.pipex.com/odlqc/standold.htm
ODL QC (Open and distance learning quality council) (2005). Standards in open & distance learning. Retrieved October 15, 2007, from 
http://dspace.dial.pipex.com/odlqc/standard.htm
Phillips, J. J. (1998). Measuring the return on investment in organization development:  Key issues and trends. Organization Development Journal, 16(4), 29-41.
Phillips, J. J. & Phillips, P. P. (2001). Measuring return on investment. Alexandria, VA: American Society for Training and Development.
Phillips, P. P. & Phillips, J. J. (2004). ROI in the public sector: Myths and realities. Public Personnel Management, 33(2), 139-149.
Smith, P. L. & Ragan, T. J. (2005). Instructional design. Hoboken, NJ: Wiley & Sons, Inc.
WebCT (2005). WebCT exemplary course project 2005 nomination instructions and form. Retrieved October 15, 2007, from http://www.webct.com/service/ViewContent?contentID=23981201
Werner, J. M. & Desimone, R. L. (2006). Human resource development. Sigapore: Thomson South-Western.