面對壽險業的快速變遷，為使壽險顧問在這競爭激烈的環境中生存並脫穎而出，教育訓練與訓練成效的評估顯得格外的重要。目前個案公司係以實體通關測驗來診斷新進壽險顧問於六大基礎課程中的學習成效，但礙於講師人力限制，係由每位學員以抽籤決定測驗的主題，因此講師無法判定每位學員於「電話約訪」課程中是否有不精熟的部分，而無法即時進行補救；「電話約訪」正確知能若無法建立，對於後續行銷流程影響顯著，同時由於各個講師評鑑的標準不一致，容易因個人主觀因素，而影響測驗的結果。因此，為解決實體通關測驗之問題，個案公司提出製作線上測驗之需求，並以「電話約訪」課程為電腦化測驗之嘗試，故本研究依據「電話約訪」課程內容，設計與發展情境模擬式線上測驗。

本研究之文獻探討分別為「訓練評鑑」、「電話約訪」、「情境模擬」、「電腦測驗與測驗編製」及「情境模擬式線上測驗之設計模式與要項」五部分，藉由電腦化測驗編製之原則及情境模擬要素運用之文獻綜整來規劃本研究之測驗，並透過內容分析統整個案公司「電話約訪」相關之話術以設計本測驗之內容與試題。再者本研究採設計本位研究，並依循系統化教學設計模式，藉以分析、設計、發展與形成性評鑑，利用網頁及影音製作軟體為工具，發展建置符合個案公司所需求之「電話約訪」線上測驗，並藉由專家與學習者之評鑑以提供測驗之品質修正與改進。評鑑結果本研究能突破個案公司於實體通關測驗所面臨的問題，並且能導正學習者錯誤之概念，以及提供作為欲從事相關研究之參考。

Nowadays, insurance sales representatives are facing great challenges and competitions. Therefore, the training assessments and the training results have become essential in an insurance company. Currently, the C Company tests their sales representatives face to face to appraise the results of the fundamental courses. Unfortunately, due to the lack of instructors and the fact that a topic assigned to a student is randomly selected, the instructors cannot determine a student’s proficiency in a telephone approach course; consequently, a company might miss the timing to correct a student’s misconception. If the concepts of telephone approach cannot be built up, it will seriously impact the forthcoming sales process. Meanwhile, since there are no determined passing criteria for the appraisals, the results might be subjective. In order to solve this problem, the C Company raises their needs for implementing an online testing system for the telephone approach course.

The goal of this research is to design and develop the online testing system for the situational simulation based on the course materials of telephone approach. The research is divided into Training Assessment, Telephone Approach, Situational Simulation, Computerized tests and Implementation of the tests, and the model and design concepts of online tests for situational simulation. The test contents and questions are designed based on the principals of computerized tests, the collection of achieves used as the foundation for situational simulation, and the content analysis and case study of telephone approach of the C Company. Furthermore, the research follows Design-Based Research and Systems Instructional Design guideline to analyze, design, develop, and evaluate formatively the online testing system with multimedia supports for telephone approach that aligns with C Company’s requirements. The contents and user interfaces of the system are corrected and improved over time based on the recommendations of the professionals and students’ test results. In conclusion, the research can resolve the problems that the C Company is facing with traditional test mechanism, correct students’ misconceptions, and provide a reference to ones who would research in this area of study.

第一章 緒論	1
第一節 研究背景與動機	1
第二節 研究目的與問題	3
第三節　研究範圍與限制	4
第四節　名詞釋義	5
第二章 文獻探討	7
第一節 訓練評鑑	7
一、	教育訓練評鑑的定義	7
二、	教育訓練評鑑的模式	8
三、	教育訓練評鑑的型態	9
四、	教育訓練評鑑的執行	11
第二節  電話約訪	13
一、	壽險行銷六大流程	13
二、	電話約訪要訣	14
三、	電話禮儀	16
四、	客戶抱怨處理	17
五、	拒絕處理	19
六、	聲音技巧	24
第三節　情境模擬	26
一、	情境的定義	26
二、	模擬的定義	26
三、	模擬的類型	27
四、	情境模擬的好處	29
第四節　電腦測驗與測驗編製	30
一、	電腦化測驗	30
二、	測驗編製程序	31
三、	測驗的信效度	36
第五節　情境模擬式線上測驗之設計模式與要項	40
一、	測驗設計模式	40
二、	情境模擬式線上測驗之設計要項	41
第三章 研究方法	45
第一節 設計發展研究法	45
第二節 研究流程	46
第三節 分析階段	48
一、	需求分析	48
二、	學習者分析	49
三、	測驗目標與工作任務分析	51
四、	資訊科技分析	52
五、	測驗環境分析	53
六、	媒體分析	53
第四節 設計階段	55
一、	確定測驗目的	55
二、	建立雙向細目表	55
三、	決定測驗題型	58
四、	編製情境模擬式測驗案例及試題	58
五、	試題審查	71
六、	修改試題選項，確定試題	71
七、	訂定評分標準	73
第五節 發展階段	74
一、	發展進度規劃	74
二、	發展工作規劃	74
第六節 評鑑階段	76
第四章 測驗發展與評鑑	77
第一節 測驗開發成果	77
一、	「電話約訪」線上測驗架構	77
二、	測驗前活動說明	78
三、	測驗內容說明	81
四、	測驗後回饋	85
第二節 形成性評鑑結果	87
一、	專家評鑑結果	87
二、	學習者評鑑結果	93
三、    評鑑結果綜整	98
第五章 結論與建議	101
第一節 研究結論	101
第二節 研究建議	106

參考文獻	109
中文部分	109
英文部分	112

附錄	116
附錄1  學習者分析問卷	116
附錄2  實體通關測驗學員表現與講師回饋	118
附錄3  測驗案例對話腳本	122
附錄4  試題、選項及正誤回饋彙整表	135
附錄5  內容專家／實體通關測驗專家評鑑表	148
附錄6  教育科技專家評鑑表	151
附錄7  學習者評鑑表	153
附錄8  內容專家／實體通關測驗專家訪談大綱	156
附錄9  教育科技專家訪談大綱	157
附錄10  學習者訪談大綱	158

表次
表2-1-1  訓練成效評估方法分析表	11
表2-1-2  訓練評核方法	12
表2-2-1  電話約訪拒絕情況與反對問題	21
表2-2-2  拒絕問題處理參考話術	23
表2-4-1  各種信度係數及其誤差來源	36
表2-4-2  效度的類型與涵義	38
表3-3-1  學習者一般特質歸納	50
表3-3-2  線上測驗製作端與使用端所需硬體設備	53
表3-3-3  媒體呈現的形式	54
表3-3-4  媒體呈現所需的軟體	54
表3-4-1  雙向細目表	56
表3-4-2  電話約訪教材內容未出題原因	57
表3-4-3  測驗案例客戶類型、情境與場景表	59
表3-4-4  測驗案例試題設計與工作任務分析對照表	60
表3-4-5  實體通關測驗中不當話術使用之歸類	61
表3-4-6  一般壽險顧問進行電話約訪常見不當話術使用之歸類	62
表3-4-7  專家背景資料	71
表3-4-8  試題檢核面向	71
表3-4-9  建議試題選項修正內容	72
表3-5-1  測驗發展進度表	74
表3-6-1  形成性評鑑規劃	76
表4-1-1  答題狀況系統回饋之文字彙整	85
表4-2-1  內容專家／實體通關測驗專家背景資料………………………87
表4-2-2  內容專家／實體通關測驗專家評鑑結果分析表	88
表4-2-3  內容專家／實體通關測驗專家問卷評鑑結果彙整分析	89
表4-2-4  內容專家／實體通關測驗專家訪談結果	90
表4-2-5  教育科技專家背景資料	91
表4-2-6  教育科技專家評鑑結果分析表	91
表4-2-7  教育科技專家評鑑結果彙整分析表	93
表4-2-8  教育科技專家建議改善項目之彙整表	93
表4-2-9  學習者評鑑結果分析表	94
表4-2-10  學習者問卷評鑑結果彙整分析表	96
表4-2-11  學習者整體評價	97
表4-2-12  學習者建議修改事項	…..97 
表4-2-13  電話約訪課程情境模擬式線上測驗設計與發展具體修正表	98
表4-2-14　修正前後案例結束畫面	99
表4-2-15　修正前後案例背景介紹畫面	99
表4-2-16　修正前後總結回饋畫面	100

圖次
圖3-2-1  研究流程圖	47
圖3-3-1  電話約訪之工作任務分析	52
圖3-4-1  案例二第二通電話填答過程情境模擬路徑示意圖	63
圖3-4-2  案例一陌生開發電話約訪對話流程圖	64
圖3-4-3  案例二轉介紹開發第一通電話約訪對話流程圖	65
圖3-4-4  案例二轉介紹開發第二通電話約訪對話流程圖	66
圖3-4-5  案例三緣故開發電話約訪對話流程圖	67
圖3-4-6  案例四服務件開發電話約訪對話流程圖	68
圖3-4-7  案例五轉介紹開發第一通電話約訪對話流程圖	69
圖3-4-8  案例五轉介紹開發第二通電話約訪對話流程圖	70
圖4-1-1  電話約訪情境模擬式線上測驗架構圖	78
圖4-1-2  測驗登入晝面	79
圖4-1-3  測驗首頁	79
圖4-1-4  測驗介紹	80
圖4-1-5  填答說明	80
圖4-1-6  評分標準	81
圖4-1-7  案例一首頁	82
圖4-1-8  案例一背景說明及客戶介紹	82
圖4-1-9  電話約訪對話進行	83
圖4-1-10 試題7拒絕問題	84
圖4-1-11 試題7選項	84
圖4-1-12 成績統計畫面	85
圖4-1-13 總結回饋畫面	86

中文
王文科、王智弘（2007）。教育研究法。台北：五南。
王文中、呂金燮、吳毓瑩、張郁雯、張淑慧（2004）。教育測驗與評量－教室學習觀點。台北：五南。
古翠瑾、James M. Heidema（2006）。保險達人。台北市：水牛。
任賢旺（2004）。售後服務與抱怨處理。台北市：憲業企管。
林小娟（2006）。壽險業教育訓練成效評鑑之研究：以保誠人壽新秀進階班為例。淡江大學教育科技研究所碩士論文，未出版，台北。
林文政（2006）。100分的完整教育訓練。人才資本雜誌，4，25-28。
何榮桂（1990）。電腦教學系統中的測驗設計。中等教育，41(2)，29-34。
何榮桂（1997）。從「測驗電腦化與電腦化測驗」再看網路化測驗。測驗與輔導，144，2972-2974。
沈介文、徐明儀、陳銘嘉（2004）。當代人力資源管理。台北：三民。
李誠、周佳慧（2002）。訓練成效評估之探討以V公司團隊建立課程為例。 　勞工研究。 4（1），71-85。.
李成功（2006）。客戶無法拒絕的成功技巧。新加坡：麥可國際。
李坤崇（1999）。多元化教學評量。台北：心理出版社。
李鎮宇（2006）。模擬式學習教材Soft Skill 打先鋒。數位學習國家型科技計劃學習園區電子報，42。2008年9月14日，取自    　　http://www.elearn.org.tw/NR/exeres/7D5EF32E-CDE3-4668-9815-9DE37818FBB7.htm
李育葶（2006）。壽險公司保戶抱怨與其補救行為之研究。朝陽科技大學　保險金融管理所碩士論文，未出版，台中。
李坤崇（2006）。教學評量。台北：心理出版社。
余民寧（2002）。教育測驗與評量：成就測驗與教學評量。台北：心理出版社。
余民寧 (2005)，試題、分數、和測驗理論，IRT 測驗與教學，1，5-25。
呂巧芬（2005）。電話約訪話術6大要訣。現代保險金融理財雜誌，204，84-86。
周文欽、歐滄和、許擇基、盧欽銘、金樹人、范德鑫（1995）。心理與教育測驗。台北：心理出版社。
吳秉恩（1988）。如何做好人力培訓計劃之擬定與執行。人力資源發展月刊，2，2-5。
吳秉恩（1983）。管理才能發展方案實施與成效關係之研究。國立政治大學企業管理研究所博士論文，未出版，台北。
吳裕益、陳英豪（1998）。測驗與評量。高雄：高雄復文圖書出版社。
邱龍斌（2002）。線上體育多媒體評量系統之研究與開發-以國中課程基本　排球動作為例。國立體育學院體育研究所碩士論文，未出版，桃園。
姚能肇（2002）。電話行銷輕鬆成交。台北市：美國麥格羅．希爾國際。
高熏芳，江玟均（2007）教育科技領域發展中的研究方法－設計本位研究之評析，教學科技與媒體，80，4-15。 
孫永堯（2005）。CALL出客源寫出業績---市場開發的電話與書信行銷。台北市：焦點企管。
張國安（2006）。電話推銷培訓教材。新加坡：麥可國際出版有限公司。
張國安（2006）。電話行銷倍增財富。新加坡：麥可國際出版有限公司。
張烜搏（2006）。赢得戶的12個關鍵電話。台北縣：如意文化。
張仁家（2005）。企業訓練與發展。台北市：全華科技圖書。
張祖祈、朱純、胡頌華（2006）。教學設計—基本原理與方法。台北：五南。
陳新豐（2006）。數位化的評量模式與學習環境之建置。台北市：心理出版社。
郭藩（2006）。教育測驗與統計。台北：千華數位文化。
郭生玉（2007）。教育測驗與評量。台北：精華書局。
黃英忠（2007）。人力資源管理概論。高雄：麗文文化。
麥格羅希爾（2007）。員工訓練與發展。（簡貞玉譯）。台北市：五南。（原著出版日：2004）
劉湘川（1987）。模擬式電腦輔助教學與研究。台灣區師範專科學校數理科學術研討會。
歐滄和（2002）。教育測驗與評量。台北市：心理出版社。
廖致凱（2004）。我國企業數位學習市場的回顧與展望。台灣資策會數位學習技術中心。2008年9月14日檢索自　　　http://www.elearn.org.tw/NR/exeres/EE0B7288-3C55-4274-8252-14C0CF51CE27.htm　　
戴淑媛（2001）。中高齡者職業訓練成效評估之研究。國立中山大學公共事務管理研究所碩士論文，未出版，高雄。
戴幼農（1994）。訓練評核的原則與方法。就業與訓練，12(4)，16-22。

英文
American Psychological Association (1985). Standards for Educational and Psychological Testing. Washington. DC：Author. American Psychological Association.　
Brandon Hall Research. (2006). Online Simulations 2006—A KnowledgeBase of 100+ Simulation Development Tools and Services. Retrieved Dec. 24, 2008, from  http://www.brandon-hall.com/publications/simkb/simkb_method.shtml
Breuer, K., & Hajovy, H. (1987). Adaptive instructional simulation to improve learning of cognitive strategies. Education Technology, 27(5), 29-33.
Carroll, J. M. (1999). Five reasons for scenario-based design. Proceedings of 32nd Annual Hawaii International Conference on System Sciences, January 5-8, 1999, Maui, Hawaii, USA, Volume 3. IEEE Computer Society.PDF:http://www.computer.org/proceedings/hicss/0001/00013/00013051.PDF
Corder, Lloyd E(1989). Total Telephone Tips. Retrieved Jul.12, 2008. From   http://eric.ed.gov/ERICWebPortal/custom/portlets/recordDetails/detailmini.jsp?_nfpb=true&_&ERICExtSearch_SearchValue_0=ED314768&ERICExtSearch_SearchType_0=no&accno=ED314768
Dennis, J. R., & Kansky, R. J. (1984). Electronic slices of reality: The instructional role of computerized simulations. In J. R. Dennis and R. J. Kansky (Eds.), Instructional computing: An acting guide for educators. Glenview, Illinois: Scott, Foresman.
Dick, W. & Carey, L. (1996). The systematic design of instruction (4th ed.).   New York: Harper Collins.
Ebel, R.L. & Frisbie, D.A., (1991). Essentials of educational measurement(5th ed.). Ennlewood Cliffs, NJ : Prentice-Hall.
Elaine S. Weinberg（1992）. Winning Telephone Tips. By: Mercer County Community Coll., Trenton, NJ. Retrieved Jul.12, 2008. From http://www.eric.ed.gov/ERICDocs/data/ericdocs2sql/content_storage_01/0000019b/80/12/f9/13.pdf
Gatewood, R. D., & Field, H.S. (2001). Human Resource Selection (5th ed.). Fort Worth: Harcourt College Publishers.
Goldstein,I.L.,(1993).Training in organizations:Needs assessment, development, and evaluation(3rd ed.). Monterey, CA:Brooks/Cole.
Hay, K. E., Kim, B., & Roy, T. C. (2005). Design-based research: more than formative assessment? An account of the virtual solar system Project. Educational Technology, 45（1）, 34-41.
Heinich, R., Molenda, M., Russell, J. D. (1989). Instructional media and the new technologies of instruction. NY: cmillan Publishing.
Horton, W. K. (2000). Designing Web-based training: How to teach anyone anything anywhere anytime.  Canada : John Wiley & Sons.
Hoadley, C. (2004). Methodological Alignment in Design-Based Research. Educational Psychologist, 39(4), 203-212.
Kirkpatrick, D.L. (1977). Evaluating training programs: Evidence vs. proof. Training and Development Journal, 31(11), 9-12.
Linn, R. L. & Gronlund, N. D. (2000). Measurement and Assessment in Teaching (8th. Ed.). Englewood Cliffs, NJ: Prentice Hall.
Magee, M. (2006). State of the Field Review: Simulation in Education. Retrieved Sep.12, 2008. from
http://www.ccl-cca.ca/NR/rdonlyres/C8CB4C08-F7D3-4915-BDAA-C4915-BDAA-C41250A43516/0/SFRSimulationinEducationJul06REV.pdf
McCormack, D., & Jones, D. (1997). Building a web-based education system. New York: John Wiley & Sons.
McLellan, H.(1996). Situated Learning Perspectives. Englewood Cliffs, NJ:Educational Technology Publications.
Mitchell, Rex C (2004). Combining cases and computer simulations in strategic management course. Journal of Education for Business, 79( 4), 198-204 .
Onyeaso,G.(2007).Are Customers’s Dissatisfaction and complaint Behaviors Positively Related? Empirical Tests. Journal of American Academy of Business, Cambridge.Hollywood: 11(1), 8-14.
Phillips, J. J., (1997). Handbook of training evaluation and measurement methodsinstructor’s (3rd ed.). Houston, TX: Gulf Publishing Company.
Rosson, M. B. & J. M. Carroll (2002). Usability Engineering: Scenario-based development of human-computer interaction. San Francisco: Morgan Kaufmann.
Sugrue, B.& Rivera, R. J.(2005). 2005 state of the industry report- ASTD’s annual review of trends in workplace learning and performance. Retrieved Sep.12, 2008. from http://www.astd.org/NR/rdonlyres/563C2472-1F53-4BEE-8213-7CC19BC532C5/0/ASTD_StateoftheIndustry_2005.pdf.
Wang, F. & Hannafin, M.J. (2005). Design-based research and technology-enhanced learning environments. Technology Research and Development, 53(4), 5-23.
West, C. & Snellen, J. (1991). A Report on the Research and Development of Instructional Simulation. ( ERIC Document Reproduction Service, No. ED 340362).