本論文設計一套結合互動式體驗之故事書，名為4D故事書。體驗之互動式是針對有故事臨場感，譬如當故事中出現光、熱、風及雨等劇情時，我們結合外部硬體裝置來模擬這些體驗。例如利用風扇、熱燈、熱風扇及水瓶喷水來模擬模擬，風雨、燒熱、火光故事情境等，讓小朋友在說故事時擁有「4D」的互動式體驗。此互動式故事書採用光敏電阻、繼電器模組來控制交流電電器設備此外我們也設計一個「電源模組」，此電源模組控制中介用配電盤交流電器裝置，並對故事內容可「回饋場景」，直接開啟電源或關閉電源。此4D故事書能給讀者生動、活潑和場景模擬，讓讀者在具娛樂性與興趣中閱讀。此外，在人機介面設計上，本論文也實現了手勢滑鼠控制系統，藉由RGB-D影像資訊進行手勢辨識及滑鼠游標控制。此功能未來可與4D故事書系統結合，達到更自然的互動體驗。

This thesis designs a set of storybooks that combine interactive experiences, Named 4D storybook. The interactive experience is for a sense of story, For example, when there are scenes such as light, heat, wind and rain in the story, We combine external hardware devices to simulate these experiences. For example, using a fan, a heat lamp, a hot fan, and a water bottle spray to simulate the simulation, Wind and rain, hot, fire story etc, Let children have a "4D" interactive experience when telling stories. This interactive storybook uses photoresistors and relay modules to control AC electrical equipment. we also design a "power module", The power module controls the intermediary switch board AC electrical device, and “return the scene” to the content of the story. Turn the power on or off directly. This 4D storybook can give readers vivid, lively and scene simulation, Let readers read in entertainment and interest. 
        In addition, in the human-machine interface design, This paper also implements the gesture mouse control system, Gesture recognition and mouse cursor control are performed by RGB-D image information. This feature can be combined with the 4D storybook system in the future, Achieve a more natural interactive experience.

目錄
目錄..................................................Ⅲ
圖目錄................................................Ⅴ
表目錄................................................Ⅷ
第一章 緒論...........................................1
     1.1 前言............................................1
    1.2 研究目的........................................3
第二章 手勢滑鼠控制系統............................4
    2.1微軟Kinect應用..................................4
    2.2 Kinect手勢滑鼠控制.............................5
     2.3手勢滑鼠控制延伸................................6
第三章 沈浸式體驗之互動式故事書.................14
3.1 互動式故事書..................................14
3.2 沈浸式體驗....................................14
3.3 家長與兒童閱讀互動...........................15
3.4 學生多元化創意學習...........................17
第四章 實驗模擬-手勢滑鼠系統與沈浸式體驗之互動式故事書...............................................23
4.1手勢滑鼠系統簡介..............................23
4.2 手勢滑鼠之實驗模擬............................26
4.3 沈浸式體驗互動故事書系統簡介.................27
4.4 沈浸式體驗之互動式故事書之實驗模擬..........33
第五章 結論與未來展望研究.........................36
參考文獻...............................................37
圖目錄
圖1.1 kinect微軟官方遊戲機照片........................2
圖2.1人臉追蹤..........................................4
圖2.2骨架追蹤..........................................5
圖2.3 OpenNI架構......................................5
圖2.4 (a)網路攝影機捕捉手勢滑鼠游標控制的系統概述圖(b)系統流程圖...........................................7
圖2.5 在研究中手指貼上不同顏色的標記................8
圖2.6手勢滑鼠硬體設備.................................8
圖2.7手勢電腦滑鼠控制.................................9
圖2.8手勢角度演算法滑鼠控制.........................10
圖2.9 Pendke研究所設計的數據手套...................11
圖2.10網路攝影機偵測手掌區塊........................12
圖2.11使用 EmguCV SDK套件偵測手掌與手指區塊....13
圖3.1故事書模擬實境...................................15
圖3.2（c）（d）父母及孩子肢體語言相對位置。（a）（b）兩人組姿態互動...........................................16
圖3.3上課學生教學活動................................17
圖3.4使用者玩家試玩...................................18
圖3.5大學學生教學VR.................................20
圖3.6親子互動.........................................21
圖4.1 Kinect遊戲機....................................23
圖4.2手勢控制.........................................24
圖4.3手勢Visual C++程式碼一.........................24
圖4.4手勢Visual C++程式碼二.........................25
圖4.5 HandGKET Emulation Toolkit開發套件手勢滑鼠介面....25
圖4.6手勢滑鼠應用程式播放電影.......................26
圖4.7伊索寓言與安徒生童話............................27
圖4.8 (a)使用伊索寓言作為紙本故事背景(b) 使用光敏電阻模組來偵測書本開啟之動作...........................28
圖4.9故事流程圖.......................................29
圖4.10伊索寓言北風與太陽.............................29
圖4.11電源模組及光敏電阻模組........................30
圖4.12光敏電阻模組和繼電器模組......................31
圖4.13配電盤和開關....................................32
圖4.14光敏電阻控制繼電器電器裝置....................32
圖4.15故事書開啟電源.................................33
圖4.16家長和小孩兩人互動.............................33
圖4.17家長說明故事書內容和模擬場景.................34
圖4.18小孩看故事書內容臨場感........................34

表目錄
表一 對應故事書內容場景分析系統.....................30

參考文獻
[1] H.S. Grif, C. C. Farcas, “Mouse Cursor Control System Based on Hand Gesture‚ ” Procedia Technology, Vol 22, 2016, pp 657-661

[2] H.S. Grif, T. Turc, “Human hand gesture based system for mouse cursor control‚ ” Procedia Technology, Vol 22, 2018, pp 1038-1042

[3] K. Pendke, P. Khuje, S. Narnaware, S. Thool, S. Nimje, “COMPUTER CURSOR CONTROL MECHANISM BY USING HAND GESTURE RECOGNITION, ” International Journal of Computer Science and Mobile Computing, IJCSMC, Vol 4, Issue.3, March 2015, pp.293 – 300

[4] S.M.T.Saleem, S.Fareed, F.Bibi, A.Khan, S.Gohar, H.H. Ashraf, “IMouse: Eyes Gesture Control System‚” Article Published in International Journal of Advanced Computer Science and Applications, IJACSA, Vol 9, Issue 9, 2018

[5] C.H .Lin, J.H.Chen, S.S. Yang, Yi.Zhu.Cao, “Design and implementation of a mouth-controlled mouse‚” IEEE Xplore, 23 June 2011

[6] C.Rustung, “The Multiplayer Storybook‚ ” The Oslo School of Architecture and Design, ADORA, 05-2018
[7]李思漢，探討沉浸式虛擬實境RPG遊戲設計以HTC Vive為例，社會科學，管理學，電算機學門，2017.6，P1-99。
[8]雷碧秀，虛擬閱讀數位時代閱讀新革命，國家圖館館，全國新書資訊月刊，227,2017.11，頁8-12。
[9]陳俞臻，廖冠智，科學博物館情境式混合實境設計之初探，數位媒體設計國際研討會論文，2015-10，P138–144。

[10]王楚，小榮說工作室，從「概念」到「產品」：沉浸式體驗如何打造文旅版「頭號玩家」，2018-05-06 。
[11]吳碧娥，北美智權報編輯部，2019年沉浸式體驗再升級，2019-03-03。
[12]本文摘錄自一張圖搞懂 捨棄的勇氣，未來工作: 沉浸式娛樂規劃師，2018年9月號。
[13]孫憶明，親子天下，VR如何為教育學習提供創新價值，2018-05-18。
[14]吳凱琳（文字工作者），數位科技，話題》當紙本結合虛擬實境及擴增實境：數位科技如何創新閱讀體驗，2018-04-10。
[15]手勢滑鼠實驗 https://youtu.be/qzsKDiiZwX4
[16]沈浸式體驗之互動式故事書實https://youtu.be/gFuiwZcFOdc