本論文結合多重觸覺回饋於人機互動領域之中，並應用於沉浸式體驗與教學輔具設計。此研究分為兩大主題，增強沉浸式體驗與教學輔具設計，前者包含AoEs與4D電影院，後者則為「可編程之觸覺回饋模組」快速成型設計系統。其中AoEs為增強傳送門沉浸式體驗而融合多重觸覺回饋，透過多種回饋裝置的結合，模擬出各式自然環境的感受；4D電影院結合「大型裝置用之可編程之觸覺回饋模組」和Google Cloud Vision，即時反應電影場景的環境變化，給予在VR虛擬電影院中的使用者，適當的觸覺回饋感受；而最後者則為增強Haptic Maker對使用者的易用性，進一步優化使用者介面，並解決軟硬體銜接、需相關知識背景的問題，讓使用者把更多的心力，專注在互動內容與裝置的設計開發上，幫助快速開發觸覺回饋裝置的目的。

In this thesis, we utilize multiple haptic feedback in the field of human-computer interaction, and applying to immersive experience and teaching aids. This thesis consists of two parts, enhancing immersive experience and teaching aids. To enhance the user experience, two application, namely as AoEs and 4D theater are developed. 
  In this study, we design AoEs to provide multiple haptic feedback in order to enhance teleportation experience in immersive environment. By combining different haptic devices, AoEs can simulate a variety of nature environments. In addition, we propose an application, 4D theater, by applying the haptic case and Google Image Content Analysis system, the 4D theater application can real-time detect Environmental changes in movie scene and switch haptic modules to simulate corresponding haptic feedback for user in virtual reality.
  To help designers to develop the interactive devices, we propose a rapid prototype including a haptic controller and its operation system. The proposed rapid prototype optimizes user interface for the purpose of strengthening ease of use for Haptic Maker, and resolves the issue about hardware-software integration, a lot of time to making haptic prototype, and needing much background related knowledge. It lets designer more intently focus on development of interactive content and haptic device, and helps designer reduce time to make haptic devices.

目錄
致謝	I
目錄	IV
圖目錄	VIII
表目錄	XII
第一章 緒論	1
1.1 前言	1
1.2 研究動機與目的	1
1.2.1 研究動機	1
1.2.2 研究目的	2
1.3 本論文貢獻範圍	4
第二章 背景知識與相關研究	5
2.1 觸覺回饋	5
2.2 觸覺回饋與沉浸式環境	7
2.3 局部性觸覺回饋與操作體驗	8
2.4 區域性觸覺回饋與移動體驗	12
2.5 觸覺回饋於大型娛樂設備之發展	15
2.6 可編程之觸覺回饋模組設計	17
2.6.1 Haptic Maker主控系統	17
2.6.2 Haptic Maker觸覺回饋模組系統	18
第三章 多重觸覺回饋應用於沉浸式體驗	19
3.1 AoEs	19
3.1.1 硬體	20
3.1.1.1 硬體架構	20
3.1.1.2 追蹤系統	21
3.1.1.3 觸覺回饋系統	22
3.1.1.4 多重觸覺回饋交互方式	24
3.1.2 應用情境	25
3.1.2.1 操作方式	25
3.1.2.2 體驗流程	26
3.2 4D電影院	27
3.2.1 Haptic Case	28
3.2.1.1 Haptic Case硬體架構	28
3.2.1.2 Haptic Case通訊協定	29
3.2.2 觸覺回饋裝置	31
3.2.2.1 觸覺回饋裝置	31
3.2.2.2 多重觸覺回饋裝置交互方式	32
3.2.3 場景分析系統	33
3.2.3.1 Google Cloud Vision	33
3.2.3.2 火勢演算法	34
3.2.3.3 預錄功能	35
3.2.4 視覺化中介設定程式	36
3.2.4.1 視覺化中介設定程式使用說明	36
3.2.4.2 視覺化中介程式詳細操作說明	37
3.2.5 系統流程	38
3.2.6 系統模組交互關係	39
3.2.7 應用情境	40
3.2.7.1 展示用電影片段	40
第四章 「可編程之觸覺回饋模組」快速成型設計系統	41
4.1 快速成型設計系統之設計概念	41
4.2 Haptic Designer	42
4.2.1 Haptic Designer手持裝置	43
4.2.2 Haptic Designer模組化觸覺回饋裝置	44
4.2.3 Haptic Designer模組化觸覺回饋交互方式	45
4.2.4 Haptic Designer通訊協定	46
4.3 Node Editor	47
4.3.1 Haptic Node管理區域	48
4.3.2 Haptic Node編輯區域	49
4.3.2.1 Haptic Node觸發順序	50
4.3.2.2 Haptic Node之內部細節	50
4.3.3 觸覺回饋操控區域	52
4.3.3.1 Haptic Designer & Haptic Maker版本	52
4.4 快速成型設計系統開發流程	53
第五章 場域測試	54
5.1 實驗介紹	54
5.2 實驗目的	54
5.3 視覺化編程快速開發測試實驗	55
5.3.1 實驗流程設計	55
5.3.2 實驗對象	57
5.3.3 實驗結果	58
5.3.3.1 連動式情境深入火箭筒 LSR − Ω01	58
5.3.3.2 極限運動挑戰者	59
5.4 VR快速開發引導測試實驗	61
5.4.1 實驗流程設計	61
5.4.2 實驗對象	64
5.4.3 實驗結果	65
5.4.3.1 「睡起來！」－助眠VR體驗裝置	65
5.4.3.2 MUSTHITO	66
第六章 結論與未來展望	68
參考文獻	70
附錄一	73
圖目錄
圖 1.1 本論文貢獻範圍	2
圖 1.2 AoEs實體圖	3
圖 1.3快速成型設計系統流程圖	3
圖 1.4 4D電影院使用情境圖	4
圖 2.1 WAVE NG	5
圖 2.2 atmoSphere	6
圖 2.3 MetaLimbs	6
圖 2.4 Teslasuit	7
圖 2.5 Po2	8
圖 2.6 Omnipulse	8
圖 2.7 Bottomless Joystick	9
圖 2.8 OoEs	9
圖 2.9 Haptic Designer	10
圖 2.10 Node Editor	11
圖 2.11 AmbioTherm	12
圖 2.12 Turkdeck	13
圖 2.13 Turkdeck之工作人員提示標誌	13
圖 2.14 AoEs	14
圖 2.15飛越台灣	15
圖 2.16 Q-ride	16
圖 2.17 Haptic Maker	17
圖 2.18 Haptic Maker之觸覺回饋模組	18
圖 3.1 AoEs裝置圖	19
圖 3.2 AoEs運作圖	20
圖 3.3 AoEs座標系統圖	21
圖 3.4 運轉AoEs之馬達	21
圖 3.5 AoEs之觸覺回饋系統圖	22
圖 3.6 AoEs之霧化模組旋轉架構圖	23
圖 3.7 AoEs多重觸覺回饋交互作用圖	24
圖 3.8 VIVE控制器之按鈕對應圖	25
圖 3.9 AoEs體驗流程圖	26
圖 3.10 AoEs冰冷洞窟至強風沙漠圖	26
圖 3.11 4D電影院使用情境圖	27
圖 3.12 Haptic Case實體圖	28
圖 3.13 指定觸覺回饋模組裝置指令圖	29
圖 3.14 控制指定裝置輸出電壓指令圖	30
圖 3.15強度輸出指令圖	30
圖 3.16 Google Cloud Vision	33
圖 3.17火勢演算法展示結果之一圖	34
圖 3.18火勢演算法展示結果之二圖	34
圖 3.19 4D電影院之視覺化中介設定程式	36
圖 3.20 4D電影院Haptic Case設定區域	37
圖 3.21 Haptic Case設定流程圖	38
圖 3.22 場景分析系統流程圖	38
圖 3.23 預錄功能流程圖	38
圖 3.24 4D電影院系統模組交互關係圖	39
圖 3.25 4D電影院展示片段順序圖	40
圖 4.1 Haptic Maker快速成型設計系統概念圖	41
圖 4.2 Haptic Designer	42
圖 4.3 Haptic Designer手持裝置圖	43
圖 4.4 Haptic Designer模組化觸覺回饋裝置圖	44
圖 4.5 Haptic Designer通訊協定對應圖	46
圖 4.6 Haptic Designer直覺性指令	46
圖 4.7 Node Editor	47
圖 4.8 Haptic Node管理區域圖	48
圖 4.9 Haptic Node編輯區域	49
圖 4.10 Node Editor之Node連接畫面	50
圖 4.11 Haptic Node無前置條件圖	51
圖 4.12 Node Editor之版本差異比較圖	52
圖 4.13 快速成型設計系統開發流程圖	53
圖 5.1視覺化編程快速開發測試實驗流程圖	55
圖 5.2 連動式情境深入火箭筒 LSR − Ω01情境圖	58
圖 5.3連動式情境深入火箭筒 LSR − Ω01畫面與裝置	59
圖 5.4 極限運動挑戰者情境裝置圖	60
圖 5.5 VR快速開發引導測試實驗流程圖	62
圖 5.6 「睡起來！」－助眠VR體驗圖	65
圖 5.7 「睡起來！」之虛擬畫面	66
圖 5.8 「睡起來！」之裝置設計圖	66
圖 5.9 MUSTHITO操作體驗圖	67
圖 5.10 MUSTHITO情境解說圖	67
表目錄
表 2.1 操作體驗與本系統之比較表	11
表 2.2 移動體驗與AoEs比較表	14
表 2.3 Haptic Maker之觸覺回饋模組使用情境表	18
表 3.1指定觸覺回饋模組裝置指令裝置對應表	29
表 3.2 4D電影院觸覺回饋裝置情境應用表	32
表 3.3 預錄功能之觸覺回饋對應表	35
表 4.1 Haptic Designer模組化觸覺回饋使用情境表	45
表 4.2 Haptic Node管理區域之按鈕功能表	48
表 5.1極限運動挑戰者之觸覺回饋情境對應表	60

[1] B. Banter, “Enabling Technology: Touch Screens and Touch Surfaces are Enriched by Haptic Force-Feedback,“ InformationDisplay, vol. 26, no. 3, 2010, pp. 26–30.
[2]WAVE NG [online] Available:https://www.mimbus.com/en/portfolio/wave-ng-en/
[3]Haruna Fushimi, Daiya Kato, Youichi Kamiyama, Kazuya Yanagihara, Kouta Minamizawa, Kai Kunze, “atmoSphere:	designing cross-modal music experiences using spatial audio with haptic feedback”, Proc ACM SIGGRAPH 2017 Emerging Technologies (SIGGRAPH 17), Los Angeles, CA, July 30 - August 03, 2017.
[4]Tomoya Sasaki, MHD Yamen Saraiji, Charith Lasantha Fernando, Kouta Minamizawa, Masahiko Inami, “MetaLimbs: metamorphosis for multiple arms interaction using artificial limbs”, Proc ACM SIGGRAPH 2017 Emerging Technologies (SIGGRAPH 17), Los Angeles, CA, July 30 – August 03, 2017.
[5]Teslasuit [online] Available: https://teslasuit.io/
[6] Ali Israr, Siyan Zhao, Kyna McIntosh, JaeKyun Kang, Zachary Schwemler, Eric Brockmeyer, Mark Baskinger, Moshe Mahler, “Po2: augmented haptics for interactive gameplay”, Proc ACM SIGGRAPH 2015 Emerging Technologies (SIGGRAPH 15), Los Angeles, 2015.
[7]P. Lopes, A. Ion, and P. Baudisch, “Impacto: Simulating Physical Impact  by Combining Tactile Stimulation with Electrical Muscle Stimulation,” in  Proc. User Interface Software & Technology (UIST 15), Charlotte, NC, Nov. 11-15, 2015, pp. 11–19.
[8]Omnipulse [online] Available:https://orl.mae.cornell.edu/#publications
[9]Yuichiro Katsumoto, “Bottomless joystick 2”, Proc ACM SIGGRAPH 2017 Emerging Technologies (SIGGRAPH 17), Los Angeles, CA, July 30 - August 03, 2017.
[10]Ping-Hsuan Han, Yang-Sheng Chen, Chiao-En Hsieh, Yu-Jie Huang, Hung-Chih Lin, Peng-Wen Tong, Kuan-Yin Lu, Yi-Ping Hung, “OoEs: playing in the immersive game with augmented haptics”, Proc ACM SIGGRAPH 2016 VR Village (SIGGRAPH 16), ANAHEIM, California, July 24 - 28, 2016.
[11]W. Qi, R. M. Taylor, C. G. Healey, and J.-B. Martens, “A comparison of immersive HMD, fish tank VR and fish tank with haptics displays for volume visualization,” in Proc. Applied perception in graphics and visualization (APGV’06), Boston, MA, Jul. 28-29, 2006, pp. 51–58.
[12]	M. Rheiner, “Birdly an attempt to fly,” Proc. ACM SIGGRAPH 2014 Emerging Technologies (SIGGRAPH 14), Vancouver, BC, CA, Aug. 10 – 14, 2014.
[13]Nimesha Ranasinghe, Pravar Jain, David Tolley, Shienny Karwita, Shi Yilei, Ellen Yi-Luen Do, “AmbioTherm: Simulating Ambient Temperatures and Wind Conditions in VR Environments”, Proc ACM UIST 2016 Adjunct: Proceedings of the 29th Annual Symposium on User Interface Software and Technology(UIST 2016), October 2016.
[14]SIMEONE, A. L., VELLOSO, E., & GELLERSEN, H. 2015. Substitutional reality: Using the physical environment to design virtual reality experiences. In AH (pp. 3307-3316). ACM.
[15]Lung-Pan Cheng, Thijs Roumen, Hannes Rantzsch, Sven Köhler, Patrick Schmidt, Robert Kovacs, Johannes Jasper, Jonas Kemper, Patrick Baudisch, “TurkDeck: Physical Virtual Reality Based on People”, Proc ACM UIST 2015 Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology (UIST 2015), November 2015.
[16]HTC Vive [online] Available: https://www.vive.com/tw/
[17]Google Cloud Vision [online] Available:https://cloud.google.com/vision/
[18]Thou-Ho (Chao-Ho) Chen, Ping-Hsueh Wu, and Yung-Chuen Chiou, “An Early Fire-Detection Method Based on Image Processing”, Proc IEEE 2004 International Conference on Image Processing (ICIP 2004), Oct. 24-27. 2004.