系統識別號 | U0002-2006201814282600 |
---|---|
DOI | 10.6846/TKU.2018.00586 |
論文名稱(中文) | 結合多重觸覺回饋於人機互動之研究-應用於沉浸式體驗與教學輔具設計 |
論文名稱(英文) | The Study by Applying Multiple Haptic Feedback for Human–Computer Interaction – Applications of Immersive Experience and Teaching Aid Design |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 電機工程學系碩士班 |
系所名稱(英文) | Department of Electrical and Computer Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 106 |
學期 | 2 |
出版年 | 107 |
研究生(中文) | 柯勝富 |
研究生(英文) | Sheng-Fu Ko |
學號 | 605450203 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | 英文 |
口試日期 | 2018-06-11 |
論文頁數 | 73頁 |
口試委員 |
指導教授
-
周建興(chchou@mail.tku.edu.tw)
委員 - 蘇木春(muchun@csie.ncu.edu.tw) 委員 - 江正雄(chiang@ee.tku.edu.tw) 委員 - 郭景明(jmguo@seed.net.tw) |
關鍵字(中) |
人機互動 觸覺回饋 VR沉浸式環境 互動裝置開發 |
關鍵字(英) |
Human-Computer Interaction Haptic Feedback Immersive environment Interactive Development |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
本論文結合多重觸覺回饋於人機互動領域之中,並應用於沉浸式體驗與教學輔具設計。此研究分為兩大主題,增強沉浸式體驗與教學輔具設計,前者包含AoEs與4D電影院,後者則為「可編程之觸覺回饋模組」快速成型設計系統。其中AoEs為增強傳送門沉浸式體驗而融合多重觸覺回饋,透過多種回饋裝置的結合,模擬出各式自然環境的感受;4D電影院結合「大型裝置用之可編程之觸覺回饋模組」和Google Cloud Vision,即時反應電影場景的環境變化,給予在VR虛擬電影院中的使用者,適當的觸覺回饋感受;而最後者則為增強Haptic Maker對使用者的易用性,進一步優化使用者介面,並解決軟硬體銜接、需相關知識背景的問題,讓使用者把更多的心力,專注在互動內容與裝置的設計開發上,幫助快速開發觸覺回饋裝置的目的。 |
英文摘要 |
In this thesis, we utilize multiple haptic feedback in the field of human-computer interaction, and applying to immersive experience and teaching aids. This thesis consists of two parts, enhancing immersive experience and teaching aids. To enhance the user experience, two application, namely as AoEs and 4D theater are developed. In this study, we design AoEs to provide multiple haptic feedback in order to enhance teleportation experience in immersive environment. By combining different haptic devices, AoEs can simulate a variety of nature environments. In addition, we propose an application, 4D theater, by applying the haptic case and Google Image Content Analysis system, the 4D theater application can real-time detect Environmental changes in movie scene and switch haptic modules to simulate corresponding haptic feedback for user in virtual reality. To help designers to develop the interactive devices, we propose a rapid prototype including a haptic controller and its operation system. The proposed rapid prototype optimizes user interface for the purpose of strengthening ease of use for Haptic Maker, and resolves the issue about hardware-software integration, a lot of time to making haptic prototype, and needing much background related knowledge. It lets designer more intently focus on development of interactive content and haptic device, and helps designer reduce time to make haptic devices. |
第三語言摘要 | |
論文目次 |
目錄 致謝 I 目錄 IV 圖目錄 VIII 表目錄 XII 第一章 緒論 1 1.1 前言 1 1.2 研究動機與目的 1 1.2.1 研究動機 1 1.2.2 研究目的 2 1.3 本論文貢獻範圍 4 第二章 背景知識與相關研究 5 2.1 觸覺回饋 5 2.2 觸覺回饋與沉浸式環境 7 2.3 局部性觸覺回饋與操作體驗 8 2.4 區域性觸覺回饋與移動體驗 12 2.5 觸覺回饋於大型娛樂設備之發展 15 2.6 可編程之觸覺回饋模組設計 17 2.6.1 Haptic Maker主控系統 17 2.6.2 Haptic Maker觸覺回饋模組系統 18 第三章 多重觸覺回饋應用於沉浸式體驗 19 3.1 AoEs 19 3.1.1 硬體 20 3.1.1.1 硬體架構 20 3.1.1.2 追蹤系統 21 3.1.1.3 觸覺回饋系統 22 3.1.1.4 多重觸覺回饋交互方式 24 3.1.2 應用情境 25 3.1.2.1 操作方式 25 3.1.2.2 體驗流程 26 3.2 4D電影院 27 3.2.1 Haptic Case 28 3.2.1.1 Haptic Case硬體架構 28 3.2.1.2 Haptic Case通訊協定 29 3.2.2 觸覺回饋裝置 31 3.2.2.1 觸覺回饋裝置 31 3.2.2.2 多重觸覺回饋裝置交互方式 32 3.2.3 場景分析系統 33 3.2.3.1 Google Cloud Vision 33 3.2.3.2 火勢演算法 34 3.2.3.3 預錄功能 35 3.2.4 視覺化中介設定程式 36 3.2.4.1 視覺化中介設定程式使用說明 36 3.2.4.2 視覺化中介程式詳細操作說明 37 3.2.5 系統流程 38 3.2.6 系統模組交互關係 39 3.2.7 應用情境 40 3.2.7.1 展示用電影片段 40 第四章 「可編程之觸覺回饋模組」快速成型設計系統 41 4.1 快速成型設計系統之設計概念 41 4.2 Haptic Designer 42 4.2.1 Haptic Designer手持裝置 43 4.2.2 Haptic Designer模組化觸覺回饋裝置 44 4.2.3 Haptic Designer模組化觸覺回饋交互方式 45 4.2.4 Haptic Designer通訊協定 46 4.3 Node Editor 47 4.3.1 Haptic Node管理區域 48 4.3.2 Haptic Node編輯區域 49 4.3.2.1 Haptic Node觸發順序 50 4.3.2.2 Haptic Node之內部細節 50 4.3.3 觸覺回饋操控區域 52 4.3.3.1 Haptic Designer & Haptic Maker版本 52 4.4 快速成型設計系統開發流程 53 第五章 場域測試 54 5.1 實驗介紹 54 5.2 實驗目的 54 5.3 視覺化編程快速開發測試實驗 55 5.3.1 實驗流程設計 55 5.3.2 實驗對象 57 5.3.3 實驗結果 58 5.3.3.1 連動式情境深入火箭筒 LSR − Ω01 58 5.3.3.2 極限運動挑戰者 59 5.4 VR快速開發引導測試實驗 61 5.4.1 實驗流程設計 61 5.4.2 實驗對象 64 5.4.3 實驗結果 65 5.4.3.1 「睡起來!」-助眠VR體驗裝置 65 5.4.3.2 MUSTHITO 66 第六章 結論與未來展望 68 參考文獻 70 附錄一 73 圖目錄 圖 1.1 本論文貢獻範圍 2 圖 1.2 AoEs實體圖 3 圖 1.3快速成型設計系統流程圖 3 圖 1.4 4D電影院使用情境圖 4 圖 2.1 WAVE NG 5 圖 2.2 atmoSphere 6 圖 2.3 MetaLimbs 6 圖 2.4 Teslasuit 7 圖 2.5 Po2 8 圖 2.6 Omnipulse 8 圖 2.7 Bottomless Joystick 9 圖 2.8 OoEs 9 圖 2.9 Haptic Designer 10 圖 2.10 Node Editor 11 圖 2.11 AmbioTherm 12 圖 2.12 Turkdeck 13 圖 2.13 Turkdeck之工作人員提示標誌 13 圖 2.14 AoEs 14 圖 2.15飛越台灣 15 圖 2.16 Q-ride 16 圖 2.17 Haptic Maker 17 圖 2.18 Haptic Maker之觸覺回饋模組 18 圖 3.1 AoEs裝置圖 19 圖 3.2 AoEs運作圖 20 圖 3.3 AoEs座標系統圖 21 圖 3.4 運轉AoEs之馬達 21 圖 3.5 AoEs之觸覺回饋系統圖 22 圖 3.6 AoEs之霧化模組旋轉架構圖 23 圖 3.7 AoEs多重觸覺回饋交互作用圖 24 圖 3.8 VIVE控制器之按鈕對應圖 25 圖 3.9 AoEs體驗流程圖 26 圖 3.10 AoEs冰冷洞窟至強風沙漠圖 26 圖 3.11 4D電影院使用情境圖 27 圖 3.12 Haptic Case實體圖 28 圖 3.13 指定觸覺回饋模組裝置指令圖 29 圖 3.14 控制指定裝置輸出電壓指令圖 30 圖 3.15強度輸出指令圖 30 圖 3.16 Google Cloud Vision 33 圖 3.17火勢演算法展示結果之一圖 34 圖 3.18火勢演算法展示結果之二圖 34 圖 3.19 4D電影院之視覺化中介設定程式 36 圖 3.20 4D電影院Haptic Case設定區域 37 圖 3.21 Haptic Case設定流程圖 38 圖 3.22 場景分析系統流程圖 38 圖 3.23 預錄功能流程圖 38 圖 3.24 4D電影院系統模組交互關係圖 39 圖 3.25 4D電影院展示片段順序圖 40 圖 4.1 Haptic Maker快速成型設計系統概念圖 41 圖 4.2 Haptic Designer 42 圖 4.3 Haptic Designer手持裝置圖 43 圖 4.4 Haptic Designer模組化觸覺回饋裝置圖 44 圖 4.5 Haptic Designer通訊協定對應圖 46 圖 4.6 Haptic Designer直覺性指令 46 圖 4.7 Node Editor 47 圖 4.8 Haptic Node管理區域圖 48 圖 4.9 Haptic Node編輯區域 49 圖 4.10 Node Editor之Node連接畫面 50 圖 4.11 Haptic Node無前置條件圖 51 圖 4.12 Node Editor之版本差異比較圖 52 圖 4.13 快速成型設計系統開發流程圖 53 圖 5.1視覺化編程快速開發測試實驗流程圖 55 圖 5.2 連動式情境深入火箭筒 LSR − Ω01情境圖 58 圖 5.3連動式情境深入火箭筒 LSR − Ω01畫面與裝置 59 圖 5.4 極限運動挑戰者情境裝置圖 60 圖 5.5 VR快速開發引導測試實驗流程圖 62 圖 5.6 「睡起來!」-助眠VR體驗圖 65 圖 5.7 「睡起來!」之虛擬畫面 66 圖 5.8 「睡起來!」之裝置設計圖 66 圖 5.9 MUSTHITO操作體驗圖 67 圖 5.10 MUSTHITO情境解說圖 67 表目錄 表 2.1 操作體驗與本系統之比較表 11 表 2.2 移動體驗與AoEs比較表 14 表 2.3 Haptic Maker之觸覺回饋模組使用情境表 18 表 3.1指定觸覺回饋模組裝置指令裝置對應表 29 表 3.2 4D電影院觸覺回饋裝置情境應用表 32 表 3.3 預錄功能之觸覺回饋對應表 35 表 4.1 Haptic Designer模組化觸覺回饋使用情境表 45 表 4.2 Haptic Node管理區域之按鈕功能表 48 表 5.1極限運動挑戰者之觸覺回饋情境對應表 60 |
參考文獻 |
[1] B. Banter, “Enabling Technology: Touch Screens and Touch Surfaces are Enriched by Haptic Force-Feedback,“ InformationDisplay, vol. 26, no. 3, 2010, pp. 26–30. [2]WAVE NG [online] Available:https://www.mimbus.com/en/portfolio/wave-ng-en/ [3]Haruna Fushimi, Daiya Kato, Youichi Kamiyama, Kazuya Yanagihara, Kouta Minamizawa, Kai Kunze, “atmoSphere: designing cross-modal music experiences using spatial audio with haptic feedback”, Proc ACM SIGGRAPH 2017 Emerging Technologies (SIGGRAPH 17), Los Angeles, CA, July 30 - August 03, 2017. [4]Tomoya Sasaki, MHD Yamen Saraiji, Charith Lasantha Fernando, Kouta Minamizawa, Masahiko Inami, “MetaLimbs: metamorphosis for multiple arms interaction using artificial limbs”, Proc ACM SIGGRAPH 2017 Emerging Technologies (SIGGRAPH 17), Los Angeles, CA, July 30 – August 03, 2017. [5]Teslasuit [online] Available: https://teslasuit.io/ [6] Ali Israr, Siyan Zhao, Kyna McIntosh, JaeKyun Kang, Zachary Schwemler, Eric Brockmeyer, Mark Baskinger, Moshe Mahler, “Po2: augmented haptics for interactive gameplay”, Proc ACM SIGGRAPH 2015 Emerging Technologies (SIGGRAPH 15), Los Angeles, 2015. [7]P. Lopes, A. Ion, and P. Baudisch, “Impacto: Simulating Physical Impact by Combining Tactile Stimulation with Electrical Muscle Stimulation,” in Proc. User Interface Software & Technology (UIST 15), Charlotte, NC, Nov. 11-15, 2015, pp. 11–19. [8]Omnipulse [online] Available:https://orl.mae.cornell.edu/#publications [9]Yuichiro Katsumoto, “Bottomless joystick 2”, Proc ACM SIGGRAPH 2017 Emerging Technologies (SIGGRAPH 17), Los Angeles, CA, July 30 - August 03, 2017. [10]Ping-Hsuan Han, Yang-Sheng Chen, Chiao-En Hsieh, Yu-Jie Huang, Hung-Chih Lin, Peng-Wen Tong, Kuan-Yin Lu, Yi-Ping Hung, “OoEs: playing in the immersive game with augmented haptics”, Proc ACM SIGGRAPH 2016 VR Village (SIGGRAPH 16), ANAHEIM, California, July 24 - 28, 2016. [11]W. Qi, R. M. Taylor, C. G. Healey, and J.-B. Martens, “A comparison of immersive HMD, fish tank VR and fish tank with haptics displays for volume visualization,” in Proc. Applied perception in graphics and visualization (APGV’06), Boston, MA, Jul. 28-29, 2006, pp. 51–58. [12] M. Rheiner, “Birdly an attempt to fly,” Proc. ACM SIGGRAPH 2014 Emerging Technologies (SIGGRAPH 14), Vancouver, BC, CA, Aug. 10 – 14, 2014. [13]Nimesha Ranasinghe, Pravar Jain, David Tolley, Shienny Karwita, Shi Yilei, Ellen Yi-Luen Do, “AmbioTherm: Simulating Ambient Temperatures and Wind Conditions in VR Environments”, Proc ACM UIST 2016 Adjunct: Proceedings of the 29th Annual Symposium on User Interface Software and Technology(UIST 2016), October 2016. [14]SIMEONE, A. L., VELLOSO, E., & GELLERSEN, H. 2015. Substitutional reality: Using the physical environment to design virtual reality experiences. In AH (pp. 3307-3316). ACM. [15]Lung-Pan Cheng, Thijs Roumen, Hannes Rantzsch, Sven Köhler, Patrick Schmidt, Robert Kovacs, Johannes Jasper, Jonas Kemper, Patrick Baudisch, “TurkDeck: Physical Virtual Reality Based on People”, Proc ACM UIST 2015 Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology (UIST 2015), November 2015. [16]HTC Vive [online] Available: https://www.vive.com/tw/ [17]Google Cloud Vision [online] Available:https://cloud.google.com/vision/ [18]Thou-Ho (Chao-Ho) Chen, Ping-Hsueh Wu, and Yung-Chuen Chiou, “An Early Fire-Detection Method Based on Image Processing”, Proc IEEE 2004 International Conference on Image Processing (ICIP 2004), Oct. 24-27. 2004. |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信