此論文設計一套桌上型影音娛樂系統為了滿足新一代的視聽影音享受，只要將一部影片放入此系統中，就能夠辨識出影片中每秒出現的物件，並且給予觸覺回饋，讓一部普通的影片瞬間擁有4D的震撼效果，增強使用者的感官體驗，故我們將此裝置命名為Sense。
    在Sense的硬體設計方面採用模組式設計，可以在面對不同類型的的影片有更多不一樣的搭配，每個模組都有獨特的代號，系統會去偵測目前模組的位置和類型給予正確的回饋，目前一共有六種不同的觸覺回饋，這六種模組可以單獨使用，也可以給予到複合式的回饋，例如：水＋風可以達到冷的效果，這六種模組加上排列組合就能夠應對目前絕大部分的情境。
    在軟體方面Sense設計了一個專用的影片播放介面，因為每一部影片都必須經過前處理才能觀看，但是前處理的時間相當短，而且可以做到完全沒有延遲。前處理的步驟主要是將影片先轉換幀數並且每秒切成一張照片，再將每一張透過google cloud vision或自己訓練的模型去辨別照片場景物件，每張照片都會決定這六個模組是否要開啟，假如該照片場景物件內有可以對應的觸覺回饋，該照片則會標示對應模組開啟，最後輸出的結果會剛好跟影片的時間軸每一秒對應起來，因此在觀看影片時每秒都會開啟相對應的回饋。
    在場景辨識時，因為google cloud vision並不能有效的辨識出動畫影片，所以此論文為此訓練了一個SSD模型去辨識動畫，以達成此系統的完整性，特別以火來當作訓練的示範，證明此方法的可行性，若有其他類別的資料數據也能完成相同訓練。

In this study, we developed a set of interactive devices for home 4D-cinema, named as SENSE, in order to satisfy a whole new experience of in house digital entertainment. SENSE has 6 different kinds of haptic modules which are able to be applied in various entertainment applications. These modules can be swapped to places with each other, users could easily change these modules based on different using scenario.
we make this device, Sense is a system that can convert a normal movie into a 4D movie. With the device, we can provide a variety of tactile feedback. We analyzed many movies and discussed What kind of feedback should be given to the movie scene, After integration, we determined six feedback to be our module, These six modules can correspond to most of scene. We think that these feedbacks are enough for users have Immersive experience.

致謝	I
中文摘要	 II
英文摘要	 IV
目錄	V
圖目錄	IX
表目錄	XI
第一章	緒論	1
1.1	前言	1
1.2	研究動機和目的	1
第二章	背景知識與相關研究	4
2.1	影音娛樂趨勢	4
2.2	觸覺回饋	6
2.3	物件辨識	9
2.4	Mxnet	10
2.5參考背景總結	12
第三章	Sense硬體設計	13
3.1	Sense功能介紹	13
3.2	Sense主體設計	15
3.3	熱燈模組	19
3.4	熱風模組	21
3.5	噴水模組	22
3.6	氣味模組	24
3.7	風扇模組	27
3.8	震動模組	28
3.9	模組規格	30
第四章	Sense軟體設計	32
4.1	使用者介面	32
4.1.1	體驗介面	32
4.1.2	娛樂介面	34
4.2	介面功能介紹	35
4.2.1	裝置與軟體溝通	35
4.2.2	模組位置偵測功能	35
4.3	影片前處理	36
4.3.1	影片切換幀數	36
4.3.2	辨識結果字串	37
4.4	Google cloud vision	40
4.5	動畫模型	41
第五章	訓練動畫模型	42
5.1	資料集準備	42
5.1.1	資料標記	43
5.1.2	資料集格式轉換	45
5.2	開始訓練	47
5.3	訓練結果評估方法	49
第六章	系統實驗測試	51
6.1	硬體系統測試	51
6.2	觸覺回饋系統測試	52
6.3	AI系統測試	54
6.3.1	AP平均精度計算	54
6.3.2	Google cloud vision比較	59
第七章	結論與未來展望	64
附錄一 問卷模組感受度測試	65
附錄二 模組開啟合理性測試	66
附錄三 使用者滿意度測試	67
參考文獻	68

圖目錄
圖2.1 Haptic case 實體圖  	5
圖2.2 Haptwist 遊玩畫面  	7
圖2.3多重觸覺回饋之穿戴式模組遊玩畫面  	8
圖2.4 atmoSphere 裝置圖  	9
圖3.1 系統流程圖  	14
圖3.2 主幹設計輔助線示意圖  	16
圖3.3 裝置腳位模組示意圖  	18
圖3.4  熱燈模組  	20
圖3.5  熱風模組  	21
圖3.6  噴水模組  	22
圖3.7  噴水模組控制電路板  	23
圖3.8  氣味模組  	25
圖3.9  氣味模組控制電路板  	26
圖3.10  風扇模組  	27
圖3.11  震動模組  	29
圖4.1  Sense體驗介面  	33
圖4.2  Sense娛樂介面  	34
圖4.3  影片轉換過程  	37
圖4.4  google cloud vision辨識過程  	38
圖5.1 部分照片data  	42
圖5.2 Labelimg標記介面  	43
圖5.3 XML資料內容  	44
圖5.4 模型讀取資料格式  	46
圖5.5 mobilenet網路架構  	48
圖5.6 IoU計算方法  	49
圖6.1(a)平均精度AUG圖  	57
圖6.1(b)平均精度AUG圖  	58
圖6.2一分鐘測試影片每秒畫格  	59
圖6.3動畫模型辨識結果範例  	60
圖6.4 google cloud vision辨識結果範例  	61

表目錄
表3.1 元件規格表  	30
表4.1 模組種類對應代碼  	35
表4.2  需開關模組之物件名稱輸出對照表  	39
表6.1平均精度測試過程  	56
表6.2 google cloud vision和動畫訓練模型比較表  	62

[1] S.F. Ko, “The Study by Applying Multiple Haptic Feedback for Human–Computer Interaction – Applications of Immersive Experience and Teaching Aid Design,” Tamkang University, Jun 2017, pp.28-30
[2] B. Banter, “Enabling Technology: Touch Screens and Touch Surfaces are Enriched by Haptic Force-Feedback,” InformationDisplay, vol. 26, no. 3, Mar 2010, pp. 26–30. 
[3] K. Zhu, T. Chen, F. Han, Y.S. Wu, “HapTwist: Creating Interactive Haptic Proxies in Virtual Reality Using Low-cost Twistable Artefacts,” CHI '19: Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, Paper No.: 693,May 2019 ,Pages 1–13
[4] H. Hsieh, “The Wearable Device Design Based on Multiple Haptic Feedback,” Tamkang University, Jun 2017, p42-p43
[5] H. Fushimi, D. Kato, Y.  Kamiyama, K. Yanagihara, K. Minamizawa, K. Kunze, “atmoSphere: designing cross-modal music experiences using spatial audio with haptic feedback,” Proc ACM SIGGRAPH 2017 Emerging Technologies (SIGGRAPH 17), Los Angeles, CA,August, 2017.
[6] W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed , C.Y. Fu, A.C. Berg , “SSD: Single Shot MultiBox Detector,” ECCV , arXiv:1512.02325 [cs.CV] Dec , 2016 
[7] J. Redmon, A. Farhadi, “YOLOv3: An incremental Improvement,” Tech Report,
arXiv:1804.02767 [cs.CV], Apr 2018
[8] T. Chen, M. Li, Y. Li, M. Lin, N. Wang, M. Wang, T. Xiao, B. Xu, 
C. Zhang, Z. Zhang , ”MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems,” In Neural Information Processing Systems Workshop on Machine Learning Systems, arXiv:1512.01274 [cs.DC],Dec 2015
[9] J. Guo, H. He, T. He, L. Lausen, M. Li, H. Lin, X. Shi, C. Wang, Junyuan Xie, 
S. Zha, A. Zhang, H. Zhang, Z. Zhang, Z. Zhang, S. Zheng, Y. Zhu , “GluonCV and GluonNLP: Deep Learning in Computer Vision and Natural Language Processing,” Machine Learning (cs.LG); Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (stat.ML)
arXiv:1907.04433 [cs.LG], Jul 2019
[10] A.G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, 
M. Andreetto, H. Adam,”MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications ,”Computer Vision and Pattern Recognition (cs.CV) arXiv:1704.04861 [cs.CV] , Apr 2017
[11] S. Ioffe, C. Szegedy , “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift,” Machine Learning (cs.LG) arXiv:1502.03167 [cs.LG], Mar 2015
[12] H. Rezatofighi, N. Tsoi, J.Y. Gwak, A. Sadeghian, I. Reid, S. Savarese,” Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression, “CVPR 2019, arXiv:1902.09630 [cs.CV], Apr 2019
[13] 深度學習系列:甚麼是AP/.mAP URL: https://medium.com/@chih.sheng.huang821/%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92%E7%B3%BB%E5%88%97-%E4%BB%80%E9%BA%BC%E6%98%AFap-map-aaf089920848