本研究提出利用Kinect垂直架設於桌面上所抓取之深度影像，經過多種處理後，產生一個類似觸控螢幕介面，讓使用者可以利用此介面進行繪畫，完成繪畫後，使用者便可以輸入此圖片之資料；本篇利用SVM訓練並分類得知此資料的類別，再將此資料對應之內建AR取出再放入Kinect彩色影像中的桌面上，使用者即可利用類似觸控螢幕之介面來控制AR，最後輸出一種可與使用者互動之無標記AR。在研究結果中顯示，我們可以訓練不同的繪畫影像，例如圓形、多邊形來做為顯示虛擬物件之基準，達到不用特定的標誌呈現3D 虛擬物件，於本系統中呈現出不錯之效果。但是如果使用者手位移速度太快，會提高系統之錯誤。未來希望以互動做為研究方向的重點，以增加更多AR之互動，並且提升繪畫部分的速度，達到寓教於樂等多重之目的。

We develop an augmented reality (AR) environment with hidden-marker via touch interface using Kinect device and then also set up a touch painting game with the AR environment. 
This environment is similar to that of the touch screen interface which allows user to paint picture on a tabletop with his fingers, and it is designed with depth image information from Kinect device setting up above a tabletop. 
We incorporate support vector machine (SVM) to classify painted pictures which correspond to the inner data and call out its AR into the tabletop in color images information from Kinect device. Because users can utilize this similar touch interface to control AR, we achieve a markerless AR and interactive environment.

目錄
致謝                       	I
中文摘要                     	II
英文摘要                    	III
目錄                        	IV
圖目錄                        	VI
表目錄                    	IX
第1章  緒論               	1
1.1研究動機                     	1
1.2研究方法                     	4
1.3論文架構                 	4
第2章  相關研究與背景知識     	5
2.1相關研究               	5
2.2 相關技術                     	12
2.2.1 KINECT            	12
2.2.2 深度影像建立方法       	14
2.2.3連通法               	18
2.2.4形態學               	21
2.2.5 擴增實境            	25
2.2.6 SVM演算法           	28
第3章  觸摸繪畫和無標記擴增實境系統	32
3.1 系統架構              	32
3.2 Kinect輸出之影像      	33
3.3前處理形成觸摸繪畫介面     	34
3.4 SVM訓練及分類         	37
3.5 AR的3D影像合成          	38
3.6 系統操控模式           	40
3.6.1系統控制流程          	40
3.6.2繪畫控制              	41
3.6.3AR控制               	42
第4章 實驗結果           	        45
4.1 實驗環境               	46
4.2 介面比較              	46
4.3 SVM筆跡辨識測試比較     	49
4.4有標誌擴增實境與無標誌擴增實境	51
4.5系統強健性測試	                54
4.5.1遮蔽下之本系統執行測試   	55
4.5.2桌面有放置物體環境下系統執行測試	56
4.5.3光影變化環境下之系統執行測試	59
4.5.4照射牆壁下之系統執行測試	60
4.6系統相關應用-打地鼠             	61
第5章  結論與未來展望           	64
5.1 結論                      	64
5.2 未來展望                   	65
参考文獻                    	66

圖目錄
圖1.1體感套件遊戲機	1
圖1.2體感遊戲機XBOX360	2
圖1.3觸控輸入	2
圖1.4人性化互動界面	3
圖2.1Joe等人手指壓力顏色變化來判斷是否觸碰[1] 	5
圖2.2 Wilson提出用Kinect觸控介面[2] 	6
圖2.3 Kato和Billinghurst所提出用標誌定位虛擬物件[3] 	7
圖2.4 Lee等人所提出將標誌以浮水印之方式嵌入[4] 	8
圖2.5 Wang等人提出加入紅外線數位浮水印[5] 	9
圖2.6 Chen等人用自然標記虛擬物件呈現真實世界中[6] 	10
圖2.7 Taehee Lee等人利用手當座標[7] 	10
圖2.8 Nate Hagbi等人利用筆跡AR[8] 	11
圖2.9 Kinect	12
圖2.10 Kinect架構圖引用於PrimeSensor[10] 	13
圖2.11 Kinect輸出之彩色影像與深度資訊影像	14
圖2.12雙眼三角測距示意圖[8] 	15
圖2.13結構光掃描示意圖[11] 	16
圖2.14 Light Coding技術示意圖[13] 	17
圖2.15 4-neighborhood	20
圖2.16連通法九宮格	21
圖2.17物件連通法實驗圖(a)(b) 	21
圖2.18形態學(a)(b)(c)(d) 	23
圖2.19現實-虛擬連續統示意圖	26
圖2.20 SVM解釋圖 	29
圖3.1本系統流程圖	32
圖3.2 Kinect輸出之影像	33
圖3.3本系統工作環境	34
圖3.4 Wilson觸控示意圖[2] 	34
圖3.5彩色影像(左)和有雜訊的二值化影像(右) 	35
圖3.6手部深度資訊對於桌面關係(左)及去雜訊流程圖(右)	36
圖3.7彩色影像(左)和去雜訊後並標籤圖(右) 	36
圖3.8觸控畫出圖片簡易示意圖	37
圖3.9 SVM與系統簡易示意圖	38
圖3.10 SVM二維模型示意圖	38
圖3.11影像投影示意圖	39
圖3.12 AR影像與手指互動	39
圖3.13 AR虛擬物件與手指互動輸出擴增實境輸出圖	40
圖3.14本系統控制流程圖	41
圖3.15本系統繪畫控制介面	42
圖3.16 AR虛擬物件利用手指放大	43
圖3.17 AR虛擬物件利用手指縮小	43
圖3.18 AR虛擬物件利用手指移動定位位置(a)	44
圖3.19 AR虛擬物件利用手指移動定位位置(b)	44
圖3.20 AR虛擬物件利用手指控制其定位角度(a)	45
圖3.21 AR虛擬物件利用手指控制其定位角度(b)	45
圖4.1 微軟發售的Kinect	46
圖4.2 Nate Hagbi等人使用之介面[8] 	47
圖4.3 Su和Hsiao使用之介面[18] 	48
圖4.4本系統使用之介面	49
圖4.5(a)-(d) 利用標誌擴增實境輸出茶壺物件	52
圖4.6(a)-(d) 本系統擴增實境輸出茶壺物件	52
圖4.7(a)-(d) 利用標誌擴增實境輸出方塊物	53
圖4.8(a)-(d) 本系統擴增實境輸出方塊物件	54
圖4.9(a)-(d) 遮蔽物影響擴增實境輸出	55
圖4.10桌面放置物體觸控介面輸出	56
圖4.11桌桌面物體不影響擴增實境輸出	57
圖4.12受桌面物體影響擴增實境輸出	58
圖4.13受桌面物體影響控制擴增實境輸出	58
圖4.14光源黑暗系統實驗輸出	59
圖4.15光源黑暗普通標誌AR實驗輸出	59
圖4.16改成利用牆壁的實驗環境	60
圖4.17牆壁環境移動虛擬物件	60
圖4.18牆壁環境放大縮小虛擬物件	61
圖4.19牆壁環境改變虛擬物件形狀	61
圖4.20遊戲開始建置背景等候畫面	62
圖4.21擊中目標輸出	62
圖4.22未擊中目標輸出	63
圖4.23擊結束顯示分數	63

表目錄
表3.1  Kinect深度影像不同距離的灰階值變化	33
表4.1 Su和Hsiao筆跡影像辨識結果[18] 	50
表4.2 SVM筆跡影像訓練10張辨識結果	50
表4.3 SVM筆跡影像訓練100張辨識結果	51

[1] Joe Marshall, Tony Pridmore, Mike Pound, Steve Benford, and Boriana Koleva,“Pressing the Flesh: Sensing Multiple Touch and Finger Pressure on Arbitrary Surfaces,” LNCS 5013, p. 38–55, 2008.

[2] Andrew D. Wilson, “Using a Depth Camera as a Touch Sensor,”  ITS’10, Saarbrucken, Germany, 2010. 

[3] H. Kato and M. Billinghurst, “Marker tracking and hmd calibration for a video-based augmented reality conferencing system,” In 2nd IEEE and ACM International Workshop on Augmented Reality, p. 85-94, 1999. 

[4] Hong Ro Lee, Jung Sub Shin and Chi Jung Hwang,“Invisible Marker Tracking System Using Image Watermarking for Augment,” ICCE 2007. Digest of Technical Papers, p. 1 - 2, 2007. 

[5] Hsi-chun Wang, “Innovative Image Display with the Integration of Infrared Digital Watermark and Augmented Reality,” Journal of Technology vol. 24 no. 3 p. 213-219, 2009. 

[6] Zhuo Chen and Xinyu Li , “Markless Tracking based on Natural Feature for Augmented Reality,” IEEE International Conference on Educational and Information Technology (ICEIT) vol. 2, p. 126 – 129, 2010. 

[7] Taehee Lee and Tobias Hollerer, “Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking,” IEEE ISWC, p. 83-90, 2007. 

[8] Nate Hagbi, Raphael Grasset, Oriel Bergig, Mark Billinghurst, and Jihad El-Sana, “In-Place Sketching for Content Authoring in Augmented Reality Games,” IEEE, p. 91-94, 2010.

[9] http://www.xbox.com/zh-TW/kinect

[10] http://www.primesense.tw/?p=741

[11] 張量鈞，基於立體視覺之手掌位移辨識系統，淡江大學電機工程學系碩士論文，民國九十九年。
[12] http://www.stockeryale.com/i/lasers/structured_light.htm

[13]Pasi Palojarvi,“Integrated electronic and optoelectronic circuits and devices for pulsed time-of-flight laser rangefinding,” Department of Electrical and Information Engineering and Infotech Oulu, University of Oulu,2003.

[14]http://www.bb.ustc.edu.cn/jpkc/guojia/dxwlsy/kj/part2/grade3/LaserSpeckle.html

[15] Albitar, I.C., Graebling, P., and Doignon, C.,“ Robust Structured Light Coding for 3D Reconstuction,” IEEE 11th International Conference on Computer Vision, p.1-6.2007.

[16]V.Vapnil., “Satistical Learning Theory,”  New York, 1998.

[17]V.Vapnil., “The Nature of Statistical Learning Theory,” 2nd edition,  New York, 1999.

[18] Mu-chun Su and, Ting-huan Hsiao, “An Interactive Platform on Which Painting Mingles with Storytelling,” Master paper on Department of Computer Science and Information Engineering at National Central University, 2011. 

[19]Chih-Chung Chang and Chih-Jen Lin, “LIBSVM -- A Library for Support Vector Machines,” Network : http://www.csie.ntu.edu.tw/. 

[20]CHRISTOPHER J.C. BURGES, “A Tutorial on Support Vector Machines for Pattern Recognition,” Data Mining and Knowledge Discovery, vol. 2, no. 2, p. 121-167, 1998. 

[21]Asa Ben-Hur and Jason Weston, “A User's Guide to Support Vector Machines,” Data Mining Techniques for the Life Sciences Methods in Molecular Biology, vol. 609, pp. 223-239, 2010. 

[22]Lifeng He, Yuyan Chao, Kenji Suzuki, and Hidenori Itoh, “A FAST FIRST-SCAN ALGORITHM FOR LABEL-EQUIVALENCE-BASED
CONNECTED-COMPONENT LABELING,” IEEE(ICIP), 2009.

[23]T.Y. ZHANG and C.Y. SUEN, “A Fast Parallel Algorithm for Thinning Digital Patterns,” ACM Vol. 27 N0. 3, 1984.

[24] Gonzalez, Woods “Digital Image Processing”.

[25] 陳冠廷，基於Kinect之雙手位移辨識系統，淡江大學電機工程學系碩士論文，民國一百年。

[26]http://zh.wikipedia.org/wiki/%E5%A2%9E%E5%BC%BA%E7%8E%B0%E5%AE%9E

[27]http://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA