隨著電腦科技的進步，人機互動方式也隨之在改變，如任天堂所推出的WII、蘋果推出的iPhone...等。脫離傳統的按鍵與搖桿，以體感輸入、觸控輸入等方式進行操作。而這些人機互動界面之改變使人們在機器操作上更加直觀與便利。
　　近年來以電腦視覺為基礎之三維人機互動研究發展蓬勃，利用手勢與機器互動為其中較熱門之研究。肢體中手部之自由度較大，較可做出多變化之動作，方便下達較為複雜的指令。
　　本篇論文中，我們提出了利用Kinect之追蹤方法。將Kinect輸出之彩色影像經ASM人臉偵測與膚色偵測後結合深度影像濾除背景得以濾出手部資訊，再以粒子濾波器來達到雙手的追蹤，最後判斷雙手間距離之變化以及單手位移方向，進而控制電腦之軟體。

With the advances of computer technology, human-computer interaction also will be changed. Such as the WII invented by the Nintendo, and the iPhone devised by Apple, etc. To operate the machine is from using the traditional buttons and joysticks to apply "sensing motion", and touching, etc. These changes in human-computer interaction make us more intuitive and convenient on operation. 
In recent years, the researchs on three-dimensional human-computer interaction based on computer vision are developed well. The interaction using gestures is the most popular study. The hands can do more free movements than any other body, also can execute more complex comments easily.  
In this paper, we propose a tracking method using by Kinect. We use the color images from the Kinect after the ASM algorithm and the skin color detection to track the face, then combine the depth image after doing removing the background to get the hands' information. Therefore, we apply the particle filter for tracking the hands. Finally, we can determine the distance between the hands and the direction of one hand, and then we can control the computer's software.

目錄
致謝………………………………………………………………………….I
中文摘要……………………………………………………………………II
英文摘要…………………………………………………………………III
目錄………………………………………………………………………IV
圖目錄…………………………………………………………………….VI 
表目錄……………………………………………………………………IX
第1章  緒論………………………………………………………………..1
1.1研究動機…………………………………………………………...1
1.2研究方法…………………………………………………………...4
1.3論文架構…………………………………………………………...4
第2章  文獻討論…………………………………………………………..5
2.1相關研究…………………………………………………………...5
2.2相關技術………………………………………………………….12
2.2.1 Kinect…………………………………………………...…12
2.2.2 深度影像建立方法………...…………………………..…14
2.2.3 ASM演算法……………………………………………….18
2.2.4膚色偵測之色彩空間……….…………………………….20
2.2.5 粒子濾波器……………………………………………….24
第3章　基於Kinect之手部偵測與追蹤辨識系統………………………29
3.1系統架構………………………………………………………….29
3.2 Kinect輸出之影像……………………………………………….30
3.3ASM人臉偵測……………………………………………………31
3.4背景與前景分離………………………………………………….32
3.5膚色偵測………………………………………………………….34
3.6追蹤……………………………………………………………….36
3.7手部位移辨識…………………………………………………….40
第4章  實驗結果…………………………………………………………43
4.1實驗環境………………………………………………………….42
4.2 ASM人臉偵測有效距離之測試…………………………………43
4.3預測範圍大小與粒子數量測試………………………………….44
4.4 複雜背景下之本系統執行測試…………………………………46
4.5 背景變化環境下之系統執行測試………………………………48
4.6 光影變化環境下之系統執行測試………………………………50
4.7 其他方法之結果相比較…………………………………………53
第5章  結論與未來展望…………………………………………………56
5.1 結論………………………………………………………………56
5.2未來展望………………………………………………………….57
參考文獻…………………………………………………………………...58
圖目錄
圖1.1體感套件遊戲機……………………………………………………...1
圖1.2體感遊戲機XBOX360……………………………………………….2
圖1.3觸控輸入……………………………………………………………...2
圖1.4人性化互動界面……………………………………………………...3
圖2.1 Vincent Girondel等人所提出手部追蹤之方式[2]…………...….…..6
圖2.2利用貝式網路之手勢辨識[3]…………….…………………….........7
圖2.3 Young-Joon Chai所提出的首部偵測之方式[4]…………..………...8
圖2.4黃建旻提出應用於互動遊戲手是追蹤與辨識[5]…………………. 9
圖2.5曾士宏提出之環狀ROI演算法[6]………..….…………….……......9
圖2.6 Cao Xin-yan所提出手部追蹤之方法[7]…………….………….....10
圖2.7張量鈞提出立體視覺之手掌位移辨識系統[8]…………….……...11
圖2.8 Kinect……………….……………………………………………… 12
圖2.9 Kinect架構圖引用於PrimeSensor[10]……………………………13
圖2.10 Kinect輸出之彩色影像與深度資訊影像………………………..14
圖2.11雙眼三角測距示意圖[8]…………………………………………..15
圖2.12結構光掃描示意圖[11]…………………………………………...16
圖2.13 Light Coding技術示意圖[13]……………………………………..17
圖2.14 RGB色彩模型[8]………………………………………………….21
圖2.15各色人種在YCbCr之膚色範圍摘至[18]…………………………23
圖2.16系統狀態估測示意圖……………………………………………...24
圖2.17 SIR粒子濾波器流程示意圖………………………………………27
圖3.1本系統流程圖……………………………………………………….29
圖3.2 Kinect輸出之影像………………………………………………….30
圖3.3 ASM演算法之人臉偵測影像……………………………………...31
圖3.4 ASM75個特徵點位置分佈………………………….……………..31
圖3.5特徵點30、35、40、65位置示意圖………………………………...32
圖3.6人臉深度計算面積示意圖………………………………………….32
圖3.7背景分離後之前景深度影像………………………..……………...33
圖3.8膚色偵測之二值化影像………………………………….………... 34
圖3.9前景深度影像加入膚色偵測之結果圖………………...…………..35
圖3.10影像分為左右兩區域之示意圖………….…….……...…………..36
圖3.11追蹤3步驟流程…………………………………………………....37
圖3.12兩群粒子隨機灑點之示意圖……………………………………...37
圖3.13粒子權重示意圖…………………………………………………...38
圖3.14目標物框取示意圖………………………………………………...38
圖3.15加大40 piexl範圍內隨機灑點示意圖…………………………….39
圖3.16彩色影像上之追蹤結果…………………………………………...39
圖3.17 (a)雙手交叉之深度圖，(b)雙手交叉隻彩色影像………………...40
圖3.18圖片放大縮小手部位移辨識之示意圖…………………………...41
圖3.19選擇圖片手部位移辨識之示意圖………………………………...41
圖4.1 微軟發售的Kinect..………………………………………………..42
圖4.2 ASM人臉偵測有效距離測試……………………………………...44
圖4.3(a)-(d)複雜環境下本系統之追蹤結果……………………………...46
圖4.4本系統追蹤抓取失敗之影像……………………………………….47
圖4.5(a)-(d)背景變化與干擾下本系統之運作影像…………….………..48
圖4.6(a)-(d)背景變化下背景相減加上以膚色為追蹤特徵之粒子濾波    系統影像…………………………………………………………………...49
圖4.7 (a)~(d) 光影變化下本系統運作之結果…………………………...51
圖4.8 (a)~(d) 光影變化下背景相減加上以膚色為追蹤特徵之粒子濾波 器追蹤系統結果…………………………………………………………...52
圖4.9 張量鈞[8]所提出之系統結果……………………………………...54
圖4.10本系統所提出之方法結果………………………………………...55
表目錄
表3.1 Kinect深度影像不同距離的灰階值變化………………………..30
表4.1 加大的粒子預測範圍測試……………………………………….45
表4.2 粒子數量測試…………………………………………………….45
表4.3 本系統於複雜背景下之追蹤成功率……………………………...47
表4.4 本系統於背景變化下之追蹤成功率……………………………...50 
表4.5 背景相減加上膚色為追蹤特徵之粒子濾波器追蹤系統於背景變化下追蹤成功率…………………………………………………………...50 
表4.6 本系統於光影變化下之追蹤成功率……………………………...51 
表4.7 背景相減加上以膚色為追蹤特徵之粒子濾波器追蹤系統於光影變化下追蹤成功率………………………………………………………...53

参考文獻
[1]	黃信榮，基於立體視覺手勢辨識的人機互動系統，國立中央大學電機工程研究所碩士論文，民國九十八年。
[2]	Vincent Girondel, Laurent Bonnaud, Alice Caplier“Hands Detection and Tracking for Interactive Multimedia Applications”ICCVG International on Conference on Computer Vision and Graphics,Sept.2002.
[3]	Heung-Il Suk, Bong-Kee Sin, and Seong-Whan Lee, “Robust Modeling and Recognition of Hand Gestures with Dynamic Bayesian Network”,IEEE International Conference on Pattern Recognition, p.1-4,Dec.2008. 
[4]	Young-Joon Chai, Dong-Heon Jang, And Tae-Yong Kim,“Homogeneity Based Background Subtraction for Robust Hand Pose Recognition : Focusing On the Digital Game Interface, ”Computer Graphics, Imaging and Visualisation(CGIV), pp.292~297, 200
[5]	黃建旻，應用於互動遊戲手勢追蹤與辨識之研究，華梵大學資訊管理學系碩士論文，民國九十八年。
[6]	曾士宏，即時手勢辨識系統之應用，淡江大學電機工程學系碩士在職專班，民國九十七年。
[7]	Cao Xin-yan, Liu Hong-fei, Zou Ying-yong,“Gesture Segmentation Based on Monocular Vision Using Skin Color and Motion Cues”IEEE Conference on Image Analysis and Signal Processing (IASP), p.358-362,2010.
[8]	張量鈞，基於立體視覺之手掌位移辨識系統，淡江大學電機工程學系碩士論文，民國九十九年。
[9]	http://www.xbox.com/zh-TW/kinect
[10]	http://www.primesense.tw/?p=741
[11]	http://www.stockeryale.com/i/lasers/structured_light.htm
[12]	Pasi Palojarvi,“ Integrated electronic and optoelectronic circuits and devices for pulsed time-of-flight laser rangefinding,Department of Electrical and Information Engineering and Infotech Oulu, University of Oulu,2003.
[13]	http://www.bb.ustc.edu.cn/jpkc/guojia/dxwlsy/kj/part2/grade3/LaserSpeckle.html
[14]	Albitar, I.C. , Graebling, P. , Doignon, C. ,“ Robust Structured Light Coding for 3D Reconstuction”IEEE 11th International Conference on Computer Vision, p.1-6.2007.
[15]	T.F. Cootes and C.J. Taylor, “Statistical Model of Appearance for Computer Visin,” Wolfson Image Analusis Unit, Image Science and Biomedical Engineering, University of Manchester, July 10, 2000.
[16]	Gonzalez, Woods“Digital Image Processing”.
[17]	Hee-Sung Kim, Kurillo, G., Bajcsy, R., “Hand tracking and motion detection from the sequence of stereo color image frames”,IEEE International Conference on Industrial Technology, p.1-6,2008. 
[18]	D. Chai and K.N. Ngan, “Face segmentation using skin color map in videophone applications,” IEEE Transactions on Circuits and systems for Video Technology, U.S.A., vol. 9, no. 4, pp. 551-564, June 1999.
[19]	Hammersley JM, Morton KW. Poorman's Monte Carlo. J of the Royal Statistical Society B, 1954,16:20-381
[20]	Gordon N, Salmond D. Novel approach to nonlinear and non-Gussian Bayesian state estimation.Proc of institute Electric Engineering, 1993, 140.
[21]	王瑞斌，以軟硬體協同設計之粒子濾波器及其在影像追蹤之應用，淡江大學電機工程學系，民國九十九年
[22]	石憲剛，基於單眼視訊輸入及粒子濾波器之三維人體運動姿態追蹤，中正大學電機工程研究所，民國九十八年
[23]	N. de Freitas, “Rao-Blackwellised particle filtering for fault diagnosis,” IEEE Aerospace, vol. 4, pp. 4-1767-4-1772, 2002.
[24]	杜兆乘，視訊中基於眉毛之眼睛追蹤與閉眼偵測，國立台灣科技 
大學電子工程系，民國九十六年。
[25]	潘俊瑋，整合ASM與Log-Gabor小波之人臉和成系統，淡江大學電機工程學系碩士論文，民國九十九年。