近年來隨著電腦的運算能力越來越強，以及人機互動技術的不斷進步，使得支援3D動作的人機互動不再遙不可及。本篇論文提出了一套即時的動作追蹤系統，讓使用者在空手的情況下，即可與虛擬實境場景互動。本系統只要架設兩台常見的CCD攝影機，透過影像處理技術追蹤使用者的動作，再利用立體視覺的原理，本系統更可以進一步的計算出動作物件之三維座標，並且進行三維動作的辨識，最後經由動作分析即可與虛擬實境場景互動。由實驗結果證明，本系統可以使用常見的低成本設備，達成了直覺化的人機互動功能。

Based on the development of computer’s capability and the technology of human-computer interactions, the 3D human-computer interaction is no longer a dream. In this paper, we propose a real-time 3D motion tracking and interaction system which makes the user could interact with virtual reality systems without any equipment in hand. The proposed system adopts only two general CCD cameras to capture user’s 3D motion information based on the theory of stereo-vision, according to our interaction mechanism, user can interact with the virtual reality intuitively. The experiment shows that our low cost system performs real-time 3D human-computer interaction with virtual reality satisfied.

(目錄)
第一章	緒論	1
1.1.	研究動機與目的	1
1.2.	論文組織簡介	5
第二章	相關研究與基礎理論	7
2.1.	國內相關研究	7
2.2.	國外相關研究	9
2.3.	色彩模型	12
2.3.1.	RGB 色彩空間	12
2.3.2.	HSI、HSV、HSL色彩空間	14
2.3.3.	YUV、YIQ、YCbCr色彩空間	16
2.4.	相關影像處理技術	18
2.4.1.	影像相減	19
2.4.2.	中位數濾波器(Median Filter)	21
2.4.3.	形態學(Morphology)	23
2.4.4.	動作估測(Motion Estimation)	26
第三章	開發概念與系統架構分析	29
3.1.	開發概念	29
3.2.	系統架構及分析	33
3.2.1.	顏色偵測	35
3.2.2.	物件擷取	38
3.2.3.	物件追縱	41
3.2.4.	物件重合	45
3.2.5.	二維座標轉換三維座標系統	47
3.2.6.	動作分析	49
第四章	系統實作	52
4.1.	系統介面	52
4.2.	開發平台	56
4.3.	系統簡介	63
4.3.1.	程式系統架構	63
4.3.2.	編輯元件介紹	66
4.4.	系統實測	75
第五章	結論與未來展望	77
5.1.	結論	77
5.2.	未來展望	78
參考文獻	79
附錄 英文論文	82

(圖目錄)
圖 一、感應手套	1
圖 二、六軸滑鼠	2
圖 三、Point Grey Bumblebee Camera	4
圖 四、RGB色彩空間模組	13
圖 五、添加性的色彩原色	13
圖 六、HSI色彩空間分佈圖	14
圖 七、YUV、YIQ、YCbCr色彩空間分佈圖	17
圖 八、CCD擷取物件流程圖	18
圖 九、影像相減範例圖	20
圖 十、八鄰居示意圖	21
圖 十一、中位數過濾範例圖	22
圖 十二、3X3 Structuring element	23
圖 十三、Erosion運算範例圖	24
圖 十四、Dilation運算範例圖	24
圖 十五、Closing運算範例圖	25
圖 十六、四步搜尋法 - 步驟一	27
圖 十七、四步搜尋法 - 步驟二與步驟三	28
圖 十八、四步搜尋法 – 步驟四	28
圖 十九、DirectShow系統示意圖	30
圖 二十、DirectShow元件播放AVI檔案流程圖	31
圖 二十一、DirectShow開發應用程式的程序	31
圖 二十二、系統流程圖	33
圖 二十三、顏色偵測流程圖	35
圖 二十四、顏色偵測範例圖	36
圖 二十五、膚色偵測範例圖	37
圖 二十六、物件分群與邊緣偵測演算法	38
圖 二十七、物件分群範例圖	39
圖 二十八、特徵點截取圖	39
圖 二十九、動量預測下一個frame的搜尋範圍	40
圖 三十、物件追蹤流程圖	42
圖 三十一、物件追蹤演算法	44
圖 三十二、物件八方向移動示意圖	45
圖 三十三、物件重合事件範例圖	46
圖 三十四、攝影機架設示意圖	47
圖 三十五、實驗場景攝影機擺放示意圖	48
圖 三十六、模擬搖桿控制示意圖	50
圖 三十七、模擬滑鼠座標位置	51
圖 三十八、系統主畫面	53
圖 三十九、操縱系統之選單	53
圖 四十、顯示即時影像以及執行物件追蹤畫面	54
圖 四十一、系統參數與門檻值設定	54
圖 四十二、顯示動作分析後的指令	55
圖 四十三、顯示互動場景	55
圖 四十四、Borland C++ Builder 6.0軟體介面	57
圖 四十五、元件選取區圖示	58
圖 四十六、專案導覽區圖示	58
圖 四十七、元件編輯區圖示	59
圖 四十八、系統設計區圖示	60
圖 四十九、程式撰寫區圖示	60
圖 五十、Virtool Dev 3.0 軟體介面	61
圖 五十一、腳本設計範例	61
圖 五十二、行為模組指令庫	62
圖 五十三、輸出網頁格式	62
圖 五十四、系統主畫面元件示意圖	63
圖 五十五、TChart元件以及Series屬性設定圖	72
圖 五十六、TStringGrid元件顯示結果	72
圖 五十七、DSPack相關元件選取位置	73
圖 五十八、TVideoWindow元件屬性設定圖	73
圖 五十九、TFilterGraph以及TFilter元件屬性	74
圖 六十、系統執行流程示意圖	75

(表目錄)
表 一、單手動作指令	49
表 二、雙手動作指令	50
表 三、實驗結果數據	76

[1]A. Kulik, R. Blach, & B. Frohlich, "two - 4 - six" - A Handheld Device for 3D-Presentations, IEEE Symposium on 3D User Interfaces (3DUI’06), pp.167-171, 2006
[2]S. Jeong, W. Choi, N. Hashimoto, & M. Sato, “Reactive Virtual Human System with haptic sensation and adaptive function”, International Conference on Cyberworlds, pp.461-466, 2005
[3]H. Benko, & S. Feiner, “Balloon Selection: A Multi-Finger Technique for Accurate Low-Fatigue 3D Selection”, IEEE Symposium on 3D User Interfaces (3DUI’07), pp.79-86, 2007
[4]F. Seinicke, & K. Hinrichs, “Grab-and-Throw Metaphor: Adapting Desktop-based Interaction Paradigms to Virtual Reality”, IEEE Symposium on 3D User Interfaces (3DUI’06), pp.83-86, 2006
[5]I.H. Kim, D.E. Kim, Y.S. Cha, K. Lee, & T.Y. Kuc, “An embodiment of stereo vision system for mobile robot for real-time measuring distance and object tracking”, Control, Automation and Systems, pp.1029-1033, 2007
[6]陳良彥, “即時立體視覺物體追蹤系統”, 私立中原大學機械工程學系碩士學位論文, 2003
[7]許志高, “基於立體視覺環境下即時人機互動介面之實作”, 國立交通大學資訊科學與工程學系碩士學位論文, 2005
[8]向士賢, “使用手部動態輸入裝置操控虛擬空間中的3D設計物件”, 國立交通大學建築學系碩士學位論文, 2004
[9]Y. Wang, T. Yu, L. Shi, & Z. Li, “Using human body gestures as inputs for gaming via depth analysis”, IEEE International Conference on Multimedia and Expo, pp.993-996, 2008
[10]J. Ki, Y.M. Kwon, & K. Sohn, “3D Gaze Tracking and Analysis for Attentive Human Computer Interaction”, Frontiers in the Convergence of Bioscience and Information Technologies, pp.617-621, 2007
[11]T. Yang, Q. Pan, J. Li, & S.Z. Li, “Real-time multiple objects tracking with occlusion handling in dynamic scenes”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.970-975, 2005
[12]V. Takala, & M. Pietikainen, “Multi-Object Tracking Using Color, Texture and Motion”, IEEE Conference on Computer Vision and Pattern Recognition, pp.1-7, 2007
[13]B.K. Bhuyan, D. Ghosh, & P.K. Bora, “Feature Extraction from 2D Gesture Trajectory in Dynamic Hand Gesture Recognition”, IEEE Conference on Cybernetics and Intelligent Systems, pp.1-6, 2006
[14]L.M. Po, & W.C Ma, “A novel four-step search algorithm for fast block motion estimation”, IEEE Transactions on Circuits and Systems for Video Technology, pp.313-317, 1996
[15]T. Wang, I.Y.H Gu, A. Backhouse, & P. Shi, “Moving Object Tracking from Videos Based on Enhanced Space Time Range Mean Shift and Motion Consistency”, IEEE International Conference on Multimedia and Expo, pp.2002-2005, 2007