Microsoft Kinect感應器是一套結合一般彩色攝影機、紅外線深度攝影機及麥克風陣列的感測裝置，具偵測人體骨架之關節點位置、語音識別等功能。
本研究提出一套基於Microsoft Kinect感應器開發之可即時偵測他人敵意動作並告警的人身安全防護系統，藉由Kinect感應器所回傳之關節位置、被識別之語句資料結合影像辨識及支持向量機（Support Vector Machine，SVM）的輔助，即時判斷環境中來自於人類或類人形物件可能的攻擊動作並提出警告。

A Microsoft Kinect Sensor is a combination of an RGB camera, an infrared camera, and a microphone array. 
It can detect human skeletons with joint positions. In addition, it also provides voice recognition function.
In this thesis, we use the Kinect sensors to construct a personal security system, which can instantly detect the hostile actions of others and alert the user to these dangers.

目錄
第一章 緒論	1
1.1 研究動機	1
1.2 研究目的	2
1.3 研究範圍與環境	3
1.4 研究方法	4
1.5 論文架構	5
第二章 引用技術與理論基礎	6
2.1 MICROSOFT KINECT FOR XBOX360／FOR WINDOWS	6
2.2 OPENCV	11
2.2.1 方向梯度直方圖（Histogram of Oriented Gradient，HOG）	11
2.2.2 支持向量機（Support Vector Machine，SVM）	13
第三章 系統架構及功能設計	15
3.1 軟硬體架構綜覽	15
3.2 骨架關節點位置調整	20
3.3 威脅辨識	21
3.3.1 肢體碰撞	21
3.3.2 射擊瞄準動作	34
3.3.3 物件持有	39
3.3.4 關鍵詞句	48
3.4 SVM訓練	50
3.5 威脅評估	51
3.5.1 Kinect追蹤的骨架	52
3.5.2 已識別的人形圖像	55
3.6 資訊整合及呈現	56
第四章 系統測試結果	60
4.1 驗測環境	60
4.1.1 偵測範圍背景	60
4.1.2 驗測參數設定	61
4.2 驗測結果	62
4.2.1 骨架關節點位置調整	62
4.2.2 威脅識別	67
第五章 結論與未來展望	76
5.1 結論	76
5.2 未來展望	77
參考文獻	78
附錄－英文論文	80

圖目錄
圖2.1.1：KINECT FOR XBOX360	6
圖2.1.2：KINECT FOR WINDOWS	7
圖2.1.3：KINECT裝置鏡頭、麥克風及可垂直擺頭底座示意圖	7
圖2.1.4：KINECT座標系統示意圖	10
圖2.1.5：KINECT可偵測並回傳位置的關節	10
圖2.2.1：超平面示意圖	14
圖3.1.1：硬體架構圖	17
圖3.1.2：系統硬體整合圖	18
圖3.1.3：軟體架構圖	19
圖3.2.1：關節點位置調整程序	21
圖3.3.1：碰撞運算的關節點	23
圖3.3.2：肢體碰撞偵測流程	24
圖3.3.3：關節運動方向向量及關節至骨架向量所張平面示意圖	25
圖3.3.4：系統使用者身體範圍與關節運動方向向量及關節至骨架向量所張平面之關係俯瞰圖	26
圖3.3.5：角度推算示意圖	27
圖3.3.6：關節點運動方向與關節點至骨架向量構成平面檢測程序	29
圖3.3.7：關節點運動方向與骨架移動方向向量所張平面示意圖	30
圖3.3.8：系統使用者身體範圍與關節點運動方向與骨架移動方向向量所張平面關係俯瞰圖	31
圖3.3.9：關節點運動方向與骨架移動方向向量構成平面檢測程序	33
圖3.3.10：手至肘向量對KINECT至骨架向量夾角示意圖1	34
圖3.3.11：手至肘向量對KINECT至骨架向量夾角示意圖2	35
圖3.3.12：找出瞄準依托參考關節示意圖1	36
圖3.3.13：找出瞄準依托參考關節示意圖2	36
圖3.3.14：射擊瞄準動作檢測流程	37
圖3.3.15：射擊瞄準姿勢判讀流程	38
圖3.3.16：物件判讀時於深度影像劃分手部範圍九宮格示意圖	39
圖3.3.17：偵測目標來源骨架持有物件時手部範圍九宮格示意圖	40
圖3.3.18：物件持有統計九宮格範圍調整示意圖	42
圖3.3.19：深度值統計過濾門檻示意圖	43
圖3.3.20：手指、手腕至肘部位被誤判為物件示意圖	45
圖3.3.21：偵測手部範圍切分16等分並建立關聯示意圖	46
圖3.3.22：剔除部分統計範圍示意圖	46
圖3.3.23：物件持有判斷程序	47
圖3.3.24：檢測方格對應深度影像像素統計程序	48
圖3.3.25：關鍵詞句辨識並賦予風險值流程	49
圖3.4.1：系統SVM訓練流程	51
圖3.5.1：KINECT追蹤骨架的威脅評估程序	54
圖3.5.2：已識別的人形風險分數賦予程序	55
圖3.5.3：已識別的人形威脅評估程序	56
圖3.6.1：人形物體威脅顯示標記示意圖	57
圖3.6.2：系統語音報讀文字紀錄	57
圖3.6.3：360度雷達圖形式偵測結果	58
圖3.6.4：偵測結果未整合顯示之介面布局	59
圖3.6.5：偵測結果與使用者所見影像疊合顯示實境圖	59
圖4.1.1：一般家庭格局背景樣式	60
圖4.1.2：室外背景樣式	61
圖4.2.1：關節點座標偏移量收斂幅度長條圖	63
圖4.2.2：靜止站立動作及偵測結果	68
圖4.2.3：揮拳動作及偵測結果	69
圖4.2.4：揮動榔頭動作及偵測結果	69
圖4.2.5：空手單手瞄準動作及偵測結果	70
圖4.2.6：持槍單手瞄準動作及偵測結果	70
圖4.2.7：空手單手瞄準並以另一手輔助動作及偵測結果	71
圖4.2.8：持槍單手瞄準並以另一手輔助動作及偵測結果	71
圖4.2.9：空手做出擬似持衝鋒槍瞄準動作及偵測結果	72
圖4.2.10：持衝鋒槍瞄準動作及偵測結果	72
圖4.2.11：正確檢測右手持有物件	74
圖4.2.12：手部顯影範圍比預設範圍大造成誤差	75

表目錄
表2.1.1：KINECT性能	8
表3.3.1：詞句風險值對照表範例	49
表3.4.1：圖像特徵關聯風險值對應SVM訓練樣本分類表	50
表3.5.1：物件持有對風險分數影響	53
表4.1.1：系統參數設定值	61
表4.2.1：關節點座標收斂統計總表	64
表4.2.2：關節點座標於室外白天收斂統計表	64
表4.2.3：關節點座標於室外夜晚收斂統計表	65
表4.2.4：關節點座標於室內收斂統計表	66
表4.2.5：測試威脅動作	67
表4.2.6：測試結果總表	73

[1]Develop for Kinect，http://www.microsoft.com/en-us/kinectforwindows/
[2]周建佑，「基於L-K演算法及Kinect的動態目標追蹤系統之研究」，國立中央大學電機工程學系，碩士論文，2012。
[3]王森（2012）KINECT體感程式設計入門，台北市：碁峰資訊股份有限公司。
[4]Gary Bradski (2012) Learning OpenCV: Computer Vision in C++ with the OpenCV Library, O'Reilly Media.
[5]OpenCV中文網站，http://www.opencv.org.cn/index.php/%E9%A6%96%E9%A1%B5
[6]EmguCV，http://www.emgu.com/wiki/index.php/Main_Page
[7]N.Dalal and B.Triggs,Histograms of Oriented Gradients for Human Detection,Proc. of CVPR 2005,vol. 1,pp.886-893,2005
[8]C.-C. Chang and C.-J. Lin, "LIBSVM : a library for support vector machines.", http://www.csie.ntu.edu.tw/~cjlin/libsvm
[9]維基百科，http://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5
[10]昌達 慶仁等（2011）圖解數位影像處理程式範例教本－使用C語言，台北市：旗標出版股份有限公司。
[11]劉星宏，「利用Kinect做室內跌倒事件之偵測」，國立中央大學資訊工程學系，碩士論文，2012。
[12]MSDN: Speech Synthesis Markup Language Reference，http://msdn.microsoft.com/en-us/library/hh361578(v=office.14).aspx
[13]MSDN: Use SSML to Control Synthesized Speech，http://msdn.microsoft.com/en-us/library/hh361664(v=office.14).aspx