在本論文中利用微軟推出的Kinect，提出一套基於骨架偵測之主動關節運動復建評估系統。使用者可免於一般運動擷取技術中需要加裝許多感測器在身上，可以直接用骨架辨識的技術進行復健的動作。我們透過OpenNI擷取的骨架座標建立一套經由三維直角座標正規化的座標系，並將身體其他14個關節點對身體軀幹做投影，視為姿勢辨識之特徵值。並以此特徵值透過支持向量機(support vector machine)訓練，將要測試的復健動作依角度分割為各種姿勢，以此手法擷取在復健動作期間之資訊，並透過動作判斷式判斷資訊是否可靠。使用者做完復健動作後，可以對其動作做最大關節活動度、協調性、肌耐力評估，以達到復健評估之功能。

In this paper, we present an active ROM exercise rehabilitation assessment system based on skeleton detection system with Kinect. The users do not have to install the detectors on the exercise equipment anymore. And then, they can just use the rehabilitation equipment with Kinect using the skeleton detection technique. In this study, we build a normalized three-dimensional Cartesian coordinates location of correct postures under OpenNI system.
We find out 15 human skeleton joints with three dimensional coordinates and calculate the feature values, than we use support vector machine (SVM) as classifier to assort the posture. Finally, the system can judge the correct degree of user’s postures.
Also, we can have the rehabilitation assessment like the evaluation of joint activity, the evaluation of the coordination and the evaluation of the muscular endurance.

目錄 
中文摘要	II
英文摘要	III
目錄	IV
圖目錄	VI
表目錄	IX
第1章  緒論	1
1.1研究動機	1
1.2研究背景	2
1.3論文架構	6
第2章  相關研究與背景知識	7
2.1相關研究	7
2.2 相關技術	11
2.2.1 KINECT	11
2.2.2 深度影像建立方法	13
2.2.3  OpenNI基本架構	17
2.2.4  人體骨架追蹤演算法	22
2.2.5  OpenNI人體骨架追蹤系統	26
2.2.6  Kinect骨架追蹤系統之比較	29
2.2.7 支持向量機SVM	31
2.2.7.1 最佳超平面(optimal separating hyper-plane)	31
2.2.7.2 線性可分情形	32
2.2.7.3 線性不可分情形	33
2.2.7.4 支持向量機	34
第3章  基於Kinect之主動關節運動復健評估系統	35
3.1 復健運動概觀(主動關節運動)	35
3.1.1 主動關節運動	35
3.1.2 復健動作之評估	41
3.2 系統架構	42
3.3 座標系正規化	43
3.2.1 OpenNI座標系統	43
3.3.2 齊次座標系統	44
3.4 人體動作辨識	47
3.4.1特徵擷取	47
3.4.2 SVM訓練及分類	48
3.4.3 動作判斷式	50
第4章 實驗結果	53
4.1 實驗環境	53
4.2 系統強健性	54
4.2.1 有效距離之測試	54
4.2.2 有效身體旋轉角度之測試	54
4.2.3 關節角度之評估與測量	55
4.2.4 角度校正	56
4.3 姿勢樣本辨識	62
4.3.1 SVM樣本辨識	62
4.3.2 連續動作辨識	65
4.4復健實驗對象與進行	66
4.5實驗結果分析	66
第5章  結論與未來展望	71
5.1 結論	71
5.2 未來展望	71
參考文獻	71

圖目錄
圖1.1  佔空間的復健輔助器材[1]	2
圖1.2  針對單一關節的復健輔助器材[1]	3
圖1.3  體感遊戲機 XBOX360	3
圖1.4  Kinect人體全身感應示意圖[3]	5
圖2.1  輔具溝通系統示意圖[5]	7
圖2.2  人體骨架細線化程序圖[6]	8
圖2.3  星狀骨骼化程序圖[8]	9
圖2.4  運動擷取設備[9]	10
圖2.5  投射軟體介面[9]	10
圖2.6  Kinect	11
圖2.7　Kinect之硬體架構圖 [2]	12
圖2.8  Kinect鏡頭輸出之彩色圖像與深度圖	13
圖2.9  雙眼三角測距[11]	14
圖2.10 雷射三角測量傳感器示意圖[12]	15
圖2.11  Light Coding技術示意圖[13]	16
圖2.12  OpenNI基本架構圖[15]	17
圖2.13  OpenNI透過四個作業鏈產生此資訊圖[15]	20
圖2.14  OpenNI偵測人體示意圖	22
圖2.15  深度影像特徵示意圖[16]	23
圖2.16  決策叢示意圖[16]	24
圖2.17  Kincet人體骨架追蹤演算法示意圖[16]	25
圖2.18  將人體切割成31個部份[16]	25
圖2.19  透過NITE取得的OpenNI定義的15個關節圖[2]	26
圖2.20  人體骨架分析流程[17]	27
圖2.21  PSI[2]	28
圖2.22  OpenNI與SDK雙手交叉之比較	29
圖2.24  OpenNI關節遮蔽骨架圖	30
圖2.25  SVM margin示意圖[19]	32
圖3.1  人體關節示意圖[23]	36
圖3.2  肩關節前舉彎曲運動連續動作示意圖	37
圖3.3  肩關節前舉彎曲運動角度定義圖[24]	37
圖3.4  肩關節側彎外展運動連續動作示意圖	38
圖3.5  肩關節側彎外展運動角度定義圖[24]	38
圖3.6  肩關節水平彎曲運動連續動作示意圖	39
圖3.7  肩關節水平彎曲運動角度定義圖[24]	39
圖3.8  肘關節彎曲伸直運動連續動作示意圖	40
圖3.9  肘關節彎曲伸直運動角度定義圖[24]	40
圖3.10  系統流程圖	42
圖3.11  以Kinect鏡頭為原點之座標系示意圖[25]	43
圖3.12  座標幾何轉換之平移法示意圖	44
圖3.13  以軀幹為中心的物體座標系統	45
圖3.14  原始Kinect骨架座標點	46
圖3.15  正規化後之骨架座標點	46
圖3.16  座標正規化前之頭部、頸部、軀幹之座標值	47
圖3.17  座標正規化後之頭部、頸部、軀幹之座標值	48
圖3.18  確定動作手臂垂直	50
圖3.19  確定動作時手臂與身體平行	51
圖3.20  確定動作時手臂水平移動	51
圖3.21  確定動作時手臂垂直	52
圖4.1  微軟發售的Kinect	53
圖4.2  運動啟動瞬間造成角度與骨架之差異情形	56
圖4.3  在角度極值時動作較為緩慢，骨架與人體呈水平	56
圖4.4  肩關節前舉運動角度測量示意圖	57
圖4.5 肩關節側舉外展運動角度測量示意圖	58
圖4.6 肩關節水平彎曲運動角度測量示意圖	59
圖4.7 肘關節伸直彎曲運動角度測量示意圖	60
圖4.8 測量肢體角度方法[27]	62
圖4.9 使用者動作正確	66
圖4.10 使用者姿勢不夠正確	67
圖4.11 使用者突然改變動作	67
圖4.12 復健評估記錄	68
圖4.13 簡化後之復健評估記錄	68


表目錄
表1.1 Kinect規格表	4
表3.1 動作分割示意表	49
表4.1 不同距離骨架點強健性示意表	54
表4.2 旋轉角度對骨架點之影響	55
表4.3-1  SVM混淆矩陣	63
表4.3-2  SVM混淆矩陣	63
表4.4 復健動作正確率	65
表4.5 關節活動度級別表	65
表4.6 協調性評估表	65
表4.7 肌耐力評估表	65

參考文獻
[1] http:// www.whmedical.com.twproducts2.phpcategory=9&no=185

[2] http://www.primesense.com
 
[3]http://www.tomshardware.com/reviews/game-developers-conference-gdc-2011-world-of-warcraft,2882-2.html
 
[4] 葉錦諺，以影像為基礎之重度身障者人機介面 國立中央大學，資訊
   工程研究所碩士論文，民國九十七年。

[5] 陳柏儒，人臉朝向偵測應用於平衡復健與人機介面 國立中央大學，資訊工程研究所碩士論文，民國一百年。

[6] B.Castiello, T.D’Orazio, A.M.Fanelli, P.Spagnolo, and M.A. Torsello, “A model-free approach for posture classification,” in Proceedings of IEEE Advanced Video and Signal Based Surveillance, pp. 3237-3240, 2005. 

[7] B.Boulay, F.Bremond, and M. Thonnat, “Posture recognition with a 3D humanoid model,” in Proceedings of IEEE International Symposium on Imaging for Crime Detection and Prevention, pp. 135-138, 2005.
 
[8] Hsuan-Sheng Chen, Hua-Tsung Chen, Yi-Wen Chen and Suh-Yin Lee, “Human Action Recognition Using Star Skeleton,” VSSN’06, 2006.

[9] Jung-Ying Wang, Hahn-Ming Lee, “Recognition of Human Action Using Motion Capture Data and Support Vector Machine,” World Congress on Software Engineering, pp. 234-238, 2009. 

[10] http://www.xbox.com/zh-TW/kinect

[11] 張量鈞，基於立體視覺之手掌位移辨識系統，淡江大學電機工程學系碩士論文，民國九十九年。

[12]http://zh.wikipedia.org/wiki/%E4%B8%89%E7%B6%AD%E6%8E%83%E6%8F%8F%E5%84%80

[13]http://www.bb.ustc.edu.cn/jpkc/guojia/dxwlsy/kj/part2/grade3/LaserSpeckle.html

[14] Albitar, I.C., Graebling, P., Doignon, C., “Robust Structured Light Coding for 3D Reconstuction” IEEE 11th International Conference on Computer Vision, p.1-6, 2007.

[15] OpenNI, “OpenNI, UserGuide”, http://openni.org/

[16] Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake, Microsoft Research Cambridge & Xbox Incubation, ”Real-Time Human Pose Recognition in Parts from Single Depth Images”, IEEE CVPR, pp. 1297-1304, 2011.

[17]https://skydrive.live.com/?cid=e0070fb8ecf9015f&sc=photos&id=E0070FB8ECF9015F%2112228

[18] http://www.microsoft.com/en-us/kinectforwindows

[19]http://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91
    %E9%87%8F%E6%9C%BA

[20] V.Vapnil., “Satistical Learning Theory,” New York, 1998.

[21] V.Vapnil., “The Nature of Statistical Learning Theory,” 2nd edition, New York, 1999.
[22] http://www.taiwanpt.net/ptdc2.asp?mrn=1302

[23]http://www.pulivh.gov.tw/code_upload/HealthCate/file1_444_0411750.pdf

[24]www.annan.gov.tw/UserFiles/mss970105(1).doc

[25]吳貴崗，使用Kinect體感攝影機藉由人體骨架進行人類動作識別，國立台北科技大學資訊工程研究所碩士論文，民國九十九年。

[26] http://kheresy.wordpress.com/2012/04/05/coordinate-system-in-openni/

[27] Chih-Chung Chang and Chih-Jen Lin, “LIBSVM -- A Library for Support Vector Machines”, Network: http://www.csie.ntu.edu.tw/

[28] http://www.ucsf.edu/news/multimedia/photography/stories

[29] Crepeau, Elizabeth Blesedell, Cohn, Ellen S. Schell, Barbara A. Boyt “willard&spackman's Occupational therapy”.