手語對聽障人士在溝通上扮演了非常重要的角色。然而，在不同的國家與區域，都發展出屬於當地的一套手語，為此自動的手語識別系統為近年來手語研究的方向。在本文中，本文設計了一套台灣自然手語識別系統。本文採用Kinect2儀器，來獲得由3個手語者各比94種手語詞素3次的數據資料，並從深度影像與人體骨架之關節點座標中獲得手形特徵與軌跡特徵。然後，將這些特徵經由稀疏編碼方法K-SVD和LC-KSVD訓練出個別手語詞素的字典，並以此作辨識使用。

Sign language, for deaf-impaired people, plays an important role in communication. In this paper, we devise a Taiwan Sign Language recognition system. We use the Kinect2 sensor to get data from 94 sign morphemes shown 3 times by 3 people, and extract hand shape features and trajectory features from depth images and joints of the body skeleton. Finally, we have each sign morpheme dictionary trained by K-SVD and label consistent K-SVD (LC-KSVD) sparse coding algorithm for recognition.

目錄
致謝	I
中文摘要	II
目錄	IV
圖目錄	VII
表目錄	VIII
第一章 緒論	1
1.1 研究動機	1
1.2 研究方法	2
1.3 論文架構	3
第二章 相關研究與背景知識	4
2.1 相關研究	4
2.2 背景知識	5
2.2.1 台灣自然手語	5
2.2.2 Kinect感測器	7
2.2.3 方向梯度直方圖(HOG)演算法	10
2.2.3.1 梯度計算	10
2.2.3.2 方格的方向直方圖劃分	10
2.2.3.3 區塊正規化和描述符區塊	13
2.2.4 K-SVD	13
2.2.5 LC-KSVD	15
2.2.5.1 傳統用於分類之字典訓練	16
2.2.5.2 LC-KSVD訓練	17
2.2.5.3 LC-KSVD分類流程	18
第三章 使用稀疏編碼的台灣自然手語詞素辨識系統	19
3.1 系統架構	19
3.2 系統流程	19
3.2.1 資料擷取	20
3.2.2 軌跡特徵	20
3.2.2.1 關節點遺失偵測與補救	21
3.2.2.2 手語影片的起點、終點，手語詞素的起始幀、結束幀	22
3.2.2.3 長度單位的正規化	23
3.2.2.4 位置上的正規化	24
3.2.2.5 重新取樣	24
3.2.2.6 軌跡位置編碼	24
3.2.3 手形特徵	26
3.2.4 手形軌跡特徵	26
3.2.5 字典訓練	27
3.2.6 辨識階段	27
第四章 實驗結果	28
4.1 實驗環境	28
4.2 實驗的結果	29
4.2.1 K-SVD和LC-KSVD的非獨立測試比較	29
4.2.2 K-SVD的非獨立測試之CMC	29
4.2.3 與其他文獻比較	51
第五章 結論與未來課題	52
5.1 結論	52
5.2 未來課題	52
參考文獻	53
 
圖目錄
圖 2.1手語「破壞」	6
圖 2.2 Kinect v2感測器	7
圖 2.3人體骨架的追蹤	8
圖 2.4人體骨架之25個關節點	9
圖 2.5灰階影像和其G	11
圖 2.6區域的梯度	11
圖 2.7區間顏色劃分	12
圖 3.1系統流程圖	19
圖 3.2手語「服務生」之一連串的深度資訊和關節點	20
圖 3.3預測點的關節點遺失狀況	21
圖 3.4掉落點的關節點遺失狀況	22
圖 3.5手語「但是」片段，上為原軌跡，下為補救軌跡	23
圖 3.6編碼區域示意圖	25
圖 3.7基於關節點的手部區域切割	26
圖 4.1 KSVD非獨立測試之CMC曲線	30
圖 4.2與 [19]方法的辨識率比較	51

 
表目錄
表格 2.1手語詞構的例子	6
表格 2.2資料串流	8
表格 2.3梯度方向的區間劃分	12
表格 4.1 K-SVD和LC-KSVD比較	29
表格 4.2手形軌跡特徵非獨立測試 94 詞素混淆矩陣-1	31
表格 4.3手形軌跡特徵非獨立測試 94 詞素混淆矩陣-2	32
表格 4.4手形軌跡特徵非獨立測試 94 詞素混淆矩陣-3	33
表格 4.5手形軌跡特徵非獨立測試 94 詞素混淆矩陣-4	34
表格 4.6手形軌跡特徵非獨立測試 94 詞素混淆矩陣-5	35
表格 4.7手形軌跡特徵非獨立測試 94 詞素混淆矩陣-6	36
表格 4.8手形軌跡特徵非獨立測試 94 詞素混淆矩陣-7	37
表格 4.9手形軌跡特徵非獨立測試 94 詞素混淆矩陣-8	38
表格 4.10手形軌跡特徵非獨立測試 94 詞素混淆矩陣-9	39
表格 4.11手形軌跡特徵非獨立測試 94 詞素混淆矩陣-10	40
表格 4.12手形軌跡特徵非獨立測試 94 詞素混淆矩陣-11	41
表格 4.13手形軌跡特徵非獨立測試 94 詞素混淆矩陣-12	42
表格 4.14手形軌跡特徵非獨立測試 94 詞素混淆矩陣-13	43
表格 4.15手形軌跡特徵非獨立測試 94 詞素混淆矩陣-14	44
表格 4.16手形軌跡特徵非獨立測試 94 詞素混淆矩陣-15	45
表格 4.17手形軌跡特徵非獨立測試 94 詞素混淆矩陣-16	46
表格 4.18手形軌跡特徵非獨立測試 94 詞素混淆矩陣-17	47
表格 4.19手形軌跡特徵非獨立測試 94 詞素混淆矩陣-18	48
表格 4.20手形軌跡特徵非獨立測試 94 詞素混淆矩陣-19	49
表格 4.21手形軌跡特徵非獨立測試 94 詞素混淆矩陣-20	50

參考文獻
[1] 	蔡素娟、戴浩一、陳怡君, “2015【台灣手語線上辭典】第三版.國立中正大學語言學研究所,” [線上]. Available: http://tsl.ccu.edu.tw/web/browser.htm.
[2] 	William C. Stokoe, Jr., “Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf,” Journal of Deaf Studies and Deaf Education, pp. 3-37, 2005. 
[3] 	Y. Wu, T. S. Huang, and N. Mathews, “Vision-based gesture recognition: A review,” In Lecture Notes in Computer Science, p. 103–115, 1999. 
[4] 	蔡昆瀛、柯欣蓉, “臺灣地區近十年手語研究文獻之後設分析,” 國小特殊教育, 編號 46, pp. 24-34, 2008. 
[5] 	R. Azad, B. Azad, and I. T. Kazerooni, “Real-time and robust method for hand gesture recognition system based on cross-correlation coefficient,” International Journal of Advanced Computer Science, p. 121–125, 2013. 
[6] 	S. R. Fanello, I. Gori, G. Metta, “Keep It Simple And Sparse: Real-Time Action Recognition,” Journal of Machine Learning Research, pp. 2617-2640, 2013. 
[7] 	C. Sun, T. Zhang, B. Bao, C. Xu and T. Mei, “Discriminative exemplar coding for sign language recognition with kinect,” Cybernetics, pp. 1418-1428, 2013. 
[8] 	N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” 於 Computer Vision and Pattern Recognition, 2005. 
[9] 	M. Aharon, M. Elad and A. Bruckstein, “K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation,” IEEE Transactions on Signal Processing, pp. 4311-4322, 2006. 
[10] 	Zhuolin Jiang, Zhe Lin, Larry S. Davis, “Learning a Discriminative Dictionary for Sparse Coding via Label Consistent K-SVD,” 於 Computer Vision and Pattern Recognition, 2011. 
[11] 	Zhuolin Jiang, Zhe Lin, Larry S. Davis, “Label Consistent K-SVD: Learning A Discriminative Dictionary for Recognition,” Pattern Analysis and Machine Intelligence, pp. 2651-2664, 2013. 
[12] 	M. Mohandes, M. Deriche, and J. Liu, “Image-Based and Sensor-Based Approaches to Arabic Sign Language Recognition,” HUMAN-MACHINE SYSTEMS, 8 2014. 
[13] 	S. Mo, S. Cheng, X. Xing, “Hand Gesture Segmentation Based on Improved Kalman Filter and TSL Skin Color Model,” 於 International Conference on Multimedia Technology, 2011. 
[14] 	G. Plouffe and A.-M. Cretu, “Static and Dynamic Hand Gesture Recognition in Depth Data Using Dynamic Time Warping,” INSTRUMENTATION AND MEASUREMENT, 2 2016. 
[15] 	X. Wu, X. Mao, L. Chen, Y. Xue, “Trajectory-based view-invariant hand gesture recognition by fusing shape and orientation,” IET Computer Vision, pp. 797-805, 2015. 
[16] 	陳怡君, “台灣地區聾人手語選用情形與現行手語政策之探討,” 國立政治大學語言學研究所碩士論文, 2003.
[17] 	劉秀丹、曾進興、劉俊榮, “自然手語與文法手語的詞彙記憶廣度比較,” 特殊教育研究學刊, 第 冊34, 編號 3, pp. 25-45, 2008. 
[18] 	G. Golub, P. Hansen, and D. O’leary, “Tikhonov regularization and total least squares,” SIAM Journal on Matrix Analysis and Applications, p. 185–194, 1999. 
[19] 	Yongjun Jiang, Jinxu Tao, Weiquan Ye, Wu Wang, Zhongfu Ye, “An Isolated Sign Language Recognition System Using RGB-D Sensor with Sparse Coding,” 於 Computational Science and Engineering, 2014.