本文旨在應用人臉偵測追蹤系統設計盲多重障礙者溝通輔具，以解決盲多重障礙者無法用言語或文字與外界溝通表達意見的問題。研究中使用IEEE-1394介面的CCD鏡頭或USB Webcam擷取頭部擺動影像傳入筆記型電腦，經由人臉偵測追蹤系統辨認頭部擺動方向，並結合語音合成編輯系統來達到發聲與外界溝通的目的。
　　本研究首先使用Camshift演算法進行人臉偵測與追蹤，藉由人臉中心位置移動計算人臉轉動角度並辨認頭部擺動方向作拼音、組字和除錯等運算，最後整合語音合成編輯系統發聲並同時進行文字輸出，完成應用人臉偵測追蹤系統於盲多重障礙者溝通輔具設計之研究。
　　本文之研究成果可讓盲多重障礙者不需佩帶或碰觸任何輔具裝置即可操作，除增加盲多重障礙者在使用上的便利性外，亦可改善盲多重視障者與外界溝通能力，並創造更有利於盲多重障礙者學習與生活空間。

The object of this thesis is to design the assistive communication device for visually impaired people with multiple disabilities using face detection and tracking systems, to solve the problems that visually impaired people with multiple disabilities can’t communicate and express to outside world with words. In the study, the images of head shaking are captured into a notebook through a CCD camera with IEEE-1394 interface or a USB webcam. The directions of head shaking are identified by face detection and tracking systems. Then the voice communication with the outside world can be carried out using text-to-speech editor.
　　At first, the face detection and tracking is performed by the CAMShift algorithm in the study. The rotation angle of the face is computed through the moving position of face center to identify the directions of head shaking, and then the communication operations of Pinyin, associating Chinese character, and debugging error are processed. Finally, the voice communication and text output are achieved at the same time by the integrated text-to-speech editor. The assistive communication device is accomplished for visually impaired people with multiple disabilities using face detection and tracking systems.
The results of this thesis can achieve that visually impaired people
with multiple disabilities do not need to wear or touch any auxiliary
device to operate properly. In addition to the increased use of
convenience, it can also improve the visually impaired people with
multiple disabilities to communicate with the outside world and to create
the better learning and living environment.
߄ൂጓဦ

目 錄
中文摘要	I
英文摘要	II
目    錄	IV
圖 目 錄	VI
表 目 錄	X
第一章 緒論	1
1.1 前言	1
1.2 研究動機與目的	1
1.3 文獻回顧與探討	5
1.3.1 頭部控制系統	5
1.3.2 瞳位追蹤系統	7
1.3.3 影像辨識系統	9
1.3.4 摩斯碼輸入系統	13
1.3.5 人臉偵測追蹤系統	14
1.4 論文架構	16
第二章 溝通輔具之人臉偵測追蹤系統	17
2.1 設計構想	17
2.2 系統架構	18
2.3 HSV色彩空間	20
2.4 人臉偵測與追蹤演算法	24
2.4.1 反投影	25
2.4.2 MeanShift演算法	28
2.4.3 CamShift演算法	29
2.5 人臉追蹤轉動四方向判斷	32
2.6 人臉追蹤轉動八方向判斷	35
第三章 盲多重障礙者溝通輔具設計	39
3.1 系統硬體設備	39
3.2 溝通輔具輸入程式	40
3.3 溝通輔具拼音、組字與除錯程式	43
3.4 溝通輔具語音程式	45
3.5 溝通輔具操作介面	46
第四章 溝通輔具系統測試與討論	51
4.1 溝通輔具系統人臉偵測追蹤測試	51
4.2 溝通輔具系統人臉轉動判斷測試	54
4.2.1 人臉轉動四方向判斷測試	57
4.2.2 人臉轉動八方向判斷測試	65
4.3 溝通輔具系統人臉轉動角度測試	69
4.4 溝通輔具系統受測環境對系統影響測試	73
4.5 溝通輔具系統拼音組字測試	77
4.6 實際操作與測試	78
第五章 結論與未來展望	80
5.1 結論	80
5.2 未來展望	81
參考文獻	83

圖 目 錄
圖1-1  溝通系統架構圖	3
圖1-2  研究流程步驟	4
圖1-3  主動式與互動式溝通器	6
圖1-4  結合聲控與頭控之人機介面系統	7
圖1-5  溝通輔具系統裝置示意圖	8
圖1-6  眼控輪椅裝置示意圖	9
圖1-7 雙光源式影像頭控系統	10
圖1-8 影像追蹤眼控與嘴控系統圖	11
圖1-9 影像辨識頭部姿勢系統圖	12
圖1-10 影像追蹤瞳位系統圖	13
圖2-1  溝通輔具系統架構圖	18
圖2-2  RGB色彩空間圖	21
圖2-3  HSV色彩空間圖	21
圖2-4  原始圖像	23
圖2-5  色相元素圖像	23
圖2-6  飽和度元素圖像	23
圖2-7  亮度元素圖像	23
圖2-8  人臉偵測與追蹤流程圖	24
圖2-9  膚色區域之直方圖	26
圖2-10  膚色區域分佈圖	26
圖2-11  MeanShift 演算法流程圖	28
圖2-12  CamShift 演算法流程圖	30
圖2-13  CamShift 演算法測試圖	31
圖2-14  轉動方向判斷流程圖	33
圖2-15  人臉正面影像	33
圖2-16 	上仰偵測結果	34
圖2-17 	角度計算示意圖	35
圖2-18 	左上偵測結果	37
圖2-19 	左下偵測結果	37
圖2-20 	右上偵測結果	38
圖2-21 	右下偵測結果	38
圖3-1  系統實際操作環境圖	40
圖3-2  系統操作流程圖	42
圖3-3  實際操作介面圖	47
圖3-4  控制區塊圖	48
圖3-5  影像區塊圖	48
圖3-6  辨識區塊圖	49
圖3-7  語音合成系統圖	50
圖4-1  人臉偵測追蹤正面結果圖	52
圖4-2  人臉偵測追蹤轉動結果圖	53
圖4-3  人臉右轉判斷圖	54
圖4-4  人臉左轉判斷圖	54
圖4-5  人臉上仰判斷圖	55
圖4-6  人臉下俯判斷圖	55
圖4-7  人臉左上判斷圖	55
圖4-8  人臉左下判斷圖	56
圖4-9  人臉右上判斷圖	56
圖4-10  人臉右下判斷圖	56
圖4-11  人臉右判斷圖	57
圖4-12  人臉左右下判斷圖	57
圖4-13  人臉上判斷圖	58
圖4-14  人臉下判斷圖	58
圖4-15  總受測者正確率統計圖	61
圖4-16  總受測者四方向正確率統計圖	65
圖4-17  總受測者八方向正確率統計圖	68
圖4-18  轉動角度測試圖	69
圖4-19  上方向轉動角度測試圖	69
圖4-20  左上方向轉動角度測試圖	70
圖4-21  右上方向轉動角度測試圖	70
圖4-22  轉動角度測試圖	71
圖4-23  上方向轉動角度測試圖	71
圖4-24  左上方向轉動角度測試圖	72
圖4-25  右上方向轉動角度測試圖	72
圖4-26  受測環境燈全開	73
圖4-27  受測環境前方燈關閉	73
圖4-28  受測環境後方燈關閉	74

表 目 錄
表2-1  角度定義表	36
表3-1  四方向數碼拼音表	43
表3-2  四方向新版數碼拼音表	44
表3-3  八方向數碼拼音表	45
表3-4  溝通表實際操作流程	46
表4-1  受測者一辨識方向統計表	59
表4-2  受測者二辨識方向統計表	59
表4-3  受測者三辨識方向統計表	60
表4-4  受測者四辨識方向統計表	60
表4-5  受測者五辨識方向統計表	61
表4-6  受測者一辨識方向統計表	62
表4-7  受測者二辨識方向統計表	63
表4-8  受測者三辨識方向統計表	63
表4-9  受測者四辨識方向統計表	64
表4-10  受測者五辨識方向統計表	64
表4-11  受測者一辨識方向統計表	66
表4-12  受測者二辨識方向統計表	66
表4-13  受測者三辨識方向統計表	67
表4-14  受測者四辨識方向統計表	67
表4-15  受測者五辨識方向統計表	68
表4-16  受測環境燈全開辨識方向統計表	74
表4-17  受測環境前方燈關閉辨識方向統計表	75
表4-18  受測環境後方燈關閉辨識方向統計表	75
表4-19  操作組字發音統計表	76
表4-20  操作組字發音統計表	77
表4-21  操作組字發音統計表	79

參考文獻
1.	許庭豪，“盲多重障礙者頭控有聲溝通器之設計與製作”，碩士論文，淡江大學機電與機械工程學系，2006年。
2.	楊皓清，“盲多重障礙者主動式與互動式溝通器軟硬體系統之整合設計與製作”，碩士論文，淡江大學機電與機械工程學系， 2007年。
3.	M. C. Su and M. T. Chung, “Voice-Controlled Human-Computer Interface for the Disabled”, Computing & Control Engineering Journal, Vol. 12, No. 5, pp. 225-230, 2001.
4.	葉錦諺，“以影像為基礎之重度身障者人機介面”，碩士論文，國立中央大學資訊工程研究所，2008年。
5.	C. S. Lin, C. C. Huan, C. N. Chan, M. S. Yeh and C. C. Chiu, “Design of a Computer Game Using an Eye-Tracking Device for Eye’s Activity Rehabilitation”, Optics and Lasers in Engineering, Vol. 42, No. 1, pp. 91-108, 2004.
6.	J. D. Smith and T. C. N. Graham, “Use of Eye Movements for Video Game Control”, In Proc. Of the 2006 Acm Sigchi Ace '06, Vol. 266, No. 20, pp. 1-8, 2008.
7.	C. S. Lin, C. W. Ho, W. C. Chen, C. C. Chiu and M. S. Yeh, “Powered Wheelchair Controlled by Eye-Tracking System”, Optica  Applicata, Vol. 36, No. 2, pp. 401-412, 2006.
8.	R. Barea, L. Boquete and M. Mazo, “System for Assisted Mobility Using Eye Movements Based on Electrooculography”, IEEE Transactions On Neural Systems And Rehabilitation Engineering, Vol. 10, No. 4, 2002.
9.	C. S. Lin, C. W. Hob, K. C. Chang, S. S. Hung, H. J. Shei and M. S. Yeh, “A Novel Device for Head Gesture Measurement System in Combination with Eye-Controlled Human-Machine Interface”, Optics and Lasers in Engineering, Vol. 44, No. 6, pp. 597-614, 2006.
10.	郭靜男，“可眼控及頭控之多功能PC Camera之研發與應用”，碩士論文，逢甲大學自動控制工程研究所，2003年。
11.	Y. Shin, J. S. Ju and E. Y. Kim, “Welfare Interface Implementation Using Multiple Facial Features Tracking for the Disabled People”, Pattern Recognition Letters 29, Vol. 29, No. 13, pp. 1784-1796, 2008.
12.	陳俊達，“以頭部姿勢辨識應用於家電與足型機器人之研究”，碩士論文，國立中央大學電機工程研究所，2009年。
13.	S. Handa and Y. Ebisawa, “Development of Head-Mounted Display with Eye-Gaze Detection Function for the Severely Disabled”, Proceedings of the IEEE Computer Society Conference on Virtual Environments, Vol. 10, No. 14, pp. 140-144, 2008.
14.	施清祥，“殘障用電腦溝通輔助系統之設計與實現”，碩士論文，國立成功大學電機工程研究所，1996年。
15.	施清添，“殘障用摩斯碼溝通輔助系統”，碩士論文，國立成功大學電機工程研究所，1994年。
16.	M. A. Berbar, H. M. Kelash and A. A. Kandeel, “Faces and Facial Features Detection in Color Images”, in Proc. of the Geometric Modeling and Imaging, pp. 209-214, 2006.
17.	R. L. Hsu, “Face Detection in Color Images”, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 696-706, 2002.
18.	G. R. Bradski, “Computer Vision Face Tracking for Use in a Perceptual User Interface”, Intel Technology Journal, 2nd Quarter, 1998.
19.	D. T. Lin and C. M Yang, “Real-Time Eye Detection Using Face-Circle Fitting and Dark-Pixel Filtering”, Journal of Information Technology and Society, Vol. 5, No. 1, pp. 45-58, 2005.
20.	 S. Birchfield, “Elliptical Head Tracking Using Intensity Gradients and Color Histograms”, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 232-237, 1998.
21.	Y. Ishii, H. Hongo, K. Yamamoto and Y. Niwa, “Real-Time Face and Head Detection Using Four Directional Features”, Sixth IEEE International Conference on Automatic Face and Gesture Recognition, pp. 403-408, 2004.
22.	Y. Mitsukura, E Fukumi. and N. Akamatsu, “A Design of Face Detection System by Using Lip Detection Neural Network and Skin Distinction Neural Network”, IEEE International Conference on Systems, Man, and Cybernetics, Vol. 4, pp. 2789-2793, 2000.
23.	K. Fukunaga, “The Estimation of the Gradient of a Density Function, with Applications in Pattern Recognition”, IEEE Transactions On  Information Theory, Vol. 21, No. 1, pp. 32-40, 1975.