本文旨在應用臉部特徵偵測追蹤系統改良盲多重障礙者溝通輔具，以協助盲多重障礙者在日常生活中無法透過言語或文字等方式對親人或外界做溝通之困難處境的問題。
研究中首先藉由筆記型電腦上的Webcam鏡頭擷取出頭部擺動的影像，透過Haar演算法進行臉部特徵之鼻子偵測與追蹤，並藉由鼻子中心位置移動計算頭部轉動角度並辨認擺動方向作拼音、組字與除錯等運算，最後結合語音合成編輯系統進行發聲或文字輸出，完成應用臉部特徵偵測追蹤系統於盲多重障礙者溝通輔具改良之研究。
本文研究成果可改善盲多重障礙者直接利用臉部特徵偵測追蹤系統執行語音合成發聲溝通，除了增加盲多重障礙者在日常生活使用溝通輔具的便利性外，亦可協助改善盲多重障礙者與親人及外界做溝通上的困境，並可創造盲多重障礙者更多自我學習能力和良好的獨立自主生活。

The object of this thesis is to improve the assistive communication device by facial feature detection and tracking systems to solve the communication problems without words in daily lives for visually impaired people with multiple disabilities.
In the study, the images of head shaking are captured into a notebook through a webcam. The facial feature (nose) is detected and tracked by the Haar algorithm. The moving position of the nose center is computed to identify the directions of head shaking, and then the communication operations of Pinyin, associating Chinese character, and debugging error are processed. Finally, the voice communication and text output are achieved by the combined text-to-speech editor. The improvement of the assistive communication device is accomplished for visually impaired people with multiple disabilities using facial feature detection and tracking systems.
The results of this thesis can improve that visually impaired people with multiple disabilities directly operate the facial feature detection and tracking systems for voice communication. In addition to increasing convenience of assistive communication in daily life, it can also improve the communication with the outside world, the better learning ability and living independently for visually impaired people with multiple disabilities.

目 錄
中文摘要	I
英文摘要	II
目    錄	III
圖 目 錄	V
表 目 錄	XII
第一章 緒論	1
1.1 前言	1
1.2 研究動機與目的	2
1.3 文獻回顧	3
1.4 論文架構	15
第二章 溝通輔具系統之臉部鼻子偵測追蹤	17
2.1 溝通輔具之設計構想	17
2.2 溝通輔具之系統架構	18
2.3 影像色彩空間轉換	18
2.4 OpenCV影像	22
2.4.1 Haar-Cascade特徵分類器	22
2.5 臉部偵測追蹤演算法	25
2.5.1 主成分分析法	25
2.5.2 CamShift追蹤演算法	27
2.5.3 Haar特徵偵測追蹤演算法	31
2.6 臉部鼻子追蹤轉動八方向判斷	35
第三章 盲多重障礙者溝通輔具判別設計	39
3.1 系統使用設備環境	39
3.2 臉部鼻子追蹤轉動方向上判別	40
3.3 溝通輔具輸入與除錯程式	43
3.4 溝通輔具拼音與組字程式	44
3. 5 溝通輔具語音發聲系統	45
第四章 溝通輔具系統之測試與討論	48
4.1 溝通輔具系統臉部鼻子偵測及追蹤測試	48
4.2 溝通輔具系統臉部鼻子轉動方向判斷測試	52
4.3 溝通輔具系統臉部鼻子轉動八方向測試	56
4.4 溝通輔具系統受測環境干擾影響測試	73
4.4.1 CamShift與Haar演算法偵測追蹤測試	74
    4.4.2 CamShift與Haar演算法轉動方向測試	78
4.5 溝通輔具系統轉動方向角度測試	86
4.6 溝通輔具系統拼音組字實際操作測試	92
第五章 結論與未來展望	95
5.1 結論	95
5.2 未來展望	98
參考文獻	100

圖 目 錄
圖1-1  USB 2.0眼球軌跡追蹤系統圖	6
圖1-2  溝通系統操作環境示意圖	8
圖1-3  頭控溝通器與追蹤定位系統實體圖	11
圖1-4  主動式與互動式溝通器系統實體圖	12
圖1-5  人臉追蹤系統實際操作環境圖	13
圖2-1  溝通輔具系統整體架構圖	19
圖2-2  HSV色彩模型圖	21
圖2-3  Haar-Cascade特徵分類器訓練流程圖	24
圖2-4  臉部鼻子偵測與追蹤流程圖	26
圖2-5  CamShift演算法流程圖	30
圖2-6  CamShift演算法人臉追蹤測試圖	31
圖2-7  Haar矩形特徵形狀圖	32
圖2-8  Haar特徵演算法流程圖	34
圖2-9  Haar演算法臉部鼻子偵測辨識測試圖	35
圖2-10 右上擺動方向判別結果圖	37
圖2-11 右下擺動方向判別結果圖	37
圖2-12 左上擺動方向判別結果圖	38
圖2-13 左下擺動方向判別結果圖	38
圖3-1  實際操作溝通輔具系統環境圖	40
圖3-2  臉部鼻子轉動方向上判斷流程圖	41
圖3-3  臉部鼻子初始中心位置圖	42
圖3-4  八方向角度方向定義圖	43
圖3-5  轉動方向右之判別結果圖	43
圖3-6  語音合成編輯文字系統圖	47
圖4-1  受測者一臉部鼻子偵測追蹤正面結果圖	49
圖4-2  受測者二臉部鼻子偵測追蹤正面結果圖	49
圖4-3  受測者三臉部鼻子偵測追蹤正面結果圖	49
圖4-4  受測者四臉部鼻子偵測追蹤正面結果圖	50
圖4-5  受測者五臉部鼻子偵測追蹤正面結果圖	50
圖4-6  受測者一臉部鼻子偵測追蹤轉動方向結果圖	51
圖4-7  受測者二臉部鼻子偵測追蹤轉動方向結果圖	51
圖4-8  受測者三臉部鼻子偵測追蹤轉動方向結果圖	51
圖4-9  受測者四臉部鼻子偵測追蹤轉動方向結果圖	52
圖4-10 受測者五臉部鼻子偵測追蹤轉動方向結果圖	52
圖4-11 受測者臉部鼻子初始中心位置圖	53
圖4-12 受測者臉部鼻子轉動方向右判斷圖	53
圖4-13 受測者臉部鼻子轉動方向左判斷圖	53
圖4-14 受測者臉部鼻子轉動方向上判斷圖	54
圖4-15 受測者臉部鼻子轉動方向下判斷圖	54
圖4-16 受測者臉部鼻子轉動方向右上判斷圖	54
圖4-17 受測者臉部鼻子轉動方向右下判斷圖	55
圖4-18 受測者臉部鼻子轉動方向左上判斷圖	55
圖4-19 受測者臉部鼻子轉動方向左下判斷圖	55
圖4-20 受測者一臉部鼻子轉動方向一判斷圖	56
圖4-21 受測者一臉部鼻子轉動方向二判斷圖	57
圖4-22 受測者一臉部鼻子轉動方向三判斷圖	57
圖4-23 受測者一臉部鼻子轉動方向四判斷圖	57
圖4-24 受測者一臉部鼻子轉動方向五判斷圖	58
圖4-25 受測者一臉部鼻子轉動方向六判斷圖	58
圖4-26 受測者一臉部鼻子轉動方向七判斷圖	58
圖4-27 受測者一臉部鼻子轉動方向八判斷圖	59
圖4-28 受測者二臉部鼻子轉動方向一判斷圖	60
圖4-29 受測者二臉部鼻子轉動方向二判斷圖	60
圖4-30 受測者二臉部鼻子轉動方向三判斷圖	61
圖4-31 受測者二臉部鼻子轉動方向四判斷圖	61
圖4-32 受測者二臉部鼻子轉動方向五判斷圖	61
圖4-33 受測者二臉部鼻子轉動方向六判斷圖	62
圖4-34 受測者二臉部鼻子轉動方向七判斷圖	62
圖4-35 受測者二臉部鼻子轉動方向八判斷圖	62
圖4-36 受測者三臉部鼻子轉動方向一判斷圖	63
圖4-37 受測者三臉部鼻子轉動方向二判斷圖	64
圖4-38 受測者三臉部鼻子轉動方向三判斷圖	64
圖4-39 受測者三臉部鼻子轉動方向四判斷圖	64
圖4-40 受測者三臉部鼻子轉動方向五判斷圖	65
圖4-41 受測者三臉部鼻子轉動方向六判斷圖	65
圖4-42 受測者三臉部鼻子轉動方向七判斷圖	65
圖4-43 受測者三臉部鼻子轉動方向八判斷圖	66
圖4-44 受測者四臉部鼻子轉動方向一判斷圖	67
圖4-45 受測者四臉部鼻子轉動方向二判斷圖	67
圖4-46 受測者四臉部鼻子轉動方向三判斷圖	67
圖4-47 受測者四臉部鼻子轉動方向四判斷圖	68
圖4-48 受測者四臉部鼻子轉動方向五判斷圖	68
圖4-49 受測者四臉部鼻子轉動方向六判斷圖	68
圖4-50 受測者四臉部鼻子轉動方向七判斷圖	69
圖4-51 受測者四臉部鼻子轉動方向八判斷圖	69
圖4-52 受測者五臉部鼻子轉動方向一判斷圖	70
圖4-53 受測者五臉部鼻子轉動方向二判斷圖	70
圖4-54 受測者五臉部鼻子轉動方向三判斷圖	71
圖4-55 受測者五臉部鼻子轉動方向四判斷圖	71
圖4-56 受測者五臉部鼻子轉動方向五判斷圖	71
圖4-57 受測者五臉部鼻子轉動方向六判斷圖	72
圖4-58 受測者五臉部鼻子轉動方向七判斷圖	72
圖4-59 受測者五臉部鼻子轉動方向八判斷圖	72
圖4-60 總受測者整體平均正確率統計圖	74
圖4-61 CamShift演算法於光源充足環境初始受測之測試圖	75
圖4-62 Haar特徵演算法於光源充足環境初始受測之測試圖	75
圖4-63 CamShift演算法作臉部偵測追蹤正面結果圖	76
圖4-64 Haar特徵演算法作臉部偵測追蹤正面結果圖	76
圖4-65 CamShift演算法作臉部偵測追蹤轉動結果圖	77
圖4-66 Haar特徵演算法作臉部偵測追蹤轉動結果圖	77
圖4-67 CamShift演算法作人臉轉動方向一辨識結果圖	78
圖4-68 CamShift演算法作人臉轉動方向二辨識結果圖	78
圖4-69 CamShift演算法作人臉轉動方向三辨識結果圖	79
圖4-70 CamShift演算法作人臉轉動方向四辨識結果圖	79
圖4-71 CamShift演算法作人臉轉動方向五辨識結果圖	79
圖4-72 CamShift演算法作人臉轉動方向六辨識結果圖	80
圖4-73 CamShift演算法作人臉轉動方向七辨識結果圖	80
圖4-74 CamShift演算法作人臉轉動方向八辨識結果圖	80
圖4-75 Haar演算法作臉部鼻子轉動方向一辨識結果圖	81
圖4-76 Haar演算法作臉部鼻子轉動方向二辨識結果圖	81
圖4-77 Haar演算法作臉部鼻子轉動方向三辨識結果圖	82
圖4-78 Haar演算法作臉部鼻子轉動方向四辨識結果圖	82
圖4-79 Haar演算法作臉部鼻子轉動方向五辨識結果圖	82
圖4-80 Haar演算法作臉部鼻子轉動方向六辨識結果圖	83
圖4-81 Haar演算法作臉部鼻子轉動方向七辨識結果圖	83
圖4-82 Haar演算法作臉部鼻子轉動方向八辨識結果圖	83
圖4-83 CamShift與Haar演算法整體平均正確率統計圖	85
圖4-84 八方向等區間角度定義圖	86
圖4-85 受測者轉動角度方向初始測試圖	87
圖4-86 受測者轉動右上角度測試圖	87
圖4-87 受測者轉動右下角度測試圖	87
圖4-88 受測者轉動左上角度測試圖	88
圖4-89 受測者轉動左下角度測試圖	88
圖4-90 八方向不等區間角度定義圖	89
圖4-91 受測者轉動右上角度測試圖	90
圖4-92 受測者轉動右下角度測試圖	91
圖4-93 受測者轉動左上角度測試圖	91
圖4-94 受測者轉動左下角度測試圖	91
圖4-95 等區間與不等區間整體平均正確率統計圖	92

表 目 錄
表2-1  OpenCV函式庫功能表	23
表2-2  八方向不等區間角度定義表	37
表3-1  八方向溝通拼音表	45
表3-2  實際輸入溝通拼音流程表	47
表4-1  受測者一轉動八方向辨識統計表	59
表4-2  受測者二轉動八方向辨識統計表	63
表4-3  受測者三轉動八方向辨識統計表	66
表4-4  受測者四轉動八方向辨識統計表	69
表4-5  受測者五轉動八方向辨識統計表	73
表4-6  CamShift演算法受測環境關閉燈源作辨識方向統計表	84
表4-7  Haar特徵演算法受測環境關閉燈源作辨識方向統計表	85
表4-8  受測者轉動等區間角度方向辨識統計表	89
表4-9  受測者轉動不等區間角度方向辨識統計表	92
表4-10 實際操作拼音輸入流程表	94

1.	莊英杰，“追瞳系統之研發於身障者之人機介面應用”，碩士論文，國立中央大學資訊工程研究所，2004年。
2.	張宏毅，“應用人臉偵測追蹤系統於盲多重障礙者溝通輔具設計之研究”，碩士論文，淡江大學機械與機電工程學系，2010年。
3.	張凱傑，“眼控與頭控之人機介面系統研發與整合”，碩士論文，逢甲大學自動控制工程研究所，2001年。
4.	R. Wagner and H. L. Galiana, “Evaluation of Three Template Matching Algorithms for Registering Images of the Eye”, IEEE Transactions on Biomedical Engineering, Vol. 39, No. 12, pp. 1313-1319, 1992.
5.	A. Goshtasby, S. H. Gage, and J. F. Bartholic, “A Two-Stage Cross Correlation Approach to Template Matching”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 6, No. 3, pp. 374-378, 1984.
6.	A. Venot and V. Leclerc, “Automated Correction of Patient Motion and Gray Values Prior to Subtraction in Digitized Angiography”, IEEE Transactions on Medical Imaging, Vol. 3, No. 4, pp. 179-186, 1984.
7.	R. L. Hsu and A. K. Jain, “Face Detection in Color Images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 696-706, 2002.
8.	郭靜男，“可眼控及頭控之多功能PC Camera之研發與應用”，碩士論文，逢甲大學自動控制工程研究所，2003年。
9.	R. Liu, M. Zhang, and S. Ma, “Design of Face Detection and Tracking System”, International Congress on Image and Signal Processing, Vol. 4, pp. 1840-1844, 2010.
10.	G. Tian, R. Hu, Z. Wang, and Y. Fu, “Improved Object Tracking Algorithm Based on New HSV Color Probability Model”, International Symposium on Neural Networks, pp. 1145-1151, 2009.
11.	X. Liu, H. Chu, and P. Li, “Research of the Improved CamShift Tracking Algorithm”, International Conference on Mechatronics and Automation, pp. 968-972, 2007.
12.	C. Zhang, Y. Qiao, E. Fallon, and C. Xu, “An Improved CamShift Algorithm for Target Tracking in Video Surveillance”, IT&T Conference, 2009.
13.	梁振升，“以OpenCV實現即時之人臉偵測與辨識系統”，碩士論文，銘傳大學電腦與通訊工程研究所，2010年。
14.	葉錦諺，“以影像為基礎之重度身障者人機介面”，碩士論文，國立中央大學資訊工程研究所，2008年。
15.	M. Su, C. Yeh, S. Lin, P. Wang, and S. Hou, “An Implementation of an Eye-blink-based Communication Aid for People with Severe Disabilities”, IEEE International Conference on Audio, Language and Image Processing, pp. 351-356, 2008.
16.	B. Rafael, B. Luciano, M. Manuel, and L. Elena, “System for Assisted Mobility Using Eye Movements Based on Electrooculography”, IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 10, pp. 209-218, 2002.
17.	劉翁昌，“複雜環境下之即時人臉偵測與辨識系統”，碩士論文，國立台灣科技大學電子工程研究所，2009年。
18.	張瑋珉，“軟體化之唇控溝通輔具”，碩士論文，南台科技大學電機工程研究所，2007年。
19.	M. C. Su, K. C. Wang, and G. D. Chen, “An Eye Tracking System and ITS Application in Aids for People with Severe Disabilities”, Biomedical Engineering-Applications, Basis & Communications, Vol. 18, No. 6, pp. 319-327, 2006.
20.	F. Silva and F. Pereira, “Communication between People with Motion and Speech Disabilities”, Iberian Conference on Information Systems and Technologies, pp. 1-4, 2011.
21.	吳崇民，“應用於重度脊髓損傷患者之摩斯碼模糊辨識嘴控輸入系統”，博士論文，國立成功大學電機工程研究所，2004年。
22.	莫雄偉，“眼控系統使用於摩斯碼之應用”，碩士論文，國立高雄應用科技大學電子與資訊工程研究所，2006年。
23.	許庭豪，“盲多重障礙者頭控有聲溝通器之設計與製作”，碩士論文，淡江大學機械與機電工程學系，2008年。
24.	楊皓清，“盲多重障礙者主動式與互動式溝通器軟硬體系統之整合設計與製作”，碩士論文，淡江大學機械與機電工程學系， 2009年。
25.	譚永恒，“以數位影像處理技術做人臉自動追蹤系統之研究”，碩士論文，國立成功大學電機工程研究所，2000年。
26.	H. F. Hashem, “Adaptive Technique for Human Face Detection Using HSV Color Space and Neural Networks”, National Radio Science Conference, pp. 1-7, 2009.
27.	陳彥劭，“即時人臉辨識系統之研製”，碩士論文，南台科技大學電機工程研究所，2008年。
28.	L. Sirovich and M. Kirby, “Low-Dimensional Procedure for the Characterization of Human Faces”, Journal of the Optical Society of America, Vol. 4, No. 3, pp. 519-524, 1987.
29.	M. Kirby and L. Sirovich, “Application of the Karhunen-Loeve Procedure for the Characterization of Human Faces”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 12, No. 1, pp. 103-108, 1990.
30.	M. Turk and A. Pentland, “Eigenfaces for Recognition”, Journal of Cognitive Neuroscience, Vol. 3, No. 1, pp. 71-86, 1991.
31.	林顯昌，“改良CAMSHIFT之抗遮蔽人臉追蹤研究”，碩士論文，世新大學資訊管理研究所，2008年。
32.	P. Viola and M. Jones, “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, 2001.
33.	R. Lienhart and J. Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE International Conference on Image Processing, Vol. 1, pp. 900-903, 2002.
34.	C. Z. Li, C. K. Kim, and J. S. Park, “The Indirect Keyboard Control System by Using the Gaze Tracing Based on Haar Classifier in OpenCV”, IEEE International Forum on Information Technology and Applications, Vol. 2, pp. 362-366, 2009.