本研究以現場可編程輯閘陣列 (Field Programmable Gate Array; FPGA)開發平台結合數位影像處理技術來設計盲多重障礙者溝通輔具，研究中將FPGA所設計之系統劃分為硬體模組與應用C語言軟體方式來進行軟硬體共同設計。在硬體模組方面，設計CMOS擷取模組、RAW2RGB (Raw to RGB)模組、膚色擷取模組、影像濾波模組、注音編碼模組、CMOS主控端模組及LTM主控端模組等七個模組的硬體電路。在軟體設計方面，依據SOPC (System on a Programmable Chip)技術在晶片系統內嵌Nios II軟核處理器，並以C語言來實現影像連通區域分割演算法、人臉膚色區塊中心位置計算與八方向判別，最後計算人臉膚色區塊中心點之移動座標作為八方向判別訊號，其訊號依照數碼拼音表定義經由注音編碼模組運算後傳回Nios II處理器做注音符號與聲調符號顯示。
   本研究應用數位影像處理技術以軟硬體共同設計方式將溝通輔具系統建構在低功耗、低成本、可快速成品等特性之FPGA晶片中，雖然整體系統運算速度稍微緩慢，但其結果可作為以影像為基礎之嵌入式盲多重障礙者溝通輔具設計之參考。

This study aimed to design an assistive communication device using the FPGA (Field Programmable Gate Array) development platform, combining digital image processing technology, to help visually impaired people with multiple disabilities. In this study, the system designed with FPGA was divided into hardware modules and applied C-language software for co-design of software and hardware. In the aspect of hardware, the hardware circuits for seven modules, including CMOS Capture Module, RAW2RGB Module, Skin Detection Module, Image Filter Module, Zhuyin Encoded Module, CMOS Master Module, and LTM Master Module, were developed. In the aspect of software design, with the SOPC (System on a Programmable Chip) technology, the Nios II soft processor was implemented in the system-on-chip. And C-language was applied to perform the image connecting area dividing algorithm, calculation of center of human facial skin color block, and 8-direction distinguishing. Finally, the movement coordinates of the centers of human facial skin color blocks were used as signals for 8-direction distinguishing. The signals were encoded using the Zhuyin Encoded Module based on the definitions from the digital phonetic symbol table and then sent back to the Nios II processor to present Zhuyin symbols and tone symbols.
  This study applied digital image processing technology to develop and implement an assistive communication device through the method of software/hardware co-designing on a FPGA chip featuring low power, low cost, and fast production. Although the overall calculation speed of the system is slightly slow, the result of this study can still be used as a reference of image-based embedded assistive communication device for visually impaired people with multiple disabilities.

目錄
中文摘要---------------------------------------------------I
英文摘要--------------------------------------------------II
目    錄-------------------------------------------------IV
圖 目 錄--------------------------------------------------VI
表 目 錄-------------------------------------------------XII
第一章 緒論-------------------------------------------------1
1.1 前言---------------------------------------------------1
1.2 研究動機與目的-------------------------------------------2
1.3 文獻回顧-----------------------------------------------5
1.4 論文架構----------------------------------------------12
第二章 系統架構與影像處理------------------------------------13
2.1 系統架構----------------------------------------------13
2.2 色彩空間轉換-------------------------------------------23
2.2.1 RGB色彩空間	-----------------------------------------24
2.2.2 YCbCr色彩空間---------------------------------------24
2.3 數位影像處理-------------------------------------------25
2.3.1 影像二值化-------------------------------------------26
2.3.2 低通濾波---------------------------------------------27
2.3.3 侵蝕與膨脹-------------------------------------------27
2.3.4 連通區域標定	-----------------------------------------29
2.3.5 影像中心位置	-----------------------------------------29
第三章 軟硬體架構設計與製作-----------------------------------31
3.1 系統硬體架構-------------------------------------------31
3.2 中心位置與方向判別--------------------------------------46
第四章 溝通輔具系統測試與討論	---------------------------------49
4.1 數位影像處理測試----------------------------------------49
4.2 人臉偵測與追蹤測試---------------------------------------53
4.3 人臉偵測八方向訊號輸入測試--------------------------------54
4.4 拼音實際操作測試----------------------------------------68
第五章 結論與未來展望----------------------------------------71
5.1 結論	-------------------------------------------------71
5.2 未來展望-----------------------------------------------72
參考文獻--------------------------------------------------74

圖目錄
圖1-1 數位系統實現之方式-------------------------------------3
圖1-2 FPGA基本架構圖---------------------------------------3
圖1-3 FPGA設計流程圖---------------------------------------4
圖1-4 盲多重障礙者頭控有聲溝通器之系統架構圖--------------------6
圖1-5 盲多重障礙者溝通輔具系統架構圖--------------------------11
圖1-6 軟硬體共同設計之流程圖---------------------------------11
圖2-1 傳統系統設計流程--------------------------------------13
圖2-2 SOPC系統軟硬體共同設計架構圖---------------------------14
圖2-3 Nios II軟核心處理器----------------------------------15
圖2-4 Avalon 匯流排架構圖----------------------------------16
圖2-5 主控端讀取模式時序圖-----------------------------------17
圖2-6 主控端寫入模式時序圖-----------------------------------17
圖2-7 CMOS 擷取模組內部方塊圖-------------------------------18
圖2-8 CMOS 擷取模組影像框架---------------------------------19
圖2-9 CMOS擷取模組影像訊號	----------------------------------20
圖2-10 Bayer Pattern像素圖--------------------------------20
圖2-11 CMOS擷取模組像素資料時序圖----------------------------21
圖2-12 I2C傳輸介面16位元讀取時序圖---------------------------22
圖2-13 I2C傳輸介面16位元寫入時序圖---------------------------23
圖2-14 R、G、B 顏色空間表示法示意圖	-------------------------23
圖2-15 人臉偵測與判別方向流程圖------------------------------26
圖2-16 低通濾波遮罩----------------------------------------27
圖2-17 3x3遮罩-------------------------------------------28
圖2-18 四連通區域-----------------------------------------29
圖2-19 八連通區域-----------------------------------------29
圖3-1 系統架構圖-------------------------------------------31
圖3-2 CMOS Capture模組方塊圖-------------------------------32
圖3-3 RAW2RGB模組方塊圖------------------------------------33
圖3-4 RGB轉YCbCr模組方塊圖---------------------------------34
圖3-5 乘加電路示意圖----------------------------------------35
圖3-6 膚色擷取模組方塊圖------------------------------------35
圖3-7 膚色擷取模組內部電路圖---------------------------------36
圖3-8 低通濾波模組方塊圖------------------------------------37
圖3-9 低通濾波模組內部電路圖---------------------------------37
圖3-10 Line Buffer模組方塊圖-------------------------------38
圖3-11 侵蝕模組方塊圖--------------------------------------39
圖3-12 膨脹模組方塊圖--------------------------------------39
圖3-13 侵蝕膨脹內部模組電路圖-------------------------------39
圖3-14 侵蝕硬體電路流程圖----------------------------------40
圖3-15 膨脹硬體電路流程圖----------------------------------40
圖3-16 影像處理模組之腳位連接圖-----------------------------41
圖3-17 注音編碼模組方塊圖----------------------------------42
圖3-18 注音編碼模組內部電路圖-------------------------------42
圖3-19 CMOS Master模組方塊圖------------------------------43
圖3-20 LTM Master模組方塊圖-------------------------------45
圖3-21 中心位置方向示意圖-----------------------------------47
圖3-22 定義八方向區域圖-------------------------------------47
圖4-1 FPGA開發平台與測試環境--------------------------------49
圖4-2 RGB色彩空間之膚色二值化結果圖---------------------------50
圖4-3 RGB色彩空間轉YCbCr色彩空間影像結果圖--------------------50
圖4-4 膚色擷取結果圖---------------------------------------51
圖4-5 低通濾波結果圖--------------------------------------51
圖4-6 侵蝕膨脹電路結果圖-----------------------------------52
圖4-7 連通區域標定與中心位置結果圖---------------------------52
圖4-8 頭部向下追蹤結果圖-----------------------------------53
圖4-9 頭部向上追蹤結果圖-----------------------------------53
圖4-10 頭部向左追蹤結果圖----------------------------------53
圖4-11 頭部向右追蹤結果圖----------------------------------53
圖4-12 頭部向左下追蹤結果圖	---------------------------------54
圖4-13 頭部向右下追蹤結果圖---------------------------------54
圖4-14 頭部向左上追蹤結果圖	---------------------------------54
圖4-15 頭部向右上追蹤結果圖	---------------------------------54
圖4-16 受測者一轉動方向下與訊號輸出圖-------------------------55
圖4-17 受測者一轉動方向上與訊號輸出圖-------------------------55
圖4-18 受測者一轉動方向左與訊號輸出圖-------------------------56
圖4-19 受測者一轉動方向右與訊號輸出圖-------------------------56
圖4-20 受測者一轉動方向左下與訊號輸出圖------------------------56
圖4-21 受測者一轉動方向右下與訊號輸出圖------------------------57
圖4-22 受測者一轉動方向左上與訊號輸出圖------------------------57
圖4-23 受測者一轉動方向右上與訊號輸出圖------------------------57
圖4-24 受測者二轉動方向下與訊號輸出圖-------------------------58
圖4-25 受測者二轉動方向上與訊號輸出圖-------------------------59
圖4-26 受測者二轉動方向左與訊號輸出圖-------------------------59
圖4-27 受測者二轉動方向右與訊號輸出圖-------------------------59
圖4-28 受測者二轉動方向左下與訊號輸出圖------------------------60
圖4-29 受測者二轉動方向右下與訊號輸出圖------------------------60
圖4-30 受測者二轉動方向左上與訊號輸出圖------------------------60
圖4-31 受測者二轉動方向右上與訊號輸出圖------------------------61
圖4-32 受測者三轉動方向下與訊號輸出圖--------------------------62
圖4-33 受測者三轉動方向上與訊號輸出圖--------------------------62
圖4-34 受測者三轉動方向左與訊號輸出圖--------------------------62
圖4-35 受測者三轉動方向右與訊號輸出圖--------------------------63
圖4-36 受測者三轉動方向左下與訊號輸出圖------------------------63
圖4-37 受測者三轉動方向右下與訊號輸出圖------------------------63
圖4-38 受測者三轉動方向左上與訊號輸出圖------------------------64
圖4-39 受測者三轉動方向右上與訊號輸出圖------------------------64
圖4-40 受測者四轉動方向下與訊號輸出圖--------------------------65
圖4-41 受測者四轉動方向上與訊號輸出圖--------------------------66
圖4-42 受測者四轉動方向左與訊號輸出圖--------------------------66
圖4-43 受測者四轉動方向右與訊號輸出圖--------------------------66
圖4-44 受測者四轉動方向左下與訊號輸出圖------------------------67
圖4-45 受測者四轉動方向右下與訊號輸出圖------------------------67
圖4-46 受測者四轉動方向左上與訊號輸出圖------------------------67
圖4-47 受測者四轉動方向右上與訊號輸出圖------------------------68
圖4-48 注音符號顯示圖---------------------------------------69
圖4-49 注音符號顯示圖---------------------------------------69
圖4-50 聲調符號顯示圖---------------------------------------69

表目錄
表3-1 CMOS Capture模組訊號腳位說明	--------------------------32
表3-2 RAW2RGB模組訊號腳位說明--------------------------------33
表3-3 YCbCr模組訊號腳位說明----------------------------------34
表3-4 低通濾波模組訊號腳位說明--------------------------------37
表3-5 侵蝕膨脹模組訊號腳位說明--------------------------------39
表3-6 數碼拼音表--------------------------------------------42
表3-7 CMOS主控端模組訊號腳位說明------------------------------44
表3-8 LTM主控端模組訊號腳位說明-------------------------------46
表3-9 八方向區間定義表---------------------------------------48
表4-1 受測者一轉動八方向辨識統計表-----------------------------58
表4-2 受測者二轉動八方向辨識統計表-----------------------------61
表4-3 受測者三轉動八方向辨識統計表-----------------------------65
表4-4 受測者四轉動八方向辨識統計表-----------------------------68
表4-5 操作拼音統計表-----------------------------------------70

1. D. G. Evans, R. Drew and P. Blenkhorn, “Controlling Mouse Pointer Position Using an Infrared Head-Operated Joystick”, IEEE Transactions on Rehabilitation Engineering, Vol. 8, No. 1, pp. 107-117, 2000.
2. T. Donnely, P. J. Daver, and S. Carlyon, “Laser-Operated Mouse For A Physically Disabled Child”, IEEE Colloquium on Helping the Disabled, No. 117, pp. 8/1-8/2, 1997.
3. 黃立坤，“超音波頭控系統之研製”，碩士論文，逢甲大學自動控制工程學系研究所，2002年。
4. 張宏毅，“應用人臉偵測追蹤系統於盲多重障礙者溝通輔具設計之研究”，碩士論文，淡江大學機械與機電工程學系，2010年。
5. G. Norris and E. Wilson, “The Eye Mouse an Eye Communication Device”, IEEE Transactions on Bioengineering Conference, pp. 66-67, 1997.
6. 張凱傑，“眼控與頭控之人機介面系統研發與整合”，碩士論文，逢甲大學自動控制工程研究所，2001年。
7. G. Hsu and J. James, “A Sourceless Low-Cost Head Tracker for Virtual Reality Head Mounted Display”, Proceedings of the 1995 Wescon Conference San Francisco Usa, pp. 706-708, 1995.
8. R. S. Allison, M. Eizenman and S. K. Cheung, “Combined Head and Eye Tracking System for Dynamic Testing of the Vestibular System”, IEEE Transactions on Biomedical Engineering, Vol. 43, No. 11, pp. 1073-1082, 1996.
9. 許庭豪，“盲多重障礙者頭控有聲溝通器之設計與製作”，碩士論文，淡江大學機械與機電工程學系，2008年。
10. R. Wagner and H. L. Galiana, “Evaluation of Three Template Matching Algorithms for Registering Images of the Eye”, IEEE Transactions on Biomedical Engineering, Vol. 39, No. 12, pp. 1313-1319, 1992.
11. A. Goshtasby, S. H. Gage, and J. F. Bartholic, “A Two-Stage Cross Correlation Approach to Template Matching”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 6, No. 3, pp. 374-378, 1984.
12. A. Venot and V. Leclerc, “Automated Correction of Patient Motion and Gray Values Prior to Subtraction in Digitized Angiography”, IEEE Transactions on Medical Imaging, Vol. 3, No. 4, pp. 179-186, 1984.
13. R. L. Hsu and A. K. Jain, “Face Detection in Color Images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 696-706, 2002.
14. R. Liu, M. Zhang, and S. Ma, “Design of Face Detection and Tracking System”, International Congress on Image and Signal Processing, Vol. 4, pp. 1840-1844, 2010.
15. G. Tian, R. Hu, Z. Wang, and Y. Fu, “Improved Object Tracking Algorithm Based on New HSV Color Probability Model”, International Symposium on Neural Networks, pp. 1145-1151, 2009.
16. X. Liu, H. Chu, and P. Li, “Research of the Improved CamShift Tracking Algorithm”, International Conference on Mechatronics and Automation, pp. 968-972, 2007.
17. 陳家倫，“應用臉部特徵偵測追蹤系統於盲多重障礙者溝通輔具改良之研究”，碩士論文，淡江大學機械與機電工程學系，2012年。
18. D. Jinghong, D. Yaling, and L. Kun, “Development of Image Processing System Based on DSP and FPGA”, The Eighth International Conference on Electronic Measurement and Instruments, pp. 791-794, 2007.
19. J. A. Kalomiros, and J. Lygouras, “Design and Evaluation of a Hardware Software FPGA-Based System for Fast Image Processing”,  Microprocessors and Microsystems, Vol. 32, No. 1, pp. 95-106, 2008.
20. Y. P. Hsu, H. C. Miao, and C. C. Tasi, “FPGA Implementation of a Real-Time Image Tracking System”, SICE Annual Conference, pp. 2878-2884, 2010.
21. C. Li, Y. L. Zhang, and Z. N. Zheng, “Design of Image Acquisition and Processing Based on FPGA”, International Forum on Information Technology and Applications, pp. 113-115, 2009.
22. C. He, C. Sui, J. Chen and C. Xixin, “Face-Recognition Hardware Implementation Based On SOPC”, IEEE International Conference on Advanced Communication Technology, pp. 1595-1599, 2010.
23. 鍾書銘，“以SOPC實現強健性彩色影像物體追蹤及移動預測系統”，碩士論文，成功大學電機工程學系，2004年。
24. 劉益池，“以SOPC實現具複雜背景之高效能人臉偵測演算法”，碩士論文，台灣科技大學電子工程系，2006年。
25. 李吉民，“以FPGA實現即時影像處理於弱視輔具之研製”，碩士論文，陽明大學醫學工程研究所，2008年。
26. 賴彥良，“以FPGA實現立體視覺系統並結合視障輔具之硬體設計”，碩士論文，陽明大學醫學工程研究所，2008年。
27. 吳明衛，“自動化臉部表情分析系統”，碩士論文，成功大學資訊工程系，2003年。
28. Terasic Document, “TRDB-D5M Hardware Specification” , Version 2，2009。
29. Altera Corporation, “Avalon Memory-Mapped Interface Specification”,  2006.
30. Altera Corporation, “Avalon Bus Specification Reference Manual”, 2004.
31. Altera Corporation, “Nios II Processor Reference Handbook”,  2004.