本論文提出一個在多主從系統架構下以軟硬體共同設計的方法來實現即時的人臉偵測。本論文使用一個可以軟硬體共同設計的SOPC (System On a Programmable Chip)開發平台來進行即時影像處理電路之設計，其設計方式是以多主從系統架構為基礎，使用軟體及硬體共同設計的方式實現人臉偵測主要的五個步驟：(1) 影像二值化(Image Binary)，(2) 影像增強處理(Image Enhancement)，(3) 邊緣化(Edge Detection)，(4) 物件分割(Object Segmentation)，及(5) 人臉特徵比對(Feature Comparison)。在軟硬體共同設計的劃分上，由於影像二值化、影像增強處理及邊緣化等前三個步驟屬於影像前處理的部分，並且系統資源消耗較高，所以將在FPGA晶片內以硬體描述語言(HDL)來建置電路的硬體方式實現，並搭配多個主控端來提升影像擷取、顯示及儲存影像處理結果的速度。而相較系統資源消耗較低的物件分割及人臉特徵比對這兩個步驟，則會在Nios II處理器內以撰寫C語言的軟體方式實現。本論文以Verilog所實現的硬體電路來取代一般由C語言軟體實現的影像處理，使得整體系統在SOPC軟硬體共同設計下具有更佳的即時影像處理的效能。在實際驗證上，本論文是以友晶科技所發展的多媒體開發板DE2-70為實驗平台，從實驗結果可知所提之架構與方法確實可以用較少的影像處理時間，達到即時的人臉偵測。

In this thesis, a Hardware/Software (HW/SW) codesigned method based on a multiple master-slave system architecture is proposed to implement a real-time human face detection. In the design and implementation of real-time human face detection, a software and hardware codesign method which integrates C language and Hardware Description Language (HDL) based on a SOPC (System on a Programmable Chip) technique is applied to design five image processing modules: (1) Image Binary, (2) Image Enhancement, (3) Edge Detection, (4) Object Segmentation, and (5) Feature Comparison. In order to get real-time image processing, these modules which cost more computing time are implemented by using hardware accelerating circuits. Then, in the multiple master-slave system architecture, multiple master units are design to accelerate the process speed of image capture and display. Some experiment results illustrate that the image processing time is reduced effectively by the proposed method at the DE2-70 development board so that a real-time human face detection can be implemented.

目錄
目錄	III
圖目錄	VI
表目錄	X
第一章 緒論	1
1.1 研究背景	1
1.2 研究動機	2
1.3 論文架構	2
第二章 軟硬體共同設計平台	3
2.1 DE2-70多媒體開發板	3
2.2 D5M擷取模組介紹	7
2.2.1 D5M擷取模組特性	8
2.2.2 D5M擷取模組腳位說明	8
2.2.3 D5M擷取影像格式	9
2.2.4 D5M擷取模組訊號時序圖	12
2.3 4.3英吋數位 LCD 觸碰面板	13
2.3.1 LTM顯示模組特性	14
2.3.2 LTM顯示模組腳位說明	15
2.3.3 LCM顯示模組內部方塊圖	17
2.3.4 LTM顯示模組之訊號時序圖介紹	18
第三章 軟硬體共同設計之系統架構	21
3.1 多主從系統架構	21
3.2 Master端與Slave端設計介紹	23
3.2.1 Slave端設計	23
3.2.2 Master端設計	25
3.3 使用者自訂介面介紹	27
3.4 人臉偵測之設計架構	32
第四章 系統流程及影像處理	34
4.1 軟硬體共同設計之人臉偵測流程	34
4.2 影像二值化處理	35
4.2.1 膚色偵測	35
4.2.2 嘴唇偵測	38
4.2.3 眼睛偵測	39
4.3 影像增強處理及邊緣化	39
4.3.1 侵蝕與膨脹	39
4.3.2 邊緣化	40
4.4物件分割及人臉特徵比對	41
4.4.1 物件分割	41
4.4.2 臉部特徵搜尋比對	43
第五章 硬體影像處理加速器	47
5.1 影像二值化之硬體電路	47
5.1.1 膚色偵測之硬體電路	47
5.1.2 唇色偵測之硬體電路	50
5.1.3 眼睛偵測之硬體電路	51
5.2 影像增強及邊緣化之硬體電路	52
5.2.1 線緩衝器	52
5.2.2 侵蝕與膨脹之硬體電路	53
5.2.3 邊緣化之硬體電路	54
5.3 物件標記之硬體電路	55
第六章 實驗結果	57
6.1 人臉偵測之實驗結果	57
6.2.1 影像前處理	57
6.2.2 人臉偵測結果	59
6.2 處理效能比較	62
第七章 結論與未來展望	65
參考文獻	66
 
圖目錄
圖2.1 DE2-70開發板實體圖[2]	5
圖2.2 DE2-70開發板搭配DVD多媒體平台[2]	6
圖2.3 DE2-70開發板搭配數位相機與LTM顯示模組平台[2]	6
圖2.4 D5M擷取模組之實體圖[2]	7
圖2.5 TRDB_D5M擷取模組之接腳連接圖[3]	9
圖2.6 D5M擷取模組影像框架[4]	10
圖2.7 CMOS擷取模組影像訊號[4]	11
圖2.8 Bayer Pattern像素圖	12
圖2.9 D5M擷取模組有效資料格式[4]	12
圖2.10 D5M擷取模組像素資料時序圖(1) [4]	13
圖2.11 D5M擷取模組像素資料時序圖(2) [4]	13
圖2.12 LTM顯示模組實體圖	14
圖2.13 TRDB_LTM顯示模組之接腳連接圖[5]	16
圖2.14 LTM之內部控制方塊圖[5]	18
圖2.15 LCD面板水平時序訊號說明[5]	19
圖2.16 LCD面板垂直時序訊號說明[5]	20
圖3.1 傳統匯流排的傳輸方式[7]	22
圖3.2 Avalon Bus的傳輸方式[7]	22
圖3.3 Slave端的讀取與寫入時序圖	25
圖3.4 Master端的讀取與寫入時序圖	27
圖3.5 整合使用者自定介面至Avalon Bus內示意圖	28
圖3.6 SOPC Builder使用者介面	29
圖3.7 新增使用者自訂介面程式	30
圖3.8 連接使用者自訂介面訊號	30
圖3.9 Component Editor介面	31
圖3.10 Avalon Bus 連接圖	31
圖3.11 系統架構圖	33
圖4.1 人臉偵測之軟硬體共同設計流程圖	35
圖4.2 膚色分佈範圍	37
圖4.3 嘴唇顏色之分佈範圍	38
圖4.4  侵蝕遮罩	40
圖4.5  膨脹遮罩	40
圖4.6  邊緣化遮罩	40
圖4.7 Z字型物件搜尋示意圖	42
圖4.8 物件分析流程圖	43
圖4.9 嘴唇搜尋範圍	44
圖4.10 眼睛搜尋範圍	45
圖5.1  之硬體電路圖	48
圖5.2  之硬體電路圖	49
圖5.3  之硬體電路圖	49
圖5.4 膚色二值化訊號模擬示意圖	50
圖5.5  之硬體電路圖	51
圖5.6 眼睛偵測之硬體電路圖	51
圖5.7 深度為K且有N條緩衝器的線緩衝器概念圖	52
圖5.8 影像侵蝕之硬體電路	53
圖5.9 影像膨脹之硬體電路	54
圖5.10 邊緣化之硬體電路	54
圖5.11 目標物標記程式虛擬碼	55
圖6.1 影像二值化處理。(a)原始影像，(b)膚色偵測，(c)嘴唇偵測，(d)眼睛偵測。	58
圖6.2 影像增強處理。(a)原始影像，(b)膚色偵測，(c)嘴唇偵測，(d)眼睛偵測。	58
圖6.3 邊緣化處理。(a)原始影像，(b)膚色偵測，(c)嘴唇偵測，(d)眼睛偵測。	59
圖6.4 人臉偵測連續示意圖。	60
圖6.5 配戴眼睛之人臉偵測示意圖。	61
圖6.6 綜合實驗測試結果。(a)人臉與膚色分辨，(b)複雜背景之人臉偵測，(c-d)不同人物之人臉偵測，(e-h)多人之人臉偵測	62
 
表目錄
表2.1 D5M擷取模組規格參數表	8
表2.2 LTM規格參數表	15
表2.3 LTM顯示模組訊號說明	16
表3.1 Slave端常用訊號表	24
表3.2 Master端常用訊號表	26
表6.1 Nios II處理器在影像處理模組之處理時間表	63
表6.2 硬體影像加速器之處理延遲週期表	64
表6.3 人臉偵測各模組時間表	64

[1]	Altera多媒體發展平台DE2-70網址，
URL: http://university.altera.com/materials/boards/
[2]	友晶科技網址，URL: http://www.terasic.com.tw/
[3]	Terasic, TRDB_D5M_UserGuide, Document Version 1.0, 2008.
[4]	Terasic, THDB-D5M_Hardware specification, Document Version 1.0, 2008.
[5]	Terasic, TRDB_LTM_UserGuide, Document Version 1.22, 2007.
[6]	Robotis, AX-12 User’s Manual, 2006
[7]	李世安，即時目標影像追蹤之SOPC設計，淡江大學電機工程學系博士論文（指導教授：翁慶昌），2008。
[8]	Altera Corporation, Avalon Interface Specifications, March 2008
[9]	Altera Corporation, Altera Nios® II Embedded Processor Training, 2007.
[10]	M. Soriano, B. Martinkauppi, S. Huovinen, and M. Laaksonen, “Skin color modeling under varying illumination conditions using the skin locus for selecting training pixels,” Proceedings Workshop on Real-Time Image Sequence Analysis, pp.43-49, 2000.
[11]	M. Soriano, B. Martinkauppi, S. Huovinen, and M. Laaksonen, “Skin detection in video under changing illumination conditions,” Proceedings of the 15th International Conference on Pattern Recognition, pp.839-842, 2000.
[12]	M. Soriano, S. Huovinen, B. Martinkauppi, and M. Laaksonen, “Using the Skin Locus to Cope with Changing Illumination Conditions in Color-Based Face Tracking,” Proceedings. of IEEE Nordic Signal Processing Symposium, pp. 383-386, 2000.
[13]	黃泰祥，具備人臉追蹤與辨識功能的一個智慧型數位監視系統，中原大學電子工程學系碩士論文（指導教授：繆紹綱），2004。
[14]	涂又仁，利用人臉及手勢辨識之人機介面，國立中正大學工學院電機工程研究所碩士論文（指導教授：林惠勇），2007。
[15]	繆紹綱，數位影像處理-活用MATLAB，全華科技圖書股份有限公司，2006。
[16]	L. G. Shapiro and G. C. Stockman, Computer Vision, pp. 65-68, Prentice-Hall, NJ, 2001.
[17]	Altera Corporation, Integer Arithmetic Megafunctions User Guide,
URL: http://www.altera.com/literature/ug/ug_lpm_alt_mfug.pdf