近年來，人臉辨識技術已經被廣泛的利用在各方面並且取得不錯的成果。本論文提出一個完整的系統架構，根據使用者的搜尋選項例如整張人臉、眼睛、鼻子或是嘴巴來從資料庫中取出相似的人臉影像。在第一階段當中，系統擷取出人臉特徵，接著對其光源及大小做正規化，並且取出人臉特徵點。第二階段中，利用主成分分析以及人臉特徵相對關係從資料庫中搜尋出最相似的前三張人臉影像。實驗結果顯示出使用者可以根據其搜尋選項找到相似的影像，而人臉特徵相對關係可以彌補主成分分析容易受到光源影像的缺點。

Over the last decade, face recognition techniques are widely used in various fields and have significant results. This paper proposes a system framework that retrieves the target image from the database according to the option of the users: whole face, eyes, nose or mouth. At the first stage, the system extracts the facial features, normalizes the scale and illumination of the feature images. From the feature images, we take advantage of the characteristic that facial features are conceived to be illumination invariant to filter the skin color then obtain the facial feature points. At the second stage, the system uses principle component analysis (PCA) and correlation of facial features to retrieve the target images from the face database. The result shows that users can find the similar face image according to their search option, and correlation of facial features can overcome the characteristic that PCA is sensitive to change in illumination.

目錄
第一章	緒論	1
1.1.	研究動機與目的	1
1.2.	相關研究	2
1.2.1.	人臉偵測	2
1.2.2.	人臉辨識	6
1.2.3.	相關論文	9
1.3.	論文架構	11
第二章	基礎理論	12
2.1.	色彩空間	12
2.1.1.	RGB色彩空間	12
2.1.2.	YUV、YCbCr、YIQ色彩空間	14
2.1.3.	HSL、HSV色彩空間	17
2.2.	相關影像處理技術	21
2.2.1.	直方圖等化 (Histogram Equalization)	21
2.2.2.	二值化 (Thresholding)	24
2.2.3.	侵蝕運算 (Erosion)	24
2.2.4.	膨脹運算 (Dilation )	26
2.2.5.	斷開運算 (Opening)	26
2.2.6.	閉合運算 (Closing)	27
第三章	研究方法	28
3.1.	系統架構流程	28
3.1.1.	人臉影像前處理	29
3.1.2.	存入人臉影像資料庫	30
3.1.3.	人臉影像搜尋	30
3.2.	人臉及人臉特徵區塊擷取	31
3.2.1.	Haar Cascade Classifier	31
3.2.2.	人臉特徵點擷取	43
3.3.	人臉影像搜尋	48
3.3.1.	主成分分析	49
3.3.2.	特徵臉演算法(Eigenface)	50
3.3.3.	人臉特徵相對關係	56
第四章	系統實作與實驗結果	59
4.1.	開發工具與環境	59
4.1.1.	Open Source Computer Vision Library (OpenCV)	60
4.1.2.	Borland C++ Builder	63
4.2.	系統實作	67
4.2.1.	系統架構	67
4.2.2.	系統介面	70
4.3.	實驗結果	75
4.3.1.	人臉資訊擷取	75
4.3.2.	人臉影像搜尋	79
第五章	結論與未來展望	82
5.1.	結論	82
5.2.	未來展望	83
參考文獻	84
附錄 英文論文	88


 
圖目錄
圖 1、RGB三原色圖	13
圖 2、RGB色彩空間圖	13
圖 3、YUV色彩空間	16
圖 4、YCbCr色彩空間	17
圖 5、YIQ色彩空間	17
圖 6、HSL色彩屬性圖	18
圖 7、HSV色彩屬性圖	18
圖 8、灰階Lena圖	23
圖 9、Histogram equalization之後	23
圖 10、灰階Lena直方圖	23
圖 11、Histogram equalization後的直方圖	23
圖 12、人臉影像	24
圖 13、圖12經過膚色偵測二值化的結果	24
圖 14、Structuring element	25
圖 15、圖13經由erosion後的結果	25
圖 16、圖13經由dilation後的結果	25
圖 17、圖13經由opening後的結果	26
圖 18、圖13經由closing後的結果	26
圖 19、系統架構流程圖	28
圖 20、實驗樣本1	29
圖 21、實驗樣本2	30
圖 22、影像積分概念圖	32
圖 23、影像積分示意圖	33
圖 24、旋轉影像積分示意圖	34
圖 25、旋轉影像積分結構圖	35
圖 26、直立矩形與45度旋轉矩形範例	36
圖 27、利用矩形特徵偵測人臉示意圖	39
圖 28、串聯式分類器結構圖	42
圖 29、人臉特徵擷取流程圖	42
圖 30、實驗樣本1在光源情況1之結果	44
圖 31、圖30經由膚色偵測之結果	44
圖 32、實驗樣本1在光源情況2之結果	44
圖 33、圖32經由膚色偵測之結果	44
圖 34、特徵擷取流程圖	47
圖 35、眼睛特徵點	48
圖 36、嘴巴特徵點	48
圖 37、鼻子比例圖1	48
圖 38、鼻子比例圖2	48
圖 39、影像投影到人臉空間示意圖	55
圖 40、人臉特徵點編號模型	57
圖 41、人臉特徵關係表	57
圖 42、利用OpenCV所做的程式界面範例	63
圖 43、Borland C++ Builder 6.0程式介面	64
圖 44、元件選取區	64
圖 45、視窗程式開發界面	65
圖 46、程式撰寫界面	65
圖 47、專案元件樹狀結構圖	66
圖 48、元件屬性編輯區	66
圖 49、系統元件示意圖	68
圖 50、系統介面	68
圖 51、程式主畫面	70
圖 52、人臉影像前處理	71
圖 53、挑選影像資料夾	71
圖 54、使用者選單	72
圖 55、人臉特徵擷取結果	72
圖 56、人臉擷取圖	73
圖 57、人臉特徵關係表	73
圖 58、人臉影像搜尋結果(根據整張人臉影像)	74
圖 59、人臉影像搜尋結果(根據嘴巴)	74
圖 60、人臉影像搜尋結果(根據人臉特徵之間相對關係)	75
圖 61、人臉以及人臉特徵擷取(實驗樣本1)	76
圖 62、人臉以及人臉特徵擷取(實驗樣本2)	77
圖 63、人臉特徵點擷取結果(實驗樣本1)	78

 
表目錄
表 1、人臉偵測相關論文	6
表 2、人臉辨識相關論文	8
表 3、矩形特徵表	38
表 4、24x24特徵數量	38
表 6、OpenCV所支援的編譯器、平台以及作業系統	61
表 7、根據整張人臉搜尋結果	79
表 8、根據眼睛搜尋結果	80
表 9、根據鼻子搜尋結果	80
表 10、根據嘴巴搜尋結果	80
表 11、根據人臉特徵相對關係搜尋結果	81

 
公式目錄
公式 1、RGB轉YUV公式	14
公式 3、RGB轉YCbCr公式	15
公式 4、YCbCr轉RGB公式	15
公式 5、RGB轉YIQ公式	15
公式 6、YIQ轉RGB公式	16
公式 7、RGB轉HSL公式	18
公式 8、HSL轉RGB公式	19
公式 9、RGB轉HSV公式	20
公式 10、HSV轉RGB公式	20
公式 11、直立矩形影像積分計算公式	32
公式 12、任意直立矩形計算公式	33
公式 13、旋轉45度影像積分計算公式	33
公式 14、旋轉45度影像積分計算步驟1	33
公式 15、旋轉45度影像積分計算步驟2	34
公式 16、任意旋轉45度矩形計算公式	34
公式 17、任意矩形表示公式	36
公式 18、任意直立矩形數量計算公式	37
公式 19、任意旋轉45度矩形數量計算公式	37
公式 20、AdaBoost正規化權重公式	40
公式 21、AdaBoost權重更新公式	40
公式 22、最終強分類器計算公式	41
公式 23、平均臉計算公式	51
公式 24、人臉影像差異計算公式	51
公式 25、計算M組最大特徵向量公式	52
公式 26、共變異矩陣計算公式	52
公式 27、公式26計算步驟1	52
公式 28、公式26計算步驟1	53
公式 29、特徵臉計算公式	53
公式 30、人臉影像投影到人臉空間計算公式	54
公式 31、差異度計算公式	54
公式 32、輸入影像與人臉空間之距離計算公式	55
公式 33、人臉特徵相對關係距離計算公式	57

[1]	A. Lanitis, C.J. Taylor and T.F. Cootes, "An Automatic Face Identification System Using Flexible Appearance Models", Image and Vision Computing, Vol. 13, Issue. 5, pp. 393-401, Jun. 1995.
[2]	A. Pentland, B. Moghaddam and T. Starner, "View-based and Modular Eigenspaces for Face Recognition", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.84-91, Jun. 1994.
[3]	A. Rajagopalan, K. Kumar, J. Karlekar, R. Manivasakan, M. Patil, U. Desai, P. Poonacha and S. Chaudhuri, "Finding Faces in Photographs", Sixth International Conference on Computer Vision, pp. 640- 645, Jan. 1998.
[4]	A. V. Nefian and M. H. Hayes III, "Hidden Markov Models For Face Recognition", International Conference on Acoustics, Speech and Signal Processing, pp. 2721–2724, 1998.
[5]	Couleur.Org, http://www.couleur.org/index.php?page=transformations.
[6]	E. Osuna, R. Freund and F. Girosi, "Training Support Vector Machines: An Application to Face Detection", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 130-136, Jun. 1997.
[7]	G. Yang and T. S. Huang, "Human Face Detection in Complex Background ", Pattern Recognition, Vol. 27, Issue 1, pp. 53-63, Jan. 1994.
[8]	H. Hotelling, "Analysis of a Complex of Statistical Variables into Principal Components", Journal of Educational Psychology, Vol. 24, pp. 498-520, Oct. 1933.
[9]	H. Rowley, S. Baluja and T. Kanade, "Neural Network-Based Face Detection", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 203-208, Jun. 1996.
[10]	H. Schneiderman and T. Kanade, "Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 45-51, Jun. 1998.
[11]	HSL and HSV, http://en.wikipedia.org/wiki/HSL_color_space.
[12]	HSV and H2SV Color Space, http://ilab.usc.edu/wiki/index.php/HSV_And_H2SV_Color_Space.
[13]	I. Craw, D. Tock and A. Bennett, "Finding Face Features", Proceedings of the Second European Conference on Computer Vision, pp. 92-96, 1992.
[14]	Image Processing Fundamentals - Morphology-based Operations, http://www.ph.tn.tudelft.nl/Courses/FIP/noframes/fip-Morpholo.html.
[15]	J. Huang, B. Weyrauch, B. Heisele and V. Blanz, "Component-Based Face Recognition with 3D Morphable Models", Conference on Computer Vision and Pattern Recognition Workshop, pp. 85-89, Jun. 2004.
[16]	K.C. Yow and R. Cipolla, "Feature-based Human Face Detection", Image and Vision Computing, Vol. 15, Issue 9, pp. 713-735, Sep. 1997.
[17]	K. Pearson, "On Lines and Planes of Closest Fit to Systems of Points in Space", Philosophical Magazine 2, pp. 559-572, 1901.
[18]	Leizhong Zhang, Qiong Yang, Ta Bao, Dave Vronay and Xiaoou Tang, "Imlooking: Image-based Face Retrieval in Online Dating Profile Search", Conference on Human Factors in Computing Systems extended abstracts on Human factors in computing systems, Montréal, pp.1577-1582, Apr. 22-27, 2006.
[19]	Matthew A. Turk and Alex P. Pentland, "Face Recognition Using Eigenface", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Maui, pp. 586-591, Jun 3-6, 1991.
[20]	Mikkel B. Stegmann, Bjarne K. Ersbøll and Rasmus Larsen, "FAME - A Flexible Appearance Modeling Environment", IEEE Transactions on Medical Imaging, Vol. 22, Issue 10, pp. 1319-1331, Oct. 2003.
http://www2.imm.dtu.dk/~aam/.
[21]	Ming-Hsuan Yang, David J. Kriegman and Narendra Ahuja, Detecting Faces in Images: a Survey", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, Issue 1, pp. 34 – 58, Jan. 2002.
[22]	M. S. Bartlett, H. M. Lades and T. Sejnowski, "Independent Component Representation for Face Recognition". In Proceedings, SPIE Symposium on Electronic Imaging: Science and Technology, pp. 528-539, 1998.
[23]	OpenCV Wiki, http://opencv.willowgarage.com/wiki/.
[24]	P. Belhumeur, J. Hespanha and D. Kriegman, "Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, Issue 7, pp. 711-720, Jul. 1997.
[25]	P. J. Phillips, "Support Vector Machines Applied to Face Recognition",    Conference on Advances in Neural Information Processing Systems II, pp. 803-809, 1999.
[26]	Pong C. Yuen and C. H. Man, "Human Face Image Searching System Using Sketches", IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, Vol. 37, Issue 4, pp.493-504, Jul. 2007.
[27]	P. Viola and M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Hawaii, Vol. 1, pp. 511-518, Dec 11-13, 2001.
[28]	R. Hummel, "Image Enhancement by Histogram Equalization", Computer Graph and Image Processing, Vol. 6, pp.184-195, 1977.
[29]	R. Kjeldsen and J. Kender, "Finding Skin in Color Images", Proceedings of the Second International Conference on Automatic Face and Gesture Recognition, pp. 312- 317, Oct. 1996.
[30]	R. Lienhart and J. Maydt, "An extended set of Haar-like features for rapid object detection", International Conference on Image Processing,  Vol. 1, pp. 900-903, Sept. 22-25, 2002.
[31]	S. Lawrence, C. L. Giles, A. C. Tsoi and A. D. Back, "Face Recognition: A Convolutional Neural-Network Approach", IEEE Transactions on  Neural Networks, Vol. 8, Issue 1, pp. 98-113, Jan. 1997.
[32]	S. McKenna, S. Gong and Y. Raja, "Modelling Facial Colour and Identity with Gaussian Mixtures", Pattern Recognition, Vol. 31, Issue 12, pp. 1883-1892, Dec. 1998.
[33]	Soumitra Kar, Swati Hiremath, Dilip G. Joshi, Vinod. K. Chadda and Apurva Bajpai, "A Multi-Algorithmic Face Recognition System", International Conference on Advanced Computing and Communications, Bangalore, pp. 321-326, Dec. 20-23, 2006.
[34]	T. F. Cootes, C. J. Taylor, D. H. Cooper and J. Graham, "Active Shape Models-Their Training and Application", Computer Vision and Image Understanding, Vol. 61, Issue 1, pp. 38-59, Jan. 1995.
[35]	T. F. Cootes, G. J. Edwards and C. J. Taylor, "Active Appearance Model",  IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, Issue 6, pp. 681-685, Jun. 2001.
[36]	W. Zhao, R. Chellappa and P.J. Phillips, "Subspace Linear Discriminant Analysis for Face Recognition", IEEE Transaction on Image Processing, 1999.
[37]	W. Zhao, R. Chellappa, P. J. Phillips and A. Rosenfeld, "Face Recognition: A Literature Survey", ACM Computing Surveys (CSUR), Vol. 35, pp. 399-458, 2003.
[38]	Xiaohua Xie, Wei-Shi Zheng, Jianhuang Lai and Pong C.Yuen, "Face Illumination Normalization on Large and Small Scale Features", IEEE Conference on Computer Vision and Pattern Recognition, Alaska, pp.1-8, June 23-28, 2008.
[39]	Xiaoyang Tan, Songcan Chen, Zhi-Hua Zhou and Fuyan Zhang, "Face Recognition from a Single Image per Person: A Survey", ACM Pattern Recognition, Vol. 39, Issue 9, pp.1725-1745, Sep. 2006.
[40]	Y. Dai and Y. Nakano, "Face-Texture Model Based on SGLD and Its Application in Face Detection in a Color Scene", Pattern Recognition, Vol. 29, Issue 6, pp. 1007-1017, Jun. 1996.
[41]	Yoav Freund and Robert E. Schapire, "A Short Introduction to Boosting", Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence, 1999.
[42]	Yuchun Fang, Donald Geman and Nozha Boujemaa, "An Interactive System for Mental Face Retrieval", International Multimedia Conference Proceedings of the 7th ACM SIGMM International Workshop on Multimedia Information Retrieval, Singapore, pp. 193-200, Nov. 10-11, 2005.
[43]	林宥丞, 使用主成分分析做人臉辨識, May 2005.