淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-1407200811570400
中文論文名稱 人臉特徵點擷取暨修補
英文論文名稱 Extracting facial features and face inpainting
校院名稱 淡江大學
系所名稱(中) 資訊工程學系碩士班
系所名稱(英) Department of Computer Science and Information Engineering
學年度 96
學期 2
出版年 97
研究生中文姓名 林俊佑
研究生英文姓名 Lin ChunYu
學號 695410794
學位類別 碩士
語文別 中文
口試日期 2008-06-27
論文頁數 89頁
口試委員 指導教授-施國琛
委員-趙榮耀
委員-洪啟舜
中文關鍵字 臉部特徵  特徵擷取  人臉修補  人臉重建 
英文關鍵字 facial features  face inpainting  face reconstruction 
學科別分類 學科別應用科學資訊工程
中文摘要 人臉辨識近年來已被廣泛的應用,如門禁管理、身份辨識、金融提款業務、犯罪偵測等,在各領域上皆有不同之應用及成效。在取得人臉影像上,發現臉部有可能會遮蔽或是破損的情形,在此情況下即會提高臉部辨識的誤差率。故本研究除了基礎的臉部特徵擷取之外,還希望還原這些被遮蔽或是破損的區域,將人臉影像還原至可能的樣子。本研究先利用Feature-based(特徵基底)方式,擷取出人臉之特徵點並建立人臉資料庫,將人臉影像以及特徵點資訊等資料存入,以方便後續臉部資訊的修補。而在修補部份,首先是分析欲比對之人臉,將未遮罩區域之特徵點找出,這部份的方法與先前完整人臉的特徵擷取方法相同,接著再與資料庫中人臉比對,找尋最適當人臉,修補之。
英文摘要 In recent years, facial recognition has been applied to different fields extensively, such as entrance control, identification recognition, financial withdraw practice, criminal detection, and many more. Facial recognition techniques can be applicable in varies fields and has significant results. In obtaining facial images, if the face image were covered or damaged, the degree of error and inaccuracy will increase significantly. Therefore, the purpose of this study is not only for extracting facial features, but also to recover the damaged areas. Firstly, this study uses Feature-based methodology to detect facial feature points and build up the facial database. By inserting facial images and features points to the database, it will increase the accuracy and convenience in face reconstruction. As for the recovering procedure, the system will analyze the feature points on the uncovered face at first. These steps are the same as the part of extracting facial features. Next steps will be to compare with the faces within the facial database to find the applicable face, and reconstruct it.
論文目次 第一章 緒論 1
1.1 研究動機與目的 1
1.2 相關研究 4
1.2.1 國內外相關論文 5
1.3 論文組織介紹 10
第二章 基礎理論 11
2.1 色彩空間 11
2.1.1 RGB色彩空間 11
2.1.2 CMYK色彩空間 13
2.1.3 YUV、YCbCr色彩空間 14
2.1.4 HSI、HSL和HSV色彩空間 16
2.2 相關影像處理技術 19
2.2.1 Low Pass Filter低通濾波 19
2.2.2 Sobel邊緣偵測 20
2.2.3 二值化 22
2.2.4 Erosion侵蝕運算 22
2.2.5 Dilation膨脹運算 23
2.2.6 Opening斷開運算 24
2.2.7 Closing閉合運算 25
第三章 研究方法與進行步驟 26
3.1 系統架構流程 26
3.1.1 輸入區塊 27
3.1.2 分析區塊 28
3.1.3 擷取區塊 29
3.1.4 存入資料庫區塊 29
3.1.5 比對修補區塊 29
3.2 臉部及特徵區域擷取 31
3.2.1 人臉識別 31
3.2.2 下巴搜尋 36
3.2.3 特徵點搜尋 38
3.3 需重建臉部部份 45
3.4 人臉資訊修補 46
3.4.1 找尋合適之臉部 46
3.4.2 修補 48
第四章 系統實做 53
4.1 系統介面 53
4.2 開發環境 61
4.3 系統簡介 68
4.3.1 程式系統架構 68
4.3.2 元件介紹 70
第五章 結論以及未來展望 78
5.1 結論 78
5.2 未來展望 80
參考文獻 81
附錄—英文論文 84

圖目錄
圖 1 First two modes of shape variation (±3sd) 6
圖 2 First two modes of gray-level variation (±3sd) 6
圖 3 RBG 色彩空間 12
圖 4 CMYK色彩空間 13
圖 5 八鄰居示意圖 20
圖 6 Lena彩色原圖 20
圖 7 灰階影像 20
圖 8 Low Pass Filter之後 20
圖 9 Sobel邊緣化偵測 21
圖 10 使用低通濾波後之邊緣化偵測 21
圖 11 邊緣化後取臨界值為80 22
圖 12 邊緣化後取臨界值為160 22
圖 13 Structuring Element 23
圖 14 將圖 11Erosion運算後 23
圖 15 將圖 11Dilation運算後 24
圖 16 Opening斷開運算 25
圖 17 Closing閉合運算 25
圖 18 系統流程架構圖 26
圖 19 自行拍攝樣本 27
圖 20 [17]之樣本 28
圖 21 橢圓樣板比對法 32
圖 22 原圖 34
圖 23 HSV色彩空間 34
圖 24 YCbCr色彩空間 本國人採樣 34
圖 25 YCbCr色彩空間 外國人採樣 34
圖 26 臉部比例圖 35
圖 27 臉部特徵比例圖 35
圖 28 Skin Region 37
圖 29 Facial Contours 37
圖 30 Facial Contours 37
圖 31 下巴特徵點 37
圖 32 臉部灰階化 39
圖 33 Sobel邊緣化 39
圖 34 由圖 32作低通濾波 39
圖 35 Sobel邊緣化 39
圖 36 膚色二值化 40
圖 37 特徵區塊 40
圖 38 左眉毛 41
圖 39 右眉毛 41
圖 40 左眼 41
圖 41 右眼 41
圖 42 嘴巴 41
圖 43 左眉毛特徵區塊 42
圖 44 右眉毛特徵區塊 42
圖 45 左眼特徵區塊 42
圖 46 右眼特徵區塊 42
圖 47 嘴巴特徵區塊 42
圖 48 x軸(垂直軸)加總 42
圖 49 y軸(水平軸)加總 42
圖 50 左眉毛特徵範圍 43
圖 51 右眉毛特徵範圍 43
圖 52 左眼特徵範圍 43
圖 53 右眼特徵範圍 43
圖 54 嘴巴特徵範圍 43
圖 55 臉部特徵點 44
圖 56 待修補人臉—右眉毛 45
圖 57 待修補人臉—左眉毛 45
圖 58 待修補人臉—右眼 45
圖 59 待修補人臉—左眼 45
圖 60 待修補人臉之特徵點 46
圖 61 SAD之3×3區塊 47
圖 62 欲修補特徵區域中心 48
圖 63 來源特徵區域中心 48
圖 64 原圖 50
圖 65 第一順位 50
圖 66 第二順位 50
圖 67 第三順位 50
圖 68 待修補之人臉 50
圖 69 第一順位修補 50
圖 70 第二順位修補 50
圖 71 第三順位修補 50
圖 72 原圖 51
圖 73 第一順位 51
圖 74 第二順位 51
圖 75 第三順位 51
圖 76 待修補之人臉 51
圖 77 第一順位修補 51
圖 78 第二順位修補 51
圖 79 第三順位修補 51
圖 80 原圖 52
圖 81 第一順位 52
圖 82 第二順位 52
圖 83 第三順位 52
圖 84 待修補之人臉 52
圖 85 第一順位修補 52
圖 86 第二順位修補 52
圖 87 第三順位修補 52
圖 88 程式主畫面 54
圖 89 是否修復人臉 54
圖 90 程式選單 54
圖 91 狀態資訊列 55
圖 92 影像、資料列表 56
圖 93 臉部影像資料內容 56
圖 94 影像分析圖 57
圖 95 資訊折線分析圖表 58
圖 96 人臉影像特徵分析圖 58
圖 97 影像特徵輸出 59
圖 98 處理過程文字輸出 59
圖 99 Borland C++ Builder 6.0軟體介面 63
圖 100 元件選取區及功能列 63
圖 101 元件樹狀結構 64
圖 102 元件屬性編輯區 65
圖 103 視窗程式開發介面 66
圖 104 程式撰寫介面 67
圖 105 元件系統架構圖 69
圖 106 元件樹狀圖 71
圖 107 TMenu設計圖 73
圖 108 TPageControl設計圖 73
圖 109 TFileList以及TLabel元件 75
圖 110 影像載入視窗 76

公式目錄
公式 1 RGB轉換YUV公式 14
公式 2 RGB轉換YCbCr公式 15
公式 3 HIS轉換公式 16
公式 4 HSL轉換公式 17
公式 5 HSV轉換公式 18
公式 6 Low Pass Filter 19
公式 7 Sobel邊緣化偵測公式 21
公式 8 Skin Region 36
公式 9 Average Skin Region 36
公式 10 Facial Contours 36
公式 11 SAD公式 47
公式 12 特徵修補公式 48

參考文獻 [1] Kun Peng , Liming Chen and Su Ruan, "A Novel Scheme of Face Verification using Active Appearance Models", Advanced Video and Signal Based Surveillance, 2005. IEEE Conference on 15-16 Sept. 2005 pp. 247 – 252
[2] T. F. Cootes, A. Hill, C. J. Taylor and J. Haslam. "The use of active shape models for locating structures in medical images", Image & Vision Compute. 1994, Vol 12, No. 6. pp. 355-366
[3] T.F. Cootes, D. Cooper, C.J. Taylor and J. Graham, "Active Shape Models - Their Training and Application." Computer Vision and Image Understanding. Vol. 61, No. 1, Jan. 1995, pp. 38-59.
[4] T.F. Cootes, G.J. Edwards, and C.J. Taylor, "Active appearance models", Proc. ECCV, vol. 2, pp. 484–498, 1998.
[5] G.J.Edwards, C.J.Taylor, T.F.Cootes, "Learning to Identify and Track Faces in Image Sequences", Int. Conf. on Face and Gesture Recognition 1998.pp 260-265
[6] Stan Z. Li & Anil K. Jain, "Handbook of face recognition", New York : Springer, 2005
[7] Zhenhai Ji, Wenming Zheng, Cairong Zou, Li Zhao, "Facial Feature Extracting Based on Active Shape Model under Fewer Landmarks", Neural Networks and Brain, 2005. ICNN&B '05. International Conference on Volume 1, 13-15 Oct. 2005 pp. 155 - 159
[8] Park, Unsang, Jain, Anil K., Ross, Arun, "Face Recognition in Video: Adaptive Fusion of Multiple Matchers", Computer Vision and Pattern Recognition, 2007. IEEE Conference on 17-22 June 2007 Page(s):1 – 8
[9] Dihua Xi, Podolak, I.T., Seong-Whan Lee, "Facial component extraction and face recognition with support vector machines", Automatic Face and Gesture Recognition, 2002. Proceedings. Fifth IEEE International Conference on 20-21 May 2002 pp. 76 – 81
[10] Pighin, J. Hecker, D. Lischinski, Szeliski R, and D. Salesin. "Synthesizing realistic facial expressions from photographs", In Computer Graphics Proceedings SIGGRAPH’98, pp. 75—84
[11] Bon-Woo Hwang, Seong-Whan Lee, "Reconstruction of partially damaged face images based on a morphable face model", Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 25, Issue 3, March 2003 pp. 365 – 372
[12] Z. Mo, J.P. Lewis and U. Neumann, "Face Inpainting with Local Linear Representations", BMVC 2004, Kingston, 7th-9th Sept, 2004
[13] Haiyuan Wu, Taro Yokoyama, Dadet Pramadihanto, and Masahiko Yachida, "Face and Facial Feature Extraction from Color Image", Automatic Face and Gesture Recognition, 1996., Proceedings of the Second International Conference on, Oct 1996 pp. 345 – 350
[14] 林承賢, 膚色範圍與人臉區域之研究探討, 電腦視覺監控產學研聯盟, Mar, 2006
[15] Ming-Hsuan Yang, Kriegman, D.J., Ahuja, N., "Detecting faces in images: a survey, Pattern Analysis and Machine Intelligence", IEEE Transactions on Volume 24, Issue 1, Jan. 2002 pp. 34 - 58
[16] Sigal, L., Sclaroff, S., Athitsos, V., "Skin color-based video segmentation under time-varying illumination", Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 26, Issue 7, July 2004 pp. 862 – 877
[17] M. B. Stegmann, B. K. Ersbøll, and R. Larsen. FAME - a flexible appearance modelling environment. IEEE Trans. on Medical Imaging, 22(10):1319-1331, 2003
http://www2.imm.dtu.dk/~aam/
[18] JPEG File Interchange Format Specification v1.02, September 1, 1992.
[19] Sobel, I., Feldman,G., "A 3x3 Isotropic Gradient Operator for Image Processing", presented at a talk at the Stanford Artificial Project in 1968, unpublished but often cited, orig. in Pattern Classification and Scene Analysis, Duda,R. and Hart,P., John Wiley and Sons,'73, pp271-272
[20] 楊煒達, 簡易方法之少量人臉辨識系統,國立中央大學資訊工程學系碩士在職專班碩士論文, 2007
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2009-07-16公開。
  • 同意授權瀏覽/列印電子全文服務,於2008-07-16起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信