系統識別號 | U0002-3009201700405100 |
---|---|
DOI | 10.6846/TKU.2017.01090 |
論文名稱(中文) | 人臉重建技術應用於遮蔽情境下之人臉驗證系統 |
論文名稱(英文) | Learning-based approach for occluded face verification |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 資訊工程學系碩士班 |
系所名稱(英文) | Department of Computer Science and Information Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 105 |
學期 | 2 |
出版年 | 106 |
研究生(中文) | 蕭士勛 |
研究生(英文) | Hsiao-Shih-Hsun |
學號 | 604410034 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | 英文 |
口試日期 | 2017-07-20 |
論文頁數 | 49頁 |
口試委員 |
指導教授
-
凃瀞珽
委員 - 廖弘源 委員 - 陳朝欽 |
關鍵字(中) |
Domain-transferring learning triplet loss Direct Combined Model(DCM) |
關鍵字(英) |
Domain-transferring learning triplet loss Direct Combined Model(DCM) |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
人臉驗證技術之所以被廣泛研究,來自於這項技術應用在監視與取證上,它是非常重要的技術之一。本篇論文中,我們的目的是驗證兩張不同情境下拍攝的人臉影像是否為同一個人(如遮蔽的人臉與非遮蔽人臉)。本篇提出的架構中,我們介紹一種基於人臉重建為主的人臉驗證方法;在進行驗證方法前,先將遮蔽的人臉影像進行重建,再將結果進行驗證,重建與驗證的模組均是以樣本學習為主的方法。在重建模組中,我們利用樣本學習機制建立多樣的轉換式,這些轉換式提供了先驗知識能重建任一一張未見過的人臉遮蔽影像。為了確保重建結果能夠保留個人的臉部特徵,我們整合驗證模組於重建器中,對重建的結果進行驗證以這提供更可靠人臉外貌。實驗證明,我們提出的學習架構在遮蔽情境下的人臉驗證有不錯的效果。 |
英文摘要 |
In this study, our goal is to verify identity of two facial images that captured under different scenarios (e.g., occluded facial image vs. non-occluded one). We introduce an example-based approach for face verification, i.e. the occluded facial image is recovered first, and then used for face verification process. In the synthesis module, training examples are used to provide a prior knowledge for the unseen occluded image reconstruction. In order to make sure the quality of recovered results, a verification step is embedded. Such discriminative-driven synthesis framework provides more reliable facial appearance for both face reconstruction and verification. According to the experimental results, the proposed system makes the synthesis results preserve the personal characteristics of system input. |
第三語言摘要 | |
論文目次 |
目錄 第一章 緒論 1 1.1 研究目的與動機 1 1.2 相關研究 2 第二章 人臉驗證系統架構 5 2.1 系統架構 5 2.2 樣本擴充與臉部校正模組 8 2.3 合成重建(遮蔽恢復)模組 10 2.4 驗證模組 15 2.5 鑑別性的樣本更新步驟與實作 25 2.5.1 Triplet Loss 的訓練方式 25 2.5.2生成器更新機制 26 2.5.3演算法 28 第三章 實驗結果與分析 30 3.1 人臉驗證的實驗設定 30 3.2 回歸式用於錯誤校正之遮蔽影像測試 31 3.2同資料庫與其他重建方法比較 33 3.3 跨資料庫與其他重建方法比較 34 3.4 驗證方法比較 37 第四章 結論 38 參考文獻 39 附錄:英文論文 41 圖目錄 圖 1驗證廣泛應用在監視與取證上。 1 圖 2(a) 臉部校正模組。(b) 合成重建(遮蔽恢復)模組。(c) 驗證模組,以及具鑑別性的樣本更新步驟。 5 圖 3第一排為未校正的非遮蔽人臉影像,第二排為遮蔽(太陽眼鏡)人臉影像,第三排為遮蔽(圍巾)人臉影像。 8 圖4 (a)訓練正樣本資料集範例(b)訓練負樣本資料集範例。 10 圖 5 不同的回歸方式從未遮蔽區塊預測遮蔽區塊人臉的樣貌。 11 圖 6不同特徵用於多種分類器上其中水平軸為不同分類器方法。 17 圖 7本文提出驗證方法執行第一輪的驗證結果與第三輪的執行結果 21 圖 8 Triplet loss的正負樣本學習方法求得的權重圖。 22 圖 9 CM與權重正規化,紅色代表HOG特徵,綠色代表LBP特徵,藍色代表灰階特徵。 24 圖 10 (a)訓練樣本的更新過程。(b)測試樣本的更新過程。 27 圖 11 不同分群方式之驗證率 29 圖 12訓練的回歸式重建能力於不同擾亂程度之測試遮蔽影像重建能力評估。 31 圖 13 PSNR與SSIM兩種計算相似度方式對回歸式進行評估。 32 圖 14用不同方法將遮蔽影像恢復,本篇方法使用多特徵第三輪的合成影像做修補。 33 圖 15 CMU資料庫用不同的方法進行遮蔽修復。 34 圖 16網路上圖片用不同的方法進行遮蔽修復。 35 圖 17 對三種不同類型資料以PSNR與SSIM進行比較。 36 圖 18太陽眼鏡作為測試以多特徵CM,一共比對三輪後的驗證結果。 37 |
參考文獻 |
[1] D.-A. Huang and Y.-C. F. Wang, "Coupled Dictionary and Feature Space Learning with Applications to Cross-Domain Image Synthesis and Recognition," IEEE International Conference on Computer Vision (ICCV), Dec. 2013 [2] A. Sharma and D.W. Jacobs, “Bypassing Synthesis: PLS for Face Recognition with Pose, Low-Resolution and Sketch," IEEE Conference on Computer Vision and Pattern Recognition, 2011, pp. 593-600. [3] H.S. Bhatt, R. Singh, M. Vatsa, and N. K. Ratha, “Improving Cross-resolution Face Matching using Ensemble based Co-Transfer Learning,” IEEE Transactions on Image Processing, Volume 23, No. 12, pp. 5654 - 5669, 2014. [4] Y. Sun, X. Wang, and X. Tang, "Hybrid Deep Learning for Face Verification", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PP, no. 99, pp. 1-14, 2015 [5] Y. Sun, X. Wang, and X. Tang, "Deep Learning Face Representation from Predicting 10,000 Classes," IEEE CVPR,2014 [6] Z. Zhu, P. Luo, X. Wang, and X. Tang, “Deep Learning Identity Preserving Face Space,” in Proceedings of IEEE International Conference on Computer Vision (ICCV) , 2013 [7] L. Tran, X. Yin, X. Liu, “Disentangled Representation Learning GAN for Pose-Invariant Face Recognition,” In Proceeding of IEEE Computer Vision and Pattern Recognition (CVPR 2017), 2017. [8] C.T. Tu and J. J. Lien, “Automatic Location of Facial Feature Points and Synthesis of Facial Sketches Using Direct Combined Model,” IEEE Transactions on Systems, Man, and Cybernetics: Part B (TSMC-B), Vol. 39, 2009 [9] A. Frome, Y. Singer, F. Sha, and J. Malik, “Learning globally-consistent local distance functions for shape-based image retrieval and classification,” International Conference on Computer Vision, pp. 1-8, 2007. [10] F. Schroff, D. Kalenichenko, J.Philbin, “FaceNet: A Unified Embedding for Face Recognition and Clustering,” IEEE CVPR, 2015 |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信