人臉辨識與驗證技術之所以被廣泛研究，因為這項技術在應用上帶來身份驗證的便利。無論是在監視上或是身份驗證上，若能自動辨識人臉影像其身份，會使得系統本身更具便利性。本篇論文中，我們的目的是在人臉被遮蔽的情況下，利用人臉恢復技術提升後續辨識與驗證的正確率。本篇提出的架構中，我們介紹一種利用人臉校正與遮蔽恢復相輔相成方法，幾何校穩定的人臉影像會提升後續人臉遮蔽區域恢復準確性：同時，人臉恢復結果又影響幾何校正的判斷。這兩項技術的穩定性都相互關聯，也都與辨識準確率息息相關。實驗證明，在遮蔽情境下，我們提出的架構的人臉驗證有穩定的辨識能力。

Face recognition and verification technology is widely studied in computer vision and machine learning fields. It brings convenience in real applications, such as ssurveillance system. In this paper, our goal is to improve the identification and verification rate in the occlusion case. In this study, we proposed a face retrieval framework that integrates both the occluded face alignment and recovery stages. Experimental results shows that the proposed algorithm boost the face verification accuracy in the heavy occlusion situation.

目錄
目錄	III
圖目錄	V
第一章 緒論	1
1.1 研究目的與動機	1
1.2 相關研究	5
第二章 系統架構	10
2.1 系統架構	10
2.2 資料庫的收集	12
2.3 系統演算法	13
第三章 系統實作	17
3.1 人臉定位	17
3.2 資料庫搜尋比對	23
3.3 遮蔽恢復	31
第四章 實驗結果與分析	43
4.1 人臉校正和遮蔽區域偵測	43
4.2 恢復結果	47
4.3 辨識	49
第五章 結論	51
參考文獻	52
附錄:英文論文	54

圖目錄
圖 一. 本論文所適用的情境圖示。空拍機在拍攝時會出現的情況。	1
圖 二. 鑑別人臉身份圖示。( A )( B )為預估的人臉區域。( C )為經過校正去背的人臉資料庫影像。	2
圖 三. 遮蔽情境下對人臉校正圖示．大圖為原始影像，小圖為根據原始影像人臉區域校正後的影像。左半為遮蔽情況下人臉校正結果，右半為經過初步遮蔽恢復後人臉校正結果。	3
圖 四. 影像恢復與校正之間的關聯性圖示．(A)為校正效果不佳時的人臉恢復結果，(B)為校正效果較佳時的人臉恢復結果。	4
圖 五. 本論文所定義的幾何校正圖示。左圖為非遮蔽原始影像與其68個人臉特徵點。中圖為經過人臉特徵點與校正空間計算得到的投影矩陣幾何轉換後的人臉影像。右圖為已校正的資料庫人臉影像。	4
圖 六. 系統架構。	11
圖 七. AR資料庫圖示。	12
圖 八. 本實驗室的資料庫圖示。	12
圖 九. 訓練資料庫人臉與特徵點偵測。	18
圖 十. 計算大小不一的人臉區域平均寬高。( A )為人臉偵測後大小不一的人臉影像。	18
圖 十一. 縮放為統一大小的人臉影像大小與計算縮放後的平均特徵點。( A )為資料庫使用人臉偵測出來大小不一的人臉影像，( B )為縮放過後大小統一的人臉影像。	19
圖 十二. 測試時人臉偵測示意圖。	19
圖 十三. 測試遮蔽影像人臉特徵點定位。	19
圖 十四. 粒子重要性圖示，最後一次迭代。( A )原圖上的人臉範圍粒子，紅框為相對重要的粒子線越粗誤差越小重要性越高，綠框為相對不重要的粒子。 ( B )為人臉範圍粒子影像，下方數值為人臉範圍粒子與選出的參照影像的誤差，紅框為相對重要的粒子線越粗誤差越小重要性越高。( C )為( B )根據遮蔽圖MASK與遮蔽回歸式恢復所得。	21
圖 十五. 粒子重要性圖示，最後一次迭代。( A )原圖上的人臉範圍粒子，紅框為相對重要的粒子線越粗誤差越小重要性越高，綠框為相對不重要的粒子。 ( B )為人臉範圍粒子影像，下方數值為人臉範圍粒子與選出的參照影像的誤差，紅框為相對重要的粒子線越粗誤差越小重要性越高。( C )為( B )根據遮蔽圖MASK與遮蔽回歸式恢復所得。	22
圖 十六. 粒子重要性圖示，最後一次迭代。( A )原圖上的人臉範圍粒子，紅框為相對重要的粒子線越粗誤差越小重要性越高，綠框為相對不重要的粒子。 ( B )為人臉範圍粒子影像，下方數值為人臉範圍粒子與選出的參照影像的誤差，紅框為相對重要的粒子線越粗誤差越小重要性越高。( C )為( B )根據遮蔽圖MASK與遮蔽回歸式恢復所得。	22
圖 十七. 粒子重要性圖示，最後一次迭代。( A )原圖上的人臉範圍粒子，紅框為相對重要的粒子線越粗誤差越小重要性越高，綠框為相對不重要的粒子。 ( B )為人臉範圍粒子影像，下方數值為人臉範圍粒子與選出的參照影像的誤差，紅框為相對重要的粒子線越粗誤差越小重要性越高。( C )為( B )根據遮蔽圖MASK與遮蔽回歸式恢復所得。	23
圖 十八. 訓練人臉區塊回歸方程式的前處理。	25
圖 十九. 學習某一個人臉區塊與其他區塊的關聯性。	25
圖 二十. 測試時使用人臉區塊回歸方程式的前處理。	26
圖 二十一. 虛擬HOG人臉的合成。( A )為某一區塊與回歸後的其他8個區塊組合成的虛擬HOG人臉。	26
圖 二十二. 組合虛擬人臉影像。( A )為人臉校正影像，包含遮蔽與非遮蔽(遮蔽物為太陽眼鏡和圍巾)情況。( B )為( A )利用HOG特徵重新表達後的示意圖。( C )為把( B )分割成9個區塊後利用人臉區塊回歸式回歸並組合出來的虛擬人臉影像。	27
圖 二十三. 區域迴歸測試。欄為不同情況的人臉校正影像，分別有非遮蔽校正好、遮蔽情況與校正錯誤情況。列為人臉校正影像9個區塊各自迴歸得到的結果。紅色畫框為相對人臉影像的區域，第二、三和四列下的數字為，每區塊合成出的虛擬HOG影像與第一列計算誤差後的結果，誤差越小代表越接近非遮蔽校正好的結果。	28
圖 二十四. 區域迴歸測試。欄為不同情況的人臉校正影像，分別有非遮蔽校正好、遮蔽情況與校正錯誤情況。列為人臉校正影像9個區塊各自迴歸得到的結果。紅色畫框為相對人臉影像的區域，第二、三和四列下的數字為，每區塊合成出的虛擬HOG影像與第一列計算誤差後的結果，誤差越小代表越接近非遮蔽校正好的結果。	28
圖 二十五. 從資料庫中選出參照影像。( A )為人臉粒子虛擬HOG人臉影像，( B )為( A )與資料庫計算的誤差量。	29
圖 二十六. 搜尋資料庫比較。( A )為試用遮蔽人臉影像( 2個人 )，( B )為搜尋資料庫後的排序結果。第一列與第三列為測試影像利用灰階值與資料庫校正人臉計算COSINE DISTANCE後相似的前十名人臉校正影像。第二列與第四列為測試影像HOG特徵與資料庫校正人臉計算HOG區域迴歸搜尋後相似的前十名人臉校正影像。紅色畫框為資料庫與測試影像為同一個人。	30
圖 二十七. 搜尋資料庫比較。( A )為試用遮蔽人臉影像( 2個人 )，( B )為搜尋資料庫後的排序結果。列為測試影像HOG特徵與資料庫校正人臉計算HOG區域迴歸搜尋後相似的前十名人臉校正影像。第一列與第三列為不知道遮蔽區域，第二列與第四列為知道遮蔽區域。紅色畫框為資料庫與測試影像為同一個人。	30
圖 二十八. 測試人臉粒子影像與選出的參照人臉影像的輪廓和樣貌校正到一致。	32
圖 二十九. 遮蔽圖計算。第一列為不同人臉的粒子。第二列為第一列根據第三列的平均特徵點校正後的結果。第三列為根據第一列粒子從訓練集中選出的參考人臉影像。	33
圖 三十. 遮蔽圖計算。第一列為不同人臉的粒子。第二列為第一列根據第三列的平均特徵點校正後的結果。第三列為根據第一列粒子從訓練集中選出的參考人臉影像。	33
圖 三十一. 遮蔽圖計算。第一列為不同人臉的粒子。第二列為第一列根據第三列的平均特徵點校正後的結果。第三列為根據第一列粒子從訓練集中選出的參考人臉影像。	33
圖 三十二. 遮蔽圖計算。第一列為不同人臉的粒子。第二列為第一列根據第三列的平均特徵點校正後的結果。第三列為根據第一列粒子從訓練集中選出的參考人臉影像。	34
圖 三十三. 計算人臉粒子遮蔽圖。	34
圖 三十四. 計算遮蔽圖。	34
圖 三十五. 計算遮蔽區塊機率。	35
圖 三十六. 遮蔽圖計算。第一列為不同人臉的粒子。第二列為第一列根據第三列的平均特徵點校正後的結果。第三列為根據第一列粒子從訓練集中選出的參考人臉影像。第四列為第三列通過SIFT FLOW演算法樣貌轉換為第二列的結果。第五列為第四列與第二列的誤差通過 OTUS APPROACH 演算法計算後的二元遮罩。	36
圖 三十七. 遮蔽圖計算。第一列為不同人臉的粒子。第二列為第一列根據第三列的平均特徵點校正後的結果。第三列為根據第一列粒子從訓練集中選出的參考人臉影像。第四列為第三列通過SIFT FLOW演算法樣貌轉換為第二列的結果。第五列為第四列與第二列的誤差通過 OTUS APPROACH 演算法計算後的二元遮罩。	36
圖 三十八. 遮蔽圖計算。第一列為不同人臉的粒子。第二列為第一列根據第三列的平均特徵點校正後的結果。第三列為根據第一列粒子從訓練集中選出的參考人臉影像。第四列為第三列通過SIFT FLOW演算法樣貌轉換為第二列的結果。第五列為第四列與第二列的誤差通過 OTUS APPROACH 演算法計算後的二元遮罩。	37
圖 三十九. 遮蔽圖計算。第一列為不同人臉的粒子。第二列為第一列根據第三列的平均特徵點校正後的結果。第三列為根據第一列粒子從訓練集中選出的參考人臉影像。第四列為第三列通過SIFT FLOW演算法樣貌轉換為第二列的結果。第五列為第四列與第二列的誤差通過 OTUS APPROACH 演算法計算後的二元遮罩。	37
圖 四十. 訓練遮蔽與非遮蔽區域的關聯性。	38
圖 四十一. 遮蔽恢復。	38
圖 四十二. 遮蔽樣貌預估。( A )第一為測試樣本的隨機人臉粒子，第二為對應的粒子根據遮蔽圖MASK與選出的K個人學習的遮蔽回歸式恢復所得。第三列為對應的粒子根據共同遮蔽圖與整個資料庫學習的遮蔽回歸式恢復所得。	39
圖 四十三. 遮蔽樣貌預估。( A )第一為測試樣本的隨機人臉粒子，第二為對應的粒子根據遮蔽圖MASK與選出的K個人學習的遮蔽回歸式恢復所得。第三列為對應的粒子根據共同遮蔽圖與整個資料庫學習的遮蔽回歸式恢復所得。	39
圖 四十四. 遮蔽樣貌恢復到原圖上的結果。紅色人臉特徵點為第 T 次迭代的結果，綠色人臉特徵點為 T-1 次迭代的結果( A )為第一次迭代重要性前四的恢復樣貌在原圖上的結果。 ( B )為第 T 次迭代重要性前四的恢復樣貌在原圖上的結果。	40
圖 四十五. 遮蔽樣貌恢復到原圖上的結果。紅色人臉特徵點為第 T 次迭代的結果，綠色人臉特徵點為 T-1 次迭代的結果( A )為第一次迭代重要性前四的恢復樣貌在原圖上的結果。 ( B )為第 T 次迭代重要性前四的恢復樣貌在原圖上的結果。	41
圖 四十六. 迭代的收斂性的結果。( A )和( E )分別為平均的人臉範圍粒子在原影像上顯示，紅色為第T次迭代、綠色為第T+1次迭代和藍色為第T+2次迭代。( B )、( C )與( D )分別為第一至第三次迭代結果， ( F )、( G )與( H )分別為收斂前一至三次迭代結果。 ( B )、( C ) 、( D )與( F )、( G ) 、( H ) 第一列為根據人臉範圍粒子在原影像上擷取出來後的人臉的平均。第二列為根據K個擷取出來的人臉從資料庫中提取出相似的人的平均人臉。第三列為K個擷取出來的人臉恢復後的平均人臉。第四列為K個擷取出來的人臉與從資料庫中提取出相似的人計算出的共遮罩。	41
圖 四十七. 迭代的收斂性的結果。( A )和( E )分別為平均的人臉範圍粒子在原影像上顯示，紅色為第T次迭代、綠色為第T+1次迭代和藍色為第T+2次迭代。( B )、( C )與( D )分別為第一至第三次迭代結果， ( F )、( G )與( H )分別為收斂前一至三次迭代結果。 ( B )、( C ) 、( D )與( F )、( G ) 、( H ) 第一列為根據人臉範圍粒子在原影像上擷取出來後的人臉的平均。第二列為根據K個擷取出來的人臉從資料庫中提取出相似的人的平均人臉。第三列為K個擷取出來的人臉恢復後的平均人臉。第四列為K個擷取出來的人臉與從資料庫中提取出相似的人計算出的共遮罩。	42
圖 四十八. 迭代的收斂性的結果。 ( A )和( C )為第一至第三次迭代的平均結果， ( B )和( D )為收斂前一至三次迭代的平均結果。	42
圖 四十九. 產生遮蔽測試情況示意圖。	43
圖 五十. 人臉校正實驗設計示意圖。	43
圖 五十一. 人臉校正結果。非遮蔽原影像情況使用我們系統的識別器。藍色線為OPENCV人臉校正方法，橘色線為DLIB人臉校正方法，銀色線為我們系統迭代人臉校正方法，黃色線為我們系統根據人臉恢復結果進行人臉校正方法。縱軸為人臉識別率，橫軸為排序名次。	45
圖 五十二. 人臉校正結果。遮蔽人臉(上部1/3)區域情況使用我們系統的識別器。藍色線為OPENCV人臉校正方法，橘色線為DLIB人臉校正方法，銀色線為我們系統迭代人臉校正方法，黃色線為我們系統根據人臉恢復結果進行人臉校正方法。縱軸為人臉識別率，橫軸為排序名次。	45
圖 五十三. 人臉校正結果。遮蔽人臉(左部1/3)區域情況使用我們系統的識別器。藍色線為OPENCV人臉校正方法，橘色線為DLIB人臉校正方法，銀色線為我們系統迭代人臉校正方法，黃色線為我們系統根據人臉恢復結果進行人臉校正方法。縱軸為人臉識別率，橫軸為排序名次。	45
圖 五十四. 人臉校正結果。非遮蔽原影像情況使用VGG的識別器。藍色線為OPENCV人臉校正方法，橘色線為DLIB人臉校正方法，銀色線為我們系統迭代人臉校正方法，黃色線為我們系統根據人臉恢復結果進行人臉校正方法。縱軸為人臉識別率，橫軸為排序名次。	46
圖 五十五. 人臉校正結果。遮蔽人臉(上部1/3)情況使用VGG的識別器。藍色線為OPENCV人臉校正方法，橘色線為DLIB人臉校正方法，銀色線為我們系統迭代人臉校正方法，黃色線為我們系統根據人臉恢復結果進行人臉校正方法。縱軸為人臉識別率，橫軸為排序名次。	46
圖 五十六. 人臉校正結果。遮蔽人臉(左部1/3)情況使用VGG的識別器。藍色線為OPENCV人臉校正方法，橘色線為DLIB人臉校正方法，銀色線為我們系統迭代人臉校正方法，黃色線為我們系統根據人臉恢復結果進行人臉校正方法。縱軸為人臉識別率，橫軸為排序名次。	46
圖 五十七. 遮蔽恢復實驗設計示意圖。	47
圖 五十八. 遮蔽人臉(上部1/3)情況遮蔽恢復結果。	48
圖 五十九. 遮蔽人臉(左部1/3)情況遮蔽恢復結果。	48
圖 六十. 人臉恢復結果。遮蔽人臉(上部1/3)區域情況使用我們系統的識別器。藍色線為SEMANTIC INPAINTING遮蔽恢復方法，橘色線為我們系統的遮蔽恢復方法。縱軸為人臉識別率，橫軸為排序名次。	48
圖 六十一. 人臉恢復結果。遮蔽人臉(左部1/3)區域情況使用我們系統的識別器。藍色線為SEMANTIC INPAINTING遮蔽恢復方法，橘色線為我們系統的遮蔽恢復方法。縱軸為人臉識別率，橫軸為排序名次。	48
圖 六十二. AR資料庫太陽眼鏡情況的人臉識別結果。藍色線為OPENCV人臉校正方法，橘色線為DLIB人臉校正方法，銀色線為我們系統迭代人臉校正方法，黃色線為我們系統根據人臉恢復結果進行人臉校正方法。縱軸為人臉識別率，橫軸為排序名次。	50
圖 六十三. AR資料庫圍巾情況的人臉識別結果。藍色線為OPENCV人臉校正方法，橘色線為DLIB人臉校正方法，銀色線為我們系統迭代人臉校正方法，黃色線為我們系統根據人臉恢復結果進行人臉校正方法。縱軸為人臉識別率，橫軸為排序名次。	50
圖 六十四.AR資料庫校正結果比較。	50

[1]	W. Deng J. Hu J. Lu J. Guo "Transform-invariant PCA: A unified approach to fully automatic face alignment representation and recognition" IEEE Trans. Pattern Anal. Mach. Intell. vol. 36 no. 6 pp. 1275-1284 Jun. 2014.
[2]	P. Dollar, P. Welinder, and P. Perona. Cascaded pose regression. In ´ CVPR, 2010.
[3]	T. Hassner, S. Harel, E. Paz, and R. Enbar. Effective face frontalization in unconstrained images. Proc. Conf. Comput. Vision Pattern Recognition, 2015.
[4]	V. Jain and E. Learned-Miller. Online domain adaptation of a pre-trained cascade of classifiers. In Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on, 2011.
[5]	C. Liu J. Yuen A.B. Torralba J. Sivic W.T. Freeman "Sift flow: Dense Correspondence across Different Scenes" Proc. European Conf. Computer Vision no. 3 pp. 28-42 2008.
[6]	W. Li, Y. Huang, J. Peng "Automatic and robust head pose estimation by block energy map" Image Processing (ICIP) 2014 IEEE International Conference on. IEEE pp. 3357-3361 2014.
[7]	S. Ren, X. Cao, Y. Wei, and J. Sun. Face alignment at 3000 FPS via regressing local binary features. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 1685–1692. IEEE, 2014.
[8]	X. Shen, Z. Lin, J. Brandt, and Y. Wu. Detecting and aligning faces by image retrieval. In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2013.
[9]	X. Xiong and F. De la Torre Frade. Supervised descent method and its applications to face alignment. In Proc. CVPR, 2013.
[10]	H. Yang, X. He, X. Jia, I. Patras: Robust face alignment under occlusion via regional predictive power estimation. IEEE Trans. Image Process. 24(8), 2393–2403 (2015).