本文提出了一種以樣本學習為依據的人臉遮蔽區域填補技術，填補遮蔽區域下的多樣人臉樣貌。事實上，對於人臉區域的配對，應該是具有多樣性，如一個人帶圍巾，我們無法知道在遮蔽區域其嘴巴樣貌或是人臉形狀為何。例如是男性的話，遮蔽區域是否有鬍鬚。在本文中，我們提出了一種新的人臉影像修復方法，通過訓練可觀察的外觀產生缺失的人臉外觀。我們使用事先訓練好的人臉VAE(Variational Autoencoder)架構，這個架構包含編碼器與解碼器。一般來說，在沒有變異的情況下人臉影像會重建相似的人臉影像。在此要特別提起的是，我們試著尋找可能的VAE編碼向量集合在當前含有遮蔽資訊的輸入影像，並且所預測的編碼應該對修補的區域是穩定的。然後通過VAE架構的解碼器恢復可能的人臉外觀組合。實驗說明，我們的方法成功地預測了大範圍缺失區域的修復結果; 結果能生成各種人臉，並且這些可觀察的人臉區域都是一致且合理的，即是，保持人臉幾何形狀和個人特徵。

This paper proposed a learning-based approach to reveal diversity possible appearances under the missing area of an occluded unseen image. In general, there are a lot of possible facial appearances for the missing area; for example, a male with a scarf, it is difficult to predict he has a beard in the covered area or not? In this paper, we propose a novel method for facial image inpainting, which generates the missing facial appearance by conditioning on the observable appearance. Given a trained standard Variational Autoencoder (VAE) for un-occluded face generation. To be specified, we search for the possible set of VAE coding vector for the current occluded input image, and the predicted coding should be robust to the missing area. The possible facial appearance set is then recovered through the decoder of VAE model. Experiments show that our method successfully predicts recovered results in large missing regions; these results are diverse, and all are reasonable to be consistent with the observable facial area, i.e., both the facial geometry and the personal characteristics are preserved.

目錄
第一章 緒論	1
1.1 研究目的與動機	1
1.2 相關研究	3
第二章 人臉修復系統架構	5
2.1 系統架構	5
2.2 人臉修復系統損失函數	6
2.3 人臉修復系統流程	8
第三章 實驗結果	16
3.1 系統實驗設定	16
3.2 影像修復效果之分析	17
3.3 資料庫影像辨識之效果	21
第四章 結論	25
參考文獻	26
附錄:英文論文	27

圖目錄
圖 1提出的修復架構	3
圖 2人臉區域影響比例	7
圖 3訓練樣本配對結果：（a）被遮蔽的測試輸入; （b）基於（a）的長度C編碼向量元素挑選的訓練樣本; （c）基於（a）的長度Ｃ'編碼向量元素挑選的訓練樣本; （d）相對應的真實影像。	9
圖 4影像擴充結果：（a）原始影像；（b）相對應的擴充影像	11
圖 5擴充影像分布圖	11
圖 6解碼結果的示例：（a）被遮蔽的測試輸入; （b）基於（a）VAE編碼器和解碼器處理的結果; （c）配對的參考影像; （d）基於（c）中的配對參考影像的使用公式（4）的解碼結果; （e）以與（d）類似的方式產生的解碼結果，但是具有配對的參考影像的擴充影像。 （f）相對應的真實影像。	12
圖 7影像修復結果：（a）被遮蔽的測試輸入；（b）基於（a）的使用C.重建方法t=1迭代結果；（c）基於（a）的使用C.重建方法t=2迭代結果；（d）相對應的真實影像。	14
圖 8影像修復結果：（a）被遮蔽的測試輸入；（b）基於（a）的使用C.重建方法t=20迭代結果；（c）基於（b）的與真實影像使用poisson blending結果；（d）相對應的真實影像。	15
圖 9本文的VAE架構，分為編碼器與解碼器；編碼器部分共8層，包含了輸入層、編碼卷積層與編碼全連接層，卷積層過程均以前一層的1/2倍的長寬進行編碼，最後達到8*8*2的時候進行全連接層的編碼；解碼器共6層，包含了解碼卷積層與輸出層，卷積層過程均以前一層的2倍的長寬進行解碼並解碼成輸入時的影像大小	17
圖 10修復結果：（a）遮蔽測試輸入; （b）提出方法的評估結果（在Poisson blending處理後）; （c）由標準VAE產生的用於去雜訊的結果（在通過Poisson blending處理之後）。 （d）相對應的正確答案。	18
圖 11修復結果：（a）遮蔽測試輸入; （b）提出方法的評估結果（在Poisson blending處理後）; （c）由標準VAE產生的用於去雜訊的結果（在通過Poisson blending處理之後）。 （d）相對應的正確答案。	19
圖 12修復結果：（a）遮蔽測試輸入; （b）提出方法的評估結果（在Poisson blending處理後）; （c）由標準VAE產生的用於去雜訊的結果（在通過Poisson blending處理之後）。 （d）相對應的正確答案。	20
圖 13未校正訓練影像	21
圖 14未校正測試影像	22
圖 15網路名人影像修復結果：（a）遮蔽測試輸入; （b）提出方法的評估結果（在Poisson blending處理後）; （c）由標準VAE產生的用於去雜訊的結果（在通過Poisson blending處理之後）。 （d）相對應的正確答案。	24

表格目錄
表格 1 SSIM/PSNR PERFORAMCE FOR THREE OCCLUSION CASES (WITHOUT POST-PROCESSING)	23

[1]	R.A. Yeh, C. Chen, T. Yian Lim, A.G. Schwing, M. Hasegawa-Johnson, M.N. Do, "Semantic image inpainting with deep generative models, " CVPR, 2017, pp. 6882-6890.
[2]	R Gao and K. Grauman, “On-demand learning for deep image restoration," ICCV, 2017, pp. 1086-1095.
[3]	F. Zhao, J. Feng, J. Zhao, W. Yang, and S. Yan, “Robust lstm-autoencoders for face de-occlusion in the wild,” IEEE Transactions on Image Processing, 2018, pp.778-790
[4]	D. Pathak, P. Krahenbuhl, J. Donahue, T. Darrell, and A.A. Efros, “Context encoders: feature learning by inpainting,” IEEE conference on computer vision and pattern, 2016, pp. 2536–2544.
[5]	G. Liu, F. A. Reda, K. J. Shih, T.-C. Wang, A. Tao, and B. Catanzaro, “Image inpainting for irregular holes using partial convolutions”, ECCV, 2018, pp. 89-105.
[6]	Y. Li, S. Liu, J. Yang, and M.-H. Yang, “Generative Face Completion,” CVPR 2017, pp.5892-5900