在本篇研究中，我們提出一個人臉影像上的重建系統，給予系統一張測試影像，系統將會自動改變測試影像的光照條件。這個系統是困難的；因為光影分佈於人臉影像上的分佈區域與光源位置和被照射人臉三維幾何有關。為了解決這個問題，我們引用以學習為依據的方法，用訓練樣本影像來建立兩個光照條件之間的樣貌相關性。這樣的學習轉換式可以將人臉影像的光線分佈由輸入照明條一個條件(style Y)上。首先，本文方法利用Adaboost演算法分別建立分類器擷取光線和個人特徵的具鑑別性區域特徵，這些具鑑別特徵是揭露這兩個照明條件的主要光線與人臉特徵變異區域。這些鑑別性區域特徵進一步被用來幫助影像生成(光線生成過程），本文用的生成過程為馬爾可夫隨機場（MRF）方法。根據實驗結果來看，在MRF模型中使用了鑑別性區域特徵，能使得結果保留了系統輸入的個人特徵。

Abstract:
In this study, we propose a system to relight face image. Given a test image, the system will automatically change its light condition. Such system is difficult since the dark and lighting areas of a particular lighting condition are highly depended on the lighting source position and the facial 3D geometry of the input subjet. To solve this problem, we introduce a learning-based approach to establish the appearance correlation between two lighting conditions in order to transform the lighting condition from the input lighting condition (style X) to another condition (style Y). First of all, the discriminative facial features of lighting and personal characteristics are selected, respectively, for verifying these two lighting conditions. The selection process is processed by Adaboost algorithm; these discriminative features are then used for guiding the relighting process (light reconstruction process). Such reconstruction process is based on the Markov random field (MRF) approach. According to the experimental results, the proposed system, where the discriminative features are integrated in the MRF graph model, makes the synthesis results preserve the personal characteristics of system input.

目錄

第一章	緒論	1
1.1	研究動機與目的	1
第二章　相關文獻回顧	3
第三章　研究方法	5
3.1　人臉影像訊號的拆解	7
3.2　系統架構	10
3.2.1	光線生成	10
3.2.2	紋理生成	12
3.3　識別器--鑑別性分類器學習	14
3.3.1 分類器演算法架構	14
3.3.2 產生Feature map 和 Code	26
3.4 生成器--生成基底影像與增益量	30
3.4.1 產生光線基底影像與增益量	34
3.4.2 產生紋理基底影像與增益量	47
3.5 合併光線與紋理影像	57
第四章　實驗結果	60
第五章 結論	75
參考文獻	76
附錄:英文論文	77
 
圖目錄

圖 1 (a)挑出資料庫Extended Yale B的某一人當作範例，顯示資料庫中同一人有不同角度光源的人臉肖像;(b)正面光源(光源角度編號+000e+00)的人臉影像;(c)左側光(光源角度編號+050e+00)的人臉影像(d)右下光源(光源角度編號-020e-40)	6
圖 2 人臉影像和紋理、光線影像的比較。(a)正面光(+050e+00)(b)左側光(+050e+00)(c)右下方光(-020e-40)。	9
圖 3 系統架構	11
圖 4 (a)由上而下依序為style X的人臉影像、光線影像和紋理影像。(b)由上而下依序為style Y的人臉影像、光線影像和紋理影像。	15
圖 5 光線識別器生成架構。	18
圖 6 正面光(+000e+00)轉換為側面光(+050e+00)之光線識別器的弱分類器對訓練樣本的分類結果，第一排由上到下為前三個挑出來的弱識別器;第二排由上到下為後三個(T,T-1,T-2)挑出來的弱識別器。紅點為前三個弱識別器的特徵區塊，白點為後三個的。	19
圖 7 側面光(+050e+00)轉換為正面光(+000e+00)之光線識別器的弱分類器對訓練樣本的分類結果，第一排由上到下為前三個挑出來的弱識別器;第二排由上到下為後三個(T,T-1,T-2)挑出來的弱識別器。紅點為前三個弱識別器的特徵區塊，白點為後三個的。	20
圖 8 (a)影像的紅點為不同趴數正面光(+000e+00)轉換為左側光(+050e+00)的光線識別器特徵對應區域位置，底圖為正面光樣本平均光線影像;(b)為左側光(+050e+00)轉換到正面光(+000e+00);(c)正面光轉換為右下方光(-020e-40); (d)轉右下方光(-020e-40)換為正面光	21
圖 9 紋理識別器生成架構	23
圖 10 (a)影像的紅點為不同趴數正面光(+000e+00)轉換為左側光(+050e+00)的紋理識別器特徵對應區域位置，底圖為正面光樣本平均光線影像;(b)為左側光(+050e+00)轉換到正面光(+000e+00);(c)正面光轉換為右下方光(-020e-40); (d)轉右下方光(-020e-40)換為正面光。	24
圖 11 正面光(+000e+00)轉換為側面光(+050e+00)之紋理識別器的弱分類器對訓練樣本的分類結果，第一排由上到下為前三個挑出來的弱識別器;第二排由上到下為後三個(T,T-1,T-2)挑出來的弱識別器。紅點為前三個弱識別器的特徵區塊，白點為後三個。	25
圖 12 側面光(+050e+00)轉換為正面光(+000e+00)之紋理識別器的弱分類器對訓練樣本的分類結果，第一排由上到下為前三個挑出來的弱識別器;第二排由上到下為後三個(T,T-1,T-2)挑出來的弱識別器。紅點為前三個弱識別器的特徵區塊，白點為後三個。	26
圖 13 樣本對不同覆蓋率趴數的識別器編碼視覺化呈現於人臉上面的樣子。 (a)光線影像編碼比較(b)紋理影像編碼比較。最左排為範例，左三排為編碼與範例相似的樣本，右三排為差異大的樣本，由上而下依序為20%、40%、60%。第一、三、五列為人臉灰階影像，第二、四、六列為編碼視覺化的樣子。	29
圖 14 (a)正面光風格的光線影像轉換到左側光風格的光線增益量訓練樣本(b)正面光風格轉右下方光風格的光線增益量訓練樣本	31
圖 15 (a)由上而下每一列依序為資料庫光線樣本正面光線(+000e+00)、資料庫樣本左側光(+050e+00)、正面光轉換成左側光l=2、正面光轉換成左側光l=5; (b)由上而下每一列依序為資料庫紋理樣本正面光線(+000e+00)、資料庫樣本左側光(+050e+00)、正面光轉換成右側光l=2、正面光轉換成右側光l=5。	32
圖 16 本文提出之光線基底影像生成器的MRF架構	37
圖 17 資料庫style X的光線影像於公式(9)中搭配不同標準差倍率與亂度的關係曲線圖。	38
圖 18 ηL在不同倍率下，資料庫樣本{LXn}n=1~32彼此區塊間於公式(9)得結果;縱軸由上到下為1~32編號的樣本，橫軸左到右為1~32編號的樣本，矩陣數值為倆樣本間的所有區塊代入公式(9) 計算後取平均。	38
圖 19 資料庫style Y的光線影像於公式(10)中搭配不同標準差倍率與亂度的關係曲線圖。	39
圖 20 ηdL在不同倍率下，資料庫樣本{LYn}n=1~32彼此區塊重疊區域於公式(10)的結果;縱軸由上到下為1~32編號的樣本，橫軸左到右為1~32編號的樣本，矩陣數值為倆樣本間的所有區塊重疊區域代入公式(10)計算後取平均。	39
圖 21 光線基底影像比較。(a)測試人臉影像(b)參考影像(c)測試人臉影像的光線(d)參考影像的光線(e)參考光線影像的基底影像(f)本文方法---未設固定點(g)本文方法---固定點篩選過(h)編碼視覺化(i)本文方法---固定點未篩選過。	40
圖 22 資料庫的光線增益量於公式(10)中搭配不同標準差倍率與亂度的關係曲線圖。	42
圖 23 ηdLG在不同倍率下，資料庫樣本{GLn}n=1~32彼此區塊重疊區域於公式(10)的結果;縱軸由上到下為1~32編號的樣本，橫軸左到右為1~32編號的樣本，矩陣數值為倆樣本間的所有區塊重疊區域代入公式(10)計算後取平均。	42
圖 24 光線增益量比較。(a)測試人臉影像(b)參考影像(c)測試光線影像轉換到參考光線影像的光線增益量(d)本文方法---未設固定點(e)本文方法---固定點篩選過(f)光線影像的編碼視覺化(g)本文方法---固定點未篩選過	43
圖 25 轉換式示意圖	44
圖 26 整合基底與增益量的光線影像比較，正面光(+000e+00)轉左側光(+050e+00)。(a)測試人臉影像(b)參考影像(c)測試光線影像轉換到參考光線影像的結果(d)本文方法---基底和增益量生成器未設固定點(e)本文方法---基底和增益量生成器的固定點挑選過(f)本文方法---基底和增益量生成器的固定點未篩選過(g)本文最後採用方法---光線基底影像生成器未設固定點、增益量生成器的固定點篩選過。	45
圖 27 整合基底與增益量的光線影像比較，左側光(+050e+00)轉到正面光(+000e+00)。(a)測試人臉影像(b)參考影像(c)測試光線影像轉換到參考光線影像的結果(d)本文方法---基底和增益量生成器未設固定點(e)本文方法---基底和增益量生成器的固定點挑選過(f)本文方法---基底和增益量生成器的固定點未篩選過(g)本文最後採用方法---光線基底影像生成器未設固定點、增益量生成器的固定點篩選過。	46
圖 28紋理生成器架構	48
圖 29 資料庫style X的紋理影像於公式(9)中搭配不同標準差倍率與亂度的關係曲線圖。	49
圖 30 ηd在不同倍率下，資料庫樣本{DXn}n=1~32彼此區塊間於公式(9)得結果;縱軸由上到下為1~32編號的樣本，橫軸左到右為1~32編號的樣本，矩陣數值為倆樣本間的所有區塊代入公式(9) 計算後取平均。	49
圖 31 資料庫style Y的紋理影像於公式(10)中搭配不同標準差倍率與亂度的關係曲線圖。	50
圖 32 ηdD在不同倍率下，資料庫樣本{DYn}n=1~32彼此區塊重疊區域於公式(10)的結果;縱軸由上到下為1~32編號的樣本，橫軸左到右為1~32編號的樣本，矩陣數值為倆樣本間的所有區塊重疊區域代入公式(10)計算後取平均。	50
圖 33 紋理基底影像比較。(a)測試人臉影像(b)參考影像(來自於資料庫)(c)測試人臉影像的紋理(d)參考影像的紋理(e)參考紋理影像的基底(f)本文方法---未設固定點(g)本文方法---固定點篩選過(h)資料庫中被選為與測試影像搭配做識別的區塊(i)編碼視覺化(j)本文方法---固定點未篩選過且固定點候選者都為測試紋理影像。	51
圖 34 資料庫的紋理增益量於公式(10)中搭配不同標準差倍率與亂度的關係曲線圖。	53
圖 35 ηDG在不同倍率下，資料庫樣本{GDn}n=1~32彼此區塊重疊區域於公式(10)的結果;縱軸由上到下為1~32編號的樣本，橫軸左到右為1~32編號的樣本，矩陣數值為倆樣本間的所有區塊重疊區域代入公式(10)計算後取平均。	53
圖 36 紋理增益量比較。(a)測試人臉影像(b)參考影像(c)測試紋理影像轉換到參考紋理影像的紋理增益量(d)本文方法---未設固定點(e)本文方法---固定點篩選過(f)紋理影像的編碼視覺化(g)本文方法--固定點未篩選過。	54
圖 37 整合基底與增益量的紋理影像結果比較，正面光(+000e+00)轉左側光(+050e+00)。(a)測試人臉影像(b)參考影像(c)測試紋理影像轉換到參考紋理影像的結果(d)本文方法---基底與增益量生成器未設固定點(e)本文方法---基底與增益量生成器的固定點篩選過(f)本文方法---基底與增益量生成器的固定點未篩選過。	55
圖 38 整合基底與增益量的紋理影像結果比較，左側光(+050e+00)轉正面光(+000e+00)。(a)測試人臉影像(b)參考影像(c)測試紋理影像轉換到參考紋理影像的結果(d)本文方法---基底與增益量生成器未設固定點(e)本文方法---基底與增益量生成器的固定點篩選過(f)本文方法---基底與增益量生成器的固定點未篩選過	56
圖 39 人臉影像比較，正面光(+000e+00)轉左側光(+050e+00)。(a)測試人臉影像(b)參考影像(c)測試影像與參考影像的光線和紋理分別轉換後合併的人臉影像(d)本文方法---紋理與光線影像生成器的MRF架構未設固定點(e)本文方法---紋理與光線影像生成器的MRF架構固定點篩選過(f)本文方法---紋理與光線影像生成器的MRF架構固定點未篩選過(g)本文最後採用方法。	58
圖 40 人臉影像比較，左側光(+050e+00)轉正面光(+000e+00)。(a)測試人臉影像(b)參考影像(c)測試影像與參考影像的光線和紋理分別轉換後合併的人臉影像(d)本文方法---紋理與光線影像生成器的MRF架構未設固定點(e)本文方法---紋理與光線影像生成器的MRF架構固定點篩選過(f)本文方法---紋理與光線影像生成器的MRF架構固定點未篩選過(g)本文最後採用方法。	59
圖 41 Yale B測試正面光人臉影像轉到不同光線風格上的結果，(a) 左光20度+俯角10度(+020e+10)(b) 右光20度+仰角40度(-020e-40)(c) 右光35度+俯角15度(-035e+15)(d) 左光35度+俯角15度(-035e+15)	62
圖 42 Yale B測試正面光人臉影像轉到不同光線風格上的結果，(a) 左光35度+仰角20度(+035e-20)(b) 右光35度+仰角20度(-035e-20)(c) 左側光50度(+50e+00)(d) 左光60度+仰角20度(+60e-20)	63
圖 43不同光線風格測試影像轉到正面光人臉影像上的結果，(a) 左光35度+仰角20度(+035e-20)(b) 右光35度+仰角20度(-035e-20)(c) 左側光50度(+50e+00)(d) 左光60度+仰角20度(+60e-20)	64
圖 44不同光線風格測試影像轉到正面光人臉影像上的結果，(a) 左光35度+仰角20度(+035e-20)(b) 右光35度+仰角20度(-035e-20)(c) 左側光50度(+50e+00)(d) 左光60度+仰角20度(+60e-20)	65
圖 45 用於比較的光線及其對應編號，依序為+020e+10、-020e-40、-035e+15、-035e+15、+035e-20、-035e-20、+50e+00、+60e-20。	66
圖 46 本文三種方法的轉換結果的PSNR及SSIM統計圖(a)正面光轉到其他光線結果計算的PSNR統計圖 (b) 其他光線轉到正面光結果計算的PSNR統計圖(c) 正面光轉到其他光線結果計算的SSIM統計圖(d) 其他光線轉到正面光結果計算的SSIM統計圖(e)三種方法合成結果圖(-020e-40)	67
圖 47 本文與其他方法的轉換結果的PSNR及SSIM統計圖(a)正面光轉到其他光線結果計算的PSNR統計圖 (b) 其他光線轉到正面光結果計算的PSNR統計圖(c) 正面光轉到其他光線結果計算的SSIM統計圖(d) 其他光線轉到正面光結果計算的SSIM統計圖	68
圖 48 本文方法與2DDCM的轉換結果比較(a)正面人臉影像(b)於Database中右下方光風格的人臉影像(c)藉由本文方法將正面人臉影像轉換到右下方光(-020e-40)人臉影像的結果(d) 藉由2DDCM將正面人臉影像回歸出的右下方光(-020e-40)人臉影像的結果(e)藉由本文方法將右下方光(-020e-40)人臉影像轉換到正面人臉影像的結果(f)藉由2DDCM將右下方光(-020e-40)人臉影像回歸出的正面人臉影像的結果。	69
圖 49 正面光影像經本文轉換結果與參考答案藉ISO投影至同一空間。	70
圖 50不同光線風格影像轉換成正面光風格的結果，並與參考答案一同投影到ISO map空間)。	71
圖 51 以訓練好的Yale B資料庫作用在CMU測試正面光影像，輸入CMU測試正面光影像人臉影像，分別轉換到八種光線風格上，每個風格對應的圖45的編號，(a)為轉換到光源編號1~8號的轉換結果(b)CMU測試影像的紋理視覺編碼圖(c)CMU測試影像的光線視覺編碼圖。	72
圖 52 每一組左邊圖為有變異情況下的影像，右邊圖為正常情況下的影像，兩張圖一同轉換到同一光線風格進行比較(a)校正錯誤測試影像轉換到(-035e-20)光源的結果(b)低解析影像轉換到(+050e+00)光源的結果(c)側面姿勢測試影像轉換到(-035e-20)光源的結果(d)有表情的測試影像轉換到(-035e-20)光源的結果。	73
圖 53 本文方法與其他方法的辨識率比較。	74

[1]	Y. Shih, S. Paris, C. Barnes, W. T. Freeman and F. Durand., “Style transfer for headshot portraits,” ACM Trans. Graph. 33(4), pp. 148:1-148:14, 2014.
[2]	Y. Wang, L. Zhang, Z. Liu, G. Hua, Z. Wen, Z. Zhang and D. Samaras, “Face relighting from a single image under arbitrary unknown lighting conditions,” IEEE Trans. Pattern Anal. Mach. Intell. 31(11), pp. 1968-1984, 2009.
[3]	X. Chen, H. Wu, X. Jin and Q. Zhao, “Face illumination manipulation using a single reference image by adaptive layer decomposition,” IEEE Transactions on Image Processing 22(11), pp. 4249-4259, 2013.
[4]	X. Xie, W. S. Zheng, J. Lai, P. C. Yuen and C. Y. Suen, “Normalization of face illumination based on large-and small-scale features,” IEEE Transactions on Image Processing 20(7), pp. 1807-1821, 2011.
[5]	X. Geng, K. Smith-Miles, Z. H. Zhou, and L. Wang, “Face image modelling by multilinear subspace analysis with missing values,” IEEE Transactions on System, Man, and Cybernetics, Part B (TSMC-B), 41(3), pp.881-892, 2011.
[6]	X. Chen, X. Jin, H. Wu and Q. Zhao, “Learning templates for artistic portrait lighting analysis,” IEEE Transactions on Image Processing 24(2), pp. 608-618, 2015.
[7]	A. Georghiades, P. Belhumeur, and D. Kriegman, “From few to many: Illumination cone models for face recognition under variable lighting and pose,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 23, no. 6, pp. 643–660, Jun. 2001.
[8]	T. Sim, S. Baker, and M. Bsat, “The CMU pose, illumination, and expression (PIE) database,” in Proc. Conf. Autom. Face Gesture Recognit., 2002, pp. 53–58.
[9]	W. Zhou, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: From error visibility to structural similarity,” IEEE Trans. Image Process., vol. 13, no. 4, pp. 600–612, Apr. 20