一種基于高動態范圍（HDR）人臉圖片的室外光照估計算法

周林穎，邢冠宇

（1.四川大學計算機學院，成都610065；2.四川大學視覺合成圖形圖像技術國防重點學科實驗室，成都610065）

0 引言

近年來，增強現實技術及其應用飛速發展，為了實現增強現實光照一致性，室外場景的光照估計也取得了很多研究進展，但是對室外人臉的光照信息估計卻沒有太多的研究。當對人臉進行增強現實應用時，需要真實的人臉和虛擬元素有相同的光照，即光照一致性，才能使得用戶得到更加真實的體驗。在深度學習神經網絡的熱潮當中，由于傳統的安全手段如身份證和密碼等不夠可靠或不夠方便，因此人臉識別成為一個非常熱門并且快速發展的研究領域。人臉識別中，光照是影響人臉識別的重要因素之一，光照信息的提取可以用于消除光照對人臉識別引起負面影響，從而提高人臉識別的識別率和魯棒性。自從互聯網誕生以來，各種各樣的圖片變得更加容易獲取，而且隨著Pho?toshop等處理圖片的軟件的發展，人們可以輕易地對圖片進行各種處理，如修復、偽造、拼接等。對室外人臉的光照進行估計，可以應用到室外人臉防偽技術中，得到不同人臉的光照信息，從而判定不同的人臉是否是后期處理合成的。

針對以上幾方面的應用，室外光照估計有著重要的研究意義，因此本文將著重研究如何從室外人臉圖片進行光照估計。

1 相關工作

面部的光照估計主要集中在光照歸一化以改善面部識別。文獻[1]在1999年提出將環境光估計為人臉三維形變模型（3DMM）擬合成單幅人臉圖像中的一部分。此后，提出了幾種基于3DMM的方法[2-3]。這些方法的性能依賴于良好的面部3DMM。然而，現有的3DMM通常是在受控環境下拍攝人臉圖像，因此它們在戶外表情的表現力（特別是紋理模型）是有限的。文獻[4]提出了一種基于優化的方法來估計一般物體的形狀，反照率和光照。為了解決這樣一個欠約束的問題，他們的方法很大程度上依賴于和一般物體的形狀，反照率和光照等相關的先驗信息。雖然它們取得了很好的結果，但由于目標函數的非凸性，它們的方法很慢并且在某些情況下可能無法給出合理的結果。文獻[5]提出使用深度學習來解開關于臉部圖像的姿態、光照和身份的表示。作者僅展示了他們的方法在合成圖像上的有效性，但是并沒有說明這個方法是否可以應用于更加復雜的真實的人臉圖像，而且此方法的照明表示沒有物理意義，因此很難在其他應用中使用。文獻[6]使用球面諧波（SH）照明表示來重新照亮面部。文獻[7]通過馬爾可夫隨機場來處理比較極端的照明。雖然文獻[8]從單個圖像的眼睛估計照明條件，但是在這種情況下若圖像像素分辨率偏低，結果將會受到很大的影響。

相比之下，文獻[9]的方法可以估算出比較接近真實照明環境的室外光照，但是此算法是在LDR人臉圖像上進行光照的恢復，并且需要非常復雜的人臉反照率和天空的GMM（高斯混合模型）模型的先驗信息來保證能量方程優化的準確性。本文依照文獻[9]算法的思想，針對其LDR圖片信息的動態范圍的狹窄性和先驗信息的復雜性，本文提出一種基于HDR人臉圖片的室外光照估計算法，使用高動態范圍的HDR人臉圖片和簡潔有效的先驗信息，保證目標函數優化及參數求解的準確性。

2 算法實現

本文算法流程主要分為三個部分，如圖1所示。

圖1算法流程圖

第一部分LDR圖轉為HDR圖：將日常生活容易獲得的LDR圖通過反色調映射的方法轉化為信息豐富的HDR圖。

第二部分人臉光照模型建模：將人臉圖片進行三維建模，使用人臉三維形變模型（3DMM）獲得人臉的三維信息和幾何信息；對天空光進行建模，使用改進后的普利茲天空模型獲得天空的光照信息；對人臉的反射模型進行建模，使用朗伯體反射模型獲得人臉的參數模型著色信息。

第三部分能量方程優化：通過第二部分獲得的參數模型下的人臉著色信息，和真實人臉圖片中的著色信息相比較形成能量方程，并對能量方程進行優化求解得出光照參數。

2.1 LDR圖轉為HDR圖

我們常見的LDR圖片的動態范圍低，過曝和低曝部分的細節不能展現，所以用于光照估計的效果比較差，精讀比較低，因此本文的光照估計的方法是基于HDR人臉圖片的。然而在現實場景中，HDR圖片的獲得是有難度的，通常需要具備以下條件：①一組曝光不同的圖片；②用于校準的物體；③專用的相機設備進行拍攝等。與此相反，在日常生活中，LDR圖片的獲得是比較容易的，常見的消費者級別的設備（如手機相機、卡片數碼相機等設備）都可以輕易地獲得LDR圖片。因此本文采用基于跨雙邊濾波的反色調映射的方法[10]，將LDR圖片轉化為HDR圖片，增強圖片的明暗細節。處理前后的效果如圖2所示，為了能夠在文中展示，HDR圖是色調映射（Tone Mapping）后的結果。

圖2 LDR和HDR對比圖

2.2 人臉光照模型建模

人臉光照模型由三部分組成：人臉三維模型、天空光模型和人臉反射模型。

（1）人臉三維模型

由于計算人臉的光照信息需要人臉的三維幾何信息，因此本文使用一種現有的比較簡單的3DMM模型來獲得人臉的三維信息和幾何信息[11]。該方法通過在人臉上選擇68個特征點將二維的人臉進行三維建模。建模結果如圖3所示。

（2）天空光模型

本文將天空光作為一個面光源，因此需要對天空進行建模。大氣光學文獻中已經提出了幾種天空模型，其中許多模型已成功用于計算機視覺和圖形學應用。本文使用的是文獻[12]提出的一種較著名的模型：

圖3人臉建模結果

分布函數F則是經典的Perez天空模型：

其中的參數A、B、C、D、E是五個描述天空的參數。此模型對其進行改進，建立五個參數和濁度t之間的對應關系，簡化參數個數：

而此模型只能描述天空光亮度，若需描述天空光顏色則需要加上天空光平均顏色的三維權重wsky。因此天空部分的光照模型描述為：

雖然有許多模擬天空的模型，但是模擬太陽模型的模型卻比較少。太陽通常被表示為一個恒定強度的固定大小的圓盤[12]。雖然這可能適用于晴空，這并不能很好地推廣到更復雜的情況，（例如有云的情況）。在這里，本文采用文獻[13]中引入的一個新的經驗模型，它將太陽建模為：

其中，k為太陽散射因子（8≤k≤8192）；ω為采樣光照方向；wsun為一個三維的權重，是太陽光平均顏色。

因此，最后的天空光模型描述為一個10維參數的模型：

該模型的參數向量為：x=[ωsunwsunwskyt k]，是一個10維的向量。

（3）人臉反射模型

在本文中，將人臉視為朗伯體，對其的反射模型采用朗伯體反射模型：

其中：p為人臉上的采樣點；np為p點的法向量；ρ(p)為p點的反照率；λ為RGB三個顏色通道中的一個；?,?為點積；ω為在球面Ω上的一個光照方向；lλ(ω)是一個理想的光照函數，在本文中則為上文中的天空光模型式（7）；V( p,ω)表示朗伯體表面的點p在方向ω上的可見性，取值為0或者1。

為了計算方便，將該反射模型離散化，用向量表示光照和反照率：Lλ=[lλ( ω1)…lλ( ωn)]T∈Rn，ρλ∈RN，其中n為光方向的個數，N為人臉采樣像素的個數。因此可以將式（8）重寫為：

2.3 能量方程優化求解

我們將人臉真實著色信息設為s*，通過和上文式（9）得到的人臉參數模型的著色信息進行對比，本文將光照估計的問題轉化求下面帶約束非線性最小二乘問題的解：

對于帶約束的非線性問題的求解一直以來都是比較困難的，主要有以下幾個難點：①由于目標函數的非凸性，因此對初值的選取非常敏感，參數求解容易落到局部最優解而不是全局最優解；②由于目標函數帶約束，因此需要尋找可解決帶約束問題的求解方法；③有效的先驗信息可以大大提高解的準確性，因此簡介高效的先驗信息的選取也是一個難點。

針對難點①，本文采用多次選取初值的方法。因為非線性最小二乘問題對初值非常敏感，所以本文在初值的取值范圍內對某些參數均勻地選取了若干個初值（一般在5個左右），分別求取每個初值的解，并對這些解進行綜合比較，選擇其中能量方程值最小的解作為我們的最優解。該方法能在一定程度上避免解落到局部最優解的情況。

針對難點②，本文采用基于文獻[14]和[15]中描述的內部反射牛頓算法的信賴域反射算法（Trust-Re?gion-Reflective）。該算法是一個子空間信賴域算法，每次迭代都涉及使用預處理共軛梯度（PCG）方法的大型線性系統的近似解。信賴域算法是求解非線性最優化問題的一類有效算法，此類算法的基本思想是利用目標函數在某一點的信息構造一個二次模型，使其在此點附近與目標函數有好的近似，然后根據該二次模型的最小值點來產生下一迭代點，并視二次模型與目標函數的近似程度來調整信賴域半徑的大小，由于信賴域方法具有很強的收斂性和穩定性，顧而受到許多研究者的青睞。而信賴域反射算法則在信賴域算法的基礎上，結合內部反射牛頓算法，根據反射機制來對下一迭代點的步長進行更新。這種算法主要針對的是非線性的邊界約束的最小化問題，能有效地處理帶約束的問題。

針對難點③，文獻[9]中采用的先驗信息是對一個5000多張天空圖片的數據集使用GMM（高斯混合模型）進行聚類，然后用聚類后的負對數似然函數獲得先驗信息。該方法復雜繁瑣且計算量極大。本文則采用更加簡潔有效的顏色先驗信息。因為天空通常都是偏藍色或灰白色，基于此先驗，本文在10張不同的片中進行采樣后發現天空光平均顏色wsky三通道之間關系為：R≤G≤B。因此本文將wsky的三個參數由另外三個非負參數a,b,c表達為下面的形式：

3 實驗結果

本文算法通過與文獻[9]算法的對比結果如圖4所示：（a）為輸入的人臉圖片，這里展現的是本文采用的HDR的人臉圖片；（b）為人臉當時所處的真實的室外光照；（c）為文獻[9]算法的實驗結果，直接從其論文中的實驗結果中獲得的圖片；（d）為本文的實驗結果。

圖4實驗結果對比

通過圖4中本文和文獻[9]的結果進行對比可以看出，本文的結果天空光顏色估計得更加精確，太陽的位置也估計得更加精確。

4 結語

本文提出一種基于HDR人臉圖片的室外光照估計算法，首先對人臉進行三維建模后，對天空光模型和人臉反射模型進行建模，最后對形成的能量方程進行優化求解來獲得估計的光照的參數。本文使用高動態范圍的HDR人臉圖片和簡潔有效的先驗信息，保證目標函數優化及參數求解的準確性。實驗結果證明本文算法的有效性和準確性。但是該算法的優化求解中需要大量的矩陣運算和求導計算，計算量大，需要的處理時間久，如何提高該算法的效率將是接下來要解決的重要問題。