改進的三維人臉稠密對齊方法

陸 濤，譚曉陽

(南京航空航天大學計算機科學與技術學院，江蘇南京 210016)

目前對人臉圖像的研究已逐漸成熟。但姿態和光照仍是二維人臉研究的一個瓶頸問題。由于三維人臉能夠較好的解決姿態和光照問題，近年來三維人臉成為該領域的研究熱點。三維人臉形變模型由于其具有較好的真實感，自動化的特點，成為三維人臉研究中的一個重要方向。一個大規模的三維人臉數據庫，通過標準化人臉來建立人臉形變模型。三維形變模型具有豐富的人臉先驗知識，可將其應用到人臉的識別和重建中，而且可以方便地對三維人臉操作，實現三維人臉動畫。

目前對建立三維形變模型，已經提出了諸多方法。最常用的方法是由Besl和 McKay［1］提出的ICP(Iterative Closest Point)。通過迭代的方法尋找轉移矩陣，使對應點的歐式距離最短。因為所求的矩陣，是剛性形變，這種方法不適合三維人臉對齊。Blanz和Vetter［2］提出了流光法(Optical Flow)。其同時用到了人臉的形狀和膚色。而該方法在人臉數據相差大時，效果不好。胡永利等人［6］提出基于網格的人臉稠密對齊，其需要大量的手工操作，交互量較大。Mao［3］提出了一個半自動的人臉標準形變對齊方法。通過形變一張模板人臉來對齊數據庫中的每張三維人臉，間接地實現了人臉對齊。首先，在模板人臉上手工標定了5個特征點，運用TPS實現初步地對齊。然后形變模板人臉。后來，Tena等人［4］對這個方法進行了改進。在形變人臉時，采用了迭代的策略，但最后的評估標準單一，不具說服力。與其相似，Amberg［5］提出了 NICP(Nonrigid ICP)。該方法對模板人臉形變從全局形變開始，通過減小折衷因子，使得人臉形變從全局轉化為局部。但當人臉稠密時，能量函數較難處理。

在文中，根據非剛性迭代形變算法框架，提出迭代稠密三維人臉對齊算法。其中，為增加人臉匹配點的準確性，在Mao的能量函數，增加了一致性項。其次，針對文中使用BJUT－3D Face Data人臉數據集的不規整性，在局部尋找匹配點時，考慮點的局部法向量，曲率信息來剔除一些異常點，這對人臉的平滑性比較重要。最后，運用文中的迭代稠密對齊算法，在人臉數據庫上實驗，算法在人臉對齊精度和準確性上的提高，人臉對齊平均誤差降為0.3 mm。

1 基于特征點的人臉稠密對齊

為建立三維形變模型，就必需建立人臉稠密點對點對齊。文中用一張模板人臉形變到數據庫中的每一張人臉，模板形變后的三維人臉就建立了點對點對齊。算法大致分為3部分。第一，建立兩張三維人臉的全局對齊。第二，人臉的局部匹配點搜索。第三，通過最小化能量函數形變人臉。

1.1 全局對齊

不同人臉數據的差異性較大，故文中選取具有較好平滑性質的TPS，進行全局的對齊。具體算法參考文獻［6］。

1.2 搜索局部匹配點

對于模板人臉的每一點，Mao在半徑為10 mm球體中尋找相似性S最高的點，作為匹配點。沒有找到匹配點，則進行插值處理，具體算法見文獻［3］。

式中，S是個加權和;a，β，λ是權重值;D是匹配點間距;N表示點的法向量;C是點的曲率。

由于 Tena等人［4］說明。β=0，λ=0時，效果較好。文中按相似標準。但由于BJUT－3D Face Data人臉數據庫，三維成像時，圖像并不規整。個別處沒有掃描，部分區域也出現異常。為此，加入了一些改進。

(1)拒絕沒有較好成像地方的匹配點。

(2)匹配點，對應的法向量乘積小于等于特定值，文中取0.6。

(3)匹配點，平均曲率相差不超特定值，文中取0.5。

1.3 能量函數

對于三維人臉對齊，其實是對能量函數E最小化的過程。而形變的過程中，要找到語義上正確的匹配點，且需要保持匹配點間的誤差小。為增加匹配點間語義的正確性，文中在傳統的能量函數上增加一致性項，且保持原來能量函數的形式，沒有加大優化能量函數的難度。

Mao為了建立人臉間的密集對應關系提出了能量函數E，表示為:

為在實驗中看清楚匹配點對的正確性，筆者從人臉圖像中截取人臉眼睛進行單獨的實驗。圖1(a)是全局對齊后的模板人臉和輸入人臉眼睛的圖像。圖1(b)～圖1(d)是其的側面圖。結果發現單從模板人臉尋找最相似點，眼睛的上眼皮和下眼皮點對都有一定的誤差如圖1(c)所示。為此，加入一致性項，即相反地，對輸入人臉中每個點，在半徑為10 mm的球中尋找匹配點對。由圖1(d)可以看出，加入一致性項后，提高了點的語義匹配正確性。一致性項表述為

其中，Yi是Fscan中的第i個點表示在Fmod中與Yi最相似的點。新的能量函數為

圖1 人臉圖像截圖

1.4 迭代稠密對齊算法

由于人臉形變是非剛性形變，可以利用非剛性形變的迭代優化方法，來對齊輸入人臉和模板人臉。綜合全局，局部對齊和對能量函數的優化。形成了下面的迭代稠密對齊算法。

(1)使用TPS進行全局的大致對齊。模板人臉形變為 F0。

(2)對于每一個折衷項 ε，ε∈{α1，…，αn}，αi＞αi+1直到M(Fs，Fi)－ M(Fs，Fi－1的值小于閾值 θ時:1)尋找Fi－1與Fs的初始點匹配對。2)最小化能量函數E。其中，M(Fs，Fi)表示匹配點的對數。

算法開始時，折衷項ε值相對較大。因為開始只是大致對齊，很難找出真正正確的匹配點。所以，整體上靠近即可。慢慢地隨著的變小，能量函數趨于局部對齊。

2 實驗結果與分析

在BJUT－3D Face Data上進行實驗，為評估文中算法的性能，將從3個方面對算法實驗結果與標準形變算法對比，其中標準形變算法中的參數α，β，λ，取6組進行實驗。取其中最優的一組與本算法比較。

2.1 對齊算法的擬合精度

以BJUT－3D Face Data，實驗數據，用上述稠密對齊算法，對數據進行對齊，分析模板人臉與輸入人臉間的擬合誤差。誤差越小，說明模板人臉越能夠代表輸入人臉出現在人臉數據庫中。標準形變算法在β=0，λ=0結果最優，由表1可看出，文中算法在平均誤差，方差都有明顯地減少，僅在＜1 mm的百分比上略差。

表1 文中算法與標準形變算法的比較平均誤差

2.2 對齊算法的語義上精度比較

分別在輸入人臉和模板人臉，用手工取41個特征點如圖2所示，并保持特征點間的一一對應的語義關系。對于模板形變后的人臉，筆者認為根據其對應關系，理想情況下，形變人臉特征點與輸入人臉的特征點的歐式距離應該是零。所以認為特征點間的歐式距離是衡量形變算法的一個較好的標準。但由于手工標記，算法本身的誤差，會造成偏差。

圖2 特征點示意圖

圖2(a)是模板人臉及標定的特征點，(b)是輸入人臉的特征點。

下面對標準形變算法及文中算法對齊結果，計算對應點的歐式距離，如圖3所示，圖2(b)計算出來的對應點的平均距離為2 mm，而標準形變算法的結果都要約為3 mm。當α=0.4，β=0.3，λ=0.3時，效果最優，圖3(a)也說明本算法不僅對齊的精度高，且也保持了語義上的對齊關系。

圖3 算法結果

圖3(a)是標準形變算法的最優結果。圖3(b)是本文算法的結果。其中圓點表示對應點的平均誤差，線段表示平均誤差加上方差的結果。

3 結束語

根據非剛性迭代形變算法框架，提出迭代稠密三維人臉對齊算法。其中，為增加人臉匹配點的準確性，改進局部匹配點搜索策略和形變能量函數。通過BJUT－3D Face Data實驗證明，相比于標準形變算法，文中算法提高了三維人臉的對齊精度和準確性。

［1］BESL P J，MCKAY N D.A method for registration of 3 － D shapes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14(2):239 －256.

［2］BLANZ V，VETTER T.A morphable model for the synthesis of 3D faces［C］.In Proc.SIGGRAPH 99，1999:187 －194.

［3］MAO Z，SIEBERT P，COCKSHOTT P，et al.Constructing dense correspon dences to analyze 3D facial change［C］.In Proc.17th International Conference on Pattern Recognition，2004:144－148.

［4］TENA J R，HAMOUZ M，HILTON A，et al.A validated method for dense non － rigid 3D face registration［C］.In Proc.of IEEE Int.Conf.on Advanced Video and Signal Based Surveillance，2006:81 －86.

［5］AMBERG B，ROMDHANI S，VETTER T.Optimal step nonrigid ICP algorithms for surface registration［C］.Minnesota，USA:In IEEE Conference on Computer Vision and Pattern Recognition，IEEE Computer Society，2007:1 －8.

［6］HU Y L，YIN B C，GU C L，et al.3D face reconstruction based on the improved morphable model［J］.Chinese Journal of Computers，2005，28(10):1671 －1679.