一種應(yīng)對殘缺人臉圖像的3D人臉識別方法

王申　和曉軍

【摘 要】3D人臉在采樣不完整時，很難對其標(biāo)定特征點(diǎn)，進(jìn)而直接影響識別正確率。本文針對這個問題提出了一種基于局部曲線特征的人臉識別方法。該方法首先計(jì)算了3D人臉在深度空間，曲率空間，和測地空間下的表示，采用SURF算法自動提取特征點(diǎn)，通過神經(jīng)網(wǎng)絡(luò)的方法分析特征點(diǎn)之間的連接線上的深度，曲率和測地信息來達(dá)到識別的目的。實(shí)驗(yàn)結(jié)果表明，這種自動識別特征點(diǎn)的方法相對于基于標(biāo)定的識別方法具有更強(qiáng)的魯棒性和更高的正確率。

【關(guān)鍵詞】3D人臉識別；局部曲線特征；SURF

【Abstract】Its difficult to find feature points in 3D facial meshes when there are missing parts on these face scans. This work proposes a new recognition method based on local feature curve. Firstly， we calculate the projections of 3D faces in depth， curvature and geodesic coordinate system， then apply SURF on these projections to find out feature points， finally， we use artificial neural network to analyze the curve between feature points and thus face scans are recognized. The result shows that the robustness and accuracy of our method is higher than the method based on landmark.

【Key words】3D face recognition； Local curve characteristics； SURF

近年來，3D人臉識別問題一直是模式識別領(lǐng)域的研究熱點(diǎn)。在實(shí)際應(yīng)用中，如果過分強(qiáng)調(diào)人臉采樣的完整性，那么相應(yīng)的，這種采樣方法對采樣者的侵犯性也就越大，應(yīng)用的范圍也更加局限。因此研究基于局部特征的3D人臉識別方法是非常有必要的。針對這個問題，徐等通過對到鼻尖點(diǎn)的等距線提取特征，來得到局部的特征描述符，對人臉的遮擋、噪聲和表情變化有較好的魯棒性[1]。王等使用Gabor變換直接抽取人臉的特征，把得出的人臉子模式進(jìn)行特征融合，提高了人臉識別的正確率和性能[2]。基于局部曲線特征的人臉識別算法普遍是通過在人臉上標(biāo)定特定點(diǎn)，進(jìn)而獲得人臉特征曲線，本文提出一種不依賴標(biāo)定的特征曲線方法，引用仿射無關(guān)的SURF方法和多模式下的人臉數(shù)據(jù)，來提高基于局部曲線特征的人臉識別算法的魯棒性。

1 人臉的預(yù)處理

3D人臉數(shù)據(jù)是以三維網(wǎng)格的形式存儲的，在對人臉進(jìn)一步的處理之前，先通過預(yù)處理保證人臉網(wǎng)格的質(zhì)量是非常有必要的。類似處理二維圖像的椒鹽噪點(diǎn)，本文將中值濾波應(yīng)用到三維網(wǎng)格，清理到采樣過程中存在的噪點(diǎn)；由于網(wǎng)格的結(jié)點(diǎn)一般遠(yuǎn)遠(yuǎn)多與實(shí)際需要，而過于繁多的邊和結(jié)點(diǎn)直接影響處理的復(fù)雜度，因此本文采用了頂點(diǎn)聚類方法，對網(wǎng)格進(jìn)行刪減。要計(jì)算3D人臉的投影，3D人臉的姿態(tài)直接關(guān)系到投影的正確性。因此本文使用鼻子區(qū)域作為參考點(diǎn)，計(jì)算鼻尖的法向量和鼻梁的向量，從而進(jìn)行姿態(tài)校正[3]。預(yù)處理部分的結(jié)果如圖1所示。

2 計(jì)算多模式人臉投影

本文提出的基于多模式局部曲線特征的人臉識別算法是通過分析人臉的深度、曲率和測地三種模式下人臉的信息得到的識別方法，因此在提取特征曲線之前，首先要計(jì)算這三種模式下的3D人臉投影。約定鼻尖點(diǎn)向人臉外側(cè)的法向量為Z軸正方向；由鼻尖沿鼻梁的方向?yàn)閅軸正方向；然后通過Y、Z軸確定X軸正方向。深度投影可以通過求3D人臉在Z軸上的投影得出；人臉的測地投影由人臉上的各個點(diǎn)到鼻尖點(diǎn)的在人臉表面上的最短路徑得出[4]；在人臉的曲率投影中，每一點(diǎn)的值為該點(diǎn)的高斯曲率值，我們可以由下式近似得出[5]。

K=（1）

其中m為該點(diǎn)的鄰接點(diǎn)個數(shù)；α為以該點(diǎn)為頂點(diǎn)和其相鄰兩鄰接點(diǎn)所成的角；A為這三個點(diǎn)所構(gòu)成的三角形的面積。對于四邊形網(wǎng)格可以依次連接該點(diǎn)的鄰接點(diǎn)來獲得三角形的面積，如圖2。

3 特征向量的計(jì)算

3.1 獲得特征曲線

多模式局部曲線特征向量由三個元素組成，分別為人臉在深度，曲率，測地三種模式下的特征曲線加權(quán)距離值，分別用Dd，Dc和Dg來表示。

深度模式下的人臉上的特征點(diǎn)由SURF獲得[6]。這種方法并不對特征點(diǎn)的位置和數(shù)量有任何假設(shè)，也不保證這些特征點(diǎn)是人臉上有特殊意義的部分（如眼窩、鼻尖、臉頰等），而是把這些也當(dāng)作人臉特征的一部分。對數(shù)據(jù)庫中每張人臉的每個網(wǎng)格圖像都使用SURF提取，兩兩配對，使用RANSAC剔除較大誤差。得到精確匹配的N個特征點(diǎn)如圖3（a）所示，在對這N個特征點(diǎn)兩兩配對，得到C2 N個特征點(diǎn)對，將特征點(diǎn)對在深度投影上用直線連接，得到C2 N條深度特征曲線。將這些特征點(diǎn)以鼻尖點(diǎn)PNOSE作為參考點(diǎn)平移到曲率圖像和測地圖像上，就得到了曲率和測地特征曲線如圖3（b）所示。

3.2 特征曲線對的距離計(jì)算

3.3 計(jì)算特征曲線的權(quán)值

在以標(biāo)定作為人臉的特征點(diǎn)定位方法中，通常會選擇眼角，鼻尖附近等有意義的點(diǎn)。在本文的方法中，雖然通過SURF和RANSAC自動尋找特征點(diǎn)，然而通過實(shí)驗(yàn)發(fā)現(xiàn)，大部分的特征點(diǎn)落在人臉上“有意義”的區(qū)域上，這間接的說明了，在使用以上步驟獲得的特征曲線對于匹配人臉來說應(yīng)該有不同的權(quán)值。

假設(shè)共有n張不同的人臉，用xi表示每張臉的ID，即xi∈（x1，x2，x3...xn）；用表示yi人臉xi上的特征曲線，則集合為yj∈（y1...y1，y2...y2...ym...ym）。如果把人臉I(yè)D看成隨機(jī)變量X，特征曲線看成隨機(jī)變量Y，那么通過某一條特征曲線判斷出人臉I(yè)D的概率可由香農(nóng)信息熵給出。

4 實(shí)驗(yàn)結(jié)果

4.1 使用神經(jīng)網(wǎng)絡(luò)預(yù)測

定義多模式下的人臉曲線的特征向量為（Dd，Dc，Dg），其中Dd為深度投影下人臉上的某一條特征曲線對的距離差值；Dc為該條特征曲線對對應(yīng)在曲率投影下的距離差值；Dg為該條特征曲線對對應(yīng)在測地投影下的距離差值。

在GavabDB中，每個人采集了9份不同姿態(tài)不同表情的人臉，隨機(jī)從中抽取一份用于驗(yàn)證，其他的八分人臉用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。對于采集到的同一個人的人臉樣本，抽取數(shù)對人臉，計(jì)算這兩張人臉之間特征曲線對的距離值，作為輸入給入神經(jīng)網(wǎng)絡(luò)中，并且將這張人臉的ID作為教師信號。經(jīng)過上面的步驟得到了訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)。在測試時，計(jì)算待測定人臉和數(shù)據(jù)庫人臉的之間的特征曲線對的距離差值，由于一張人臉有多條特征曲線，所以對于神經(jīng)網(wǎng)絡(luò)的輸出也可能有不止一種結(jié)果，那么得到輸出模式個數(shù)最多的則對應(yīng)該待測定的人臉的ID。

4.2 實(shí)驗(yàn)數(shù)據(jù)

4.3 實(shí)驗(yàn)數(shù)據(jù)分析

根據(jù)表1中數(shù)據(jù)，本文采用的基于多模式局部曲線特征的方法的正確率高于基于標(biāo)定的人臉識別算法，而且，相比基于標(biāo)定的算法，本文的方法在殘缺的人臉成像上也能獲得良好的效果。數(shù)據(jù)表明，本文使用的多種特征的方法相比于只使用單一特征的三種方法，識別正確率有明顯提高，說明綜合多種特征是有必要的。

5 結(jié)束語

本文分析了3D人臉的深度投影，曲率投影和測地投影，將局部曲線特征的方法應(yīng)用到這三種模式中。使用SURF和RANSAC提取特征點(diǎn)對。這使算法在人臉圖像殘缺的情況下也能穩(wěn)定運(yùn)行，保證了算法的魯棒性。應(yīng)用神經(jīng)網(wǎng)絡(luò)對得到的三個特征進(jìn)行回歸分析預(yù)測，提高了算法的正確率。

【參考文獻(xiàn)】

[1]徐俊，達(dá)飛鵬.一種基于局部描述符的三維人臉識別方法[J].模式識別與人工智能，2012，01：45-53.

[2]王科俊，鄒國鋒.基于子模式的Gabor特征融合的單樣本人臉識別[J].模式識別與人工智能，2013，01：50-56.

[3]孫圣鵬，宋明黎，卜佳俊，陳純.鼻子區(qū)域檢測與三維人臉姿態(tài)自動化校正[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，01：34-41.

[4]Gadacha W， Ghorbel F. 3D surfaces representation using geodesic computation and spectral analysis coupled approach： Application to 3D faces[C].Computer Applications Technology（ICCAT），2013 International Conference on. IEEE， 2013：1-5.

[5]G. Taubin.Estimating the tensor of curvature of a surface from a polyhedral approximation[C].Computer Vision，1995.

[6]S.Berretti.Selected sift features for 3D facial expression recognition[C].International Conference on Pattern Recognition. International Conference on Pattern Recognition，2010.

[責(zé)任編輯：王楠]