三維人臉姿態校正研究

王金偉 戴飛銘

摘 要：提出一種鼻尖點提取方法：根據鼻尖點在人臉上的對稱性，提取人臉對稱軸上的特征點，并構建人臉的對稱平面，對稱平面與人臉網格的交線為人臉的中心側影線，依據中心側影線，提取鼻尖點。根據鼻尖點法向量、人臉對稱平面法向量以及鼻尖點和鼻基點之間的方向向量進行姿態校正。該方法計算量小、魯棒性強。

關鍵詞：鼻尖點 人臉區域分割 三維人臉表情

中圖分類號：TP391.4 文獻標識碼：A 文章編號：1672-3791（2018）08（b）-0038-04

近年來，三維人臉識別方法開始逐漸取代二維人臉識別方法，二維人臉圖像易受姿態的影響，當人臉發生偏轉時，二維人臉圖像就會丟失一些信息，而三維人臉圖像可以在三維空間任意的旋轉、平移，可以彌補在不同視覺角度所觀察三維人臉表情圖像的差異，因此三維人臉圖像具有更好的魯棒性。雖然三維人臉數據不受姿態的影響，但三維人臉出現不同姿態的偏轉，都會造成三維幾何信息的變化，對特征點的提取容易造成影響，為了更好地提取準確的特征點，必須對三維人臉表情進行姿態的校正。文獻[1]在進行三維人臉姿態校正之前，先對人臉進行曲面擬合，對于三維巨大的點云數據來說，計算量變得非常大。文獻[2]通過高斯曲率獲取人臉3個特征點，在將這3個特征點組建平面，在通過法向量進行人臉姿態校正，雖然計算量較少，但在特征點提取的準確性也會影響到人臉姿態的校正。文獻[3]通過聚類算法獲取三維人臉鼻子區域，根據參考鼻子區域，使用三維空間仿射變換進行人臉姿態的校正，再利用迭代最近點進一步校正，該方法對三維數據的缺失、噪聲不敏感，具有較高的魯棒性，但在運算時間上會比較長。本文提出了基于一種改進鼻尖點提取的三維人臉姿態校正算法研究：根據鼻尖點法向量、人臉對稱平面法向量以及鼻尖點和鼻基點之間的方向向量進行姿態校正。該方法計算量小、魯棒性強。本文方法流程，如圖1所示。

1 鼻尖點提取

鼻尖點是人臉區域重要的特征點，在人臉表情變化及姿態的變動的情況下，對鼻尖點的影響都比較小。目前，三維人臉表情識別對鼻尖點提取的研究還不夠深入，主要的方法有：（1）通過深度圖像提取人臉距離參考面最近的點[4-5]，這一假設使得多數算法回避了提取鼻尖點這一關鍵步驟；（2）通過中心側影線提取鼻尖點，而中心側影線對鼻尖的提取都是基于三維人臉模型先驗對稱的前提。Yueming Wang等[6]人通過三維人臉的鏡像模型后，采用迭代最近點法（ICP，Iterative Closest Point）進行配準，通過人臉的對稱點找出人臉的對稱平面，取對稱平面與三維人臉曲面的交線作為中心側影線。當三維人臉的位置發生偏轉后，尤其是繞軸旋轉時，受人臉自身的旋轉造成信息的遮擋，采集到的三維人臉數據丟失最為嚴重，這時候人臉的點云數據基本上不是對稱的，因此采用鏡像模型的中心側影線提取鼻尖點的精確度不高。

因此，本文借鑒XU等人提取鼻尖點算法思路[7-8]，提出一種改進的鼻尖點提取（Nose Tip Feature Extraction，NTFE）方法。該方法根據鼻尖的幾何形狀提取符合形狀參數的候選點；其次，在這些候選點中，根據鼻尖點在人臉上的對稱性，提取人臉對稱軸上的特征點，并構建人臉的對稱平面，對稱平面與人臉網格的交線為人臉的中心側影線，依據中心側影線，提取鼻尖點。

1.1 鼻尖點的幾何形狀

1.2 計算三維人臉的對稱性

提取候選特征點后，還要通過人臉的對稱性進一步對候選特征點進行篩選，每個候選點對應的曲面有可能有多個對稱平面與曲面相交，組成多條的對稱軸。

1.3 中心側影線

提取三維人臉對稱軸上的點后，根據對稱軸上的點，構建人臉的對稱平面，對稱平面與人臉網格的交線為人臉的中心側影線，如圖2所示。

1.4 提取鼻尖點和鼻基點

將所提取到的中心側影線放到一個統一的坐標上，如圖3所示，中心側影線上的點到軸上最大的距離為鼻尖點，計算額頭到鼻尖點這段距離的最小極值點為鼻基點。

2 三維人臉姿態校正

通過NTFE算法提取鼻尖點和鼻基點后，便可對三維人臉姿態進行校正。首先建立正面的三維人臉坐標系：x軸方向為水平向右、y軸方向為豎直向上、z軸方向為垂直于紙面向外。將上述所提取的三維人臉放在一個統一的坐標系中，根據計算機圖形學知識[9]，以θx、θy、θz分別作為三維人臉模型繞x旋轉、繞y旋轉、繞z旋轉的角度，得到一個旋轉矩陣R，最后完成姿態的校正。

根據上述三維人臉的對稱性，篩選出在人臉對稱軸上的點云，建立一個對稱平面，法向量為nx；將鼻尖點及其鄰域內的點云擬合成二次曲面，計算鼻尖點的法向量nz。

根據旋轉矩陣R完成三維人臉表情姿態的校正，如圖4所示。

3 實驗結果比較與分析

為了驗證本文提出方法的有效性，在三維人臉表情BU-3DFE數據庫進行實驗。從數據庫中任意選擇20張三維人臉表情圖像，并將其20個對象分為兩組：一組為訓練集，另一組為測試集，每組各10個對象。最后，將平均值作為最終的實驗結果。

3.1 鼻尖點提取實驗結果及分析

其中N為人臉表情圖像數。按姿態校正前后進行實驗：第一種方法為姿態校正前方案，采用基于雙模態和基于局部曲率方法對8個特征點進行提取，如圖5所示；第二方法為姿態校正后方案，如圖6所示。誤差值如表2和表3所示。實驗結果可以看出，本文方法在提取準確性更高，誤差值更小。

參考文獻

[1] Colombo A， Cusano C.，Schettini RD. 3D face detection using curvature analysis[J].Pattern Recognition， 2006，39（13）：444-455.