基于擴展對稱局部三值模式的三維人臉識別

張新波， 朱姿娜， 張偉偉

（上海工程技術大學機械與汽車工程學院， 上海 201620）

0 引 言

傳統的人臉識別主要局限在二維圖像分析中。雖然基于二維圖像的人臉識別算法已經取得了卓越的成就，但二維圖像模式分析下的人臉識別研究在姿態，表情和光照等諸多因素下越來越乏力，基于三維數據的人臉識別模式分析已然成為一種備受矚目的方法，得益于三維數據本身的優勢，對外界環境的變化具有魯棒性，比如：光照，化妝等因素。 不僅如此，三維數據在信息量方面更能提供比二維圖像更多有用的信息。 M.Daoudi 介紹了三維人臉建模、處理和應用，并提出了一種新的幾何框架，用于分析三維人臉［1］。

研究表明，三維人臉識別包含更多有利于檢測識別的條件，正在逐漸成為新的研究重點。 同樣，基于三維數據的人臉分析，數據量的增長是成幾何指數的，提供更多有用信息的同時如何對數據進行分類，并用有效的特征表示成為研究的重點。 近年來3D 掃描技術和移動式設備的快速發展，對于三維技術的需求越發強烈，考慮到人臉表情變化會引起人臉識別精度的大幅度降低，本文并沒有直接提取人臉的全局特征，而是考慮從受表情變化影響較小的剛性區域提取局部特征。 三維人臉識別的算法分為三大類：基于空間匹配的方法，基于局部特征的方法和基于整體特征的方法。

基于空間匹配的三維人臉識別方法不需要進行人臉特征提取，而是直接匹配識別。 迭代最近點（ICP）方法被廣泛應用于三維點云對齊［2］。 Tan等［3］開發利用Hausdorff 距離及其變體，通過直接計算兩個三維點云之間的相似度，可以進行三維人臉識別。 基于整體特征的方法直接提取整個三維人臉的特征，通常的方案是利用從鼻尖發出的面部表面的徑向曲線和這些曲線的彈性形狀分析，用于整個面部表面形狀分析的黎曼框架利用幾何不變性下曲線的特征進行形狀分析［4］。 比較常見的造成三維人臉識別失敗的因素是人的表情變化。 郭蓓［5］等人利用三維人臉的局部特征來克服表情變化的影響成為了一種切實可行的方案。 基于局部特征的方法可以克服人臉表情變化的影響，但會丟失人臉的某些特征。

大多數三維人臉配準方案都是基于整個人臉面部的區域，不考慮人臉內部各個特殊區域是否滿足剛性條件，一種配準方案并不能正確的描述人臉數據，計算代價很大，精度不夠。 因此在人臉識別實驗中，首先將人臉模型分割，重點利用鼻子區域進行檢測，因為在鼻翼區域包含有更多穩健的有用信息，同時產生的計算代價更小。

特征提取作為人臉識別的關鍵步驟，特征的質量與最終的結果息息相關。 上世紀九十年代以來，Ojala 等［6］于2002 提出原始的局部二值模式LBP后，已經在二維圖像中得到了廣泛的應用，并取得了顯著的效果，然而因為其本身的構造缺陷，導致在一些問題的處理顯得乏力，由此產生了基于LBP 的眾多變體；Neto 等［7］把LBP 擴展到3D 方面，并表現出具有競爭力的品質，特別是在紋理分析和人臉識別方面；Tan 等［8］于2007 年提出了局部三值模式（LTP），由于加入了負數的概念，使得中心像素可以作為閾值存在，具有了更高的分辨能力以及更好的光照魯棒性，但在多尺度圖像中依然存在一定的局限；Marko Heikkila［9］提出了中心對稱二值模式（CS－LBP）描述子，綜合考量了LBP 算子以及SIFT（Scale Invariant Feature Transform）描述子的優點，對呈中心對稱點的四方向的像素亮度差值進行編碼，相比于傳統的LBP 算子能夠更好的利用梯度信息，有效的縮短了編碼的長度，從而降低了維度災難；胡等［10］于2013 年提出了一種完整的局部二值模式（CLBP），此描述子包括了3 部分：全局對比度CLBP＿C、正負二值模式CLBP＿S 和幅度二值模式CLBP＿M，獲得了相對于傳統LBP 更好的旋轉不變結果，對于光照、噪聲也更加忍受。

1 人臉數據分割檢測

本文的方法包括以下幾個步驟：

（1）依據鼻尖點檢測并進行人臉分割；

（2）利用三維人臉網格的內在順序在表面上提取標量函數，并使用XCS－SILTP 描述子來描述特征；

（3）在得分級上進行特征融合。

由于特征點檢測及其紋理描述直接在3D 網格上進行，所提出的方法不受姿勢的影響，同時也避免了基于面部范圍圖像的方法需要大量計算的缺點。此外，局部匹配的使用也賦予所提出的方法對遮擋的一些容忍度。 在FRGC 和Bosphorus 數據集上證明了所提方法的有效性。

1.1 LBP 描述子

LBP（ Local Binary Pattern，局部二值模式）是由T. Ojala 等人在1994 年最先提出的用于描述二維圖像局部紋理特征的強大算子，自提出以來憑借自身具有的旋轉不變性以及灰度不變性等卓越的特點，相應的LBP 變體也迅速被提出，極大的擴展了LBP的適應性。 LBP 紋理特征因其維度低，計算速度快，能很好地刻畫圖像的紋理信息而被廣泛應用，LBP在3?3 的窗口內對中心像素點周圍8 鄰域像素的灰度比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0，LBP 計算示例如圖1 所示。

由此可得該窗口中心像素點的LBP值，同時會反映出該區域的紋理數據信息。 計算公式（1）：

其中，P和R表示一個半徑為R的圓上的P個采樣點（xc，yc） 是中心像素；gc為中心像素的灰度等級；gp為8 個鄰域點的像素灰度等級；

通過改變P、R就可以形成多尺度LBP的表示，為確定中心像素與鄰域像素的取值需要將gc和gp進行比較，若周圍鄰域像素大于中心像素則把對應鄰域位置設定為1，反之設定為0，最后按一定順序（通常是順時針）進行二進制編碼。 對于沒有完全落在像素中心的鄰域點，可以通過線性插值的方法估算其灰度值。 最后通過遍歷所有LBP像素值，建立直方圖來表示該區域的紋理特征。

LBP 算法還可使用圓形鄰域在任意可量化的角度值與空間分辨率，定義一個圓形對稱鄰域，公式（2）：

其中，P指鄰域的數量，用于控制量化的角度值；R指圓形半徑，決定算子的空間分辨率；中上標riu2 代表U值不超過2 的均勻模式的旋轉不變量；gc指局部鄰域的中心像素；gp指以中心像素為圓心，半徑為R的圓周上的像素值。

考慮旋轉不變性紋理分析，算子對于局部的空間結構具有很好的表達能力。

1.2 XCS－SILTP 描述子

先選定一個三角中心面，并以中心面為核心建立包含鄰域面的三維網格區域，三維表面區域如圖2 所示。 每個中心面都包含3 個頂點，遍歷每個頂點關聯的所有三角形的法向量，并將法向量單位化后，求所有單位法向量的均值作為此頂點的法向量。對于試驗中的法線，在一些很小的多邊形網格面共頂點時，單純使用所有法向量的均值效果很不理想，因此采用加權的方式進行處理。

圖2 三維表面權重圖Fig. 2 3D surface weight

對于三維網格面，基于三維人臉拓撲結構單元網格的無規則性，需要進行預處理，提取單元格法線、曲率等幾何元素時，需要綜合考慮頂點法矢對于提高網格曲面曲率的重要作用。 本文采用三角形形狀因子作為法矢的估計權重，并具體使用三角網格頂點一階鄰域網格的形狀因子與頂點到三角形質心距的比值進行綜合加權估計，最后驗證這樣得到的頂點法矢相較于其他的方法對于提取三維人臉網格具有更好的穩定性、更高的精度。

對于任意的拓撲結構三角網格模型，采用公式（4）計算頂點法矢：

其中，v代表模型M 所有頂點的集合；βi表示T（k） 中第i個三角形在頂點k處的內角；Ai，NTi分別代表T（k） 中第i個三角形的面積和法矢。

三維表面區域及法線圖如圖3 所示，提取局部規則化后的細胞單元，建立局部坐標系，把中心面周圍（按照面角線所有相鄰的原則劃分）鄰域內的所有法線統一移動到中心平面的單位法矢量起始點，分別計算圖3（b）中所示的12 條單位法矢量和中心面單位法矢量之間差的角度，范圍在0°－360°之間，（當然普遍的角度會在很小的范圍內），把各個角度差值分別放入各自對應的三角網格中，依照傳統LBP 的定義規則，需要知道中心面的值，本文應用的是鄰域周圍法線與中心法線之間的角度差值，并設定一個閾值，當差值大于閾值時，對應位置的閾值設定為1，反之則為0；進一步對灰度差值進行閾值化處理，獲得了對平面圖像區域的魯棒性，在三維空間中對法線之間的差值進行閾值處理，進一步得到平面之間局部不平度的優化。

圖3 三維表面區域及法線圖Fig. 3 3D surface area and surface normal

研究發現單純的法線與中心線之間的差值并不能完全反應局部的特征，中心面周圍的鄰域對其影響還反應在面積方面。 因此將中心面的面積與周圍鄰域的面積比值作為對應鄰域的權值，具體計算過程如圖4 所示。

圖4 三維表面三角面鄰域權值計算過程Fig. 4 Weight calculation process of triangular surface neighborhood on 3D surface

XCS － SILTP計算公式（5）如下：

其中，τ為閾值；P為鄰域的數量；R為圓形半徑；gc為中心面的法線矢量；gi為鄰域的法線矢量；為對稱領域的法線矢量。

2 實 驗

為了驗證所提出描述子在人臉識別方面的有效性，在FRGC v2.0 數據集上進行了試驗。

2.1 FRGC v2.0 數據集

FRGC v2.0 由美國圣母大學（University of Notre Dame）建造，由Minolta Vivid 900／910 系列傳感器以密集點云的形式獲取。 FRGC v2.0 數據集由466 個個體的4 007條記錄組成，這些記錄具有中性表情或非中性表情。

2.2 描述子測試

為了驗證XCS－SILTP 描述子在不同噪聲水平下的性能，分別在標準偏差為0.1mr 和0.5mr 的高斯噪聲下，將Random points、keypoint、MeshDoG、ISS、DoG 和本文提出的描述子進行召回率對比，實驗結果如圖5 和圖6 所示。 從圖5 中可見在0.1mr高斯噪聲下本文提出的描述子算法的召回率一直處于較高的水平；從圖6 可見在0.5 mr 高斯噪聲下，隨著x軸準確率的增加，召回率也是迅速增加。

圖5 0.1 mr 高斯噪聲下的召回率Fig. 5 Recall rate under 0.1 mr Gaussian noise

圖6 0.5 mr 高斯噪聲下的召回率Fig. 6 Recall rate under 0.5 mr Gaussian noise

為了進一步說明提出的描述子算法的性能，將本文的方法與目前最先進的方法做了比較.在FRGC數據集中挑選了100 個樣本，將這些樣本分為a、b、c、d 和e 5 個類別，并在這5 個類別下分別進行LBP等描述子的人臉識別準確率測試，結果見表1，可見XCS－SILTP 能夠提取出更多的信息特征，識別率高于傳統的LBP 及其變種。

表1 在FRGC 數據集上的識別準確率Tab. 1 Recognition accuracy on FRGC dataset

3 結束語

本文提出了一種新的描述子，能夠捕獲三維關鍵點之間的幾何關系。 該方法不依賴于提取關鍵點周圍的局部信息，從而省略大量的計算步驟。 在FRGC 數據集上的實驗結果表明，本文提出的描述子對噪聲水平和網格分辨率的變化也是穩健的，取得了良好的三維物體識別效果，與其他人臉識別算法進行比較，采用本文提出的描述子算法的識別精度有很大的提高。