融合特征的神經網絡在三維人臉識別中的應用

王斯藤，唐旭晟，陳丹

(福州大學 a. 機械工程及自動化學院， b. 電氣工程與自動化學院，福建 福州 350116)

融合特征的神經網絡在三維人臉識別中的應用

王斯藤a，唐旭晟a，陳丹b

(福州大學 a. 機械工程及自動化學院， b. 電氣工程與自動化學院，福建 福州 350116)

摘要：針對三維人臉特征表示問題，提出了一種三維人臉輪廓曲線特征與二維Gabor小波特征相融合的人臉特征表示新方法。基于這種新的融合特征，利用模糊自適應共振神經網絡(Fuzzy ARTMAP)進行有監督的學習訓練，并構建三維人臉識別分類器實現人臉識別。利用模糊自適應共振神經網絡分類器的增量學習能力，可以很好地解決隨著訓練模型增加導致識別系統識別率降低的問題。所提出的方法在FRGC v2.0三維人臉數據庫上，對人臉表情變化進行了實驗。結果表明具有一定的魯棒性，識別率高，且隨著新增人臉數量的增長可以提高準確率。

關鍵詞：三維人臉識別；模糊神經網絡；多特征融合；Gabor小波特征；三維曲線特征

Using Fuzzy ARTMAP with Multi-Features in 3D Face Recognition

WANG Sitenga,TANG Xushenga,CHEN Danb

(a. College of Mechanical Engineering and Automation,

b. College of Electrical Engineering and Automation, Fuzhou University, Fuzhou 350116, China)

Abstract:This paper presents a new representation of 3D face recognition features, includeing the 3D face curve features and 2D Gabor wavelet features. Based on the new multi-features, Fuzzy ARTMAP is used to train the network with supervised learning, and create a 3D face recognition classifier to distinguish human faces. The algorithm can be used to keep a high recognition rate with the incremental number of models. The experiment test on FRGC v2.0 database shows that the performance of multi-features fusion is perfect on robustness in changing expressions, and Fuzzy ARTMAP is used to keep a high recognition rate in the increasing number of human faces.

Keywords:3D face recognition; Fuzzy ARTMAP; multi-features fusion; gabor wavelet; three-dimensional curve

0引言

人臉識別主要用于門禁、安保等領域。與其他人體生物特征識別技術(指紋，虹膜等)相比，人臉識別具有自然、友好、對用戶干擾少、易被用戶接受等優勢。而具有更廣闊的應用前景。經過研究人員多年的不懈努力，基于圖像的二維人臉識別技術在一定約束條件下已經取得了較好的識別結果。然而，研究實驗表明：二維人臉識別在光照、姿態，表情，遮擋以及年齡老化等條件下，表現出許多局限性[1]。這主要是因為二維圖像其本質是三維物體在二維平面上的投影，是三維信息在二維空間中的簡約。

近年來，隨著三維數據采集技術的日益成熟，三維人臉識別日趨成為人臉識別研究領域的熱點。

三維人臉數據由激光掃描或三維重建而成，所體現出來的點云或深度圖像，具有人臉復雜的曲線和曲率特征，因此在信息量上比二維圖像豐富[2]。此外，采集獲得的臉部三維形狀數據可看作是不隨光照、視圖的變化而變化，且化妝等附屬物對三維數據影響不明顯，因而三維人臉識別被認為具有光照不變，姿態不變的特性[3]。

文中提出了一種新的三維人臉深度圖像融合特征，即三維人臉深度數據的Gabor小波特征[4]和人臉曲線輪廓特征相融合，采用模糊神經網絡(Fuzzy ARTMAP)對所提取的融合特征進行分類識別。

Fuzzy ARTMAP是自適應共振理論(ART)的進化版，具有增量學習和監督模式，可以提高分類的準確度，具有更高的性能和廣泛的實用性。整個算法的框架流程圖如圖1所示。在FRGC v2.0三維人臉數據庫上測試實驗表明：該算法具有較高的識別率，所提取的特征對人臉表情變化具有一定的魯棒性，且隨著新增人臉數量的增長，可以保證較高的準確率。

圖1　三維人臉識別算法框架流程圖

1三維人臉深度圖像融合特征提取

1.1新的人臉深度數據局部曲線特征提取

在人臉識別的過程中，特征的提取直接影響到識別的結果。用于三維人臉識別的特征有很多種，比較常見的是基于人臉表面幾何信息和基于鄰域信息。文獻[5-6]采用等間隔提取面部輪廓曲線，但提取的輪廓線易受年齡的增長和人的胖瘦變化而發生變化，從而影響實際應用中的識別率。文獻[7]采用等深度輪廓線作為特征，該算法要求人臉要絕對正面，對預處理算法要求很高，并且不能有表情變化和任何遮擋，不利于實際中操作和應用。文獻[8]采用標準化特征采樣點，特征采樣點是事先經過手工標定的，這對數據的要求也過高，很難實際操作。

針對以上問題，提出一種新的局部輪廓線特征提取的方法。該方法的基本思想：不同人之間的鼻尖、顴骨和額頭的深度特征差異顯著，而這些區域又屬于剛性區域，隨年齡的增長變化最小。選取這些區域的局部輪廓曲線作為識別特征，既具有區分性同時又能極大降低人臉老化造成的影響，并且不易被眼鏡和口罩等遮擋物影響。具體方法如下：

1) 三維人臉數據經過姿態校正，人臉切割及人臉歸一化預處理后得到200×182的人臉歸一化深度圖，如圖2中(a)所示。

2) 建立深度圖坐標系：正方向為水平向右為x軸，人臉長度方向豎直向上為y軸，人臉深度方向為z軸，如圖2中(b)所示。

3) 取圖中深度值中最大的點為鼻尖點，過鼻尖點P作yoz平面的平行面T，平面T與深度圖的交線作為中分輪廓線；過鼻尖點P作xoz平面的平行面U，平面U與深度圖的交線作為水平輪廓線，如圖2(b)所示。圖3列出了兩個不同人的中分輪廓線和水平輪廓線。

4) 分別以平面T和平面U為基準，向左右兩邊等間隔(間隔5個像素)各作兩個平行面，這10個平面與深度圖相交，得到5條豎直輪廓線和5條水平輪廓線，總共10條輪廓線，如圖2中(b)所示。

Rk=[Cj,Lw]j,w=1,2,3,4,5

圖2　三維人臉圖像提取曲線特征示意圖

圖3　中分輪廓線和水平輪廓線

圖4列出了不同人臉深度圖提取出的1910維人臉局部曲線特征向量，圖4中(a)(b)同一個人的不同深度圖的局部曲線特征向量，(c)(d)為另一個人的不同深度圖局部曲線特征向量。從圖4中可以觀察出，同一個人的不同深度圖的局部曲線特征向量具有相似性，不同人的深度圖的局部曲線特征向量具有顯著的可分性。

圖4　五條豎直輪廓線與五條水平輪廓線融合圖(a)(b)表示同一男性的兩張不同圖像，(c)(d)表示同一女性的兩張不同圖像

1.2基于整體深度數據的Gabor小波特征提取

a) 二維Gabor小波濾波變換

Gabor小波濾波在二維人臉識別中已經得到廣泛的應用[9]，文中也采用Gabor小波變換[10]對三維人臉深度數據進行多方向、多尺度特征提取。二維Gabor小波濾波器的定義為：

(1)

其中：z=(x,y)為行矢量，‖·‖表示求2范數，σ=2π，kmax=π/2，kμ,ν的定義為：

kμ,ν=kνeiΦμ

(2)

這里按文獻[9]取5個不同中心強度頻率v={0,1,2,3,4}以及8個不同的方向μ={0,1,2,3,4,5,6,7}。

b) 三維人臉圖像的Gabor小波特征提取

Gabor小波變換可通過深度數據矩陣I與Gabor核函數進行卷積實現：

Jkμ,ν,x0=∫ψkμ,ν(x0-x)I(x)d2x=(ψkμ,ν*I)(x0)

(3)

卷積過程產生由實部和虛部兩個分量構成的復數響應。對三維人臉識別，保留卷積后產生的復數響應的幅值。對于一幅200×182大小的深度圖，將得到200×182×40=1456000維的Gabor特征向量。這么高維的數據將對后續的分類處理和計算能力要求較高，容易造成維數災難。為了避免維數災難，必須進行降維操作。降維方法如下：

1) 先將原始深度圖等間隔(5個像素)稀疏采樣得到40×36大小的子深度圖像；

2) 40×36大小的子深度圖像經Gabor濾波器卷積得到40個40×36大小的Gabor幅值特征圖像；

3) 將40個40×36大小的Gabor幅值特征圖像雙線性插值為11×10大小的Gabor特征子圖像，將所有40個Gabor特征子圖像(每個11×10=110維)幅值級聯，就得到了4400個維度的輸入圖像I的Gabor 特征表示RI。

RI={Jp(x,y)|(x,y)∈I}

(4)

圖5展示了Gabor濾波器5個不同的中心頻率和8個不同方向與人臉深度圖卷積的結果。

圖5　三維人臉識別算法框架流程圖

1.3多特征融合

三維人臉深度數據不僅具有二維人臉的整體特征，而且又有不同維度上的曲線特征。采用特征融合方法，將1.1和1.2節所述的Gabor小波濾波后的整體特征向量RK與人臉曲線特征RI串聯起來，作為最終的人臉特征輸入向量，如式(5)所示：

R=[RkRI]

(5)

這樣一張人臉深度圖像就可以得到一個6310維的融合特征行向量。

2FuzzyARTMAP分類器有監督增量學習算法

目前運用在人臉識別領域中的分類器有支持向量機(SVM)[11]、隱馬爾可夫模型(HMM)[12]、人工神經網絡分類器(ANN)[13-14]等。在三維人臉識別中所采用的是神經網絡中模糊自適應共振理論(Fuzzy ARTMAP[15-16]),該算法克服了可塑性-穩定性兩難的問題，可以在不斷變化的條件下訓練新的樣本，并且不會削弱之前已經訓練的樣本信息。Fuzzy ARTMAP綜合了模糊集理論和自適應共振理論，具備很多優越的性能。目前的ART模型已經成百上千，有監督式和無監督式等。模糊ARTMAP摒棄了ARTMAP的集合觀點，采用隸屬的函數方法來表達輸入特性，融入模糊集理論，能處理二進制值和連續值，且具有監督式的增量學習能力，可以提高分類的準確度，具有更高的性能和廣泛的實用性[17]。

Fuzzy ARTMAP的原理如下：

一個Fuzzy ARTMAP系統包括一對自適應共振模型(ARTa和ARTb)以及一個內部映射域Fab，如圖6所示。在Fuzzy ARTMAP訓練學習時，ARTa接受輸入向量，進行自適應學習，對輸入向量進行自動分類。ARTb接受正確的預測分類向量，進行非監督學習，輸出導師信號。每一個Fuzzy ART模型為三層結構,至下而上分別為F0層、F1層和F2層,F0層的節點表示輸入向量。ARTa的F1層的節點接受F0至下而上的輸入以及F2層至上而下的輸入，F2層的節點表示有效的分類編號。F0層和F1層的節點數與輸入向量相關，F2層的節點數是任意的，且根據激活的狀態發生變化。

權向量：聯系每個F2層分類節點的是一個自適應權向量(也稱作LTM跟蹤)，包括了ART-1網絡的至下而上和至上而下的權向量。

參數：Fuzzy ARTMAP動力學由選擇參數α>0所決定；學習速率參數β∈[0,1]；警戒值ρ∈[0,1]。

圖6　Fuzzy ARTMAP結構

在ARTa和ARTb中，為了防止類別增加，輸入模式a在傳遞給F2層前，需要在F1層進行補碼編碼。補碼形式為I=(a,ac)=(a1,a2,1-a1,1-a2),F2層是一個勝者為王競爭層，由一個類別選擇函數Tj來衡量輸入向量I與自適應權重(第j個節點的權值wj)間的匹配程度：對每個輸入向量I和F2層的節點j，選擇函數Tj如式(6)：

(6)

TJ=max{Tj:j=1...N}

(7)

(8)

警戒值ρ的取值范圍是[0,1]。權重向量由式(8)來計算。如果式(8)條件滿足，則x和I的差別不超過警戒值，獲勝神經元與輸入I的類別發生共振。與獲勝神經元相關的權值按照式(9)計算，使其與輸入模式更相似。

(9)

(10)

(11)

xab=

(12)

綜上所述，Fuzzy ARTMAP的算法概括如下：

1) 初始化網絡，包括連接權以及相關參數。

由表8感官評價的極差分析可以看出，各因素對姜汁保健果凍風味口感影響的主次因素為姜汁添加量（A） ＞檸檬酸添加量（B） ＞β-環狀糊精添加量（C），說明姜汁添加量是影響姜汁果凍風味口感的主要因素，其次是檸檬酸添加量，再其次是β-環狀糊精添加量。并得出姜汁保健果凍感官品質最佳的組合為A2B2C3。

2) 為ARTb提供一個分類目標向量，確定ARTb中的獲勝神經元，并進行非監督式學習。

3) 為ARTa提供與分類目標向量相對應的輸入模式矩陣,確定ARTa中的獲勝神經元。

4) 確定映射域輸出向量xab并與ARTb的輸出向量進行匹配。

5) 若兩向量匹配，映射域權向量和ARTa權向量都進行學習，轉至7)。

6) 若兩向量不匹配，則執行匹配跟蹤，轉3)。

7) 若檢測到有未學習的模式，則返回2)，否則結束。

3實驗

3.1測試數據庫

人臉數據庫FRGC v2.0[18]中的三維人臉深度圖像的分辨率大小為640×480像素，其z軸上有30萬個掃描點的深度數據。該數據庫包括466個人，共4007個三維人臉模型，分別在2003年至2004年春秋兩個不同時間采集。采集三維數據時，也同時采集了二維紋理圖像。從中選取100個人的各4張圖片，共400張三維圖像構成實驗的數據庫。這些圖像允許10°以內的偏轉，每個人的人臉數據包括正常的表情以及頭發等遮擋，圖像采集于不同時間段。部分測試圖像示例如圖7。

圖7　測試數據庫圖像示例

3.2測試數據庫

a) 雙眼檢測和坐標定位

該數據庫的深度圖像還配合著一張紋理彩色圖像，即二維照片。采用文獻[19]中二維人眼定位方法，可自動定位出兩個瞳孔中心的位置坐標x1、y1和x2、y2。

b) 人臉姿態矯正與切割

根據檢測出的雙眼的坐標即可對z軸進行旋轉，使y1=y2,從而得到正的人臉，如圖8(b)(c)所示。為了進一步消除頭發，脖子，背景等非人臉本質因素的影響，采用人臉圖像切割的方式對圖像進行幾何歸一化。由定位出的雙眼瞳孔中心坐標為基準，如圖9(a)所示的方式對人臉進行切割。令雙眼間距為D，剪裁參數h、r、n分別為0.5、0.5、1.7，所有的圖像均歸一化成分辨率為200×182的圖像。

圖8　人臉姿態糾正與切割

圖9　試驗中使用 的三維人臉圖像切割方法

3.3特征提取

根據1.1，1.2，1.3所述的方法分別提取了曲線特征、Gabor小波特征和融合特征，將這3種特征作為Fuzzy ARTMAP神經網絡輸入向量。

3.4FuzzyARTMAP神經網絡分類器訓練與識別

進行分類訓練和識別實驗時，按如下方式生成訓練集和測試集：從每個人4個模型中隨機選取3個作為訓練樣本，剩下的1個作為測試樣本。總共進行了50次不重復隨機測試實驗，取這50次實驗的平均識別率作為算法的最終識別率。

訓練時Fuzzy ARTMAP分類器的參數設定如下：警戒值ρa取0.8,訓練次數100,學習速率β取1.0。

3.5測試結果與分析

按上述的實驗規程，采用曲線特征、Gabor小波特征和融合特征這3種特征分別進行了測試，測試結果如表1所示。從表1可以看出；1) 與局部曲線特征的平均識別率87.5%相比，Gabor特征的識別率提高到了95.6%，這說明Gabor能更準確且穩定地描述人臉特征。2) 文中提出的融合特征的識別率提高到了97.5%，這從一個側面說明了融合特征的有效性。

表1　各種特征算法識別率的比較

參考文獻表2列出了本方法與其他一些中的三維人臉識別實驗結果比較。表2中各種算法的實驗環境如下：文獻[20]的特征點距離法是在人工標定特征點的Bosphorus 3D人臉數據庫上進行實驗；文獻[21]的THD(topographic high-order derivatives)法是以空間微模型特征在FRGCv2 3D人臉數據庫上進行實驗；文獻[22]的CPD(coherent point drift)方法是基于混合高斯曲率特征，通過計算標志點之間的距離來進行識別，從FRGC V2.0庫中選取了80人構建測試數據庫；文獻[23]采用改進LBP算子和稀疏表示方法通過稀疏表示分類器來實現分類識別，在法國EURECOM KFD人臉數據庫上測試；文獻[24]的曲率降維法是以人臉深度圖像的曲率和紋理作為特征，利用PCA+LDA降維后，通過支持向量機(SVM)進行分類識別，在SHREC數據庫上測試。

由于采用的數據庫并不完全相同，即使采用同樣的FRGCv2.0數據庫由于選擇不同圖像，其測試結果也不盡相同。通過對比，所采用的測試庫中的人數規模，面部表情，面部裝扮及背景的復雜度等方面均與這些文獻所采用的測試庫難度相當。從表2中可以看出，文中的融合曲線特征與Gabor特征方法具有更高的識別率。這也從另一個側面說明本算法的有效性。

表2　其他算法與本算法識別率的比較

為了驗證Fuzzy ARTMAP分類算法的增量性和魯棒性，在三維人臉樣本庫中，分別按每次增加10人的方式分別進行了10組識別測試，其結果如圖10所示。由圖10可以觀察得知：隨著人數的增加，提出的基于融合特征的Fuzzy ARTMAP分類算法的測試結果具有較好穩定性。這是因為，Fuzzy ARTMAP分類算法能在不破壞原有訓練集的情況下新增訓練集，實現增量學習。因此，利用Fuzzy ARTMAP智能分類算法，有望在更多大型公共環境下對新增加的人臉樣本有更快的適應性和準確性。

圖10　單特征與融合特征在不同訓練人數下的識別率

4結語

提出了一種Gabor小波濾波和人臉三維深度圖像曲線特征相融合的方法，運用有監督增量學習能力的模糊自適應神經網絡(Fuzzy ARTMAP)進行人臉深度圖像的分類和識別。本算法的優勢在于不僅能保證較高的識別率(大約97.5%)，而且能在不破壞原有訓練集的情況下新增訓練集，實現增量學習。仿真實驗表明：該算法具有較高的識別率，所提取的特征對人臉表情變化具有一定的魯棒性，且隨著新增人臉數量的增長，可以提高準確率。

[1] 王躍明, 潘綱, 吳朝暉. 三維人臉識別研究綜述[J]. 計算機輔助設計與圖形學學報, 2008, 20(7): 819-829.

[2] Fadaifard H, Wolberg G, Haralick R M. Multiscale 3D feature extraction and matching with an application to 3D face recognition[J]. Graphical Models, 2013, 75(4): 157-176.

[3] Hiremath P S, Hiremath M. Depth and Intensity Gabor Features Based 3D Face Recognition Using Symbolic LDA and AdaBoost[J]. Image, Graphics and Signal Processing, 2014,(1): 32-39.

[4] Liu D H, Lam K M, Shen L S. Optimal sampling of Gabor features for face recognition[J]. Pattern Recognition Letters, 2004, 25(2): 267-276.

[5] Ter Haar F B, Veltkamp R C. SHREC'08 entry: 3D face recognition using facial contour curves[C]//Shape Modeling and Applications, 2008. SMI 2008. IEEE International Conference on. IEEE, 2008: 259-260.

[6] 鄒紅艷,達飛鵬.基于輪廓線局部描述符的三維人臉識別[J]. 計算機應用研究, 2013, 30(5): 1561-1563.

[7] 劉曉寧,董衛軍,周明全,等. 基于輪廓線的三維人臉識別的改進算法[J]. 計算機工程, 2008, 33(11): 46-48.

[8] 莫建文, 李雁, 首照宇, 等. 改進的三維人臉識別方法[J]. 計算機工程與設計, 2012, 33(11): 4328-4332.

[9] 惠斌,唐旭晟,羅海波,等. 基于gabor小波sdf匹配濾波器的人臉識別[J]. 信息與控制, 2008, 37(5):633-636.

[10] 孔華鋒, 魯宏偉, 馮悅. 基于二維 Gabor 小波特征的三維人臉識別算法[J]. 計算機工程, 2008, 34(17): 200-201.

[11] Lee K, Chung Y, Byun H. SVM-based face verification with feature set of small size[J]. Electronics Letters, 2002, 38(15): 787-789.

[12] Othman H, Aboulnasr T. A separable low complexity 2D HMM with application to face recognition[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2003, 25(10): 1229-1238.

[13] Nazeer S A, Omar N, Khalid M. Face recognition system using artificial neural networks approach[C]//Signal Processing, Communications and Networking,2007.ICSCN'07. International Conference on. IEEE, 2007: 420-425.

[14] Gu M, Zhou J Z, Li J Z. Online face recognition algorithm based on fuzzy ART[C]//Machine Learning and Cybernetics, 2008 International Conference on. IEEE, 2008,(1): 556-560.

[15] Carpenter G A, Grossberg S, Reynolds J H. ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network[J]. Neural networks, 1991, 4(5): 565-588.

[16] Carpenter G A, Grossberg S, Markuzon N, et al. Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps[J]. Neural Networks, IEEE Transactions on, 1992, 3(5): 698-713.

[17] 鐘金宏, 楊善林. FUZZY ARTMAP 神經網絡綜述[J]. 計算機科學, 2001, 28(5): 89-92.

[18] Phillips P J, Flynn P J, Scruggs T, et al. Overview of the face recognition grand challenge[C]//Computer vision and pattern recognition, 2005. CVPR 2005. IEEE computer society conference on. IEEE, 2005,(1): 947-954.

[19] 唐旭晟, 歐宗瑛, 蘇鐵明, 等. 復雜背景下人眼的快速定位[J]. 計算機輔助設計與圖形學學報, 2006, 18(10): 1535-1540.

[20] 莫建文, 李雁, 首照宇, 等. 改進的三維人臉識別方法[J]. 計算機工程與設計, 2012, 33(11): 4328-4332.

[21] Cheraghian A, Hajati F, Mian A S, et al. 3D FACE RECOGNITION USING TOPOGRAPHIC HIGH-ORDER DERIVATIVES[C]. Proc. of the The International Conference on Image Processing (ICIP), Sydney, 2013.

[22] 常俊彥，達飛鵬，蔡亮，基于測地距離的三維人臉識別[C]. 重慶：2010年全國模式識別學術會議(CCPR2010), 2010.

[23] 陶麗君, 張希婧. 基于改進 LBP 算子和稀疏表示的三維人臉識別研究[J]. 現代計算機 (普及版), 2013，(5): 23-26.

[24] Tonchev K, Manolova A, Paliy I. Comparative analysis of 3D face recognition algorithms using range image and curvature-based representations[C]// Intelligent Data Acquisition and Advanced Computing Systems (IDAACS), 2013 IEEE 7th International Conference on. IEEE, 2013,(1): 394-398.

收稿日期：2014-01-14

中圖分類號：TP391.4；TP183

文獻標志碼：A

文章編號：1671-5276(2015)04-0126-06

作者簡介：王斯藤(1988-)，男，福建寧德人，碩士研究生，研究方向為圖像處理。

基金項目：福建省自然科學基金資助(2013J01226)