基于深度學習特征的多模態人臉快速識別研究

雷燕，李 杰，董 博，孫 艷，袁敬

（中共國網甘肅省電力公司黨校（培訓中心），甘肅蘭州 730070）

三維數據采集技術飛速發展，已經被廣泛應用在人臉識別領域，三維數據的質量和精確度要求越來越高。多模態人臉識別過程中會受到不同因素影響，導致人臉識別速度緩慢，因此對于人臉快速識別的研究成為了人臉識別領域的研究方向之一。

文獻[1]提出基于Hadoop 平臺的多模態人臉識別方法。該方法將改進后的開源人臉識別庫與Hadoop 平臺結合，在確保識別準確率的前提下提升人臉檢測速度，實現大規模多模態人臉圖像識別。但該方法只能識別存在于人臉識別庫中的人臉，局限性高。文獻[2]提出基于彩色和深度信息的多模態人臉識別方法。采集人臉彩色和深度圖像，采用三維點云實現彩色圖片人臉特征提取和逐點卷積操作，實現人臉識別。但是該方法的識別效率較低。

為了彌補傳統方式的不足，提出基于深度學習特征的多模態人臉快速識別方法。

1 基于深度學習的多模態人臉特征提取

利用3D 結構光三維掃描管理系統獲取人臉樣本圖像[3-4]，使用基于深度學習的卷積神經網絡提取淺層人臉數據的物理與視覺特征。為保證網絡結構清晰，幾何、模型、統計三個通道都使用同樣的結構。

卷積神經深度學習網絡包括卷積運算、非線性變換和池化操作三部分，各個步驟的輸入與輸出為特征矢量，下一階段的輸入特性可以看作上一步驟輸出。多模態人臉的深層特性是由人臉特征信息提取網絡中第五個池化操作層提供的幾何、模型和統計信號所構成的。假設Cj(i∈{1,…,5})、Pj(j∈{1,…,5})分別表示在卷積層和池化層上的特征映射，在第五個池化操作層的特征圖可利用下列公式得到：

式中，P5為池的操作層函數；W5為卷積內核；C4表示模型可訓練參數；b5表示偏置參數。

文中將分別通過幾何、建模和統計的數據得到三條特征曲線Ft、Fe和Fs[7-8]，得到的特征曲線如圖1所示。

圖1 特征曲線

根據特征曲線[5-6]和式（1）可以得到非線性函數，具體描述如下：

式中，x為函數自變量。在特征池化方法中，文中應用的是pooling 方法，該函數可以保持小區域內的特征不變。

2 多模態人臉提取特征深度分析

在提取多模態人臉特征后，結合三個特征曲線進行深度分析，定位人臉特征點，如圖2 所示。

圖2 多模態人臉提取特征深度分析

具體步驟為：

第一步：進行三維人臉建模，其Z軸與人臉平面相同，可以將三維點云數據中在Z軸位置值較大的頂點作為鼻尖節點[9-10]。根據鼻尖點的定位結果，可得到在水平和垂直方向上的兩條等值線和九個重要特征點，用Q1-Q9表示。

第二步：分析點Q1的水平等值線變化規律，將梯度值按等值線的深度變化分為四個點，記為雙眼特征點，將這四個點標記為Q10-Q13。

第三步：水平方向的分析中，鼻子的特征點位于鼻子兩側，記為Q8和Q9，其相對位置距離相同，鼻子上方和下方的邊界點為Q1和Q3[11-12]。

第四步：眼內角點和Q8與Q9的水平線交點記為Q5，該點為嘴部區域的最高點，控制著嘴部的水平高度，其連線交叉的其他點依次標記為Q14-Q15。在垂直方向的分析中，Q4與Q7為嘴部區域的平均高度[13-14]。

3 基于深度特征分析的多模態人臉快速識別

得到人臉特征點后，從一張人臉圖片中提取多模態的人臉并對其進行表示。這些表示包括完整人臉圖片、人臉特征點及3D 基準模型得到的正面人臉、人臉特征點周圍的局部圖像塊。一方面利用完整人臉圖片確定人臉的全局特征；另一方面根據人臉特征點及3D 基準模型得到的正面人臉表示結果確定具有姿態不變性的特征，通過人臉特征點周圍的局部圖像塊確定局部特征。

文中通過深度特征分析方法得到姿態不變性的人臉表示結果，將貝塞爾人臉模型的平均形狀作為通用3D 模型。根據3D 模型得到2D 人臉圖像。其中深度特征分析模型包括兩種結構：第一種為卷積神經網絡，可對全局特征進行提??；第二種為局部特征提取網絡，該網絡只能對局部特征進行提取，并且卷積神經網絡對于高度非線性的人臉姿態變化更具魯棒性。與局部特征提取網絡相比，卷積神經網絡有著數量更多的參數，因此更容易過擬合，因此文中使用數據增強和早停止策略來減少過擬合現象。

將卷積神經網絡提取到的特征表示為{x1,x2,xK},其中，xi∈Rd，1≤i≤K，K=8，d=512，用于人…,臉識別的多模態信息。文中通過融合這些特征，得到一個更長的特征向量，表示為：

由于X的維度太高，識別速度過于緩慢，因此文中采用自動編碼器對X進行降維，以此極大提升人臉識別速度[15-16]。

使用一個三層自動編碼器進行編碼，各層自動編碼器的神經元數分別為2 048、1 024、512，自動編碼器最后的輸出即為人臉圖像的緊密特征。將sigmoid函數作為激活函數，每一個連接層可以表示為：

其中，，bf和xi分別為全連接模式下輸入的數值、權重值、偏置值。在決策階段，使用聯合貝葉斯模型作為分類器，減去均值后的臉部特征是由兩個獨立的高斯變量組成的，具體如下：

其中，μ表示人臉的身份信息，ε代表人臉表情變化參數。

假設類內變化概率為P(x1,x2∣H1)，而類間變化概率為P(x1,x2∣HE)，優化目標為“使類內變化盡可能小而類間變化盡可能大”。由上述計算得出，這兩種概率仍然服從高斯分布，采用EM 算法對兩種高斯變量進行數據學習，得到似然率，有效地對人臉特征進行快速識別，以此完成基于深度學習特征分析的多模態人臉快速識別方法設計。

4 實驗研究

為了驗證文中提出的基于深度學習特征的多模態人臉快速識別方法的實際應用效果，設定實驗，選用傳統的基于Hadoop 平臺的多模態人臉識別方法和基于彩色和深度信息的多模態人臉識別方法進行實驗對比。

選用的數據庫為三維人臉數據庫，數據庫共包含10 組人臉。其中，男性人數為4 人，女性人數為6 人。通過掃描儀對人臉進行識別，在識別過程中需要注意被選擇的對象不能佩戴任何飾品，也不能戴眼鏡。

在進行實驗時，根據五個人臉特征點將2D 人臉圖像映射到3D 模型上，根據人臉特征點及3D 基準模型得到正面人臉表示，將3D 模型上預先標好的15個特征點映射回2D 圖像。在每個映射后的2D 特征點周圍截取100×100 的像素塊，并選擇其中六塊作為人臉特征點周圍的局部圖像塊。得到人臉表示后，將這些圖片作為輸入，分別送入多個深度特征分析模型中進行訓練，得到多個深度特征向量。將這些特征向量連接，并作為深度特征分析模型的輸入進行降維處理，分析實驗結果。

設定驗收時間為24 h，得到的識別率實驗結果如圖3-4 所示。

圖3 男性識別率實驗結果

圖4 女性識別率實驗結果

根據圖3-4 可知，三種識別方法對于男性和女性所表現出的識別效果不同?；贖adoop 平臺的多模態人臉識別方法在識別男性人臉時，識別率更高，而基于彩色和深度信息的多模態人臉識別方法在識別女性人臉時，具有較強的識別能力，但是這兩種方法在識別另一種性別的人臉時，都顯現出較高的局限性。而文中提出的基于深度學習特征的多模態人臉快速識別方法通過同時采集數據特征完成信息分析，因此針對男性和女性都具有較強的識別能力。

多模態人臉快速識別錯誤率實驗結果如表1所示。

表1 識別錯誤率實驗結果

由表1 可知，傳統的識別方法在識別過程中容易受到光線和其他外界環境因素的影響，識別錯誤率較高，識別能力較差，無法進行精準識別。文中方法具有很強的識別能力，能夠在短時間內完成人臉精準識別。

識別速度實驗結果如表2 所示。

表2 識別速度實驗結果

觀察表2 可知，文中方法通過深度學習縮短三維數據的獲取時間，在分析特征后迅速生成圖像，完成人臉識別。文中的三維圖像資料是由3D 結構光三維掃描管理系統獲得，該系統對于人臉特征的定位是對人臉特征進行多個角度的拍照，并在短時間內完成拼接，得到三維彩色人臉特征樣本，同時針對得到的三維圖像資料進行一定的剪切、校對、補漏以及噪音消除等處理。經過該系統獲得的三維人臉數據位置具有很強的穩定性，通過分析人臉數據的結構信息便可得到人臉關鍵特征點的定位，因此識別時間更短，更適合于實際應用。

5 結束語

文中根據深度學習理論提出了一種新穎的多模態人臉快速識別方法，利用三條不同的特征曲線，對信息進行深度分析，通過深度學習特征提取實現快速識別。實驗結果表明，文中提出的人臉快速識別方法相比于傳統方法，能夠更加快速地實現多模態人臉識別，并提高識別精度，在人臉識別領域具有很好的應用效果。