基于級聯深度卷積神經網絡的面部特征點定位算法

李悅 山東科技大學

基于級聯深度卷積神經網絡的面部特征點定位算法

李悅 山東科技大學

面部的特征點準確定位對于表情識別和面部動畫合成等應用具有重要的意義。隨著網絡時代自拍的盛行，人們對于實際應用場景中不同光照，角度和遮擋條件下的準確特征點定位提出了更高的要求。本文設計了一種基于級聯的深度卷積神經網絡的面部特征點定位算法，在初步特征點識別的基礎上利用級聯網絡進行回歸優化擬合，從而達到了精確定位的效果。

深度卷積神經網絡 級聯 面部特征點

面部特征點識別是指根據輸入的人臉圖像，自動識別出眼角、眉心、鼻尖、嘴角、輪廓等特征點的位置。面部特征點的識別是面部屬性分析、老化模擬、人臉對齊以及動畫合成等等問題的基礎，實現精確的面部特征點定位具有重要的意義。本文設計的級聯深度神經網絡算法具有兩級網絡結構，其中一級網絡負責特征點的識別，二級網絡實現特征點的定位優化。

1 一級特征點識別

深 度 卷 積 神 經 網 絡（Deep Convolutional Neural Network,DCNN）是近些年來興起的一種高效的識別方法，在數字圖像處理的諸多領域都取得了很好的效果。DCNN的基本結構由特征提取和特征映射兩部分構成，通過局部感知和神經元權值共享的方法，我們可以堆疊出一個深層的結構并能夠從數據中學習到很好地效果。

我們首先利用一個9層的深度卷積神經網絡實現面部特征點大致區域定位。由于網絡的最后兩層是全連接層，輸入圖像的尺寸必須是固定大小，因此針對候選的人臉區域，將其縮放到39×39像素大小。對于輸入圖像，先后用一個4×4和兩個3×3的卷積核對圖像進行卷積操作，每個卷積層后面進行最大值池化來降低參數的數量，提高網絡的效率。最后，通過兩個全連接層對坐標參數進行回歸，由于實驗中采用了眼角、鼻尖、嘴角的標注，最終輸出層的神經元數目為10，代表了回歸出的5個特征點的二維坐標值。

在神經網絡的選取過程中，本文選取了以下三個優化方法。①適度增加神經網絡的深度。在大范圍圖像上進行特征點識別是一個高層特征的任務，通過增加神經網絡的深度，高層的神經元可以接受更大區域的輸入信息，增強輸入輸出的非線性相關程度，實現更好的定位效果。②選取雙曲正切函數作為激活函數，并在激活函數層后添加絕對值映射，從而保留更多的對比信息，應對低對比度的情況。③利用局部的神經元權值共享。人臉圖像具有相對固定的空間布局，因此全局的神經元權值共享無法反映出局部區域的特征差異。本文針對人臉圖像進行分塊，對局部的權值進行共享，從而更好地提取圖像特征。

2 次級特征點優化網絡

通過一級的神經網絡，我們得到了面部特征點的大致位置。我們通過五個淺層的神經網絡組成次級特征點優化網絡，針對特征點所在的局部區域進行分析和處理，從而回歸出特征點的精確位置。

五個子網絡分別針對五個特征點進行坐標的回歸。選取一級網絡得到的特征點周圍15×15的區域，分別作為五個子網絡的輸入圖像。我們先后采用一個4×4和一個3×3的卷積核對局部圖像進行卷積操作，每個卷積層后面接最大值池化層操作。最后是兩個全連接層，由于每個子網絡只針對一個點進行回歸，因此輸出層的神經元數目為2，代表了對應坐標點的二維坐標值。由于次級網絡的坐標回歸是在局部圖像上進行的，對于次級網絡的輸出需要進行線性坐標映射還原到原圖上去，從而形成最終的網絡輸出。

在神經網絡的訓練過程中，針對一級網絡，我們利用現有的人臉標注庫作為訓練數據。針對二級網絡，我們采用相應標注點為中心的圖像區域作為訓練圖像。二級的級聯結構能夠同時利用圖像的深度特征和區域的局部相關信息，利用深度網絡在大尺度上進行特征點的區域定位，進而利用淺層網絡實現局部的優化和擬合，從而兼顧了精確度和效率，為后續在移動端的部署打下了基礎。

3 實驗結果

下圖是我們選取了一些具有代表的實驗結果。從左到右，分別代表了大角度側臉，大幅度特殊表情，區域遮擋和低對比度暗光照四種常見的難處理場景。我們用綠點標記了眼角、鼻尖和嘴角五個特征點的識別情況，可以看到本文提出的基于級聯深度卷積神經網絡的面部特征點識別算法具有很強的魯棒性，在各種復雜的場景下都能夠實現特征點的準確識別和精確的定位。

4 結語

本文提出了一種基于級聯深度卷積神經網絡的面部特征點識別算法，構造了二級級聯的網絡結構，分別對面部圖像進行特征點的區域定位和坐標的優化。相關實驗表明算法在實際應用的復雜場景中具有很強的魯棒性和極高的識別精度，為后續基于面部特征點的操作打下了良好的基礎。

[1]謝鄭楠.基于多任務特征選擇和自適應模型的人臉特征點檢測[D].北京交通大學,2016

[2]劉俊權.人臉關鍵特征點定位與識別研究[D].東南大學,2016

[3]李月龍,靳彥,汪劍鳴,肖志濤,耿磊.人臉特征點提取方法綜述[J].計算機學報,2016,(07):1356-1374

[4]劉暢翔.人臉特征點定位算法及其在人臉識別的應用研究[D].東華理工大學,2015