基于輕量級卷積神經網絡的人臉檢測算法

朱靈靈，高 超，陳福才

（1.鄭州大學中原網絡安全研究院，鄭州450000；2.中國人民解放軍戰略支援部隊信息工程大學，鄭州450000）

0 概述

人臉檢測算法是計算機視覺信息處理的經典問題，經過多年的研究已經比較成熟，但隨著移動設備的快速普及，人臉檢測算法需要應用在手持設備、車載設備等移動終端上。然而，這些終端設備在計算能力、存儲能力等方面相對服務器和個人計算機設備局限性很強。為使基于深度網絡的人臉檢測算法能夠較好地運行在移動終端設備上，基于輕量級卷積神經網絡的算法得到人們越來越多的關注。

國內外學者已經對人臉檢測算法進行了深入研究，提出了諸多經典方法。文獻［1］提出用于人臉檢測任務的多任務神經網絡模型，其主要采用3 個級聯網絡，運用候選框加分類器的思想進行快速高效的人臉檢測；文獻［2］提出的Faster RCNN 將特征抽取、候選框提取、邊界框回歸、分類整合在一個網絡中，使得綜合性能有較大提高；文獻［3］提出的SSD是一種基于單步候選區回歸的目標檢測算法。

在2012年舉行的ImageNet 大賽中，文獻［4］將卷積神經網絡AlexNet 應用在圖像分類中并取得冠軍，之后，基于深度學習的檢測方法得到快速發展；文獻［5］提出的GoogLeNet 網絡通過增大網絡規模，包括深度和寬度，提高網絡性能；2014年，文獻［6］提出的VGG 主要采用小尺寸的卷積核，被廣泛應用于視覺領域的各類任務中；文獻［7］提出的ResNet 網絡將網絡的層數推廣到了前所未有的規模。這些卷積網絡主要是通過加深網絡層數提高模型準確率，但增加了網絡的整體復雜度，使得網絡難以優化，容易過擬合。同時，現有的多數深度學習模型常會有較大的參數量，可以達到數百甚至上千兆，而移動端的計算能力、存儲資源較弱，很難將較大的深度學習模型部署在移動端上。因此，研究一種輕量級人臉檢測技術具有很好的工程應用價值和研究意義。2016年，文獻［8］提出Inception V3，該方法將1 個二維卷積拆分為2 個相對較小的卷積，如將7×7 卷積拆分成1×7和7×1 卷積，從而可以降低參數量；同年，文獻［9］提出的SqueezeNet 是采用1×1 卷積核代替3×3 卷積核，有效減少了輸出特征圖的通道數。文獻［10］提出輕量級卷積網絡MobileNet，在盡量保證檢測精度相當的基礎上，減少該網絡的參數量和計算量。

傳統的卷積神經網絡在采樣過程中由于采用方塊型的卷積核，其幾何變換建模的能力受到限制，模型的檢測性能受到影響。本文將文獻［11］中可變形卷積層應用到卷積神經網絡中，提出一種基于輕量級卷積神經網絡的改進人臉檢測算法Lightweight-SSH。采用MobileNet 輕量級卷積神經網絡對樣本數據進行特征提取，并通過改進后的單點無頭人臉檢測器（Single Stage Headless Face Detector，SSH）［12］對樣本數據中的人臉進行檢測。

1 相關工作

基于深度學習的人臉檢測算法主要由卷積神經網絡特征提取器和目標檢測器2 個部分組成，如圖1所示。卷積神經網絡特征提取器對加載后的數據集進行特征提取，得到特征圖后采用目標檢測器對其進行分類和回歸［13］。本文主要從上述2 個方面對SSH 檢測算法進行分析并改進：1）采用MobileNet 輕量級卷積神經網絡代替VGG-16 網絡來提取特征，有效降低模型復雜度；2）在SSH 檢測算法的檢測模塊部分加入可變形卷積的方法，有效提升模型對提取到的特征的處理能力，提高模型檢測準確率。

圖1 人臉檢測算法系統結構Fig.1 System structure of face detection algorithm

1.1 SSH 人臉檢測算法

檢測小尺寸人臉仍然是一項具有挑戰性的任務，在通常情況下檢測性能較好的人臉檢測器常常速度較慢，參數量較大。文獻［11］等提出的SSH 檢測器是單階段檢測，與兩階段最大的不同是直接同時進行分類和anchor 的回歸；SSH 骨干網絡采用的是去掉3 個全連接層的VGG-16 網絡，這些屬性使SSH 快速且輕量級。但需要注意的是，SSH 網絡的檢測速度較快是相對的，且依賴于GPU，VGG-16 網絡含有的參數量太大。另外，與其他常用的檢測算法不同的是，SSH 網絡不是依靠輸入圖像金字塔來檢測具有不同尺寸人臉的圖像，而是在不同特征層上進行檢測來保持尺度的不變。SSH 的目的是設計一個減少推理時間、占用內存低和尺度不變性的網絡結構，并可以有效地合并上下文，增加感受野，同時對卷積層提取的信息進行分類定位。

1.2 MobileNet 輕量級網絡

MobileNet 的核心是使用一種深度可分離卷積作為其基本單元來代替原來的標準卷積，經過這樣的操作可以達到近似傳統卷積的效果，同時可以顯著降低網絡的參數量和計算量，減少卷積核的冗余表達。在MobileNet 的網絡結構中，所有層后都加上BN 和非線性激活函數ReLU，除最后的連接層沒有非線性激活函數，其直接將結果傳送到softmax 層中進行分類。

SSH 算法采用VGG-16 網絡對樣本進行特征提取，即包含16 個卷積層和全連接層。采用VGG-16簡化網絡結構參數量較大，在ImageNet 數據集上，共包含了1.38 億個參數，導致模型特征參數量太大，影響檢測速度。針對這一現象，本文采用MobileNet 神經網絡作為基礎網絡對樣本數據進行特征提取，有效降低模型復雜度。

1.3 可變形卷積層

可變形卷積與可變形部件模型［14］（Deformable Part Model，DPM）不同，傳統卷積層采用規則形狀的卷積核，一般采用方塊形的卷積核對樣本進行采樣，若采用二維網格圖表示，則如圖2（a）所示，幾何變換能力受到限制。而可變形卷積針對這一限制，在原有卷積核上加入一個偏移的向量，如圖2（b）～圖2（d）所示，該偏移量是通過網絡結構的一個平行標準卷積單元計算得到，進而可以通過梯度反向傳播進行端到端的學習［14］。加上偏移量的學習后，可以根據當前需要檢測的圖像內容進行動態調整卷積核的大小和位置，其直觀效果就是不同位置的卷積核采樣點位置會根據圖像內容發生變化從而適應不同物體的形狀、大小等幾何形變。增強模型對于非剛性物體變換的建模能力，并提高對物體的檢測效果。

圖2 卷積核采樣點的位置分布Fig.2 Location distribution of convolution kernel sampling points

圖3所示為可變形卷積網絡結構。偏移量通過一個卷積層學習得到，該卷積層的卷積核與普通卷積核一樣，輸出的偏移尺寸和輸入的特征圖尺寸一致。偏置區域是變形卷積外加的待訓練參數，大小和輸入層圖片一致，卷積窗口在偏置區域上滑動呈現卷積像素偏移的效果。傳統卷積網絡少了圖3中虛線框的部分。

圖3 可變形卷積網絡結構Fig.3 Structure of deformable convolutional network

2 Lightweight-SSH 人臉檢測算法

人臉檢測算法SSH 最大的特色就是尺度不相關性。MTCNN［1］網絡在預測時，主要是通過多次輸入不同尺寸大小的圖片并對其進行預測再通過非極大值抑制（NMS）；而SSH 只需要1 遍傳播就可以完成預測。SSH 的實現途徑主要就是對VGG 不同的卷積輸出層做了3 個分支（M1，M2，M3），每個分支都是用類似的流程預測檢測和分類結果。SSH 的速度較快、占用內存低的特性是相對的，并不能很好地應用在移動端上。本文主要從2 個方面對SSH 進行改進并設計Lightweight-SSH 網絡結構，該模型結構如圖4所示。

圖4 Lightweight-SSH 模型結構Fig.4 Structure of Lightweight-SSH model

2.1 MobileNet 網絡結構的改進

傳統卷積神經網絡雖然有良好的特征提取能力，但是模型復雜度較高、計算量較大，無法很好地適用于硬件性能有限的設備［13］。SSH 算法采用VGG-16 對樣本數據進行特征提取，但VGG-16 的參數量較大，影響檢測速度。在ImageNet 數據集上，VGG-16 包含1.38 億個參數，1.0MobileNet-224 包含4.2×106個參數，而兩者準確率相當。采用MobileNet輕量級網絡替代VGG-16 來對樣本數據進行特征提取，可以在保證檢測精度相當的同時顯著降低模型的計算復雜度。

2.1.1 深度可分離卷積與通道縮減

MobileNet 的核心是使用深度可分離卷積作為其基本單元來代替原來的標準卷積［15-16］。圖5所示為標準卷積、深度卷積和1×1 逐點卷積示例，使用深度卷積核與逐點卷積核代替標準卷積核，可以達到與標準卷積相同的卷積效果。假定輸入特征圖F大小是DF×DF×M，而輸出特征圖G大小是DF×DF×N，假定輸入、輸出特征圖的寬高相同皆為DF，M、N分別表示輸入、輸出的通道數。設定DK×DK為卷積層中卷積核K的大?。?7］。

圖5 標準卷積與深度可分離卷積Fig.5 Standard convolution and depth separate convolution

對于標準卷積而言，假設卷積核的步長為1，其卷積過程如式（1）所示，經過相應計算可以得到輸出特征圖：

計算量為：DK×DK×M×N×DF×DF。

對于深度可分離卷積而言，深度卷積操作如式（2）所示：

其中：K的尺寸為DK×DK×M，計算量為DK×DK×M×DF×DF；1×1 的逐點卷積的計算量大小為M×N×DF×DF?？偟挠嬎懔繛閮烧呦嗉?，即DK×DK×M×DF×DF+M×N×DF×DF。

通過式（3）可以得到將標準卷積操作分解為2 個步驟后減少的計算量，即兩者計算總量的比值：

MobileNet 主要使用尺寸大小為3×3 的深度可分離卷積，即DK=3，通過式（3）的結果可以看出，采用該操作可以將計算量減少8～9 倍，提高了計算的效率。

引入寬度因子α可以控制模型大小，縮減通道，降低模型參數量，如式（4）所示：

令α=0.25，引入寬度因子α后，計算量約降為原來的1/16。

2.1.2 多級特征融合

在卷積神經網絡提取圖像特征的過程中，網絡層數越深，特征圖包含的語義信息越多，更有利于檢測大尺寸人臉；網絡層數越低，特征圖包含的空間信息越多，更有利于檢測小尺寸人臉。Lightweight-SSH是以MobileNet 作為特征提取的骨干網絡，為更好地檢測不同尺寸的人臉，利用SSH 算法的尺度不變性，即通過不同的檢測層對不同尺寸的人臉進行分類和預測檢測，在該網絡的不同卷積輸出層做3 個分支（M1、M2、M3），分別對小、中、大尺寸的人臉進行檢測。如圖4所示，首先采用自底向上的線路選取Conv3、Conv4、Conv5 3 個層的特征圖作為檢測層，記為C1、C2、C3，然后使用自頂向下和橫向連接分別計算3 個層的輸出。自底向上即為網絡的前向過程，在此過程中，經過特定卷積層后特征圖的大小會改變，而經過其他一些層時不會改變，將同等特征圖大小的層歸為一個階段，每次抽取每個階段的最后一層輸出。自頂向下的過程進行上采樣從而使其結果和自底向上生成的特征圖大小相同，而橫向連接則是將兩者進行融合，采用1×1 卷積層輸入進行降維，從而可以降低本模型的大小。為消除上采樣的混疊效應，在融合之后通過3×3 的卷積核對上一步的融合結果進行卷積。將計算得到的輸出特征圖分別送入檢測模塊M1、M2、M3。

2.2 Lightweight-SSH 算法檢測

在Lightweight-SSH 算法中主要采用檢測模塊（M1、M2、M3）對特征提取部分得到的特征圖進行處理，檢測模塊結構如圖6所示，2 個1×1 卷積核分別對應輸出分類和回歸結果，該模塊中包含1 個簡單的上下文模塊來增加感受野的有效性。

圖6 檢測模塊結構Fig.6 Structure of detection module

在卷積神經網絡中，感受野是指卷積神經網絡中每一層輸出特征圖上的單個像素點所對應的輸入圖像的映射區域大?。?8］。而SSH 檢測算法中的上下文模塊主要用來增大感受野，提高準確率，即通過使用串聯的卷積層代替較大尺寸的卷積層從而增加卷積層的感受野同時可以減少參數量，并將2 個3×3 卷積層和3 個3×3 卷積層并聯的結構作為檢測模塊的目標尺寸。在此基礎上，將原來SSH 結構的上下文模塊中的3×3 卷積層替換為可變形卷積層，即可以針對不同形狀的物體采用不同的幾何形狀進行采樣，提高了對不規則物體的形變建模能力。

可變形卷積核相較于傳統卷積核，其主要是引入一個偏移量{Δpn|n=1,2,…,N}，其中，N=|R|。每一個位置p0的輸出結果為：

其中：pn表示在卷積窗口中任意一個像素點；w(pn)表示像素點pn的權重；x表示輸入層像素點的集合；Δpn表示像素點pn的偏移量。

具體的上下文模塊結構如圖7所示，DCN 表示可變形卷積層。采用傳統卷積層的模型主要是由數據本身所具有的多樣性來提高對物體幾何形變的適應能力，即該模型不能很好地適應目標物體的形變，從而不能較好地對樣本進行采樣。而可變形卷積層通過一個平行的標準卷積單元計算得到偏移量后，可以根據當前需要檢測的目標物體進行動態調整卷積核的大小和位置，其直觀效果即卷積核采樣點位置會根據目標物體發生自適應變化，從而適應不同物體的形狀、大小等變化。

圖7 改進的上下文模塊結構Fig.7 Improved context module structure

通過對SSH 檢測算法進行改進，本文提出的Lightweight-SSH 檢測模型在檢測速度、檢測精度、模型大小等性能上都有所提升，從而可以更好地應用在人臉檢測的移動端設備。

2.3 檢測模型目標函數

對于任何訓練的錨點框i，通過訓練最小化多任務損失函數，其包含分類任務和邊框回歸任務，如式（6）所示：

人臉分類的損失函數Lcls是二分類的softmax 損失，具體表示如式（7）所示：

人臉框的回歸損失函數Lbox采用L1損失函數，如式（8）所示：

其中：

3 實驗結果與分析

3.1 實驗數據集

本文采用Wider Face［19］數據集對人臉檢測定位任務和人臉分類任務進行訓練，該數據集共有32 203 張人臉圖片，并標記393 703 個具有高度變化性的人臉，其中包含遮擋、化妝、角度、不同尺度、姿勢等情況下變化的圖片，如圖8所示。在本文實驗中，將該數據集的人臉圖片隨機劃分，40%的數據作為訓練集，10%的數據作為驗證集，50%的數據作為測試集，分別包含約12 881、3 220、16 102 張人臉圖片。同時，訓練集、驗證集、測試集標注的人臉數量分別約為84 600、18 500、290 600 個。

圖8 Wider Face 中不同尺寸、姿勢、遮擋、化妝等情況下變換的示例Fig.8 Examples of transformtions in Wider Face different Scale，Pose，Occlusion，Makeup，etc.

3.2 評價指標

本文實驗結果評價指標采用精確率（P）與召回率（R）。

精確率是針對預測結果而言，表示被正確預測的人臉數量占樣本中所有預測為人臉的比例。精確率計算公式如下：

其中：TP 表示被正確預測的人臉數量；FP 表示被錯誤預測為人臉的數量。

召回率是針對原本的樣本而言，表示樣本中被正確預測的人臉數量占樣本中總人臉數的比例。召回率計算公式如下：

其中：FN 表示人臉被錯誤預測為背景的數量。

3.3 實驗設置

交并比（IoU）一般指目標預測框和真實框的交集和并集的比例。在訓練過程中，通過設置IoU 的閾值劃分正負樣本。在訓練時，當設置IoU 大于閾值0.5 時，錨點框匹配到正樣本中；當IoU 小于0.3時，則匹配到負樣本中；未匹配的錨點框在訓練中被忽略。錨點框總數約為102 300 個，而由于大多數錨點框（約大于99%，約有101 277 個）被匹配為負樣本，本文采用標準的困難樣本挖掘（OHEM）來緩解正、負訓練樣本之間的顯著不平衡。根據損失值對負錨框進行排序，并選擇損失最大的anchors，這樣負樣本和正樣本之間的比例至少為3∶1，最終被忽略掉的錨點框約為98 208 個。

對于Wider Face 數據集的測試，采用Box voting即邊框投票機制，并設置IoU 閾值為0.4。在檢測模型檢測目標對象時，每個目標附近會產生多個邊界框，將這些邊界框的得分進行排序，選中最高分及其對應的框；遍歷其余邊界框，選取和當前最高分邊界框的重疊面積大于設定的閾值（0.4）的邊界框；最后取這些邊界框的加權平均值作為最終預測的邊界框位置，即為預測的人臉框位置。

實驗采用分段訓練的策略，在模型訓練過程中，按照設定的訓練節點調整學習率的大小，減少模型訓練過程中的損失。其中，初始學習率設置為0.001，在5 個輪次后上升為0.01，之后在第55 個和第68 個輪次時，學習率分別除以10。學習率的設置采用了warm up 預熱學習率的方式，由于在剛開始訓練時，模型的權重是隨機初始化的，此時若選擇一個較大的學習率，可能帶來模型的不穩定，選擇warm up 的方式，可以使得開始訓練的5 個批次內學習率較小，在預熱的小學習率下，模型可以趨于穩定，等模型相對穩定后可以再選擇預先設置的學習率（如0.01）進行訓練，使得模型收斂速度變得更快，模型效果更佳。動量參數設置為0.9，每個訓練批次隨機讀取32 張圖片。在訓練過程中采用的是隨機梯度下降（SGD）算法優化整個網絡模型。

預訓練模型采用的是Gluon Model Zoo 的標準版MobileNet0.25 預訓練模型。本文的所有實驗都是在Ubuntu 16.04.5 LTS 系統下利用MXNet 框架完成的，系統的硬件環境為TITAN XP 處理器。

3.4 實驗結果

為進一步驗證模型的性能，將本文算法Lightweight-SSH 與近年來的主流算法SSH、多任務級聯卷積神經網絡（Multitask Cascade Convolutional Neural Network，MTCNN）和多任務深度卷積網絡（Multi-Scale Deep Convolutional Neural Network，MSCNN［20］）在相同的實驗環境和相同的數據集上進行對比，在Wider Face 人臉驗證集的Easy、Medium、Hard 3 個子集上得到的P-R 曲線如圖9所示。其中3 個子集根據邊緣框的檢測情況劃分為簡單、中等、困難3 個難度等級。

圖9 Wider Face 人臉驗證集測試結果Fig.9 Test results of the Wider Face verification set

從圖9 可以看出，Lightweight-SSH 算法較MSCNN、MTCNN 算法在檢測精度上占有優勢；而該算法在3 個子集上與SSH 算法的性能相當，但Lightweight-SSH 算法能更好地部署在移動端。在Hard 子集上能夠達到0.82 的檢測精度，表明該算法檢測小尺寸人臉具有良好的效果。

將Lightweight-SSH 算法與當前常用的人臉檢測算法在Wider Face 上進行性能比較。具體的比較結果如表1所示，其中粗體為最優值。

表1 不同算法在Wider Face 數據集上的性能對比Table 1 Performance comparison of different algorithms on Wider Face datasets

從表1 可以看出，相比MSCNN、MTCNN 人臉檢測算法，Lightweight-SSH 人臉檢測算法在檢測精度、浮點運算數、模型大小、檢測時間各個性能中都有大幅優化，占有明顯優勢。同時，將SSH 算法中的骨架網絡VGG16 網絡替換為MobileNet 網絡后，檢測精度稍有差距，但浮點運算數約降為原來算法的1/15，大大減小了模型大小，并提高了單幅圖片檢測速度。Lightweight-SSH 算法在MobileNet-SSH 算法基礎上模型大小雖稍有增加，但提高了檢測精度，且滿足移動設備的條件。

通過上述比較實驗結果可知，采用MobileNet 輕量級卷積網絡作為基礎網絡來提取特征，有效降低了模型參數量和計算量，減小了模型大?。粚⒕矸e神經網絡中的相應傳統卷積層替換為可變形卷積層，有效地提高了人臉檢測的準確率，表明了Lightweight-SSH 算法的有效性。

3.5 檢測效果

圖10所示為本文算法與MSCNN、MTCNN 人臉檢測算法的檢測結果對比，矩形框表示檢測出的人臉位置。由圖10（a）、圖10（b）、圖10（c）可見，在檢測密集的小人臉的情況下，Lightweight-SSH 算法在檢測小尺寸人臉上有較好的優勢。

圖10 不同算法的檢測結果對比Fig.10 Comparison of different algorithms detection results

4 結束語

針對移動端計算能力及存儲資源受限的問題，本文提出一種基于輕量級卷積神經網絡的改進人臉檢測算法Lightweight-SSH，并從2 個方面對現有的人臉檢測算法SSH 進行改進。使用MobileNet 輕量級卷積神經網絡代替VGG-16 作為基礎網絡對樣本數據進行特征提取，降低了模型的參數量和計算量，減少了內存占用性能。通過在SSH 網絡的檢測模塊中引入可變形卷積層，即可對不同形狀的物體采用不同的幾何形狀進行采樣，提升了卷積神經網絡的形變建模能力，從而提高非約束環境下的人臉檢測性能。實驗結果表明，本文算法在保證準確性的前提下，能夠提高模型處理速度，降低模型復雜程度，有效提升基于移動端的人臉檢測算法性能。下一步將針對移動端的人臉檢測率低于PC 端的問題，在保證模型檢測的時間性能基礎上優化網絡結構，從而更好地進行人臉檢測。