基于Faster R-CNN 的復雜背景下的人臉檢測

王翰林，何中市

（重慶大學計算機學院，重慶400044）

0 引言

近些年，由于深度學習與圖像檢測的結合，導致圖像檢測領域的極大發展。人臉識別問題作為圖像檢測領域最活躍的問題之一，自然也取得極大的進步。各種新的基于深度學習網絡的人臉檢測方法層出不窮，在單一環境下的人臉檢測問題已經得到較為完善的解決。但是在復雜環境下，由于存在光照、遮擋、姿勢和分辨率等問題，人臉檢測的精度和速度還是有待提高。

目標檢測（Object Detection）領域在Ross Girshick引入深度學習模型CNN 之后，開始了新的篇章。Ross的主要貢獻是把CNN 這個模型作為特征提取器引入到了目標檢測領域，在這之前，目標檢測領域的所有處于特征提取階段的方法都是利用數學和經驗來人為的設計針對特定任務的特征，例如Viola-Jones 在人臉檢測領域內使用的Haar-like 特征，還有在行人檢測方向使用的HOG（Histogram Of Gradient）特征以及后來的SIFT（Scale-Invariant Feature Transform），這些特征在特定任務上的效果都比較好。但是，在涉及到更為復雜的環境下的檢測任務時，它們都不能很好地做到提取更為靈活準確的特征的效果。

CNN 模型以及其后來發展的變種，之所以能夠很好地適應復雜環境下的特征提取工作，是應為它具有大量的可調整的參數，而模型基于這些參數的不斷變化，可以帶來極強的擬合能力，這就能夠充分適應復雜的圖片和物體的變化，從這些樣本中提取真正關鍵的特征，而這些特征是靠人類事先設計是不可能實現的。

在通用目標檢測領域，基于Ross 提出的R-CNN模型，由何凱明博士提出了SPPnets，改進了圖像的輸入的需要固定尺寸的問題，接著Ross 又在SPPnets 的基礎上提出了Fast R-CNN 進一步的改進了模型，提出了RoI（Region of Interest）層，進一步提高了模型的速度和精度，然后何凱明等人又一次提出了Faster R-CNN模型，主要的貢獻是提出了RPN（Region Proposal Net?work）改進了Fast R-CNN 模型在生成候選區域的工作，共享了卷積計算，真正實現了端到端（end-to-end）的目標檢測模型。而Faster R-CNN 也是目前檢測精度最高的通用目標檢測模型。此外，還有YOLO 和SSD 等模型，在檢測速度上面比Faster R-CNN 模型的效果要好，但是檢測精度上總體上還有一些不足。

本文是以Faster R-CNN 模型為基礎，其中Faster R-CNN 模型中的CNN 部分采用了ResNet50 作為特征提取器。這是因為殘差網絡在現今的特征提取方面綜合性能是最好的，設計的模型的最重要的兩個點是人臉周圍的環境以及人類的注意力機制的引入。

人臉周圍環境考慮的是人臉因為在復雜背景下，會有很多的遮擋，光照或者分辨率問題，那么，我們在采用anchor（可以理解為模板），就要考慮我們是單純提取人臉大小的區域，還是根據人臉的大小采取適當的擴大，或者是采用針對一個人臉大小的范圍來采取特定大小的縮放。本文采用的是最后一種，這是基于論文find tiny face 提出的，其中有關于這個效果好的具體分析。

人類注意力機制，是模仿人類在觀察一張圖像時，我們總是傾向于去先查看Salient Object（明顯的目標），而不是對所有的物體都做同等重要的關注。所以我們考慮到這一點可以加速模型的檢測工作，我們具體是利用ResNet50 中的每個block 的最后一層的特征圖，賦予每個層不同的權重，來模仿人類的注意力機制，效果顯示能夠有效的加速模型的檢測速度。

1 相關工作

在人臉檢測領域出現了很多優秀的模型，從最早的能夠進行實時檢測的優秀模型Viola-Jones，該框架是首次在級聯的AdaBoost 分類器中使用了矩形Haarlike features，從而實現了實時的人臉檢測。缺點是特征的尺寸是相對較大，而且在處理非正面的人臉和復雜環境下的人臉的效果不是很好。為了解決VJ 算法的缺點，陸續在特征的使用上做了改進，例如HOG、SIFT、SURF 和ACF。還有一類是在分類器上面做了文章，如Dlib C++Library 使用了SVM 作為分類器，還有一些方法使用了random forest（隨機森林）來作為分類器。

接著出現了DPM（Deformable Parts Model）這種模型，這個模型是基于HOG 描述子改進而來的，主要是解決了物體的多個角度不同而導致的檢測不準的問題，在很多檢測領域都取得很好的檢測效果，一時間成為最好的檢測模型，在人臉檢測領域也連續成為最好的模型，直到CNN 模型引入到目標檢測領域。

近些年隨著深度學習模型的不斷發展，有很多優秀的人臉檢測模型結合了深度學習模型，取得巨大進步，例如Yunzhu Li 在其論文中使用了一個集成了Con?vNet 和3D mean 人臉模型的端到端的多任務學習框架，取得了不錯的效果。最近，由于Faster R-CNN 模型的興起，很多模型都開始采用Faster R-CNN 模型，例如Hongwei Qin 在他的論文中使用了該模型，在FD?DB 數據集上取得很好的效果。更多的模型都是對Faster R-CNN 模型進行一定的修改來使得自己的模型更適合復雜背景下的人臉檢測。例如Wan 等人聯合ResNet 和OHEM（Online Hard Example Mining）設計的模型在很多人臉數據集上取得優異的效果。還有Xudong Sun 在Faster R-CNN 的基礎上采用了特征融合（Feature Concatenation）、Hard Negative Mining、多尺度訓練（Multi-Scale Training）等策略來改進模型，在FDDB 數據集上取得了很好的效果。

還有很多人開始探索模擬人類的視覺機制來設計模型，例如最著名的就是Salient Object 檢測，這是利用了人類的注意力機制來設計模型，其主要思想是每一層的特征層提取的特征是不同，計算量也是不同的，越往后，特征圖越小，包含的信息越抽象，便于用來識別大的物體，但是小的物體或者說分辨率低的物體就比較容易被忽略，這是因為最后的特征圖往往每一個像素點都包含了巨大的接受域（receptive field）。而合理安排每個特征層權重，我們可以對圖片中出現的明顯物體進行快速的檢測，然后對非明顯物體進行詳細的檢測。這樣可以加快我們對圖像中人臉的檢測速度。例如在CVPR2018 會議上，Xiaoning Zhang 的論文提出了一種新的注意力引導網絡模型，它以漸進的方式選擇性地集成多層次上下文信息。除了模擬人類的注意力機制外，還有一些研究工作是在分析人臉對象周圍信息對于判斷人臉位置的重要性。

例如，Peiyun Hu 的find tiny face 論文提到了怎么選擇一個合適的模板來對人臉信息進行提取。

在本文中，我們提出了一種通過加入人類注意力機制以及環境模板信息的改進的Faster R-CNN 模型。

2 我們的模型

2.1 處理流程

我們的模型是在采用了ResNet50 網絡模型作為特征提取器，ResNet50 是在ImageNet 上進行預先訓練過的，我們采用的人臉檢測的數據集是WIDER FACE，它包含了32,203 張圖像，標記了393,703 個人臉，在圖像的尺寸、姿勢和遮擋方面具有高度的復雜性。這個數據集按照40%/10%/50%的比例劃分了訓練集，驗證集和測試集。模型的處理流程（Pipeline）如圖1 所示。

我們首先把基于注意力機制和環境信息改進的模型在WIDER FACE 的訓練集上進行OHEM（Online Hard Example Mining）的訓練，然后在驗證集上面進行超參數的選擇，接著我們對自己的模型進行最后的測試，繪制PR 曲線來評估，最后再與表現良好的模型進行對比，獲取自己模型的優缺點。

圖1 模型處理的基本流程

2.2 關于環境信息的使用

在我們的人類的認識里，環境對于物體的識別是至關重要的。我們通常都會根據人臉周邊的環境進行輔助人臉的識別。這里所說的環境，其實指的是人臉這個目標周圍的像素點，也就是人臉的ground-truth 之外的包圍框。這些多出的信息可以幫助我們進行人臉的識別，但是問題是我們需要采用多大的模板才能有效地幫助我們進行人臉的識別呢？

我們根據文章find tiny face 中的方法總結：

（1）對于大的目標（高度大于140px），使用0.5 倍的模板。

（2）對于小的目標（高度小于40px），使用2 倍的模板。

（3）對于兩者之間的就使用1 倍的模板。

這種環境信息的引入導致了模型檢測的準確度大幅度提升。

2.3 關于注意力機制的引入

注意力機制在這里的使用，主要是為了提高模型運行的檢測速度。注意力機制是對不同層的特征圖采用不同的權值，這些權值的大小決定了我們對不同大小物體（人臉）的重要程度，對于高度小于40px 的我們會側重于使用淺層的特征圖來進行檢測，對與高度大于140px 的物體我們會側重于使用深層的特征圖的特征進行檢測，介于兩者之間的物體我們則側重于使用中間的特征圖進行檢測。

圖2 鍵模塊的展示

3 實驗

3.1 實驗的準備

我們在WIDER FACE 數據集上進行了訓練、測試。這個數據集包含了32,203 張圖片，總共有393,703張人臉的標記，對于每張人臉的不同的表情（expres?sion）、光照（illumination）、圖像是否合法（invalid）、遮擋（occlusion）以及（pose）都有標注，這對于訓練和測試來說是十分有利的劃分。

我們使用了TensorFlow 框架作為訓練和測試模型的基本架構，使用ResNet50 作為網絡的backbone，進行特征的提取，這個網絡是在ImageNet 上面進行過預訓練的。我們實驗的第一步是使用WIDER FACE 的訓練集進行訓練，其中每個人臉的對應的標簽如表1 所示。

表1

其中2 表示這張圖片中的人臉的個數。

下面的10 個參數分別為：x1,y1,w,h,blur,expres?sion,illumination,invalid,occlusion,pose。

標注后的圖如圖3 所示。

圖3

我們訓練的設置的學習率為0.001，我們的anchor的設置改為根據人臉的大小也就是上面表格中的h 來設置相應的anchor 的大小，而不是采用傳統的anchor的設置方式，只是單純地采用長寬比和scales 來設置anchors 的大小。

我們在訓練的時候，還設置相對的res2cx、res3dx、res4fx 以及res5cx 的權重，一開始的初始化采用的是zeros 而不是正態分布的方式，這樣的實際效果要好一些。

第二步是在我們使用改進之后的RPN 生成的候選區域放入RoI 層進行相應參數的學習，之后會根據類別概率的損失函數和回歸損失函數進行學習，之后就得到了一個學習好的具有復雜背景下識別能力的模型。

3.2 模型在WIDER FACE數據集上的測試結果

圖4 給出了我們模型在WIDER FACE 上面的PR曲線，還有一些表現較好的其他的模型的PR 曲線作為對比。可以看到我們的在整體PR 曲線都和其他優秀的模型的PR 曲線持平或者有所超越。同時，經過測試，我們模型的檢測速度達到了3FPS，在這個精度下的，速度是比較快的。

另外，我們通過模型測試之后，隨機選擇一些測試結果的圖像，來展示我們模型的檢測效果。

圖4

圖5

4 結語

通過上面的分析比較，可以說利用人臉周圍的環境信息和注意力機制的引入是對復雜背景下的人臉檢測的效果提升比較明顯的，而且速度相對較快。但是可以注意到，檢測的精度和速度還是有很大空間進行提升的，尤其是檢測的速度，這一點可能需要更加合理地利用注意力機制來進行有效提升，這也是我們下一步努力的方向。