臉眼協同檢測算法在廣告推薦系統中的應用

蘇 彬，梁 棟

(1.南京航空航天大學 計算機科學與技術學院 模式分析與機器智能工業和信息化部重點實驗室，江蘇 南京 210016；2.軟件新技術與產業化協同創新中心，江蘇 南京 210016)

0 引 言

作為人臉識別、人臉對齊、人臉驗證和人臉跟蹤等應用程序中的關鍵步驟，人臉檢測的主要任務是確定給定圖像或視頻中存在的人臉，然后查明臉部的位置和大小[1-3]。在廣告推薦場景中，目標是檢測當前在廣告屏幕前并且正視廣告屏幕的用戶，識別用戶的性別、年齡和身份信息，從而做出準確的廣告推薦。廣告終端中攝像頭的主要目的是檢測抓取面向終端屏幕的人臉圖像，避免檢測抓取到側臉等其他非正視廣告設備的人臉進而導致無效的廣告推薦。

人臉姿態估計[4-5]方法有很多，這些方法通常通過二維圖像間接獲得三維參數[6]，以達到人臉姿態估計的目的。然而，非配合式的人臉圖像檢測[7]在工程應用中由于硬件成本的限制，具有人臉檢測功能的智能設備僅適用于簡單的人臉檢測不具備使用較復雜的人臉姿態檢測的算法能力，在該應用中，僅需要檢測正對照相機的臉部即可，無需對人臉姿態進行全面的檢測評估。因此，需要一種簡單有效的檢測算法用于檢測到關鍵用戶的臉圖。

1 算法的選擇和優化

1.1 算法比較分析

目標檢測算法有兩個主要分支：anchor-based的目標檢測算法和anchor-free目標檢測算法。然而，anchor被越來越多的目標檢測算法使用，原因在于預先對要檢測的目標可以使用k-means[8]等聚類算法計算出目標可能存在的尺度，這樣網絡對目標的預測會更加準確。

在PASCAL VOC數據集和COCO數據集[9]上對anchor-based的目標檢測算法中的Faster R-CNN[10]、Cascade R-CNN[11]、YOLOv2[12]、YOLOv3[13]、YOLT[14]和SSD網絡[15]進行了對比分析。表1是在PASCAL VOC數據集上的對比結果，表2是在COCO數據集上的對比結果。

在表1中，除YOLT之外，其他目標檢測算法在PASCAL VOC上的實驗結果來自于對應的論文里面的最好的實驗結果。

表1 基于anchor的目標檢測算法在PASCAL VOC上的檢測結果

從表1中可以看到，YOLO、YOLT和SSD的速度要比Faster R-CNN快，這主要是因為YOLO、YOLT和SSD沒有生成目標建議區域的步驟，從而大大節省了目標建議區域，進而減少了算法的時間消耗。但是從表2發現，表現最佳的仍然是Cascade R-CNN，與理論結果相同。從理論上講，Faster R-CNN和Cascade R-CNN比YOLO和SSD更準確，但是檢測速度較低。

表2 基于anchor的目標檢測算法在COCO數據集上的檢測結果

因為該應用場景的困難在于檢測作為小目標的眼睛，因此，該文特別關注COCO數據集上的小目標檢測結果APs。可以發現最佳結果是Cascade R-CNN，其次是YOLOv3，然后是SSD，最后是YOLOv2?；谝陨系谋容^分析和工程經驗，該文選擇SSD網絡作為基本檢測器并根據這種情況對其進行優化。

1.2 SSD介紹

Single Shot MultiBox Detector(SSD)[15]是一種端到端的目標檢測算法，該算法也是一種一階段檢測算法，將檢測問題直接轉化為回歸的問題，SSD網絡還借鑒了Faster R-CNN中的anchor機制，生成了prior box機制。prior box其實也就是一些目標的候選邊界框，之后使用softmax分類和邊界框回歸得到目標置信度得分和邊界框信息。SSD按照如圖1方式生成prior box：以特征圖上每個網格的中心點為中心，生成一系列同中心的prior box。prior box最小邊長為min_size，最大邊長定義如下：

圖1 prior box

(1)

SSD設置了aspect ratio，利用aspect ratio生成2個長方形，這兩個長方形的長和寬分別為：

(2)

(3)

prior box的min_size和max_size由以下公式決定：

(4)

SSD網絡最重要的貢獻是加入了基于特征金字塔的目標預測方法，該方法使用conv4_3、fc7、conv6_2、conv7_2、conv8_2和conv9_2這些大小不同的特征圖來預測不同尺度的目標。SSD在金字塔層次結構的預測特征圖上同時添加了分類和邊界框回歸兩個分支網絡來進行目標預測。該網絡的突出貢獻還在于使用高層特征圖檢測大目標，使用中層特征圖預測中等目標，使用低層特征圖檢測小目標。

該網絡采用標準的VGG16作為特征提取器，然后添加額外的卷積層到被截斷的VGG16網絡中。SSD采用特征金字塔層次結構，利用逐層預測的方法來檢測目標。該網絡通過多尺度的方法來提高mAP。但是，對于人眼這種小目標檢測，SSD的檢測效果并不是很好，原因主要有兩個方面。原因一在于占圖像比例過小的目標經過卷積之后，在conv4_3層輸出的特征圖上目標尺寸大約為1×1，目標細節的信息將會在conv4_3層之后逐漸消失直至完全消失。原因二在于SSD網絡低層的特征圖尺寸大，但是特征圖所包含的語義信息不夠，高層的特征圖的語義信息豐富了，但經過太多的池化層，特征圖太小了。因此，對于小目標檢測來講，增加特征圖尺寸是非常重要的，同時語義信息的添加有益于分類特征的提取。

1.3 優化后的SSD

針對小目標檢測的特點[16-17]，根據經驗，特征圖尺寸的大小與小目標檢測的性能有很大關系。為了增大SSD網絡預測特征圖的尺寸，將輸入圖像的尺寸從300×300調整為500×500。同時為了獲得更多有益于小目標分類的特征，追加了3個卷積層在SSD網絡之后，這也意味著預測層從原來的6個變為9個。

圖2表明優化后的SSD與SSD相比主要有三個方面不同：

圖2 優化后的SSD 500×500的網絡架構

(1)增大了conv7_2、conv8_2和conv9_2層輸出的特征圖尺寸。

(2)在SSD網絡后追加了conv10、conv11和conv12三個卷積層，從而獲取更多有益于小目標分類的特征。

(3)預測層從原來的6個變為9個，增大了網絡預測目標的可能性。金字塔結構網絡低層用來檢測小目標，網絡高層用來檢測大目標。

優化后的深層次SSD算法，損失函數的計算同SSD算法一致，損失函數如下：

(5)

(6)

(7)

需要分別計算bounding box loss(Loc loss)和classification loss(Conf loss)，并最終求和。另外系數α用來平衡兩種模型的優化比例，本方法中，它被賦值1；同時在本系統中僅關注人臉、眼睛兩個目標，所以檢測目標分為2類，即人臉和眼睛，把這種優化后的SSD算法命名為optimized SSD。

1.4 目標臉圖的選擇和標準化方法

在檢測到人臉和眼睛后，首先將人臉按照像素大小進行排序，并從最大的人臉圖像中判斷在該人臉區域中是否同時有兩只眼睛，如果沒有，則判斷下一張人臉。如果存在，則檢查左眼與人臉圖像左邊緣之間的距離以及右眼與人臉圖像右邊緣之間的距離差是否超出限制；如果否，則該人臉為目標人臉，即正對廣告屏幕的用戶，并停止判斷；如果不是，將判斷下一張臉，直到判斷出檢測到的最小臉為止。判斷左右眼睛和臉邊緣的距離差是否超過限制的方法如下：第一步設備臉圖的bounding box為Pf(xfyfwfhf)，兩只眼睛的bounding box分別為Pe1(xe1ye1we1he1)和Pe2(xe2ye2we2he2),如果xe1

|2*[(xe1-xf)-(xf+wf-xe2-we2)]/[(xe1-xf)+(xf+wf-xe2-we2)]|*100%

(8)

如果xe1>xe2，則誤差率是：

|2*[(xe2-xf)-(xf+wf-xe1-we1)]/[(xe2-xf)+(xf+wf-xe1-we1)]|*100%

(9)

如果誤差率大于等于30%,將認為誤差率超限，這種檢測器定義為臉眼協同檢測器。

2 實 驗

2.1 實驗數據和訓練

相比于眼睛檢測，人臉檢測屬于大目標檢測，所以在數據選擇和設計階段更關注眼睛的檢測，而且適合工程場景的人臉及眼睛數據采集與標注是進行實驗的基礎。這些圖像的采集主要有三個方面，一個是自己收集的場景應用中的正樣本圖像2 680張，負樣本圖像896張，另外是使用了FDDB和CAS-PEAL[18]中的數據集。訓練集、驗證集和測試集的詳細信息如表3所示。數據集中的負樣本圖像是非目標對象(例如側面，頭部等)，由于人眼的尺寸在圖片中所占比例太小，因此，眼睛檢測定位是一項重要的任務。

表3 訓練數據集

分析了數據集中眼睛占整個畫面比例大小的分布情況，眼睛尺寸占畫面的比例定義如下：

?=object_size/image_size

(10)

根據?值的范圍，將單只眼睛尺寸從小到大(S，M，L，XL)進行了排序，其中S對應?≤0.5%，M對應0.5%

訓練數據集經過分類后小尺寸眼睛圖片S占整個數據集的35.62%，中尺寸眼睛圖片M占整個數據集的56.44%，大尺寸眼睛圖片L占整個數據集的7.78%，因此該數據集更加關注小尺眼睛目標，同時也考慮到了不同尺度眼睛目標。

文中使用小尺寸眼睛數據集S和整個數據集W的訓練集來訓練網絡。在Caffe框架下，使用一塊P4的NVIDIA GPU進行實驗。實驗中使用訓練好的SSD 500×500網絡模型作為預訓練模型來訓練Optimized SSD和它的變種網絡，然后在訓練集S和W上微調網絡模型。為了定量和定性地分析比較網絡，所有網絡的基本參數設置如下：迭代次數為120 k，動量大小為0.8，權重衰減大小為0.000 5，批處理大小為6。網絡訓練的初始學習率為10-3。當網絡迭代到6萬次，9萬次和12萬次時，學習率變為10-4，10-5和10-6。所有新的添加層初始化模式是“xavier”。訓練階段的每次迭代過程，網絡模型會預測目標的邊界框和類別，然后去更新網絡參數來最小化分類和定位損失。

2.2 實驗結果

2.2.1 Optimized SSD與SSD的比較

實驗中，使用了SSD網絡在小尺寸數據集S和整個數據集W訓練集上訓練SSD和Optimized SSD網絡，然后在對應的驗證集上評估它們，實驗結果如表4所示。

表4 Optimized SSD和SSD網絡在驗證集S和W上的實驗結果

Optimized SSD方法在驗證集S和W上都取得了更好的性能。在驗證集S上，Optimized SSD網絡將SSD網絡的檢測精度從87.61%提升到了89.81%。同時，在驗證集W上，Optimized SSD網絡將檢測結果從92.03%提高到了93.16%。雖然Optimized SSD 500×500的檢測速度略低于SSD 500×500，但仍然能滿足實時檢測的要求。

2.2.2 基于Optimized SSD 的Face detector和Face-eyes Co-detector對比實驗

為了評估Face-eyes Co-detector在檢測目標人臉中的性能，使用Optimized SSD訓練了僅檢測人臉的檢測器，和同時檢測人臉和雙眼的Face-eyes Co-detector,兩種檢測器使用相同的訓練數據和參數，比較并分析了上述兩個檢測器的實際效果。使用了兩種方法，第一種方法是使用CAS-PEAL數據集中的1 084個樣本圖像，包括586個正臉圖像、382個45°側臉圖和116個90°側臉圖。

驗證負樣本檢測率，比較結果如表5所示。

表5 使用方法一的比較結果

第二種方法用來驗證在相同應用環境中的實際檢測效果。這種方法分別使用Face detector的設備收集了3 005張臉圖和使用Face-eyes Co-detector收集了2 982張圖像，然后使用基于三維模型和仿射對應原理的人臉姿態估計方法將采集的圖像分類為正臉(小于15°的)，15°至45°的人臉和大于45°的人臉三個類別。實驗比較結果如表6所示。

表6 方法二對比結果

定義錯檢率為非目標人臉數量占總檢出人臉總數的比例，非目標人臉包含了yaw大于15°的側臉，其中細分為15°≤yaw<45°側臉和yaw>45°的側臉。從圖3可以看出，使用Face-eyes Co-detector在廣告推薦場景中錯檢率遠低于非臉眼協同檢測器，尤其是大角度的側臉，兩種方法使用臉眼協同檢測器檢出率均為0。

圖3 錯檢率

3 結束語

針對廣告推薦場景，提出了眼臉協同檢測器(Face-eyes detector)和Optimized SSD網絡，Optimized SSD算法可提高檢測眼睛等小目標的準確性。同時，設計的協同檢測器，能夠快速篩選出注視廣告屏幕的人臉，避免捕獲無效的人臉進行進一步的檢測分析，減少對資源的消耗，并有效提升廣告推薦的精準度。此外該算法避免使用復雜的臉部關鍵點檢測和姿態評估算法，減少了對硬件資源的消耗，提高了檢測效率。