基于掩膜生成網(wǎng)絡(luò)的遮擋人臉檢測方法

連澤宇，田景文

（1.北京聯(lián)合大學(xué) 智慧城市學(xué)院，北京 100101；2.北京聯(lián)合大學(xué) 工科綜合實(shí)驗(yàn)教學(xué)示范中心，北京 100101）

0 概述

人臉檢測作為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，是人臉檢索［1］、人臉配準(zhǔn)［2］、人機(jī)交互［3］、人臉超分辨率重建［4］等人臉分析任務(wù)的基礎(chǔ)。近年來，卷積神經(jīng)網(wǎng) 絡(luò)（Convolutional Neural Network，CNN）［5-7］在 無約束人臉檢測領(lǐng)域取得了較大成果，國內(nèi)外眾多學(xué)者也相繼提出很多優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)［8-9］和損失函數(shù)［10-11］。例如，文獻(xiàn)［12］提出一種正交嵌入式CNN網(wǎng)絡(luò)，增強(qiáng)了對年齡不變的深度人臉的特征學(xué)習(xí)，文獻(xiàn)［13］提出一種大裕度余弦損失函數(shù)，提升了傳統(tǒng)CNN 網(wǎng)絡(luò)softmax 層的判別能力。上述方法進(jìn)一步提高了CNN 的人臉檢測性能，其中部分方法甚至在一些特定的數(shù)據(jù)集上超越了人類的識別能力。

雖然基于CNN 的人臉檢測方法取得了巨大成功，但是深度特征在光照、姿勢、表情、遮擋等因素影響下不具備特征不變性，尤其對于復(fù)雜遮擋條件下的人臉檢測，基于CNN 的檢測方法難以取得令人滿意的結(jié)果。在現(xiàn)實(shí)場景中，人臉圖像通常會具有多種類型的面部遮擋，包括墨鏡、口罩、圍巾、水杯等，受遮擋因素的影響，人臉面部特征存在較大程度的損壞，并且隨著遮擋程度的提高，人臉檢測的難度上升，這使得較先進(jìn)的人臉檢測方法［14-15］也難以精確確定遮擋人臉位置。

在深度CNN 出現(xiàn)之前，部分遮擋下的人臉檢測方法主要分為兩類：第一類方法通常將人臉圖像劃分為多個(gè)局部區(qū)域，通過訓(xùn)練分類器識別被遮擋區(qū)域，在特征提取時(shí)僅從非遮擋區(qū)域內(nèi)提取局部特征描述符［16-17］，但是這類方法受限于淺層特征的表現(xiàn)能力，檢測性能較弱；第二類方法致力于恢復(fù)遮擋區(qū)域的面部特征，其中，最具代表性的是稀疏表示分類（Sparse Representation Classification，SRC）方 法［18］，該方法利用訓(xùn)練圖像的線性組合和遮擋的稀疏約束來恢復(fù)無遮擋人臉，雖然其提高了檢測精度，但是擴(kuò)展性不足，并且要求測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)具有高度一致性。

近年來，深度CNN 在遮擋人臉檢測中占據(jù)了主導(dǎo)地位。文獻(xiàn)［19］采用主動學(xué)習(xí)策略合成遮擋人臉以擴(kuò)充訓(xùn)練數(shù)據(jù)，其檢測性能較高，但是該方法不能從本質(zhì)上解決人臉檢測問題，因?yàn)閿U(kuò)充訓(xùn)練數(shù)據(jù)只能保證更加均衡地提取局部特征。文獻(xiàn)［20］利用LSTM 自動編碼器恢復(fù)人臉被遮擋區(qū)域，并對恢復(fù)后的人臉圖像進(jìn)行檢測，該方法在一定程度上降低了遮擋的影響，但是在開放場景下難以保證恢復(fù)區(qū)域與未遮擋區(qū)域的屬性匹配。文獻(xiàn)［21］通過在CNN 的中間層添加MaskNet 分支，在特征激活時(shí)為遮擋區(qū)域分配較低的權(quán)重，從而減小了遮擋對檢測的干擾，但是，由于MaskNet 分支缺乏額外的監(jiān)督信息，導(dǎo)致其對中間轉(zhuǎn)換層的區(qū)分性不足。綜上，基于淺層特征的遮擋人臉檢測方法識別能力有限，而基于深度學(xué)習(xí)的方法又忽略了不同遮擋條件下2 幅人臉特征的不一致性，未充分考慮遮擋的影響。

受人類視覺系統(tǒng)會主動忽略人臉遮擋區(qū)域這一現(xiàn)象的啟發(fā)，本文在CNN 人臉相似度計(jì)算模型的基礎(chǔ)上，針對復(fù)雜遮擋條件下的人臉檢測問題，設(shè)計(jì)一種掩膜生成網(wǎng)絡(luò)（Mask Generation Network，MGN），用于在深度CNN 模型中建立人臉遮擋區(qū)域與遮擋特征元素之間的對應(yīng)關(guān)系。基于該掩膜生成網(wǎng)絡(luò)，提出一種遮擋不變的人臉檢測方法，該方法屏蔽由局部遮擋引起的人臉特征元素?fù)p壞，從而提高對遮擋人臉的檢測精度。

1 CNN 人臉相似度計(jì)算模型

目前，無遮擋條件下的人臉檢測已經(jīng)取得了較高的檢測精度，但是遮擋條件下的人臉檢測問題仍然難以解決。對于2 幅相同的人臉圖像，如果在1 幅人臉圖像中加入局部遮擋，那么這2 幅圖像上的人臉會呈現(xiàn)出不同的表觀特征。如何在遮擋情況下準(zhǔn)確計(jì)算2 個(gè)人臉的相似度是一個(gè)難題。傳統(tǒng)人工設(shè)計(jì)的特征（如SIFT［22］、ORB［23］、GMS［24］等）都難以捕獲同一個(gè)人臉因遮擋導(dǎo)致的不同表觀特征?？紤]到CNN 具有較強(qiáng)的特征表現(xiàn)能力，可將其引入無遮擋人臉和遮擋人臉的相似度計(jì)算中，從2 幅人臉圖像中直接學(xué)習(xí)一個(gè)相似性函數(shù)，隱含式地去除遮擋對人臉圖像的影響，從而得到有助于計(jì)算人臉相似度的特征。

CNN 人臉相似度計(jì)算模型如圖1 所示，該模型的輸入是2 幅人臉圖像，輸出是2 幅人臉圖像的匹配相似度。首先，讓無遮擋人臉圖像和遮擋人臉圖像經(jīng)過2 個(gè)共享權(quán)值的CNN，提取特征向量，然后在決策層中為2 個(gè)特征向量設(shè)計(jì)1 個(gè)相似度損失函數(shù)以訓(xùn)練網(wǎng)絡(luò)：

圖1 CNN 人臉相似度計(jì)算模型結(jié)構(gòu)Fig.1 CNN face similarity calculation model structure

其中：X1表示無遮擋人臉圖像；X2表示遮擋人臉圖像；Gw表示網(wǎng)絡(luò)映射函數(shù)。由于2 個(gè)CNN 分支共享網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重，因此把X1和X2作為參數(shù)自變量，可得到用于評價(jià)X1和X2是否相似的特征向量Gw(X1)和Gw(X2)。

2 遮擋人臉檢測方法

2.1 總體框架

本文基于掩膜生成網(wǎng)絡(luò)的遮擋人臉檢測方法可分為3 個(gè)階段：第一階段，預(yù)處理人臉訓(xùn)練集，將每個(gè)訓(xùn)練人臉劃分為25 個(gè)子區(qū)域，并為每個(gè)子區(qū)域分別添加遮擋；第二階段，將一系列添加遮擋的人臉圖像和原始人臉圖像作為圖像對依次輸入掩膜生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以生成對應(yīng)各個(gè)遮擋子區(qū)域的遮擋掩膜字典；第三階段，通過組合相關(guān)字典項(xiàng)生成與檢測人臉遮擋區(qū)域相對應(yīng)的組合特征掩膜，并將該組合特征掩膜與檢測人臉深層特征圖相點(diǎn)乘，以消除隨機(jī)遮擋對人臉檢測的影響。

2.2 掩膜生成網(wǎng)絡(luò)

本文提出的掩膜生成網(wǎng)絡(luò)如圖2 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。對于WIDER FACE［25］訓(xùn)練集中的1 幅人臉圖像，首先將人臉真實(shí)標(biāo)注框擴(kuò)大到整個(gè)人臉區(qū)域，接著裁剪該區(qū)域圖像輸入漸進(jìn)式校準(zhǔn)網(wǎng)絡(luò)（Progressive Calibration Network，PCN）［26］進(jìn)行人臉檢測，將檢測到的人臉旋轉(zhuǎn)為正面臉，即調(diào)整后的人臉平面旋轉(zhuǎn)（Rotation-in-Plane，RIP）角為0°，隨后將檢測人臉的尺寸調(diào)整為80×80×3，得到不含遮擋的人臉圖像Ii。由于WIDER FACE數(shù)據(jù)集中的大部分人臉圖像并不具有面部遮擋，因此在訓(xùn)練遮擋掩膜時(shí)需要人工添加部分遮擋。將檢測人臉I(yè)i分為25 塊，在其中第j塊加入人工遮擋mj，得到含有局部遮擋的人臉圖像。需要注意的是，人工添加遮擋均選自于現(xiàn)實(shí)生活中的遮擋元素，比如眼部區(qū)域遮擋選擇眼鏡、墨鏡、帽子的一部分，臉部區(qū)域遮擋選擇口罩、圍巾、水杯的一部分。

圖2 掩膜生成網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Mask generation network structure

將不含遮擋的人臉圖像Ii和含有局部遮擋的人臉圖像分別輸入掩膜生成網(wǎng)絡(luò)進(jìn)行特征提取。圖2 中的藍(lán)色部分是掩膜生成網(wǎng)絡(luò)的特征提取層，上下2 個(gè)部分共享權(quán)值，每一部分由4 個(gè)卷積層級聯(lián)組成，第1 個(gè)和第4 個(gè)卷積層采用256 個(gè)3×3 卷積核進(jìn)行邊緣補(bǔ)0 的卷積，第2 個(gè)和第3 個(gè)卷積層使用512 個(gè)3×3 卷積核進(jìn)行邊緣補(bǔ)0 的卷積，在每個(gè)卷積層后都進(jìn)行2×2 的最大池化。在經(jīng)過特征提取后，得到Ii的高層特征圖f(Ii)和的高層特征圖f()。本文遮擋掩膜旨在高層特征圖上屏蔽由局部遮擋引起的人臉特征損壞，通過點(diǎn)乘置0 在各個(gè)通道消除損壞的特征元素，通過點(diǎn)乘置1 在各個(gè)通道保持未被遮擋的人臉特征。由于f(Ii)和f()的尺寸均為10×10×256，因?yàn)檎趽跹谀さ某叽缫矐?yīng)設(shè)計(jì)為10×10×256。不含局部遮擋的高層特征圖f(Ii)和包含局部遮擋的高層特征圖f()分別與遮擋掩膜點(diǎn)乘后，它們的剩余部分應(yīng)盡可能相同。因此，本文提出一種人臉對比損失，該損失最小化被遮擋人臉和無遮擋人臉在遮擋部分的特征差異：

其中：||·||F表 示Frobenius 范數(shù)。顯然，該損失函 數(shù)會懲罰被遮擋人臉中與無遮擋人臉有較大差異的特征元素，即懲罰遮擋部分的特征元素。

通常情況下，人臉遮擋部分對應(yīng)的特征元素對人臉檢測的貢獻(xiàn)很小，甚至?xí)?dǎo)致更高的分類損失。因此，可以利用身份信息作為人臉檢測的監(jiān)督信息，即被遮擋人臉的高層特征圖f()與遮擋掩膜點(diǎn)乘后，因遮擋造成的特征偏差會被消除掉，剩余部分應(yīng)能被CNN 網(wǎng)絡(luò)正確分類。因此，定義該過程的人臉分類損失如下：

其中：F表示分類分支的卷積層和全連接層；di表示身份信息。

綜上，遮擋掩膜將識別那些由局部遮擋引起的人臉特征損壞，可通過融合人臉對比損失ldiv和人臉分類損失lcls來學(xué)習(xí)遮擋掩膜：

其中：λ是平衡人臉對比損失ldiv和人臉分類損失lcls的權(quán)重系數(shù)。

此外，為了提高遮擋掩膜的適應(yīng)性，在生成固定位置遮擋對應(yīng)的特征掩膜時(shí)，本文還增加不同的遮擋類型。例如，對于圖2 中的mj塊，在訓(xùn)練時(shí)還會使用口罩、圍巾、水杯等不同類型的遮擋，并且每一類型遮擋具有不同的屬性，包括材質(zhì)、圖案、顏色等。

2.3 遮擋掩膜字典生成

由2.2 節(jié)可知，在訓(xùn)練遮擋掩膜時(shí)，輸入是不含遮擋的人臉圖像Ii和包含局部遮擋mj的人臉圖像。但是，在測試時(shí)并不存在這樣的圖像對，因此，需要從每個(gè)遮擋位置訓(xùn)練的一系列遮擋掩膜中提取一個(gè)固定模板，以構(gòu)建遮擋掩膜字典。

在訓(xùn)練第j塊遮擋位置對應(yīng)的遮擋掩膜時(shí)，首先為掩膜生成網(wǎng)絡(luò)提供大量的人臉圖像對，這些圖像對中的局部遮擋均在同一位置，并且包含多種類型和屬性。本文為每個(gè)遮擋位置提供N（N=100 000）對人臉圖像，在訓(xùn)練后可以得到同一遮擋位置的N個(gè)遮擋掩膜(i=1,2,…,N)，接著計(jì)算該位置所有遮擋掩膜的平均值，得到平均遮擋掩膜Mˉj：

然后通過計(jì)算和每一個(gè)的絕對誤差和（Sum of Absolute Differences，SAD），剔除誤差大于一定閾值的遮擋掩膜，得到第j塊遮擋位置對應(yīng)的遮擋掩膜集合

通過上述方式，為每個(gè)遮擋位置都構(gòu)造一個(gè)遮擋掩膜集合，組合25 個(gè)遮擋掩膜集合就構(gòu)成了遮擋掩膜字典。集合中的每一項(xiàng)都是一個(gè)三維的二值遮罩，用以指示檢測人臉中某塊被遮擋時(shí)剔除特征元素的位置。

2.4 基于掩膜生成網(wǎng)絡(luò)的遮擋人臉檢測

在測試階段，首先利用PCN 粗略檢測人臉位置，并將檢測人臉旋轉(zhuǎn)為正面臉，接著將正面臉輸入FCN-8s 分割網(wǎng)絡(luò)［27］進(jìn)行人臉遮擋區(qū)域檢測，然后利用遮擋掩膜字典，通過組合相關(guān)字典項(xiàng)生成檢測人臉遮擋區(qū)域?qū)?yīng)的組合特征掩膜。這里相關(guān)字典項(xiàng)是指如果檢測人臉遮擋區(qū)域與字典中預(yù)定義人臉局部遮擋的IoU ≥0.5，則將預(yù)定義局部遮擋作為檢測人臉遮擋區(qū)域的子部分。通過組合多個(gè)局部遮擋對應(yīng)的特征掩膜，得到檢測人臉遮擋區(qū)域?qū)?yīng)的組合特征掩膜Mall。另外，為了提高對多種遮擋類型和屬性的適應(yīng)性，并且防止出現(xiàn)過擬合情況，在生成第j塊遮擋位置對應(yīng)的特征掩膜時(shí)，從第j塊遮擋位置對應(yīng)的遮擋掩膜集合Mset(j)中，隨機(jī)選擇2 個(gè)特征掩膜進(jìn)行求和取平均并二值化處理后，得到第j塊遮擋位置對應(yīng)的特征掩膜。

基于掩膜生成網(wǎng)絡(luò)的遮擋人臉檢測模型結(jié)構(gòu)如圖3 所示。FCN-8s 分割網(wǎng)絡(luò)檢測出的人臉遮擋區(qū)域與字典中預(yù)定義的第16～第20 塊、第22～第24 塊的人臉局部遮擋的IoU 均大于0.5，因此，通過組合這些局部遮擋對應(yīng)的特征掩膜，得到組合特征掩膜Mall，圖中“&”表示以逐元素方式進(jìn)行的特征掩膜邏輯與操作；接著，將檢測人臉的高層特征圖f_4 與組合特征掩膜Mall進(jìn)行點(diǎn)乘，消除由局部遮擋引起的人臉特征元素?fù)p壞；然后，將修正后的特征圖輸入由2 個(gè)卷積層和1 個(gè)全連接層組成的人臉回歸網(wǎng)絡(luò)，細(xì)調(diào)人臉檢測邊界框位置，最終輸出人臉檢測結(jié)果。

圖3 基于掩膜生成網(wǎng)絡(luò)的遮擋人臉檢測模型結(jié)構(gòu)Fig.3 Occluded face detection model structure based on mask generation network

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文方法的精確性和有效性，選擇WIDER FACE 人臉數(shù)據(jù)集［25］、AR 人臉數(shù)據(jù)集［28］和MAFA 遮擋人臉數(shù)據(jù)集［29］進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中選擇MaskNet［21］、RPSM［19］、NMR［20］、PyramidBox［14］作 為對比方法。在訓(xùn)練時(shí)，首先利用PCN 網(wǎng)絡(luò)對WIDER FACE 訓(xùn)練集進(jìn)行初始化，然后將初始化后的圖像和人工添加遮擋的圖像一起輸入掩膜生成網(wǎng)絡(luò)進(jìn)行遮擋掩膜訓(xùn)練。在測試時(shí)，首先利用PCN 和FCN-8s 網(wǎng)絡(luò)粗略對齊并檢測人臉遮擋區(qū)域，接著利用遮擋掩膜字典，通過組合相關(guān)字典項(xiàng)生成人臉遮擋區(qū)域?qū)?yīng)的組合特征掩膜，然后將檢測人臉的高層特征圖與組合特征掩膜點(diǎn)乘后輸入人臉回歸網(wǎng)絡(luò)，最后輸出精確調(diào)整后的人臉檢測結(jié)果。

3.1 AR 數(shù)據(jù)集測試結(jié)果分析

AR 人臉數(shù)據(jù)集包含4 000 多幅具有不同面部表情、照明條件和面部遮擋的彩色圖像，分別來自126 個(gè)受試者，其中，男性70 名，女性56 名。這些圖像來自于相隔14 天的2 次會議，在采集時(shí)沒有限制受試者的穿著、妝容和發(fā)型，并且每個(gè)受試者在2 次會議中都拍攝了相同的圖像。本文在AR 人臉數(shù)據(jù)集中選擇具有墨鏡遮擋和圍巾遮擋的圖像作為測試圖像，實(shí)驗(yàn)結(jié)果如表1 所示。

表1 AR 數(shù)據(jù)集中的人臉檢測準(zhǔn)確率對比Table 1 Comparison of face detection accuracy in AR dataset

從表1 可以看出：本文方法在保持低時(shí)間損耗的同時(shí)提高了對墨鏡遮擋和圍巾遮擋下人臉檢測的準(zhǔn)確率；與其他4 種方法相比，本文方法檢測精度較高，說明通過屏蔽由局部遮擋引起的人臉特征元素?fù)p壞可以有效提高遮擋人臉檢測精度。

3.2 MAFA 數(shù)據(jù)集測試結(jié)果分析

MAFA 遮擋人臉數(shù)據(jù)集在30 811 幅圖像中標(biāo)記了35 806 個(gè)遮擋人臉，每個(gè)被標(biāo)記的人臉具有6 種屬性，分別是人臉位置、眼睛位置、遮擋位置、人臉方向、遮擋級別、遮擋類型。該數(shù)據(jù)集的訓(xùn)練集包含29 452 個(gè)遮擋人臉，測試集包含6 354 個(gè)遮擋人臉。各方法在MAFA 測試集上的平均精度對比如表2 所示，部分檢測結(jié)果如圖4 所示。

表2 MAFA 數(shù)據(jù)集中的人臉檢測平均精度對比Table 2 Comparison of average precision of face detection in MAFA dataset %

圖4 MAFA 測試集中的部分檢測結(jié)果Fig.4 Partial detection results in MAFA test set

在表2 中，本文進(jìn)行了多種類型的遮擋人臉測試：第1 類測試包含多個(gè)人臉偏轉(zhuǎn)角度，當(dāng)人臉面向正前方時(shí)，所有檢測方法的平均精度均達(dá)到各自的最大值，但是隨著人臉偏轉(zhuǎn)角度的增加，檢測難度不斷提高，所有方法的平均精度均明顯下降；第2 類測試包含由低到高的遮擋級別，隨著遮擋程度的提高，各人臉檢測方法的檢測精度迅速下降；第3 類測試包含多種遮罩類型，有簡單遮罩、復(fù)雜遮罩、人體遮罩、混合遮罩，遮罩越趨于復(fù)雜，遮擋人臉檢測的精度越低。由表2 可以看出，本文方法在3 個(gè)大類、12 個(gè)小類的測試中平均精度均高于其他對比方法，整體平均精度達(dá)到80.1%，高出第2 名（NMR）6.7 個(gè)百分點(diǎn)，并且檢測速度也僅慢于NMR 方法，說明本文方法可以實(shí)現(xiàn)精度更高、速度更快的遮擋人臉檢測。

從圖4 可以看出：4 種對比方法均依賴于從人臉遮擋區(qū)域內(nèi)直接提取面部特征，當(dāng)人臉遮擋程度較高時(shí)，提取的面部特征包含了很多因遮擋而損壞的特征元素，這會降低人臉檢測精度，甚至當(dāng)遮擋嚴(yán)重時(shí)不能檢測出人臉；而本文方法通過組合遮擋掩膜字典中的相關(guān)字典項(xiàng)生成人臉遮擋區(qū)域?qū)?yīng)的組合特征掩膜，并將該組合特征掩膜與檢測人臉深層特征圖相點(diǎn)乘，以消除由隨機(jī)遮擋引起的人臉特征元素?fù)p壞，從而有效提高遮擋人臉檢測精度。

4 結(jié)束語

本文提出一種基于掩膜生成網(wǎng)絡(luò)的遮擋人臉檢測方法。該方法在訓(xùn)練時(shí)將一系列添加遮擋的人臉圖像和原始人臉圖像作為圖像對依次輸入掩膜生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以生成對應(yīng)各個(gè)遮擋子區(qū)域的遮擋掩膜字典。在測試時(shí)，通過組合相關(guān)字典項(xiàng)生成與檢測人臉遮擋區(qū)域相對應(yīng)的組合特征掩膜，并將該組合特征掩膜與檢測人臉深層特征圖相點(diǎn)乘，以屏蔽由局部遮擋引起的人臉特征元素?fù)p壞，進(jìn)而提高遮擋人臉檢測精度。在AR 和MAFA 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法實(shí)現(xiàn)了比MaskNet、RPSM 等遮擋人臉檢測方法更高的檢測精度。下一步考慮將本文方法擴(kuò)展為三維遮擋人臉檢測方法，以解決深度圖像遮擋人臉檢測問題。