基于雙重注意力機制的深度人臉表示算法

孫 俊, 才 華,2, 朱新麗, 胡 浩, 李英超

(1. 長春理工大學 電子信息工程學院, 長春 130022； 2. 長春中國光學科學技術館, 長春 130117； 3. 長春理工大學 空間光電技術研究所, 長春 130022)

0 引 言

無約束環境下的人臉識別是計算機視覺領域一個極具挑戰性的問題. 相同身份的面孔在不同的光照、 面部姿勢、 面部表情和遮擋中呈現時, 看起來會不同, 甚至同一身份的這種變化可能比由于身份差異的變化更強. 為解決這些問題, 目前已提出了許多基于深度學習的人臉識別方法, 如DeepFace[1],DeepID[2-3]系列,FaceNet[4],SphereFace[5],CosFace[6],ArcFace[7]等. 這些方法通過將輸入的原始數據映射到深層嵌入特征執行標簽信息的特征學習和預測, 這些特征通常是最后一個完全連接層(FC)的輸出, 然后利用這些深層特征預測標簽. 但這些方法在其應用程序中整體地使用深層嵌入特征, 而用了哪些特征及其意義不明確.

在無約束環境下的人臉識別任務中, 深度學習和嵌入特征不僅需要可分離, 還需要具有可鑒別性. 但這些特征是隱式學習的, 對于特征的哪部分是有意義的以及特征的哪部分是可分離和可區分的不明確, 因此, 很難知道用何種特征區分人臉圖像的身份. 針對上述問題已提出了許多解決方法, 如通過學習多尺度表示區分特征中的潛在意義[8-9], 通過對低層特征和高層特征的結合提高人臉特征的鑒別能力[10], 通過注意力機制對有意義特征進行自注意[11-13]等. 但這些方法都是對低層特征設計的, 捕獲低層的局部詳細信息或小規模面部特征, 盡管會與高層特征結合, 卻未對高層特征進行再設計.

卷積神經網絡(CNN)在人臉識別方面表現較好[1-3], 但其只使用Softmax損失函數學習不能很好地區分特征. 為解決該問題, 目前已提出了幾個判別性損失函數[4-7], 以鼓勵最小類內分離和最大類間距離為目的, 但這些方法通常集中在如何改進損失函數, 以提高人臉的識別精度和傳統的特征表示, 多數方法只是在廣泛使用的骨干網絡后附加幾個完全連接層而未對人臉識別特征進行設計, 使得這類算法只有微小的變化, 如增加幾層或增加通道的數量, 通常不會有明顯改善. 本文通過引入注意力機制對人臉特征進行設計, 實現高質量可鑒別的人臉特征表示方法.

注意力機制在計算機視覺領域[14]應用廣泛. 其通過掃描全局圖像, 獲得重點關注區域, 抑制其他無用信息, 從而提高視覺信息處理的效率與準確性. SENET[15]通過引入一個緊湊的模型, 利用平均池化的特性探索信道之間的相互依賴關系； CBAM[16]進一步結合最大池化特征推斷更好的信道注意； BAM[17]使用空間和信道注意強調在哪里聚焦. 目前已有許多方法將注意力機制引入到人臉識別中, 如文獻[11]提出了一種局部和多尺度卷積網絡, 通過對空間和通道注意提高人臉特征質量； 文獻[12]通過相關的局部外觀特征對表示人臉特征; 文獻[13]提出了一種金字塔多樣化人臉注意網絡, 在引入注意力機制的基礎上, 消除了冗余特征. 但這些方法只注意了低層細節信息, 未考慮高層的語義信息.

基于此, 本文提出一種雙重注意力機制網絡, 通過對低層詳細信息和高層語義信息的注意獲取高質量、 獨特并可鑒別的人臉特征, 網絡結構如圖1所示. 該網絡首先通過細節注意力機制, 對特征金字塔中多尺度信息引入多個基于注意的局部分支, 自動強調不同尺度上的不同判別面部特征, 然后與最后一個卷積層的平均池化和全連接層進行拼接； 其次通過語義注意力機制對最后一個卷積層進行自適應語義分組, 根據人臉圖片所屬分組概率, 將分組特征加權生成語義特征； 最后將兩種注意力機制得到的特征相加獲得最終特征. 實驗結果表明, 該雙重注意力機制網絡通過對低層多尺度細節特征和高層語義特征注意, 進一步提高了人臉特征的鑒別能力.

圖1 雙重注意力機制網絡框架Fig.1 Network framework for dual attention mechanism

1 雙重注意力機制

1.1 細節注意力機制

細節注意力機制是為了分層提取多尺度多樣化的細節特征, 其由金字塔多尺度注意力和分層交互組成, 如圖2所示. 由圖2可見, 該網絡通過左側區域金字塔多尺度注意力學習定位多尺度判別面部區域, 由于姿勢變化或表情變化過大, 面部部分可能有不同大小, 因此有必要表示不同大小的局部斑塊, 以自適應地定位多尺度判別面部區域. 此外, 通過分層交互組合來自不同層次的互補信息, 即其使用不同的分層交互模塊集成高級抽象和低級被忽略的信息.

圖2 細節注意力機制網絡結構Fig.2 Network structure of detail attention mechanism

1.1.1 金字塔多尺度注意力

圖3為金字塔多尺度注意力框架, 由于金字塔多尺度特征在同層中, 因此有必要在不同尺度上校準特征. 設X∈h×w×c表示金字塔注意力的輸入, 其中h,w和c分別表示特征映射的高度、 寬度和數目.

圖3 金字塔多尺度注意力框架Fig.3 Pyramid multi-scale attention framework

1) 將特征映射分割成不同尺度的輸出(X1,X2,…,XN), 其中N表示尺度的數目,Xi∈hi×wi×c表示ith的輸出,Hi×Wi表示空間大小.

圖4 LANet網絡框架Fig.4 LANet network framework

3) 利用雙線性插值, 在不同金字塔尺度(i∈{1,2,…,N})的多個局部分支(j∈{1,2,…,B})上采樣不同的注意力掩碼, 使其具有與輸入X∈h×w×c相同的大小.

4) 第i個尺度的第j個局部分支的精細特征映射Rij由注意力掩碼Mij和輸入X的乘積聚合：

(1)

其中°表示Hadamard積.

5) 通過第一級聯B個局部分支及1×1卷積層, 輸出c個特征映射, 得到i的輸出.最后將不同尺度的特征映射串聯, 作為金字塔注意力的輸出.

1.1.2 分層交互

由于單層的表示不全面, 因此本文考慮多層次的層融合特征.設X∈h×w×c1和Y∈h×w×c2表示兩個不同層的輸出, 其中h和w分別表示特征映射的高度和寬度,c1和c2表示兩個不同層的特征映射數.X空間位置的c1維特征表示為x=(X1,X2,…,Xc1),Y空間位置的c2維特征表示為y=(Y1,Y2,…,Yc2).為獲得更全面的局部特征, 使用分層交互, 定義為

(2)

其中Wi∈c×c為投影矩陣,Zi為投影輸出, °為Hadamard積.投影矩陣分解為兩個秩向量Ui,Vi∈c.

為編碼本地信息, 特征應通過線性映射擴展到高維空間.因此, 定義一個權重矩陣w=(w1,w2,…,wd), 以獲得d維特征Z:

Z=UTx°VTy,

(3)

其中U,V∈c×d,d表示投影特征的維數.

本文考慮從更多的層聚合特征, 獲得更多的判別局部特征.設x1,x2,x3表示來自3個不同層的輸出, 擴展到連接多個跨層表示為

Z=Concat(UTx1°VTx2,UTx1°STx3,UTx2°STx3).

(4)

最后, 使用FC層將維數降至512.

1.2 語義注意力機制

語義注意力機制通過對人臉語義信息進行分組, 學習潛在的語義信息, 并將這些語義信息相結合, 實現更高質量的人臉特征. 其由N條組語義向量及其概率組成, 如圖5所示, 其中左側區域表示N條組語義, 右側區域表示N條組語義對應的分組概率, 最后將概率和語義聚合生成語義特征.

圖5 語義注意力機制網絡結構Fig.5 Network structure of semantic attention mechanism

1.2.1 組語義概率

組語義概率表示人臉對所屬分組的概率, 如圖6所示, 其由3個完全連接層和1個Softmax層組成. 通過部署組語義決策網絡計算向量中組概率. 組語義網絡是以一種自分組的方式進行訓練, 該方式通過考慮潛在群的分布而提供一個組標簽, 沒有任何明確的基本真實信息.

圖6 組語義決策網絡Fig.6 Group semantic decision networks

確定組語義標簽的一種簡單方法是獲取一個具有Softmax最大激活度的索引輸出. 本文構建一個組語義網絡, 通過部署多層神經網絡并附加Softmax函數確定給定樣本x的歸屬組概率：

(5)

其中Gk表示第k組,f(x)表示組語義網絡的輸出.

1.2.2 組語義表示

(6)

1.3 特征表示

(7)

1.4 算法流程

圖7為本文算法流程.先用MTCNN網絡進行人臉及關鍵點檢測, 再根據關鍵點對人臉進行對齊, 在特征提取中采用本文提出的雙重注意力網絡, 對ResNet100主干網絡低層細節注意、 高層語義注意獲取高質量判別性人臉特征, 最后與人臉特征庫進行匹配.

圖7 本文算法流程Fig.7 Flow chart of proposed algorithm

2 實 驗

2.1 實驗數據

用MSCeleB-1M作為訓練集, 其中包含約10 MB圖像的100 KB身份. 由于MSCeleb-1M原始數據集的噪聲標簽, 本文使用改進的版本, 其中包含3.8 MB圖像的85 KB身份. 用LFW,YTF,MegaFace,IJB-B和IJB-C作為測試集, 其中LFW包含來自5 749個身份的13 233張圖像, 并提供來自它們的6 000對圖像； YTF包括3 425張圖像的1 595個身份的視頻; MegaFace由來自690 KB身份的超過100萬張圖像組成; IJB-B包含67 000張人臉圖像、 7 000張人臉視頻和10 000張非人臉圖像; IJB-C包含138 000張人臉圖像、 11 000個人臉視頻和10 000張非人臉圖像. 對于評價指標, 本文對LFW和YTF數據集驗證識別精度, 對MegaFace數據集通過Rank-1識別精度進行評價, 最后在IJB-B和IJB-C數據集上比較在一定的假接受率(TAR@FAR)下10-4～10-6的真接受率.

2.2 實驗驗證

采用ResNet100主干網絡, 將Arcface作為損失函數. 圖8為基線網絡(A)、 細節注意力機制(B)、 語義注意力機制(C)和雙重注意力機制(D)在2D空間上最終表示之間的定量比較. 本文在精化的MSCeleb-1M數據集中選擇前10個標識并將提取特征映射到角空間, 10個彩色圓弧表示10個身份. 由圖8可見, 本文的雙重注意力機制模型生成了更獨特的特征表示, 而不是基線模型, 并且該模型增強了基線模型的表示.

圖8 ArcFace損失在MSCeleb-1M數據集中前10個身份的定量比較Fig.8 Quantitative comparison of ArcFace losses in top 10 identities of MSCeleb-1M dataset

不同方法在LFW和YTF數據集上的驗證準確性和不受限制的標記外部數據協議對比結果列于表1. 在YTF數據集上, 本文評估了所有的圖像, 并未排除圖像序列中的噪聲圖像. 由表1可見, 雖然這兩個數據集都是高度飽和的, 但本文的雙重注意力方法仍超過了最優方法Groupface的0.02%和0.1%.

表1 不同方法在LFW和YTF數據集上的精度驗證

下面在Large訓練集協議下評估雙重注意力機制方法, 其中R表示對MegaFace數據集精化版本的評估過程. 不同方法在MegaFace數據集的識別與驗證評價結果列于表2. 由表2可見, 雙重注意力機制比GroupFace方法在Rank-1評價指標中高0.21%, 在TAR@FAR=10-6(%)評價指標中高0.28%. 在精化版本的MegFace數據集上, 本文方法也優于其他模型.

表2 不同方法在MegaFace數據集的識別與驗證評價結果

本文方法與其他方法在IJB-B和IJB-C數據集上的評估對比結果列于表3. 由表3可見, 本文的雙重注意力方法在所有的FAR標準上均有明顯改進. 在IJB-B數據集中, 比目前的最優算法GroupFace, 在FAR=10-6,10-5,10-4指標上分別提高了4.43%,0.1%,0.57%; 在IJB-C數據集上, 也分別提高了1.23%,1.19%,0.26%.

表3 不同方法在IJB-B和IJB-C數據集上對不同FAR的驗證評估結果

本文方法對1∶1人臉相似度驗證結果如圖9所示. 對測試數據集中的部分人臉可視化, 其中每兩列圖像屬于相同的標識. 相同面部圖像呈現不同的表達方式, 如姿態、 亮度、 模糊和年齡等. 由圖9可見, 本文方法對相同人臉由于表達方式不同導致的差異有很好的容忍度, 驗證結果表明, 相同人臉的相似度較高, 識別效果較好.

圖9 本文方法對1∶1人臉相似度驗證結果Fig.9 Verification results of 1∶1 face similarity by proposed method

綜上所述, 針對人臉識別中現有的模型都集中在從最后一個卷積層中提取特征, 未對人臉特性進行設計的問題, 本文提出了一種用于人臉識別的雙重注意力機制網絡模型. 用細節注意力機制自適應地提取分層多尺度局部表示, 用金字塔注意力機制自動定位多尺度不變人臉區域, 并對多個人臉部位進行自適應加權, 用分層交互融合來自不同層的互補特征； 用語義注意力機制通過對高層特征語義分組, 學習潛在的語義信息, 根據人臉所屬分組概率加權累加獲取語義特征. 將兩種注意力獲取的特征相結合產生高質量、 獨特和可鑒別的人臉特征. 通過在LFW,YTF,MegaFace,IJB-B和IJB-C數據集的實驗評估結果表明, 本文方法的精確度分別高出Groupface方法的0.02%,0.1%,0.2%,1%和1%, 表明了本文雙重注意力機制方法的有效性.