基于跨批次存儲預訓練的素描人臉識別方法

邵玉穎，曹 林，康 峻，宋沛然，杜康寧，郭亞男

1.北京信息科技大學 信息與通信工程學院，北京 100101

2.北京信息科技大學 光電測量技術與儀器教育部重點實驗室，北京 100101

3.中國科學院 空天信息創新研究院，北京 100080

素描人臉識別是將人臉照片與素描圖進行匹配，由于其在刑偵調查中的重要作用，近年來受到了極大的關注[1-2]。隨著計算機視覺和機器學習的快速進步，面部生物識別技術取得了重大成功。例如，人臉屬性預測和聚類[3]、人類性別分類[4]和人臉識別[5]已廣泛應用于公安和視頻監控[6]。作為人臉識別中最重要的問題之一，素描人臉識別（SFR）[7-8]在刑事偵查中備受關注。它旨在將照片與犯罪分子目擊者描述中獲得的素描進行匹配，這比傳統的人臉識別更具挑戰性。

最近，基于卷積神經網絡（CNN）的度量學習方法已被廣泛用于人臉識別和其他識別問題[9]。CNN表現出強大的表達能力，因此使用CNN來學習素描人臉識別的判別特征越來越受到關注[10-11]。然而由于包含素描人臉圖像的數據庫較少，且數據量極其有限，使得深度學習模型極易出現過擬合現象，導致其無法充分發揮模型效果。因此，素描人臉識別是具有挑戰性的人臉識別問題。

類似于人臉驗證[6]和人員重新識別[12-13]，素描人臉識別是一個開放集分類問題，其中訓練集和測試集類是不相交的。目前被設計用于素描人臉識別的算法可以分為兩大類：模態內算法和模態間算法[14]。模態內算法通過將照片（素描）轉換成素描（照片），然后使用在該模態下設計的面部識別器將合成素描（照片）與原始素描（照片）進行匹配，從而減少了模態差距。例如Tang等人[15]提出的ET+PCA算法和Galea等人[16]提出的EP+PCA算法。然而，僅當原始素描圖像在外觀上與原始照片非常相似時，這些方法才有較好的性能，此外，模態內算法所使用的面部識別器的性能還取決于生成圖像的質量。模態間算法通過將兩種不同模態的圖像特征劃分為公共空間后使用分類器進行識別，旨在學習能夠同時最大化類間差異和最小化類內差異的分類器，較模態內方法降低了復雜度。例如Galea等人[14]提出的DEEPS神經網絡，Klum等人[17]提出的D-RS+CBR算法和Galea等人[18]提出的LGMS算法。然而由于素描圖像和光學圖像之間存在較大的模態差異，直接使用模態間方法取得的識別精度相對較低。由于素描人臉圖像難以獲得且獲取成本高，導致現有的素描人臉數據較少，上述兩種方法在訓練樣本較少的情況下，均存在易過擬合的問題。

針對解決樣本量不足以及過擬合的問題基于跨批次機制（cross-batch memory mechanism，XBM）[19]，本文提出基于跨批次存儲機制預訓練的素描人臉識別算法。該方法分為預訓練和訓練兩個階段，預訓練階段借助跨批次存儲機制挖掘和存儲素描和光學照片特征信息進行模型訓練。跨批次存儲方法在訓練時僅存儲素描和光學照片特征信息而非圖片本身，因此節省內存空間，支持在訓練時選取更多樣本。從而有效緩解樣本稀缺問題，同時提高算法效率。訓練階段則利用三元組損失對預訓練得到的模型進一步優化，提升識別效果。實驗結果證明本文算法可以通過跨批次樣本緩解過擬合問題，提升識別率。

1 基于跨批次預訓練的素描人臉識別

1.1 跨批次存儲機制

基于深度學習的素描人臉識別依賴大量樣本進行模型訓練，參與訓練的樣本種類和數量越多，對應的模型泛化性越高、識別效果越佳。將全部訓練樣本一次性輸入模型訓練中，對GPU等硬件性能要求較高，容易超出硬件的支持范圍，且運算量大導致訓練時間過長。因此在訓練模型時采取樣本分批次輸入的方式，單次輸入樣本的數量即批次大小由batch size參數給定。由文獻[20-23]可知batch size的大小決定了模型訓練時梯度下降方向的準確性以及模型收斂速度。經觀察，隨著batch size的增大，模型的收斂速度也隨之加快且訓練效果不斷提高。受限于GPU存儲容量，訓練過程中無法支撐batch size的持續增大，影響模型效果的進一步提升。為解決此問題，在XBM機制的啟發下，本文創造性提出了樣本特征信息池概念，用圖像特征信息替代圖像信息，從而減少信息存儲需求；并將當前批次樣本特征與信息池中前幾批次樣本特征進行交叉計算，從而達到擴大batch size的效果。提出的跨批次存儲機制具體過程如下所述。

在訓練開始時建立一個信息池，設定信息池大小，每次迭代將當前批次特征信息以及對應標簽按隊列形式存入池中，依此繼續進行樣本訓練過程。當存入的信息達到信息池的存儲容量上限時，采取先進先出的模式進行信息更新，即舍棄最早批次樣本的特征信息，存入新樣本特征信息。跨批次存儲機制在訓練時將歷史迭代過程中的圖片特征信息保存下來，即使存下多個批次的樣本特征需要顯存也不過幾十MB，相比存儲圖片信息需要耗費的幾GB甚至是十幾GB容量，極大地節省了顯存空間，允許在相同硬件條件下擴大batch size大小，進而提升模型泛化能力與識別精度。此外，跨批次存儲機制借助信息池結構保留歷史樣本，在模型訓練時，不僅考慮當前批次樣本信息，同時加入部分歷史樣本信息，增加了單批次訓練樣本總數，進而在訓練模型層面增加了樣本數量，彌補了樣本不足導致識別精度下降的缺陷。

1.2 預訓練網絡結構

預訓練網絡結構如圖1所示，主要包括輸入圖像，特征提取器fθ，跨批次存儲機制，以及損失函數L。

圖1 預訓練網絡結構圖Fig.1 Model structure diagram of pre-training stage

輸入圖像。訓練數據集為X：

其中，xp為光學照片，xs為素描照片，N為類別數，訓練數據集對應標簽為Y={y1,y2,…,yN}，每次迭代開始時，隨機從X中抽取M對樣本，記為XM：

對應類別標簽為YM={y1,y2,…,yM}。

特征提取器fθ。特征提取器fθ采用18層的殘差網絡ResNet-18，主要由四種不同通道大小的殘差模塊作為基本結構組合而成。每個殘差模塊堆疊了兩層卷積，兩層卷積的通道數相同，每個殘差模塊的輸入首先與第一層卷積層進行卷積，然后依次執行批量歸一化（batch normalization，BN）和激活函數修正線性單元（rectified linear unit，ReLU），然后輸入到第二層卷積層，再次通過BN層，最后與殘差模塊的輸入相加，再通過ReLU激活層，作為殘差模塊的輸出。

損失函數L。本文采用三元組損失函數。三元組損失的目標是使具有相同標簽的樣本在嵌入空間中盡量接近，具有不同標簽的樣本在嵌入空間中盡量遠離，如果只遵循以上兩點，最后嵌入空間中相同類別的樣本可能聚集到一個很小的圈子里，即同一類別的樣本簇中樣本間的距離很小，不同類別的樣本簇之間距離也會偏小。因此，加入間隔（margin）的概念，只要不同類別樣本簇簡單距離大于這個間隔就可以了。在訓練過程中，通過提取輸入圖片特征，然后與其對應標簽通過生成器獲得相應三元組(a,p,n)，其中a為錨點（anchor），p為正樣本（positive），n為負樣本（negative），p、a為相同類別樣本，n、a為不同類別樣本。

預訓練階段每次迭代第j個三元組中錨點與正樣本之間的歐式距離度量以及錨點與負樣本之間的歐式距離度量為：

則預訓練階段損失函數分別為：

其中，M為batch size大小，λ為權重，用來平衡L1、L2損失函數。

預訓練階段訓練第i個epoch未采用跨批次存儲機制時學習算法優化問題模型為：

采用跨批次機制時算法優化問題模型則為：

其中，θ*為模型最優解，M′=2M，K為記憶存儲模塊容量。

1.3 基于跨批次存儲的預訓練算法

為了解決樣本稀缺問題，本文提出了基于跨批次存儲機制的預訓練算法，算法詳細步驟如算法1偽代碼所示。

算法1基于跨批次存儲機制的預訓練算法

輸入訓練數據集X，batch size大小M，特征提取器fθ，迭代次數閾值threshold，初始化參數θ，迭代次數n，記憶存儲模塊容量K。

輸出模型參數θ。

步驟1fori=0,1,2,…,n-1,do。

步驟2隨機抽取M對樣本XMi。

步驟3通過fθ提取樣本特征，放入記憶存儲模塊，當存放特征數大于K時取出最早放入存儲模塊的樣本特征。

步驟4ifi＜threshold，由式（3）計算損失L，式（4）優化參數θ*，執行后轉步驟1。

步驟5else由式（3）計算損失L，式（5）優化參數θ*，執行后轉步驟1。

步驟6輸出θ，保存訓練模型。

1.4 基于跨批次預訓練的素描人臉識別方法

基于跨批次存儲機制預訓練的素描人臉識別方法如圖2所示，分為兩個階段，第一個階段為預訓練階段，具體過程在1.2節中詳細闡述。第二個階段為模型訓練階段，每次迭代從具有N個類的訓練集X中隨機采樣M個類，其中M＜N，用預先訓練好的特征提取器fθ進行特征提取，然后通過生成器獲得相應三元組，并計算得到三元組損失，每次迭代損失為：

圖2 基于跨批次存儲機制預訓練的素描人臉識別方法模型結構Fig.2 Model structure of sketch face recognition method based on cross-batch storage mechanism pre-training

之后進行模型優化。

2 實驗結果與分析

2.1 數據集設置

為了驗證本文方法的有效性以及魯棒性，采用PRIPVSGC[24]和UoM-SGFS[25]素描人臉數據集進行方法評估。

PRIP-VSGC數據集是由美國密西根大學公布的素描人臉庫，包括AR數據集中的123個樣本。該數據集總共包含三組合成素描，其中兩組分別由美國和亞洲研究人員采用FACES軟件合成，第三組由亞洲研究人員采用IdentiKit軟件合成。本文在該組數據集第三組進行實驗來驗證本文方法的有效性。圖3展示了PRIPVSGC中的樣本示例，其中第一行為照片，第二行為對應的素描。

圖3 PRIP-VSGC數據集樣本示例Fig.3 PRIP-VSGC dataset sample examples

UoM-SGFS數據集是目前最大的軟件合成的素描數據集，并且是唯一的彩色素描數據集。該數據集包含來自Color FERET[26]數據集的600張照片和對應的兩組合成素描圖像。其中第一組（set A）中的素描由EFIT-V軟件根據照片生成，第二組（set B）中的素描為set A中的素描圖像根據圖像編輯軟件微調后，得到的更加接近原始照片的素描圖像。圖4展示了UoM-SGFS中的樣本示例，其中第一行為照片，第二行和第三行分別為set A和set B中對應的素描。

圖4 UoM-SGFS數據集樣本示例Fig.4 UoM-SGFS dataset sample examples

本文基于上述兩個數據集設置了三組數據集：

（1）在第一組數據集中（S1），從UoM-SGFS set A中隨機采樣450對素描-照片作為訓練集，剩下的150對素描-照片作為測試集，其中150張素描圖像組成測試圖像集，150張照片組成原型圖像集。

（2）在第二組數據集中（S2），從UoM-SGFS set B中隨機采樣450對素描-照片作為訓練集，剩下的150對素描-照片作為測試集，其中150張素描圖像組成測試圖像集，150張照片組成原型圖像集。為了模擬現實場景，按照文獻[3]中的策略，將S1和S2數據集中的原型圖像集擴充了1 521個人的照片，包含來自MEDS-Ⅱ數據集中的509張照片，FEI數據集中的199張照片，以及本文從LFW數據集中隨機采樣的813張照片來代替原文獻[3]中的FRGCv2.0數據集中的476張照片和Multi-PIE數據集中的337張照片。

（3）在第三組數據集中（S3），從PRIP-VSGC數據集中隨機采樣48對素描-照片作為訓練集，剩余的75對素描-照片作為測試集，其中75張素描圖像構成測試圖像集，75張照片構成原型圖像集。

為了保證算法的泛化能力，對三組數據集均進行了五重隨機交叉驗證。

2.2 實驗設置

采用MTCNN[27]方法對UoM-SGFS和PRIP-VSGC數據集中的圖像進行關鍵點定位和對齊操作，圖5展示了UoM-SGFS數據集樣本經上述操作后的示例，其中第一行為照片，第二行和第三行分別為set A和set B中的對應的素描。在訓練過程之前，所有圖像均被裁剪為256×256的標準尺寸，并對圖像進行了預處理，包括隨機裁剪，對圖像進行填充，翻轉、將圖像轉換為張量類型并對其標準化。

圖5 UoM-SGFS數據集處理后示例Fig.5 UoM-SGFS dataset processed examples

參數設置：實驗所用GPU內存大小為10.7 GB，優化器采用參數為β1=0.5和β2=0.999，動量為0.1，步長為40的Adam優化器來對整個網絡模型進行優化，并且初始化學習率設置為0.000 1。在所有實驗中，預訓練階段訓練50個epoch，記憶存儲模塊尺寸為K=512，訓練階段均訓練了50×100個episode，每100個episode保存一個模型。針對S1和S2數據集，batch size設置為32，即從訓練集隨機采樣32對素描-照片構成一個episode。針對S3數據集，由于數據量較少，batch size設置為8，即從訓練集隨機采樣8對素描-照片構成一個episode。

2.3 消融實驗

為了驗證本文方法中各個模塊的有效性，本文設計如下兩組消融實驗：

（1）W/O pre-train：去除基于跨批次存儲機制的預訓練階段，采用傳統的深度學習方法訓練特征提取器，然后通過三元組損失進行模型優化，實驗設置同本文方法預訓練階段。

（2）W/O train：去除訓練階段，只采用基于跨批次存儲機制的預訓練階段進行實驗。在訓練過程中通過跨批次存儲機制保留歷史樣本，與當前樣本同時訓練特征提取器，然后通過三元組損失進行模型優化，實驗設置同本文方法訓練階段。

消融實驗在S1、S2數據集上Rank-1、Rank-10、Rank-50的實驗結果分別如表1、表2以及圖6、圖7所示，在S3數據集上Rank-10實驗結果如表3及圖8所示。

表3 在S3數據集上的消融實驗結果Table 3 Results of ablation experiments on S3 dataset單位：%

圖8 在S3數據集上的消融實驗折線圖Fig.8 Line graph of ablation experiment on S3 dataset

表2 在S2數據集上的消融實驗結果Table 2 Results of ablation experiments on S2 dataset單位：%

圖7 在S2數據集上的消融實驗折線圖Fig.7 Line graph of ablation experiment on S2 dataset

表1 在S1數據集上的消融實驗結果Table 1 Results of ablation experiments on S1 dataset單位：%

圖6 在S1數據集上的消融實驗折線圖Fig.6 Line graph of ablation experiment on S1 dataset

通過以上圖表可以看出，相比消融實驗（1），本文方法在利用傳統的深度學習方法訓練特征提取器前通過跨批次預訓練機制進行模型預訓練，通過存儲歷史樣本與當前批次樣本訓練模型，得到較好的模型初始參數。在S1數據集上Rank-1實驗結果提升了約10個百分點，在S2數據集上Rank-1實驗結果提升了13個百分點，S3數據集Rank-10識別率提升了約4個百分點。相比消融實驗（2），本文方法在跨批次預訓練模型后進一步添加訓練模塊，對跨批次訓練階段的模型參數進行優化。在S1數據集上Rank-1實驗結果提升了8個百分點，在S2數據集上Rank-1實驗結果提升了13個百分點，在S3數據集Rank-10識別率也提升了3個百分點。

此外，消融實驗（2）相比消融實驗（1）在訓練過程中加入了跨批次存儲機制，通過歷史樣本和當前批次樣本共同訓練模型，在三個數據集上實驗結果均有所提升了，也證明了跨批次存儲機制的有效性。

2.4 對比實驗

為了證明本文方法的有效性，針對UoM-SGFS數據集，與其他素描人臉識別方法進行對比分析，包括DANN[28]、CDAN[29]、BSP+CDAN[30]，以及深度學習跨模態方法SP-Net[31]和Transfer deep feature learning[32]。其中DANN、CDAN、BSP+CDAN均使用了域自適應方法，可以用于解決素描和光學照片之間的模態差異問題。DANN通過源域和目標域經過相同的映射來實現特征對齊，CDAN通過條件對抗性域適應的原則框架對分類器預測中所傳遞的判別信息建立了對抗性適應模型，BSP+CDAN提出BSP模型通過對奇異值大的特征向量進行懲罰來保證可區分性同時提高可遷移性。SP-Net方法提出了基于對比學習的耦合深度卷積神經網絡。Transfer deep feature learning對比方法設計了一個三通道卷積神經網絡架構，并采用三元組損失來學習判別特征優化網絡模型。實驗結果如表4、表5所示。

表4 在S1數據集上的對比實驗結果Table 4 Comparative experimental results on S1 dataset單位：%

表5 在S2數據集上的對比實驗結果Table 5 Comparative the experimental results on S2 dataset單位：%

通過表4、表5可以發現，相比DANN、CDAN以及BSP+CDAN等域自適應方法，本文方法突破了只采用當前批次樣本進行模型訓練以及采用隨機初始化模型參數的局限性，通過跨批次存儲機制，不僅利用當前批次樣本信息訓練模型，同時也加入歷史樣本信息共同訓練模型，以此得到更加合適的模型初始參數。在S1數據集上相比實驗結果最好的CDAN方法識別率提升了6個百分點，相比DANN方法識別率更是有11個百分點的提升。在數據集S2上Rank-1高達72.53%的識別率，相比CDAN方法也提升了10個百分點。相比SP-Net對比方法使用的訓練機制，本文使用的訓練機制提取的樣本信息更豐富，識別效果更加準確，在S1和S2數據集上分別有18和22個百分點的提升。相比Transfer deep feature learning對比方法，本文在三元組損失的基礎上加入跨批次存儲機制，利用歷史樣本信息學習到更多的判別性特征，以此提升識別效果，在S1和S2數據集上識別率分別提升了11和13個百分點。

除上述對比方法外，針對S3數據集，本文方法還與SSD[33]、Attribute[34]和Transfer Learning[35]方法進行了比較，其中SSD和Attribute為傳統方法，Transfer Learning為深度學習方法。SSD對比方法使用合成素描與光學圖像進行識別，Attribute對比方法使用視覺顯著性和紋理特征組合的特征提取和匹配算法，用于將素描和光學照片進行匹配，Transfer Learning使用具有深度學習表示的遷移學習將合成素描與光學圖像匹配的新算法。實驗結果如表6所示，其中SSD、Attribute和Transfer Learning結果直接來自文獻[34]和文獻[35]，其余比較方法的結果是通過實驗獲得的。可以看出，與對比方法相比，本文方法雖然未進行素描合成擴充數據樣本總量，但是使用的跨批次存儲機制將歷史樣本加入當前批次訓練過程中，進而增加單批次訓練樣本，提升了識別率，在數據集S3上Rank-10識別率均有明顯提升，相比于其他對比方法識別率最低提升了8個百分點，最高提升了17個百分點，證明本文方法的魯棒性。

表6 在S3數據集上的對比實驗結果Table 6 Comparative experimental results on S3 dataset單位：%

2.5 參數實驗

（1）靈敏度校驗λ。為證明本文方法泛化性以及參數有效性，針對參數λ在S1、S2、S3數據集上分別進行了λ靈敏度校驗，記憶存儲模塊尺寸分別為K=256以及K=512，參數λ設置范圍為λ∈{0.01,0.02,0.05,0.10,0.20,0.50,1.00}，實驗的結果是S1、S2數據集取Rank-1識別率，S3數據集取Rank-10識別率，如表7和圖9所示。

表7 參數λ靈敏度實驗結果Table 7 Parameter λ sensitivity experimental result單位：%

圖9 參數λ靈敏度曲線Fig.9 Parameter λ sensitivity curve

通過圖9可以看出結果曲線較為平穩，K=512時S1數據集識別率最高和最低之差約為5個百分點，S2數據集識別率最高和最低之差約為4個百分點，S3數據集Rank-10識別率最高和最低之差約為5個百分點，并且S1、S2數據集在λ取0.10時結果最高，分別為63.00%和72.67%。K=256時S1數據集識別率最高和最低之差不超過4個百分點，S2數據集識別率最高和最低之差不超過4個百分點，S3數據集Rank-10識別率最高和最低之差不超過6個百分點。這證明了本文方法的泛化能力以及參數λ取值的合理性。

（2）batch size參數實驗。為了證明跨批次存儲機制的必要性，除了以上實驗外，本文還進行了batch size參數選取實驗。S1、S2數據集選取Rank-1識別率，S3數據集選取Rank-10識別率，結果如表8所示，其中“—”表示因GPU顯存不足導致batch size受限無實驗結果。

W/O pre-train：S1、S2數據集由于GPU顯存限制batch size最大選取64，batch size設置為{2，4，8，16，32，64}，S3數據集最多48對，batch size設置為{2，4，8，16，32，48}。由表8可以看出該方法在S1、S2數據集初始結果幾乎為0，并且S1、S2數據集Rank1識別率最高分別為53.9%、60.0%，S3 Rank10識別率最高為59.3%。

表8 batch size參數實驗結果Table 8 Batch size parameter experiment results單位：%

W/O train：該方法突破了batch size最大為64的界線，S1、S2數據集batch size設置為{2，4，8，16，32，64，128}，S3數據集batch size設置同第一組消融實驗。由表8可以看出該方法在S1、S2數據集Rank1識別率最高分別為61.0%、63.0%，S3數據集Rank10識別率最高為60.0%。

Our approach：本文方法三個數據集batch size設置同第二組消融實驗。由表8可以看出本文方法在S1數據集初始結果就達到50.0%以上，S2數據集初始結果更是將近60.0%，證明了本文提出的基于跨批次存儲機制的預訓練方法可以獲取更好的模型初始參數，相比于其他消融實驗方法在batch size為2時結果提升明顯。此外本文方法在S1、S2、S3數據集上結果明顯高于消融實驗方法，在S1、S2數據集上Rank-1識別率最高分別為63.4%、73.1%，S3數據集上Rank10識別率最高為63.1%，相比消融實驗識別率均有所提升。

在S1、S2、S3數據集上的batch size參數選取實驗結果表明在樣本稀缺情況下通過跨批次存儲預訓練可以獲取更好的模型初始參數，在相同GPU內存條件下也可以進一步增加batch size大小，提高識別精度。

2.6 模型復雜度分析

針對本文模型的時間復雜度與空間復雜度，進行了統計分析，文中所有模型均在PyTorch中實現，GPU為英偉達公司NVIDIA Titan X（Pascal）。

結合對比實驗中不同方法結果指標，針對不同類型對比方法，本文選擇了三種具有代表性的對比方法：域自適應方法BSP+CDAN、深度卷積神經網絡SP-Net以及利用三元組損失的Transfer deep feature learning方法在S1數據集上進行了復雜度計算的對比分析，結果如表9所示。

表9 在S1數據集上的模型復雜度分析Table 9 Model complexity analysis on S1 dataset

通過表9可知，本文方法訓練和測試運行時間均低于以上三種對比方法，內存消耗也遠低于以上方法。綜合以上分析，本文方法在減小內存消耗與縮短運行時間的同時改進了模型結構，提升了識別效果。

3 結束語

針對素描人臉識別樣本稀缺問題，為提高人臉識別模型泛化能力，本文提出一種基于跨批次存儲機制預訓練的素描人臉識別方法，對現有深度學習方法進行了改進。該方法分為兩個階段，預訓練階段借助跨批次存儲機制突破了只訓練當前批次樣本的局限性，通過跨批次機制提取歷史樣本與當前批次樣本信息進行模型訓練，不僅緩解了樣本稀缺問題，同時節省了內存消耗，提高了算法效率；訓練階段相比隨機初始化模型參數選擇預訓練階段得到的模型參數作為初始參數，并利用三元組損失進行模型優化，有效提升了識別效果。在UoM-SGFS數據集和PRIP-VSGC數據集上的識別精度均有明顯提升，證明了本文方法的有效性。為進一步優化并提升算法性能，下一步的研究重點是在緩解樣本稀缺問題同時挖掘更具判別性的特征信息，增加難例樣本比重，并縮小素描和光學圖像之間的模態差異。