基于輔助任務和Transformer的人臉正面化網絡

解奕鵬, 閆寒梅, 秦品樂, 曾建潮

(1.中北大學 大數據學院, 山西 太原 030051 2.山西警察學院 刑事科學技術系, 山西 太原 030401)

0 引 言

現有人臉識別算法的成果已經非常豐碩, 但絕大部分僅限于對接近正面的人臉圖像的識別, 對大角度的人臉的識別效果較差[1]。人臉正面化方法旨在使用一張側面人臉圖像生成保留身份信息的正面人臉圖像, 在不重新訓練現有人臉識別模型的基礎上, 提高人臉識別的精度。現有人臉正面化方法大致分為兩類。第一類方法使用人臉的三維信息重建正面人臉, 例如: Zhou等提出的Rotate-and-Render方法[2]是一種用于非受控場景的無監督框架, 不需要成對的數據就可以進行網絡訓練; Shi等提出的H-CRC方法[3]將直方圖統計度量與三維可變形模型相結合, 提高了人臉識別分類算法的穩定性。但是, 這類方法需要特殊的數據采集設備, 訓練數據獲取困難, 且最終生成效果嚴重依賴人臉關鍵點檢測的準確性, 計算量較大。第二類方法直接使用二維的側面人臉圖像生成對應的正面圖像, 例如: Huang等提出了TP-GAN[4], 該網絡融合全局與局部兩通道的特征生成正面人臉圖像; Yin等[5]提出了DA-GAN, 僅在生成器的解碼階段引入了自注意力, 同時使用4個鑒別器, 分別關注生成圖像的不同區域, 但該方法忽略了編碼階段的特征提取同樣重要; Duan等[6]提出了TSGAN, 在一個框架中同時進行人臉去遮擋及人臉正面化工作, 并使用自注意力機制, 使網絡關注感興趣區域; Hu等[7]提出了CAPG-GAN, 使用了人臉關……