基于生成式對抗網絡的人臉識別開發

成都理工大學核技術與自動化工程學院 張 衛 馬 麗 黃 金

基于生成式對抗網絡的人臉識別開發

成都理工大學核技術與自動化工程學院 張 衛 馬 麗 黃 金

目前人臉驗證和識別在計算機科學應用中仍然存在困難，依據側臉合成正臉一直是計算機視覺領域的一個難題，而生成對抗網絡在圖像生成描述方面取得了一定突破，雙路徑對抗生成網絡通過單一側面照片合成高清晰的正面人臉圖像，能夠有效的保留身份特征，從而減小姿勢和光線對人臉識別的干擾，大大提高識別的正確率。

雙路徑生成對抗網絡；人臉識別；計算機視覺

一、雙路徑對抗生成網絡的技術背景

雖然目前在人臉識別這個問題上，計算機視覺算法在多個基準數據集上表現優于人類，但在實際應用場景中，由于姿勢而引起的識別問題仍然沒有得到很好的處理。在人類視覺處理中，人們通常是通過觀察到的側臉，在以往的經驗上，推測出整張臉的結構，然后再集中注意力到臉部的細節，比如五官的形狀結構以及五官的位置關系，并將這些臉部細節描繪與剛才的臉部結構圖上。

生成式模型在無監督深度學習方面占據著重要位置，它可以通過學習真實數據的本質特征，刻畫出樣本數據的分布特征，生成與訓練樣本相似的新數據。生成對抗網絡（GANs）即是生成式模型的一種，由Goodfellow et al[1]提出，包括一個生成模型和一個判別模型，該模型訓練時固定一方，更新另一方的參數，交替迭代，使得對方錯誤最大化，最終估測出樣本數據的分布。深度GANs模型進行圖片修補能依據缺失區域的周邊區域進行語義層面的修補，比傳統的計算機近鄰法[2]，場景計算法[3]提供了更好的特征。

二、雙路徑對抗生成網絡的應用提出

在人類視覺認知過程的基礎上，結合深度學習前沿對抗生成網絡（GAN）理論，提出一個基于全局和局部感知的雙路徑對抗生成網絡（TP-GAN），其中一條路徑專注于推理全局拓撲結構，另一條則專注于局部紋理的推理，兩條路徑分別生成特征圖。將這兩組特征圖融合用于人臉圖片的最終融合。在關注整體拓撲結構的同時，較好的處理人臉面部細節，在不同的角度和光照條件下都取得了比較好的效果。

此外通過將正面人臉特征的分布信息引入生成對抗網絡框架，在恢復過程中起到了很好的約束作用，以此確保生成的人臉圖像逼真自然，并且依據人臉的鏡像對稱性這一自然特性，在模型中引進對稱主分量分析算法[4]，在不同視角，光照等干擾條件下進行特征選擇，能夠增強人臉識別，顯著提高識別率。在整合人臉整體和局部特征關系的處理上，通過預訓練的人臉特征提取網絡，在壓縮特征空間中使用了融合全局與局部特征的子空間人臉識別算法，先利用主成分分析提取人臉全局特征，針對人臉局部特征，提出依據各部分子塊的特征偏離程度度進行自動加權算法，最后基于模糊綜合的原理對全局和局部進行數據融合，結合人臉圖像全局和局部的互補信息，給出最終的識別結果，在實現逼真，高清晰的正面臉部合成的同時，顯著提高人臉識別率。

圖1所示為TP-GAN總結構示意圖，生成器由兩條路徑組成，其中一條負責全局結構生成，另一條負責處理局部細節生成。判別器則同時在合成的人臉正面圖像和真實的側面圖像上訓練。

圖1 TP-GAN總結構示意圖

基于此方法的模型處理下能夠處理大量不同姿勢的照片，為強化學習和深度學習提供大量的訓練樣本。此外由于側面人臉只含有正臉視圖的一部分信息，所以依據側面人臉合成正面人臉是一個病態問題，在計算機視覺領域上一直是個難題。雙路徑對抗生成網絡的提出為解決此類病態數學問題提供了新的解決方向。

三、雙路徑對抗生成網絡的展望總結

無監督學習和半監督學習將是機器學習下一階段研究的熱點，對抗生成網絡成了現階段無監督學習的一個熱門技術，雙路徑對抗生成網絡模型作為生成模型的一種，在“無中生有”的場合：圖像復原，圖像修補，圖像超分辨等起到了關鍵突破的作用。

它提出了一個能夠像人類一樣兼顧整體和局部信息的對抗生成網絡，不僅能夠依據側臉圖像合成正臉視圖，而且合成的視圖在逼真的基礎上很好的保留了身份特征。在應對圖像維數轉換時固有的信息缺失問題，將從對抗訓練得來的數據分布與人臉領域知識結合起來，較精確的復原了缺失信息。再者，在大量不同姿勢下，特別是極端光照，角度的側臉圖像中，取得了目前較好的人臉識別結果，推動了對抗生成網絡在計算機視覺問題中的應用。作為一種生成模型，不直接估計數據樣本的分布，而是通過模型學習來估測潛在分布并且生成同分布的新樣本，在圖像和視覺計算領域具有重大的應用價值。

[1]Goodfeiiow I,Pouget-Abadie J,Mirza M．Generative Adversarial Networks[DB/OL]．(2014-06-10)．http：//arxiv．org/abs/1406．2661．

[2]徐一峰．生成對抗網絡理論模型和應用綜述[J]．金華職業技術學院學報,2017,03：019．

[3]王蘊紅,范偉,譚鐵牛．融合全局和局部特征的子空間人臉識別算法[J]．計算機學報,2015,10(28)．

[4]王坤峰,荀超,段艷杰,林懿倫,鄭心湖,王飛躍．生成式對抗網絡GAN的研究進展和展望[J]．自動化學報,2017,3(43)．

[5]楊瓊,丁曉青．對稱主分量分析及其在人臉識別中的應用[J]．計算機學報,2003,9(26)．