基于深度學習的人臉圖像對抗樣本模型生成方法

【摘" 要】 隨著深度學習算法的快速發展，攻擊者可以方便地從社交網絡海量的私人照片中找到目標圖片，這就造成了泄露隱私的風險。為此，文章設計了一種深度神經網絡模型，通過對人臉圖像輸入的細小擾動，生成該圖像的對抗樣本，欺騙指定的分類器，實現隱私的保護。在公共數據集CelebA上的實驗結果表明，文章提出的模型，其生成的對抗樣本能顯著地降低性別分類器的識別率，也能保證對抗樣本的視覺質量。

【關鍵詞】 深度學習;對抗樣本;性別識別方法;人臉圖像

一、研究背景

隨著互聯網的快速發展，人們更加傾向在社交網絡上分享自己的生活動態，其中自拍等包含了人臉的圖片，在社交網絡上隨處可見。自身真實人臉信息的泄漏，可能會引發嚴重的隱私安全問題。目前，人臉圖像等個人隱私特征已從個人信息轉變為生物標識信息，具備了主體獨一性和不可改變的性質，其與個人人格尊嚴及人身自由之間的關聯也越來越緊密。從20世紀中葉的神經網絡理論和數學模型確立開始，通過一代代研究者在數學和計算機等有關領域的深入研究，神經網絡一直在震蕩中持續發展。在研究人員提出了反向傳播算法后，神經網絡進入了深度學習時代，目前已經在人臉圖像屬性識別領域得到了應用。

近年來，國內外對圖像對抗樣本生成的關注度逐漸提高[1]，研究人員提出了諸多對抗樣本生成的方法。通過實現真實世界中ArtFace的白盒模仿攻擊方法，針對機場安檢場景的人臉認證系統，GUO L等提出了一種以提升ArtFace為目標模型的白盒攻擊生成對抗性樣本的遷移性方法[2]。在全面闡述和分析對抗攻擊算法的基礎上，劉會等人比較和總結了多項攻擊算法[3]。也有研究人員認為，圖像不可知的通用擾動的對抗性攻擊，會對人類的識別能力產生復合影響，進而提出了以像素值和主成分分析作為特征，并利用具體的評估指標來估計對抗性擾動算法的性能[4]?；诋斍吧疃葘W習模型的安全威脅，YUAN X等介紹了對抗樣本的問題，并比較了幾種對抗樣本中的防御方式[5]，DAI T等人則在類分上訓練了支持向量機，以檢測攻擊產生的對抗樣本[6]。YANG Y等人提出了一種保護策略，可以保護用戶的人臉圖像免受未經授權的面部識別系統的濫用[7]。程書豪指出，在發布照片前，變化自己照片的像素級，將擾動樣本預算控制在一定的范圍內，即使原始圖片遭到泄露，也可以保持80%以上的成功率[8]。ZHANG J等人介紹了基于生成對抗網絡GAN的網絡模型AdvGAN，成為對抗樣本生成最重要的方法[9]。

本文針對人臉圖像，研究了一種深度神經網絡模型，在人臉圖像上添加了細微擾動，使之變成對抗樣本，生成的圖像對抗樣本能欺騙指定的分類器，從而達到人臉隱私保護的目的。同時控制擾動的幅度，使對抗樣本與原始圖像的差別較小，從而保證了對抗樣本的視覺質量。

二、深度神經網絡模型結構設計

本文提出的深度神經網絡模型如圖1所示，由兩個部分組成：一個為生成網絡G，另一個為判別網絡D。生成網絡G獲取原始輸入圖像x，并輸出遮罩G（x）。將遮罩G（x）與原始輸入x相加、合并輸入判別網絡D，判別網絡由ResNet50擔任，接受合并輸入，再獲得相關Loss的函數值。Loss函數值代表生成圖像與目標圖像的差距加上分類差距。

在訓練模型時，當生成網絡的損失函數逐漸趨于穩定時，重新分配其損失函數的權重，損失函數可表示為：

式中：t指目標分類值，指交叉熵方法，前半部分代表生成圖像的分類與目標分類之間的差異;lt;F：＼雜志＼2023年雜志＼電腦迷＼02＼2a-6.tifgt;指MSE方法，后半部分代表生成圖像的像素與目標圖像之間的差異，即表示圖像的質量;α、 β則是控制兩者之間重要性的參數，需要根據不同的情況制定不同的參數，輔助訓練。

三、模型訓練

（一）加載CelebA數據集

CelebA（CelebFaces Attributes）是一個名人人臉的數據集，包含10177個名人的202599張人臉圖片，并已經做好相關的分類標識，被廣泛運用在人臉識別神經網絡模型的訓練任務中。CelebA數據集的圖片格式為178×218×3的RGB彩色圖片，因此數據量較大，在經過程序處理后，其占用的內存是原來大小的數十倍。在實際運用中，如果計算機不能支持較大的內存或顯存，則應當拆分數據集，進行多次實驗訓練。本文將每次載入內存的圖片數量設置為10000張。

由于CelebA數據集較大，并且將大批量數據輸入內存是不合適的，因此本文將單批的訓練量控制在10張圖片，將圖片數據均勻地壓縮在0—1內，并以單精度浮點數的形式保存。這樣有利于后續神經網絡模型對圖片的處理，有效地減輕了計算機的負擔。CelebA數據集的標簽保存在文本文檔中，為了追求較明顯和有價值的目標，本文將分類限制在男性與女性的分類識別上。在之后的訓練中，需要使用ResNet50作為分類器，因此將CelebA的數據處理為224×224×3的彩色圖片，不足的位置以黑色填充。

（二）訓練過程

首先預訓練ResNet50，針對CelebA的男女分類訓練，本文將ResNet50的輸出限定為二分類，輸入限定為合適大小的圖片。訓練50個EPOCH后，識別情況如表1所示。表中的0代表女性，1代表男性，第2行第3列表示女性被識別為男性的次數，第3行第2列表示男性被識別成女性的次數。

然后訓練本文提出的深度神經網絡模型。生成網絡采用卷積神經網絡模型，并輔以殘差，以加快訓練的過程，訓練共10000張圖片一組數據集，第一次訓練經歷了50個EPOCH。觀察生成的圖像，發現此時生成的圖像有較大的噪點，其平均PSNR（峰值信噪比）為9.03。繼續訓練同樣的數據集，在50個EPOCH后，生成圖像的平均PSNR達到17.49。觀察此時的損失函數變化曲線圖，發現損失函數在0.16左右波動，但整體趨勢顯示，損失函數仍有部分下降空間。再使用同樣的數據集進行訓練，在100個EPOCH后，生成圖像的平均PSNR為21.58，損失函數最終趨近于0.06。隨著訓練次數的增加，生成網絡的損失函數在逐漸下降，生成網絡生成的圖片質量也在逐漸地提高，體現為平均PSNR值在逐漸地靠近20db。

四、實驗結果

本文生成的對抗樣本，僅由單純的生成網絡生成，不涉及GAN部分。為了與GAN方案進行比較，本節將與采用了AdvGAN思想的白盒方案進行圖片質量對比，同樣通過比對PSNR數值來判別圖片質量的優劣。在AdvGAN思想方案中，本文添加了新的判別網絡與生成網絡，形成GAN。本節將訓練AdvGAN網絡，直至損失函數不再下降，訓練集和測試方法將與上文保持一致。

本文使用訓練好的ResNet50驗證生成網絡生成結果的效果，共計輸入9750張生成圖片，驗證結果如表2所示。在表2中，0代表女性，1代表男性，第2行第3列表示女性被識別為男性的次數，第3行第3列為男性被識別成女性的次數。從表2可以看出，測試集的男女比例為0.7306，本應被識別為男性卻被識別為女性的照片，占男性比例的為0.9944，可見對抗樣本的隱私保護效果顯著。

分析表2的數據，可以認識到神經網絡的學習過程習得的特征，與人類在相似的學習過程中認為的特征并不相同，這些特征存在一些非穩健性，非穩健特征具有對訓練結果的高度預測性，但這卻難以被人類理解。這種非穩健特征與對抗樣本之間的聯系比之前預想的更加緊密。如果可以針對這些非穩健特征有目的地修改數據集，就可能令判別網絡直接根據被修改、冒充的非穩健特征，得出錯誤的結論。

本文生成的對抗樣本，僅由單純的生成網絡生成，不涉及GAN。為了比較GAN方案，將與采用了AdvGAN思想的白盒方案對比圖片質量;對比PSNR數值來判別圖片質量優劣。AdvGAN思想方案添加了新的判別網絡與生成網絡，形成GAN，將訓練AdvGAN網絡直至損失函數不再下降，訓練集和測試方法將與前文保持一致。AdvGAN其生成圖片的平均PSNR值與本方法的對應結果對比，如表3所示，Loss函數值趨近于極限值。從表3可以看出，本文提出的方法在圖像質量上超過了AdvGAN，也對比了AdvGAN和本文方法生成的對抗樣本的視覺效果。從視覺上看，相比AdvGAN，本文方法生成的對抗樣本更自然、更符合人們的視覺感受。

五、結語

本文提出了一種基于深度神經網絡的人臉對抗樣本生成方法。在模型設計中，沒有使用傳統生成對抗網絡的判別器網絡，只使用了監督學習的學習方法，使生成網絡能與指定的類別分類器對抗，減輕了訓練壓力。實驗結果表明，文章提出的方法能顯著降低ResNet分類器的識別精度，保護了人臉隱私，同時能夠生成視覺質量更清晰的對抗樣本。

參考文獻：

[1] Zhang J ，Li C. Adversarial examples： Opportunities and challenges[J]. IEEE transactions on neural networks and learning systems， 2019，31（07）：2578-2593.

[2] Guo L ，Zhang H. A white-box impersonation attack on the FaceID system in the real world[J]. Journal of Physics Conference Series，2020，1651（01）：12037.

[3] 劉會，趙波，郭嘉寶，等. 針對深度學習的對抗攻擊綜述[J]. 密碼學報，2021，8（02）：202-214.

[4] Fawzi A， Fawzi O， Frossard P. Analysis of classifiers’ robustness to adversarial perturbations[J]. Machine learning， 2018，107（03）：481-508.

[5] Yuan X，He P，Zhu Q. Adversarial examples： Attacks and defenses for deep learning[J]. IEEE transactions on neural networks and learning systems， 2019，30（09）：2805-2824.

[6] Dai T， Feng Y，Chen B. Deep image prior based defense against adversarial examples[J]. Pattern Recognition，2022，122（01）：249.

[7] Yang Y，Huang Y，Shi M. Invertible mask network for face privacy preservation[J]. Information Sciences，2023，629（01）：566-579.

[8] 程書豪. 基于深度學習的人臉識別研究[D]. 廣州：廣東工業大學，2018.

[9] Zhang J，Li C. Adversarial examples： Opportunities and challenges[J]. IEEE transactions on neural networks and learning systems，2019，31（07）：2578-2593.