基于對抗學習與協同優化的身份匿名方法

劉玉彤

(黑龍江工商學院,哈爾濱 150025)

0 引言

近年來,基于深度學習的方法已取得了具有前景的性能,但這些方法通常依賴于大規模的圖像數據,這些圖像不可避免的會暴露個人隱私,因此數據隱私越來越受到人們的關注?；谝陨蠁栴},人臉匿名技術[1]應運而生,該方法可在保證圖像真實感的前提下對圖像中的人臉進行匿名。

目前,生成對抗網絡(Generative Adversarial Networks, GAN)[2]被廣泛應用于圖像生成領域。現有基于GAN的人臉匿名化方法依據生成過程中使用的真實人臉數量可分為一對一方法[1]和多對一方法[3]。前者通過對一張真實人臉進行重構來達到人臉匿名目的,例如DeepPrivacy[1]只需要對一張人臉進行處理便可得到匿名化的人臉圖像;后者每生成一張偽人臉,通常需融合至少兩張真實人臉,例如CIAGAN[3]在原始人臉的特征中融入其他身份信息實現身份匿名。在現有的一對一方法中,DeepPrivacy[1]取得了具有競爭力的性能,該方法利用人臉檢測模型對原始圖像(即真實圖像)中的人臉部分進行隱去,之后對隱去的人臉部分重新進行生成,雖然能夠在保持背景不變的前提下對人臉進行匿名,但額外的人臉檢測模型會降低匿名速度并增加預測模型的體積。

針對上述問題,本研究提出了一種基于對抗學習與協同優化的身份匿名方法,通過平衡識別損失及重建損失以輕量級的方式實現身份匿名。識別損失可對原始圖像進行匿名,而重建損失促使生成的圖像保持原有背景,當兩者達到平衡時,生成圖像具有與原圖像相同的背景和不同的身份。此外,重建損失能有效保持原始人臉的表情。本方法的研究貢獻主要包括以下幾方面：提出了一種輕量級的基于對抗學習與協同優化的身份匿名方法,不需要額外的人臉檢測模型預處理。為了實現匿名化目的,在GAN的對抗損失基礎上引入了識別損失和重建損失,前者對原始圖像進行匿名,后者保持原始背景及表情,在大規模的人臉數據集上對此方法進行定性及定量評估。實驗結果表明,該方法在生成質量、匿名效果及推理速度等方面超越了現有的身份匿名方法。

1 基于對抗學習與協同優化的身份匿名方法

身份匿名化方法是對含有真實人臉的圖像進行匿名化,即對于一張真實圖像xr,匿名化方法可獲得與xr具有不同身份和相同背景的生成圖像xf。由于其對身份隱私的保護作用,在現實中具有較高的應用價值。

提出一種基于對抗學習與協同優化的身份匿名方法,相比傳統的匿名化方法,此方法更加輕量化。如圖1所示,本方法以GAN為基礎,生成器G在判別器D的指導下基于對抗學習的思想生成具有真實感的人臉圖像。此外,人臉識別模型F與生成器G協同優化,輔助G實現身份匿名。為了幫助生成器G重建生成圖像的背景,引入了LR損失函數。

圖1 基于LGAN、LF和LR對生成器G進行聯合優化的模型

1.1 對抗學習

現有的身份匿名方法,如DeepPrivacy[1]、CIAGAN[3]通常以GAN[2]為基礎。GAN是由一個生成器G和一個判別器D組成的系統。生成器G的作用是生成具有真實感的圖像,并將生成圖像輸入判別器D,判別器D則判斷輸入的圖像數據是真實圖像還是生成器生成的圖像,兩者相互對抗,最終G在D的指導下學習真實圖像的分布。

引入LSGAN[4]的最小二乘損失函數來穩定優化過程。最小二乘損失函數相比交叉熵損失函數能夠懲罰被正確分類但仍遠離真實分布的生成樣本,從而將生成樣本推到決策邊界。本階段中,判別器D與生成器G對抗學習,可促使G生成具有真實感的人臉圖像。生成器G和判別器D的優化過程如公式(1)、式(2)所示：

(1)

(2)

其中,p(xr)是真實人臉圖像的分布。

對抗性損失函數LGAN如公式(3)所示：

LGAN=L(G)+L(D)

(3)

1.2 協同優化

身份匿名化的目的是在保持圖像背景不變的前提下對身份進行修改。為了保證背景不變,現有的方法如DeepPrivacy[1]、CIAGAN[3]通常需引入一個額外的人臉檢測模型獲得人臉區域,再對人臉區域進行重新生成。以上方法存在兩個缺陷：額外的人臉檢測模型會增加模型的整體體積并降低推理速度。由于原始人臉被掩蓋,生成的人臉通常會喪失原始的表情信息?；谝陨蠁栴}引入了重建損失LR,來保持圖像中的背景及表情,如公式(4)所示：

(4)

LR在像素級別促使生成圖像xf接近于真實圖像xr,從而使xf保持xr中的背景及表情。為了保證xf和xr具有不同的身份,引入了人臉識別模型F與識別損失LF,并以一種協同優化的方式訓練人臉識別模型F和生成器G。具體來說,LF促使人臉識別模型F將真實圖像xr歸為其對應的真實類別yr,同時將生成器G生成的圖像xf不歸為類別yr。此外,LF促使生成器G生成不屬于類別yr的圖像xf,從而降低F的預測模糊性。在對F和G的優化過程中,識別損失LF被定義為公式(5)：

LF=-Exr～p(xr)yrlogF(xr)+Exr～p(xr)yrlogF[G(xr)]

(5)

其中,yr為xr所對應的真實身份。

1.3 整體損失

整體損失總結如公式(6)所示：

Ltotal=LGAN+λRLR+λFLF

(6)

其中,λR和λF分別為LR和LF的權重。在優化過程中,模型在以下兩個階段之間迭代來解決最大最小問題。在第一階段,固定G的參數,更新D和F的參數。在第二階段,固定D和F的參數,更新G的參數。在預測階段,只有G被用于對人臉進行匿名化。

2 實驗

2.1 實驗設置

2.1.1 數據集和評價指標

CelebA[5]數據集包含202 599張人臉圖像,每張圖像有40個二進制格式的屬性注釋,包括性別、年齡(老年或年輕)、模糊及其他屬性。訓練集包含162 770幅圖像,驗證集包含19 867幅圖像,測試集包含19 962幅圖像。

使用Fréchet Inception Distance(簡稱FID)[6]和Kernel Inception Distance(簡稱KID)[7]對生成圖像的質量進行定量評估。FID和KID分別從不同方面計算生成樣本與真實樣本之間的相似性。FID和KID值越低,表明生成樣本的特征分布與真實樣本的特征分布越相似。

匿名化方法應在保持人臉基本屬性的前提下對原始身份進行匿名,即生成的人臉能夠被其他方法檢測到,但原始身份不能被識別。使用人臉識別庫(Dlib)[8]檢測圖像中的人臉,對于身份識別,使用預訓練的FaceNet模型[9]判斷生成的人臉及其對應的原始人臉是否屬于同一身份。

2.1.2 實現細節

將所有圖像的大小調整為128×128。遵循CIAGAN[3]的測試方法,選取CelebA數據集中來自1200個身份的圖像用于訓練,選取來自其他363個身份的圖像用于測試。

生成器G基于CycleGAN[10]設計。判別器D基于PatchGAN[11]設計,使用兩個不同尺度的判別模塊來提升生成圖像的真實感。人臉識別模型F使用預先訓練的SphereFace[12]。生成器G和判別器D的學習率設置為0.0001。人臉識別模型F的學習率設置為0.00001。訓練批量大小設置為48。在測試階段,只有生成器G用于推理。

2.2 對比實驗

2.2.1 定量評估

一個令人滿意的匿名化模型不僅要生成高質量的圖像,還要生成具有高檢測率及低識別率的圖像。檢測率表現為當原始人臉圖像被匿名后,仍然保留圖像中某些基本特性,并能夠被其他模型所檢測。識別率表現為當原始人臉被匿名后,舍棄與身份相關的所有特征,使其他模型難以識別原始身份?？傊?匿名后的人臉不應該被識別,但能被檢測。

本方法與像素化、模糊化、Fawkes[13]、DeepPrivacy[1]及CIAGAN[3]的對比結果如表1所示。傳統的匿名化方法(像素化和模糊化)雖然可以顯著降低識別率,但會損害人臉的基本屬性,導致檢測率極低。學者們提出的Fawkes[13]、DeepPrivacy[1]及CIAGAN[3]在保留基本屬性的前提下對原始身份進行匿名。由于Fawkes方法是在不改變人臉視覺感受的前提下降低被識別的概率,所以具有較高的檢測率,但識別率也較高,不同于Fawkes、DeepPrivacy及CIAGAN基于人臉檢測模型掩蓋原始人臉,再對人臉部分進行重新生成,以獲得更低的識別率。如表1所示,相比于DeepPrivacy[1]與CIAGAN[3],本方法取得了更高的檢測率及更低的識別率。

表1 檢測率(Dlib和SSH)與識別率(FaceNet)結果

分別從生成質量及推理時間等方面對比了Fawkes、DeepPrivacy、CIAGAN及本方法,實驗結果如表2所示。在生成質量方面,本方法取得了更低的FID和KID,表明生成的圖像整體分布更接近于真實分布,相比其他方法更具優越性。在模型推理時間方面,本方法沒有使用額外的人臉檢測模型,顯著降低了推理時間。如表2所示,DeepPrivacy的推理時間為5730.73 s,而本方法的推理時間僅為95.36 s,為DeepPrivacy推理時間的1/60。

表2 生成質量和推理時間(秒)結果

相比現有的傳統匿名方法和基于深度學習的匿名方法,本方法具有更高的生成質量、更強的匿名效果及更快的推理速度。

2.2.2 定性評估

從視覺角度對Fawkes[13]、DeepPrivacy[1]、CIAGAN[3]及本方法所生成的圖像質量進行定性評估。邀請5位觀察者對以上方法所生成圖像的真實感及匿名效果進行評估。將真實感及匿名效果的分數范圍都設置為[0,10],越接近10表示真實感或匿名效果越好。5位觀察者的評分均值如表3所示,可以發現,Fawkes生成的圖像雖然具有較強的視覺真實感,但難以在視覺角度對身份進行匿名。DeepPrivacy和CIAGAN雖然能夠對身份進行匿名,但生成圖像的真實感略低于本方法。相比以上方法,本方法綜合考慮了身份匿名和圖像質量,在保證圖像真實性的前提下完成了身份匿名,獲得了較高的真實感及匿名效果。綜合來看,本方法生成圖像的視覺質量優于現有方法。

表3 真實感和匿名效果的定性評估結果

3 結論

提出了一種基于對抗學習與協同優化的身份匿名方法,其不同于現有的依賴于人臉檢測模型的匿名方法,可降低計算量并提升推理速度,引入的重建損失與識別損失可在不改變背景的情況下有效地對身份進行匿名化。在CelebA數據集上的定量及定性評估實驗結果表明,該方法在生成質量、匿名效果及推理速度等方面顯著優于現有的匿名化方法。