基于梯度增強的面部篡改檢測算法

袁 野

（福建師范大學,福建 福州 350117）

隨著深度學習技術的不斷發展，許多新技術的產生為人們帶來了諸多方面的便利。如在金融、交通等領域，人臉識別技術可以實現在線驗證身份、刷臉進出站等，極大地提高了在線支付和出行的安全性和便利性。但是與此同時，深度學習技術也帶來了許多風險，面部篡改技術就是其中一種。面部篡改技術是指通過某種算法策略或圖像工具，在保證篡改效果的真實性和合理性的前提下，將一個人的面部信息篡改為另一個人的面部信息的技術。近年來，通過基于深度學習的面部篡改技術，人們可以低成本合成肉眼難以分辨的虛假視頻，這些虛假視頻具有較高的“真實性”，普通大眾很難分辨其真偽。一旦某些特殊人物的視頻被別有用心的人通過面部篡改技術進行處理，“張冠李戴”地將某些行為強加在他們身上，將會給社會穩定和輿論安全帶來非常大的隱患。所以，對面部篡改的鑒別工作無疑是十分重要的。

在深度學習領域，面部篡改檢測算法層出不窮。LDCNN網絡將傳統圖像噪聲的殘差描述符轉換為卷積輸入，使用卷積神經網絡進行篡改分類，取得了比傳統方式更優秀的模型表現[1]；Rahmouni等（2017）提出具有全局池化層的新型神經網絡框架，通過預測計算四個統計值（最小值、最大值、平均值、方差）進行篡改分類[2]；Liu等（2020）為有效融合時間和空間不同維度的信息，提出了I3D網絡，通過三維卷積的方式進行全視頻的分類，取得了較為優秀的識別效果[3]；Bayar等（2016）創造了一種全新的卷積神經網絡架構，通過抑制圖像的內容和自適應地學習篡改特征，可以迫使網絡從圖像中學習篡改線索信息[4]；MesoNet網絡認為低級語義特征會被卷積抽象，而高級語義特征又難以被人理解，故主要針對圖像的中級語義特征進行面部篡改檢測[5]；Chollet（2017）提出了深度可分離卷積，并基于此提出了Xception網絡模型結構，僅通過RGB圖像信息即可獲得較高的模型判別準確度，如今被作為主干網絡廣泛應用于面部篡改檢測領域[6]。

然而，上述基于深度學習的檢測方法普遍存在如下問題。大多數基于深度學習的檢測算法依賴傳統卷積操作，而傳統卷積操作直接聚合了局部圖像的灰度信息，使得網絡更傾向于關注圖像本身的色彩信息，一定程度上忽略了圖像的梯度信息和局部細粒度特征[7]。而對于面部篡改檢測任務，篡改產生的梯度信息特征和局部細粒度特征可以體現假臉圖像的篡改手段等信息，這些信息對于模型是否能準確地進行檢測識別是必要的。因此，基于以上考慮，針對傳統卷積操作出現的忽略梯度信息特征和局部細粒度特征的現象，本文設計了一種梯度增強模塊，可以逐卷積層進行圖像梯度的增強，以指導模型在訓練過程中對圖像梯度信息進行學習，并針對面部篡改檢測領域任務的特點選擇最優的平衡因子，以融合傳統卷積特征和中心差分卷積特征。

1 算法模型

針對傳統卷積方式中存在的忽略梯度信息特征和局部細粒度特征的現象，本文提出了一種基于梯度增強的面部篡改檢測算法，算法框架如圖1所示。模型框架中，從RGB域提取圖像特征，并通過逐層的梯度增強以保證梯度信息在逐層卷積過程中的傳遞?？蚣茏詈筮B接一個全連接分類器，用于輸出輸入樣本的預測結果。梯度信息的增強由其中的梯度增強模塊完成，通過中心差分卷積進行局部白噪聲的分離，僅保留細節處的紋理特征后，與RGB域的圖像信息結合，以達到梯度增強的效果。

圖1 算法框架

本文提出一種基于中心差分卷積[7]的梯度增強模塊，將中心差分卷積和深度可分離卷積相結合，用于逐層卷積中的特征圖梯度增強，以緩解梯度平均化現象。中心差分卷積運算過程如圖2所示，具體為在卷積過程中每次卷積操作之前，先對目標感受野區域的像素值與目標感受野區域中心點像素值進行差分操作，然后以差分結果作為新的輸入特征再進行卷積操作。

圖2 中心差分卷積示意圖

同時，梯度增強模塊中的中心差分卷積操作并未完全拋棄傳統卷積操作，而是引入了平衡參數θ以平衡中心差分卷積和傳統卷積的特征貢獻程度。中心差分卷積運算公式如式（1）。

其中，R表示感受野范圍內相對于感受野中心點的不同方向向量，在3×3卷積中分別為（-1，-1），（-1，0）…（0，1），（1，1）；θ為超參數，旨在平衡傳統卷積和差分卷積的貢獻程度；pn為感受野范圍內的圖像像素位置，p0為感受野中心點位置，w(pn)為卷積算子在pn點的權重，x(p0+pn)為特征圖在p0+pn點的灰度值。

圖3為差分增強模塊示意圖，具體步驟：首先使用C（輸入特征圖通道數）個卷積核分別對每一層的圖像特征進行卷積，卷積過程中每次進行加權求和操作前，將待卷積部分特征圖進行梯度增強操作后再進行加權求和操作，之后使用D（輸出特征圖通道數）個1×1卷積核對每一層卷積后的圖像特征進行直接卷積。

圖3 差分增強模塊

圖4為將原始圖像（a）分別通過傳統卷積（b）和本文梯度增強模塊（c）進行處理后的結果?？梢园l現傳統卷積中面部特征的細粒度信息較為模糊，趨向于將面部特征信息進行平均化，而本文的梯度增強模塊使圖像特征保留了更多細粒度梯度特征，緩解了特征丟失問題。

圖4 梯度增強模塊效果對比圖

2 實驗驗證分析

2.1 實驗數據

FF++（FaceForensics++）數據集[8]被廣泛用作DeepFake檢測領域應用的基準數據集。FF++數據集包含1 000段來自YouTube的真實視頻，并且基于DeepFakes[9]、Face2Face[10]、FaceSwap[11]、NeuralTextures[12]四種篡改方式進行面部圖像的篡改合成，每種篡改方式基于真實視頻生成1 000段篡改視頻?？紤]到DeepFake技術生成的篡改視頻的應用場景大部分是社交媒體，而社交媒體對于視頻的質量都會有一定的壓縮以保證較少的流量壓力，故為驗證模型在真實環境下的表現效果，本文選取FF++數據集中最具挑戰性的低壓縮率（c40）的子數據集，并選取DeepFakes（DF）、Face2Face（FF）、FaceSwap（FS）、NeuralTextures（NT）四種篡改方式數據集以及真實樣本數據集（real）作為目標實驗數據集。

原始數據集按FaceForensics++推薦劃分方式劃分為訓練集、驗證集和測試集，并采用將視頻等距切分30幀的方式得到實驗樣本圖片數據集。劃分完畢后將樣本圖片通過dlib庫[13]得到人臉面部輪廓，并將面部輪廓向外擴展1.3倍后獲得實驗使用的最終數據集。

2.2 實驗環境及參數

本實驗使用的計算機CPU為Intel(R) Xeon(R) Silver 4210R CPU @ 2.40GHz，顯卡為NVIDIA GeForce RTX 3080，CUDA版本為11.5。深度學習框架使用PyTorch，版本為1.10.0。模型主干網絡選擇Xception[6]網絡。同時，為提高模型分類精度和訓練效率，本實驗選擇困難度平衡因子λ為2。模型采用Adam優化器進行優化，學習率為3e-4，使用準確率（Accurancy）作為實驗評價指標。

2.3 實驗結果與分析

2.3.1 不同中心差分超參數θ的對比實驗

在中心差分操作中，差分圖像特征與傳統卷積圖像特征的平衡參數θ決定了兩部分圖像特征的重要程度，繼而影響模型表現。為了探究平衡參數θ對模型表現的影響，本節實驗在高壓縮率的NeuralTextures子數據集上分別測試0.0～1.0的θ值對主干網絡模型準確率的影響，并繪制折線圖以可視化方式展示不同θ值的實驗效果。實驗結果如圖5所示。

圖5 不同平衡因子θ實驗結果

實驗結果表明，當θ為0.1時，模型在NeuralTextures子數據集上表現最佳，準確度達到80.27%。這表明當中心差分卷積的差分部分和傳統卷積部分權重比為1 ∶9時，此模型相較于完全傳統卷積可以更有效地提取篡改圖像中的線索信息，有助于分類。同時可以發現，隨著差分部分占比的增加，模型準確度表現出現一定的下降趨勢，表明僅靠差分部分的梯度數據較難完全反映出篡改圖像中的線索信息。綜上，對于面部篡改檢測任務而言，將中心差分思想和傳統卷積進行融合的梯度增強方式可以有效提升模型表現。

2.3.2 與其他方法的對比

隨著面部篡改檢測領域研究的不斷深入，國內外許多研究者針對面部篡改提出了多種檢測方式，并在FF++數據集上獲得了不錯的檢測效果。這些方法大致分為兩類，分別是視頻級篡改檢測和幀級圖片篡改檢測。本節實驗選取部分具有代表性的幀級圖片篡改檢測算法，并在基于FF++數據集高壓縮率的數據子集上進行實驗比較，以驗證本文網絡結構和算法的有效性。實驗結果如表1所示。

表1 不同算法對比

實驗結果表明，本文提出的基于梯度增強檢測算法在不同篡改方式的檢測任務上，模型表現均有較明顯的提升。因此，通過圖像梯度特征的增強，模型獲得了更加出眾的特征提取能力，能夠更為準確地在篡改圖片中提取篡改線索信息。本文提出的焦點損失和梯度增強模塊融合的算法是有效的。

2.3.3 可視化

為進一步揭示算法的有效性，本文在低質量高壓縮率的NeuralTextures子數據集上進行實驗，在不連接全連接分類器的情況下，將模型輸出進行PCA降維，并通過t-SNE[14]進行可視化展示，效果如圖6、圖7所示。

圖6 Xception算法t-SNE可視化圖

圖7 本文算法t-SNE可視化圖

圖6為原始Xception網絡所提取圖像特征的t-SNE效果圖，圖7為本文算法模型所提取圖像特征的t-SNE效果圖，可以發現本文模型所提取的圖像特征在空間上分布相對更加致密，相同類別的特征分布相對更加緊湊，對不同類型的樣本特征聚類效果更加明顯。同時在每個類別的聚類中心點附近，即模型結果置信度較高的區域，聚類錯誤的樣本點個數比原始Xception網絡相對更少，即本文算法更有“信心”保證檢測的正確性。

3 結語

本文提出一種基于中心差分的梯度增強模塊，實驗結果表明，在最具有挑戰性的高壓縮率數據集上，針對不同的篡改方式，該算法都可以達到較佳的檢測效果。同時，該算法也存在一定的局限性，在區分較為簡單樣本（如DeepFakes篡改方式）時，模型檢測精度不如困難樣本（如NeuralTextures篡改方式）提升明顯。而對于如何更有效地平衡“困難樣本”和“簡單樣本”的關系這一問題，可以通過遷移學習方法，使模型可以在“困難樣本”集上表現效果較佳的同時，保證在“簡單樣本”集上的檢測精度，這將是未來的研究方向。