GRU和Involution改進的深度偽造視頻檢測方法

劉亞琳，蘆天亮

中國人民公安大學(xué) 信息網(wǎng)絡(luò)安全學(xué)院，北京100038

目前深度學(xué)習(xí)被廣泛研究，相關(guān)技術(shù)日益成熟并且在很多方面取得了巨大的成就。這類技術(shù)對人們的日常生活產(chǎn)生了積極或消極的影響，深度偽造就是其中最具有代表性的消極影響之一。比如名人換臉視頻[1]，某國總統(tǒng)演講時的偽造音頻[2]，盜竊大額錢財和青少年騷擾等案件，涉及到政治、名譽、生活等多方面，其社會危害性不容小覷。隨著深度偽造技術(shù)的成熟，使用者可以在不熟悉甚至完全不懂相關(guān)理論知識和深度學(xué)習(xí)算法的情況下輕松地使用相關(guān)軟件，例如FakeApp 和Zao等，對視頻進行篡改偽造。正是由于這種技術(shù)的濫用，互聯(lián)網(wǎng)中出現(xiàn)了大量盜用他人身份制作色情視頻、敲詐勒索和網(wǎng)絡(luò)攻擊，甚至是傳播虛假新聞制造輿論、煽動暴恐行動和干擾國家政治等行為。因此有效分辨深度偽造視頻至關(guān)重要。

1 相關(guān)工作

由于檢測深度偽造視頻的重要性，國內(nèi)外相關(guān)研究大幅增多。如今對深度偽造視頻檢測技術(shù)的研究主要分成兩類，分別是基于單幀的檢測和基于多幀的檢測。

基于單幀的檢測方法對深度偽造視頻單幀的空間特征進行學(xué)習(xí)，再對各幀的預(yù)測結(jié)果決策進行融合。該方法可以充分提取偽造人臉的空間特征，但是忽略了幀間差異，主要分為傳統(tǒng)檢測和深度學(xué)習(xí)檢測。對于傳統(tǒng)的圖像取證檢測，Koopman 等人[3]對圖片在拍攝過程中進行PRNU（photo response non uniformity）分析，利用計算出的視頻平均歸一化交叉評分來識別偽造視頻。李紀成等人[4]根據(jù)Lambert算法來計算視頻中幀的二維光照方向，并判斷視頻中這些方向的變化是否平滑來區(qū)分偽造與否。對于使用深度學(xué)習(xí)的檢測，Yang等人[5]利用偽造圖像在圖像顯著程度上存在細微的紋理差異，在篡改圖像上表現(xiàn)為紋理上的差異，使用引導(dǎo)過濾器增強處理造成的紋理偽影并顯示出潛在的偽造特征。Demir等人[6]通過眼睛和凝視時的特征差異進行真假檢測。Li等人[7]提出一種新的偏導(dǎo)數(shù)，構(gòu)建了S-MIL 和S-MIL-T 兩種網(wǎng)絡(luò)。Nguyen 等人[8]使用參數(shù)較傳統(tǒng)卷積更少的膠囊網(wǎng)絡(luò)模型來檢測篡改視頻，并通過詳細的分析和可視化解釋了膠囊網(wǎng)絡(luò)應(yīng)用于取證問題背后的理論。

基于多幀的檢測方法對深度偽造視頻多幀的時空特征進行學(xué)習(xí)。該方法可以很大程度地學(xué)習(xí)視頻的幀間特征。3D卷積網(wǎng)絡(luò)通過視頻數(shù)據(jù)集的特點進行特征提取，可以更加高效地學(xué)習(xí)連續(xù)的動作特征。Hara 等人[9]和Carreira等人[10]提出了3DResNet和I3D。Wang等人[11]將3DResNet、3DResNeXt和I3D卷積網(wǎng)絡(luò)應(yīng)用于深度偽造視頻檢測中，并研究了三種網(wǎng)絡(luò)模型在識別篡改視頻方面的效果。Sebyakin 等人[12]通過滑動窗口方法處理視頻來分析來自多個連續(xù)幀序列的信息并檢測視頻內(nèi)容中的深度偽像。Ganiyusufoglu等人[13]使用3D卷積深入分析了序列和時空視頻編碼器如何利用時間信息進行視頻檢測。Xuan等人[14]搭建了五層3D卷積網(wǎng)絡(luò)進行訓(xùn)練，并驗證模型的有效性。文獻[15-16]利用光流場訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）學(xué)習(xí)視頻序列時間結(jié)構(gòu)中存在的運動差異來區(qū)分真假視頻。循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent netural network，RNN）能夠獲取幀之間的時序特征。文獻[17-19]首先利用CNN 提取視頻每幀人臉面部特征，再放入循環(huán)神經(jīng)網(wǎng)絡(luò)對面部特征的時序變化進行學(xué)習(xí)，從而鑒別偽造視頻。Xiao 等人[20]提出了一種基于多變量時間預(yù)測的卷積LSTM（long short-term memory）網(wǎng)絡(luò)模型，解決了時間依賴性不足的問題。Masi 等人[21]和Wu 等人[22]使用LSTM 網(wǎng)絡(luò)的同時提取圖像的高頻信息來增強空間特征。文獻[23-25]引入注意力機制，并與LSTM進行融合來增強空間信息表達能力。

文獻[8]中的膠囊網(wǎng)絡(luò)結(jié)構(gòu)可以關(guān)注特征的位置信息且較卷積網(wǎng)絡(luò)有更少的參數(shù)，但是僅關(guān)注了空間特征并且檢測準確率有待提升。文獻[21-25]基于時序特征對空間特征進行了增強，但使用的是擁有通道不變和空間不可知性質(zhì)的標準算子。因此本文提出一種GRU（gated recurrent unit）和Involution 算子改進的深度偽造視頻檢測方法。該檢測方法首先基于Involution算子構(gòu)建了一個提取全局特征信息的特征提取網(wǎng)絡(luò)，平衡空間信息和通道信息之間的精度效率，在訓(xùn)練階段使用focalloss函數(shù)平衡樣本；使用主膠囊層學(xué)習(xí)特征的位置信息并對CNN-Capsule輸出的特征使用GRU進行幀級別學(xué)習(xí)，使整個模型在關(guān)注特征的位置信息時還可以充分學(xué)習(xí)空間特征和時序特征。

2 本文方法

本文首先對原始視頻數(shù)據(jù)集進行幀截取和對齊，然后進行幀處理，對圖像進行人臉識別和中心剪裁，最終把視頻數(shù)據(jù)集處理成可以輸入到網(wǎng)絡(luò)模型中的張量形式；將處理好的數(shù)據(jù)輸入到搭建好的混合模型中，首先使用CNN 輸出人臉空間特征向量，然后再使用主膠囊層和GRU 學(xué)習(xí)位置信息和時序特征，最終結(jié)合時空特征進行分類。檢測流程如圖1所示。

圖1 深度偽造檢測流程圖Fig.1 Deepfake detection flow chart

由于一般深度偽造視頻主要是對人臉進行篡改，冗余的背景信息會對檢測造成干擾。因此本文將面部區(qū)域的識別和裁剪工作放在了數(shù)據(jù)的預(yù)處理階段。每條人臉視頻長度大約為10 s，幀速率為30，設(shè)置每10 幀保存一張圖像，最終每條視頻大約截取30 幀左右。本文通過MTCNN[26]模型對每條視頻的每幀圖片進行人臉識別，然后對識別后的圖片從中心區(qū)域開始剪裁并進行歸一標準化，最終大小為128×128×3的人臉圖片作為初始數(shù)據(jù)輸入到網(wǎng)絡(luò)模型中。數(shù)據(jù)預(yù)處理可以使網(wǎng)絡(luò)模型集中關(guān)注學(xué)習(xí)每一幀中的人臉特征，忽略不相關(guān)的信息。然后使用VGG19_bn的前20層和Involution算子將預(yù)處理的數(shù)據(jù)進行特征提取得到圖像特征向量，然后通過主膠囊層PrimaryCaps 學(xué)習(xí)特征的位置信息，其中每個主膠囊層會輸出不同的特征向量，最后三個主膠囊堆疊在一起形成GRU的輸入特征向量。最后經(jīng)過全連接層和softmax分類器進行真實或偽造分類。

2.1 特征提取網(wǎng)絡(luò)

VGG卷積神經(jīng)網(wǎng)絡(luò)[27]是由牛津大學(xué)和Google協(xié)同開發(fā)出的深度神經(jīng)網(wǎng)絡(luò)，由于構(gòu)造簡單并且具有實用性，在目標檢測和分類等任務(wù)中都充分反映出獨特的優(yōu)越性。VGG 家族網(wǎng)絡(luò)中包括VGG16 和VGG19 等網(wǎng)絡(luò)結(jié)構(gòu)，它們之間的差異僅在于網(wǎng)絡(luò)深度不同。文獻[8]使用VGG19中的前19層作為空間特征提取網(wǎng)絡(luò)，然后將提取的特征放入到膠囊網(wǎng)絡(luò)中。本文使用VGG19_bn提取每幀圖像的空間特征，輸出的特征向量作為下一個模塊的輸入。圖1中視頻幀通過VGG19_bn的features模塊的前20層進行特征提取，隨后得到256維的輸出特征向量集合Uk={u1,u2,…,un} 。

2.2 膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò)[28]與卷積神經(jīng)網(wǎng)絡(luò)的主要區(qū)別是它們的基本神經(jīng)元不同。卷積神經(jīng)網(wǎng)絡(luò)在提取特征時不關(guān)注位置特征，其神經(jīng)元是標量神經(jīng)元，輸入是向量，輸出是一個標量。膠囊網(wǎng)絡(luò)中的神經(jīng)元為向量，神經(jīng)元輸入是向量，輸出也是向量，輸出向量的模長表示某一特征出現(xiàn)的概率值，方向代表實例化參數(shù)來關(guān)注特征的位置關(guān)系。如圖2 所示，傳統(tǒng)神經(jīng)元中，對輸入xi進行加權(quán)求和，然后經(jīng)過sigmoid、tanh 等非線性函數(shù)，最后輸出一個標量。預(yù)測向量u由輸入向量ui經(jīng)過矩陣計算得到，隨后對這些新向量進行加權(quán)求和，最后通過激活函數(shù)squashing對向量進行壓縮，得到長度在0-1范圍內(nèi)的輸出向量。在膠囊神經(jīng)元中，輸入向量ui到輸出向量vj的計算過程如式（1）～（3）所示。

圖2 神經(jīng)元結(jié)構(gòu)對比Fig.2 Comparison of neuronal structure

膠囊網(wǎng)絡(luò)由三部分組成，分別是輸入卷積層、主膠囊層和數(shù)字膠囊層。第一層卷積層使用傳統(tǒng)卷積提取輸入向量的淺層特征；第二層主膠囊層使用膠囊神經(jīng)元進行計算；第三層數(shù)字膠囊層在使用主膠囊層的輸出后采用了動態(tài)路由算法進行連接。膠囊和上層中所有膠囊的耦合系數(shù)ηi,j和為1，a為臨時變量，初始值為0 并在每次迭代中更新（耦合系數(shù)ηi,j如式（4）所示），并且使用動態(tài)路由算法進行調(diào)整。

2.3 GRU

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）被設(shè)計為處理時間序列數(shù)據(jù)。它會對前序數(shù)據(jù)進行記憶，前面的信息會對當(dāng)前的結(jié)果產(chǎn)生影響。但是由于RNN在反向傳播期間會面臨梯度消失問題，如果輸入的數(shù)據(jù)序列足夠長，很難將較早的有用信息傳遞到之后神經(jīng)元中，這時神經(jīng)網(wǎng)絡(luò)就不會繼續(xù)學(xué)習(xí)，因此也達不到理想的學(xué)習(xí)率，神經(jīng)網(wǎng)絡(luò)的精度也會下降。LSTM在RNN基礎(chǔ)上進行了改進，改善了這一問題，其中遺忘門、輸入門、輸出門組成了LSTM的主要部分。

GRU[29]合并了LSTM的遺忘門和輸出門，還去除了細胞狀態(tài)這一結(jié)構(gòu)，信息傳遞通過隱藏狀態(tài)來完成。GRU由更新門和重置門組成，圖3是運行到t時刻LSTM和GRU的結(jié)構(gòu)對比。更新門zt作用是控制在t時刻忘記哪些信息和記住哪些信息，重置門rt用來控制在t時刻對先前信息的遺忘程度，計算方式如式（5）、（6）所示。

圖3 LSTM和GRU結(jié)構(gòu)對比Fig.3 Structural comparison of LSTM and GRU

其中，W、W′為權(quán)重矩陣，b為偏置參數(shù)，v為輸入數(shù)據(jù)。然后使用重置門計算目前時刻的候選隱藏狀態(tài)，由σ函數(shù)映射到[0，1]空間中。如式（7）、（8）所示，最后使用更新門對候選隱藏狀態(tài)和上一時刻的信息進行線性組合，得到目前時刻的信息就完成了本次時間步的更新。

2.4 Involution算子

目前檢測網(wǎng)絡(luò)模型中大多使用卷積算子，可以對參數(shù)共享和充分學(xué)習(xí)不同通道上的信息，但是會存在卷積核受限不靈活和信息冗余的問題。Involution 算子[30]對空間域和通道域特性進行了逆向轉(zhuǎn)變，顛覆了具有通道不變和空間不可知的卷積固定的性質(zhì)，打破了現(xiàn)有卷積的歸納偏差，可以實現(xiàn)空間信息和通道信息之間良好的精度效率平衡，在確保網(wǎng)絡(luò)架構(gòu)表現(xiàn)特征能力的同時，還促使了網(wǎng)絡(luò)輕量化，輸出特征向量中的各個通道信息由輸入特征向量中的每個通道信息參與計算而來，并且計算中的參數(shù)不共享。本文將Involution 算子引入到VGG19_bn網(wǎng)絡(luò)中代替第21層的卷積操作，步長設(shè)置為2。

對于一般卷積操作，輸入特征圖記為M∈RH×W×Ci（H、W、C分別代表高度、寬度和通道），大小為k的卷積濾波器為F∈RC0×Ci×K×K,c0和ci分別代表輸出通道數(shù)和輸入通道數(shù)，其中卷積核的參數(shù)固定。卷積濾波器對輸入特征圖進行運算后得到輸出特征圖。

與卷積核不同，Involution核N∈RH×W×K×K×G是一種動態(tài)核，不同像素之間參數(shù)也不相同，G表示每個組共享相同核的個數(shù)，每一組在通道上共享，但是在空間中不同。具體表現(xiàn)為Involution核是在不同位置動態(tài)生成，它的大小與輸入特征向量Mi,j∈RCi的維度有關(guān)，生成對應(yīng)每個像素的核，如式（9）所示：

其中，?為核生成函數(shù)，W1和W0是兩個構(gòu)成bottleneck的線性變換，減少比率γ決定中間通道數(shù)的維度，σ為激活函數(shù)。

在上述Involution 核生成過程中，每個像素中的通道信息都被擴散到附近的空間中，然后再由動態(tài)核將感受野中的信息搜集起來。如圖4所示，輸入特征向量經(jīng)過與Involution 核進行乘加運算后得到輸出特征向量。運算分為兩部分：與通道c相乘和范圍內(nèi)空間信息聚合相加。

圖4 Involution算子計算過程(G=1)Fig.4 Calculation process of Involution(G=1)

2.5 focalloss

由于數(shù)據(jù)集Celeb-DF 中的正負樣本不平衡，本文使用focalloss函數(shù)[31]來評估樣本預(yù)測標簽與真實標簽之間的差距大小。focalloss 函數(shù)是一種可以動態(tài)縮放的交叉熵損失，會讓整個檢測網(wǎng)絡(luò)聚焦于難分類的樣本。本文的檢測可簡單理解為一個二分類任務(wù)。一般二分類使用的損失函數(shù)交叉熵可表示為式（10），pt為分為某一類的概率。

二分類交叉熵函數(shù)中簡單樣本的損失占據(jù)了主導(dǎo)并且控制了梯度方向，因此focalloss在式（10）的基礎(chǔ)上加入了加權(quán)因子α和調(diào)制因子(1-pt)γ（聚焦參數(shù)γ大于等于0），分別用來調(diào)整正負樣本的權(quán)重和調(diào)整簡單樣本和難樣本的權(quán)重，如式（11）所示：

α可以用來調(diào)整和平衡正負樣本的比例。當(dāng)一個樣本的預(yù)測標簽與真實標簽不相等時，pt的值很小，因此調(diào)制因子趨近于1，對最終的損失值影響最小化；當(dāng)一個樣本預(yù)測標簽與真實標簽相等時調(diào)制因子為0，因此簡單樣本對最終損失值的權(quán)重被降低，以此在訓(xùn)練過程中降低簡單樣本的權(quán)重，使模型聚焦于難樣本上。綜上本文選擇將focalloss 函數(shù)作為損失函數(shù)，并在第3.4 節(jié)中對其中參數(shù)的設(shè)置進行討論。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

本文所用的實驗平臺是Ubuntu16.04 64 bit，中央處理器為Intel?CoreTMi9-10920X@3.50 GHz，內(nèi)存大小為24 GB，顯卡為NVIDIA GeForce RTX 3090。本文中所有實驗的代碼都是在pytorch框架下實現(xiàn)，python版本為3.7。

3.2 實驗數(shù)據(jù)集

FaceForensics++[32]作為FaceForensics的擴展數(shù)據(jù)集于2019年發(fā)布，是目前規(guī)模較大、種類較多的公開面部偽造數(shù)據(jù)集。真實視頻采集于YouTube上1 000個真實人臉視頻，按照四種不同生成偽造視頻的方法，數(shù)據(jù)集被分為Face2Face、FaceSwap、Deepfakes 和NeuralTextures四類。其中，Deepfakes 與FaceSwap 是將視頻中的人臉完全替換成另一個人臉對視頻中人物身份進行偽造；Face2Face 與NeuralTextures 是將視頻中人的表情換成另一個人的表情但身份沒有變，僅對面部的表情進行偽造。本文主要研究對整個人臉篡改進行檢測，因此選取Deepfakes與FaceSwap兩個數(shù)據(jù)集進行測試。

Celeb-DF[33]數(shù)據(jù)集中擁有質(zhì)量更好的偽造視頻，彌補了其他數(shù)據(jù)集中分辨率不高、偽造痕跡較明顯等問題。在YouTube 中采集了408 個真實視頻，由59 個性別、年齡、種族差別各異的名人采訪視頻構(gòu)成。使用Deepfakes 方法生成了795 個偽造視頻。Celeb-DFv2 在之前的基礎(chǔ)上進行了擴展，其中包括從YouTube收集的590 個不同年齡、種族和性別的原始視頻，以及5 639 條對應(yīng)的Deepfake視頻。

3.3 實驗參數(shù)設(shè)置

對于上述數(shù)據(jù)集的所有視頻以7∶3 的比例劃分為訓(xùn)練集和測試集，每個視頻提取大約30幀，分為兩個類別即真和假。其中模型的損失函數(shù)采用了交叉熵來計算預(yù)測值和真實值之間的誤差，模型的優(yōu)化使用了Adam 梯度下降算法，學(xué)習(xí)率初始化為0.000 1，betas 設(shè)為（0.9，0.999）。為了保證實驗的公平性，對每種數(shù)據(jù)集都分別訓(xùn)練其分類器，本文中的網(wǎng)絡(luò)模型最后在全連接層后使用softmax函數(shù)來進行二分類，閾值選取為0.5。

3.4 實驗結(jié)果分析

3.4.1 空間特征提取網(wǎng)絡(luò)的選取

幀間時序特征的提取基于CNN 模型提取幀內(nèi)特征，CNN 模型的選取對檢測的準確度有很大影響。本文基于控制變量對幀內(nèi)特征提取網(wǎng)絡(luò)進行選取，如圖5、圖6所示，使用準確率ACC和AUC作為評價指標，經(jīng)實驗證明幀內(nèi)特征提取部分使用卷積神經(jīng)網(wǎng)絡(luò)VGG檢測準確率最高。在VGG19中加入批量歸一化層可以抑制過擬合并提高整個模型的泛化能力，VGG19_bn 較VGG19 準確率平均高出1.12%。而結(jié)構(gòu)相對復(fù)雜的網(wǎng)絡(luò)ResNet、EfficientNet和Iception_v3使整個檢測框架過于復(fù)雜，出現(xiàn)過擬合現(xiàn)象。因此本文實驗選取VGG19_bn網(wǎng)絡(luò)提取幀內(nèi)特征。

圖5 各空間提取網(wǎng)絡(luò)ACC柱狀圖Fig.5 Histogram of ACC of network extraction in each space

圖6 各空間提取網(wǎng)絡(luò)AUC柱狀圖Fig.6 Histogram of AUC of network extraction in each space

3.4.2 參數(shù)選取

本文在訓(xùn)練網(wǎng)絡(luò)模型時選取focalloss 作為損失函數(shù)，其中α、γ兩個參數(shù)取值不同會產(chǎn)生不同結(jié)果。為了更加直觀地體現(xiàn)結(jié)果，在Celeb-DF 數(shù)據(jù)集上測試參數(shù)對ACC和AUC的影響，結(jié)果如圖7、圖8所示。

圖7 α 和γ 對ACC的影響Fig.7 Influence of α and γ on ACC

圖8 α 和γ 對AUC的影響Fig.8 Influence of α and γ on AUC

本文共選取28組參數(shù)進行測試，α取值為0.1～0.4；γ取值為2、3、4。當(dāng)固定某一參數(shù)時，ACC或AUC未出現(xiàn)明顯線性變化規(guī)律；當(dāng)α=0.3,γ=3 時，ACC 和AUC均取到最大值分別為96.54%和96.44%，因此本文選取（0.3，3）作為focalloss的參數(shù)值。

3.4.3 模型改進對比

本文將文獻[8]作為基本網(wǎng)絡(luò)，探究每種改進對準確率ACC 的影響。實驗結(jié)果如表3 所示。為了能夠更直觀地顯示各方法的性能，使用在三個數(shù)據(jù)集中的驗證集進行50輪的測試數(shù)據(jù)進行繪圖。由圖9、圖10和圖11可知，與Baseline 相比，每種改進在三類數(shù)據(jù)集中準確率都有較為明顯的提升，從整體看Celeb-DF 上收斂速度要比FaceSwap和Deepfakes快。

圖9 Deepfakes數(shù)據(jù)集中改進對比Fig.9 Improvement and comparison of Deepfakes dataset

圖10 FaceSwap數(shù)據(jù)集中改進對比Fig.10 Improvement and comparison of FaceSwap dataset

圖11 Celeb-DF數(shù)據(jù)集中改進對比Fig.11 Improvement and comparison of Celeb-DF dataset

由表1 可知，在Baseline 中加入GRU 后，得益于可以充分地學(xué)習(xí)經(jīng)過CNN 后特征的時序信息，模型的準確率平均提升了1.97個百分點；在CNN中引入Involution算子平衡了空間信息和通道信息之間的精度效率，模型的平均準確率提升了1.70個百分點；使用focalloss函數(shù)調(diào)整正負樣本的權(quán)重以及簡單樣本和難樣本的權(quán)重后，模型的平均準確率提升了0.81個百分點。在實驗中還將LSTM 與GRU 進行對比，最終檢測效果不相上下，但是就網(wǎng)絡(luò)權(quán)重參數(shù)來說LSTM 是GRU 的1.03 倍，GRU 訓(xùn)練效率也更高，因此本文最終選取GRU進行訓(xùn)練和測試。

表1 每種改進對準確率的影響Table 1 Influence of each improvement on accuracy

3.4.4 與主流算法對比

為了驗證本文檢測方法的性能，以ACC 和AUC 作為指標，選取文獻[6-7，16，22]中五種算法在兩種或三種數(shù)據(jù)集上進行對比。五種檢測算法分別為使用生物信號、雙流網(wǎng)絡(luò)、S-MILS-MIL-T和CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)果如表2所示（“—”表示在文獻中未給出該數(shù)值）。

表2 各方法的準確率Table 2 Accuracy of each method

如表2 所示。本文在三類數(shù)據(jù)集上的性能綜合強于其他算法，文獻[6]通過對比真假視頻中眼睛和凝視時的特征差異進行檢測，只能學(xué)習(xí)部分特征，不能充分學(xué)習(xí)全局特征，因此檢測準確率較低。文獻[16]中幀級別和時間級別的雙流網(wǎng)絡(luò)提取空間和時間特征進行檢測，在三類數(shù)據(jù)集上差異較大，穩(wěn)定性較低。文獻[7]引入一個新的偏導(dǎo)數(shù)，提出兩個網(wǎng)絡(luò)，在Celeb-DF數(shù)據(jù)集上準確率較高，但是在另兩個數(shù)據(jù)集較差。文獻[22]使用CNN-LSTM混合模型先提取空間特征再學(xué)習(xí)時序特征進行檢測，但對空間特征學(xué)習(xí)不充分。本文所提方法在使用GRU 的同時使用Involution 算子對空間特征進行加強，并且使用focalloss 函數(shù)作為損失函數(shù)，較其他方法平均準確率高，穩(wěn)定性強，證明了其有效性。

3.4.5 跨庫檢測

為了更明確地分析網(wǎng)絡(luò)模型的泛化能力，本文使用跨庫檢測方法進行準確率ACC 檢驗，分別在三個不同數(shù)據(jù)集上進行訓(xùn)練，并在另兩個數(shù)據(jù)集上進行測試。

如表3所示，使用Celeb-DF訓(xùn)練的網(wǎng)絡(luò)模型測試另外兩個數(shù)據(jù)集上的表現(xiàn)優(yōu)于在FaceSwap 和Deepfakes上訓(xùn)練的網(wǎng)絡(luò)模型，但是整體跨庫檢測顯效甚微，甚至在個別數(shù)據(jù)集中比隨機猜測的準確率還低。這是由于不同數(shù)據(jù)集中并不完全使用同一種偽造算法，并且視頻質(zhì)量參差不齊，致使網(wǎng)絡(luò)模型跨庫檢測能力差。這一問題是目前深度偽造檢測領(lǐng)域乃至深度學(xué)習(xí)面臨的一大難題，也是需要廣大研究者未來研究和克服的重點之一。

表3 泛化能力分析Table 3 Generalization ability analysis 單位：%

4 結(jié)論和展望

本文提出一種GRU 和Involution 改進的深度偽造視頻檢測方法，探究提取空間特征和時序特征在深度偽造視頻檢測領(lǐng)域的效果。選取VGG19_bn 并引入Involution 算子加強人臉圖像的空間建模能力，隨后使用主膠囊層關(guān)注位置信息和使用GRU 提取時序特征。在模型訓(xùn)練時，損失函數(shù)使用focalloss有效地提高了檢測準確率和調(diào)整了樣本平衡。經(jīng)實驗證明，本文的檢測方法在Deepfakes、FaceSwap 和Celeb-DF 數(shù)據(jù)集上較主流方法在ACC 和AUC 上均有明顯提升。在模型改進前后進行對比實驗，證明了各個改進模塊所帶來的增益，最后進行跨庫檢測，但存在實驗結(jié)果遠不如在同一數(shù)據(jù)庫中訓(xùn)練并測試的問題。隨著各種Deepfake 生成技術(shù)逐步成熟，檢測工作將會面臨更加嚴峻的考驗。接下來會對本文所提模型從泛化能力方面繼續(xù)完善，并且關(guān)注其他提取時序特征的方法并進行優(yōu)化。