基于膠囊網絡的深度偽造檢測

姚昆侖，李 鵬

（湘潭大學自動化與電子信息學院，湖南 湘潭 411105）

0 引言

深度偽造指的是使用深度學習方法讓理智的觀察者錯誤地將某段偽造的音視頻視為個人真實言語或行為的方法，其推動了文娛事業的發展，同時也可能誤導輿論，擾亂社會秩序以及威脅人臉識別系統。傳統圖像取證法檢測準確率低，且可通過在偽造影像中加入噪聲的方式繞過[1]。基于深度學習的偽造檢測技術大致可以分為兩類：一類是基于CNN架構和損失函數來直接檢測偽造圖像，另一類是通過真偽圖像頻譜中的差異化分析，找出特定的GAN指紋特征 ，最終實現對偽造圖像的識別。基于CNN架構和損失函數的方法準確率較高，但計算量大，目前僅在較小的數據集上實驗。基于GAN指紋特征的方法則可通過選用無指紋特征的GAN來規避檢測，且GAN技術發展迅速，該方法不具備通用性。本文提出的方法屬于第一類方法，使用膠囊網絡架構取代原網絡中CNN架構，在準確率不變的情況下極大減少了實驗參數，降低了計算復雜度[2]。

1 膠囊網絡介紹

膠囊網絡是2017年有“深度學習之父”之稱的Hinton等人[1]提出的，用以彌補卷積神經網絡不足的新的深度學習方法。膠囊是由多個卷積構成的集合，用來代表一類特征。多個膠囊構成膠囊層，膠囊層之間以動態路由的方式傳遞信息[3]。

特征出現的概率由膠囊輸出的向量的長度表示，因此，輸出向量需要使用非線性壓縮函數將向量的長度壓縮至0到1之間，以滿足數學邏輯。非線性壓縮函數squash如下：

式中，vj為膠囊j的向量輸出；sj為向量j的總輸出。

膠囊的總輸入sj是上一層膠囊的預測向量的加權和，預測向量有上層膠囊的輸出與變換矩陣相乘得到。

為了使膠囊層i與高級膠囊層j之間的耦合系數之和為1，使概率分布符合數學邏輯，使用softmax方程來確定cij。

圖1 膠囊層連接示意

2 基于膠囊網絡的深度偽造檢測方法

2.1 方法總覽

本文提出的深度偽造檢測方法流程如圖2所示。預處理的任務取決于輸入的類型，如果輸入是視頻，則第一步是分離幀。如果輸入是一幀或者一張圖片，則將如數分離為patch。通常的輸入尺寸為100×100到300×300，輸入越大結果就越好，但需要更多計算能力[4]。

圖2 基于膠囊網絡的深度偽造檢測方法流程圖

后期處理單元根據預處理單元進行工作。如果任務是檢測虛假圖像，則將提取的patch分數平均；如果輸入是視頻，則將所有幀的分數平均。最終的得到輸出[5]。

2.2 膠囊檢測網絡詳細架構

本文提出的膠囊深度偽造檢測詳細架構如圖3所示。主膠囊層包含多個膠囊，每個膠囊分為三個部分：二維卷積部分、統計池化層（Stats Pooling）和一維卷積部分。論文證明統計池化層在偽造檢測任務中是十分有效的，統計池化后的輸出適用于一維卷積。[6]經過一維卷積后的輸出經過動態路由發送到輸出膠囊，由于本實驗只需要做輸入的真假判斷，因此最終又輸出膠囊計算最終結果。

圖3 膠囊檢測網絡架構

3 實驗結果分析

3.1 檢測計算機偽造的視頻

本實驗采用了FaceForensics++數據集。該數據集包含了4 000個上傳自Youtube的視頻，其中包含1 000個原視頻，以及分別使用deepfake、Face2Face和FaceSwap技術進行了偽造的視頻。數據集中訓練集，驗證集和測試集的數量分別為720、140和140個[7]。

為了減少計算量，在實驗中對于訓練集使用其前100幀，并裁減為300×300大小；對于驗證集和測試集，僅使用其前10幀，同樣裁減為300×300大小。

本實驗使用了XceptionNet[4]作為對照，該網絡在檢測深度偽造的圖像方面取得了最好的效果。但是XceptionNet是一個擁有超過2 000萬個參數的大型網絡，使得其訓練速度較慢[8]。

實驗參數方面，本實驗使用Adam優化器，其中β1= 0.9，β2= 0.999，DropOut為0.05。動態路由的k=0.5。

模型的準確性和參數方面，首先，本文除了與XceptionNet比較外，還設計了實驗對比不同初級膠囊個數對準確性和參數的影響。實驗經過了25次迭代，表1顯示了3～10個初級膠囊對實驗準確性的影響。可以看出，隨著初級膠囊增多，模型的準確性逐漸增加，當膠囊數量為8個時，膠囊檢測網絡的準確率已經超過了XceptionNet的準確率，同時參數量僅為XceptionNet的1/5[9]。

表1 不同膠囊數量的膠囊檢測網絡實驗結果

同時，盡管較少的膠囊使得網絡準確率降低，但可以在不對網絡結構進行重大更改的情況下輕量化網絡，使得網絡移植到移動端更加便利。

對數據集中的數據進行多分類對比，結果如表2所示，可以看到Face2Face偽造是兩個網絡中最難檢測的攻擊。XceptionNet在deepfake方式偽造檢測方面表現更好，準確度為84.81%。總體而言，與XceptionNet相比，本文提出的方法在所有偽造方式上的性能更加均衡。

表2 FaceForensics++數據庫的多類分類準確性對比

3.2 檢測由計算機生成的圖像

除了檢測偽造視頻，本實驗還對膠囊檢測網絡進行訓練，使其可以對計算機生成的圖像（CGI）和攝影作品（PI）進行分類。本實驗使用了Rahmouni等人創建的數據集[7，8]，CGI集包含取自5個大型3A游戲的1800張高分辨率屏幕截圖，像素為1920×1080。PI集包含從RAISE數據集中選擇的1800張高分辨率攝影圖像，像素為4900×3200[10]。

本實驗將這些數據集分解為100×100大小的patch，因此輸入圖像的大小為100×100，通過計算所有patch的平均分類概率來計算完整圖片的準確率。實驗結果如表5.3所示，本實驗提出的方法明顯優于其他三個較新的分類方法，并且在完整圖片數據集上實驗了100%的分類精度。

表3 對CGI和PI的分類準確性

4 結束語

本文提出了基于膠囊網絡的深度偽造檢測方法，可以用于數字圖像和偽造視頻的檢測。[11]所做的改進使得本實驗提出的模型可以在使用更少參數的情況下持平甚至超過目前的檢測方法，從而降低計算成本。證明了該模型具有優秀的適應性，通過可視化膠囊輸出分析了膠囊檢測的工作原理[12]。