深度偽造人臉檢測技術發(fā)展綜述

李 敏

（國家知識產(chǎn)權局專利局專利審查協(xié)作北京中心，北京 100160）

0 引 言

人臉深度偽造技術，是指通過自動編碼器、生成式對抗網(wǎng)絡等機器學習模型將包含人臉的圖片或視頻合并、疊加到源圖片或視頻上，借助神經(jīng)網(wǎng)絡技術進行大樣本學習，將個人的聲音、面部表情及身體動作拼接到源圖片或視頻中，合成虛假內容的人工智能（Artificial Intelligence，AI）技術[1]。相較于傳統(tǒng)的人臉合成技術，人臉深度偽造技術可實現(xiàn)人臉更高真實度的生成與替換。人臉深度偽造技術一經(jīng)上線即取得了廣泛應用。采用該技術的應用軟件“ZAO”和“去演”一度風靡一時。人們紛紛通過這些軟件將自己的面部替換為影視劇中演員的人臉，從而生成以用戶人臉為主角的影視劇視頻。快手、抖音等知名短視頻/直播軟件也基于該技術提供了一鍵AI 換臉等的相關功能。

然而，由于神經(jīng)網(wǎng)絡算法的開源性，人臉深度偽造技術被一些不法分子用來實施違法犯罪活動。該技術還被用來將明星或個人的人臉合成在成人電影中，以謀取巨大利益，或通過生成包括他人人臉的虛假視頻取得身份認證從而盜取賬號、財產(chǎn)等。這些技術濫用的情況給個人隱私、社會治安甚至國家安全帶來了巨大的挑戰(zhàn)[2]。因此，對視頻中深度偽造的人臉進行檢測和鑒別，現(xiàn)已成為世界各國政府、企業(yè)乃至個人所關注的熱點問題之一。

近年來，隨著人臉深度偽造技術的廣泛應用，對視頻中深度偽造人臉的檢測技術取得了快速的發(fā)展。作為科研成果的風向標，專利文獻常常能夠體現(xiàn)出相關技術領域中技術發(fā)展的方向和脈絡。基于此，本文圍繞近年來涉及視頻中深度偽造人臉檢測技術的專利文獻，分析該技術在我國的最新研究進展和發(fā)展方向，以對我國視頻中深度偽造人臉檢測技術的研發(fā)、專利申請及專利分析等提供依據(jù)。

1 專利申請趨勢分析

本文在中國專利全文數(shù)據(jù)庫（CNTXT）中對涉及視頻中深度偽造人臉檢測技術的專利文獻進行檢索，基于檢索結果對該領域專利的申請趨勢進行了簡要分析。涉及視頻中深度偽造人臉檢測技術的專利申請量年度趨勢如圖1 所示。從圖1 可以看出，視頻中深度偽造人臉檢測技術相關專利申請從2019 年開始逐漸起步，在2022 年達到頂峰，2023年因可能涉及部分尚未被公開的專利申請無法被統(tǒng)計而有所降低。截至檢索日2023 年7 月31 日，2019—2023 年間在中國申請并公開的與視頻中深度偽造人臉檢測相關的發(fā)明專利申請共有196 件。下面的分析將圍繞這些專利文獻展開。

圖1 視頻中深度偽造人臉檢測技術專利申請趨勢圖

2 技術發(fā)展方向

通過對2019—2023 年與視頻中深度偽造人臉檢測技術相關的中國專利申請文獻進行分析，可以根據(jù)樣本類型的不同以及信息提取方式的不同，將視頻中深度偽造人臉檢測技術的發(fā)展分為以下幾個方向。

2.1 有偽造樣本學習方法

在視頻中深度偽造人臉檢測方法中，要想訓練得到有效的深度偽造人臉檢測模型，需要對大量樣本進行學習。而所學習的樣本中需要包括偽造人臉樣本的方法，即為有偽造樣本學習方法[3]。其利用真假成對數(shù)據(jù)作為訓練數(shù)據(jù)樣本，通過神經(jīng)網(wǎng)絡挖掘的形式分別提取真人臉和假人臉的可區(qū)分特征，從而訓練分類器進行識別。根據(jù)信息提取角度的不同，有偽造樣本學習方法又可細分為基于空域信息、基于時域信息、基于頻域信息、基于注意力機制以及跨模態(tài)檢測方法。

2.1.1 基于空域信息的方法

基于空域信息的視頻中人臉深度偽造檢測方法可直接從視頻幀圖像的空域提取特征信息，對圖像幀中存在的淺層或深層的視覺偽影進行檢測[4]。例如，CN114926885A 公開了一種基于局部異常的強泛化深度偽造人臉檢測方法，首先對訓練數(shù)據(jù)集中的真假人臉視頻進行幀分解，檢測出人臉位置后，剪裁得到連續(xù)的人臉圖像訓練集，將其輸入自適應空域富模型進行訓練。通過可學習的高通濾波器，幫助挖掘細微的噪聲特征，得到訓練好的局部異常檢測網(wǎng)絡。將待檢測數(shù)據(jù)集中的人臉圖像輸入訓練好的局部異常檢測網(wǎng)絡，進行最終人臉真假分類。該方法通過在空域中進行二階局部異常學習，從人臉圖像的深度特征圖中挖掘局部區(qū)域的異常，實現(xiàn)對真?zhèn)稳四樀挠行z測。

2.1.2 基于時域信息的方法

基于時域信息的視頻中人臉深度偽造檢測方法不再止步于僅關注單幀內的偽影信息，能夠通過對視頻幀之間存在的偽造信息的檢測從而識別深度偽造痕跡。例如，CN112488013A 公開了一種基于時序不一致性的深度偽造視頻檢測方法。該方法先獲取視頻數(shù)據(jù)集，對數(shù)據(jù)進行預處理，獲得視頻幀的人臉圖像，再將視頻幀輸入微調的網(wǎng)絡Xception+卷積模塊的注意力機制模塊網(wǎng)絡進行訓練，用于提取視頻幀級特征。再用訓練好的Xception 網(wǎng)絡進行視頻連續(xù)幀的特征提取，并輸入雙向長短期記憶網(wǎng)絡+條件隨機場網(wǎng)絡模型中進行訓練。最后，使用訓練好的模型對待測試的視頻進行偽造檢測。該方法利用偽造技術造成視頻在幀間的時序不一致性，結合雙向長短期記憶網(wǎng)絡和條件隨機場算法，提升了對深度偽造視頻的檢測效果。

2.1.3 基于頻域信息的方法

基于頻域信息的視頻中人臉深度偽造檢測方法能夠解決視頻被多次壓縮后偽影細小、冗余特征眾多而難以有效檢測偽影的問題，可以很好地挖掘出由偽造方法帶來的偽影細節(jié)。例如，CN113609952A 公開了一種基于密集卷積神經(jīng)網(wǎng)絡的深度偽造視頻頻域檢測方法，首先對視頻進行預處理，對視頻中的人臉進行定位和人臉圖像提取；其次，利用2D-DCT 變換將特征變換至頻域，構建密集卷積神經(jīng)網(wǎng)絡并基于頻域數(shù)據(jù)進行訓練；最后，基于訓練后的密集卷積神經(jīng)網(wǎng)絡檢測深度偽造視頻。該方法在訓練密集卷積神經(jīng)網(wǎng)絡時，以頻域圖像為單位對卷積神經(jīng)網(wǎng)絡檢測模型進行訓練，使得無論視頻壓縮在時域產(chǎn)生多少冗余特征，都不影響最終的檢測效果。

2.1.4 基于注意力機制的方法

基于注意力機制的視頻中人臉深度偽造檢測方法能夠從全局信息中關注篡改痕跡明顯的區(qū)域，從而提高視頻中人臉深度偽造的檢測效率。例如，CN114549481A 公開了一種融合深度和寬度學習的深度偽造圖像檢測方法，首先將待檢測圖像轉換為灰度圖像并分割為兩組圖像塊，提取每個圖像塊的中心化頻域幅度譜并對其施加注意力機制，對兩組圖像塊進行通道連接，得到初級特征；其次，利用預訓練的通道卷積自編碼模塊的編碼器對初級特征進行特征融合，得到兩個中級特征，分別作為特征映射流和特征增強流的輸入，得到兩個映射特征和增強特征；最后，根據(jù)寬度學習系統(tǒng)原理構建3 個分類器，將3 個分類器的輸出結果進行加權平均，得到最終的檢測結果。該方法對圖像塊施加注意力機制，可以從全局信息中關注篡改痕跡明顯的區(qū)域，模型訓練所需的數(shù)據(jù)和時間少，實現(xiàn)了準確度和效率的兼顧。

2.1.5 跨模態(tài)檢測方法

跨模態(tài)的視頻中人臉深度偽造檢測方法將視頻和音頻信息結合，對視頻中的聲音和唇形進行匹配，從而從跨模態(tài)的視角來對深度偽造人臉視頻進行檢測。例如，CN116310937A 公開了一種深度偽造視頻檢測方法，對待檢測視頻進行視頻特征分析，得到待檢測視頻的視音頻特征，并將待檢測視頻的視音頻特征輸入預設的多層感知機分類模型，最后得出檢測結果。其視音頻特征包括視覺特征和音頻特征，且預設的多層感知機分類模型是以深度偽造視頻的視音頻特征和真實視頻的視音頻特征為樣本，以與深度偽造視頻的視音頻特征與真實視頻的視音頻特征各自對應的標簽訓練得到。該方法通過對音頻特征和視頻特征的匹配，可有效在視頻中檢測出唇形與語音不符的深度偽造人臉。

2.2 無偽造樣本學習方法

基于無偽造樣本學習方法的深度偽造人臉檢測方法在訓練過程中不需要使用偽造人臉負樣本進行訓練，僅通過識別人臉的某些特定特性，或通過識別深度偽造過程中某一流程的紕漏即可進行深度偽造人臉的檢測[5]。例如，CN116229539A 公開了一種基于人臉邊緣帶狀的偽造人臉檢測方法，提供一視頻數(shù)據(jù)集，并將視頻數(shù)據(jù)集進行間隔抽幀形成圖片幀集，采用人臉識別工具對圖片幀集進行人臉檢測，將檢測后的人臉放大后進行切割得到切割人臉圖集；對切割人臉圖集進行處理，僅保留切割人臉圖集的人臉邊緣部分的帶狀圖片；將帶狀圖片作為訓練的輸入，并對其進行左右隨機翻轉和歸一化處理；采用網(wǎng)絡結構進行訓練，提取帶狀圖片的空間特征，將其保存為偽造人臉檢測模型；將預處理后的人臉邊緣帶狀圖放入模型中檢測識別，以對待檢測的圖片或視頻的真實性進行檢測。該方法通過對人臉邊緣的帶狀部分進行檢測，從而分辨圖片和視頻的真假，有利于提高對偽造人臉的識別準確率。

3 結 語

視頻中深度偽造人臉的檢測技術對于目前出現(xiàn)的由于虛假人臉視頻的生成和使用而導致的各種社會問題至關重要。深度偽造人臉檢測技術近幾年取得快速的發(fā)展，發(fā)展方向可分為有偽造樣本學習方法和無偽造樣本學習方法兩類。有偽造樣本學習方法可細分為基于空域信息的方法、基于時域信息的方法、基于頻域信息的方法、基于注意力機制的方法以及跨模態(tài)檢測方法。目前，國內的眾多申請人在該領域取得了豐富的技術成果，但該技術目前仍處于快速發(fā)展階段，且其反技術——人臉深度偽造技術依然處于不斷發(fā)展過程中。因此，為了跟上人臉深度偽造技術的步伐，避免因無法有效檢測偽造人臉而導致的種種問題，國內申請人需加速對該技術的研究步伐，從而為社會穩(wěn)定、國家安全等提供有力的技術支持。