基于自注意力網絡的多模態人臉反欺騙

孔超

（貴州師范大學，貴陽550000）

0 引言

隨著網絡的不斷發展，獲取人臉圖像的難度大大降低，因此人臉識別系統容易受到各種演示攻擊[1]，例如照片、視頻回放或3D 面具。準確判別捕獲的人臉是真實人臉還是虛假人臉是人臉識別系統廣泛應用的重要前提。而人臉反欺騙可應用于演示攻擊以檢測捕獲的人臉的真實性是人臉識別系統的重要安全保障。

以往的人臉反欺騙方法，大多選擇使用人工設計的特征，如LBP[1]、HoG、SIFT、SURF 和DoG 來刻畫真實人臉和欺騙人臉的不同特征分布，然后使用分類器（如SVM）來區分真實人臉和虛假人臉。Chingovska 等人從人臉圖像的灰度圖中提取局部二值模式（LBP）特征來捕獲真實人臉和虛假人臉之間細微的差別，并通過支持向量機（SVM）來區分真實和虛假人臉。傳統的人臉反欺騙方法可以在受限環境（如特定光線、靜態條件等）中取得很好的效果，但在無約束條件下性能會大幅度下降。

最近，基于卷積神經網絡CNN 的方法開始應用在人臉呈現攻擊檢測（PAD）領域中。把人臉攻擊檢測當作一個分類問題，將CNN 用作特征提取器，提取鑒別性特征來區分真實和虛假人臉。Liu 等人設計了一種新穎的網絡結構，以利用深度圖和rPPG 信號作為監督，目的是提高模型的泛化能力。Feng 等人提出使用多個線索作為CNN 的輸入進行真實/虛假人臉分類。所有這些方法都證明了通過自動提取訓練數據中的有用特征，神經網絡可以非常有效地用于人臉反欺騙。然而，對于不同模態數據的融合，現有的處理方法主要是多模態特征簡單的拼接，沒有充分利用不同模態間互補信息。

圖1 提出的多模態人臉反欺騙方法的網絡結構。將RGB、深度、紅外人臉圖像塊同時送入網絡，并利用自注意力模塊在多模態特征中選擇對人臉反欺騙具有更多貢獻的公共空間區域，最后利用卷積神經網絡融合三種模態的特征進行分類。

針對上述問題，本文提出了一種基于自注意力網絡的多模態特征融合模型。如圖1 所示，首先將從不同模態的圖像塊中提取的特征通過通道注意力網絡選擇有效通道特征后進行拼接，并利用自注意力網絡在拼接后的多模態特征中選擇對人臉反欺騙具有更多貢獻的公共空間區域，最后用卷積神經網絡融合三種模態的特征進行分類。

圖1

1 多模態特征提取

1.1 整體框架

如圖1 所示，對于輸入數據，從不同模態的完整圖像中隨機選取圖像塊。對于特征提取，我們采用ResNet-18 分類網絡，其中包括五個卷積層和殘差層組成的塊（即res1、res2、res3、res4、res5），一個最大池化層和一個完全連接層。

1.2 通道注意力網絡

這三種模態的數據針對不同類型攻擊是相輔相成的：RGB 數據有豐富的外觀細節，深度數據對圖像平面和相應面部之間的距離很敏感，紅外數據能測量從面部輻射的熱量。根據通道注意力網絡，我們提出多模態特征提取網絡來提取多模態的特征。如圖2 所示，首先計算每個模態特征中不同通道的權重，然后對輸入特征重新加權，最后將這些重新加權的特征拼接在一起。與直接拼接來自不同模態的特征相比，通道注意力網絡對各個模態的特征重新加權以選擇信息量更大的通道特征，同時抑制來自各個模態的無用特征。

2 多模態特征融合

特定于虛假人臉的區別信息存在于整個面部區域。然而，全臉圖像的不同部分所包含的特定于虛假人臉的區別信息對于區分真實人臉和虛假人臉具有不同的重要性，并且從一些局部圖像中提取的特征更具區別性。Brendel 等人從輸入的完整圖像中提取圖像塊特征用于訓練，并生成高分辨率和非常精確的熱圖，這種方法在數據集上取得了顯著的改進，通過生成的熱圖，可以看出圖像的不同部分對特定決策的貢獻不同。

圖2 通道注意力網絡的體系結構

圖3 自注意力網絡的體系結構

由于卷積神經網絡中所有卷積核的大小非常有限，每個卷積運算只能在像素周圍很小的鄰域上執行，通過較遠的像素捕獲特征變得異常困難，但自注意力網絡可以直接計算圖像中任意兩個像素之間的關系，獲得圖像的全局幾何特征，然后對特征圖中需要關注的空間區域進行加權，使得卷積神經網絡可以學習到特征圖中需要關注的空間區域。

自注意力網絡的結構如圖2 所示，自注意力網絡中的注意力圖I 定義為：

FT表示特征圖像F 進行轉置。FTG表示計算全局上下文任意兩個元素的依賴關系，從而得到注意力圖。

將得到的注意力圖進行歸一化，最后得到的特征圖L 表示為：

IT表示注意力圖I 進行轉置。P 表示輸入的原始特征圖，α為經過學習得到的參數，初始值為0，隨著學習的深入，在原始特征圖上增加了加權的注意力，可以得到特征圖中任意兩個位置的全局依賴關系，進而可以增加有效空間區域的權重。

自注意力網絡可以直接計算多模態拼接特征圖像中任意兩個像素之間的關系，得到特征圖像的全局幾何特征，并增加特征圖像中對區分真實人臉和虛假人臉貢獻較大的空間區域的權重，使卷積神經網絡提取的多模態融合特征中包含更多虛假人臉特有的區別信息，提高模型的分類效果。

3 實驗和結果分析

3.1 數據集

CASIA-SURF 數據集[11]是目前最大的人臉反欺騙數據集。數據集由三種不同的模態的數據組成：RGB、深度和紅外圖像。數據集包含1000 個中國人錄制的21000 個視頻，每個樣本包括1 個實時視頻片段和6 個不同攻擊方式的假視頻片段。在數據集中，將志愿者面部的彩色圖像打印在A4 紙上，并通過去除眼睛、鼻子和嘴來組合成6 種不同的攻擊方式。此外，在收集工作期間，僅保留了面部區域，而刪除了復雜的背景區域。數據集分為訓練集、驗證集和測試集。訓練、驗證和測試集分別有300、100 和600 個主題。數據集是在不同的室內背景下使用Intel RealSense SR300 相機采集的，其中RGB 圖片分辨率1280×720，深度圖和紅外圖像的分辨率為640×480。它擁有面部反欺騙領域最大的數據量，最多的攻擊手段，是最具挑戰性的數據集。

3.2 評價度量及對比方法

為了評估，我們使用了人臉反欺騙領域中一些最常用的指標：攻擊呈現分類錯誤率（APCER）、真實呈現分類錯誤率（BPCER）、平均分類錯誤率（ACER）、假正率（FPR）和真正率（TPR）。

為了評價我們的多模態融合網絡的性能，我們將其與其他一些人臉反欺騙策略進行了比較：單尺度融合（NHF）[12]、基于SEF 模塊的單尺度融合（Single-scale fusion）[12]、基于ResNet-18 的多尺度融合（Multi-scale fusion）[11]、基 于ResNet-34 的多尺度融合（Stronger backbone）[11]、多模態人臉反欺騙的局部特征模型（Face?BagNet）。

3.3 實現細節

采用32×32 的圖像塊進行實驗，通過隨機梯度下降算法（SGD）和0.1 的初始學習率，對所有模型進行了25 輪的訓練。

3.4 實驗結果

不同方法的比較結果如表1 所示。可以看出我們方法的性能優于其他人臉反欺騙方法，相對于同樣采用ResNet-18 的多尺度融合方法我們方法在平均分類錯誤率（ACER）上提升了0.5%的性能，在假正率（FPR）為10-4的情況下真正率（TPR）提升了3.2%。即使相對于采用更復雜的ResNet-34 網絡的多尺度融合方法我們方法在平均分類錯誤率（ACER）上仍然提升了0.3%的性能，在假正率（FPR）為10-4的情況下真正率（TPR）也提升了0.4%。實驗結果充分證明了我們方法的優越性。

表1 該方法與其他策略的比較，最好結果加粗

我們研究了通道注意力模塊和自注意力模塊如何影響人臉反欺騙的模型的性能，我們采用32×32 大小的圖像塊進行了一系列消融實驗，其中“w.o SEN&SAN”表示有應用通道注意力模塊和自注意力模塊。“w.o SEN”表示沒有應用通道注意力模塊只應用了自注意力模塊。“w.o SAN”表示沒有應用自注意力模塊只應用了通道注意力模塊。如表2 所示，自注意力模塊和通道注意力模塊任何一個的缺失都會導致模型分類性能的下降。實驗結果充分證明了通道注意力模塊和自注意力模塊對于獲得高性能都是至關重要的。

表2 不同訓練策略的比較，最好結果加粗

4 結語

本文提出了一種基于自注意力網絡的多模態特征融合模型，并將其應用于人臉反欺騙領域。我們將從不同模態的圖像塊中提取的特征通過通道注意力網絡選擇有效通道特征后進行拼接，并利用自注意力網絡在拼接后的多模態特征中選擇對人臉反欺騙具有更多貢獻的公共空間區域，最后用卷積神經網絡融合三種模態的特征進行分類。實驗結果表明，與現有方法相比，該方法取得了更好的性能和更高的泛化能力，尤其是平均分類錯誤率（ACER）指標達到了0.5%，證明了該方法的優越性。并且我們的多模態融合模塊網絡結構簡單，可以添加到其他神經網絡結構中提取多模態融合特征，實用性強，適用性廣。未來，我們將討論更有效的多模態人臉反欺騙方法。