一種加權最大化激活的無數據通用對抗攻擊

楊 武,劉依然,馮 欣,明 鏑

(重慶理工大學 計算機科學與工程學院,重慶 400054)

0 引言

早期研究表明,在正常樣本中人為添加微小擾動形成的對抗樣本可以嚴重干擾卷積神經網絡(convolutional neural network,CNN)在執行圖像分類任務時的準確率[1]。與正常樣本相比,對抗樣本不但難以區分,隱蔽性強,而且能夠影響不同結構的模型,即具有遷移性。由于對抗樣本的特性,一方面它被用于檢測并評估模型的缺陷,另一方面它被視為CNN模型在實際應用過程中的嚴重威脅。

為探索對抗樣本對模型產生的影響,研究者們提出了許多制作對抗擾動的對抗攻擊方法[2-5]。然而許多遷移性良好的對抗攻擊方法[6-8]通常會專門為每個正常樣本制作其相應的對抗擾動,這種制作對抗樣本的方式被稱為基于樣本的對抗攻擊方法,如快速梯度符號法(fast gradient sign method,FGSM)[9]和其改良方法 SegPGD[10]、VMI-FGSM[11]等,它們利用輸入的對抗樣本直接干擾模型的梯度,進一步影響損失函數,導致模型預測準確度下降。這類方法也被稱為基于梯度的攻擊,最初是在白盒設置下提出,設想攻擊者知曉目標模型的所有信息(如模型結構、參數等),攻擊難度低,適合用來檢測模型缺陷。在攻擊者對目標模型一無所知的黑盒攻擊設置下實用性稍差。一些改良方法[11-14]將基于梯度的攻擊移植到了黑盒設置下,也針對超參數進行了探索[15],但仍需要較高的時間成本進行迭代訓練。黑盒設置下通常使用輸入樣本到目標模型進行查詢[16-18]的方式或者空間幾何理論[19-20]探索決策邊界,為提高樣本的多樣性,生成式模型[21]也被用于對抗攻擊中。

隨著對抗樣本研究的深入,提出了另一種新型的對抗攻擊方法——通用對抗攻擊[22]。通用對抗攻擊會根據對樣本和模型的先驗知識制作通用對抗擾動(universal adversarial perturbation,UAP)。將通用對抗擾動添加到不同的正常樣本上可以在短時間內產生大量的對抗樣本。通用攻擊利用代理模型和大量樣本作為先驗知識制作UAP,比如最早的UAP方法將樣本擾動看作矢量,聚合了許多樣本擾動的方向形成UAP[22]。后續的F-UAP[23]、Cosine-UAP[24]等使用代替的數據集進行了改良,對于UAP在實驗中的某些現象給出了相應的解釋,這些使用真實數據集訓練UAP的方法也叫基于數據先驗的通用攻擊。UAP的提出極大地提高了對抗樣本的制作效率,滿足了對模型算法檢測的對抗樣本的數量需求,也更加符合黑盒攻擊設置和模型真實應用場景下[25]對抗樣本攻擊模型的情況。

但是,上述基于樣本的攻擊方法和基于數據先驗的通用對抗攻擊需要大量標注好的訓練數據。在實際的攻擊場景中,尤其是對安全要求較高的應用場景中,攻擊者嘗試獲取大規模的模型訓練數據十分困難,在短時間內尋找標注標簽的代替數據集也不切實際。為了克服通用對抗攻擊方法對數據的過度依賴,近幾年提出了無數據通用對抗攻擊方法[26-29]。與先前基于真實數據的通用攻擊不同,無數據通用攻擊考慮在黑盒設置下初始化隨機擾動,最大化卷積神經網絡中的卷積層激活值得到UAP制作對抗樣本。有研究認為最大化卷積層的激活值(比如通過ReLU函數后的輸出)能夠強化訓練的UAP本身攜帶的特征,從而使其制作的對抗樣本能過度激活干擾模型提取特征,達到良好的攻擊效果,因此也將無數據通用攻擊稱為一種基于特征的攻擊方法。但是,現有的無數據通用攻擊僅僅只是最大化所有卷積層的激活值,沒有考慮不同的卷積層提取特征的差異性。而關于不同卷積層對UAP的影響,模型的淺層卷積層,也就是靠近輸入端的卷積層提取的局部圖像特征更加具有泛化性。而深層卷積層,即靠近輸出端的卷積層中則會形成與圖像樣本相關的全局特征,并且缺乏真實數據作為先驗知識,這些都導致了無數據通用攻擊方法遷移性差,在目標模型上的攻擊效果較差。

為了加強無數據通用攻擊的遷移性,本文中提出了一種新的無數據通用攻擊方法,加權最大化激活(weighted activation maximization,WAM)來制作UAP。WAM方法采用代理模型(黑盒設置下由于攻擊者缺乏對目標模型的了解而尋找的代替品)制作UAP,為模型中所有卷積層激活值都賦予相應的超參數作為其對應的權重,控制UAP在訓練過程中利用不同卷積層形成更多具有泛化性的局部特征。本文增加了淺層卷積層在訓練中的權重以提高對抗樣本的遷移性。另外,為了增加輸入的多樣性,WAM方法采用高斯噪聲制作了隨機噪聲圖像作為模擬樣本與UAP一起輸入至模型中,達到過度激活卷積層,劣化提取特征的目的。本文在ImageNet驗證集進行了大量的消融實驗,結果表明,相比于深層卷積層,利用淺層卷積層的激活值得到的UAP具有更好的遷移性,印證了此前研究中淺層卷積層抓取特征更加泛化的觀點。與其他經典無數據通用攻擊進行比較,實驗結果說明了WAM方法制作的UAP具有良好的攻擊效果。

1 加權最大化激活(WAM)攻擊方法

本文中設計了加權最大化激活方法來制作UAP以解決無數據通用攻擊遷移性差的問題。該章節先介紹了總體的攻擊方法示例,然后定義加權最大化激活的優化目標,介紹基于高斯噪聲偽造樣本的攻擊增強,最后展示整個算法流程和細節。

1.1 問題背景與定義

為了攻擊目標模型,通用攻擊會通過攻擊算法生成一個通用對抗擾動[22]向量v,將向量v與正常樣本x結合生成對抗樣本,最大化模型損失函數L(如交叉熵損失)在數據分布下的期望D:

(1)

式中:S為UAP向量v的擾動空間;y為樣本x的真實標簽,(x,y)來自D;f為分類器;δ為常數,作為向量v的p范數約束(p=0,1,2,∞),以滿足對抗樣本x+v的隱蔽性需求。考慮最常用的對抗攻擊問題設置,選取無窮范數l∞作為UAP的約束條件。

由于缺少真實樣本數據,無數據通用攻擊僅僅將擾動向量v輸入模型中,通過最大化卷積層激活值訓練得到擾動:

(2)

式中:li(v)=ReLU(Convi(v))為將向量v輸入模型后第i層卷積層產生的激活值;L為卷積層總層數。

1.2 加權最大化激活方法

1.2.1加權最大化激活目標

現有的無數據通用攻擊[26-27,29]主要以式(2)為優化目標,沒有考慮到不同卷積層提取的特征有較大差異。淺層卷積層提取的特征更具有泛化性,容易被不同的模型學習利用。近兩年有關UAP的研究[23-24]表明,模型更容易將UAP本身視為樣本特征,而圖像樣本真正的特征被模型當成噪聲所忽視。

受上述觀點啟發,為提高無數據通用攻擊的遷移性,本文中提出了加權最大化激活來制作對抗擾動:

(3)

式中:wi為第i層卷積層的權重超參數,值域為[0,1]。式(3)采用了與現有無數據通用攻擊類似的做法,即為了避免卷積層激活值過大,對每層激活值進行對數化處理。WAM的優化目標為每個卷積層都賦予了對應的權重。WAM方法嘗試利用泛化特征提高UAP的遷移性,使其在目標模型上具有更好的攻擊效果。

1.2.2利用高斯噪聲初始化的攻擊增強

無數據通用攻擊在黑盒設置下采用隨機初始化擾動訓練UAP。僅憑借UAP所攜帶的信息去激活模型,產生對應的特征激活值。它減少了對樣本數據的依賴,更接近實際應用下的攻擊場景。但缺少真實數據也導致其制作的對抗樣本遷移性差,攻擊效果欠佳。為提高輸入多樣性,增強攻擊效果,采用了由高斯噪聲生成的噪聲圖像代替真實圖像與UAP一起輸入到模型中,因此,更新式(3)為:

(4)

式中:p=v+xg,xg為高斯噪聲生成的噪聲圖像,模仿基于數據先驗的通用攻擊,增加輸入多樣性,激活更多特征值,提高攻擊強度。為方便UAP訓練過程中的優化,將式(4)的目標函數取負并求最小值,視為訓練的損失函數。

1.3 算法流程

在UAP訓練過程中遵循黑盒攻擊設置,因此采用一個代理模型作為目標模型的代替品,將UAP輸入代理模型進行訓練。WAM方法雖然為無數據通用攻擊,但是為了驗證UAP的訓練是否收斂,仍使用了代理數據集χsub進行驗證,當迭代次數達到最大迭代次數或者代理數據集驗證達到收斂要求時結束訓練。為了保證UAP滿足隱蔽性約束條件無窮范數的限制,本文效仿了現有的對抗攻擊的做法,每次更新UAP向量v之后就對其進行裁剪,保證收斂時UAP的取值在該優化問題的可行域內。為進一步優化UAP的訓練過程,引入了飽和度設置來衡量UAP向量中元素值達到約束常數δ的比例,每H迭代就會計算飽和度,當UAP內元素值小于約束常數的元素個數越來越少并低于飽和度閾值r時,會將當前UAP向量中的元素數值壓縮到原來的一半,使UAP不會因為裁剪導致后續訓練信息丟失。WAM算法流程如下。

Algorithm:WAM-UAP

Input:surrogate CNN modelf,a datasetχsub,for training UAP,the limitation valueδ,maximum iterationsT,convergence thresholdFmax,saturation thresholdr,validation test hyperparameterH.

Output:Image-agnostic adversarial perturbationv

Randomly initializev0～u(-δ,δ).

1:Do

2:t=t+1

3: Compute Loss by target in (4)

4: Updatevt=vt-1-η*▽Loss

5: Clipvt=min[δ,max(vt,-δ)]

7: Fooling rate testfrift%H==0 andF=F+1 iffrnot the best fooling rate

8:Whilet

9:Returnvt

圖1展示了WAM方法在一個有L層卷積層的模型中的訓練流程。每輪迭代都會輸入UAP向量與模擬樣本進入模型中,提取每層卷積層的輸出值進入WAM模塊,通過ReLU激活函數與每層的權重wi點乘并在最后求和形成WAM損失函數,即式(4)的目標函數。

圖1 WAM方法訓練流程

2 實驗結果及分析

本文通過Python3實現了WAM攻擊算法,實驗硬件環境為單核NVIDIA GeForce RTX3090Ti GPU,運行平臺為Pycharm,以Pytorch作為主要深度學習框架。

2.1 實驗設置

2.1.1數據集與模型

為了和現有的無數據通用攻擊方法實驗設置保持一致,本文在ImageNet 2012驗證集[30]上進行WAM攻擊實驗。選用了AlexNet[31]、VGG16[32]、VGG19[32]、ResNet152[33]、GoogleNet[34]5個經典CNN模型進行實驗,模型參數均為Pytorch官網下載的預訓練模型參數。

2.1.2評估指標與比較方法

根據最常用的對抗攻擊設置,實驗選取欺騙率(fooling rate,FR)作為評估指標:

FR=Nchange/N

式中:Nchange表示模型對原始樣本和其對抗樣本給出不同標簽的樣本個數;N表示樣本總數。欺騙率FR越高,表示對抗樣本在模型上的攻擊效果越好。

將WAM方法與近幾年經典的無數據通用攻擊進行比較,包括FFF[26]、GD-UAP[27]、PD-UA[29]方法。這些方法中只有GD-UAP使用作者提供的模型在Tensorsflow框架下進行訓練。為了公平比較,本文根據WAM的實驗設置復現GD-UAP在Pytorch框架下的實驗結果。

2.1.3執行細節

與比較方法的設置保持一致,實驗取約束常數δ=10/255。設置最大迭代次數T為10 000,飽和度閾值為0.001%。為簡化設置,實驗中第i層卷積層的權重wi的取值為0和1。具體每層的權重設置為2.2.3節消融實驗的最優設置。

2.2 實驗結果分析

2.2.1對比實驗

在ImageNet 2012驗證集上測試了WAM方法的攻擊效果,并且與其他方法進行了比較。具體結果如圖2所示,重復訓練5次計算FR均值,取每個測試模型中攻擊效果最好的FR進行展示,GD表示GD-UAP方法,由于實驗條件限制(如代碼未公開等),未能實現極少數方法在個別模型上的攻擊效果。從圖2中可以看出,WAM方法制作的UAP在所有模型上都達到了最高的FR值,取得了良好的攻擊效果。在深度學習模型如ResNet152的效果提升比較明顯。在結構比較簡單的小模型上提升幅度較小,這可能是由于許多對抗攻擊在結構簡單的小模型上具有較高的FR,UAP的性能提升接近瓶頸。

圖3展示了WAM方法制作的UAP的攻擊效果,5個子圖的標題代表制作UAP的代理模型,也就是制作UAP的模型,每個子圖的橫軸坐標代表測試模型,即目標模型。從圖3中可以看出,除了少數因為模型結構差異巨大而導致的FR值較低的情況,大多數由代理模型制作的UAP在攻擊其他模型時表現出良好的遷移性,在2個結構相似的模型中尤為明顯,比如VGG16和VGG19。并且可以發現,在對ResNet152模型的測試中,VGG16制作的UAP達到了最高的FR值,而不是ResNet152模型本身制作的UAP取得最優效果,說明了WAM方法良好的攻擊效果和遷移性。

圖3 WAM攻擊方法遷移性分析

2.2.2UAP可視化

實驗中將不同代理模型制作的UAP進行了可視化分析,如圖4所示,5個子圖分別是由不同的代理模型制作的UAP的可視化展示。為了便于分析,將每個擾動的值放大到[0,255]。從圖4中可以看出,訓練的UAP具有豐富的語義特征。可視化分析還在ImageNet 2012驗證集中隨機選取模型分類正確的正常樣本,用WAM方法制作攻擊實例進行分析。產生的對抗樣本的攻擊實例如圖5所示,圖中第1行是原始樣本、模型的預測標簽和其對應的概率,第2行是與之對應的對抗樣本和相關信息。從圖5中看出,人眼難以辨別正常樣本和WAM方法制作的對抗樣本,具有良好的隱蔽性。模型對正常樣本的正確分類具有較高概率,在部分對抗樣本中被擾動干擾給出了高概率的錯誤分類,也說明了WAM攻擊方法的有效性。

圖4 WAM-UAP可視化結果

圖5 利用WAM方法制作的對抗樣本攻擊實例

2.2.3消融實驗與分析

根據現有研究[23-24]對UAP的觀點,CNN模型中淺層的卷積層抓取局部的、泛化的特征,深層卷積層形成跟整個樣本全局相關的特殊圖案,因此淺層卷積層抓取的特征更容易被對抗攻擊利用,制作的UAP也更具遷移性。為了進一步驗證這個觀點,調整每層卷積層權重設計了消融實驗。具體方案就是將模型所有卷積層的權重先初始化為0,每次增加卷積層的增長步長為該模型總卷積層的10%(向上取整),從接近輸入端的卷積層開始,取10%、20%…100%的卷積層將其權重置1,分別訓練UAP并在白盒設置下進行測試,觀察UAP的攻擊效果,實驗結果如圖6所示。由于Alex-Net只有5層卷積層,因此,使用10%、30%…90%的卷積層訓練的UAP結果不存在。從圖6中可以看出,所有模型取得最高FR的值為保留部分淺層卷積層的結果,在ResNet152深度學習模型上甚至僅使用了約前10%的卷積層就能達到最優攻擊效果,而隨著使用卷積層的增多,UAP的攻擊效果逐步變弱,這也符合現有觀點對深層卷積層的解釋,由于深層卷積層主要關注有關樣本的全局特征,一定程度上導致了UAP的“過擬合”,過度適應代理模型使得它制作的對抗樣本在目標模型上的效果不佳。

圖6 采用模型不同占比卷積層訓練UAP的消融實驗結果曲線

3 結論

針對現有的無數據通用攻擊遷移性差的缺陷,提出了加權最大化激活(WAM)攻擊方法,為每一層卷積層設置相應的權重,從而控制訓練過程中不同卷積層提取的特征對UAP產生的影響。通過權值調整,使卷積層提取的泛化特征的激活值更容易被UAP學習。使用ImageNet驗證集與近幾年的無數據通用攻擊方法進行比較,WAM攻擊方法取得了良好的攻擊效果。消融實驗驗證了淺層卷積層提取的特征具有泛化性的觀點,利用這些泛化特征學習的UAP具有更好的遷移性。在未來的工作中,淺層卷積層的特征與UAP的關系有待進一步研究。