優化梯度增強黑盒對抗攻擊算法

劉夢庭，凌 捷

廣東工業大學計算機學院，廣州510006

深度神經網絡由于其強大的表達能力在許多任務上都有很好的表現，是許多人工智能應用的基礎，包括圖像分類[1]、人臉識別[2]、無人駕駛[3]等。與此同時有大量的工作表明深度神經網絡容易受到對抗樣本的影響，通過將精心設計的細微擾動添加到輸入樣本中生成人眼察覺不出變化的對抗樣本，大幅降低神經網絡模型的準確率。對抗樣本的存在給深度神經網絡的應用帶來了安全隱患，例如在無人駕駛中通過對抗樣本技術將停車標志識別為前進或者其他行為，從而造成不可估量的后果。對抗樣本在深度神經網絡中表現出了模型間的可遷移性，針對某一個模型生成的對抗樣本也能對其他結構不同的模型產生同樣的影響。對抗樣本的可遷移性為不法分子對未知目標模型的攻擊提供了可能。近年來出現了很多對抗樣本的研究，這方面的研究可以識別深度模型潛在的缺陷，也能夠幫助提高深度模型的魯棒性，且能夠在一定程度上促進更先進的對抗防御算法的研究。

對抗樣本攻擊可以分為白盒攻擊[4-6]和黑盒攻擊[7-8]兩大類。白盒攻擊指目標模型的信息是可完全獲取的，攻擊的成功率也較高。但在現實世界中是很難獲取到目標模型的具體信息，因此白盒攻擊更偏向于理論分析。黑盒攻擊則只能獲取模型的輸出甚至對模型的信息完全未知，這種設定提高了對抗樣本攻擊的難度，也更具有現實意義。現有的一些方法借助于對抗樣本的可遷移性進行黑盒攻擊，包括基于梯度計算的方法[9]和基于輸入轉換的方法[10-11]。在最近的工作中，Wang等人[12]提出使用梯度方差來調整當前的梯度，穩定更新方向并顯著提高了對抗樣本的可遷移性。Admix[13]認為混合操作是一種新的對抗性學習的數據論證范式，并在多個防御模型下使用基于混合轉換操作生成的對抗樣本顯著提高了攻擊性能。現有算法生成的對抗樣本表現出較弱的可遷移性，導致了較差的黑盒攻擊性，與白盒攻擊的性能相比仍然有較大的差距。

本文提出了一種優化梯度增強黑盒對抗攻擊算法，著重于提高對抗樣本在黑盒攻擊下的性能。深度神經網絡進行正常的訓練能夠收斂到優化空間中的局部最小值區域，而基于梯度的迭代攻擊方法則是從該局部區域出發，根據梯度信息搜索并生成最終的對抗樣本。但由于在局部最小值區域內求得的梯度會導致振蕩的更新過程，容易落入較差的局部最優中。基于此，所提的算法首先用其他類別的圖像樣本混合輸入樣本從而獲得混合圖像的梯度信息。同時為了保證迭代更新的穩定，結合前一次迭代的梯度方差來調整當前的梯度以獲得本文所提的優化梯度。將得出的優化梯度與Adam優化算法[14]結合進行迭代優化生成對抗樣本。在標準ImageNet數據集[15]上的實驗結果表明，本文所提出的算法能夠顯著提升對抗樣本的黑盒攻擊性能，同時也保持了較高的白盒攻擊性能。在單模型攻擊設置下用Inc-v3[16]、Inc-v4、IncRes-v2[17]和Res-101[18]這四個模型生成的對抗樣本的平均攻擊率相對于方差調整法[12]分別提高了6、5.3、9.2和6.9個百分點。與現有的輸入轉換模型結合起來能進一步提高對抗樣本的魯棒性。此外，所提的方法對現有先進的防御模型能夠達到92.7%的平均攻擊率，分別高于Admix[13]和方差調整法[12]4.5和2.5個百分點。

1 相關工作

對抗攻擊的任務是對輸入樣本添加盡可能小的擾動去生成對抗樣本，并使得圖片分類器給出錯誤的分類結果，如公式（1）所示：

其中，x是初始圖片，xadv是對抗樣本，f(x;θ)是參數為θ的圖片分類器，ε是控制擾動大小的超參數表示Lp范數距離，p的取值為∞（與之前的工作保持一致）。

下文將介紹與本文相關的兩類黑盒攻擊算法，包括基于梯度的對抗攻擊算法和基于輸入轉換的對抗攻擊算法。最后還介紹了近幾年的對抗防御方法，并用這些方法對所提黑盒攻擊算法的有效性進行驗證。

1.1 基于梯度的對抗攻擊算法

FGSM[4]是第一個基于梯度的攻擊方法，其認為對抗樣本產生的原因在于深度神經網絡的線性特性，并提出使用單步最大化損失函數的方式生成對抗樣本。I-FGSM[5]提出使用迭代攻擊的方式逐步生成擾動，進一步提高了白盒攻擊成功率，但降低了在黑盒模型上的攻擊性能。MI-FGSM[6]將動量項整合進迭代過程中得到更加穩定的更新方向。計算如公式（2）所示：

后續Wang等人[12]基于MI-FGSM，結合前一次迭代的梯度方差來調整當前的梯度來避免較差的局部最優值。除了引入梯度方差外，還可以在迭代過程中引入一些額外的梯度信息去更好地指導對抗樣本的生成。本文在梯度方差的基礎上，引入了其他類別圖片的梯度信息，從而提高了黑盒攻擊的性能。

1.2 基于輸入轉換的對抗攻擊算法

基于輸入轉換的對抗攻擊算法采用不同的輸入轉換方法來增強模型的可遷移性，從而提高算法的黑盒攻擊性。DIM[10]用固定的概率進行隨機縮放和裁剪處理輸入圖片，然后作為模型分類器的輸入并進行后續梯度的計算，提高了對抗樣本的可遷移性。TIM[11]提出將迭代攻擊方法過程中間得到的梯度與預定義的高斯卷積核進行卷積操作并將得到的結果用于迭代更新。SIM[9]首先將輸入圖片在數值上進行不同尺度的縮放，然后輸入分類器中計算不同尺度縮放下圖像的平均梯度。上述方法由于需要進行對輸入進行多次轉換，在提高黑盒攻擊性的同時計算量也會成倍的增加。Admix[13]提出使用其他類別的信息使得樣本點更靠近決策邊界，以便獲取更好的梯度信息來實現對抗攻擊。組合多種基于輸入轉換的對抗攻擊算法能進一步提高對抗樣本的可遷移性，即可以進一步增強對抗樣本的黑盒攻擊性。

基于梯度的對抗攻擊算法重點在于通過精心設計的梯度以生成攻擊性更強的樣本，而基于輸入轉換的對抗攻擊算法則側重于對輸入進行多種方式進行轉換，對多個轉換后的輸入圖片進行計算以提高生成對抗樣本的泛化性。兩類黑盒攻擊方法各有優勢，同時兩者之間并不是對立的，可以結合兩類方法去生成可遷移性更強的對抗樣本，在本文的集成模型攻擊實驗中得到驗證。

1.3 對抗防御方法

為了減輕對抗樣本對深度神經網絡的影響，近年來出現了許多對抗防御算法。HGD[19]基于高層輸出的損失提出高級表征去噪器，推理速度非常快。R&P[20]通過對輸入圖像進行隨機縮放和填充的操作減輕了對抗樣本的影響。Bit-Red[21]提出兩種特征壓縮方法，能夠很好地檢測出對抗樣本。JPEG[22]在圖像輸入到模型分類器前進行轉換來防御對抗樣本的攻擊。FD[23]是在JPEG的基礎上進行改進的防御對抗樣本的框架。

2 本文方法

2.1 方法概述

基于深度神經網絡去生成對抗樣本的方法，包括I-FGSM、MI-FGSM 等經典方法，都是朝著正常模型訓練梯度的相反方向進行優化。這種方式在一般情況下均可以降低原物體類別的置信度，但是由于對抗樣本的另一目標是擾動盡可能小，這會影響到對抗樣本的攻擊性能。精細的調整梯度指導對抗樣本的生成，是提高對抗樣本攻擊性的關鍵。本文方法結合混合圖像的方式和使用梯度方差的方式調整當前梯度以得到優化梯度，生成的對抗樣本的可遷移性更強。此外，所提出的優化梯度緩解了ADAM優化算法由于窗口累計導致的學習率震蕩問題，進一步提高了對抗樣本的攻擊性。下面將詳細介紹本文方法。

2.2 基于優化梯度的迭代攻擊

本節提出了一種優化梯度，重點在盡可能小的擾動約束下給定當前迭代的最優梯度方向。深度神經網絡在多次訓練迭代中更新參數，最終會收斂到優化空間中的一個局部最小值區域中。而基于梯度的對抗攻擊則是從該區域出發搜索更新方向并迭代生成最終的對抗樣本。直接使用該區域的梯度作為攻擊的迭代更新方向會導致比較振蕩的更新過程并產生較差的局部最優結果。基于如上分析，本文結合Admix[13]和方差調整法[12]得到適用于對抗攻擊的優化梯度，并將其用于迭代攻擊過程去生成可遷移性強的對抗樣本。

首先針對梯度在迭代攻擊過程中存在的更新振蕩問題，本文采用混合梯度的方式使攻擊的迭代更新過程更加穩定。所提算法使用其他類別的圖像樣本去混合輸入樣本，但不改變輸入樣本的真實分類標簽，然后對混合圖像進行求導獲得的混合圖像的混合梯度。由于受到其他類別梯度信息的共同作用，混合梯度能夠進行較穩定的迭代更新指導，并快速越過決策邊界。

其中，x是輸入樣本，x′是其他類別的圖像樣本和vt分別是第t次迭代過程中的對抗樣本、動量的累加、平均混合梯度和梯度方差，Jθ(x,y)表示預測輸出與真實標簽的交叉熵損失函數，?表示求導操作，η∈[0,1] 混合圖像權重，μ是動量衰減因子，m表示其他類別圖片樣本的數量，n表示用于方差調整的采樣數，ri表示用均勻分布中采樣的隨機樣本，α是每一步迭代的最大擾動量。

2.3 結合ADAM優化算法的迭代攻擊

ADAM 算法適用于解決高稀疏和高噪聲的模型優化問題，這種特性對于生成可遷移性強的對抗樣本是有益的。而本節關注于如何將ADAM優化算法應用于生成對抗樣本中。ADAM優化算法[14]計算每個參數的自適應學習率，在深度學習模型優化中被廣泛使用。ADAM用到的是二階動量，二階動量是固定時間窗口內的累計，當窗口內的數據發生較大的變化時，會引起學習率的震蕩從而影響最終的收斂。作者認為一般的梯度不能充分發揮ADAM 優化算法在對抗樣本中的作用。表1 是基于梯度的迭代攻擊算法在單模型攻擊設置下對Inc-v3進行攻擊的成功率（%）表。從表1的實驗結果也驗證了這一觀點，直接使用ADAM 優化算法降低了對抗樣本的黑盒攻擊性。而上一節得到的優化梯度指導每次迭代的攻擊朝著更優的方向前進，同時在一定程度上緩解了ADAM 學習率的震蕩問題，使得ADAM 迭代優化過程較為穩定并能夠應用于對抗樣本的生成。基于此，所提方法能發揮ADAM 的特性從而可以提高對抗樣本的可遷移性。

表1 梯度算法在單模型攻擊下的攻擊成功率Table 1 Success rate of gradient algorithm under single model attack單位：%

2.4 算法描述

本文優化梯度增強黑盒對抗攻擊算法的完整描述如算法1。算法選用ADAM算法用于多輪迭代優化，在每次迭代中則使用所提出的優化梯度進行計算，在規定迭代次數下生成最終的對抗樣本。

算法1 優化梯度增強黑盒對抗攻擊算法

輸入：參數為θ的圖片分類器f(x;θ)，輸入樣本x及其真實分類標簽y，最大擾動量ε，迭代次數T，混合圖像權重η，表示其他類別圖片樣本數的m，用于方差調整的隨機樣本數量n，均勻分布的因子β。

輸出：對抗樣本xadv。

步驟1 每一步迭代的最大擾動量：α=ε/T。

步驟2 計算初始值：v0←0;adam_m0←0;adam_v0←0;

步驟3 fort=0 →T-1 do

步驟4 計算平均梯度

步驟5 計算當前梯度g及其平方

步驟6 更新adam_mt+1：

步驟7 更新adam_vt+1：

步驟8 計算當前擾動方向：

步驟9 更新vt+1：

步驟10 更新

步驟11 End for

步驟12 得到最終生成的對抗樣本并返回：

3 實驗與結果分析

本文進行了單模型攻擊實驗、集成模型攻擊實驗、防御模型下的攻擊實驗和消融實驗。其中單模型攻擊實驗分別使用四個正常訓練的網絡模型中去生成對抗樣本，以此驗證所提算法生成的對抗樣本在不降低白盒攻擊性能的基礎上有效提高了黑盒攻擊性。集成模型攻擊實驗則用于驗證使用集成了多個正常訓練的網絡模型生成的對抗樣本更具攻擊性，此外也驗證了結合基于輸入轉換的攻擊方法后能夠生成可遷移性更強的對抗樣本。防御模型下的攻擊實驗用于驗證所提算法能夠有效攻破近幾年的一些對抗防御方法。最后，消融實驗用于驗證所提算法中的優化梯度及其與ADAM優化算法結合的有效性。

3.1 實驗環境

本文在標準的ImageNet 數據集[15]上進行實驗。為了保證實驗的可對比性，所提方法使用Lin 等人[9]提供的1 000 張圖片樣本進行評估，對應ImageNet 數據集中的1 000 個類別且幾乎能夠被所有使用到的測試模型正確分類。實驗使用7 個網絡模型進行測試，其中包括Inception-v3[16]（Inc-v3）、Inception-v4（Inc-v4）、Inception-Resnet-v2[17]（IncRes-v2）和Resnet-v2-101[18]（Res-101）模型這4個正常訓練得到的模型，此外還有三個集成對抗訓練模型，包括ens3-adv-Inception-v3（Inc-v3ens3）、ens4-adv-Inception-v3（Inc-v4ens4）和ens-adv-Inception-ResNet-v2（IncRes-v2ens）[24]。

本文實驗設置最大擾動量ε為16，迭代次數T為10，η為0.2。其他類別圖片樣本數m為3，用于方差調整的隨機樣本數n為3，β為1.5。

3.2 單模型攻擊實驗

本文分別使用各個正常訓練的網絡模型去生成對抗樣本，然后在7個測試模型驗證其攻擊成功率。攻擊成功率表示對抗樣本在測試模型上的誤分類率。所提算法對比了SIM[9]、Admix[13]和方差調整法[12]（VMI-FGSM），實驗結果如表2 所示，攻擊的模型在行上，測試的模型在列上。其中，Admixwo-sim表示去掉SIM模塊的Admix方法。

表2 單模型攻擊設置下的攻擊成功率Table 2 Attack success rate under single model attack setting 單位：%

如表2所示，用Inc-v3、Inc-v4、IncRes-v2 和Res-101這四個正常訓練的模型生成對抗樣本，本文方法相對于VMI-FGSM[12]算法在平均攻擊率上分別提高了6、5.3、9.2 和6.9 個百分點。本文方法在白盒攻擊和黑盒攻擊設置下的平均攻擊率優于現有算法，表明了所提算法的有效性。從表2 中也可以看出，基于輸入轉換的方法SIM 在一些場景下是優于本文算法的。SIM 通過在原圖上進行轉換，本質上也是通過調整優化的梯度方向去生成對抗樣本。由于生成對抗樣本的任務需要保證對圖片的擾動不能太大，優化的方向上存在的差異會直接影響攻擊的成功與否。以I-FGSM的方法為例，它是朝著梯度下降相反的方向進行優化，這在一定程度上可以理解為最優方向，但是這個方向僅僅是使得預測成原類別的概率降低，并不能確保在約束的擾動條件下使得預測錯誤。SIM 方法這類基于輸入轉換的方法和本文所提方法從不同角度進行優化，可以考慮兩類方法的結合去提高對抗樣本的攻擊成功率，下一節給出實驗結果。

3.3 集成模型攻擊實驗

集成模型攻擊是指在攻擊過程中融合多個模型的分類概率輸出，在多個模型的共同作用下生成對抗樣本。本實驗集成了Inc-v3[16]、Inc-v4、IncRes-v2[17]和Res-101[18]這四個模型去生成對抗樣本，這四個模型都被分配了相同的權重。在三個集成對抗訓練模型上進行對抗樣本的黑盒攻擊性能的測試。

實驗結果如表3 所示。所提算法的平均攻擊成功率達到了88.3%，相比Admix[13]和方差調整法[12]（VMIFGSM）的平均攻擊成功率高了12.2 和6.1 個百分點。在ImageNet數據集上用上述三種方法生成的對抗樣本對IncRes-v2ens進行黑盒攻擊，成功率分別為33.2%、50.7%和64.8%。其中所提方法相對Admix 和方差調整法分別提升了31.6和14.1個百分點，可看出使用本文方法能夠生成可遷移性更強的對抗樣本。

表3 集成模型攻擊設置下的攻擊成功率Table 3 Attack success rate under ensemble-model attack setting 單位：%

圖1給出了融合DIM[10]、TIM[11]和SIM[9]三個方法后的實驗結果圖。從圖1可以看出，融合基于輸入轉換的攻擊算法能進一步提高對抗樣本的攻擊成功率。現有的Admix[13]（Admix-TI-DIM）和方差調整法[12]（VMI-CTFGSM）在融合了三種基于輸入轉換的攻擊算法后平均攻擊成功率已經有了很大的提升。本文方法相對于Admix-TI-DIM 和VMI-CT-FGSM 分別提升了0.6 和0.5個百分點的攻擊率，達到了96.8%。其中，本文方法在白盒攻擊上略微差于Admix和方差調整法，但是在黑盒攻擊上顯著優于這兩個方法。作者認為出現這種情況的原因是Admix 和方差調整法出現了一些過擬合的情況，而本文方法在黑盒攻擊上的表現更能體現算法的泛化性。

圖1 融合輸入轉換模型設置下的攻擊成功率Fig.1 Attack success rate under setting of fusion input conversion model

3.4 防御模型下的攻擊實驗

融合三種基于輸入轉換方法生成的對抗樣本表現出了更強的攻擊性，因此本文在此設置下對防御模型進行攻擊。實驗考慮了當前五種防御模型，包括HGD[19]、R&P[20]、Bit-Red[21]、JPEG[22]和FD[23]。圖2 給出了在集成模型攻擊配置下融合三種輸入轉換的算法后生成的對抗樣本在多種防御模型下的攻擊結果。所提算法在防御模型下的攻擊平均成功率為92.7%，相比于Admix-TI-DIM[13]和VMI-CT-FGSM[12]分別提高了4.5和2.5個百分點，表明所提方法生成的對抗樣本攻擊性更強。在Bit-Red 防御模型下，本文方法的攻擊成功率達到了87.7%，表明仍然存在不少攻擊失效的場景，存在一定的性能提升空間。此外，所提方法生成的對抗樣本能用于后續對抗防御模型的驗證。

圖2 在五個防御模型下的攻擊成功率Fig.2 Attack success rate graph under 5 defense models

3.5 消融實驗

本文進行了消融實驗來驗證所提算法中的優化梯度及其與ADAM優化算法結合的有效。選擇ImageNet數據集，在Inception v3上生成對抗樣其中ADAM-VMIFGSM[12]和ADAM-Admixwo-sim[13]分別表示使用ADAM優化算法替換原算法中的動量優化法算法，Oursm表示使用優化梯度與動量優化法進行迭代優化的算法。

驗證優化梯度：使用VMI-FGSM、Admixwo-sim和Oursm攻擊方法進行比較，采用動量優化法同等條件下，白盒攻擊成功率均達到了100%。Oursm生成的對抗樣本具有57.2%的平均攻擊成功率，相比VMI-FGSM、Admixwo-sim分別提高了2.7 和13.5 個百分點。可以看出，本文設計的優化梯度算法能夠增強對抗樣本的可遷移性。在對IncRes-v2ens進行黑盒攻擊實驗中，Oursm的攻擊成功率比Admixwo-sim高了10.5 個百分點，可以看出本文設計的優化梯度算法生成的對抗樣本更具有攻擊性。

驗證優化梯度與Adam 優化算法的結合：使用ADAM-VMI-FGSM，ADAM-Admixwo-sim和所提方法生成對抗樣本。如表4 所示，發現在Adam 優化法同等條件下，Ours生成的對抗樣本進行黑盒攻擊獲得了60.5%的平均遷移攻擊成功率，相比ADAM-VMI-FGSM，ADAMAdmixwo-sim分別提高了4.4 和17.7 個百分點說明了兩者結合的有效。同時可以看出，Admixwo-sim所提出的改進梯度加劇了ADAM 優化算法優化過程中的震蕩問題，僅僅通過加入其他類別的圖像梯度會影響優化過程中的學習率震蕩，從而影響對抗樣本的生成，進而使得攻擊成功率不升反降。

表4 不同消融模型在Inc-v3上的攻擊成功率Table 4 Attack success rate of different ablation models on Inc-v3單位：%

4 對抗樣本的可視化

使用本文方法生成的對抗樣本如圖3 所示。本文方法能夠生成視覺上與其他攻擊算法相似的對抗樣本，但可遷移性更強并且在黑盒攻擊上的表現更好。其中，I-FGSM的結構相似性得分SSIM最高，但其攻擊成功率是最低的。本文生成的對抗樣本在保證較高相似性得分的基礎上達到了較高的攻擊成功率。

圖3 I-FGSM、MI-FGSM及本文方法生成的對抗樣本Fig.3 Adversarial samples generated by I-FGSM，MI-FGSM and proposed algorithm

5 結束語

本文提出了一種優化梯度增強黑盒對抗攻擊算法，其目的是通過提高對抗樣本的遷移性從而增強對抗樣本在黑盒模型上的攻擊性能。本文方法結合優化梯度與ADAM 優化算法進行迭代優化，從而生成遷移性更強的對抗樣本。在單模型攻擊實驗中，本文方法在Inc-v3、Inc-v4、IncRes-v2 和Res-101 這四個模型下生成的對抗樣本相對于VMI-FGSM算法在平均攻擊率上分別提高了6、5.3、9.2 和6.9 個百分點。而集成模型攻擊實驗中所提方法集成了四個模型后的平均成功率達到了88.3%，分別高于Admix 和方差調整法12.2 和6.1 個百分點，說明本文方法能有效提高對抗樣本的黑盒攻擊性能。在五個防御模型下本文方法展現出了較強的攻擊性，攻擊平均成功率達到了92.7%。本文算法生成的對抗樣本能夠用于后續對抗防御模型防御性的驗證。

本文方法通過迭代優化的方式生成對抗樣本，相較于單步優化方法在速度上仍然有較大的差距，提高算法的速度是進一步的研究方向。其次，在本文實驗中僅將該方法應用于基礎的圖像分類任務中，而將該方法應用于其他視覺任務包括目標檢測、目標跟蹤等任務也是未來的一個研究方向。