聚焦圖像對抗攻擊算法PS-MIFGSM

吳立人，劉政浩，張 浩，岑悅亮，周 維*

（1.云南大學軟件學院，昆明650091； 2.昆明理工大學信息工程與自動化學院，昆明650500）

（?通信作者電子郵箱zwei@ynu.edu.cn）

0 引言

深度學習近年來在各個領域的貢獻頗為顯著，卷積神經網絡（Convolutional Neural Network,CNN）在自動駕駛汽車［1-2］、監視［3］、惡意代碼檢測［4］、無人機［5］等領域已經成功得以應用，并且在其應用中都扮演著關鍵性角色，因此保證網絡模型的安全運行尤為重要。雖然深度學習網絡模型精確度越來越高，但是仍然存在被對抗樣本攻擊的安全隱患，因此，深度學習網絡模型安全的研究具有很強的現實意義。

對抗攻擊［6］是深度學習模型攻擊中最常用的攻擊方法，其目的是通過給輸入樣本添加微小的噪聲擾動，使模型的預測結果為錯誤結果，甚至能根據特定的噪聲擾動輸出攻擊者所需的預測結果。具體來說，對抗攻擊方法通過限制擾動的L∞或L2范數的值以使對抗樣本中的擾動無法被人察覺。如圖1所示：以最常用的圖片分類模型為例，對于訓練好的深度學習模型在給定原始圖片x（x表示未加上擾動的原始圖片）時能準確識別出圖片內容為“雨靴”，然而當圖片x加入特定的擾動μ后生成圖片x*，將x*輸入到同樣的模型其預測結果變成了“抹布”，也就是說通過添加擾動μ后輸入x*成功地騙過了模型，但對于人類而言這兩個輸入x和x*卻很容易被判斷為同一種分類。想象一下，如果這種攻擊被應用到自動駕駛領域，神經網絡模型可能會出現誤判，導致嚴重的后果。

其實采用限制性擾動L0范數對神經網絡模型進行攻擊的JSMA（Jacobian-based Saliency Map Attack）方法已經在2015年被Papernot等［7］提出，但是其方法只修改圖像中的幾個像素，而沒有考慮通過擾亂整個圖像來欺騙分類器。Moosavi-Dezfooli等［8］通過迭代計算的方法生成最小規范對抗擾動，該算法通過一個小的向量來擾動圖像，將位于分類邊界內的圖像逐步推到邊界外，直到出現錯誤分類。

然而目前的攻擊算法中仍然存在通過像素級別擾動來實現攻擊，這種方法導致要想達到預期的目的會損失對抗樣本與原樣本之間產生極大的差異，通過分析發現，對于深度神經網絡提取任務需要的特征時，更關注包含特定信息區域［9-10］，本文針對這一啟發提出一種聚焦圖像攻擊算法——PSMIFGSM（Perceptual-Sensitive Momentum Iterative Fast Gradient Sign Method）：通過Grad-CAM［9］提取卷積神經網絡對圖像的重點關注區域，然后再對這些區域采用MI-FGSM（Momentum Iterative Fast Gradient Sign Method）［11］攻擊算法進行攻擊，保持圖像其他區域不變。

圖1 生成對抗攻擊樣本Fig.1 Generation of adversarial attack sample

1 相關工作

盡管深度神經網絡在很多研究和應用領域都表現出色，然而Szegedy等［12］于2014年第一次提出神經網絡存在安全性漏洞，通過在一張圖片上做微小的擾動，就能讓圖片以很高的置信度被網絡模型錯誤分類，甚至可以讓圖片被分類成一個指定的標簽。從此學術界展開了對圖像對抗攻擊的進一步研究。GoodFellow等［13］于2015年提出了產生對抗攻擊根本原因的猜測：深度神經網絡在高維空間中的線性特性已經足以產生這種攻擊行為，而非之前人們猜測的神經網絡的復雜性，同時在這個假設前提下提出了一種高效生成對抗樣本的算法FGSM（Fast Gradient Sign Method），并通過實驗加以驗證。實驗結論表明：一個測試效果良好的分類器，其實并不像人類一樣學習到了所分類樣本的真正底層意義，只不過剛好構建了一個在訓練數據上運行相當良好的模型，而這個模型實際上就像是一個富麗堂皇的假象，當遇到一些空間中不太可能出現的點時，模型能力的有限性就會隨之暴露出來。當深度神經網絡應用于需要極高安全性的領域時，對抗樣本必將對其帶來不小的安全隱患。

2017年Madry等［14］提出的I-FGSM（Iterative-Fast Gradient Sign Method）算法是對FGSM算法的改進，I-FGSM在FGSM算法基礎上增加了多次迭代攻擊，其效果更加顯著。Dong等［11］于2018年提出MI-FGSM攻擊，MI-FGSM在迭代攻擊的基礎下添加了動量因子使得實驗中攻擊效果更好。上述方法中的攻擊方式都覆蓋了整張圖像，雖然取得了良好的效果，但是這種方式會增大對抗樣本和真實樣本的差異。Su等［15］在2017年提出一種極端的對抗攻擊方法，使用差分進化算法對每個像素迭代地修改生成對抗樣本，并與真實樣本對比，根據一定標準選擇保留攻擊效果最好的對抗樣本，實現對抗攻擊。這種對抗攻擊不需要知道網絡參數或梯度的任何信息，僅改變圖像中的一個像素值就可以實現對抗攻擊。

另一方面，CNN最早由LeCun等［16］提出并在手寫數字識別應用中取得了突破性的進展，之后被廣泛應用于圖像識別［17］、語音檢測［18］、生物信息學［19-20］等多個領域。因為CNN在圖像處理中可以直接作用于圖像中像素值，能夠提取更廣泛、更深層次和更有區別度的特征信息。Selvaraju等［9］提出Grad-CAM直接尋找圖像中對分類貢獻最大的區域，因為卷積層包含了豐富的語義信息，而這些語義信息經過池化操作后，會使人類不可理解。故Grad-CAM［9］利用池化前最后一個卷積層的特征圖進行可視化，以此解釋CNN是根據圖像中的哪些區域作出相應的預測。上述研究表明：深度神經網絡模型在處理圖像信息過程并非是對整張圖像的信息獲取量都相等，對某些特定的區域關注度更高，并且可以通過上述方法得到這些關注度高的區域。

本文受MI-FGSM和Grad-CAM的啟發，提出一種新型的聚焦圖像攻擊算法PS-MIFGSM。本文的工作主要包括：1）提出PS-MIFGSM圖像攻擊算法，在MI-FGSM中引入Grad-CAM，提取出網絡對圖像的重點關注區域，針對重點關注區域進行基于動量的梯度迭代攻擊，以盡可能少地添加擾動。2）探究PS-MIFGSM在攻擊單模型和集合模型時的不同效果。

2 PS-MIFGSM攻擊方法

2.1 MI-FGSM攻擊

MI-FGSM方法是Dong等［11］在2018年提出來的圖像攻擊算法，該算法是一種基于動量的梯度迭代攻擊算法。FGSM［13］通過最大化損失函數J(x，y)來生成對抗樣本，其中J(x，y)通常是交叉熵損失，生成的對抗樣本滿足L2范數約束≤μ，μ為擾動大小。對抗樣本x*迭代公式如下：

與FGSM算法相比，MI-FGSM中加入了動量因子，每一輪迭代的梯度方向會影響下一輪的迭代，這種方式可以讓攻擊在損失函數的梯度方向快速迭代，穩定更新，有效地避免了局部最優。MI-FGSM算法具體描述如下。

算法1 MI-FGSM。

輸入 分類模型f的損失函數J，真實樣本x，真實類別y，擾動大小μ，迭代次數T，衰減系數u；

輸出 對抗樣本x*。

1）a=μ/T；

2.2 Grad-CAM方法

Grad-CAM是Selvaraju等［9］在2017年提出的用來解決卷積神經網絡可解釋性問題的方法。Grad-CAM利用神經網絡中最后一層卷積層來獲取特征激活圖，因為深層卷積神經網絡中，最后一層卷積層包含了最豐富的分類信息，也是最容易可視化出來的。首先用類別輸出結果對最后一層卷積層求導其中yc是分類結果，Akij是第k個特征圖的(i，j)位置的值。然后通過如下公式計算出權重ack。

其中Z是特征圖的大小。然后通過下式得到Grad-CAM的可視化結果，計算出的權重信息就是特征圖中決定分類結果的重要區域。Relu函數是為了去除負值的影響，只關注特征圖中的正值對分類結果的影響。

使用 Grad-CAM［9］對 Vgg_16［20］分類模型的分類結果做可視化實驗，結果如圖2，從圖中可以看出，Vgg_16將圖片正確分類的原因是重點關注了圖中的亮點區域。

圖2 Grad-CAM結果Fig.2 Result of Grad-CAM

2.3 PS-MIFGSM方法

目前主流攻擊算法 FGSM、MI-FGSM、DeepFool［8］都是將對抗擾動作用于圖像所有區域，雖然攻擊成功率高，但是對原始圖像的擾動和改變范圍較大，使得攻擊隱蔽性降低。如果能夠準確定位出卷積神經網絡在分類任務中的重點關注區域，那么就可以只對這些重點關注區域做攻擊，以降低對圖像中非關鍵區域的影響。該方法一方面可以使得圖像攻擊變得更加細微，以增加攻擊隱蔽性；另一方面又能確保攻擊的成功率。

為了在保證攻擊成功率的前提下降低對原圖的擾動大小，本文提出了PS-MIFGSM算法，具體架構如圖3所示，從圖中可以看出PS-MIFGSM主要分為三個主要部分：第一部分主要是借助Grad-CAM算法得到樣本的關注區域，后續處理中根據Grad-CAM生成的結果區域即可將樣本分為攻擊區域和非攻擊區域；第二部分主要是通過MI-FGSM算法計算得到攻擊干擾信息；第三部分則是根據攻擊區域和非攻擊區域將干擾信息作用于原樣本圖像上，最終得到攻擊樣本。

圖3 PS-MIFGSM算法架構Fig.3 Architectureof PS-MIFGSMalgorithm

PS-MIFGSM算法的目的在于在保證攻擊準確率不變的前提下，盡量減小擾動對原圖像的影響，以達到更好的隱蔽效果。公式如下：

算法偽代碼如下：

算法1 PS-MIFGSM（單一模型）。

輸入 分類模型f的損失函數J，真實樣本x，真實類別y，擾動大小μ，迭代次數T，衰減系數u，攻擊的前q個位點。

輸出 對抗樣本x*。

算法2 PS-MIFGSM（集合模型）。

輸 入n種 分 類 模 型f（f1，f2，…，fn)的 損 失 函 數J(J1，J2，…，Jn)，真實樣本x，真實類別y，擾動大小μ，迭代次數T，衰減系數u，攻擊的前q個位點。

輸出 對抗樣本x*。

首先利用Grad-CAM獲取到對應分類網絡在圖像分類任務中所重點關注的圖像區域，分類網絡對圖像的重點關注區域就是本文算法要對圖像進行攻擊的區域。然后通過MIFGSM算法［11］獲取到整張圖像對抗攻擊的對抗擾動，將對抗擾動加到相同圖像對應的攻擊區域，并且保持其他區域信息不變。

3 實驗結果與分析

實驗中本文所提出的PS-MIFGSM算法以及對比實驗均基于Linux（Ubuntu 16.04LTS）下python3.5以及Tensorflow1.2深度學習框架實現，具體硬件參數為CPU Inter Core i7-6700K，32 GB內存，為了加快訓練過程，實驗中大部分過程選用NVIDIA GTX1080GPU加速完成。

3.1 數據集

本文的數據集采用天池IJCAI-19阿里巴巴人工智能對抗算法競賽的官方數據集，包括110個種類的11萬張商品圖片的訓練集，這些商品圖片均來自阿里巴巴的電商平臺，每個圖片對應一個種類ID。實驗中還有三種基礎分類模型Inception_v1［22］、Resnet_v1［23］、Vgg_16［21］為本次實驗的攻擊對象，三種基礎分類模型均加載訓練好的權值參數，其在本實驗數據集的測試集上的top1正確率均在70%以上。

本次實驗的側重點在于生成可以干擾分類模型進行分類的對抗樣本，實驗本文選取110張在三個基礎模型中識別率均為100%的圖片作為真實樣本，以這110張真實樣本為輸入數據集，用PS-MIFGSM算法和MI-FGSM算法生成對抗樣本來評估這兩種攻擊算法的結果。

3.2 評價指標

實驗中使用MI-FGSM和PS-MIFGSM兩種攻擊算法對輸入數據集的110張圖片做攻擊訓練，生成對抗樣本，然后使用模型對每個對抗樣本進行分類識別，如果模型識別錯誤的對抗樣本數量越多，同時對抗樣本相對于真實樣本的擾動越小，那么攻擊算法越有效。

實驗采用如下距離度量公式來評估攻擊算法：其中：I表示真實樣本，I a表示生成的對抗樣本，M表示分類模型，y表示真實樣本I的真是標簽。如果模型對對抗樣本I a的種類識別正確，那么此次攻擊不成功，擾動量計算為上限64，如果模型對對抗樣本I a的種類識別錯誤，那么就是對抗樣本攻擊成功，采用L2距離來計算對抗樣本I a和真實樣本I的擾動量。

同時本文也會計算不同攻擊算法生成的對抗樣本和真實樣本在不同模型上的分類準確率，作為更為直觀的攻擊算法評價指標，模型對對抗樣本的分類準確率越低，說明對抗樣本越具有欺詐性，攻擊算法更有效。

3.3 攻擊單一模型的結果分析

攻擊單一模型是指在攻擊算法中只針對一個單獨的分類模型進行攻擊。本文將所提方法PS-MIFGSM與MI-FGSM［11］攻擊方法做了攻擊單一模型的對比實驗，用兩種方法生成的110個對抗樣本分別對三種圖像分類模型進行攻擊，這三種圖像分類模型分別是Inception_v1、Resnet_v1、Vgg_16。實驗中，輸入圖像大小為224×224。整個圖像的像素點一共是50 176。本文只選擇在Grad-CAM輸出的權重特征圖中權重最大的25 000個像素點上進行攻擊，其他像素點不變，其中，單個像素值的最大擾動設置為20，攻擊迭代的衰減系數μ為0.04，像素值攻擊迭代的數量是3次。用兩種方法生成的對抗樣本交叉攻擊三種模型，評估其分類準確率和原樣本與對抗樣本的L2距離。

從表1中可以看出當白盒攻擊時，PS-MIFGSM和MIFGSM的攻擊成功率很高，模型對對抗樣本的分類準確率幾乎為0%：一方面，PS-MIFGSM保持了和MI-FGSM同等的攻擊成功率；另一方面，PS-MIFGSM有效降低了原樣本和對抗樣本的差異化。這也說明本文使用Grad-CAM提取的卷積神經網絡關注區域是正確有效的，對這些區域進行攻擊確實能達到對整張圖像進行攻擊的效果。但是PS-MIFGSM在黑盒攻擊時，攻擊成功率稍低于MI-FGSM［11］算法，因為攻擊失敗的圖片的D(I，I a)值會是設定的最大值 64，所以總D(I，Ia)值也會偏高一些。由于不同模型在圖像分類任務上所提取到的特征圖不同，所以PS-MIFGSM在單模型攻擊時，它只會在本模型的重點關注區域加上對抗擾動。但是MI-FGSM［11］是對整張圖所有像素點增加對抗擾動，所以它在單模型攻擊中的黑盒攻擊效果要好一些。

表1 攻擊單模型的結果比較Tab.1 Result comparison of singlemodel attack

從表1中也可以看出，PS-MIFGSM方法和FGSM以及DeepFool相比，攻擊成功率提高很多，并且原樣本和對抗樣本的差異也降低很多。DeepFool方法著重尋找最小擾動來作攻擊，但是它在攻擊成功率方面表現很差；PS-MIFGSM同樣也是著重于尋找最小擾動來作攻擊，但是在攻擊成功率和擾動量上都優于DeepFool和FGSM，所以PS-MIFGSM方法在能夠保證優秀的攻擊成功率的前提下，可以降低攻擊樣本和原始樣本的差異化。在對關鍵區域有針對性的圖像攻擊方法中，PS-MIFGSM做出了創新性的工作。

目前工業界采用的分類模型種類繁多，但是圖像攻擊算法的本質就是對神經網絡做攻擊，需要考慮到不同神經網絡模型在圖像分類任務上的損失等信息。為了提高PSMIFGSM算法在黑盒攻擊中的成功率，本文提出攻擊集合模型的方式。

3.4 攻擊集合模型的結果分析

攻擊集合模型是指在攻擊算法中，融合了多種分類模型的分類結果。在迭代生成對抗干擾量時，實驗融合三種分類模型（Inception_v1、Resnet_v1、Vgg_16）的logits來計算目標函數J（x，y），公式如下：其中：k代表第k個模型；K是模型數量；wk代表了第k個模型logits的權重值，在實驗中，設置三個模型的wk相同。

使用MI-FGSM和PS-MIFGSM兩種方法對集合模型進行攻擊，實驗參數設置和單模型攻擊相同，實驗結果如表2所示。從表2中可以看出使用以集合模型攻擊生成的對抗樣本攻擊成功率很高，對于三種基礎模型的攻擊成功率都接近100%，這說明攻擊集合模型的對抗樣本具有良好的魯棒性。并且還可以觀察到，PS-MIFGSM 算法的D（I，I a）值比 MIFGSM小，這是因為攻擊集合模型時，融合了多種圖像分類模型的logits來計算目標函數J（x，y），使用Grad-CAM提取的卷積神經網絡關注區域也是融合了多種分類模型對圖像的共同關注區域，所以它在生成的對抗干擾信息時，會考慮多種分類模型對圖像的損失信息，而不是像在單模型攻擊中，只考慮單一分類模型的損失信息，所以攻擊集合模型的方法更為魯棒，它能以更高的效率和成功率來攻擊大部分的分類模型。同時，由于PS-MIFGSM方法需要提取神經網絡對圖像在分類任務中的關注區域，所以和MI-FGSM相比，它在時間復雜度上略差。說明，在攻擊集合模型時，PS-MIFGSM可以在確保攻擊成功率的同時，降低對抗樣本的干擾信息量，具有比MIFGSM具有更好的攻擊效率。

表2 攻擊集合模型的結果比較Tab.2 Result comparison of attack set model

3.5 對抗樣本可視化結果

實驗通過直觀的方式對比了MI-FGSM和PS-MIFGSM兩種方法生成的對抗樣本，如圖4所示。

圖4 不同算法對抗攻擊樣本展示Fig.4 Adversarial attack samplesof different algorithms

從圖4可以看出，PS-MIFGSM只在圖中的部分關注區域加上了對抗擾動，而其他區域仍然保持原圖不變。同時，也輸出了Grad-CAM的結果來和兩種方法的對抗樣本進行對比觀察，發現PS-MIFGSM是在Grad-CAM的關注區域加上了對抗擾動。

4 結語

本文提出的PS-MIFGSM算法是一種高效的聚焦圖像攻擊算法，引入 Grad-CAM［9］算法對 MI-FGSM［11］算法進行改進，只在卷積神經網絡對圖像重點關注的區域進行攻擊，而其他區域保持不變。在攻擊單模型實驗中，該算法生成的對抗樣本在白盒攻擊中能夠保證很高的攻擊成功率，并且對原始樣本的改動量最少；在黑盒攻擊中，該算法性能只差于MIFGSM，但是優于其他算法。為了提高算法在黑盒攻擊中的攻擊性能，本文提出了攻擊集合模型的方法，融合多種分類模型的損失信息進行攻擊，實驗結果與MI-FGSM［11］算法相比，對抗樣本的攻擊成功率不變，但對抗攻擊樣本與原始樣本的差異較小。

采用PS-MIFGSM算法進行圖像攻擊時，可以在保證較高攻擊成功率的同時，使對抗攻擊樣本更接近于真實樣本。這種帶有針對性的只對圖像極少區域進行攻擊的方法，讓對抗攻擊樣本具有更好的偽裝效果。除此之外，PS-MIFGSM算法也有一些待優化之處，如在單模型的黑盒攻擊時，攻擊性能低于MI-FGSM；如何應對不同的卷積神經網絡關注區域的不同，這也將是我們下一步深入研究的內容。