一種基于攻擊距離的對抗樣本攻擊組篩選方法

劉洪毅，方宇彤，文偉平

（北京大學 軟件與微電子學院，北京 102600）

隨著深度學習算法及計算設備的快速發展，深度學習由于其優秀的效果與性能被廣泛應用于各個領域，如語音識別、圖像識別、人臉識別、自動駕駛等。在計算機視覺領域，隨著 2012 年Krizhevsky等［1］設計AlexNet贏得了ImageNet LSVRC-2012比賽的冠軍，奠定了卷積神經網絡在深度學習應用中的地位。在之后的發展中，學者們先 后 提 出 了 GoogLeNet［2］、VGG［3］、ResNet［4］、DenseNet［5］等深層網絡模型，使得基于深度學習的圖像識別技術成為了圖像識別領域的主流，并使得識別精準度在ImageNet上達到了95%以上。在帶來便利的同時，深度學習本身也存在著一定的安全問題，這引起了安全領域的極大關注。例如，Szegedy等［6］很快發現了深層神經網絡在圖像識別領域的一個有趣的弱點，即深度神經網絡容易被對抗樣本欺騙。這種攻擊的表現形式是對圖像添加一個微小的擾動，并且這些擾動對于人類視覺來講，是幾乎不可察覺的，但會使得分類器分類錯誤。

隨著研究的深入，學者們將攻擊方法進行了分類。根據攻擊者掌握的知識，對抗攻擊可分為白盒攻擊和黑盒攻擊。其中，白盒攻擊是指攻擊者完全了解模型的架構和參數。白盒模型在實際的威脅模型中并不常見，更為廣泛的應用場景是黑盒模型。因此，更關注黑盒環境下的對抗樣本生成技術。黑盒攻擊指攻擊者無法獲取模型全部信息，只能通過對模型的使用來觀察輸入輸出并展開攻擊。

黑盒攻擊方法主要有2種，基于可轉移性的對抗樣本生成方法（transfer-based adversarial example generation，TAEG）和基于查詢的對抗樣本生成方法（query-based adversarial example generation，QAEG）。可轉移性是對抗樣本的一種性質，即針對某分類器模型生成的對抗樣本也可能欺騙其他分類器模型。TAEG方法主要利用對抗樣本的可轉移性，針對一個替代模型進行白盒攻擊，如基于梯度的對抗樣本生成方法，包括FGSM［7］、IFGSM［8］、PGD［9］、MI-FGSM［10］、CW［11］、JSMA［12］、DeepFool［13］等，并使用產生的對抗樣本攻擊目標模 型，如Substitute Model［14］、DI-2-FGSM［15］、Ensemble Attack［16］。基于可轉移性的對抗攻擊可以僅查詢目標模型一次就完成攻擊，但其攻擊成功率較低，若非目標模型和替代模型十分相似，即便是目前魯棒性最好的方法，攻擊成功率也難以令人滿意［15］。而QAEG方法已經被實踐［17-18］證明可以應用在現實模型上。QAEG僅需要對目標模型進行一定的查詢，根據查詢結果不斷優化對抗樣本，即可實現黑盒攻擊，并且成功率一般都較高。

目前流行的QAEG方法都是基于攻擊組的，如NES Attack［17］、CMA Attack［18-19］、Boundary Attack［20］等。這些方法引入原始樣本與目標樣本（稱這一對樣本為一個攻擊組）共同參與攻擊，當對抗樣本生成任務陷入局部最優解時，為對抗樣本進化提供了基本的方向，即向著原始樣本靠近，可以在一定程度上緩解由于估算梯度不準確而導致的對抗樣本陷入局部最優的情況。但是，由于引入了攻擊組來指導攻擊，針對一個對抗樣本生成任務，如何合理地選擇對抗攻擊組將成為一個挑戰。由于對抗攻擊的目的僅是使得目標模型錯誤分類。但在現有的研究中，由于引入了攻擊組的指導，相當于加入了一個限制條件，當生成任務到達局部最優解時，只能向著原始樣本靠近。但原始樣本與目標樣本可能并不容易實現攻擊，最終導致攻擊失敗，或者所需查詢次數過多，如CMA Attack實現攻擊的平均查詢次數為60 000次，但最壞的情況可能達到200 000次［18］。

為了解決以上挑戰，本文以圖像識別領域為例，設計了一種基于決策邊界長度的攻擊距離度量方法，探測原始圖片到目標分類決策邊界的垂直距離，并計算需要進化的決策邊界長度，以度量兩圖片的攻擊距離，并為該攻擊組的攻擊難易程度提供參考。同時，設計了基于攻擊距離的對抗樣本攻擊組篩選方法，利用圖片間的攻擊距離，選取較為容易完成攻擊的攻擊組，再展開對抗樣本生成任務。通過實驗驗證，篩選后的攻擊組對于多個攻擊方法有效，總體攻擊效果提升42.07%，攻擊效率提升24.99%，方差降低76.23%。

1 相關工作

1.1 深度學習

深度學習［21］是機器學習領域的一個新的研究方向，其目前正以前所未有的規模被用于破解各種復雜的科學難題。例如，深度神經網絡（deep neural networks，DNN）在圖像識別、重建腦回路［22］、DNA突變分析［23］等各種任務上都取得了顯著的成功。DNN也成為語音識別［24］、自然語言 理 解［25］、無 人 機［26］、機 器 人［27］和 人 臉 識 別ATM［28］中許多具有挑戰性任務的首選解決方案。顯然，深度學習解決方案，尤其是源自計算機視覺問題的解決方案，將在日常生活中發揮重要作用。

1.2 對抗樣本

對于深度學習分類器來說，對抗樣本是一種特殊的樣本，其與原始樣本的差別不大，但卻可以使得分類器分類錯誤。對抗樣本生成的基本思想是：對于原始圖片x，設計一個盡量小的擾動δ，能夠使得分類器C分類錯誤，如式（1）所示，上述場景被稱為非目標攻擊，即只要使得分類器分類錯誤即可。

同時，還有一種更強的攻擊場景，要求對抗樣本使得分類器分類為指定標簽t，如下：

其中擾動大小的度量公式常使用P范式，如式（3）所示。本文中使用L2距離度量擾動的大小，即2范式、歐氏距離，其中N為像素點的個數。為了能夠在連續的空間上搜索對抗樣本，將像素值從［0，255］壓縮到［0，1］。同時，給出攻擊成功的判定，一般為平均像素差值小于0.05且使分類器分類錯誤，對應到大小為（299，299，3）的圖片上，L2距離約為25。

白盒對抗攻擊最常用的就算是基于梯度的對抗樣本生成方法，通過計算損失函數對輸入圖片的梯度，再通過梯度下降的方式降低損失值以達成目的。其中損失函數設計原理為損失值越小，對抗樣本的效果越好，如擾動的L2距離加上目標分類置信度的負值。Szegedy等［6］首先設計了讓神經網絡做出誤分類的最小擾動的方程，轉而尋找最小的損失函數添加項，將對抗樣本生成問題轉化成了最優化問題。Goodfellow等［7］使用Linf距離設定擾動的上限，將原始分類的交叉熵作為目標函數，最大化目標函數以實現非目標攻擊。Kurakin［8］和Makelov［9］等引入了迭代的思想，將擾動上限分成n份逐步完成攻擊。Carlini和Wagner［11］將錯誤分類的約束條件統一至目標函數中，將對抗樣本生成問題轉化為優化問題，并設計了強有力的攻擊方法。Papernot等［12］提出使用梯度顯著圖的方式，每輪迭代僅選擇效果最優的2個像素點進行修改，盡量降低擾動大小的同時完成了攻擊。

1.3 黑盒對抗攻擊

黑盒對抗攻擊現有2種常用的方法，即TAEG和QAEG。

可轉移性是對抗樣本的一個很重要的性質。可轉移性是指針對某一個模型產生的對抗樣本，也可以欺騙其他模型［29］。對抗樣本存在可轉移性的主要原因是：同類型分類任務學到的分類區域可能大致相同，這導致對于一個模型有效的對抗樣本可能對另一模型也有效。Papernot等［14］通過一定量的查詢來構造與目標模型相似的替代模型，再使用白盒方法攻擊這個替代模型以產生能夠攻擊目標黑盒模型的對抗樣本。Dong等［10］將動量引入對抗樣本生成過程，使得梯度更新的方向更加穩定，提高了攻擊魯棒性，同時提高了對抗樣本的可轉移性。Xie等［15］將輸入變換引入到對抗樣本生成過程，提高了對抗樣本的可轉移性。Tramer等［16］提出了聯合多個模型進行生成及防御對抗樣本，大幅提高了對抗樣本的可轉移性。Huang等［30］提出了針對模型的中間層而非logit層或輸出層進行攻擊，可以一定程度上提高對抗樣本的可轉移性。

盡管有眾多學者對對抗樣本的可轉移性進行了研究，但是TAEG的黑盒成功率依然很低［15］，難以適應實際的需求。因此，QAEG受到了越來越多的關注。QAEG是通過查詢目標模型，來估算模型對于輸入的自然梯度，并輔以原始樣本與目標圖樣本，逐步地進化對抗樣本。在目標攻擊場景下，QAEG最常用基于攻擊組的對抗攻擊方法，即從目標圖片出發，保持對抗樣本的分類為目標分類，持續地降低對抗樣本到原始圖片的距離。Ilyas等［17］提出使用自然進化策略（natural evolutionary strategies，NES［31］）來估算目標模型輸出對對抗樣本分布期望的梯度，并通過進化整個分布來進化對抗樣本。Kuang等［18］提出使用協方差矩陣自適應進化策略（covariance matrix adaptation evolutionary strategies，CMA-ES［32］）來擬合并進化對抗樣本的分布，提升查詢模型的效率，以降低完成攻擊所需的查詢次數。Brendel等［20］提出通過拒絕采樣來擬合決策邊界，不斷地進化對抗樣本，削弱了攻擊算法對于模型自然梯度的依賴性，并實現了僅利用模型輸出的top1標簽完成攻擊。Dong等［19］降低了搜索維度，并利用（1＋1）-CMAES來擬合決策邊界分布，快速地進化對抗樣本以實現攻擊。

2 方法論

2.1 威脅模型

目前，攻擊組的引入主要是為了解決黑盒模型下，目標攻擊估算的自然梯度不精確的問題。因此，本文主要研究黑盒模型下目標攻擊的攻擊組篩選方法，同時要求該黑盒模型可以被查詢多次。

現有目標性對抗攻擊主要有如下4種應用場景：

1）場景1。原始分類固定，目標分類固定，但原始圖片與目標圖片均不固定。這是限定最弱的攻擊場景，也是最常見的攻擊場景，僅實現目標性攻擊即可。實現人類識別結果和機器識別結果不同，如僅使目標分類系統出現錯誤。

2）場景2。原始圖像固定，目標分類固定，但目標圖像不固定。這是另一種常用的攻擊場景，給定原始圖像，使得對抗樣本與原始圖像相差不大，但被分類器分類為目標分類，如自動駕駛欺騙。

3）場景3。原始分類固定，目標圖片固定，但原始圖片不固定。這也是一種常見的攻擊場景，如繞過人臉身份驗證系統。

4）場景4。原始圖像固定，目標圖像固定。這是最嚴格的攻擊場景，但并不常見。

在前3種應用場景中，都存在很多符合要求的攻擊組。本文主要研究如何在前3種場景中，篩選出較為容易的攻擊組，從而提高現有黑盒攻擊的效率及攻擊的穩定性。

2.2 基于攻擊距離的攻擊組篩選

現有的QAEG雖然普遍使用了攻擊組來指導攻擊，但未注意到由于攻擊組難度差異導致的攻擊效果不穩定問題。因此，目前也沒有估算攻擊組攻擊難度的方法。為了解決以上問題，本文提出了基于決策邊界長度的攻擊距離度量方法，討論了如何利用估算的攻擊距離篩選對抗樣本攻擊組，通過預先篩選現有對抗樣本生成方法的輸入來大幅提升其攻擊效率。基于攻擊距離的對抗樣本攻擊組篩選方法的框架如圖1所示。

圖1 基于攻擊距離的對抗樣本攻擊組篩選方法框架Fig.1 Framework of adversarial example attack pairs filtering method based on attack distance

2.2.1 攻擊距離度量

以NES Attack為例，其對抗樣本生成的流程如圖2所示，攻擊速度如圖3（a）所示。圖2中：s＿img為原始圖片，t＿img為目標圖片，adv＿i為對抗樣本的第i輪迭代結果。迭代的主要內容就是通過查詢目標模型，估算目標函數對輸入的梯度，并通過梯度下降的方式更新對抗樣本。同時，在攻擊速度圖中可以明顯看到，對抗樣本的L2距離會先快速下降，再逐漸平緩。CMA Attack的攻擊速度也是類似的，如圖3（b）所示。這其中的原因是：基于查詢的攻擊都會先快速找到決策邊界，這個過程一般很快，再通過迭代穩步地更新對抗樣本，這個過程一般很慢。而重要的是：第2個過程可以用線性擬合，以提前估算對抗樣本生成所需要的查詢次數。即查詢次數和擾動的大小成反比，如果能夠提前估算第2個階段完成的攻擊距離，就可以提前估算完成攻擊所需的查詢次數，從而估算攻擊組的攻擊難度。

圖2 NES Attack對抗樣本生成流程Fig.2 Flowchart of NESAttack adversarial examples generation

圖3展示了NES Attack［17］與CMA Attack［18］在ImageNet上攻擊InceptionV3的攻擊速度。2個方法針對同一攻擊組展開攻擊，并展現出相似的攻擊速度曲線。

圖3 攻擊速度Fig.3 Attack speed

基于查詢的攻擊過程有上述特性主要是由于對抗樣本的特性。對抗樣本是一種既要被分類為錯誤分類，又要與原始圖片相差不大的樣本。這就要求對抗樣本一般都處于目標分類與原始分類的分類邊界附近。因此，對抗樣本迭代生成的過程就是對抗樣本游走于決策邊界，并一步步向原始圖片靠近的過程，包括基于梯度的白盒攻擊與基于查詢的黑盒攻擊。估算一個攻擊組完成攻擊所需要的查詢次數，主要需要解決2個問題：①如何確定對抗樣本已經抵達決策邊界附近；②如何估算攻擊距離。

為了解決第1個問題，設計了基于采樣的決策邊界識別方法，其效果示意圖如圖4所示。將原始圖片與目標圖片設為2個端點，并在2端點所在連線上進行二分查找，以快速定位決策邊界位置。查找規則如下：如果大部分采樣均為目標分類，則將中間圖片向原始圖片靠近；如果大部分采樣均為原始分類，則將中間圖片向目標圖片靠近；直到在中間圖片附近的采樣有40% ～60%的概率為目標分類。圖4（a）展示了中間圖片附近采樣分類為目標分類的概率小于40%的情況，中間圖片將向目標圖片靠近，即圖4（b）展現的情況。

圖4 基于采樣的決策邊界識別方法示意圖Fig.4 Schematic diagram of decision boundary recognition method based on sampling

為了解決第2個問題，設計了基于畢達哥拉斯定理的攻擊距離估算方法，其效果示意圖如圖5所示。設中間圖片到原始圖片的距離為Lm，最終對抗樣本到原始圖片的距離為Ld，從中間圖片進化到對抗樣本需要完成的攻擊距離為La。由于對抗樣本進化的過程實際是在決策邊界附近游走的過程，原始圖片到最終對抗樣本的距離可以看作是原始圖片到決策邊界的距離。又因為點到面垂線距離最短，所以最先找到符合Ld距離要求的對抗樣本應該處于原始圖片到決策邊界的垂線附近。同時，對抗樣本游走的攻擊路徑在決策邊界附近，因此可以看做Ld近似垂直于La。因此由畢達哥拉斯定理得，L2a＝L2m－L2d。整個基于決策邊界長度的攻擊距離度量方法如算法1所示。

圖5 攻擊距離估算示意圖Fig.5 Schematic diagram of attack distance estimation

算法1 基于決策邊界長度的攻擊距離度量方法。

輸入：原始圖片s＿img、目標圖片t＿img、目標模型C（）、期望的對抗樣本的擾動大小Ld。

輸出：攻擊距離La。

2.2.2 攻擊組篩選

估算出攻擊組之間的攻擊距離之后，就可以在現有攻擊方法之前做一個預處理階段，進行攻擊組的篩選，以提高現有算法的攻擊效果。

需要注意的是，攻擊距離的估算結果并非十分精確，能大致反映完成攻擊所需要的查詢次數，但也會存在一些偏差。因此，不能直接利用估算的攻擊距離選出最容易攻擊的攻擊組，但可以利用估算的攻擊距離篩選出較容易攻擊的攻擊組。具體來說，從攻擊組集合S中篩選出較容易攻擊的攻擊組集合E，再從E中隨機選取一組作為建議展開攻擊的攻擊組Pair。三者之間的關系如下：

其中，將集合E與集合S的比例定為超參數，即過濾因子R。關于R值對于算法的影響，將在第3節進行詳細的討論。篩選時會先利用算法1估算S中各個攻擊組的攻擊距離，并將攻擊組按照攻擊距離升序排序。之后篩選前η＝ρR個攻擊組來組成E，ρ為S中攻擊組的個數，η為集合E中攻擊組的個數。最終在E中隨機選取一組作為Pair。基于攻擊距離的對抗樣本攻擊組篩選方法如算法2所示。

算法2 基于攻擊距離的對抗樣本攻擊組篩選方法。

輸入：原始圖片集合s＿imgs、目標圖片集合t＿imgs、過濾因子R。

輸出：合適的攻擊組Pair。

3 實驗與評估

本節將討論攻擊組篩選對不同的攻擊方法在不同應用場景下的有效性，同時討論超參數R對于算法的影響。

本文主要對比的攻擊方法包括NES Attack［17］和CMA Attack［18］，目標模型為InceptionV3。對比攻擊組篩選前后實現攻擊所需要查詢次數的平均值、中位數及方差，從而驗證攻擊組篩選的有效性。

實驗設定如下：選取ImageNette數據集進行驗證與評估，共10個分類，場景1每種分類選取10張圖片參與攻擊組的構造，場景2、3每種分類選取100張圖片。場景1與場景2、3實驗環境設置不同是因為場景1的組合情況過多，若每種分類選取圖片均為100張，場景1的攻擊組個數會達到900 000＝90×100×100，而場景2、3的攻擊組個數僅為9 000＝90×100。因此，降低場景1每種分類選取的圖片為10張，以平衡3種場景的攻擊組個數均為9 000＝90×10×10。

具體來說，從10個分類中選擇原始分類和目標分類，共有90種不重復的組合。場景1時，分類A中從10張圖片選取1張作為原始圖片，分類B中也從10張圖片選取1張作為目標圖片，共有100種攻擊組合，因此場景1共有9 000種攻擊組。場景2時，分類A中固定選取1張圖片作為原始圖片，分類B中從100張圖片中選取1張作為目標圖片，共有100種攻擊組合，因此場景2也共有9 000種攻擊組。場景3與場景2類似，分類A中從100張圖片選取1張作為原始圖片，分類B中固定選取1張圖片作為目標圖片，共100種組合，因此場景3也共有9 000種攻擊組。

本文首先討論不同R值在場景1下對不同攻擊算法的影響，如圖6所示。隨著R值的降低，2種方法的平均查詢次數與查詢次數中位數均穩定地下降，驗證了攻擊組篩選對于提高查詢效率的有效性。同時隨著R值的降低，CMA Attack的查詢次數方差穩定下降，NES Attack的查詢次數方差波動下降，這驗證了攻擊組篩選對于穩定方差的有效性。實驗結果顯示，R值越小，攻擊效果越好，因此推薦將R值設為0.1。本文之后的性能對比也是基于R值為0.1的基礎上進行的。

圖6 R值影響Fig.6 Influence diagram of R’s value

圖6中：cma＿mean、cma＿median和cma＿var分別代表CMA Attack攻擊成功所需查詢次數的平均值、中位數和方差；nes＿mean、nes＿median和nes＿var分別代表NES Attack攻擊成功所需要查詢次數的平均值、中位數和方差；同時為了共用縱坐標軸，方差曲線顯示的值為實際方差的1／10 000。

攻擊組篩選前后的攻擊效果對比如表1所示。表1展現了不同對抗樣本生成方法在不同場景下實現攻擊所需要的查詢次數的平均值、中位數和方差。表1給出了所有待測的方法，包括NES Attack［17］、CMA Attack［18］、經 過 攻 擊 組 篩 選的NES Attack（Filtered NES）和經過攻擊組篩選的CMA Attack（Filtered CMA）。

表1中給出了攻擊組篩選在每一個指標上帶來的平均提升效果。總體提升效果表示攻擊組篩選在不同場景下平均值、中位數和方差的綜合提升，即將所有平均提升效果求平均；平均提升效率表示攻擊組篩選在不同場景下的平均值、中位數的綜合提升，即將不同場景下的平均值與中位數提升效果統一求平均；平均穩定方差表示攻擊組篩選在不用場景下的平均穩定方差效果，即將不同場景下的方差提升效果求平均。

表1 篩選前后查詢次數對比Table 1 Comparison of query times before and after filtering

場景2下篩選效果不是很明顯，這可能是因為原始樣本在篩選中占有更重要的地位。一旦固定原始樣本的位置，那么原始樣本附近的決策邊界布局將確定，最終的優化難度也將基本確定。越到最后的優化過程越困難，總體的優化難度更多取決于最終過程的優化難度。這也印證了一個普遍的實驗現象，即對抗攻擊的速度是先快后慢。也就是說，如果在分類A中選定了原始圖片，與分類B中的眾多目標圖片形成的攻擊組具有相似的攻擊距離。

無論是哪種場景下，攻擊組篩選后的攻擊效果都是優于篩選前的攻擊效果。篩選后攻擊效率提高了24.99%，方差降低了76.23%，總體攻擊效果提升了42.07%，充分驗證了基于決策邊界長度的攻擊距離度量方法的有效性，驗證了攻擊組篩選的有效性。

本文所提出的算法1與算法2是以圖像識別領域為例，但均不局限于圖像識別領域。這是因為：算法1的適用前提有2個：①分類器模型的輸入樣本可以測量樣本間距離；②可以在樣本附近進行高斯采樣。如果這2個前提條件能夠滿足，那么算法1很容易復現，如語音識別領域的語音向量、惡意代碼識別的代碼向量［33］等。算法2基于算法1，沒有任何額外的限制，因此本文提出的方法是適用于所有領域的分類器。同時，本文所提出的方法適用于所有對抗樣本生成方法的攻擊組選取。這是由于算法1與算法2的設計不局限于任何對抗樣本生成方法，并在對比實驗中證實了所提方法對多種對抗樣本生成方法有效。

4 結 論

1）針對攻擊組間攻擊難度不同導致攻擊不穩定的問題，本文以圖像識別領域為例，設計了基于決策邊界長度的攻擊距離度量方法，為攻擊組的攻擊難度提供了度量方法。

2）設計了基于攻擊距離的對抗樣本攻擊組篩選方法，篩去難以攻擊的攻擊組。通過預處理，提升現有算法的攻擊效率和攻擊穩定性。

3）實驗表明，篩選后的攻擊組相比于篩選前，攻擊效率提升了24.99%，方差降低了76.23%，總體攻擊效果提升了42.07%。

4）建議所有利用攻擊組的對抗樣本生成方法，先進行攻擊組的篩選，特別是對原始樣本進行篩選，再展開攻擊，以穩定攻擊的效果。

為了更加清晰篩選對于攻擊組的意義，筆者將會繼續研究原始樣本對于整個優化過程的意義。