基于模型間遷移性的黑盒對抗攻擊起點提升方法

陳曉楠，胡建敏，張本俊，陳愛玲

（1.國防大學 聯合勤務學院，北京 100089；2.南京航空航天大學 電子信息工程學院，南京 211100；3.山東省煙臺市實驗中學，山東 煙臺 265500）

0 概述

深度學習是目前應用最廣泛的技術之一，在數據挖掘、自然語言處理、計算機視覺、信息檢索等領域中占有很重要的地位。但是很多研究表明，神經網絡容易被精心設計的微小擾動所影響，通過在正常樣本上疊加微小惡意噪聲而形成的對抗樣本進行對抗攻擊導致模型輸入錯誤的結果，進而影響到實際應用系統的安全性。對抗攻擊和對抗樣本的發現使人工智能領域面臨著巨大的安全威脅。

隨著對深度學習的深入研究，大量的對抗攻擊方法相繼被提出，對抗攻擊主要可以分為白盒攻擊和黑盒攻擊2 類。白盒攻擊是攻擊者完全掌握目標模型的內部結構和訓練參數值，甚至還包括其特征集合、訓練方法和訓練數據等來進行的對抗攻擊。黑盒攻擊是攻擊者在不知道目標模型的內部結構、訓練參數和相應算法的情況下，通過數據的輸入與輸出結果來進行分析，設計和構造對抗樣本，實施對抗攻擊。在實際的運用場景中，黑盒攻擊的安全威脅更為嚴峻。

深度學習模型能夠以達到甚至高于人眼的識別度來識別圖像，但是對抗攻擊和對抗樣本的發現，將導致模型識別錯誤。這些漏洞如果被別有用心的人所掌握，將可能產生嚴重的安全問題，例如，自動駕駛汽車的識別錯誤將可能導致嚴重的交通事故［1］，某些犯罪分子可能利用生成的對抗樣本逃過人臉識別的檢測等［2-3］。

文獻［4］證明了將圖片進行適當修改后能夠使深度學習模型識別錯誤；文獻［5］提出了產生對抗攻擊根本原因的猜測——深度神經網絡在高緯空間中的線性特性已經足以產生這種攻擊行為，并提出了快速梯度符號方法（FGSM），作為經典的攻擊手段；文獻［6］提出了SIGN-OPT 算法，使得黑盒攻擊對目標模型的查詢次數大幅降低；文獻［7］提出了HopSkipJumpAttack2 算法，具有很高的查詢效率；文獻［8］在FGSM 算法的基礎上，提出基于動量的迭代算法T-MI-FGSM，提高對抗樣本的可遷移性和黑盒攻擊的成功率；文獻［9］提出了UPSET 和ANGRI 算法，分別使用殘差梯度網絡構造對抗樣本和生成圖像特定的擾動，具有很高的欺騙率；文獻［10］對計算機視覺中的對抗攻擊進行了較為詳盡的研究，提出了12 種對抗攻擊的方法和15 種防御的措施；文獻［11］分析并匯總了近年來關于深度學習對抗攻擊的部分算法并進行了比較與分析。關于生成對抗樣本進行對抗攻擊的研究很多，這些研究的成果促進了深度學習的進一步發展。

文獻［12］提出了基于決策的邊界攻擊方法，且該方法適合絕大多數的神經網絡模型，具有很好的通用性和普適性，文獻［7］在在決策基礎上對決策邊界處的梯度方向進行估計，并提出了控制偏離邊界誤差的方法，有效提高了基于決策的攻擊效率，文獻［13］提出了一種新的基于決策的攻擊算法，它可以使用少量的查詢生成對抗性示例。文獻［7，12-13］都是逐步朝著更優解靠攏，本質上是一樣的，但靠攏的方式不同。本文基于決策算法實現無目標攻擊和有目標攻擊，與上述研究不同，本文提出可以利用模型的遷移性來循環疊加干擾圖像，找到新的初始樣本，提高基于決策算法的運算起點，降低查詢次數。

1 基于決策的黑盒攻擊思路

對抗攻擊可以分為基于梯度的攻擊、基于分數的攻擊、基于遷移的攻擊和基于決策的攻擊。在前2 種攻擊中，基于梯度的攻擊多用于白盒攻擊，基于分數的攻擊多用于黑盒攻擊，在很多黑盒攻擊中，攻擊者可以通過對目標模型的輸入來觀察分類結果，并可以獲得每個類別的分數，攻擊者可以根據這個分數來設計對抗樣本的生成算法。

文獻［14-15］指出對抗樣本具有遷移性：相同的對抗樣本，可以被不同的分類器錯誤分類，即基于遷移的攻擊。基于遷移的攻擊是利用訓練數據訓練一個可以替代的模型，即對抗樣本在不同的模型之間可以進行遷移。

與其他3 種攻擊相比，基于決策的攻擊與實際應用更為相關。與此同時，基于決策的攻擊比其他攻擊類型更高效、更穩健、更難以被察覺。文獻［12］引入一個普適性的對抗攻擊算法——邊界攻擊。邊界攻擊是屬于基于決策攻擊的一種，適合對復雜自然數據集的有效攻擊，其原理是沿著對抗樣本和正常樣本之間的決策邊界，采用比較簡單的拒絕抽樣算法，結合簡單的建議分布和信賴域方法啟發的動態步長調整。邊界攻擊的核心是從一個較大的干擾出發，逐步降低干擾的程度，這種思路基本上推翻了以往所有的對抗攻擊的思路。

基于決策的攻擊只需要模型的輸入輸出類別，并且應用起來要簡單得多。本文基于決策攻擊來設計算法，僅知道分類的結果，不能得到每個類別的分數，以此來設計黑盒算法生成對抗樣本，進行對抗攻擊。

在這種情況下，黑盒攻擊的一般思路是先使用現成的模型去標記訓練數據，選擇一幅圖片輸入到模型中，通過模型反饋的標簽來當作監督信號，不斷地變換圖片，形成一個新的數據集，圖片的選擇可以用真實的圖片，也可以用合成的圖片，將這個數據集作為訓練集，訓練出一個新的模型，新的模型是透明的，在該模型上采用白盒攻擊的手段生成對抗樣本，有極高的概率能夠騙過原先的模型。

選擇一幅圖像，然后給這個圖像加一些噪聲，通過不斷地變換噪聲，使得模型輸出的分類結果發生改變，實際上此時圖片已經碰到了模型的分類邊界。接下來就是不斷地嘗試，找到一個能讓分類結果錯誤的最小的噪聲

上述2 種情況都有一個共同的問題，就是需要大量地向目標模型進行查詢，查詢到可以構建自己的訓練集的程度，為能夠盡可能地減少查詢，本文對傳統的邊界攻擊加以改進與完善，提出一種通過模型之間的遷移性來循環疊加干擾圖像確定初始樣本，然后采用邊界攻擊生成對抗樣本的算法，目的是為了提高傳統邊界算法的運算起點，盡可能地減少查詢數量，更好地欺騙原模型的分類能力。

已知一個神經網絡模型，對其內部結構和參數一無所知，唯一知道模型的作用是進行圖片分類的，并且不知這個模型的分類精度。不知道這個模型是一個最簡單的神經網絡，只能夠進行簡單的分類任務，還是一個復雜的DNN、CNN 或者RNN 神經網絡，可以完成非常復雜的分類任務。

本文提出的改進黑盒算法中最重要的是初始樣本的確定。文獻［7，12-13］都是逐步朝著更優解靠攏，本質上是一樣的，關鍵在于靠攏的方式不同，無目標攻擊的初始樣本是一個隨機擾動圖片，目標攻擊的初始樣本是一個指定的目標分類的圖片，如圖1和圖2 所示。圖的上方是對目標神經網絡的查詢次數，下方是與原圖像之間的均方誤差。可以看出，在完全黑盒狀態下，如果要完善地構造出有效的對抗樣本，則需要查詢數千次甚至上萬次才能逐步找到一張足夠清晰的圖片來騙過神經網絡。文獻［7，12-13］還有類似的大多數文獻都是針對這個逐步查詢的過程來進行優化的，從而更快地靠近目標樣本，使得整體的查詢次數降低。如果可以找到一個更高無目標攻擊和有目標攻擊的運算起點，不從隨機干擾圖像和指定類別的額圖像出發，將大幅降低對目標神經網絡的查詢次數。接下來就是確定新的初始樣本來提升整體攻擊的起點，進而降低整體的查詢次數。

圖1 無目標攻擊過程Fig.1 No target attack process

圖2 有目標攻擊過程Fig.2 Target attack process

2 基于決策的黑盒攻擊原理與流程

2.1 算法基礎

基于決策的黑盒攻擊具體分為2 步：第1 步是通過模型之間的遷移性來多次疊加干擾圖像的方法確定初始樣本；第2 步在初始樣本的基礎上運用邊界攻擊的手段來確定合適的對抗樣本。這里的通過模型之間的遷移性來進行的攻擊并不能算是真正的遷移攻擊，遷移攻擊利用的是訓練數據的信息，而這里采用的是根據部分查詢結果來自己收集、擴充和構造數據集，進行對應的二分類訓練，分類項為目標圖片類和非目標圖片類，然后采用FGSM、I-FGSM、MI-FGSM、DI2-FGSM、M-DI2-FGSM 等算法來生成對抗樣本進行疊加嘗試，進而確定合適的初始樣本。

快速梯度符號方法（FGSM）是非常經典的一種攻擊方法［5］，通過計算交叉熵損失的梯度J(x，yT)來找出噪聲的方向：

I-FGSM 將噪聲ε的上限分成幾個小的步長α，并逐步增加噪聲［16］：

I-FGSM 在白盒場景中的所有當前迭代攻擊中具有最高的攻擊效果，其主要缺點是迭代步驟的邊際效應遞減。具體是隨著迭代次數t的增加和步長α的減小，保持加入迭代步驟對攻擊效果的改善很小。

DI2-FGSM 在I-FGSM 基礎上，將動量集成到攻擊過程中，穩定更新方向，在一定程度上避免了局部極值：

MI-FGSM 引入了一個動量項，使噪聲添加方向的調整更加平滑，但邊際效應遞減對迭代次數的影響仍然存在［8］：

M-DI2-FGSM 在MI-FGSM 基礎上，將動量集成到攻擊過程中，穩定更新方向，在一定程度上避免了局部極值［17］：

以上的FGSM系列算法屬于白盒攻擊算法，需要掌握模型的內部結構和訓練參數值，針對的是自己搭建的二分類神經網絡，目的是為了獲得一個可以接納的初始樣本，提升黑盒攻擊的攻擊起點，具體算法流程如下：

得到初始樣本后，采用文獻［7，12-13］的邊界攻擊算法，這3 種邊界攻擊算法本質上是一致的，都是基于決策的黑盒攻擊手段，可以通過改變初始樣本來減少查詢次數，這里以文獻［12］的邊界攻擊算法為例，具體算法流程如下：

2.2 無目標攻擊流程

根據上述設計的算法，進行無目標攻擊的相關實驗，具體步驟如下：

步驟1實驗樣本的準備。選用一個神經網絡作為攻擊目標（攻擊者并不知道神經網絡的內部結構、訓練參數和相應算法，也不知道是采用何種數據集進行訓練的，唯一知道的是此模型是完成圖片分類任務的）。這里選擇一張目標圖片，將其輸入到目標神經網絡中，別被識別為o類，然后，攻擊者從百度隨機爬取若干o類的圖片和非o類的圖片，其中下載n張o類圖片輸入目標神經網絡模型，得到n-k個分類結果為o類的樣本，k個分類結果為非o類的樣本，然后隨機下載n張其他類型的圖片，這n+k個圖片作為非o類的圖片樣本，所有圖片匯總一起得到n-k+1 個標簽為o的圖片樣本（包括1張目標圖片）、n+k個標簽為非o類的圖片樣本，通過圖像旋轉、鏡像、移位、縮放比例等方法擴充這2 類樣本，通過這2 類樣本訓練一個新的神經網絡完成二分類任務。

步驟2獲得初始對抗樣本。在構建的二分類神經網絡中，采用M-DI2-FGSM 算法計算交叉熵損失的梯度來找出噪聲的方向，生成干擾圖像η，然后將干擾圖像加到目標圖片樣本o上生成對抗樣本，此時對于新神經網絡而言，對抗樣本的生成屬于白盒攻擊，然后將這個樣本輸入到目標神經網絡中進行分類識別，若識別為非o類，則達成了無目標識別任務；若仍識別為o類，則說明目標神經網絡的精度很高，新的神經網絡二分類后的對抗樣本生成也騙不過目標神經網絡。此時，對剛剛生成的對抗樣本采取圖像旋轉、鏡像、移位、縮放比例等數據增強技術進行擴充，然后投入訓練集中，對二分類神經網絡增量訓練，生成新的干擾圖像η′，以此反復，直到目標神經網絡得出非o的結論，此時，對抗樣本為即疊加了n′次干擾圖像。新的對抗樣本即初始對抗樣本很大概率將和原圖片樣本o差別較大，不符合對抗樣本的要求，這里將采用新的邊界攻擊算法進行處理。

步驟3對抗樣本生成。采用文獻［12］中的邊界攻擊算法，將文獻［12］中隨機生成的初始樣本變更為步驟2 得到的簡易對抗樣本，以此來進行無目標攻擊，最終得到清晰度符合要求的對抗樣本圖片。

綜上所述，可以得到整個無目標黑盒攻擊流程，如圖3 所示。

圖3 無目標黑盒攻擊整體流程Fig.3 Whole procedure of non-target black box attack

2.3 有目標攻擊流程

根據上述設計的算法，進行有目標攻擊的相關實驗，具體方法如下：

對于有目標攻擊，若按照上述無目標攻擊的流程來進行，理論構建的二分類神經網絡應變為三分類神經網絡，分別為目標圖片o類、指定錯誤類o′類、其他類共3 類，再利用如文獻［18-20］等白盒有目標攻擊算法來生成初始樣本，然后將這個樣本輸入到目標神經網絡中進行分類識別，若識別為o′類，則達成了有目標識別任務；若仍識別為o類或其他類，則說明需要繼續生成對抗樣本。此時，對剛生成的對抗樣本采取圖像旋轉、鏡像、移位、縮放比例等數據增強技術進行擴充，最后投到入訓練集中，對三分類神經網絡進行增量訓練，生成新的干擾圖像η′，以此反復，直到目標神經網絡得出o′類的結論，此時，對抗樣本為，即疊加了n′次干擾圖像。

但在實際操作中發現，無目標攻擊只需要將對抗樣本分為非o類即可，而有目標攻擊己方搭建的分類模型無論怎樣進行增量訓練，都和目標神經網絡差距太大，準確程度低，無法準確地將對抗樣本分到o′類。因此，根據文獻［7，12-13］的邊界攻擊算法原理，對目標圖片o和指定錯誤分類o′的一張圖片進行加權疊加，目標圖片o的權重范圍為0.05～0.95，指定分類的一張圖片權重范圍為0.95～0.05，步長0.05，如圖4 所示。

圖4 2 個類別的加權圖Fig.4 Weighted graphs of two categories

從圖4 可以看出，前7 幅加權圖片被目標神經網絡識別為瓢蟲（ladybug），其他圖片被目標神經網絡識別為金毛獵犬（golden_retriever），選取合適的加權樣本后整體流程和無目標攻擊一致，只是將隨機擾動的初始樣本換為加權樣本，通過加權樣本來獲得合適的初始樣本。

理論上第1 幅到第7 幅圖片之間的golden_retriever 的權值越大，則越容易通過算法1 來找到合適的初始樣本，使得golden_retriever 錯誤的識別為ladybug，但是golden_retriever 的權值越大，初始樣本越接近于原始算法直接采用golden_retriever 作為初始樣本，且對查詢次數的降低基本沒有任何改善；Ladybug 的權值越大，則出現前文提到的準確程度就越低，無法準確地將對抗樣本粗略地分到o′類。

因此，這里選取第1 幅～第7 幅圖片作為加權樣本m。加權圖片越靠近第7 幅圖片則越接近2 個類別的邊界，此時仍然通過算法1 來進行處理，通過設定每一幅圖片的最大嘗試查詢次數p，就容易得到所需要的初始樣本。這里的p值不需要太大，否則會導致圖片嚴重失真，且不能保證攻擊的方向性，p的取值一般不超過10。最好的情況是選取第1 幅圖片時就能通過算法1 得到合適的初始樣本，最差的情況就是到第7 幅圖片也沒有得到合適的初始樣本，此時只有使用第8 幅圖片作為初始樣本。

最后再通過算法2 來進行無目標攻擊，最終得到清晰度符合要求的對抗樣本圖片。

綜上所述，可以得到整個有目標黑盒攻擊流程，如圖5 所示。

圖5 有目標黑盒攻擊整體流程Fig.5 Overall procedure of targeted black box attack

3 實例分析

3.1 無目標攻擊實例分析

本文選擇目標神經網絡為ImageNet 數據集對應的ResNet-50 網絡結構，選擇目標圖片o為瓢蟲（ladybug）圖片，n取100，根據2.3 節中的步驟，從百度隨機爬取100 張瓢蟲的圖片和100 張其他圖片，將100 張瓢蟲的圖片導入到目標神經網絡中，有92 張被分類為瓢蟲標簽，8 張被分類為其他標簽，此時，加上目標圖片，共有93 張瓢蟲的圖片，108 張其他的圖片，經過旋轉、移位、縮放、鏡像等方法，將數量擴充至5 倍，搭建二分類神經網絡來訓練數據。

采用M-DI2-FGSM 算法計算交叉熵損失的梯度來找出目標圖片在新的神經網絡噪聲的方向，生成干擾圖像η，合成為對抗樣本后輸入到目標神經網絡中，發現仍識別為瓢蟲，然后將剛合成的對抗樣本經過旋轉、移位、縮放、鏡像等方法進行擴充，隨后作為數據集來增量訓練二分類神經網絡，再次利用M-DI2-FGSM 算法合成為對抗樣本，經過反復疊加，7 次疊加后目標神經網絡識別為鯉魚（crayfish），如圖6 所示。將新的對抗樣本輸入到邊界攻擊程序中，作為起始樣本來進行下一步處理，具體攻擊過程如圖7 所示。

圖6 反復疊加后的對抗樣本Fig.6 Counter sample after repeated superposition

圖7 更改初始樣本后的無目標攻擊過程Fig.7 Non-target attack process after changing initial sample

從圖7 可以看出，當對抗樣本與目標圖片之間的均方誤差約為2.99e+3 時，共對目標神經網絡查詢了（9 109+100+7）次，肉眼已難以區分對抗樣本和目標圖片之間的差異，此時目標神經網絡仍識別為鯉魚（crayfish）。對比初始樣本為隨機干擾圖片的無目標攻擊過程，當對抗樣本與目標圖片之間的均方誤差約為2.99e+3 時，共查詢了12 006 次。

顯然，更改初始樣本后無目標黑盒攻擊過程中對目標神經網絡的查詢次數顯著降低，大約降低了2 790 次，節省了23%的查詢次數，同時，經過簡單測算，獲得初始樣本的過程耗時（包括爬取圖片、查詢圖片、擴充數據集、訓練和增量訓練網絡、調用MDI2-FGSM 算法疊加對抗樣本）不超過原來的黑盒攻擊查詢2 790 次所耗費的時間。因此，無目標黑盒攻擊算法計算所需時間也在可控范圍內。

3.2 有目標攻擊實例分析

對于有目標攻擊，同樣選擇目標神經網絡為ImageNet 數據集對應的ResNet-50 網絡結構，選擇目標圖片o為瓢蟲（ladybug）圖片，n取100，根據2.3 節中的步驟，從百度隨機爬取100 張瓢蟲的圖片和100 張其他的圖片，將100 張瓢蟲的圖片導入到目標神經網絡中，有90 張被分類為瓢蟲標簽，10 張被分類為其他標簽，此時，加上目標圖片，共有91 張瓢蟲的圖片和110 張其他圖片，經過旋轉、移位、縮放、鏡像等方法，將數量擴充至5 倍，搭建二分類神經網絡來訓練數據。

選擇指定分類圖片o′為金毛獵犬（golden retriever）圖片，通過2.3 節中的方法進行加權并按照從第1 幅到第7 幅的順序調用M-DI2-FGSM 算法計算交叉熵損失的梯度來多次疊加對抗樣本，設定p值為10，同時將每一步的對抗樣本經過旋轉、移位、縮放、鏡像擴充后作為數據集增量訓練二分類神經網絡。經過計算，在第5 個加權圖片中的第2 次疊加后，找到了合適的初始樣本，此時對抗樣本被識別為金毛獵犬，此時已經對目標神經網絡查詢了（100+40+2）次。

將新的對抗樣本輸入到邊界攻擊程序中，作為起始樣本來進行下一步處理，具體攻擊過程如圖8所示。從圖8 可以看出，當對抗樣本與目標圖片之間的均方誤差約為1.08e+3 時，共對目標神經網絡查詢了（20 537+100+19+40+2）次，此時肉眼已難以區分對抗樣本和目標圖片之間的差異。對比初始樣本為隨機干擾圖片的有目標攻擊過程，當對抗樣本與目標圖片之間的均方誤差約為1.08e+3 時，共查詢了25 058 次。

圖8 更改初始樣本后的有目標攻擊過程Fig.8 Target attack process after changing initial sample

顯然，更改初始樣本后有目標黑盒攻擊過程中對目標神經網絡的查詢次數顯著降低，大約降低了4 360 次，節省了17%的查詢次數，同時，經過簡單測算，獲得初始樣本的過程耗時（包括爬取圖片、查詢圖片、擴充數據集、訓練和增量訓練網絡、加權圖像、調用M-DI2-FGSM 算法疊加對抗樣本）不超過原來的黑盒攻擊查詢4 360 次所耗費的時間，因此，有目標黑盒攻擊算法計算所需時間也在可控范圍內。

4 結束語

本文在基于決策的黑盒攻擊算法的基礎上，提出一種基于模型間遷移性的黑盒對抗攻擊起點提升方法。利用模型的遷移性來循環疊加干擾圖像，確定新的初始樣本，提高基于決策攻擊的起點，降低查詢次數。實驗結果表明，改進后的算法時間復雜度低，生成對抗樣本耗時短，使得對抗攻擊更有效、更穩健、更難以被察覺。本文設計的對抗樣本可以作為神經網絡魯棒性的評估標準，進一步擴展神經網絡對抗防御的思路，提高神經網絡模型的穩健性。下一步將針對邊界攻擊的過程算法進行優化，采用新的方法估計梯度方向，對分類邊界進行優化搜索，盡可能減少整體的查詢時間，提高攻擊效率。