面向實際場景的人工智能脆弱性分析

田 鵬，左大義，高艷春，陳海兵，丁 灝

(1.中國電子科技集團第三十研究所，四川 成都 610000；2.中電科網絡空間安全研究院有限公司，北京 100191)

0 引 言

人工智能技術正在迅速應用于網絡空間安全、自動駕駛等關鍵領域，而人工智能中的一系列安全問題，并沒有得到解決，不安全的人工智能技術的冒進應用，必然會帶來一系列新型安全隱患。對人工智能技術中出現的安全問題的研究，形成了所謂的對抗性機器學習研究領域，其中對抗樣本是一個研究的熱點[1]。

對抗性機器學習技術源于2013年，Szegedy[2]發現：通過對樣本添加極微小、經過計算的擾動，可以使深度學習分類器得到完全不同的結果，從而提出了“對抗樣本”的概念，這標志著對抗性機器學習的正式誕生。從谷歌的統計數據上[3]來看，自2013年提出抗性機器學習直到2016年底，對抗性機器學習在學術界內保持了一般的研究熱度，但從2017年發現了用于現實世界的對抗樣本，以及OpenAI等機構的宣傳，學術界和行業界對對抗樣本、對抗性機器學習的興趣顯著提升。

對抗樣本是一類被惡意設計來攻擊機器學習模型的樣本，是攻擊者故意設計的，它們與真實樣本的區別幾乎無法用肉眼分辨，但是卻會導致模型進行錯誤的判斷。就像是讓機器在視覺上產生幻覺一樣。例如文獻[4]中描述，在“panda”圖片中，加入精心制作的微小擾動，即可使神經網絡模型判斷錯誤，以99.3%的高置信度識別為“gibbon”長臂猿，如圖1所示。

圖1 對抗樣本的形成

對抗樣本的形成原理，Goodfollow[4]認為是在高維空間中，模型中存在線性化部分，而非線性化；另一個解釋是認為對抗樣本不是數據的主要部分，即不在數據流行內。有研究人員認為[5]，內部矩陣中較大的奇異值會讓分類器在面臨輸入中的小波動時變得更加脆弱。另外有研究認為對抗樣本這種現象本質上是由數據流形的高維度造成的。

1 對抗樣本攻擊與防御

1.1 對抗攻擊

1.1.1 白盒攻擊

白盒攻擊，攻擊者掌握深度學習網絡模型結構、模型參數等詳細信息。早期研究針對特定目標的對抗樣本提出了經典的基于約束的L-BFGS白盒算法。在隨后的生成機制研究中，除了增加分類損失的方向上采取單步來干擾樣本的思路外，還可以基于迭代，在每個步驟之后調整方向的同時采取多個小步驟，由此提出了一系列的經典迭代算法，四種較為主流的白盒攻擊方法分別是L-BFGS、FGSM、I-FGSM、C&W。

L-BFGS攻擊，Szegedy[6]等人根據神經網絡損失函數，構建使模型做出誤分類的最小擾動模型，通過方程求解的方式得到最優攻擊。但由于方程求解復雜度過高，在求解過程中通過尋找最小損失函數正則項，將原問題進行簡化，利用L-BFGS對問題進行凸優化，具體為：

minc|r|+lossf(x+r,l)

(1)

其中，lossf(x+r,l)是神經網絡對應的損失函數；l是錯誤分類的類別標記；c是懲罰參數。

快速梯度符號法(FGSM)是最簡單最廣泛的非目標對抗攻擊方法之一。基本思想是通過迭代優化的思路尋找對抗樣本[4]。給定一個原始圖像x，以及一個目標分類器損失函數loss(x,lx)，FGSM的目標是在x的lx正無窮鄰域中尋找一個類似的圖像x來欺騙分類器，將x分類為標簽lx。然后將問題轉化為最大化loss(x,lx)，該損失是將圖像x分類為標簽lx的成本，同時保持擾動較小。FGSM通過在ε的圖像空間中從x進行一步梯度更新來解決該優化問題。更新步長ε對于每個像素是相同的，并且更新方向由該像素處的梯度信號確定。這里模型損失函數的梯度方向為g=sign(x'J(θ,X,Y))，其中設定步長ε實現損失函數最大化。生成對抗樣本的過程為xadv=x+εg，其中J是每個樣本的損失函數，f(x,θ)是輸入x時模型預測的輸出，θ是模型參數，Y是正確分類。

基本迭代方法(I-FGSM)是在FGSM基礎上進行優化的方法[7]，通過擴展FGSM將單步的擾動變為多次迭代的擾動，迭代公式為：

(2)

C&W攻擊方法是目前白盒攻擊中效果最好的靶向攻擊方法，可以攻破防御性蒸餾等神經網絡防御方法[8]。C&W算法的損失函數中包含兩部分，一是對抗樣本x與原始輸入x之間的范數約束；另一部分為衡量模型識別對抗樣本是否是目標分類的最大差異值。C&W攻擊方法將問題轉化成一個優化問題，通過最小化損失函數來尋找對抗樣本。并通過樣本的可轉移性，實現黑盒攻擊。具體方法是：

(3)

其中，f是C&W攻擊方法定義的優化的目標函數，對于給定輸入圖像x，攻擊方法尋求較小的擾動δ，且能夠達到欺騙分類器的目的。測試平衡二者的參數。F和δ的形式為：

(4)

(5)

1.1.2 黑盒攻擊

在實際的攻擊場景下，攻擊者往往很難獲得相關模型的架構、訓練參數和網絡超參數等關鍵信息，只能采取黑盒攻擊方式，對模型進行有限次數的樣本查詢，并基于反饋信息進行設計攻擊行為。

目前常見的黑盒攻擊算法主要分為兩類，一類是基于一定的算法結構輸入，然后根據模型的反饋不斷迭代修改輸入，比較典型的就是單像素攻擊算法和本地搜索攻擊算法；另一類是基于遷移學習的思想，使用與白盒攻擊類似的開源模型，之后用生成的對抗樣本進行黑盒攻擊。

單像素攻擊(one pixel attack)是基于改變樣本中的一個像素以實現對目標模型的擾動，是一種低成本的對抗攻擊策略。Su等人[9]利用差分進化算法，通過迭代修改像素值產生變種，并將變種與母樣本比較，從候選像素點中逐步篩選出稀疏像素點，最后根據選擇攻擊效果最好的變種作為對抗樣本，有效攻擊分類模型，損失函數如下：

(6)

基于單像素和多像素的對抗樣本搜索空間如圖2所示，三維空間中，任一坐標點即為待修改坐標。即三條平面交線組成了單像素對抗樣本的搜索空間，同樣，三個灰色的二維平面組成了兩像素對抗樣本的搜索空間，對抗樣本的生成過程轉化為對應空間的搜索過程。

圖2 單像素攻擊模型

通常的對抗樣本生成方法允許擾動所有的像素，然后對所有像素的變化量之和進行整體約束來構造目標函數，而這里所考慮的攻擊方法是相反的，其只關注于被修改像素的數量，但不限制單個變化量的大小。

通用對抗攻擊(UAP)算法：單像素攻擊、local search attack等方法生成的對抗擾動只對某個特定的圖像有效[9]，而通用擾動(UAP)攻擊生成的對抗擾動疊加在任何圖片上均能使分類器出錯，并且這些擾動對人類而言是不可見的[10]。UAP攻擊的主要思想是通過分析對抗性質將圖像逐步偏離分類邊界。該方法對于ResNet網絡效果較好，并且這種擾動可以泛化到其他網絡上。UAP攻擊的主要模型為：

PIc～φc(c(Ic)≠c(Ic+ρ))≥δ

(7)

其中，ρ(·)表示概率；δ∈(0,1]為擾動率。

基于遷移算法的黑盒攻擊：可遷移能力是對抗樣本的重要屬性，也是對抗樣本研究面對的另一個重要的理論問題。近期研究發現，對抗樣本不僅在不同網絡結構間存在可遷移能力，在不同算法、分類類別及數據集之間也存在遷移能力。利用可遷移能力能夠在不具備對目標模型完備知識的前提下構建具有足夠欺騙能力的對抗樣本，從而構成黑盒攻擊的基礎。利用類別間的可遷移能力，能夠大幅提升構建對抗樣本的效率。文獻[11]分別從遷移性和失真度兩個標準來衡量對抗樣本的遷移攻擊能力。

對抗樣本轉移性衡量：通過計算一個模型生成的對抗樣本能被另一個模型正確分類的準確率，來衡量非目標攻擊的遷移性，且和非目標攻擊的遷移性呈反比。反之，針對特定目標攻擊，則以匹配度衡量遷移性，且呈正比表示，表1為不同模型之間的對抗樣本的遷移性表示。

表1 遷移準確率

對抗樣本失真度衡量：除了可轉移性之外，另一個重要因素是對抗圖像與原始圖像之間的扭曲度。失真度可以通過下面的公式進行計算。

(8)

其中，x*和x是對抗圖像和原始圖像的向量表示，N是x*和x的維數，xi是x在第i維度上的像素值(0～255)。

在進一步分析對抗圖像樣本的遷移能力和失真度的基礎上，比較對抗樣本在不同數據集、不同模型之間的遷移能力，為遷移性更強的黑盒對抗攻擊方法構建及其應用奠定基礎。

1.2 對抗防御

在對抗性攻擊研究的同時，如何使模型更具有魯棒性、更好地進行防護，得到了廣泛關注。對抗樣本的防御可分為兩類：

(1)對網絡本身結構進行更改，例如，針對模型中相關函數以及網絡結構本身進行變更，形成防御，如Papernot[12]提出的網絡蒸餾法。

(2)在對抗的基礎上，采用更改過的對抗樣本進行再訓練，在樣本的輸入階段，彌補樣本的多樣性缺陷，使模型更加魯棒的訓練[13]，如Goodfellow提出的對抗性訓練法等。

防御蒸餾法：蒸餾是一種將復雜網絡模型轉化為簡單網絡模型的技術[14]。由于防御蒸餾技術應用了圖像梯度，因此也可以看成是一種基于梯度掩模的方法。2016年Papernot等人基于知識蒸餾設計了一種提高網絡魯棒性能的方法[12]。就是在進行模型訓練時，使用一些平滑處理的方法，將模型梯度中陡峭的地方平滑掉，使得模型的分類輸出對于輸入數據的一定擾動不那么敏感。這樣就可以降低模型對于對抗樣本中的正常圖像上增加的噪聲擾動的脆弱性，從而使得訓練得到的模型具備一定的對抗魯棒能力，這種知識通過輸入向量的分類概率提取，并且反饋訓練原始的模型。實驗表明這種方法增加了網絡對于微小擾動的魯棒性，如圖3所示。

圖3 蒸餾法原理

2 實際場景下的攻擊方法分析

2.1 物理場景攻擊

在實際場景中，往往攻擊者無法完全控制輸入模型的數據，對于模型如何預處理原始數據也一無所知。只能通過攝像頭、麥克風這類物理設備，經過一系列黑盒的預處理后才能真正進入模型[15]。文中從實際場景出發，基于預處理階段和實際應用場景，分析對抗樣本攻擊的方式和方法：

2.1.1 預處理階段攻擊

根據不同的應用場景，模型系統可能會采集到各種規格的輸入圖像，相比于實際的采集圖像，經典模型在訓練過程中的圖像通常較小且固定，例如Inception-v3:299×299，VGGNet:224×224，AlexNet:224×224，GoogleNet:224×224，ResNet:224×224。固定的尺寸可以確保訓練和預測的效率，因此，圖像采集后，往往會有縮放步驟[16]，對數據進行歸一化操作。它們被廣泛用于深度學習框架(Tensorflow，Caffe，Pytorch)中。

在數據采集縮放過程中，實際采集和模型中圖像的不匹配生成對抗樣本，實現對模型的下采樣攻擊。如圖4所示，即在對抗樣本相似性約束的前提下，通過將屬于目標類并具有網絡規定輸入大小的小圖像(Target Image T)嵌入到原始圖像(Source Image S)中來構造縮放攻擊圖像(Attack Image A)[17]。

圖4 預處理攻擊

2.1.2 子塊(Patch)攻擊

之前的大部分工作都集中在對輸入的微小或難以察覺的變化進行攻擊和防御上，而在實際場景下，精確地給一個目標，定制一個對抗擾動是不切實際的。針對此缺陷，惡意攻擊者會將一個與圖像無關的補丁添加到輸入圖像中，即使能夠注意此補丁，也不能理解其意圖[18]，或將其忽略，如圖5中路牌的小廣告、涂鴉等形式。在實際路標檢測中，需要幾個小小的標簽，就能讓YOLOv2[15]無法檢測出路標。而這些小標簽能偽裝成涂鴉藝術之類的東西融入到路標圖像中，讓人們難以察覺，即使是發現了也往往不會在意。

圖5 patch攻擊

現有的攻擊策略還遠遠不能生成具有較強攻擊能力的視覺天然斑塊，為進一步提高patch的攻擊能力，引入圖像上下文的相關性和視覺注意力機制進行子塊的優化處理。基于此，文獻[19]提出了一種感知敏感生成對抗網絡(PS-GAN)，該方法提出了一種用于生成敵對patch的感知敏感GAN (PSGAN)。PS-GAN利用被攻擊網絡的感知敏感性，保證生成的敵對patch具有自然的外觀，并在對抗性生成過程中耦合注意機制，保證生成的對抗性補丁具有較強的攻擊能力。

2.2 對抗檢測

實際場景下，數據輸入的形式往往多種多樣，針對此問題，單純針對研究模型結構來克服對抗樣本的干擾比較困難。基于此，基于各類樣本在空間分布的差異性的檢測技術引起了廣泛關注[20]，現有的檢測手段可分為兩大類，基于度量的方法與基于預測不一致的方法。

(1)基于度量的方法，對輸入(和激活值)進行統計測量以檢測對抗樣本。這些技術的關鍵挑戰是如何定義高質量的統計指標，使該指標可以清楚地分辨正常樣本和對抗樣本之間的差異。

(2)基于預測不一致的方法，許多其他工作都基于預測不一致的方法，即對抗樣本具有擾動，利用其他檢測手段與原輸出進行比較，一致為正常樣本，不一致則為對抗樣本。

3 對抗樣本應用領域

人工智能技術已經滲透到各個領域，以由初期的圖像對抗樣本領域拓展到當前階段的針對音頻、文本、生物、二進制應用和網絡流量等各類數據的對抗樣本：

3.1 圖像領域

無人車：自動駕駛引起了業界和學術界越來越多的關注。在自動駕駛中，分類模型被廣泛使用并部署在定位和感知模塊中，其關鍵是卷積神經網絡(CNN)，它根據攝像機和激光雷達的傳感器輸出做出實時決策，為回歸模型提供精細粒度的上下文信息。研究表明，CNN易受對抗性攻擊，相應地通用物體識別系統也易受對抗性攻擊，但目前通用主流物體識別模型的脆弱點對于自動駕駛中物體識別系統的適用性未知。近兩年優步和谷歌的自動駕駛汽車相繼發生事故，主要原因可能是物體識別模塊對于特定情況下(如行駛速度、天氣、背景環境等復雜環境和道路條件)的識別任務不準確導致的[21]。同時，系統中回歸模型強依賴于分類模型，使得分類模型結果的簡單變化很容易影響回歸模型，從而造成不安全危害。這些因素使得自動駕駛中物體識別系統面臨的安全威脅更特殊、更復雜，同時后果更嚴重。

路標識別攻擊：最近一項研究表明[17]，只要在路上貼上幾個不起眼的小貼紙，智能汽車或許就無法識別出這些路標了。研究人員對路標進行了有目標指向的全局擾動，然后將其以海報的形式全尺寸打印了出來，覆蓋在原來的STOP路標上。在測試中，視覺感知系統從不同的距離和角度，對這個對抗樣本進行識別，結果在大多數情況下，其將STOP路標識別為了限速標志，如圖6所示。

圖6 路牌識別攻擊

3.2 語音領域

語音領域的對抗攻擊可分為兩種類型：Speech-to-Label、Speech-to-Text[21]。Speech-to-Label是指通過構造對抗樣本，可以讓音頻識別系統將該樣本分類為任意指定的標簽；這個類別的攻擊和基于圖像的對抗樣本攻擊很類似[21]。然而，由于標簽的種類是有限的，因此這種類別的攻擊有很大的局限性。Speech-to-Text則是通過構造對抗樣本，可以讓音頻識別系統將該樣本轉錄為任意指定的字符串。

常規語音領域對抗攻擊的構造如圖7所示，其中x是輸入的原始音頻向量，δ是在原始音頻向量上添加的擾動。音頻對抗樣本攻擊就是通過向原始音頻向量x添加一些擾動δ，使得語音識別系統ASR可以將構造的新樣本x+δ識別為攻擊者指定的文本t，但人耳并不能分辨出新樣本和原始音頻的區別[21]。這個過程可以表示為f(x+δ)=t。構造音頻對抗樣本的過程就是通過計算損失函數(·)的梯度然后不斷更新x的過程，直到構造的對抗樣本滿足終止條件，其中常用的損失函數表示為：

l(x,δ,t)=lmodel(f(x+δ),t)+

c·lmetric(x,x+δ)

(9)

其中，lmodel是語音識別模型本身的損失函數。

目前還沒有方法可以在分鐘級時間內構造出低噪聲、高魯棒性的音頻對抗樣本，生成過程要兼顧音頻樣本質量、魯棒性和生成速度之間的權衡。

3.3 網絡領域

人工智能技術賦能網絡空間安全領域的關鍵因素是帶來安全增益的同時，必須具有高安全性能。在網絡空間領域，已發表了一系列針對現有安全相關算法造成挑戰的成果：入侵檢測(IDS)算法、惡意軟件檢測算法、動態生成域名(DGA)檢測算法、惡意流量檢測算法[22]等，均出現了對抗性機器學習算法。

NDSS會議上，Kitsune技術方案[22]作為基于深度學習的網絡入侵檢測的典型例子引起了廣泛關注。Kitsune異常檢測功能的核心是自編碼學習網絡。針對Kitsune進行白盒攻擊研究表明，基于機器學習的Kitsune入侵檢測技術，面對經典對抗樣本攻擊算法FGSM、JSMA、C&W、ENW等表現非常脆弱，其誤報率、漏報率都達到100%，即能夠產生正常網絡流量使Kitsune識別為異常流量，以及產生異常流量使得Kitsune識別為正常流量。

3.4 軟件應用領域

當前移動設備已廣泛使用，例如手機移動端，許多都運行著android系統，基于android系統具有開放、共享等特點，快速形成了以android系統為基礎的軟件生態系統，而針對移動端軟件系統的惡意攻擊呈上升態勢[22]，而將對抗樣本思想融入惡意代碼檢測是新型的前沿方向。Xu[23]提出利用遺傳算法將干擾信息注入惡意樣本，模型將其錯誤識別為正確樣本，成功繞過檢測模型。Kolosnjaji等[24]在保持惡意樣本的功能的同時，針對惡意樣本數據中特定字段的修改，成功躲避惡意軟件檢測系統。

4 結束語

人工智能在圖像識別、語音識別、自然語言處理、網絡安全等領域均取得了跨越式的發展和廣泛應用。而對抗性機器學習是人工智能技術實踐過程中的極大威脅。如何確保人工智能技術安全、可靠、可控發展的同時，最大限度降低、規避智能應用風險是一個嚴峻的挑戰。文中在對國內外智能安全研究調研和分析的基礎上，首先從攻、防兩個方面梳理了智能安全發展的脈絡：攻擊方面，分別從白盒攻擊、黑盒攻擊、全像素攻擊、單像素攻擊對攻擊方法進行分類討論；防御方面，從反應式和主動式分類進行了分析。同時，針對實際場景，文中分別從對抗樣本產生形式和實際場景下對抗樣本的檢測進行了歸納總結。最后，結合基于實用場景，分別在不同領域對對抗樣本的表現形式、效果影響進行了討論。