針對目標檢測器的假陽性對抗樣本

袁小鑫 胡 軍 黃永洪

1(計算智能重慶市重點實驗室(重慶郵電大學) 重慶 400065) 2(重慶郵電大學計算機科學與技術學院 重慶 400065) 3(重慶郵電大學網絡空間安全與信息法學院 重慶 400065)

近年來，隨著深度學習的相關理論技術和計算能力的發展，深度神經網絡(deep neural networks, DNNs)模型在計算機視覺領域的各項任務中表現出色，基于DNNs模型的目標檢測器逐漸被應用在人臉識別[1]、行人跟蹤[2]以及無人駕駛[3]等領域.然而，近年來的研究表明DNNs模型易受攻擊者精心設計的對抗樣本的攻擊，從而輸出不正確的預測結果，所以DNNs架構的目標檢測器本身的安全性也越來越受到研究者的關注.YOLOv3[4]是實時檢測任務中一種主流的目標檢測器，比如用YOLOv3實時檢測交通信號燈[5]以及交通標志[6]，現有針對YOLOv3或其他目標檢測器的物理對抗攻擊的方式大多是先通過特定的目標模型生成較大的對抗性擾動，再將生成的對抗性擾動打印出來并貼在特定類別的物體上構成物理對抗樣本.但是在最近的研究中，出現了一種針對目標檢測器的新型對抗樣本——假陽性對抗樣本(false positive adversarial example, FPAE)[7]，此類對抗樣本是通過目標模型直接生成得到的，人無法識別該對抗樣本圖像中的內容，但目標檢測器卻以高置信度將該對抗樣本誤識別為攻擊者指定的目標類.研究FPAE的生成有助于發現YOLOv3及其他目標檢測器存在的弱點.現有以YOLOv3為目標模型生成FPAE的方法僅有Zhao等人[8]提出的AA(appearing attack)方法，該方法在生成過程中為提升對抗樣本的魯棒性，使用了典型的EOT(expectation over transformation)圖像變換方法[9]來模擬各種物理條件，但是并未包含運動模糊變換，然而在實際的拍攝過程中，如果攝像頭與對抗樣本之間發生較快的相對運動，對抗樣本在拍攝出來的照片上就會出現運動模糊進而影響到對抗樣本的攻擊效果.此外，該方法生成的FPAE在除目標模型外的其他模型上進行黑盒攻擊的成功率并不高.

為生成性能更好的FPAE，以揭示現有目標檢測器存在的弱點和測試現有目標檢測器的安全性，本文以YOLOv3為目標模型，提出了魯棒且可遷移的假陽性(robust and transferable false positive, RTFP)對抗攻擊方法，該方法在迭代優化過程中，除了加入典型的圖像變換外，還新加入了運動模糊變換，在設計損失函數時，借鑒了C&W攻擊[10]中損失函數的設計思想，并考慮了目標模型預測出的每個邊界框與FPAE所在的真實邊界框之間的重合度(intersection over union, IOU)，將目標模型在FPAE的中心所在的網格預測出的邊界框與FPAE所在的真實邊界框之間的IOU作為預測的邊界框的類別損失的權重項.在現實世界中的多角度、多距離拍攝測試以及實際道路上的駕車拍攝測試中，RTFP方法生成的FPAE均能保持較強的魯棒性且遷移性強于現有方法生成的FPAE.

本文的主要貢獻有2個方面：

1) 提出了一種新的生成FPAE的RTFP方法，該方法在生成FPAE的過程中，通過新加入的運動模糊變換和借鑒C&W攻擊思想設計出的全新的損失函數克服了由于運動模糊造成的FPAE魯棒性不足以及FPAE在其他目標檢測器上的遷移性差的問題;

2) 設計了現實世界中的多角度、多距離拍攝測試以及駕車拍攝測試，在實際場景下對RTFP方法生成的對抗樣本的攻擊效果進行了全面的評估.

1 相關工作

根據對抗樣本所適用的場景，可以將現有的針對目標檢測器的對抗樣本分為數字對抗樣本和物理對抗攻樣本，本節主要回顧現有研究中針對目標檢測器的數字對抗樣本和物理對抗樣本.

1.1 針對目標檢測器的數字對抗樣本

在計算機視覺領域，自Szegedy等人[11]指出DNNs分類器易受對抗樣本影響的特性之后，相繼有研究者陸續提出針對DNNs分類器的對抗攻擊方法，比如生成數字圖像對抗樣本的FGSM[12]、C&W方法和生成物理對抗樣本的BPA-PSO[13]、RP2方法[14].在針對圖像分類器的對抗攻擊研究取得一定成果后，研究者開始研究針對目標檢測器的對抗攻擊.2017年，Xie等人[15]提出了針對目標檢測器的DAG對抗攻擊方法，該算法首先獲得圖像中每個物體的正確類別，然后給每個物體分別設定一個不正確的類別，通過最大化不正確類別的置信度，同時最小化正確類別的置信度，達到生成對抗樣本的目的.Lu等人[16]以Faster R-CNN[17]目標檢測器為目標模型，從拍攝視頻中抽取出包含STOP交通標志的幀作為訓練樣本，通過最小化目標檢測器對STOP交通標志的平均預測分數，設計出對抗性STOP交通標志圖像.Li等人[18]提出RAP對抗攻擊算法，該算法主要攻擊目標檢測器中的區域建議網絡RPN，并且在設計損失函數時，設計了針對RPN網絡的分類損失和回歸損失.Liu等人[19]分別在有目標對抗攻擊和無目標對抗攻擊的情況下設計出不同的對抗性擾動，當向原始圖像添加相應的對抗性擾動之后可以使Faster R-CNN目標檢測器對圖像中的物體錯誤識別.Wei等人[20]提出UEA對抗攻擊算法，該算法通過構造生成對抗網絡來快速地生成圖像和視頻對抗樣本，為了提高對抗樣本的遷移性，在訓練生成對抗網絡中的生成器時，結合了目標檢測器的類別損失和特征損失.Li等人[21]研究了目標檢測器中SSM模塊的脆弱性，指出SSM模塊易受背景圖像中的對抗性擾動的影響，并利用SSM這一弱點，設計出添加在背景圖像區域的對抗性擾動.

1.2 針對目標檢測器的物理對抗樣本

部署在現實世界中的目標檢測器大多是以攝像頭拍攝到的畫面作為輸入，現實中的各種環境因素都會影響對抗樣本的攻擊效果，為進一步提升對抗樣本的魯棒性，使之能在物理世界也能欺騙目標檢測器，研究者進一步提出針對目標檢測器的物理對抗樣本.Eykholt等人[22]將針對分類器的RP2對抗攻擊算法進行拓展，將其應用于YOLOv2目標檢測器[23]，將生成的對抗性擾動打印出來并貼到正常的STOP交通標志上的相應位置后，YOLOv2目標檢測器便不能檢測到STOP交通標志.Chen等人[24]在設計針對Faster R-CNN目標檢測器的對抗性STOP交通標志圖像時，提出了ShapeShifter方法，該方法在生成對抗性擾動的過程中使用了EOT變換，并將添加的擾動限制在STOP交通標志圖像中除文字之外的其余區域.Huang等人[25]以Faster R-CNN為目標模型將對抗性擾動設計成廣告牌的形式，發現將擾動打印出來并貼在STOP交通標志牌的下方時同樣具有攻擊效果.上述針對目標檢測器的物理對抗樣本的構造方式，均是將生成的對抗性擾動添加在目標類別的物體表面或者周圍構造出來的，但是最近有研究者發現通過直接生成對抗樣本的方式也可以欺騙目標檢測器，Kotuliak等人[7]以Faster R-CNN目標檢測器為目標模型，生成人無法識別卻能使目標檢測器產生誤判的假陽性對抗樣本(FPAE)，但是該方法生成的對抗樣本只在很短的距離內有攻擊效果.Zhao等人[8]以YOLOv3為目標模型提出AA方法，并在生成對抗樣本的過程中采用了EOT變換，提升了對抗樣本的魯棒性，但是并未考慮拍攝時出現的運動模糊因素對FPAE攻擊效果的影響，導致在發生運動模糊的情況下攻擊效果變差，同時在對其他目標檢測器進行黑盒攻擊時攻擊成功率也不高.

2 目標檢測器介紹

2.1 現有的主流目標檢測器的分類

給定輸入圖像，目標檢測器需要預測出圖像中包含的多個物體的類別、類別置信度和包圍物體的最小邊界框的坐標.目前主流的目標檢測器可分為2種類型：一種是單階段目標檢測器，比如YOLOv2，YOLOv3和SSD[26]；另外一種是2階段目標檢測器，比如Fast R-CNN[27]和Faster R-CNN.其中，單階段目標檢測器使用單個DNNs網絡同時預測圖像中的物體類別和所在的位置，2階段目標檢測器先通過CNN神經網絡提取圖像特征得到特征圖并產生可能包含物體的候選區域，再對候選區域包含的物體進行進一步的分類以及調整物體的位置坐標.一般單階段目標檢測器的推理時間會比2階段目標檢測器的推理時間更短，而2階段目標檢測器的準確度比單階段目標檢測器的準確度更高.

2.2 YOLOv3目標檢測器

對于給定的輸入圖像，YOLOv3首先將其縮放為統一的尺寸，然后送入到特征提取網絡中進行處理，最終得到相對輸入圖像32倍下采樣、16倍下采樣和8倍下采樣的3個不同尺度的輸出特征圖.對于每個尺度的輸出特征圖，YOLOv3會對輸入圖像中每個劃分出的網格預測出3個邊界框，每個邊界框的預測向量中包含邊界框的位置信息(tx,ty,tw,th)、盒置信度分數(scoreobj)以及邊界框中的物體分別屬于訓練集中每個類的類別置信度分數(score1,score2,…,scoren)，所以每個邊界框對應的預測向量的形式為

(tx,ty,tw,th,scoreobj,score1,score2,…,scoren).

(1)

其中，tx表示邊界框在當前圖像中的左上角頂點的橫坐標，ty表示邊界框在當前圖像中的左上角頂點的縱坐標，tw表示邊界框的寬度，th表示邊界框的高度，n代表訓練集中的類別數，而每個尺度的輸出特征圖上的單位點都與原圖中對應位置上劃分出的網格相對應，將網格中預測出的3個邊界框的預測向量拼接起來就得到單位點所在位置的預測向量.

3 RTFP方法

為提升FPAE的魯棒性和遷移性以進一步揭示現有目標檢測器的弱點，本文提出RTFP方法，本節主要介紹RTFP方法的具體內容.

3.1 威脅模型

本文以YOLOv3為目標模型，采用白盒有目標攻擊生成對抗樣本，即假定攻擊者可以獲取到目標模型的結構和參數信息，同時設定目標類，也就是攻擊者期望攻擊成功后目標模型將對抗樣本識別為指定的類別.在實驗中，除對目標模型進行白盒攻擊外，為評估對抗樣本的遷移性，本文還將白盒攻擊方式生成的對抗樣本對除目標模型之外的其他目標檢測器進行黑盒攻擊，即假定攻擊者不知道這些目標檢測器的結構和參數信息，其目標類與白盒攻擊的目標類相同，如果這些目標檢測器將對抗樣本識別為設定的目標類則認為攻擊成功.此外，本文假定攻擊者只能通過在現實世界中部署物理對抗樣本來達到攻擊目標檢測器的目的，而不能對輸入到目標檢測器中的數字圖像添加對抗性擾動.

3.2 RTFP方法總體流程

Fig. 1 The workflow of RTFP method圖1 RTFP方法的工作流程

RTFP方法的主要原理是在優化過程中對FPAE使用一系列的圖像變換并將其覆蓋在隨機的背景圖像上，再計算出目標檢測器對背景圖像中FPAE的預測損失，通過不斷優化損失函數得到最終生成的FPAE.該方法工作流程如圖1所示，先將FPAE用U(0,1)隨機初始化為待優化的方形圖像p，為模擬現實世界中各種不同的物理條件，需要對圖像p施加一系列圖像變換，變換后得到的圖像記為ptf.同時，為模擬現實世界中各種不同的場景，在每次迭代優化過程中都會從MS-COCO數據集[28]中隨機選取不同的圖像作為背景圖像xbg，并將所選的背景圖像xbg縮放至YOLOv3要求的輸入圖像的尺寸，再將ptf覆蓋在背景圖像xbg上得到xbp，將xbp送入YOLOv3目標檢測器后得到模型對xbp中的ptf的預測結果，再使用Adam優化器結合模型的預測結果以及p的圖像平滑度損失Losstv對圖像p不斷優化，最終得到FPAE，在優化過程中始終保證目標檢測器的權重固定，每次只更新圖像p.

3.3 RTFP方法中使用的圖像變換

由于現實世界中的目標檢測器是對攝像頭拍攝到的圖像進行檢測，攝像頭在拍攝過程中，物體與攝像頭之間的距離、角度以及物體周圍的光照條件都在不斷變化，這些環境因素都會影響FPAE的攻擊效果.因此，為了使生成的FPAE更加魯棒，需要在每次迭代優化過程中對當前生成的圖像p使用一系列圖像變換模擬不同的物理條件.典型的圖形變換方法是Athalye等人[9]提出的EOT變換，其中包含有常見的亮度和對比度變換、縮放變換、旋轉變換和加性高斯白噪聲變換.在實際應用場景中，攝像頭在拍攝過程中如果與放置在現實世界中的FPAE之間發生較快的相對運動，那么FPAE在拍攝到的圖像上就會出現運動模糊進而影響到FPAE的攻擊效果.為避免FPAE在發生運動模糊的情況下的攻擊效果受到較大的影響，RTFP方法在已有的圖像變換的基礎上新加入了運動模糊變換.在RTFP方法的優化過程中，待優化的圖像p經過一系列圖像變換后得到圖像ptf，即ptf=t(p)，t是圖像變換函數，包括5種可微的圖像變換方法.

1) 亮度和對比度變換.在拍攝過程中，由于對抗樣本周圍的光照強度會不斷變化，所以，在每次迭代優化過程中，通過隨機調整圖像p的亮度和對比度模擬對抗樣本在不同光照條件下的狀態.

2) 縮放變換.當攝像頭從遠處向對抗樣本靠近時，對抗樣本在拍攝到的圖像中的大小就會不斷變化，并且原始圖像在經YOLOv3網絡處理之前，會先將原始圖像等比例縮放至YOLOv3要求的輸入圖像的尺寸，現實中的攝像頭拍攝出的原始圖像的長寬比一般不相等，典型的長寬比是4∶3和16∶9，這就導致對原始圖像進行等比例縮放之后，其中的對抗樣本的長寬比就不再相等，為了使不同尺寸和長寬比的對抗樣本都能欺騙目標檢測器，RTFP方法在優化過程中將對抗樣本圖像的尺寸進行隨機調整，同時將長寬比的變化范圍設定在典型4∶3和16∶9 之間，以此來模擬對抗樣本在不同的距離被拍攝時尺寸的變化情況.

3) 旋轉變換.在實際拍攝過程中，對抗樣本會在拍攝到的圖像上旋轉一定的角度，因此，每次通過隨機旋轉圖像p的角度可以模擬對抗樣本在拍攝到的圖像上出現旋轉時的狀態.

4) 加性高斯噪聲變換.在拍攝對抗樣本時會因為攝像設備的問題導致拍攝的圖像上出現多余的噪聲，通過對圖像p添加隨機的高斯噪聲，可模擬拍攝到的對抗樣本在受到此類噪聲影響時的狀態.

5) 運動模糊變換.考慮到攝像頭與物體之間發生較快的相對運動時，對抗樣本會在拍攝到的圖像中出現運動模糊的情況，因此，RTFP方法在每次優化過程中均對圖像p施加隨機的運動模糊變換，以此來模擬對抗樣本在拍攝到的圖像上出現運動模糊時的狀態.

3.4 RTFP方法中損失函數的設計

在3.2節中所描述的迭代優化過程中，在將覆蓋有ptf的背景圖像xbp送入YOLOv3目標檢測器后會得到3個不同尺度的輸出特征圖，分別對應將輸入圖像xbp中劃分出3種不同數量的網格時的預測結果.對于某個尺度為s(s的取值為1,2,3,分別對應3個不同的尺度)的輸出特征圖，先計算出輸入圖像xbp中圖像ptf的中心所在的網格位置cellpt，進而得到輸出特征圖中與cellpt對應的單位點的位置Is，在Is處的單位點包含的向量就是YOLOv3在cellpt處的網格中預測出的邊界框的預測向量，攻擊者最終目的是讓YOLOv3檢測到圖像ptf并將其分類為指定的目標類別y，因此，就需要增加cellpt位置的邊界框的預測向量中盒置信度分數scoreobj與目標類別y的類別置信度分數scorey.已有的研究表明C&W攻擊生成的對抗樣本具有較好的攻擊效果[29-30]，因此，RTFP方法在優化YOLOv3預測出的類別置信度時，借鑒了C&W攻擊中損失函數的設計思想，同時為盡量優化與FPAE最相關的預測邊界框，RTFP方法中根據模型在cellpt位置預測出的各個邊界框與ptf在輸出特征圖上對應的真實邊界框之間的IOU為每個預測邊界框的損失值設置了相應的權重，因此在尺度s下對應的優化問題為

(2)

(3)

3.5 RTFP方法生成FPAE的過程

算法1.calcLoss(x,p,y)./*對于當前所選的背景圖像數據集，計算YOLOv3對所有背景圖像中的FPAE的預測值的損失之和loss*/

輸入：背景圖像集x、當前生成的FPAE圖像p、目標類別y;

輸出：損失值loss.

①loss=0;

② forxiinxdo

③ptf←t(p);/*t是圖像變換函數*/

④xpat←(ptf⊕xi);/*將ptf隨機覆蓋在xi上，⊕表示覆蓋操作*/

⑤loss←loss+J(xpat,y);/*J是RTFP方法的損失函數*/

⑥ end for

⑦ returnloss.

算法2.getBatchData(xbg,j,k)./*獲取輸入的背景圖像數據集中某個批次的背景圖像數據*/

輸入：背景圖像數據集xbg、當前欲獲取的批次j、總的批次數k;

輸出：獲取到的數據batchData和下一個批次jnext.

①batchData=0;

② ifj>k

③batchData←xbg中第1個批次的圖像;

④jnext=2;

⑤ else

⑥batchData←xbg中第j個批次的圖像;

⑦jnext=j+1;

⑧ returnbatchData,jnext.

算法3.RTFP方法生成FPAE的過程.

輸入：最大迭代次數e、設定的目標類別y、閾值threshold、訓練集Btrain和驗證集Bval(Btrain和Bval均來自背景圖像數據集B)，Btrain對應的總批次數為k;

輸出：最終生成的FPAE圖像bestP.

① 使用U(0,1)隨機初始化一張圖像p;

② 將minLoss設置為無窮大;

③bestP=p;

④j=1;

⑤ fori=1,2,…,edo

⑥totalLoss=calcLoss(Bval,p,y);

⑦ iftotalLoss≤threshold

⑧bestP=p;

⑨ break;

⑩ else

/*Btrain,j,k分別對應getBatchData中的xbg,j,k*/

/*Btrainj,p,y分別對應calcLoss中的x,p,y*/

4 實驗設計與實驗結果

為測試RTFP方法生成的FPAE的魯棒性和遷移性，本文在現實場景中分別進行了多角度、多距離拍攝測試以及真實道路上的駕車拍攝測試，本節主要介紹實驗設置以及實驗結果.

4.1 實驗設置

考慮到YOLOv3可被應用在無人車的實時處理系統中對攝像頭拍攝到的圖像進行實時檢測，無人車周圍的交通標志對無人車的行駛安全非常重要，因此，實驗將目標類設定為MS-COCO數據集中的STOP交通標志，目標模型是在MS-COCO數據集上預訓練好的YOLOv3目標檢測器，其骨干網是Darknet-53，輸入到YOLOv3模型中的圖像被統一縮放成608×608的尺寸，模型的類別置信度閾值設置為0.5，即當FPAE被目標檢測器錯誤地檢測并分類為STOP標志的置信度高于0.5時，才認為FPAE成功欺騙了目標檢測器.

在對其他目標檢測器進行黑盒攻擊測試時，所選的目標檢測器包括Faster R-CNN ResNet-101，Faster R-CNN Inception v2，Mask R-CNN Inception v2[31]，SSD Inception-v2，SSD MobileNet v2. 這些目標檢測器均是TensorFlow官方模型庫[32]中提供的在MS-COCO數據集上預訓練好的目標檢測器，并且在現有研究中也被作為典型的測試模型，這些模型的類別置信度閾值同樣設置為0.5，模型的其他參數均按照模型默認的參數進行設置.在現有的使用YOLOv3作為目標模型生成FPAE的研究中，與本文所做的工作最接近的僅有Zhao等人[8]提出的AA方法，因此本文選擇AA方法與RTFP方法進行對比，實驗中所使用的拍攝設備為OPPO A92s，圖2是這2種方法生成的FPAE圖像.

Fig. 2 FPAE generated by two methods圖2 2種方法生成的FPAE

4.2 多角度、多距離拍攝測試

為在現實世界中測試RTFP方法生成的FPAE在多個不同的距離和角度下的攻擊效果，本實驗將RTFP方法生成的FPAE打印出來，進行多角度、多距離的拍攝測試.我們將RTFP方法生成的FPAE打印成50 cm×50 cm的大小，然后將距離對抗樣本1～25 m的直線距離范圍分成5個距離段，每個距離段的范圍分別設置為1～5 m，5～10 m，10～15 m，15～20 m，20～25 m.在每個距離段內，以對抗樣本正對拍攝者為0°，在對抗樣本分別向左和向右偏轉0°，15°，30°，45°，60°(向左偏的角度記為負，向右偏的角度記為正)的情況下，在沿著當前直線距離段勻速前進的過程中拍攝對抗樣本，最后將拍攝得到的視頻送入各目標檢測器測試FPAE的攻擊效果.首先對目標模型YOLOv3進行白盒攻擊測試，然后對其他目標檢測器進行黑盒攻擊測試，最后計算在每個距離段范圍內每個偏轉角度下拍攝的視頻幀的攻擊成功率(attacking success rate,ASR).ASR計算為

(4)

其中,Nsuccess表示當前拍攝到的視頻中成功欺騙目標檢測器的幀數，Nall表示拍攝到的視頻中的總幀數.同時，本實驗將AA方法生成的對抗樣本也打印成相同的尺寸，并采用同樣的拍攝設備和拍攝方法進行拍攝，最后計算2種方法在白盒攻擊和黑盒攻擊中的ASR.

表1是RTFP方法生成的FPAE對目標模型YOLOv3進行白盒攻擊的ASR.可以看到,偏轉角度一定，FPAE與攝像機之間的距離不斷變化時，總體變化趨勢是距離越遠，ASR越低，因為隨著拍攝距離的增大，FPAE的特征就更不容易被目標檢測器捕獲，也就更不容易欺騙目標檢測器.從表1中的數據可以得到在1～15 m范圍內，ASR相對較高，而在大于15 m的范圍內，ASR相對較低，其中1～10 m范圍內的ASR均達到了100%，在10～15 m范圍內，ASR開始下降，總體范圍在45%～100%之間，在15～20 m范圍內的ASR在0%～45%之間，在20～25 m范圍內的ASR均為0%.當FPAE與攝像機之間的距離段一定，FPAE的偏轉角度不斷變化時可以看到，在1～10 m的距離范圍內，隨著FPAE的偏轉角度不斷變化，FPAE在每個偏轉角度下的ASR均是100%;而在10～20 m的距離范圍內，總體變化趨勢是ASR隨著偏轉角度的增大而減小，這是因為隨著距離的變遠和FPAE的偏轉角度的增大，FPAE在拍攝到的圖像上的尺寸變小加之有部分特征并未被拍攝到，進而導致FPAE的特征更加難以欺騙目標檢測器，所以ASR降低.此外，由于RTFP方法生成的FPAE并非是左右對稱的圖像，因此，FPAE在向左偏轉和向右偏轉時，目標檢測器捕獲到的特征不同，所以，在10～20 m距離范圍內的ASR并非是關于0°對稱的.

Table 1 ASR of FPAE Generated by RTFP Method on YOLOv3表1 RTFP方法生成的FPAE在YOLOv3上的ASR %

表2～6是RTFP方法生成的FPAE對其他模型進行黑盒攻擊的ASR.可以看到FPAE在Faster R-CNN ResNet-101，Faster R-CNN Inception v2，Mask R-CNN Inception v2這3個模型上都能保持較高的攻擊成功率，反映出RTFP方法生成的FPAE的具有較強的遷移性;同時，在距離較遠的情況下，FPAE同樣可以欺騙這些目標檢測器，這是由于這些目標檢測器在設計時，相比于推理時間，更注重識別物體的精度，因此，這些目標檢測器善于捕捉圖像中小尺寸物體的特征，對交通標志本身的特征也更敏感，所以即使在距離較遠時，FPAE上的對抗性特征也能被這些目標檢測器捕獲，從而可以進一步欺騙這些目標檢測器;但是SSD Inception v2和SSD MobileNet v2并不善于檢測圖像中的小尺寸物體，所以，在距離相對比較遠時，這2種目標檢測器便難以捕獲到FPAE的特征，也就無法被FPAE欺騙.

Table 2 ASR of FPAE Generated by RTFP Method on Faster R-CNN ResNet-101表2 RTFP方法生成的FPAE在Faster R-CNN ResNet-101上的ASR %

Table 3 ASR of FPAE Generated by RTFP Method on Faster R-CNN Inception v2表3 RTFP方法生成的FPAE在Faster R-CNN Inception v2上的ASR %

Table 4 ASR of FPAE Generated by RTFP Method on Mask R-CNN Inception v2表4 RTFP方法生成的FPAE在Mask R-CNN Inception v2上的ASR %

Table 5 ASR of FPAE Generated by RTFP Method on SSD Inception v2表5 RTFP方法生成的FPAE在SSD Inception v2上的ASR %

Table 6 ASR of FPAE Generated by RTFP Method on SSD MobileNet v2表6 RTFP方法生成的FPAE在SSD MobileNet v2上的ASR %

Fig. 3 AASR of FPAE on YOLOv3 at different distance ranges圖3 在不同距離范圍內FPAE在YOLOv3上 的AASR

Fig. 4 AASR of FPAE on Faster R-CNN ResNet-101 at different distance ranges圖4 在不同距離范圍內FPAE在Faster R-CNN ResNet-101上的AASR

Fig. 5 AASR of FPAE on Faster R-CNN Inception v2 at different distance ranges圖5 在不同距離范圍內FPAE在Faster R-CNN Inception v2上的AASR

Fig. 6 AASR of FPAE on Mask R-CNN Inception v2 at different distance ranges圖6 在不同距離范圍內FPAE在Mask R-CNN Inception v2上的AASR

Fig. 7 AASR of FPAE on SSD Inception v2 at different distance ranges圖7 在不同距離范圍內FPAE在SSD Inception v2 上的AASR

Fig. 8 AASR of FPAE on SSD MobileNet v2 at different distance ranges圖8 在不同距離范圍內FPAE在SSD MobileNet v2 上的AASR

圖3是RTFP方法與AA方法生成的FPAE在各個距離段內在目標模型YOLOv3上的平均攻擊成功率(average attacking success rate,AASR)的對比結果，圖4～8是RTFP方法與AA方法生成的FPAE在各個距離段內在其他模型上的AASR的對比結果.AASR計算為

(5)

其中，Nas是當前距離段內各個角度下拍攝到的視頻中成功欺騙目標檢測器的幀數之和，Ndis是當前距離段內各個角度下拍攝到的視頻的總幀數.

圖3的結果表明，對于目標模型YOLOv3，2種方法生成的FPAE在各個距離段內的AASR大致相同，表明2種FPAE在目標模型上的魯棒性相當.但是從圖4～8的對比結果可以看出，RTFP方法生成的FPAE在其他模型上的每個距離段內的AASR均高于AA方法生成的FPAE的AASR，表明RTFP方法生成的FPAE的遷移性強于AA方法生成的FPAE的遷移性.此外，對于除目標模型YOLOv3之外的其他模型，在距離相對較近時，特別是在1～5 m距離范圍內，AA方法生成的FPAE在各個模型上的AASR普遍較低，而RTFP方法生成的FPAE依然可以保持相對較高的AASR.這是由于AA方法的損失函數中并沒有設計圖像平滑度損失，從而導致生成的FPAE上出現較多的噪聲像素點，這些噪聲像素點是以YOLOv3為目標模型生成的，所以不會顯著影響FPAE對YOLOv3的攻擊效果，但是這些噪聲像素特征會影響FPAE對其他目標檢測器進行黑盒攻擊的效果，尤其是在距離較近時，這些像素點在拍攝到的圖像上非常明顯，因此FPAE會對其他模型進行黑盒攻擊的效果有較大影響，而RTFP方法在優化損失函數時加入了圖像平滑度損失，所以生成的對抗樣本更加平滑，降低了噪聲像素點的影響，從而在距離較近時，RTFP方法生成的FPAE依然可以保持相對較高的AASR.

4.3 真實道路上的駕車拍攝測試

為在實際的道路上測試RTFP方法生成的FPAE的攻擊效果，本文將生成好的FPAE豎立在真實道路的右側，然后在距離FPAE較遠處駕車勻速(速度的誤差在1 km/h內)駛向FPAE，在保持勻速行駛后，在距FPAE所在位置20 m處開始拍攝，直至駛過FPAE，最后，將拍攝的視頻中所有包含FPAE的幀送入YOLOv3進行白盒攻擊測試，再送入其他目標檢測器進行黑盒攻擊測試，并計算在各個目標檢測器上的攻擊成功率ASR. 圖9是RTFP方法生成的FPAE在15 km/h，20 km/h，25 km/h，30 km/h的速度下，在目標模型YOLOv3和其他目標檢測器上的ASR.可以看出，在不同速度下拍攝的FPAE在各個目標檢測器上均能攻擊成功，并且對于每個模型，FPAE在不同速度下的ASR大致相同，表明FPAE在不同的速度下仍可以保持較好的魯棒性和遷移性.圖10是RTFP方法與AA方法生成的FPAE在15 km/h，20 km/h，25 km/h，30 km/h的行駛速度下對YOLOv3進行白盒攻擊的ASR.從圖10中可以看出，RTFP方法生成的FPAE的ASR相對較高，表明RTFP方法生成的FPAE在不同速度下的魯棒性強于AA方法生成的FPAE.圖11～14是RTFP與AA方法生成的FPAE分別在15 km/h，20 km/h，25 km/h，30 km/h的速度下對除YOLOv3之外的其他目標檢測器進行黑盒攻擊的ASR.從這4組對比結果可以看出，RTFP方法生成的FPAE在各個速度下對各個模型進行黑盒攻擊的ASR相對較高，表明RTFP方法生成的FPAE在各個速度下的遷移性強于AA方法生成的FPAE.道路上的駕車拍攝測試近似反映了RTFP方法和AA方法生成的FPAE在實際的駕駛場景中的攻擊效果，測試結果表明RTFP方法生成的FPAE在不同的行駛速度下可以保持較強的魯棒性和遷移性且強于AA方法生成的FPAE.

Fig. 9 ASR of FPAE on YOLOv3 and other object detectors at different speeds圖9 在不同速度下FPAE在YOLOv3和其他目標 檢測器上的ASR

Fig. 10 ASR of FPAE on YOLOv3 at 4 different speeds圖10 在4種不同速度下FPAE在YOLOv3上的 ASR

Fig. 11 ASR of FPAE in the black-box attack test at speed of 15 km/h圖11 速度為15 km/h時FPAE在黑盒攻擊測試 中的ASR

Fig. 12 ASR of FPAE in the black-box attack test at speed of 20 km/h圖12 速度為20 km/h時FPAE在黑盒攻擊測試 中的ASR

Fig. 13 ASR of FPAE in the black-box attack test at speed of 25 km/h圖13 速度為25 km/h時FPAE在黑盒攻擊測試 中的ASR

Fig. 14 ASR of FPAE in the black-box attack test at speed of 30 km/h圖14 速度為30 km/h時FPAE在黑盒攻擊測試 中的ASR

Fig. 15 ASR of FPAE at 4 different speeds圖15 FPAE在4種不同速度下的ASR

Fig. 16 ASR of FPAE in the black-box attack test at speed of 15 km/h圖16 速度為15 km/h時FPAE在黑盒攻擊測試 中的ASR

此外，在駕車拍攝的過程中，攝像頭和FPAE之間會發生較快的相對運動，在這種情況下，FPAE在拍攝出來的圖像上極易發生運動模糊，因此，為驗證RTFP方法中加入的運動模糊變換的有效性，本測試還進行了消融實驗.也就是將完整的RTFP方法生成的FPAE與將RTFP方法中的運動模糊變換去除之后(將該方法記為RTFP-wmb方法)生成的FPAE使用同樣的拍攝方法進行拍攝，然后測試這2種FPAE在各目標檢測器上的ASR.圖15是RTFP方法與RTFP-wmb方法生成的FPAE分別在15 km/h，20 km/h，25 km/h，30 km/h的行駛速度下對YOLOv3進行白盒攻擊的ASR.從實驗結果可以看出，完整的RTFP方法在目標模型上的ASR更高，說明完整的RTFP方法生成的FPAE的魯棒性強于RTFP-wmb方法生成的FPAE.圖16～19是RTFP方法與RTFP-wmb方法生成的FPAE分別在15 km/h，20 km/h，25 km/h，30 km/h的速度下對其他目標檢測器進行黑盒攻擊的ASR.從這4組對比結果可以看出，在不同的行駛速度下，RTFP方法生成的FPAE的ASR在Faster R-CNN ResNet-101，Faster R-CNN Inception v2，Mask R-CNN Inception v2這3個模型上的ASR較高，而在SSD Inception v2和SSD MobileNet v2這2個模型上的ASR與RTFP-wmb方法生成的FPAE的ASR大致相同，表明RTFP方法生成的FPAE只在部分模型上的遷移性強于RTFP-wmb生成的FPAE，這是因為RTFP方法中加入的運動模糊變換的主要作用是提高FPAE抵抗運動模糊的能力，也就是側重于提高FPAE的魯棒性，但是并不能顯著提升FPAE的遷移性.圖20是RTFP方法生成的FPAE成功欺騙YOLOv3目標檢測器的樣例幀.

Fig. 17 ASR of FPAE in the black-box attack test at speed of 20 km/h圖17 速度為20 km/h時FPAE在黑盒攻擊測試 中的ASR

Fig. 18 ASR of FPAE in the black-box attack test at speed of 25 km/h圖18 速度為25 km/h時FPAE在黑盒攻擊測試 中的ASR

Fig. 19 ASR of FPAE in the black-box attack test at speed of 30 km/h圖19 速度為30 km/h時FPAE在黑盒攻擊測試 中的ASR

Fig. 20 Sample frames of FPAE successfully fool YOLOv3圖20 FPAE成功欺騙YOLOv3目標檢測器的 樣例幀

5 結 論

本文提出一種可生成具有較強的魯棒性和遷移性的假陽性對抗樣本(FPAE)的RTFP方法，該方法在迭代優化過程中考慮了運動模糊對FPAE的攻擊效果的影響，除了加入典型的圖像變換方法之外，還新加入了運動模糊變換.此外，在設計損失函數時，借鑒了C&W攻擊中損失函數的設計思想，將目標檢測器在對抗樣本所在位置預測出的多個邊界框的類別損失設計為適用于生成FPAE的損失函數，并且為防止生成的FPAE出現過多的噪聲像素點，在整個損失函數中加入了圖像平滑度損失.本文在現實場景中對RTFP方法生成的FPAE進行了多角度、多距離的拍攝測試以及實際道路上的駕車拍攝測試，用每次拍攝得到的視頻對目標模型YOLOv3和其他目標檢測器分別進行了白盒攻擊測試和黑盒攻擊測試，并且與現有的AA方法生成的FPAE的攻擊成功率進行了對比.在多角度、多距離的拍攝測試中，RTFP方法生成的FPAE在相對較遠的距離和較大的偏轉角度下依然可以欺騙YOLOv3以及其他目標檢測器.實際道路上的駕車拍攝測試表明在4種不同的行駛速度下，RTFP方法生成的FPAE依然能夠對YOLOv3和其他目標檢測器進行欺騙，且攻擊成功率高于現有的AA方法生成的FPAE的攻擊成功率，并且，駕車拍攝測試中的消融實驗表明RTFP方法生成的FPAE的魯棒性強于不加入運動模糊變換的RTFP-wmb方法生成的FPAE的魯棒性，說明了RTFP方法中所加入的運動模糊變換的有效性.綜合的實驗結果表明RTFP方法生成的FPAE具有較強的魯棒性和遷移性.

作者貢獻聲明：袁小鑫進行文獻調研，提出論文的創新點，負責實驗的實施與分析以及論文的撰寫；胡軍提供選題來源，設計研究思路，指導實驗的設計與論文的撰寫；黃永洪提供選題來源，指導實驗設計，參加論文研討.