基于注意力機(jī)制的物理對(duì)抗樣本檢測(cè)方法研究

摘 要： 隨著深度學(xué)習(xí)的普及與發(fā)展，對(duì)抗樣本的存在嚴(yán)重威脅著深度學(xué)習(xí)模型的安全。針對(duì)物理世界中對(duì)抗樣本的攻擊問題，提出了一種基于注意力機(jī)制的物理對(duì)抗樣本檢測(cè)方法。該方法將注意力機(jī)制與特征壓縮相結(jié)合，對(duì)局部可視對(duì)抗樣本主要區(qū)域進(jìn)行針對(duì)性檢測(cè)，排除非主要區(qū)域的影響，減少計(jì)算工作量；通過有效組合多種特征壓縮方法對(duì)樣本中的主要區(qū)域進(jìn)行處理，破壞對(duì)抗噪聲塊的結(jié)構(gòu)，使其失去攻擊性。在MNIST 和 CIFAR-10 數(shù)據(jù)集上對(duì)不同的對(duì)抗攻擊進(jìn)行防御測(cè)試，并與其他對(duì)抗防御方法進(jìn)行對(duì)比實(shí)驗(yàn)。結(jié)果表明，該方法的防御準(zhǔn)確率可達(dá)到95%以上，與其他局部對(duì)抗樣本防御方法相比通用性高，穩(wěn)定性更強(qiáng)，可有效防御局部可視對(duì)抗樣本的攻擊。

關(guān)鍵詞： 深度學(xué)習(xí)； 局部可視對(duì)抗樣本； 對(duì)抗樣本檢測(cè)； 注意力機(jī)制； 穩(wěn)定性

中圖分類號(hào)： TP391"" 文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1001-3695（2022）01-045-0254-05

doi：10.19734/j.issn.1001-3695.2021.06.0255

Research on physical adversarial sample detection method based on attention mechanism

Wei Zhongcheng1a，2， Feng Hao1a，2， Zhang Xinqiu1a，2， Lian Bin1b，2

（1.a.School of Information amp; Electrical Engineering， b.School of Water Conservancy amp; Hydroelectric Power， Hebei University of Engineering， Handan Hebei 056038， China； 2.Hebei Key Laboratory of Security amp; Protection Information Sensing amp; Processing， Handan Hebei 056038， China）

Abstract： With the popularity and development of deep learning，the existence of adversarial samples is a serious threat to the security of the deep learning model.For the attack problem of adversarial samples in the physical world，this paper proposed a physical adversarial sample detection method based on attention mechanism.The method combined attention mechanism and feature compression to detect pertinently of local visual adversarial samples，excluded effects of non-major regions，and reduced calculation effort.It effectively combined multiple feature compression methods to deal with the main areas of the sample，which destroyed the structure of the antagonistic block and made them unaggressive.Perform defense tests on different adversarial attacked on the MNIST and CIFAR-10 data sets and compared with other countermeasures.The experimental results show that the defense accuracy of the method can reach more than 95%.This method is higher versatility and stronger stability than other local adversarial sample defense methods，and can effectively defense the attack of local visual adversarial samples.

Key words： deep learning； local visual adversarial samples； adversarial sample detection； attention mechanism； stability

0 引言

隨著人工智能的不斷發(fā)展，深度學(xué)習(xí)在眾多領(lǐng)域的應(yīng)用中取得了巨大成功，尤其是在計(jì)算機(jī)視覺領(lǐng)域，基于神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別、目標(biāo)檢測(cè)、目標(biāo)分割等技術(shù)日益成熟并逐步部署到實(shí)際應(yīng)用系統(tǒng)中。然而，深度學(xué)習(xí)模型容易受到微小輸入擾動(dòng)的干擾［1］，導(dǎo)致模型以高置信度給出錯(cuò)誤的輸出，從而引發(fā)了人們對(duì)人工智能安全性的討論。

由特定設(shè)計(jì)使模型發(fā)生錯(cuò)誤的樣本被稱為對(duì)抗樣本。目前的對(duì)抗樣本可分為兩類，一類在整張圖像中添加視覺上不可感知的細(xì)微擾動(dòng)［2］，另一類是在圖像的某一局部區(qū)域添加明顯擾動(dòng)［3］。相較于前一類對(duì)抗樣本，后一類不追求視覺上的隱蔽性，且易在現(xiàn)實(shí)世界中實(shí)現(xiàn)攻擊效果，更容易造成物理世界的損失。因此本文主要針對(duì)物理世界的局部可視對(duì)抗樣本展開研究，以提高深度學(xué)習(xí)模型的安全性。

當(dāng)前用于防御對(duì)抗樣本攻擊的方法可以分為修改訓(xùn)練過程、修改網(wǎng)絡(luò)和添加附加網(wǎng)絡(luò)三方面［4］。修改訓(xùn)練過程的防御主要有對(duì)抗訓(xùn)練、數(shù)據(jù)壓縮和輸入轉(zhuǎn)換等。修改網(wǎng)絡(luò)的防御方法有防御蒸餾和正則化。附加網(wǎng)絡(luò)防御方法有防御通用擾動(dòng)、生成式對(duì)抗網(wǎng)絡(luò)防御和對(duì)抗檢測(cè)等。其中附加網(wǎng)絡(luò)防御中的對(duì)抗檢測(cè)不需要對(duì)網(wǎng)絡(luò)本身進(jìn)行改變，只需判斷輸入樣本是否為對(duì)抗樣本即可，無須將對(duì)抗樣本識(shí)別為正確標(biāo)簽，并且還可與其他防御方法結(jié)合使用，在實(shí)際生活中更加方便有效。

綜合上述內(nèi)容，本文針對(duì)如何防御物理世界的局部可視對(duì)抗樣本攻擊問題進(jìn)行了研究，提出一種基于注意力機(jī)制的物理對(duì)抗樣本檢測(cè)方法（attention mechanism detection，AMD），將注意力機(jī)制與特征壓縮相結(jié)合，有效地減少了圖像中的非主要區(qū)域的干擾。其采用類激活映射（class activation mapping，CAM）［5］精準(zhǔn)定位得到圖像中對(duì)分類起主要作用的區(qū)域，對(duì)圖像不同區(qū)域有針對(duì)性地進(jìn)行處理；將多種特征壓縮算法有效組合，對(duì)噪聲塊的整體結(jié)構(gòu)進(jìn)行破壞，使其失去攻擊性。通過實(shí)驗(yàn)驗(yàn)證了所提方法的可行性與可靠性，與當(dāng)前流行的局部可視對(duì)抗樣本防御方法相比具有更好的穩(wěn)定性與防御能力。

1 相關(guān)工作

1.1 局部可視對(duì)抗攻擊

自2013年Szegedy等人［1］提出對(duì)抗樣本這一概念后，對(duì)抗攻擊的方法越來越多地被提出。一般的對(duì)抗攻擊算法都是在原始圖像上加上微弱的噪聲擾動(dòng)使分類器網(wǎng)絡(luò)出錯(cuò)。而物理對(duì)抗攻擊是研究如何在真實(shí)世界構(gòu)建對(duì)抗樣本，從而使現(xiàn)實(shí)世界中正在運(yùn)行的深度學(xué)習(xí)模型受到攻擊。

Nguyen等人［6］提出，面對(duì)一些人類無法識(shí)別的樣本，深度學(xué)習(xí)模型也可以將其以高置信度進(jìn)行分類，這意味著深度學(xué)習(xí)模型具有極大的脆弱性。2016年，Tabacof等人［7］提出，對(duì)抗樣本的應(yīng)用在圖像方面占據(jù)了極大的空間。至此，深度網(wǎng)絡(luò)和對(duì)抗樣本成為研究熱潮。其中一種對(duì)抗樣本為通過將一小塊局部、肉眼可察覺的對(duì)抗擾動(dòng)放置在輸入圖像上，使分類網(wǎng)絡(luò)發(fā)生誤判。這種擾動(dòng)具備位置無關(guān)性和圖像通用性，可疊加在不同的干凈樣本任意位置上，形成局部可視對(duì)抗樣本以攻擊分類網(wǎng)絡(luò)。2016年，Sharif等人［8］設(shè)計(jì)出了帶有對(duì)抗樣本性質(zhì)的眼鏡框，從而達(dá)到攻擊人臉識(shí)別系統(tǒng)的能力。2017年，Brown等人［3］與Karmon等人［9］提出的一種添加局部像素?cái)_動(dòng)的方法可以達(dá)到靈活添加和局部擾動(dòng)的效果。2018年，Eykholt等人［10］實(shí)現(xiàn)通過在道路交通標(biāo)志上添加黑白貼片，來使自動(dòng)駕駛的車輛對(duì)路標(biāo)識(shí)別錯(cuò)誤。2019年，Thys等人［11］生成一個(gè)可打印出的局部可視對(duì)抗樣本，使得混入對(duì)抗因素后實(shí)現(xiàn)欺騙檢測(cè)網(wǎng)絡(luò)。2020年Jia等人［12］利用對(duì)抗樣本的特性生成水印，為圖像加入水印，從而實(shí)現(xiàn)系統(tǒng)的錯(cuò)誤識(shí)別。局部可視對(duì)抗樣本與人眼不可見的全局對(duì)抗樣本相比，其攻擊原理更能揭示深度學(xué)習(xí)模型的安全性問題，對(duì)物理世界的危害性更大。

1.2 類激活映射

利用CAM算法得到卷積特征包含定位以及更豐富的語義信息，使得卷積特征與圖像描述具有更好的對(duì)應(yīng)關(guān)系。卷積層輸出的特征映射和原圖存在一定的空間對(duì)應(yīng)關(guān)系，將最后一層卷積輸出的特征映射進(jìn)行處理，繪制到原圖上，可得到熱力圖。其中越偏紅色的區(qū)域?qū)τ谧罱K預(yù)測(cè)結(jié)果的貢獻(xiàn)越大，藍(lán)色區(qū)域貢獻(xiàn)小。經(jīng)CAM得到的熱力圖可以幫助人們理解神經(jīng)網(wǎng)絡(luò)是否在查看圖像的適當(dāng)部位，進(jìn)一步處理可對(duì)圖像中的分類主要區(qū)域進(jìn)行定位。

Zhou等人［5］提出的CAM機(jī)制以及Selvaraju等人［13］提出的基于梯度加權(quán)的類激活映射（gradient-weighted class activation mapping，Grad-CAM）機(jī)制，都表明了圖像在進(jìn)行分類時(shí)其網(wǎng)絡(luò)中會(huì)包含目標(biāo)位置信息。CAM中采用全局平均池化層（global average pooling，GAP）［14］替代了分類模型的全連接層，從而將最后一層的卷積輸出轉(zhuǎn)換為了一維的分類向量。由權(quán)重矩陣表示每個(gè)特征圖對(duì)分類目標(biāo)的影響，最后通過權(quán)重矩陣與相應(yīng)的分類特征圖進(jìn)行線性加權(quán)，將其上采樣后輸入到原圖像中，得到目標(biāo)在圖像中的位置信息。

1.3 局部可視對(duì)抗樣本防御

針對(duì)局部可視對(duì)抗樣本的防御方法在近幾年有了進(jìn)一步的發(fā)展，Hayes［15］提出了一種基于圖像修復(fù)的對(duì)抗攻擊防御方法，并在對(duì)抗補(bǔ)?。?］與LaVAN［9］（localized and visible adversarial noise，LaVAN）兩種局部可視的對(duì)抗攻擊下進(jìn)行了防御測(cè)試，在不同的修復(fù)方法對(duì)比下都得到了不錯(cuò)的防御效果。但是這種防御方法對(duì)攻擊者的限制要求很大，防御手段嚴(yán)重依賴圖像的密集顯著區(qū)域，只要給予攻擊者一定的自由度就會(huì)導(dǎo)致繞過該防御。Naseer等人［16］采用局部梯度平滑（local gradients smoothing，LGS）的思想來防御局部對(duì)抗攻擊，同樣在兩種對(duì)抗樣本中進(jìn)行了防御測(cè)試。通過估計(jì)梯度域中的噪聲位置，在圖像送入深度神經(jīng)網(wǎng)絡(luò)之前正則化估計(jì)噪聲區(qū)域的梯度；通過抑制高頻區(qū)域而不影響對(duì)分類很重要的低頻圖像區(qū)域。Xu等人［17］提出了一種針對(duì)各種物理對(duì)抗攻擊的全面且輕量級(jí)的CNN防御（LanCe）方法，通過檢測(cè)出圖像中對(duì)結(jié)果影響最大的區(qū)域，將該區(qū)域和訓(xùn)練數(shù)據(jù)集中屬于預(yù)測(cè)標(biāo)簽的圖像區(qū)域進(jìn)行相似度對(duì)比。若是對(duì)抗樣本則將檢測(cè)出來的區(qū)域去除之后采用圖像復(fù)原的方法得到干凈樣本。但該方法需與自身的訓(xùn)練集進(jìn)行比較，且采用的修復(fù)手段較差，對(duì)最后的準(zhǔn)確性有所影響。McCoyd等人［18］提出了基于部分遮擋每個(gè)候選補(bǔ)丁位置周圍的圖像，以便一些遮擋完全隱藏補(bǔ)?。╩inority reports defense，MPD）的方法。防御思想是遮擋部分圖像，再對(duì)遮擋后的圖像進(jìn)行分類，遮擋的部分要比最大的對(duì)抗噪聲塊大，循環(huán)遮蔽圖像中的每一個(gè)部位，以期能夠?qū)⒋嬖趯?duì)抗噪聲塊的部位遮擋住再進(jìn)行分類。該方法需要對(duì)每一個(gè)被遮蔽的圖像進(jìn)行分類，計(jì)算難度大，資源浪費(fèi)大。

3.2 實(shí)驗(yàn)結(jié)果與分析

1）生成局部可視對(duì)抗樣本數(shù)據(jù)集 對(duì)抗樣本的攻擊成功率并不是100%，在不同的數(shù)據(jù)集下效果也不同。由于其中有些生成的對(duì)抗樣本的對(duì)抗性并不高，所以需要經(jīng)過目標(biāo)模型篩選，得到其中對(duì)抗性能強(qiáng)的樣本。

首先用兩種對(duì)抗攻擊分別攻擊不同的數(shù)據(jù)集，得到含有局部可視對(duì)抗樣本的數(shù)據(jù)集，再由模型對(duì)數(shù)據(jù)集進(jìn)行檢測(cè)，篩選出其中對(duì)抗攻擊性能強(qiáng)的樣本作為輸入集。表2為不同攻擊方法攻擊不同數(shù)據(jù)集的對(duì)抗攻擊成功率，LaVAN的攻擊成功率在miniImageNet數(shù)據(jù)集上優(yōu)于CIFAR-10數(shù)據(jù)集，對(duì)抗補(bǔ)丁方法在CIFAR-10上更有優(yōu)勢(shì)。兩種攻擊方法在miniImageNet數(shù)據(jù)集上的差距不大，在CIFAR-10數(shù)據(jù)集上卻有很大的差距。

2）本文方法的檢測(cè)結(jié)果分析 本文采取的特征壓縮方法有色位壓縮、圖像壓縮、空間濾波和聯(lián)合檢測(cè)。 由表3可知，本文的檢測(cè)方法中聯(lián)合檢測(cè)效果最好，檢測(cè)成功率都在95%以上。其中空間濾波的方法優(yōu)于色位壓縮與圖像壓縮，因?qū)乖肼晧K本身是非自然結(jié)構(gòu)且自身也是噪聲組成的，所以濾波的效果要高于另外兩種方法。聯(lián)合檢測(cè)效果高于其他單個(gè)特征壓縮的效果，經(jīng)分析發(fā)現(xiàn)不同的對(duì)抗樣本對(duì)不同的特征壓縮技術(shù)敏感性不同，因此聯(lián)合檢測(cè)效果更好。

兩種攻擊檢測(cè)的效果中，對(duì)抗補(bǔ)丁的檢測(cè)結(jié)果要優(yōu)于LaVAN。經(jīng)分析發(fā)現(xiàn)，LaVAN的對(duì)抗噪聲塊生成方式并不像對(duì)抗補(bǔ)丁方法一樣專注于對(duì)抗噪聲塊的本身。對(duì)抗補(bǔ)丁方法認(rèn)為局部可視性的噪聲塊使網(wǎng)絡(luò)模型作為主要目標(biāo)，注重于補(bǔ)丁自身的結(jié)構(gòu)，而對(duì)周圍區(qū)域的紋理有所忽略。LaVAN方法認(rèn)為網(wǎng)絡(luò)模型通常不會(huì)將局部可視噪聲塊作為對(duì)抗樣本的主要目標(biāo)，更加重視對(duì)抗樣本的攻擊性與整體圖像之間的關(guān)聯(lián)。因此CAM的定位效果在對(duì)抗補(bǔ)丁生成的數(shù)據(jù)集上略微優(yōu)于LaVAN生成的數(shù)據(jù)集，所以在對(duì)抗補(bǔ)丁下的防御成功率要高于LaVAN。

3）不同防御方法DSR對(duì)比 由表4可知，在CIFAR-10數(shù)據(jù)集中本文檢測(cè)方法的防御效果整體排在第二位，僅次于Hayes防御方法。在兩種對(duì)抗攻擊下的防御效果變化不大，整體幅度變化為0.4%，穩(wěn)定性相對(duì)其他方法強(qiáng)。Hayes方法對(duì)不同攻擊方法的防御率波動(dòng)最高為0.9%，其防御對(duì)象限制要求大，對(duì)稀疏的圖像樣本不敏感，本文采用的CAM實(shí)現(xiàn)定位功能，可適用于多種對(duì)抗樣本。LGS方法的防御能力排在中間，其防御率的波動(dòng)為0.8%。該方法通過估計(jì)梯度來定位圖像中的噪聲塊，與本文方法相比其定位準(zhǔn)確性略低。LanCe方法的防御情況最差，防御率的波動(dòng)情況相對(duì)穩(wěn)定，但防御時(shí)嚴(yán)重依賴于本地的樣本庫(kù)，需提前提取出樣本的特征值作為對(duì)比庫(kù)。本文方法無須與樣本庫(kù)進(jìn)行比對(duì)，可直接對(duì)輸入的樣本進(jìn)行檢測(cè)。MPD方法在不同的攻擊下雖然波動(dòng)較小，但是耗時(shí)卻最長(zhǎng)，因?yàn)樵摲椒ㄐ枰醚诖a遍歷整個(gè)圖像，導(dǎo)致計(jì)算量增大，尤其當(dāng)樣本越大，耗時(shí)越長(zhǎng)。本文有針對(duì)性地處理圖像中的噪聲塊，無須遍歷全圖，較之計(jì)算時(shí)間大大減少。在miniImageNet數(shù)據(jù)集對(duì)比中本文方法的防御能力最高，可防御95.8%的對(duì)抗補(bǔ)丁攻擊與95.2%的LaVAN攻擊，而且在兩種攻擊下的穩(wěn)定性也高于其他方法，防御成功率相差0.6%。

通過防御方法在不同數(shù)據(jù)集與不同攻擊方法下的防御成功率分析，本文方法與LGS在兩種不同的數(shù)據(jù)集下，其防御率的變化情況不大，除此之外的其他方法受數(shù)據(jù)集的影響較大。本文提出的方法穩(wěn)定性強(qiáng)于其他防御方法，在不同的數(shù)據(jù)集或不同的攻擊中其防御率變化不大，即有較強(qiáng)的通用性。本文方法在CIFAR-10數(shù)據(jù)集下不如Hayes方法，但是相差不大，而在miniImageNet數(shù)據(jù)集，本文方法優(yōu)于LGS方法。與其他防御方法相比，本文方法的防御成功率能保持在95%以上，對(duì)局部可視對(duì)抗樣本的攻擊能達(dá)到有效的防御效果。

4 結(jié)束語

本文針對(duì)局部可視對(duì)抗樣本提出了一種基于注意力機(jī)制的物理對(duì)抗樣本檢測(cè)方法，提高深度學(xué)習(xí)系統(tǒng)的魯棒性。本文將注意力機(jī)制與特征壓縮相結(jié)合，有針對(duì)性地處理對(duì)抗樣本中的噪聲塊，可有效排除樣本中其他區(qū)域的干擾。通過有效組合不同的特征壓縮算法，提高了對(duì)噪聲塊的處理能力，使其失去攻擊性。在不同的數(shù)據(jù)集下與其他對(duì)抗防御方法進(jìn)行實(shí)驗(yàn)對(duì)比，本文方法穩(wěn)定性更強(qiáng)，準(zhǔn)確率高，可有效地防御局部可視對(duì)抗樣本的攻擊。但該檢測(cè)方法會(huì)造成數(shù)據(jù)集中的樣本量減少，不適用于小樣本數(shù)據(jù)集中，因此如何將對(duì)抗樣本轉(zhuǎn)換為有效的干凈樣本，以確保數(shù)據(jù)集的數(shù)據(jù)量與完整性是下一步的研究重點(diǎn)。

參考文獻(xiàn)：

［1］Szegedy C，Zaremba W，Sutskever I，et al.Intriguing properties of neural networks［EB/OL］.（2013-12-21）.https：//arxiv.org/abs/1312.6199v1.

［2］Akhtar N，Mian A.Threat of adversarial attacks on deep learning in computer vision：a survey［J］.IEEE Access，2018，6：14410-14430.

［3］Brown T B，Mané D，Roy A，et al.Adversarial patch［EB/OL］.（2017-12-27）.https：//arxiv.org/abs/1712.09665.

［4］張嘉楠，趙鎮(zhèn)東，宣晶，等.深度學(xué)習(xí)對(duì)抗樣本的防御方法綜述［J］.網(wǎng)絡(luò)空間安全，2019，10（8）：93-101. （Zhang Jianan，Zhao Zhendong，Xuan Jing，et al.Summary of defense methods for deep learning against samples［J］.Cyberspace Security，2019，10（8）：93-101.）

［5］Zhou B，Khosla A， Lapedriza A，et al.Learning deep features for discriminative localization［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press， 2016：2921-2929.

［6］Nguyen A，Yosinski J，Clune J.Deep neural networks are easily fooled：high confidence predictions for unrecognizable images［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：427-436.

［7］Tabacof P，Valle E.Exploring the space of adversarial images［C］//Proc of International Joint Conference on Neural Networks.Pisca-taway，NJ：IEEE Press，2016：426-433.

［8］Sharif M，Bhagavatula S，Bauer L，et al.Accessorize to a crime：real and stealthy attacks on state-of-the-art face recognition［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press，2016：1528-1540.

［9］Karmon D，Zoran D，Goldberg Y.LaVAN：localized and visible adversarial noise［EB/OL］.（ 2018-01-08）.https：//arxiv.org/abs/1801.02608v1.

［10］Eykholt K，Evtimov I，F(xiàn)ernandes E，et al.Robust physical-world attacks on deep learning visual classification［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：1625-1634.

［11］Thys S，Van Ranst W，Goedemé T.Fooling automated surveillance cameras：adversarial patches to attack person detection［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2019：49-55.

［12］Jia Xiaojun，Wei Xingxing，Cao Xiaochun，et al.Adv-watermark：a novel watermark perturbation for adversarial examples［C］//Proc of the 28th ACM International Conference on Multimedia.New York：ACM Press，2020：1579-1587.

［13］Selvaraju R R，Cogswell M，Das A，et al.Grad-CAM：visual explanations from deep networks via gradient-based localization［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：618-626.

［14］Lin Min，Chen Qiang，Yan，Shuicheng.Network in network［EB/OL］.（2013-12-16）.https：//arxiv.org/abs/1312.4400.

［15］Hayes J.On visible adversarial perturbations amp; digital watermarking［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Washington DC：IEEE Computer Society，2018：1597-1604.

［16］Naseer M，Khan S，Porikli F.Local gradients smoothing：defense against localized adversarial attacks［C］//Proc of IEEE Winter Confe-rence on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2019：1300-1307.

［17］Xu Zirui，Yu Fuxun，Chen Xiang.LanCe：a comprehensive and lightweight CNN defense methodology against physical adversarial attacks on embedded multimedia applications［C］//Proc of the 25th Asia and South Pacific Design Automation Conference.Piscataway，NJ：IEEE Press，2020：470-475.

［18］McCoyd M，Park W，Chen S，et al.Minority reports defense：defending against adversarial patches［C］//Proc of International Conference on Applied Cryptography and Network Security.Cham：Springer，2020：564-582.

［19］Xu Weilin，Evans D，Qi Yanjun.Feature squeezing：detecting adversarial examples in deep neural networks［EB/OL］.（2017-04-04）.https：//arxiv.org/abs/1704.01155.

［20］Szegedy C，Vanhoucke V，Ioffe S，et al.Rethinking the inception architecture for computer vision［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：2818-2826.