基于雙邊濾波與自編碼器的對抗樣本防御方法

王 成，李永忠

（江蘇科技大學 計算機學院，江蘇 鎮江 212003）

0 引言

近年來，深度學習技術獲得前所未有的發展，在圖像分類［1］、無人駕駛、計算機視覺［2］和自然語言處理［3］等領域得到廣泛應用，不斷影響并改變著人們生活。然而，深度學習作為一個復雜的軟件系統，因其本身的脆弱性引發諸多安全問題［4］。對抗樣本攻擊就是問題之一，因其可以直接攻擊深度學習模型，直接導致模型以高置信度給出一個錯誤分類的結果，從而帶來巨大的負面影響。因此，針對對抗樣本攻擊的防御技術受到國內外學者的廣泛關注。

目前針對對抗樣本攻擊的防御方法包括：Dziugaite等［5］利用圖像壓縮方式，用壓縮的JPG 圖像減少擾動，從而保證分類的準確性，但該方法在壓縮圖像過程中會丟失很多原始圖像邊緣細節，導致原始圖片也會出現分類錯誤的情況；Zantedeschi 等［6］提出高斯數據增強方法，通過在原始數據上添加高斯噪聲并進行訓練，進而訓練出可識別噪聲的網絡模型，但對抗樣本噪聲會隨著網絡深度的增加而越來越強，隨機添加的噪聲卻不存在這一特性，因此實際防御效果不太理想。

針對以上問題，本文結合雙邊濾波與卷積降噪自編碼器理論建立一個對抗樣本防御模型，首先通過雙邊濾波器的保邊去噪特性［7-8］對加入對抗樣本的圖片進行初步去噪處理，同時保留圖片的邊緣紋理，然后通過卷積降噪自編碼器進行特征提取［9］，通過計算原始圖像與還原圖像之間的差距，得到最小化損失函數，從而還原原始圖像信息。實驗結果表明，在不影響原始數據分類的情況下，本方案對對抗樣本有較好的防御效果。

1 相關理論

1.1 對抗樣本

對抗樣本是由Szegedy 等［10］提出的，是指在自然圖片上人為添加經過精心設計的微小噪聲而得到的圖片。人眼在看對抗樣本時可以正確識別其中的區別，但分類模型會以高置信度給出錯誤的結果。

對抗樣本自提出以來已發展出多個研究方向，如從攻擊結果上，可分為定向攻擊和非定向攻擊；從攻擊內容上，可分為白盒攻擊、灰盒攻擊和黑盒攻擊。對抗樣本的攻擊方式有很多種，如Goodfellow 等［11］提出基于梯度的攻擊方法（Fast Gradient Sign Method，FGSM），只需單步迭代即可產生對抗樣本；Papernot 等［12］使用l0范數方式限制擾動，僅更改原圖像上極小的像素區域，即可產生有效的對抗樣本；Yuan 等［13］利用黑產方式讓違規照片繞過主流圖片檢測服務，更是將對抗樣本技術從實驗室研究引入網絡對抗實戰中。

本文選取Goodfellow 等［11］提出的FGSM（快速梯度法）生成對抗樣本，假設圖片原始圖像數據為x，模型分類結果為y，在原始圖像上添加肉眼難以識別的微弱擾動η，其數學公式為：

其中，ε為一個較小的常數，θ是網絡參數，J(θ,x,y)是損失函數，將添加擾動后的圖像數據值與權重值相乘，得到：

Goodfellow 等［11］指出，如果變化量與梯度方向一致，將會對分類結果產生較大影響。當x為n時，模型參數在每個維度的均值為m，每個維度變化量與梯度一致，最終輸出效果為εnm。雖然η很小，但累加后的輸出結果與原分類結果差別很大，將其作用在激活函數上，會有較大可能影響到分類結果。

1.2 雙邊濾波器

雙邊濾波是一種非線性濾波，其同時考慮圖像空間域與值域的影響，并解決了高斯濾波存在的在突變像素邊緣上邊緣被模糊的問題。

求解最優雙邊濾波去噪后的圖片N(x,y)，也即求解原始圖像I(i,j)在高斯距離權值ws(i,j)與高斯像素相似度權值wr(i,j)乘積作用下得到的最優結果。

在求解ws(i,j)與wr(i,j)時，需要分別考慮d與δ、ζ與c之間的空間距離差和像素差，以及σs與σr之間的相似度方差和空間方差。

進一步通過控制濾波的窗口范圍Ω，對圖片進行歸一化處理：

從而計算出經過雙邊去噪器去噪后的輸出圖片：

1.3 卷積降噪自編碼器

自編碼器是一種典型的無監督網絡模型，由編碼器、隱含層、解碼器組成，編碼器將輸入從高維轉為低維，解碼器再將數據從低維轉為高維并輸出，同時使用反向傳播算法進行微調，這就是自編碼器的數據壓縮及特征提取過程。

研究人員在對自編碼器進行研究的過程中，提出如降噪自編碼器［14］、稀疏自編碼器［15］、棧式自編碼器等多個變種模型，本文采用的卷積降噪自編碼器網絡結合了卷積神經網絡在圖像處理以及自編碼器在無監督學習中的優勢，能夠有效重構有損的輸入數據。實現方案為將加噪后的圖片作為輸入送入編碼器中，并進行卷積與池化操作，也即編碼過程，然后通過反卷積與反池化操作對數據進行還原重構，也即解碼過程。文獻［16］對卷積降噪自編碼器的卷積與池化過程、反卷積與反池化過程進行了詳細介紹。

在卷積降噪自編碼器中，假設加入噪聲后的輸入為x～，通過編碼器h對數據進行降維處理，利用激活函數S(·)產生編碼器第k個卷積核的輸出：

解碼器輸出為：

其中，b1、b2與W1、W2分別為編碼層和解碼層的偏置及權重，為了使隱含層盡可能保留原始數據特征，其代價函數表示為：

2 基于雙邊濾波與卷積降噪自編碼器的對抗樣本防御技術

根據上述理論，本文提出基于雙邊濾波與卷積降噪自編碼器的對抗樣本防御技術，其基本思想為：在獲取的數據集上添加對抗樣本擾動，之后對擾動后的圖片進行雙邊濾波保邊去噪，實現數據預處理的目的，再將處理后的圖片送入卷積自編碼器中進行訓練；通過反向傳播，對比輸出圖片與原始圖片的差距，計算損失函數，進行梯度下降迭代優化，更新參數權重；最后通過預訓練模型對輸出的圖片進行分類，對防御效果進行直觀展示。防御模型包括數據預處理、特征提取、模型分類3 部分。對抗樣本防御流程如圖1 所示。

Fig.1 Adversarial sample defense process圖1 對抗樣本防御流程

2.1 數據預處理模塊

首先將圖片數據集記載到模型中，將其轉換為tensor數據類型并進行后續運算，然后在數據集中添加FGSM 對抗樣本擾動，最后利用OpenCV 庫文件自帶的BilterFilter 函數對原始數據進行初步保邊濾波，完成數據預處理過程。

2.2 特征提取模塊

若將輸入數據設為X={x1,x2,…,xn}，定義好前向傳播的網絡參數，經過卷積降噪自編碼器輸出的數據為Z={z1,z2,…,zn}，通過MSELoss 函數計算輸出數據與輸入數據間的差值，通過梯度下降法更新整個網絡的權重參數。具體更新步驟如下：

Step3：根據上述步驟獲得更新后的權重，進而使得代價函數J(W,b)盡可能小。

2.3 分類模塊

基于前兩部分內容的鋪墊，最后利用卷積神經網絡（CNN）作為分類器［17］。被對抗樣本攻擊成功的數據通過本模型后成功實現去噪，其去噪后標簽值與原始值一致，則表明防御成功。對抗樣本分類還原流程如圖2 所示。

3 實驗結果分析

3.1 實驗數據預處理與參數設置

本實驗采用經典的圖像實驗數據集MNIST（手寫數字識別數據集），在實驗過程中選取20%的訓練集以及全部測試集進行測試驗證，并訓練一個結構如表1 所示的卷積神經網絡作為被攻擊的分類器，利用FGSM 攻擊算法在訓練集和測試集上添加無定向攻擊擾動。

Fig.2 Adversarial sample classification and restoration process圖2 對抗樣本分類還原流程

Table 1 Convolutional neural network structure表1 卷積神經網絡結構

本文通過訓練一個卷積降噪自編碼器，以防御對抗樣本攻擊。參考文獻［18］所述，本文將雙邊濾波器的顏色空間標準差值與坐標空間標準差值參數設置為20，從而進行圖像保邊濾波。卷積降噪自編碼器結構如表2 所示。

Table 2 Convolutional noise reduction autoencoder structure表2 卷積降噪自編碼器結構

3.2 實驗環境配置

算法運行環境為：Python 3.6.4，16.04.1-Ubuntu SMP，硬件配置為：CPU 8 核，12G 內存，NVIDIA Tesla-K80 GPU。

3.3 實驗評估指標

本文主要使用卷積降噪自編碼器網絡，在特征提取過程中，其重構數據與原始數據之間的均方誤差結果如圖3所示。由圖可以看出，隨著訓練時間的增加，均方誤差持續減小，表明本文使用的網絡能夠有效提取圖像數據特征。

Fig.3 Mean square error between reconstructed data and original data圖3 重構數據與原始數據之間的均方誤差

由于本文處理的是多分類數據集，所以主要通過準確率（Accuracy，ACC）對防御指標進行評測。本文進行了以下兩組實驗，以驗證該防御方法的有效性。

實驗一：為保證原始圖片經過濾波與自編碼器后，分類結果不受影響，本文采用l2范數對輸出圖片進行約束，設置FGSM 攻擊擾動系數為0.01。在MNIST 測試集上選取不同模型、處理方式，通過CNN 分類器進行分類的準確率對比如表3 所示。

Table 3 Comparison of classification accuracy of different models and processing methods表3 選取不同模型、處理方式的分類準確率對比

從表3 的結果來看，添加本模型后的原數據分類結果相比未添加模型的結果并沒有發生太大改變，并且可以看到，在原數據上添加對抗樣本擾動后，原分類準確率僅能達到10.81%，說明對抗樣本對模型的影響是巨大的。通過本模型訓練后，分類準確率直線上升到近乎未添加擾動的水平，證明了本模型具有較強的防御能力。

實驗二：為了驗證本文提出防御方法的有效性，將本文方法與其他學者提出的對抗樣本防御方法的準確率進行比較，包括文獻［19］提出的一種基于圖像總方差最小化與圖像拼接的對抗樣本防御方法Image quilting、文獻［20］提出的一種基于DCT 編碼器與對抗訓練的對抗樣本防御方法DCT-AT，另外本文也將未添加任何防御方法的結果加入對比中。當設置抗擾動系數ε在0.01～0.1 之間時，本文方法BF-CDAE 與其他方法的分類準確率對比如圖4 所示。

Fig.4 Comparison of classification accuracy of different defense methods圖4 不同防御方法分類準確率對比

從圖4 可以看出，本文提出的BF-CDAE 方法在不同的擾動值部分，分類準確率都高于其他防御方法，驗證了本文方法的可行性。

4 結語

隨著科技的進步，人工智能技術開始在人們生活中得到廣泛應用，但因其內部工作機理十分復雜，使得其應用的安全性受到人們關注，對抗樣本的存在更是敲響了人工智能安全方面的警鐘。一些學者通過優化機制建立具有對抗魯棒性的神經網絡，而另一些研究者則通過設計去噪模塊，過濾掉對抗性擾動以構建防御模型，從而達到相應的防御效果。

本文采用將雙邊濾波與卷積降噪自編碼器相結合的方式，可更深層次地濾除加入圖像的擾動，最大限度保證模型的魯棒性與分類準確性，并通過兩組實驗驗證了方案的可行性與有效性。后續將作進一步理論研究，將該模型運用到語音識別、惡意代碼入侵檢測等領域的對抗樣本防御中。