基于梯度復用的對抗魯棒性模型的加速

見玉昆

（安徽理工大學 計算機科學與工程學院，安徽 淮南 232001）

0 引 言

近年來，深度神經網絡（Deep Neural Networks，DNNs）已經在多個領域取得巨大的成就，例如圖像、音頻、文字，然而最近的工作表明強大的深度神經網絡模型在處理一種人眼不可察覺的噪聲時表現出脆弱性，這種針對模型設計的噪聲即為對抗樣本。

為了提高神經網絡分類器的對抗噪聲魯棒性，有大量的方法被提出來，有去噪、正則化、對抗訓練、剪枝、集成學習。經過長期研究后，學術界認為有效提高對抗魯棒性方法之一是對抗訓練。對抗訓練就是將對抗攻擊算法生成的對抗樣本作為訓練數據，這樣訓練出來的模型能夠抵御對抗樣本的攻擊，也就是具有了對抗攻擊魯棒性。

對抗訓練需要生成對抗樣本，而對抗樣本的生成方式有單步迭代的方式以及循環迭代的方式，前者的生成速度快、攻擊性差，后者的生成速度慢、攻擊性強。因此使用迭代的方式生成的對抗樣本訓練可以獲得更好的對抗魯棒，然而迭代意味著更高昂的計算成本，甚至在大型數據集上訓練一個魯棒模型在工業界變得不可行。

研究表明魯棒的模型相較于自然的模型需要更大的模型容量和更多樣的訓練數據，這對于模型部署是一個阻礙。模型壓縮是緩解這一問題的一種方法，對于自然模型的壓縮需要保證壓縮后的精度損失在可接受的范圍。然后對魯棒模型進行壓縮，需要同時保證良好的訓練精度和對抗精度，只是考慮自然精度進行模型壓縮有可能導致對抗精度降低。……