深度學習應用于網絡空間安全的現狀、趨勢與展望

張玉清 董 穎 柳彩云 雷柯楠 孫鴻宇

1(中國科學院大學國家計算機網絡入侵防范中心 北京 101408) 2 (西安電子科技大學網絡與信息安全學院 西安 710071) (zhangyq@nipc.org.cn)

近年來，硬件計算能力的強大和數據量的與日俱增，推動了深度學習(deep learning， DL)[1]的發展，使深度學習的實用性和普及性都有了巨大提升.深度學習是一種機器學習技術，其目的是通過經驗和數據改進計算機系統，實現機器學習的原始目標：人工智能(artificial intelligence， AI).深度學習使用多個非線性特征變換，即多層感知機(multi-layer perceptron， MLP)構成的處理層來對數據進行表征學習(representation learning)[2-3].深度學習已經應用于計算機視覺[4-5]、語音識別[6-8]、自然語言處理[9]、生物醫學[10]和惡意代碼檢測[11]等多個領域.

自2015年起，深度學習應用于網絡空間安全(cyberspace security)的研究逐步涌現，引起學術界廣泛關注.目前，深度學習主要應用于惡意軟件檢測和入侵檢測兩大網絡空間安全領域，與傳統的機器學習相比，深度學習提高了檢測效率、降低了誤報率.此外，深度學習算法擺脫了對特征工程的依賴，能夠自動化智能化識別攻擊特征，有助于發現潛在安全威脅.然而，現階段學術界對于深度學習應用于網絡空間安全的研究了解不夠深入和全面，基于此，本綜述對深度學習應用于網絡空間安全的研究進行討論，對其研究現狀和研究發展趨勢進行了分析，并對該領域的下一步研究方向進行了展望.

本文對深度學習應用于網絡空間安全領域的研究進行了分類，針對惡意軟件檢測和入侵檢測，主要從分類算法、特征提取和檢測效果等方面總結并比較了這些應用.目前，這些應用采用的深度學習分類算法主要有5種，包括深度神經網絡(deep neural network， DNN)、卷積神經網絡(convolutional neural network, CNN)[12]、循環神經網絡(recurrent neural network， RNN)[13]、深度信念網絡(deep belief network， DBN)[14]和自編碼器(autoencoder， AE)[15].同時，一些深度學習的網絡空間安全應用也使用RNN，AE，DBN進行深度學習模型的特征提取.

目前，這些應用存在的最大問題是健壯性差[16]，此問題廣泛存在于使用深度學習算法進行分類的網絡空間安全應用.比如，用于惡意軟件檢測和入侵檢測的深度學習模型，這些模型基于深度學習算法進行分類檢測，攻擊者通過惡意構造對抗樣本來對深度學習算法實施對抗攻擊，使目標深度學習模型實現攻擊者選擇的特定輸出[17].我們認為深度學習應用于網絡空間安全的研究存在的第二大問題是機密性差，此問題存在于所有基于多方協作的深度學習模型(multi-party collaborative deep learning models)應用，協作性模型是由多個數據源提供方在保證數據私有的前提下，共同訓練得到的更加準確的模型，然而，基于多方協作的深度學習模型易受隱私竊取攻擊，即模型易被惡意的一方利用來還原其他數據源提供的數據.

本文的貢獻有4個方面：

1) 將現有的深度學習應用于網絡空間安全的研究進行了總結分類，主要針對惡意軟件檢測和入侵檢測，從分類算法、特征提取算法和檢測效果等方面分析了這些應用的研究進展，總結出存在的問題和后續研究方向：特征選擇問題，需從原始數據(raw data)中提取更全面的特征；自適應性問題，可通過early-exit策略[18]對模型進行實時更新；可解釋性問題，可使用影響函數(influence functions)[19]得到特征與分類標簽之間的相關性.現有的深度學習的研究大多基于圖像處理，圖像是網格數據，而安全領域的數據主要是序列數據，即離散型數據.對于深度學習的生成型模型而言，離散型數據不利于梯度的傳遞，因此，在解決網絡空間安全領域所存在的問題時，需要借鑒現有深度學習的基于圖像數據的處理方法，并對離散型數據的處理方法進行再設計與再創新.

2) 基于對本領域最新文獻的深入調研，我們歸納總結了深度學習的研究面臨的十大問題與機遇.在此基礎上，我們首次歸納了深度學習應用于網絡空間安全的研究面臨的十大問題與機遇，按照這些問題的嚴重性從高到低，我們將這些問題分為3個層次：算法安全性(即算法脆弱性)、算法功能(即序列化模型相關問題)和算法性能.第1層是算法脆弱性問題，包括深度學習模型易受對抗攻擊和隱私竊取攻擊；第2層是序列化模型相關問題，包括程序語法分析、程序代碼生成和序列建模長期依賴問題；第3層是算法性能問題，即可解釋性和可追溯性問題、自適應性和自學習性問題、存在誤報以及數據集不均衡的問題，為后續的研究工作指出方向.

3) 分析了深度學習應用于網絡空間安全的研究存在的第一大問題，即基于深度學習進行分類的應用易受對抗攻擊，并將現有的針對深度學習模型的對抗攻擊及其防御措施進行了總結.我們指出了這些防御措施的局限性，并為更有效的防御方案指明方向：基于對抗訓練的防御.

4) 分析了深度學習應用于網絡空間安全的研究存在的第二大問題，即協作性模型的機密性差、易受隱私竊取攻擊以及泄露訓練數據或模型架構.總結與比較了現有的針對協作性模型的隱私竊取攻擊的防御措施，并指出了更有效的防御措施的研究方向.

1 深度學習模型

深度學習是機器學習的一個分支，深度學習模型不同于傳統機器學習模型：深度學習模型基于神經網絡，通過訓練調整神經網絡的參數，得到每一層的權重值，每層代表一種對輸入數據的表征，以此來將原始數據轉換為最簡單的表征[2].根據深度學習模型的使用場景，例如數據生成或數據識別，Deng等人[3]將深度學習模型分為三大類：生成模型(generative models)、識別模型(discriminative models)和混合模型(hybrid models).生成模型對數據進行模式分析，得到數據之間的高階相關性，用于生成新的數據，包括RNN，DBN，AE等；識別模型則具有模式分類和模式辨別能力，通常通過對標記數據的預測類的后驗分布進行表征，如CNN；混合模型是生成模型和識別模型的結合，基于生成模型來實現分類的目標，如DNN.深度學習應用于網絡空間安全的研究采用的分類算法主要有DNN，CNN，RNN，DBN，AE，本節簡要回顧這5種深度學習模型.

1.1 深度神經網絡

深度神經網絡(DNN)是典型的深度學習模型，其他深度學習模型都是在DNN的基礎上擴展而來的.DNN本質上是一個函數鏈，每個函數是一層，每層由神經元(neuron)組成.神經元之間由權重和偏差連接.在DNN的訓練過程中，通過最小化訓練數據集上的損失函數(loss function，error function或cost function)的值來確定權重和偏差[13]，即優化(optimization)技術.正則化(regularization)技術[2]用來避免DNN過擬合[20]，其目標是使訓練的模型與真實的數據生成過程相匹配.

1.2 卷積神經網絡

卷積神經網絡(CNN或ConvNet)[12]是指在網絡的至少一層中使用卷積運算來代替普通的矩陣乘法運算的神經網絡[2].卷積是一種特殊的線性運算.例如圖1所示的圖像識別任務，每個卷積對應圖像的不同特征.網絡低層的卷積傾向于學習圖像的簡單屬性，包括空間頻率、邊緣和顏色；高層卷積用于識別圖像的復雜屬性[21].卷積網絡每層通常包括3級：卷積級、探測級(detector)和池化級(pooling)[3,22].經典的CNN模型有LeNet[23]，AlexNet[3]，GoogleNet[24]，VGG[25]，ResNet[26]等.CNN的變體包括遞歸卷積網絡(RCN)[27]、疊加卷積AE[28]和卷積深度信念網絡(CDBN)[29]等.

Fig. 1 A convolutional neural network for image classification圖1 基于卷積神經網絡的圖像分類

1.3 循環神經網絡

循環神經網絡(RNN)用于處理序列數據，通常將序列劃分為小批量(minibatch)來操作，并使序列的所有時間步共享相同的權重，即實現自循環.文獻[30-32]相繼提出并改進了基于RNN的seq2seq(sequence-to-sequence)架構，用于將可變長度序列映射到另一個可變長度序列.雙向RNN(bidirectional recurrent neural network， BRNN)[33-34]用以同時學習當前時間點的未來和過去的序列數據，應用于手寫識別[35-36]、語音識別[37-38]和生物信息學[39]等領域.門控RNN(gated recurrent neural network， GRNN)解決了原始RNN存在的梯度消失(vanishing gradient)與梯度爆炸(exploding gradient)問題，包括長短時記憶單元(long short-term memory， LSTM)和門控循環單元(gated recurrent unit， GRU)[40-46].LSTM使自循環的權重取決于上下文的特質，使得LSTM在手寫識別與生成[36-38]、機器翻譯[31]、語音識別[38,47]和圖像標題生成[48-52]等領域成功應用.

1.4 深度信念網絡

深度信念網絡(DBN)由Hinton等人[14]提出，他們通過疊加若干限制玻爾茲曼機(restricted Boltzmann machine， RBM)[53]來構建DBN.普遍認為RBM是一種特殊的Markov隨機場(Markov random field)[54-55]，主要應用于特征學習[56-58]和數據生成[59-61]等方面.DBN和RBM都沒有層內連接，但是DBN具有多個隱藏層，單個隱藏層的隱藏單元之間存在連接.DBN是一種混合模型[62-63]，應用于圖像處理和癌癥預測[64-65]等諸多領域.文獻[66-69]優化了DBN在可擴展性、精度和靈活度等方面的性能.

1.5 自編碼器

自編碼器(AE) 主要用于學習數據的有用信息，過濾無用信息[70].自編碼器由一個編碼器(encoder)和一個解碼器(decoder)構成，可以在輸入端進行維度降低[71-72]來提高學習效率.AE的擴展有k-sparse AE[73]、去噪AE(denoising autoencoder)[74-78]、疊加去噪AE(stacking denoising autoencoder)[79]、收縮AE(contractive autoencoder)[80-81]和可分離深度AE(separable deep autoencoder)[82]等.

2 深度學習應用于網絡空間安全的研究現狀

機器學習在網絡空間安全領域的應用已有40多年的歷史，如貝葉斯、支持向量機(support vector machine， SVM)和邏輯回歸等算法，對于惡意行為檢測的研究具有重大貢獻.隨著計算機硬件技術的發展，深度學習算法在多媒體處理方面帶來突破性的成果，網絡空間安全領域的研究者也在嘗試將深度學習算法應用于惡意軟件檢測和入侵檢測等領域，相對于傳統的機器學習算法，深度學習提高了檢測效率、降低了誤報率，能夠自動化智能化識別攻擊特征，有助于發現潛在安全威脅.通過對網絡空間安全領域的文獻進行深入全面的調研，本文發現應用深度學習的網絡空間安全領域主要有惡意軟件檢測和入侵檢測，其中具有代表性的工作分別是文獻[11]和文獻[83].本節分別對深度學習應用于惡意軟件檢測、入侵檢測以及其他網絡空間安全領域的研究進展進行分析總結.

2.1 惡意軟件檢測

根據表征方法的不同，用于惡意軟件檢測和分類的深度學習模型可以分為靜態分析、動態分析和混合分析三大類.靜態分析技術從軟件及其反編譯后的代碼中直接提取特征，而無需實際運行軟件;動態分析技術在軟件執行期間觀察其行為;混合分析技術結合了靜態分析和動態分析的特點，即檢查軟件代碼特征，并觀察其執行行為.現有的基于深度學習的惡意軟件檢測方案，針對的惡意軟件運行系統可分為4類：Generic，Windows，Android，Flash.表1對這些方案的特征提取和分類算法進行了比較.這些工作的分類算法可分為6類，即DNN,CNN,AE,RNN,DBN以及非深度學習方法(如統計方法或者其他機器學習算法等)，下面按照分析技術和分類算法對這些工作進行分類介紹.

Table 1 Comparisons of Research on Malware Detection Using Deep Learning表1 基于深度學習的惡意軟件檢測研究的比較

Note: “√” means the corresponding feature extraction algorithm is applied; “×” means the opposite of “√”.

2.1.1 動態分析

根據惡意軟件運行系統的不同，基于動態分析技術的惡意軟件檢測方案可分為2類：Generic和Windows.其中，對Generic類型的惡意軟件檢測的工作是文獻[11,84-85].Dahl等人[84]首次將神經網絡應用于惡意軟件檢測，他們提出了具有隨機映射(random projection， RP)[99]功能的簡單前饋神經網絡，從可執行文件中提取出的特征集中學習.他們提取的特征包括API tri-gram，即3個連續的API調用序列、API調用參數以及從系統內存中得到的Nullterminated Objects，共179 000個初始特征，通過RP降維得到4 000個特征，使用DNN進行分類.二分類錯誤率是0.49%，多分類錯誤率(即識別惡意軟件所屬分類的錯誤率)是9.53%.他們表明DNN的準確率相比邏輯回歸有大幅提升.隨后，Huang等人[11]提出了MtNet，MtNet使用多任務學習(multi-task learning)和DNN，提取的特征與Dahl等人[84]相似.使用互信息進行特征提取，得到50 000個特征，再使用RP進行降維，得到4000個特征.他們使用的訓練集和測試集大小分別是4 500 000和2 000 000，具有當前惡意軟件檢測領域研究所使用的最大數據規模.二分類錯誤率和多分類錯誤率分別是0.358%和2.94%.DNN的隱藏層使用整流線性單元(rectified linear unit， ReLU)作為激活函數(activation function)，他們的研究表明，相比Sigmoid激活函數，使用ReLU時所需的訓練次數(epochs)減少了一半，并且使用Dropout技術可防止過擬合和降低錯誤率.Kolosnjaji等人[85]構建了基于卷積層和循環層的神經網絡，用于檢測動態分析得到的惡意軟件系統調用序列，在包含4 753個惡意軟件樣本的數據集上，該模型的檢測準確率是89.4%.

對運行于Windows系統的惡意軟件進行檢測的深度學習方案有文獻[86-91].其中，文獻[86-88]均使用RNN進行特征提取.Tobiyama等人[86]同時使用RNN和CNN進行特征提取.Pascanu等人[87]首次將RNN應用于惡意軟件檢測，他們提出了一個基于動態分析的2層架構的惡意軟件檢測系統：第1層是RNN，用于學習API事件的特征表示；第2層是邏輯回歸分類器，使用RNN學習的特征進行分類，然而誤警率(false positive rate, FPR)較高(10%).Athiwaratkun等人[88]在文獻[87]的基礎上提出了用LSTM和GRU進行惡意軟件檢測，并提出了使用CNN的字符級別的檢測方案.Wang等人[89]提取的特征是API調用序列，使用基于RNN-AE來實現數據降維，此外，他們使用了2個解碼器，其中一個用于生成惡意軟件的文件訪問模式(file access pattern， FAP)，另外一個用于惡意軟件的分類.惡意軟件的分類針對已知的惡意軟件，通過生成所有已知惡意軟件的FAP來檢測未知惡意軟件，惡意軟件檢測的錯誤率是1.6%.這2個解碼器通過監督學習進行訓練.該工作最大的貢獻是，通過FAP為實現深度學習模型的可解釋性(interpretability)提供了可能：當判斷出一個軟件為惡意軟件時，分類器會輸出其判斷依據，也就是該軟件代碼中具有惡意行為的API調用序列.然而，此方法只使用API調用序列作為特征，如何融合API調用參數和文件結構特征來改善模型，是一個技術難點.此外，生成FAP的解碼器使用監督學習，需要大量的惡意軟件的FAP來訓練分類模型，如何產生這些惡意軟件的FAP，也是需要解決的技術難點.文獻[86,89]都使用RNN進行特征提取，然而二者不同的是，文獻[86]采用RNN從日志文件中提取特征，日志文件中記錄了軟件的進程行為，包含API調用，還有操作結果、操作路徑和操作描述等文本信息，而文獻[89]僅使用了API調用序列.RNN訓練完成后，文獻[86]使用RNN提取的特征來生成特征圖像，并使用CNN對特征圖像進行分類，AUC值是96%.他們首次通過生成特征圖像的方法使得CNN應用于惡意軟件檢測，然而數據量不夠大，僅使用了81個惡意軟件日志文件和69個合法軟件的日志文件，該方法應用于大規模數據集時的有效性還有待驗證.

Hardy等人[90]將疊加去噪自編碼器(stacking autoencoder, SAE)應用于惡意軟件檢測，用SAE模型進行無監督的預訓練，采用后向傳播(back propagation)來調整模型頂層的參數.然而SAE的使用并沒有顯著提升檢測效果，準確率是95.6%.作者指出，稀疏的SAE或許可以提升檢測效果，因為特征矩陣是稀疏的.現有的深度學習的基于動態分析的惡意軟件檢測研究都是在軟件運行結束后，對其運行行為進行分析，Rhode等人[91]提出在惡意軟件運行的初期對其進行惡意行為的預測，他們使用RNN進行Windows PE文件的預測，數據集包含594個惡意樣本和相同數量的正常樣本.他們表明，根據軟件前4 s的運行行為，RNN對惡意軟件的預測準確率是91%，隨著觀察的運行時間的增長，RNN的預測準確率也隨之提高，根據前19 s的運行行為，RNN的準確率達到98%，而其他傳統機器學習算法達到的最高準確率僅有90%.

2.1.2 靜態分析

使用深度學習作為靜態分析工具來識別二進制文件中的函數，是許多二進制分析技術中非常關鍵的一步.此外，對于惡意軟件檢測、軟件漏洞防御和逆向工程等技術，直接對程序的二進制文件進行分析往往是最有效的.文獻[92-94]應用深度學習技術，研究了基于靜態分析的惡意軟件檢測：文獻[92]進行Android系統的惡意軟件檢測，文獻[93-94]針對的是Windows系統的惡意軟件檢測.

Nix等人[92]使用CNN作為分類器，通過API調用序列來檢測惡意軟件，CNN的準確率是99.4%，高于主要用于序列建模的LSTM(89.3%)，然而作者并未解釋其中原因.同時，深度學習算法效果也領先于機器學習算法：基于n-gram的支持向量機和樸素貝葉斯的準確率分別是66%和82%.Saxe等人[93]提出針對Windows PE文件的靜態惡意軟件分類系統，分類模型是包含2個隱藏層的DNN，選取了PE文件的4個類型的特征：字節頻率、二元字符頻率、PE Import Table以及PE元數據特征.分值校準模型(score calibration model)對DNN的輸出進行計算，求得每個軟件的異常值.系統載荷小、輕量級，但是作者并未展示增加隱藏層數量之后的效果，無法確定該系統擴展成深度模型的可行性.2015年USENIX會議上，Shin等人[94]提出通過判斷函數位置來進行惡意軟件檢測.他們使用RNN分析Windows二進制文件來檢測函數的開始和結束位置，檢測PE x86-64文件(portable execution file)的起止位置的F1值是99.38%.對于與訓練集中的二進制代碼相似的代碼，該方案可以識別出其函數起止位置，但是對于與訓練集差別很大的代碼，該方案無效，因為他們所采用的RNN是對于整個序列對象建模，所以檢測時觀察的對象是整個代碼序列.可能的解決方案是引入注意力機制(attention mechanism)，使RNN只關注影響檢測結果的那部分代碼序列，即使被檢測代碼和訓練集不相似，也不影響其檢測結果.

2.1.3 混合分析

混合分析技術被用來進行Android系統惡意軟件[95-97]和Flash惡意軟件的檢測[98].Droid-Sec[95]是一種基于深度學習的半監督的Android惡意軟件檢測系統，使用靜態和動態分析提取202個特征，包括使用權限和API以及動態行為.使用DBN進行無監督的預訓練，預先訓練的DBN使用后向傳播進行權值微調，準確率是96.5%.DroidDetector[96]改進了Droid-Sec，提供了在線的檢測系統供用戶測試，并且擴大了訓練集，以提取更精確的特征.HADM[97]為每個特征向量集訓練DNN，將DNN學習的特征與原始特征相結合，然后使用多核學習(multiple kernel learning， MKL)進行分類，準確率達到93.8%.Jung等人[98]介紹了一種惡意Flash的檢測方案，使用混合分析技術得到SWF文件的API調用序列等特征，實現了基于DNN的Flash惡意軟件檢測模塊的原型，準確率是100%.此外，David等人[100]將深度學習應用于生成惡意軟件簽名，通過疊加去噪AE構造DBN，生成惡意軟件行為的簽名.

2.2 入侵檢測

1992年，Debar等人[101]首次將神經網絡應用于網絡入侵檢測；2014年，Creech等人[102]首次將神經網絡應用于基于主機的入侵檢測.在此基礎上，應用深度學習模型的入侵檢測系統興起[103].應用深度學習進行網絡入侵檢測的工作大多基于KDD Cup 1999(KDD99)數據集[104].該數據集包含4 898 431條流量數據，每條數據包含協議類型、服務類型等41個特征，包含22種攻擊，這些攻擊可分為四大類：拒絕服務攻擊(denial of service， DoS)、遠程到本地的攻擊(remote to local， R2L)、用戶到遠程的攻擊(user to remote， U2R)和探測攻擊(probing).為了解決KDD99數據集存在的問題，Tavallaee等人[105]在KDD99數據集的基礎上提出了NSL-KDD[106]，該數據集刪除了KDD99中的一些冗余數據，其特征維度和攻擊類型與KDD99數據集相同.表2比較了現有的基于深度學習的入侵檢測方案的特征提取和分類算法，DBN和AE是主要的特征提取方法，而LSTM，DBN，AE是主要的分類算法.這些方案主要基于KDD99或者NSL-KDD數據集.

Table 2 Comparisons of Research on Intrusion Detection Using Deep Learning表2 基于深度學習的入侵檢測研究的比較

Note: “√” means the corresponding feature extraction algorithm is applied; “×” means the opposite of “√”.

在使用KDD99數據集的研究中，文獻[83,107-109]使用的分類算法分別是LSTM，GRU，DBN.文獻[110]先采用AE進行降維，然后采用DBN進行分類.Staudemeyer[83]首次使用LSTM進行網絡入侵檢測，輸入特征是KDD數據集原有的41個特征，輸出向量長度為5，包括4種攻擊和正常請求.Kim等人[107]使用LSTM在KDD99數據集上進行網絡入侵檢測并進行參數選取，取得了較高的檢測率(98.88%)和準確率(96.93%)，然而，LSTM的誤報率也偏高，達到了10.04%.作者猜想LSTM的初始權重值選取不當可能是導致誤報率較高的主要因素之一.Putchala[108]提出將GRU應用于物聯網領域的入侵檢測，然而僅在KDD99數據集上進行實驗，得到的準確率高于99%.Gao等人[109]首次將DBN作為分類模型應用于入侵檢測，驗證了DBN可以應用于入侵檢測的分類.同時，他們表明，參數調試(fine-tuning)和預訓練(pre-training)可大大提升DBN的檢測效果，誤報率是0.76%.Li等人[110]使用DBN進行特征提取的檢測率比單獨采用DBN進行分類時的檢測率高.他們展示了網絡架構、降維之后的特征個數、預訓練次數等不同的參數對于檢測效果的影響.

使用NSL-KDD的入侵檢測方案有文獻[111-115].Salama等人[111]首次將DBN作為生成模型應用于入侵檢測中的數據降維，使用SVM對降維之后的數據進行分類.他們的結果顯示，DBN-SVM結構比單獨的DBN或者SVM進行分類得到的準確率更高，同時，當采用SVM進行分類時，相比于主成分分析(principal component analysis，PCA)、卡方檢驗等降維方法，采用DBN進行降維時的檢測準確率最高.Niyaz等人[112]首先使用1-to-nencoding方法進行特征編碼，得到121個特征，然后使用Sparse AE進行無監督的降維，最后通過Softmax回歸來訓練分類器.將輸出類別分為3種情況：異常檢測(2類，包括正常類和異常類)、攻擊類別檢測(5類)和攻擊檢測(23類).Abolhasanzadeh[113]介紹了一種使用Bottleneck AE架構進行特征降維的方法，訓練時，該架構首先通過編碼器將輸入特征進行降維，生成Bottleneck特征，這些特征再通過解碼器進行特征還原，重現輸入特征.Bottleneck特征的個數就是Bottleneck層神經元的個數.Bottleneck AE降維效果優于PCA,kernel PCA以及因子分析.然而，作者并未指出在衡量降維效果時所采用的分類算法.Alom等人[114]也使用DBN進行入侵檢測中的分類，通過對特征進行數字編碼，并通過離差標準化(min-max normalization)，得到39個特征，測試集上的準確率是97.45%，優于DBN-SVM以及DBN的檢測效果，但是作者并未對其結果的提升原因做出明確說明.Aygun等人[115]提出隨機去噪自編碼器來進行入侵檢測，準確率是88.65%.

使用私有數據集或者其他公開數據集進行入侵檢測的工作有文獻[116-120].Wang[116]使用企業私有流量數據集，基于疊加自編碼器(stacked autoencoder， SAE)[79]對網絡流量按照協議進行分類，用于檢測未知協議的流量，即異常流量.Yu等人[117]和Wang等人[118]從原始數據中提取特征來進行入侵檢測與流量分類：Yu等人[117]使用空洞卷積自編碼器(dilated convolutional autoencoder， DCAE)來進行分類，準確率是98.8%，他們并未與傳統機器學習算法進行效果比較；Wang等人[118]將流量的每個字節轉換成像素，由此來把流量轉換為圖片，再將圖片作為CNN的輸入進行訓練與分類，得到的二分類和多分類準確率分別是100%和99.17%，由此可見，使用原始特征的效果要優于使用NSL-KDD和KDD99數據集中人工提取的特征的效果.然而，Yu等人[117]和Wang等人[118]均使用私有數據集進行測試，無法與其他方案進行直接對比.以上討論的均是基于網絡的入侵檢測方案，Kim等人[119]建立了基于主機的入侵檢測系統，使用多個LSTM對系統調用建立語言模型(language model);再將多個LSTM組合，通過對這些LSTM得出的異常值求平均值來判斷每個訪問是否是攻擊.Yu等人[120]提出了基于TCP，UDP，ICMP會話的僵尸網絡流量監測方案，使用疊加去噪自編碼器的檢測準確率是99.48%.

2.3 其他應用

除了惡意軟件檢測和入侵檢測，深度學習也應用于其他網絡空間安全領域：

1) 程序分析與漏洞挖掘.Zaheer等人[121]通過使用基于LSTM的語言模型實現了簡單的靜態分析器，該靜態分析器的目的是檢查程序中每個變量在調用之前是否被初始化，存在較高的誤報率，無法實際應用.Godefroid等人[122]首次將深度學習應用于程序漏洞挖掘，他們使用seq2seq架構來生成用于模糊測試(fuzzing test)的測試用例，進行PDF文件的漏洞挖掘.然而，這種方案依賴于大量的測試用例作為訓練集，包括合法輸入和可以觸發漏洞的輸入.觸發漏洞的輸入在實際中難以獲取，是該方案最大的局限性.

2) 密碼破解.Melicher等人[123]使用LSTM實現了輕量級的密碼破解器，作者將該密碼破解器壓縮并嵌入網頁，提高了破解速度，可用于測試用戶設置的密碼強度，與傳統的密碼破解方案相比，基于LSTM的密碼破解器可以在更短的時間內完成破解，然而，針對LSTM密碼破解器的超參數的選取，依然缺乏充分的理論分析.

3) 針對惡意軟件檢測系統的對抗攻擊與防御.2.1節介紹了將深度學習應用于惡意軟件檢測的諸多工作，文獻[124-127]則利用了深度學習算法的脆弱性，實現了針對這些基于深度學習進行分類的惡意軟件檢測系統的對抗攻擊；文獻[128]提出了對抗攻擊的防御，并將其應用于加固惡意軟件檢測的深度學習模型(見4.1節).

2.4 深度學習的安全應用研究小結

根據2.1～2.3節中深度學習應用于惡意軟件檢測和入侵檢測等網絡空間安全領域研究的分析，本節將該領域的研究進展從3方面進行總結.

2.4.1 特征選擇問題

深度學習應用于惡意軟件檢測和入侵檢測這2個領域的現有工作基本上都是使用現有數據集默認的特征來進行學習，如入侵檢測的工作均使用KDD或者NSL-KDD數據集已提取的41個特征，惡意軟件檢測的工作使用API調用序列等作為特征.這些特征不足以完全概括數據的全部特點，使用深度學習算法時，可以從原始數據入手對特征進行建模，以更好地利用深度學習算法調動硬件運算能力來提高學習效果.

2.4.2 特征學習問題

惡意軟件檢測和入侵檢測的對象是序列化數據，RNN，DBN，AE等算法被廣泛應用于這些數據的特征學習.然而現有工作更多關注于設計分類或者檢測的結構，對特征學習方面的深入研究甚少.文獻[89]對已知的惡意軟件特征進行學習，但是并未實現特征的可解釋性，即特征與攻擊行為的相關聯性.據調研，還未有網絡空間安全領域的工作實現了特征的可解釋性.目前較優秀的方案是采用影響函數[19](見3.1.1節)，該方案在圖像處理領域初有成效，實現深度學習在網絡安全空間應用的可解釋性，這方面研究的空白仍需填補.

2.4.3 自適應性問題

針對惡意軟件檢測和入侵檢測領域的研究，采用了DNN，CNN，RNN，DBN，AE等深度神經網絡架構，并且可以選取合適的優化算法和超參數，因此，深度學習算法效果相比傳統機器學習算法有較大提升.應用于未知的惡意行為的檢測時，提高了檢測率并降低了誤報率；應用于已知惡意行為的分類時，提高了分類準確率.然而，效果的提升帶來的是訓練以及測試時間的增長，不利于模型的及時更新.由于惡意代碼和入侵行為會隨著攻擊者攻擊技術的提升而更加難以檢測，檢測模型只有隨著安全威脅的演變自適應性地進行更新，才可以在第一時間全面檢測出新的安全威脅.深度學習模型具有訓練和測試時間長的特點，如何才能在保證高準確率和低誤報率的前提下，更加高效地訓練和測試深度模型、實現檢測模型的自適應性的問題，是深度學習應用于網絡空間安全研究面臨的重大難點，較有前景的方案是early-exit[18]，一種自適應性的深度學習模型更新策略(見3.2.2節).

綜上所述，現有的深度學習在這2個領域的應用研究相比傳統機器學習有較大提升，但仍需在3方面進行改善：1)特征選擇方面，從原始數據中提取更詳盡全面的特征；2)特征學習方面，還需實現特征與分類標簽相關性的可解釋性；3)自適應性方面，需要在保證高準確率和低誤報率的前提下，使模型可以自適應性地更新，來檢測變化的安全威脅.此外，深度學習應用于網絡空間安全的研究仍存在諸多問題，如算法脆弱性等問題，即分類模型易受對抗攻擊、協作性模型易受隱私竊取攻擊等，第3節分別對深度學習和深度學習應用于網絡空間安全的研究面臨的問題與相應的機遇進行分析.

3 問題與機遇

本文調研了2013年1月到2017年7月深度學習的高引論文、預印本數據庫arXiv中深度學習應用于網絡空間安全研究的論文，以及中國計算機學會CCF A類和CCF B類會議與期刊中該領域的論文，總計156篇，表3對這些論文進行了分類統計(注：由于一些論文涉及多個研究方向，故該統計存在重疊).基于調研的相關文獻，我們歸納總結了深度學習發展面臨的十大問題與機遇，在此基礎上，首次歸納了深度學習應用于網絡空間安全所面臨的十大問題與機遇.

Table 3 Number of Research Papers Investigated表3 本文調研的論文

3.1 深度學習發展面臨的十大問題與機遇

如表4所示，深度學習發展面臨的問題分為3類：1)神經網絡訓練技術難點，包括問題1～7；2)特征處理問題，即問題8；3)數據標簽獲取或者無監督學習技術難點，包括問題9～10.本節對這3類難點及其對應的問題和機遇展開分析.

3.1.1 神經網絡訓練技術難點

這類難點存在于不同的深度學習模型.問題1和問題3存在于所有判別型深度學習模型，問題1是模型對抗攻擊測試問題，深度模型易受對抗攻擊，即深度學習模型會被攻擊者利用，以實現攻擊者選擇的特定輸出或行為.因此，設計一個對抗攻擊框架是有意義的，該框架可以結合各種對抗樣本產生方法，以此來檢驗目標系統面對不同的對抗攻擊時的健壯性，以更好地設計防御措施來保護目標系統.問題3是模型可解釋性和可追溯性，深度學習模型輸出分類結果時，其依據對用戶往往是不可見的.普遍認為，深度模型的準確度與模型的可解釋性和可追溯性成反比[129]，在保障模型高準確率的前提下，如何提高模型的可解釋性和可追溯性，使人類從機器的決策中學到知識，是這2年深度學習領域的重點解決問題.2016年KDD會議上Ribeiro等人[130]提出模型的局部解釋性方案(local interpretable model-agnostic explanation， LIME)，方法是:對樣本在局部特征空間進行細微擾動，根據每次擾動之后的預測結果來得出特征與預測類別之間的關系.2017年ICML會議上Koh等人[19]實現了可追溯性，使用穩健統計學(robust statistics)中的影響函數，來得出訓練集中對測試樣本的預測類別影響最大的樣本.然而，這些方案的研究均處于起步階段，具有運算量大、復雜性高的特點.

Table 4 Top 10 Obstacles and Opportunities for Research on Deep Learning表4 深度學習的研究面臨的十大問題與機遇

問題2存在于所有協作性深度學習模型，即協作性模型易受隱私竊取攻擊、機密性差，目標模型的訓練集或者架構參數等會被攻擊者惡意獲取(見第6節).問題4～5存在于所有深度學習模型.問題4，即神經網絡優化中的全局最小值點問題，在訓練神經網絡的過程中，由于損失函數往往非凸(nonconvex)，容易使算法陷入局部最小值點，很難找到一個全局最小值點，使得損失函數值最低.目前對于深度學習中的非凸優化問題，只有很少的理論分析，可以考慮選取使成本值盡可能低的點來解決非凸優化問題[2,131].問題5，目前有關改進初始化策略的研究還不夠完備，對于初始偏差的選取，大多數情況下設置為0，對于初始權重的選取，傳統的觀念是采用較小的隨機值，較小的初始權重雖然有利于正則化，但是不利于優化過程中的信息傳遞，目前人們仍然沒有很好地理解初始權重值對模型泛化能力的影響.可選的方案是將初始權重的數值范圍設置為超參數，通過超參數搜索方法來確定這些參數的范圍[2].問題6存在于生成型深度學習模型.簡單的人機對話已經實現，然而，為了讓計算機的回答具有常識性，就需要深度學習模型能夠記憶大量與概念相關的事實并進行描述，可選的方案是記憶網絡(memory networks)[132-133].雖然RNN及其許多變體都具有記憶機制，但是RNN把狀態及其權重壓縮為一個低維向量，造成原始數據的信息損失，而記憶網絡包含一個可以實現超長序列的記憶模塊，其記憶能力優于RNN.

問題7針對生成式對抗網絡(generative adversarial network， GAN).GAN由Goodfellow等人[134]在2014年提出，屬于深度學習模型中的混合模型，包含一個生成器(generator)和一個識別器(discriminator)，生成器用于學習真實的數據分布來生成逼真的數據，判別器用于判別數據是真實的還是生成器生成的.GAN采用博弈論的納什均衡思想，訓練優化目的是實現生成器和識別器之間的納什均衡.GAN自從提出，其強大的生成新樣本的能力引起了國內外學者廣泛關注[135]，出現了許多變體，在理論和應用上均對原始的GAN有所擴展，如C-GAN[136]，Semi-GAN[137]，Bi-GAN[138]，Info-GAN[139]，AC-GAN[140]，Seq-GAN[141]，DC-GAN[142]，LAP-GAN[143]，LSTM-GAN[144]，VAE-GAN[145]，W-GAN(Wasserstein GAN)[146]，其中最優秀的是W-GAN，解決了原始GAN存在的諸多問題.針對GAN中，生成器和識別器的納什均衡狀態實現困難的問題，可選方案是將生成器的生成過程層次化，逐層完成生成過程[147-148].LAP-GAN[143]首次采用了層次化的思想，他們將GAN與Laplacian pyramid的層次化表征相結合，先生成分辨率低的圖片，再逐漸的向圖像添加細節，提高圖片的分辨率.

訓練技術難點包含的問題中，前5個問題均與網絡空間安全領域直接相關，因為這些問題涉及用于分類的深度學習模型，可以用于網絡空間安全領域中的異常檢測等;問題6～7涉及生成型深度學習模型，均與網絡空間安全領域間接相關：在對深度學習的網絡空間安全應用進行對抗攻擊測試時，可以借助生成型深度學習模型來產生對抗樣本.

3.1.2 特征處理技術難點

特征處理技術難點是問題8，即習得的特征解釋性差.特征解釋性指，對數據特征與數據所屬類別內在關聯之間的可解釋性(見3.2.3節).在網絡空間安全研究中，需要找出對惡意行為檢測貢獻較大的特征，也就是說，包含何種特征的軟件是惡意軟件的可能性比較大.

3.1.3 數據標簽獲取和無監督學習技術難點

問題9，無監督學習雖廣泛應用于降低維度和聚類，其效果仍落后于監督學習，然而，無監督學習不依賴于樣本標簽的特點，使其依然對于深度學習的研究具有強大的誘惑力：在網絡空間安全領域中，異常行為或者攻擊行為出現的幾率遠遠小于正常行為，因此網絡空間安全領域的數據集具有正常樣本和異常樣本數量比例嚴重失衡的特點，在進行監督學習時，正負樣本比例失衡會影響訓練效果，采用無監督學習進行網絡空間安全領域的異常檢測不需要樣本標簽，避免了樣本比例失衡帶來的影響.現有的無監督深度學習的研究主要集中于生成型深度模型，應用無監督深度學習進行分類的理論分析較少，可以考慮在現有的無監督生成型深度模型(如DBN，RBM)上加以改進，實現判別型無監督深度模型.問題10，現有的針對深度學習的研究，主要集中于監督學習，監督學習依賴于海量的已標記的數據，雖然海量數據在現實中容易獲取，然而其標簽的獲取卻成為一個難點，可選的解決方案是使用不同的數據源提供的有標簽的數據，即使用分布式數據源(見第5節).

3.2 深度學習應用于網絡空間安全的研究面臨的十大問題與機遇

通過對深度學習應用于網絡空間安全的研究相關的文獻進行調研，我們總結出深度學習應用于網絡空間安全的研究面臨的十大問題與機遇，如表5所示.按照這些問題的嚴重性從高到低，本文將這些問題分為3個層次，即算法安全性、算法功能和算法性能.1)算法安全性.即算法脆弱性問題，網絡空間安全應用對算法的安全性要求極為嚴苛，深度學習算法存在的脆弱性會使算法存在受到對抗攻擊和隱私竊取攻擊的潛在風險，影響模型的完整性、機密性和健壯性.因此，我們認為這是深度學習的網絡空間安全應用首先應解決的基礎性問題.2)算法功能.即序列化模型相關問題，在算法安全性得到保障的基礎上，序列建模問題應該得到關注，因為基本上所有的網絡空間安全數據都是序列化數據，所有的安全應用，如程序分析、漏洞挖掘和惡意代碼檢測等，均依賴于序列建模.3)算法性能.在算法安全性和算法功能實現的基礎上，算法性能應得以關注，如算法自適應性、可解釋性、特征選取、降低誤報以及數據集均衡等問題.下面對這些問題其對應機遇展開分析.

Table 5 Top 10 Obstacles and Opportunities for Research on Deep Learning Applied to Cyberspace Security表5 深度學習應用于網絡空間安全的研究面臨的十大問題與機遇

3.2.1 算法脆弱性

深度學習屬于機器學習的范疇，因此深度學習算法與機器學習算法具有相同的脆弱性[1-2]，包括表5中的問題1～2.問題1，分類模型易受對抗攻擊，即深度學習模型會被攻擊者利用，以實現攻擊者選擇的特定輸出或行為.可選的防御方案是對抗訓練(見第4節).對抗攻擊是深度學習領域近2年的研究熱點，其研究熱度呈現上升趨勢，2017年NIPS會議新增了基于Kaggle平臺的“對抗攻擊與防御”的競賽議程[149].問題2，協作性模型易受隱私竊取攻擊，即目標模型的訓練集或者架構參數等會被攻擊者惡意重現或獲取，可選的防御方案是教師學生模型(見第5節).

3.2.2 序列化模型相關問題

很多網絡空間安全領域的數據都是序列化數據，如系統調用序列和網絡請求數據載荷等，因此網絡空間安全領域的數據分析需要借助序列化模型，與序列化模型相關的問題包括表5中的問題3～5.問題3，程序語法分析及程序語言生成，可以通過深度學習的序列生成模型實現，如記憶網絡和DBN等.程序語法分析對于生成合法的程序至關重要.Zaheer等人[121]實現的基于LSTM的語言模型存在較高的誤報率，無法實際應用.問題4，漏洞挖掘.Godefroid等人[122]提出基于seq2seq架構來生成用于模糊測試(fuzzing test)的測試用例，需要大量可以觸發漏洞的測試用例，這是該方案最大的局限性.同時，對合法程序樣本進行建模時，這些樣本往往是超長序列，可使用能夠對超長序列進行記憶的模型，如記憶網絡.問題5，循環網絡存在序列化建模長期依賴的問題：循環網絡采用鏈式法則(chain rule)計算網絡中每層的梯度，鏈式法則的本質是連乘操作，當連乘的梯度大部分都很小(比如小于1)，乘積會衰減到0，造成梯度消失；當連乘的梯度大部分都很大(比如大于1)，乘積會趨于無窮，造成梯度爆炸.梯度消失和梯度爆炸都會為優化損失函數造成困難，使學習陷入不穩定的狀態.LSTM通過引入門(gate)機制解決了梯度消失問題，使用遺忘門(forget gate)、外部輸入門(external input gate)和輸出門(output gate)來控制信息的傳遞，使用相加操作來進行梯度計算，替換了原始RNN中使用的連乘操作，有效避免了梯度消失.最簡單的梯度爆炸解決方案是梯度截斷(gradient clipping)[150]，然而梯度截斷無法解決梯度消失，為了使非LSTM的網絡也可以擺脫梯度消失的問題，可以使用正則化項[150]，使得梯度在傳遞的過程中維持在一個幅度范圍內.

3.2.3 算法性能問題

深度學習應用于網絡空間安全的研究面臨的算法性能問題包括表5中的問題6～10.問題6是深度學習的自適應性和自學習性問題，由于安全威脅會隨著時間演變，使得一成不變的檢測模型無法檢測出最新的威脅，這就要求檢測惡意行為的安全應用具有自適應性和自學習性，來適應變化的安全威脅和攻擊技術.可選的措施是時間間隔性的模塊化模型訓練，2016年CVPR會議上，Andreas等人[151]指出，首次將模型訓練完成之后，后續訓練只需要對前期學習的特征和模型進行再利用，建立基于再利用和模塊化程序的元學習系統，以此來提升模型訓練效率.此外，2017年ICML會議上，Bolukbasi等人[18]指出，并不是所有的數據都需要完整的DNN進行分類，并提出一種自適應的early-exit策略，來決定對樣本類別進行預測時，是否要繞過DNN中的某些層，此外，他們還提出一種對于復雜樣本的網絡選擇策略.對于每個樣本，通過層與層之間進行加權二分類來判斷預測該樣本時，應選取early-exit策略還是網絡選擇策略.問題7是可解釋性和可追溯性差：深度學習模型對惡意數據段的解釋性差，如惡意軟件檢測和入侵檢測時，深度模型判斷出一個軟件或者訪問請求是惡意時，該軟件或請求很可能含有一些惡意的API調用或者惡意的字段，然而深度模型并沒有給出任何與判斷結果相關的惡意數據段信息.可能的解決方案是采用影響函數和注意力機制，注意力機制中的權重值機制使得不同的數據段對判別結果的重要性具有可見性(見3.1.1節).此外，深度學習應用于網絡空間安全的研究還面臨特征選擇，存在誤報以及正負樣本比例失衡的問題.問題8，特征不夠全面，入侵檢測的工作均直接使用KDD或者NSL-KDD數據集已提取的41個特征，這些特征不足以全面獲取數據的信息，因此，直接從原始數據中提取特征，會盡可能多地保留數據的信息，得到更精確的模型.問題9，誤報問題，可通過預訓練和參數微調來減少誤報.問題10，正負樣本比例失衡，即惡意樣本數量遠小于合法樣本數量，可采用GAN來產生惡意樣本[124-127].

在以上十大問題中，前2個問題與深度學習應用于網絡空間安全的研究的安全性緊密相關，其余問題與深度學習算法的訓練效果和性能相關.問題1廣泛存在于使用深度學習算法進行分類的安全應用：這些應用均具有基于深度學習的分類模塊，這些分類模塊易受對抗攻擊，即分類模型會被攻擊者利用，以實現攻擊者選擇的特定輸出.問題2存在于所有使用協作性深度學習模型進行分類的安全應用，這些應用易受隱私竊取攻擊，模型易被惡意的一方利用來還原其他數據源提供的數據.綜上所述，問題1和問題2分別針對安全應用的健壯性和機密性，因此，本文認為前2個問題是深度學習的安全應用研究領域亟待解決的重大問題.第4節和第5節對這兩大問題進行詳盡分析，并討論可能的解決方案.

4 問題1：易受對抗攻擊

機器學習的局限性之一是用于分類的深度模型易受對抗樣本(adversarial examples)的影響[152-155].作為機器學習的一個分支，深度學習繼承了機器學習的易受對抗攻擊的缺陷[17,156].對抗樣本是由攻擊者構造的，目的是使目標模型對其進行錯誤分類.對抗樣本利用了機器學習的2個缺陷性：利用有限訓練集訓練得到的模型，具有未完全泛化(imperfect generalization)[69]的特性，即泛化能力差，以及學習模型組件的線性特質[157].圖2 中的對抗樣本示例1和示例2展示了使用AlexNet[4,156]生成的對抗樣本.原始圖像(original)被攻擊者修改，向原始圖像添加微小的失真或擾動[158](distortion or perturba-tion)，使得DNN將原始圖中每個圖都識別為鴕鳥(ostrich).對于人類來說，原始圖像和攻擊者偽造的對抗圖像是無法用肉眼辨別的.無人駕駛汽車可能使用DNN來識別交通標志[159]，如果攻擊者偽造的“STOP”標志導致DNN錯誤分類，汽車則不會停止，容易導致交通事故.在網絡空間安全領域，比如網絡入侵檢測系統使用DNN作為分類器時，若偽裝成合法請求的惡意請求繞過了入侵檢測系統，會使目標網絡的安全性受到威脅.

Fig. 2 Adversarial example crafting[156]圖2 對抗樣本構造[156]

4.1 對抗攻擊目標

對抗性深度學習(adversarial deep learning)是近2年的熱點研究領域.對抗攻擊目標的本質是造成目標模型進行錯誤分類.基于文獻[160]，我們將對抗攻擊目標分成4類:1)非針對性輸出(non-targeted output).使目標分類器輸出的樣本分類為與原始類不同的任意類.2)針對性輸出(targeted output).使目標分類器輸出的樣本分類為與原始類不同的特定類.3)非針對性構造(non-targeted crafting).構造對抗樣本，并且使目標分類器輸出的這些對抗樣本的分類為與原始類不同的任意類.4)針對性構造(targeted crafting).構造對抗樣本，并且使目標分類器輸出的這些對抗樣本的分類為與原始類不同的特定類.不同的對抗攻擊，需要攻擊者掌握的關于目標深度模型的信息也不同，這些信息在文獻[160]中稱作對抗性知識(adversarial knowledge)，包括模型架構(目標模型的參數、損失函數和激活函數等)、訓練數據和模型查詢(即目標模型對攻擊者具有可得性，攻擊者可對目標模型進行輸入并得到相應輸出).

4.2 對抗樣本構造

攻擊者利用已經訓練完成的目標DNN來構造對抗樣本，不會影響目標DNN的訓練過程.目前有4種方法來構造針對DNN的對抗樣本：

1) L-BFGS[156].L-BFGS是一種通過優化函數遍歷由模型表示的流形(manifold)，并在輸入空間(input space)中搜索對抗樣本的方法.通過對正確分類的輸入圖像添加細微擾動來獲得對抗樣本，從而使得目標DNN誤判這些對抗樣本.

2) Deepfool[161].使用Deepfool的理想前提是目標DNN是完全線性的，即存在可分割不同類別數據的超平面.Deepfool分析得到簡化分類問題的最優解，并在此基礎上構建對抗樣本.然而，由于神經網絡實際上不是線性的，只能朝著最優解逐步搜索，并重復該搜索過程.當找到真正的對抗樣本時，搜索終止.

3) Fast Gradient Sign[157].該方法得益于損失函數的梯度符號矩陣(sign matrix)，在損失函數梯度變化的方向上尋找對抗樣本，并用輸入變化參數(input variation parameter)來控制損失函數梯度變化的幅度.輸入變化參數越大，構造的對抗樣本被錯誤分類的可能性越大，但更容易被察覺.Kurakin等人[162]改進了Fast Gradient Sign方法，他們并沒有沿梯度符號的方向采用單個輸入變化參數，而是采用多個較小的輸入變化參數.

4) Jacobian-based Saliency Map[160].該方法使用Jacobian矩陣來評估模型對每個輸入特征的敏感度；然后用Adversarial saliency map選擇擾動，通過組合其Jacobian矩陣，將每個輸入特征對誤分類目標的貢獻排序來獲取對抗樣本.

總之，Deepfool類似于L-BFGS，但產生的對抗樣本的空間分布更緊湊.最近提出的Fast Gradient Sign和Jacobian-based Saliency Map的共同點是：當模型對輸入樣本的變化十分敏感時，更容易計算得到導致錯誤分類的最小擾動，使得擾動后的樣本不易被肉眼察覺，攻擊更具有隱蔽性.Fast Gradient Sign的特性是，可以快速構造具有較大擾動的對抗樣本，卻更容易被目標模型察覺.

4.3 對抗攻擊

根據實施攻擊是否需要了解目標模型的架構和參數，本文將針對DNN的對抗攻擊(adversarial attacks)分為白盒攻擊和黑盒攻擊.使用4.2節中介紹的4種方法來構造對抗樣本，都需要攻擊者了解目標模型的架構和參數，因此被視為白盒攻擊.

Papernot等人[163-164]提出使用Fast Gradient Sign和Jacobian-based Saliency Map這2種方法對未知的目標DNN模型進行黑盒攻擊，攻擊者無需了解目標模型的參數架構信息和訓練數據，就可以使目標模型對輸入進行誤分類：攻擊者通過查詢目標模型來對刻意構造的樣本進行標記，從而迭代生成一個標記的數據集，并使用該數據集訓練替代模型(substitute model)，通過替代模型來構造目標模型錯誤分類的對抗樣本.黑盒攻擊依賴于對抗樣本的跨模型傳遞性(cross-model transferability).傳遞性[164-165]指的是，即使2個分類器具有不同的體系結構或者是在不相交的數據集上進行訓練的，用其中一個分類器產生的對抗樣本也可能導致另一個分類器也對該樣本進行錯誤分類.圖3是一個跨模型傳遞率矩陣，第i行第j列的值代表使用分類器i構造的對抗樣本中，使得分類器j錯誤分類的對抗樣本所占的百分比，也稱作傳遞率(transferability rate).由圖3得知，跨模型傳遞性并不局限于針對DNN構造的對抗樣本，而是適用于多種機器學習技術；此外，邏輯回歸的自身傳遞率最高，遠遠優于DNN對于對抗樣本的自身傳遞率.由文獻[163]可知，傳遞率越高顏色越深，即傳遞率為0時是白色，傳遞率是100%時是黑色.

Fig.3 Cross-model transferability[163]圖3 跨模型傳遞性[163]

Moosavi-Dezfooli等人[166]表明每個模型存在通用擾動(universal perturbations)，他們使用ImageNet[167]訓練了不同的深度模型，發現使用通用擾動產生的對抗圖像可以在這些模型之間傳遞.Liu等人[168]全面研究了黑盒攻擊的傳遞性，同時研究了非針對性和針對性的對抗樣本，以及3種現有的基于單一模型搜索對抗樣本的方法：基于優化的方法、Fast Gradient Sign和Fast Gradient.他們表明，雖然很容易找到可傳遞的對抗樣本，但使用現有方法生成的對抗樣本幾乎不會與其針對的標簽一起傳遞，也就是說，雖然不同的模型會對這些針對性對抗樣本進行誤判，但是無法統一誤判得到的樣本類別.他們還提出使用聯合(ensemble)模型來生成可傳遞的對抗樣本，這使得大部分針對性對抗樣本首次在不同模型之間傳遞.Liu等人[168]改進了此前Papernot等人[163-164]和Moosavi-Dezfooli等人[166]提出的黑盒攻擊.與Papernot等人[163-164]提出的黑盒攻擊相比，Liu等人[168]實現的攻擊使用聯合分類器來生成對抗樣本，不需要從目標模型查詢標簽，而Papernot等人[163-164]提出的攻擊需要從目標模型查詢標簽.此外，Moosavi-Dezfooli等人[166]僅研究了非針對性的對抗樣本的可傳遞性，而Liu等人[168]同時研究了非針對性和針對性的對抗樣本的傳遞性，測試了ImageNet數據集的在不同模型上的可傳遞性.

現有的對抗攻擊的研究大多是基于網格數據的，主要是圖像數據，最近，針對序列數據的對抗攻擊研究逐步涌現，促進了網絡空間安全領域的對抗攻擊研究，如針對惡意軟件檢測系統的對抗攻擊.Hu等人[124]提出MalGAN來生成惡意軟件的對抗樣本.MalGAN包括3個DNN模型，分別是生成器、判別器和替代模型.MalGAN借助對抗樣本的傳遞性，使用GAN來構造一個可以模擬判別器的替代模型，生成API調用序列構成的惡意軟件的對抗樣本，用來繞過惡意軟件檢測系統.在隨后的工作中[125]，他們用RNN代替了MalGAN中所使用的3個DNN，與此類似的工作是文獻[126].這些工作均實現的是黑盒攻擊.Papernot等人[169]使用Fast Gradient Sign和Jacobian-based Saliency Map算法，生成針對LSTM的對抗樣本，Grosse等人[127]使用與Papernot等人[169]相同的2種對抗樣本生成方法，來生成安卓惡意軟件的對抗樣本.文獻[127,169]需要攻擊者了解目標模型參數，屬于白盒攻擊的范疇.

4.4 對抗攻擊的防御

現有的針對對抗攻擊的防御措施主要有5種：Defensive distillation[170]、預處理、正則化、對抗訓練以及拒絕對抗樣本，本節分別介紹這些防御措施：

4.4.1 Defensive distillation

2016年IEEE S&P會議上，Papernot等人[170]提出Defensive distillation.Defensive distillation是Distillation[171]算法的擴展，為被保護的原始模型訓練一個Distilled的模型，他們表示Distilled的模型將對抗樣本的攻擊成功率從95%降低至0.5%.訓練Distilled的模型時，輸入是訓練原始模型所需的樣本集合，樣本標簽是原始模型輸出的這些樣本的分類置信度(soft labels).2017年IEEE S&P會議上，Carlini等人[172]在他們之前工作[173]的基礎上提出了3種對抗攻擊，攻擊者可以使用模型的一些參數來還原Defensive distillation的效果，使得Defensive distillation無效.Hosseini等人[174]在黑盒模型中研究了Defensive distillation方法，并證實它不會提高分類器的健壯性.原因是當輸入數據的一些特征被修改之后，Defensive distillation便無效.最近，Papernot等人[175]提出了擴展的Defensive distillation：訓練Distilled的模型時，訓練數據的標簽不僅包括了原始模型輸出的這些樣本的分類置信度，還有這些樣本的分類標簽(hard labels).他們指出，Defensive distillation引發了gradient masking現象[176]，即只是破壞攻擊所需的損失函數梯度，并沒有從實質上解決模型的錯誤，因此無法抵御Carlini等人[172]提出的攻擊的原因，而擴展的Defensive distillation解決了這一問題.

4.4.2 預處理

2017年KDD會議上Wang等人[128]提出random feature nullification，在DNN的訓練和測試階段隨機丟棄一些特征，使DNN具有不確定性，攻擊者難以判斷出保留下來的特征，則難以生成對抗樣本.相對于原始模型，丟棄了一部分特征之后訓練得到的模型的準確率有所降低.他們還提出另外一種防御對抗攻擊的方案[177-178]：在DNN前面加一個不可逆的數據轉換模塊來進行數據降維，降維之后的數據是不可還原的，然后將這些數據輸入DNN進行訓練或者測試.這種對特征進行預處理的方法雖然有效，但是作者表示這種方法會損失模型的準確度.

4.4.3 正則化

Gu等人[179]提出了深度收縮網絡(deep contractive network， DCN)來抵御對抗攻擊，他們采用的正則化方法使用平滑度懲罰(smoothness penalty)來進行訓練，Ororbia等人[180]采用擴展版的深度收縮自編碼器來抵御對抗攻擊.Lyu等人[181]使用一組聯合的正則化方法來規范模型的訓練過程.除了這些工作以外，文獻[182-183]也使用了正則化的方法來抵御對抗攻擊，然而，正則化方法雖然有助于抵御對抗攻擊，但是依然會使模型的效果(如準確度)略微變差.

4.4.4 對抗訓練

Szegedy等人[156]認為對抗訓練可以使模型更安全，對抗訓練的核心是構造虛擬對抗樣本(virtual adversarial example)[184]，虛擬對抗樣本指的是由訓練完備的模型提供標簽構造的對抗樣本，對抗訓練指的是把虛擬對抗樣本注入訓練集來訓練要防御的模型.對抗訓練使模型對合法樣本和對抗樣本的分類性能逐漸提高，得到的模型具有更高的健壯性，能更有效地防御對抗攻擊.最近，Tramèr等人[185]提出聯合對抗訓練(ensemble adversarial training)，將多個預先訓練好的模型產生的虛擬對抗樣本注入訓練集，Na等人[186]也提出了與此相近的理念.文獻[187-191]指出，對抗訓練雖有效，但仍然不能完全抵擋對抗樣本，主要因為在對抗訓練過程中，需要把所有可能的虛擬對抗樣本涵蓋在訓練集合中，然而這是不現實的，導致了對抗訓練的局限性.

4.4.5 拒絕對抗樣本

拒絕對抗樣本指的是，通過對測試樣本進行檢測，檢測器直接丟棄被判定為具有對抗性的測試樣本，阻止對抗樣本訪問被保護的分類器.Hosseini等人[174]提出了一種訓練方法：訓練模型區分合法樣本和對抗樣本，直接丟棄對抗樣本，僅對合法樣本進行分類預測，然而該方案容易產生誤警(false positives).Metzen等人[192]通過附加一個檢測子網來觀察原始分類網絡的狀態，以更全面地區分合法樣本和對抗樣本.Lu等人[193]提出SafetyNet，SafetyNet由分類器和攻擊檢測器組成，如果檢測器聲明一個樣本是對抗性的，則該樣本被攻擊者檢測器拒絕，不再被分類器分類.

4.5 對抗攻擊的防御措施研究進展小結

對抗性環境下的攻擊分為白盒攻擊和黑盒攻擊，前者需要攻擊者掌握目標系統的架構及參數信息(甚至訓練數據)，通過這些信息使用梯度下降算法構造對抗樣本.現有的構造對抗樣本的方法有4種：L-BFGS，Deepfool，Fast Gradient Sign，Jacobian-based Saliency Map.攻擊者可使用這些方法，生成目標系統的對抗樣本.黑盒攻擊并不需要攻擊者了解目標系統的信息，通過構建一個替代模型來模擬目標模型，并使用替代模型來構造對抗樣本.黑盒攻擊的出現，大大提高了防御難度.

我們將現有的對抗攻擊防御措施存在的問題和下一步研究方向總結為3點：1)對目標模型參數的依賴問題.白盒模型使用的防御措施為，改變目標模型梯度傳遞過程，然而黑盒攻擊使用替代模型來構造對抗樣本，并不依賴于目標模型的梯度傳遞過程，使白盒模型的防御措施無效.2)拒絕對抗樣本造成的誤報.目標系統直接丟棄置信度較低的可疑對抗樣本，不對其進行分類，使得攻擊者無從下手.然而，目標模型也有可能拒絕合法樣本，這樣會造成目標系統的可用性降低.因此，選擇一個合適的可識別對抗樣本的方案是一個亟需解決的重點難點問題.3)對抗訓練.根據本節的分析，我們得出的結論是，只有提高模型自身健壯性的方案，才可以最有效地防御對抗攻擊.其他基于梯度的方案，如預處理、正則化和拒絕對抗樣本等，都不能從根本上加固目標系統的健壯性，使目標系統依然存在安全隱患.對抗訓練是目前最有效的提高模型健壯性，抵御對抗攻擊的方案.對抗訓練的主要方法是在訓練過程中，利用訓練完備的模型生成虛擬對抗樣本，將虛擬對抗樣本加入訓練集，迭代這個過程，遍歷所有存在的虛擬對抗樣本.然而，在實際中，找到所有的虛擬對抗樣本具有很大難度，是對抗攻擊防御領域亟需攻克的難題.

5 問題2：協作性模型易受隱私竊取攻擊

在深度學習領域，普遍認為數據量越大，訓練得到的模型越準確，由于網絡安全活動的固有特征，即正常行為的數量遠遠超過惡意行為的數量，網絡安全領域的數據集具有嚴重的不均衡性.用不均衡的數據集訓練出的模型往往會擬合樣本數量較多的樣本類，也就是正常行為類，使模型產生嚴重偏倚.因此，為了使模型更精確，能夠檢測出更多類型的惡意行為，不同的數據提供方往往需要協作來擴大數據量，尤其是惡意行為數據量.對于工業界，目前企業的安全防控業務依賴于大數據，然而企業只處理自己私有的數據，不同企業之間并未對這些數據進行共享，造成了企業數據的封閉性.為了打破這種數據封閉性的狀態，可選的2種方案是集中式數據源和分布式數據源.傳統的集中式數據源，需要多個數據源的數據集中在某個數據操作方，這樣會暴露很多數據源的隱私，集中式的數據源存在的隱私風險使其對于很多領域，尤其是網絡空間安全領域不再適用，取而代之的是協作性數據源.2017年8月底，Akamai，Cloudflare，Flashpoint，Google，Oracle Dyn，RiskIQ，Team Cymru等公司的安全團隊協作發現了一種新的僵尸網絡WireX[194].WireX出現于2017年8月初，主要包含十幾萬臺實施DDoS攻擊的Android僵尸設備.這次的協作使得WireX在第一時間被檢測出，將其帶來的危害降至最低，協作研究對于安全威脅檢測以及風險控制的作用可見一斑.

將協作性模型與深度學習相結合，通過多個數據源之間協作來訓練更加精確的協作性深度學習模型，在保證不同企業之間數據獨立性的基礎上，不同的企業之間可以實現安全模型的共享，任何一個安全模型學習到的知識都可以在第一時間內共享給其他協作的企業，使所有企業的安全防御體系得以加強，共同防御風險.然而，協作性模型依然會受到模型反演攻擊(model inversion attacks)[195]、污染攻擊(poisoning attacks)[196]等隱私竊取攻擊的威脅，網絡空間安全領域對數據機密性的要求較為嚴苛.若遭受攻擊，比如入侵檢測中用到的流量數據，會暴露目標網絡的一些重要的配置信息；網站的請求數據，會暴露網站架構以及用戶的一些敏感隱私內容，因此安全廠商對于數據的機密性保護給予了高度重視.下面分析了針對基于深度學習的協作性模型面臨的攻擊，以及可能的防御措施.

5.1 隱私竊取攻擊

現有的針對協作性模型的隱私竊取攻擊分為3種：

1) 模型反演攻擊[195].機器學習法具有容易過擬合的缺陷，即模型會隱性記憶一些過擬合的訓練數據，2015年CCS會議上，Fredrikson等人[195]提出的模型反演攻擊就利用了機器學習算法這一缺陷.對于使用敏感數據訓練的模型，模型反演攻擊基于梯度下降技術，可以從深度學習模型中重現訓練數據：針對人臉識別分類器，使用置信度值可重現訓練數據中的人臉圖像樣本.一個可能的防御措施是降低從模型獲取的梯度信息的精度.

2) 污染攻擊[196].在協作性深度學習環境中，多個用戶協作生成更準確的模型，這些用戶相互之間是不信任的.攻擊者或者惡意的用戶方惡意篡改這些用戶的輸入來誤導模型，也就是對協作深度學習模型實施污染攻擊.Shen等人[196]提出Auror來抵御污染攻擊，Auror的核心思想是污染的訓練數據影響了數據的模糊特征(masked features)的分布.協作的用戶把原始數據構造得到的模糊特征提交給服務器，由服務器生成全局模型.服務器通過檢查這些模糊特征來發現攻擊.

3) 使用GAN的信息竊取.Hitaj等人[197]提出了一種針對協作性深度學習模型隱私保護機制的攻擊，攻擊者通過訓練GAN，生成與目標訓練數據分布相同的無限逼近合法樣本的假樣本.

5.2 針對隱私竊取的防御

現有的深度學習模型的隱私保護方法是差分隱私(differential privacy)[198-199]，差分隱私保證了使用2個不同版本的數據集(比如這2個數據集之間存在一個不相同的樣本)訓練深度學習模型時，模型的輸出不會出現明顯的統計差異，此處的樣本代表用戶隱私.差分隱私的目的是，允許研究者在不泄露單個樣本信息的前提下，對一個數據集整體進行分析，比如了解數據集的均值、方差等統計學信息.其原理是，給數據集中注入擾動(也叫噪音)[200]，擾動越大，對數據集整體的隱私保護效果就越好，然而，數據的可用性卻越差.因此，擾動大小的選取，需要在隱私保護效果和數據可用性之間折中[201].

根據部署差分隱私階段的不同，深度學習模型中實現差分隱私的方法可以分為基于測試階段的防御方法和基于訓練階段的防御方法.Xie等人[202]提出了一種測試階段的防御方法，他們使用同態加密(homomorphic encryption)[203]來加密數據，目的是允許神經網絡處理數據的同時不對其進行解密，因此可以保護單個輸入的機密性.主要的局限在于性能開銷過大，以及同態加密對目標深度學習模型有額外約束.

文獻[204-208]介紹了使用訓練階段的差分隱私方法.2016年USENIX會議上，Ohrimenko等人[204]提出了一個隱私保護的多方機器學習系統(multi-party machine learning system).他們提出一種可應用于神經網絡的數據遺忘算法(data-oblivious algorithm).數據遺忘算法用于防止由內存、磁盤和網絡訪問引起的間接隱私泄露.Shokri等人[205]提出隱私保護的分布式隨機梯度下降(stochastic gradient descent，SGD)算法，描述了多方在聯合輸入端訓練深度神經網絡的方法.他們使用的假設是，各方訓練自己的模型，彼此之間并不共享數據，僅在訓練期間交換中間參數.他們指出深度模型可以通過擾動參數的多方計算進行訓練，并提供差分隱私保證.然而，該技術提供的隱私保證范圍是根據大量參數給出的，大量參數不利于提供有力的隱私保證.2016年CCS會議上，Abadi等人[206]提出通過引入時間計算(moments accountant)減小有噪音的SGD引起的隱私損失.然而，應用于文獻[205-206]中協作深度學習模型的差分隱私無法抵御Hitaj等人[197]提出的基于GAN的攻擊，因為差分隱私模型的訓練只與某些特定特征相關聯，差分隱私最多可以防止這些特征的重現.基于文獻[206]中的時間計算技術，2017年ICLR會議上，Papernot等人[207]改進了保護訓練數據隱私的機器學習模型[208]，提出了一種為訓練數據提供強有力的隱私保證的方法.該方法首先學習一組用不同的敏感數據集訓練的模型，這些模型不公開，被用作教師模型(teacher model).教師模型對公開的未標記的非敏感數據進行預測，用于訓練學生模型(student model).此策略確保學生模型不依賴于任何敏感的訓練數據集，即使攻擊者可以獲取學生模型的參數，仍然無法獲取任何關于敏感訓練數據的信息.然而，此方法的前提是存在可用的未標記非敏感數據，文獻[205-206]無需此前提.

5.3 深度學習的隱私保護研究進展小結

深度學習的隱私保護已經出現多種不同的方案，這些方案都存在不同的局限性，現將這些局限性和下一步研究方向總結如下：1)弱化模型性能的問題.數據遺忘算法[204]和分布式SGD算法[205-206]都是訓練階段采用的隱私保護手段，主要原理是梯度下降的過程中對模型的參數進行擾亂.此方法雖然可以保護數據隱私，然而代價是大大弱化了深度學習的學習性能.2)負載高.現有的基于梯度的防御措施都需要存儲大量參數，對硬件的存儲要求較高，使得系統負載巨大.如何減少運算過程中所需的參數，仍然是個難點問題.3)對非敏感數據的依賴性.目前避免了以上2個問題的防御方案是教師學生模型[207]，然而其用到半監督學習，需要大量的非敏感數據來訓練學生模型，因此，如何使脫敏數據仍然保持原本的數據分布，是亟需解決的下一個挑戰.

6 未來研究展望

深度學習應用于網絡空間安全方面的研究是近2年來的研究熱點，對于計算機系統和網絡安全有非常重要的意義，受到廣泛關注.然而將深度學習應用到諸如二進制數據分析和代碼分析等網絡空間安全領域的研究處于起步階段，結合目前深度學習應用于網絡空間安全的研究存在的問題，我們指出4個未來的研究方向：

1) 防御對抗攻擊

現有的基于分類的深度學習模型易受對抗攻擊，然而對抗攻擊及其防御技術目前主要的研究領域是圖像處理，據調研，深度學習應用于網絡空間安全領域面臨的對抗攻擊及其防御措施的研究基本上處于空白.防御措施的研究方向是對抗訓練，搜索到全部可能的虛擬對抗樣本來擴充訓練集，是對抗訓練的難點問題.

2) 防御針對協作性模型的攻擊

協作性深度學習模型通過多個數據源之間協作來訓練更加精確的模型，通過加密措施，使不同數據源的數據對彼此是不可見的，不僅保護了數據隱私，也實現了擴大數據量的目的.然而，協作性深度學習模型依然受到模型反演攻擊、污染攻擊等隱私竊取攻擊.可能的研究方向是教師學生模型，然而該模型需要大量的非敏感數據來訓練學生模型，但是脫敏數據很容易破壞原始數據的分布情況，該難點也亟需克服.

3) 特征學習

深度學習模型對網絡空間安全數據直接進行分類時的性能，相比于機器學習模型，并沒有太大提高，因此，不提倡直接使用深度學習模型對網絡空間安全數據進行分類，應首先智能化學習有效特征.此外，大規模的數據，如二進制代碼等，進行手工特征提取也是不實際的.因此，將深度學習應用于提取有效特征也是一個值得探索的方向.

4) 可解釋性

深度學習算法帶來高準確率的代價是較差的可解釋性，也就是說，深度模型判斷出一個軟件或者訪問請求是惡意時，并不給出任何與判斷結果相關的惡意數據段信息.可能的解決方案是采用影響函數和注意力機制，該機制中的權重值機制使得不同的數據段對判別結果的重要性具有可見性.

7 結束語

隨著深度學習在不同領域的進步，攻擊者正在尋求方案來繞過深度學習模型的限制，并利用深度模型實現其惡意目標.深度學習應用于網絡空間安全的研究是近2年來的研究熱點，仍然處于起步階段.本文中，我們首先介紹了深度學習的網絡空間安全研究涉及的深度模型；其次總結了深度學習在網絡空間安全領域的應用，如惡意軟件檢測、入侵檢測等，并歸納了其發展趨勢以及存在的問題；隨后，我們分別列出了深度學習以及深度學習應用于網絡空間安全的研究面臨的十大問題與機遇，并介紹了深度學習應用于網絡空間安全的研究存在的2個最嚴重的問題，即分類模型易受對抗攻擊和協作性模型易受隱私竊取攻擊，以及相應的防御方案的研究方向.我們建議在部署深度學習的網絡空間安全應用時，應全面檢測該應用對于不同的對抗攻擊和隱私竊取攻擊的抵抗能力，結合多種方法來提高模型的健壯性和機密性.

致謝感謝賓夕法尼亞州立大學邢新宇教授在本文綜述書寫過程中參與討論并給出建議!

[1]LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444

[2]Goodfellow I, Bengio Y, Courville A. Deep Learning[M]. Cambridge, MA: MIT Press, 2016: 528-566

[3]Deng Li, Yu Dong. Deep learning: Methods and applications[J]. Foundations and Trends in Signal Processing, 2014, 7(34): 197-387

[4]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2012, 60(2): 2012-2025

[5]Taigman Y, Yang Ming, Ranzato M A, et al. Deepface: Closing the gap to human-level performance in face verification[C]Proc of the 29th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2014: 1701-1708

[6]Dahl G E, Deng Li, Yu Dong, et al. Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition[J]. IEEE Trans on Audio, Speech, and Language Processing, 2012, 20(1): 30-42

[7]Sainath T N, Vinyals O, Senior A, et al. Convolutional, long short-term memory, fully connected deep neural networks[C]Proc of the 39th IEEE Int Conf on Acoustics, Speech and Signal. Piscataway, NJ: IEEE, 2015: 4580-4584

[8]Sak H, Senior A, Beaufays F. Long short-term memory based recurrent neural network architectures for large vocabulary speech recognition[J]. Computer Science, 2014, 9(3): 338-342

[9]Collobert R, Weston J. A unified architecture for natural language processing: Deep neural networks with multitask learning[C]Proc of the 25th Int Conf on Machine Learning. New York: ACM, 2008: 160-167

[10]Cruz-Roa A, Ovalle J E A, Madabhushi A, et al. A deep learning architecture for image representation, visual interpretability and automated basal-cell carcinoma cancer detection[C]Proc of the 9th Int Conf on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2013: 403-410

[11]Huang Wenyi, Stokes J W. MtNet: A multi-task neural network for dynamic malware classification[C]Proc of the 5th Int Conf on Detection of Intrusions and Malware, and Vulnerability Assessment. Berlin: Springer, 2016: 399-418

[12]LeCun Y, Jackel L D, Boser B, et al. Handwritten digit recognition: Applications of neural network chips and automatic learning[J]. IEEE Communications Magazine, 1989, 27(11): 41-46

[13]Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive Modeling, 1988, 5(3): 533-536

[14]Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554

[15]Hinton G E, McClelland J L. Learning representations by recirculation[C]Proc of the 1st Int Conf on Neural Information Systems. Cambridge, MA: MIT Press, 1987: 358-366

[16]Papernot N, McDaniel P, Sinha A, et al. Towards the science of security and privacy in machine learning[OL]. 2016[2017-07-12]. https:arxiv.orgpdf1611.03814.pdf

[17]Nguyen A, Yosinski J, Clune J. Deep neural networks are easily fooled: High confidence predictions for unrecognizable images[C]Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 427-436

[18]Bolukbasi T, Wang J, Dekel O, et al. Adaptive neural networks for efficient inference[C]Proc of the 34th Int Conf on Machine Learning. New York: ACM, 2017: 527-536

[19]Koh P W, Liang P. Understanding black-box predictions via influence functions[OL]. 2017[2017-08-11]. https:arxiv.orgpdf1703.04730.pdf

[20]Srivastava N, Hinton G E, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958

[21]RSIP. Deep learning and convolutional neural networks: RSIP vision blogs[EBOL]. 2016 [2017-08-18]. http:www.rsipvision.comexploring-deep-learning

[22]Deng Li. Three classes of deep learning architectures and their applications: A tutorial survey[J]. APSIPA Trans on Signal and Information Processing, 2012, 11(2): 1132-1160

[23]LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324

[24]Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 37-46

[25]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[OL]. 2014[2017-08-02]. https:arxiv.orgpdf1409.1556.pdf

[26]He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 770-778

[27]Eigen D, Rolfe J, Fergus R, et al. Understanding deep architectures using a recursive convolutional network[J]. Computer Science, 2014, 10(2): 38-55

[29]Krizhevsky A, Hinton G. Convolutional deep belief networks on cifar-10[J]. Unpublished Manuscript, 2010, 7(6): 1007-1020

[30]Cho K, Van Merriёnboer B, Gulcehre C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[J]. Computer Science, 2014, 10(2): 187-205

[31]Sutskever I, Vinyals O, Le Q V. Sequence to sequence learning with neural networks[J]. IEEE Trans on Signal Processing, 2014, 4(2): 3104-3112

[32]Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. Computer Science, 2014, 7(2): 109-136

[33]Schuster M, Paliwal K K. Bidirectional recurrent neural networks[J]. IEEE Trans on Signal Processing, 1997, 45(11): 2673-2681

[34]Graves A. Supervised Sequence Labelling with Recurrent Neural Networks[M]. Berlin: Springer, 2012: 4-38

[35]Graves A, Liwicki M, Bunke H, et al. Unconstrained on-line handwriting recognition with recurrent neural networks[C]Proc of the 29th Conf on Neural Information Processing Systems. Piscataway, NJ: IEEE, 2007: 458-64

[36]Graves A, Schmidhuber J. Offline handwriting recognition with multidimensional recurrent neural networks[C]Proc of the 30th Int Conf on Neural Information Processing Systems. Piscataway, NJ: IEEE, 2008: 545-552

[37]Graves A, Schmidhuber J. Framewise phoneme classification with bidirectional LSTM and other neural network architectures[J]. Neural Networks, 2005, 18(5): 602-610

[38]Graves A. Generating sequences with recurrent neural networks[J]. Computer Science, 2013, 10(3): 30-45

[39]Baldi P, Brunak S, Frasconi P, et al. Exploiting the past and the future in protein secondary structure prediction[J]. Bioinformatics, 1999, 15(11): 937-946

[40]Gers F A, Schmidhuber J, Cummins F. Learning to forget: Continual prediction with LSTM[J]. Neural Computation, 2000, 12(10): 2451-247

[41]Cho K, Van Merriёnboer B, Bahdanau D, et al. On the properties of neural machine translation: Encoder-decoder approaches[J]. Computer Science, 2014, 7(2): 103-111

[42]Chung J, Gulcehre C, Cho K H, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[OL]. 2014 [2017-08-11]. https:arxiv.orgpdf1412.3555

[43]Chung J, Gulcehre C, Cho K, et al. Gated feedback recurrent neural networks[C]Proc of the 32nd Int Conf on Machine Learning. New York: ACM, 2015: 2067-2075

[44]Jozefowicz R, Zaremba W, Sutskever I. An empirical exploration of recurrent network architectures[C]Proc of the 32nd Int Conf on Machine Learning. New York: ACM, 2015: 2342-2350

[46]Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780

[47]Graves A, Jaitly N. Towards end-to-end speech recognition with recurrent neural networks[C]Proc of the 31st Int Conf on Machine Learning. New York: ACM, 2014: 1764-1772

[48]Kiros R, Salakhutdinov R, Zemel R S. Unifying visual-semantic embeddings with multimodal neural language models[J]. Computer Science, 2014, 10(3): 137-152

[49]Vinyals O, Toshev A, Bengio S, et al. Show and tell: A neural image caption generator[C]Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 3156-3164

[50]Xu K, Ba J, Kiros R, et al. Show, attend and tell: Neural image caption generation with visual attention[C]Prof of the 32nd Int Conf on Machine Learning. New York: ACM, 2015: 2048-2057

[51]Vinyals O, Kaiser, Koo T, et al. Grammar as a foreign language[C]Proc of the 28th Conf on Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2015: 2773-2781

[52]Pascanu R, Gulcehre C, Cho K, et al. How to construct deep recurrent neural networks[J]. Computer Science, 2013, 6(5): 90-109

[53]Salakhutdinov R, Mnih A, Hinton G. Restricted Boltzmann machines for collaborative filtering[C]Proc of the 24th Int Conf on Machine Learning. New York: ACM, 2007: 791-798

[54]Salakhutdinov R, Hinton G. Deep Boltzmann machines[J]. Journal of Machine Learning Research, 2009, 5(2): 196-2006

[55]Rozanov Y A. Markov Random Fields[M]. Berlin: Springer, 1982: 55-102

[56]Elfwing S, Uchibe E, Doya K. Expected energy-based restricted Boltzmann machine for classification[J]. Neural Networks, 2015, 64(2): 29-38

[57]Mnih V, Larochelle H, Hinton G E. Conditional restricted Boltzmann machines for structured output prediction[C]Proc of the 27th Conf on Uncertainty in Artificial Intelligence. Berlin: Springer, 2011: 514-522

[58]Taylor G W, Hinton G E, Roweis S T. Two distributed-state models for generating high-dimensional time series[J]. Journal of Machine Learning Research, 2011, 12(3): 1025-1068

[59]Hinton G. A practical guide to training restricted Boltzmann machines[J]. Momentum, 2010, 9(1): 926-937

[60]Tang Yichuan, Salakhutdinov R, Hinton G. Robust Boltzmann machines for recognition and denoising[C]Proc of the 27th Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 2264-2271

[61]Li Guoqi, Deng Lei, Xu Yi, et al. Temperature based restricted Bzoltzmann machines[J]. Scientific Reports, 2016, 6(2): 191-210

[62]Nair V, Hinton G E. 3D object recognition with deep belief nets[C]Proc of the 22nd Conf on Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2009: 1339-1347

[63]Indiveri G, Liu S. Memory and information processing in neuromorphic systems[J]. Proceedings of the IEEE, 2015, 103(8): 1379-1397

[64]Liao Bin, Xu Jungang, Lü Jintao, et al. An image retrieval method for binary images based on DBN and softmax classifier[J]. IETE Technical Review, 2015, 32(4): 294-303

[65]Abdel-Zaher A M, Eldeib A M. Breast cancer classification using deep belief networks[J]. Expert Systems with Applications, 2016, 46(2): 139-144

[66]Deng Li, Yu Dong. Deep convex net: A scalable architecture for speech pattern classification[C]Proc of the 12th Conf of the Int Speech Communication Association. Florence, Italy: ISCA, 2011: 2285-2288

[67]Hinton G E, Salakhutdinov R R. Using deep belief nets to learn covariance kernels for Gaussian processes[C]Proc of the 1st Conf on Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2008: 1249-1256

[68]Arel I, Rose D C, Karnowski T P. Deep machine learning-a new frontier in artificial intelligence research[J]. IEEE Computational Intelligence Magazine, 2010, 5(4): 13-18

[69]Bengio Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning, 2009, 2(1): 1-127

[70]Alain G, Bengio Y. What regularized autoencoders learn from the data-generating distribution[J]. The Journal of Machine Learning Research, 2014, 15(1): 3563-3593

[71]Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507

[72]Schmidhuber J. Deep learning in neural networks: An overview[J]. Neural Networks, 2015, 61(9): 85-117

[73]Makhzani A, Frey B. K-sparse autoencoders[OL]. 2013[2017-06-14]. https:arxiv.orgpdf1312.5663

[74]Vincent P. A connection between score matching and denoising autoencoders[J]. Neural Computation, 2011, 23(7): 1661-1674

[75]Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]Proc of the 25th Int Conf on Machine Learning. New York: ACM, 2008: 1096-1103

[76]Ling Zhenhua, Kang Shiyin, Zen H, et al. Deep learning for acoustic modeling in parametric speech generation: A systematic review of existing techniques and future trends[J]. IEEE Signal Processing Magazine, 2015, 32(3): 35-52

[77]Kamyshanska H, Memisevic R. The potential energy of an autoencoder[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2015, 37(6): 1261-1273

[78]Bengio Y, Courville A, Vincent P. Representation learning: A review and new perspectives[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828

[79]Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research, 2010, 11(12): 3371-3408

[80]Rifai S, Vincent P, Muller X, et al. Contractive autoencoders: Explicit invariance during feature extraction[C]Proc of the 28th Int Conf on Machine Learning. New York: ACM, 2011: 833-840

[81]Rifai S, Mesnil G, Vincent P, et al. Higher order contractive autoencoder[C]Proc of the 24th European Conf on Machine Learning and Knowledge Discovery in Databases. Berlin: Springer, 2011: 645-660

[82]Sun Meng, Zhang Xiongwei, Zheng T F. Unseen noise estimation using separable deep auto encoder for speech enhancement[J]. IEEEACM Trans on Audio, Speech, and Language Processing, 2016, 24(1): 93-104

[83]Staudemeyer R C. Applying long short-term memory recurrent neural networks to intrusion detection[J]. South African Computer Journal, 2015, 56(1): 136-154

[84]Dahl G E, Stokes J W, Deng Li, et al. Large-scale malware classification using random projections and neural networks[C]Proc of the 38th Int Conf on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2013: 3422-3426

[85]Kolosnjaji B, Zarras A, Webster G, et al. Deep learning for classification of malware system call sequences[C]Proc of the 30th Australasian Joint Conf on Artificial Intelligence. Berlin: Springer, 2016: 137-149

[86]Tobiyama S, Yamaguchi Y, Shimada H, et al. Malware detection with deep neural network using process behavior[C]Proc of the 8th Int Conf on Computer Software and Applications. Piscataway, NJ: IEEE, 2016: 577-582

[87]Pascanu R, Stokes J W, Sanossian H, et al. Malware classification with recurrent networks[C]Proc of the 40th Int Conf on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2015: 1916-1920

[88]Athiwaratkun B, Stokes J W. Malware classification with LSTM and GRU language models and a character-level CNN[C]Proc of the 42nd Int Conf on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2017: 2482-2486

[89]Wang Xin, Yiu S M. A multi-task learning model for malware classification with useful file access pattern from API call sequence[OL]. 2016 [2017-08-17]. https:arxiv.orgpdf1610.05945

[90]Hardy W, Chen Lingwei, Hou Shifu, et al. DL4MD: A deep learning framework for intelligent malware detection[C]Proc of the 16th Int Conf on Data Mining. Piscataway, NJ: IEEE, 2016: 61-68

[91]Rhode M, Burnap P, Jones K. Early stage malware prediction using recurrent neural networks[OL]. 2017[2017-06-14]. https:arxiv.orgpdf1708.03513

[92]Nix R, Zhang Jian. Classification of Android apps and malware using deep neural networks[C]Proc of the 17th Int Joint Conf on Neural Networks. Piscataway, NJ: IEEE, 2017: 1871-1878

[93]Saxe J, Berlin K. Deep neural network-based malware detection using two-dimensional binary program features[C]Proc of the 10th Int Conf on Malicious and Unwanted Software. Piscataway, NJ: IEEE, 2015: 11-20

[94]Shin E C R, Song D, Moazzezi R. Recognizing functions in binaries with neural networks[C]Proc of the 24th USENIX Security Symp. Berkely, CA: USENIX Association, 2015: 611-626

[95]Yuan Zhenlong, Lu Yongqiang, Wang Zhaoguo, et al. Droid-Sec: Deep learning in Android malware detection[J]. ACM SIGCOMM Computer Communication Review, 2014, 44(4): 371-372

[96]Yuan Zhenlong, Lu Yongqiang, Xue Yibo. DroidDetector: Android malware characterization and detection using deep learning[J]. Tsinghua Science and Technology, 2016, 21(1): 114-123

[97]Xu Lifan, Zhang Dongping, Jayasena N, et al. HADM: Hybrid analysis for detection of malware[C]Proc of the 3rd SAI Intelligent Systems Conf. Berlin: Springer, 2016: 702-724

[98]Jung W, Kim S, Choi S. Poster: Deep learning for zero-day flash malware detection[C]Proc of the 36th IEEE Symp on Security and Privacy. Piscataway, NJ: IEEE, 2015: 32-34

[99]Li Ping, Hastie T J, Church K W. Very sparse random projections[C]Proc of the 12th ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining. New York: ACM, 2006: 287-296

[100]David O E, Netanyahu N S. Deepsign: Deep learning for automatic malware signature generation and classification[C]Proc of the 12th Int Joint Conf on Neural Networks. Piscataway, NJ: IEEE, 2015: 76-84

[101]Debar H, Becker M, Siboni D. A neural network component for an intrusion detection system[C]Proc of the 23rd Computer Society Symp on Research in Security and Privacy. Piscataway, NJ: IEEE, 1992: 240-250

[102]Creech G, Hu Jiankun. A semantic approach to host-based intrusion detection systems using contiguous and discontiguous system call patterns[J]. IEEE Trans on Computers, 2014, 63(4): 807-819

[103]Fiore U, Palmieri F, Castiglione A, et al. Network anomaly detection with the restricted Boltzmann machine[J]. Neurocomputing, 2013, 122(3): 13-23

[104]University of California. KDD Cup 99[EBOL]. 1999[2017-08-18]. http:kdd.ics.uci.edudatabaseskddcup99kddcup99.html

[105]Tavallaee M, Bagheri E, Lu Wei, et al. A detailed analysis of the KDD CUP 99 data set[C]Proc of the 2nd IEEE Symp on Computational Intelligence for Security and Defense Applications. Piscataway, NJ: IEEE, 2009: 1-6

[106]Canadian Institute for Cybersecurity. NSL-KDD dataset[EBOL]. 2017[2017-08-18]. http:www.unb.cacicresearchdatasetsnsl.html

[107]Kim J, Kim J, Thu H L T, et al. Long short-term memory recurrent neural network classifier for intrusion detection[C]Proc of the 22nd Int Conf on Platform Technology and Service. Piscataway, NJ: IEEE, 2016: 49-54

[108]Putchala M K, Deep learning approach for intrusion detection system (IDS) in the Internet of things (IoT) network using gated recurrent neural networks (GRU)[D]. Dayton, Ohio, USA: Wright State University, 2017

[109]Gao Ni, Gao Ling, Gao Quanli, et al. An intrusion detection model based on deep belief networks[C]Proc of the 12th Int Conf on Advanced Cloud and Big Data. Piscataway, NJ: IEEE, 2014: 247-252

[110]Li Yuancheng, Ma Rong, Jiao Runhai. A hybrid malicious code detection method based on deep learning[J]. International Journal of Software Engineering & Its Applications, 2015, 9(5): 205-216

[111]Salama M A, Eid H F, Ramadan R A, et al. Hybrid intelligent intrusion detection scheme[G]Soft Computing in Industrial Applications. Berlin: Springer, 2011: 293-303

[112]Niyaz Q, Javaid A, Sun W, et al. A deep learning approach for network intrusion detection system[C]Proc of the 9th EAI Int Conf on Bio-inspired Information and Communications Technologies. New York: ACM, 2016: 21-26

[113]Abolhasanzadeh B. Nonlinear dimensionality reduction for intrusion detection using autoencoder bottleneck features[C]Proc of the 7th Conf on Information and Knowledge Technology. Piscataway, NJ: IEEE, 2015: 26-31

[114]Alom M Z, Bontupalli V R, Taha T M. Intrusion detection using deep belief networks[C]Proc of the 9th Conf on Aerospace and Electronics. Piscataway, NJ: IEEE, 2015: 339-344

[115]Aygun R C, Yavuz A G. Network anomaly detection with stochastically improved autoencoder based models[C]Proc of the 4th Int Conf on Cyber Security and Cloud Computing. Piscataway, NJ: IEEE, 2017: 193-198

[116]Wang Zhanyi. The applications of deep learning on traffic identification[EBOL]. 2015[2017-07-15]. https:www.blackhat.comdocsus-15materialsus-15-Wang-The-Applications-Of-Deep-Learning-On-Traffic-Identification-wp.pdf

[117]Yu Yang, Long Jun, Cai Zhiping. Network intrusion detection through stacking dilated convolutional autoencoders[J]. Security and Communication Networks, 2017, 2(3): 212-225

[118]Wang Wei, Zhu Ming, Zeng Xuewen, et al. Malware traffic classification using convolutional neural network for representation learning[C]Proc of the 1st Int Conf on Information Networking. Piscataway, NJ: IEEE, 2017: 712-717

[119]Kim G, Yi H, Lee J, et al. LSTM-based system-call language modeling and robust ensemble method for designing host-based intrusion detection systems[OL]. 2016 [2017-08-02]. https:arxiv.orgpdf1611.01726

[120]Yu Yang, Long Jum, Cai Zhiping. Session-based network intrusion detection using a deep learning architecture[C]Proc of the 14th Conf on Modeling Decisions for Artificial Intelligence. Berlin: Springer, 2017: 144-155

[121]Zaheer M, Tristan J B, Wick M L, et al. Learning a static analyzer: A case study on a toy language[EBOL]. 2016[2017-08-17]. https:openreview.netreferencespdf?id=ry54RWtxx

[122]Godefroid P, Peleg H, Singh R. Learn&fuzz: Machine learning for input fuzzing[OL]. 2017 [2017-08-17]. https:arxiv.orgpdf1701.07232

[123]Melicher W, Ur B, Segreti S M, et al. Fast, lean, and accurate: Modeling password guessability using neural networks[C]Proc of the 25th USENIX Security Symp. Berkely, CA: USENIX Association, 2016: 175-191

[124]Hu Wei, Tan Ying. Generating adversarial malware examples for black-box attacks based on GAN[OL]. 2017 [2017-06-14]. https:arxiv.orgpdf1702.05983

[125]Hu Weiwei, Tan Ying. Black-box attacks against RNN based malware detection algorithms[OL]. 2017 [2017-08-02]. https:arxiv.orgpdf1705.08131

[126]Rosenberg I, Shabtai A, Rokach L, et al. Generic black-box end-to-end attack against RNNs and other API calls based malware classifiers[OL]. 2017 [2017-06-14]. https:arxiv.orgpdf1707.05970

[127]Grosse K, Papernot N, Manoharan P, et al. Adversarial perturbations against deep neural networks for malware classification[OL]. 2016 [2017-08-19]. https:arxiv.orgpdf1606.04435

[128]Wang Qinglong, Guo Wenbo, Zhang Kaixuan, et al. Adversary resistant deep neural networks with an application to malware detection[C]Proc of the 23rd ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining. New York: ACM, 2017: 1145-1153

[129]DARPA. Explainable artificial intelligence (XAI)[EBOL]. 2016[2017-08-18]. https:www.darpa.milprogramexplainable-artificial-intelligence

[130]Ribeiro M T, Singh S, Guestrin C. Why should I trust you? Explaining the predictions of any classifier[C]Proc of the 22nd ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining. New York: ACM, 2016: 1135-1144

[131]Goodfellow I J, Vinyals O, Saxe A M. Qualitatively characterizing neural network optimization problems[OL]. 2014 [2017-08-19]. https:arxiv.orgpdf1412.6544

[132]Weston J, Chopra S, Bordes A. Memory networks[OL]. 2014 [2017-07-15]. https:arxiv.orgpdf1410.3916

[133]Kumar A, Irsoy O, Ondruska P, et al. Ask me anything: Dynamic memory networks for natural language processing[C]Proc of the 33rd Int Conf on Machine Learning. New York: ACM, 2016: 1378-1387

[134]Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]Proc of the 27th Conf on Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2014: 2672-2680

[135]Wang Kunfeng, Gou Chao, Duan Yanjie, et al. Generative adversarial networks: The state of the art and beyond[J]. Acta Automatica Sinca, 2017, 43(3): 321-332 (in Chinese)(王坤峰, 茍超, 段艷杰, 等. 生成式對抗網絡 GAN 的研究進展與展望[J]. 自動化學報, 2017, 43(3): 321-332)

[136]Mirza M, Osindero S. Conditional generative adversarial nets[OL]. 2014 [2017-08-02]. https:arxiv.orgpdf1411.1784

[137]Odena A. Semi-supervised learning with generative adversarial networks[OL]. 2016 [2017-07-15]. https:arxiv.orgpdf1606.01583

[138]Donahue J, Kr?henbühl P, Darrell T. Adversarial feature learning[OL]. 2016 [2017-08-19]. https:arxiv.orgpdf1605.09782

[139]Chen Xi, Duan Yan, Houthooft R, et al. InfoGAN: Interpretable representation learning by information maximizing generative adversarial nets[C]Proc of the 29th Conf on Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2016: 2172-2180

[140]Odena A, Olah C, Shlens J. Conditional image synthesis with auxiliary classifier GANs[OL]. 2016 [2017-08-13]. https:arxiv.orgpdf1610.09585

[141]Yu Lantao, Zhang Weinan, Wang Jun, et al. SeqGAN: Sequence generative adversarial nets with policy gradient[C]Proc of the 31st Conf on Artificial Intelligence. Menlo Park, CA: AAAI, 2017: 2852-2858

[142]Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[OL]. 2015 [2017-07-16]. https:arxiv.orgpdf1511.06434

[143]Denton E L, Chintala S, Fergus R. Deep generative image models using a Laplacian pyramid of adversarial networks[C]Proc of the 28th Conf on Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2015: 1486-1494

[144]Larsen A B L, S?nderby S K, Larochelle H, et al. Autoencoding beyond pixels using a learned similarity metric[OL]. 2015 [2017-07-16]. https:arxiv.orgpdf1512.09300

[145]Im D J, Kim C D, Jiang Hui, et al. Generating images with recurrent adversarial networks[OL]. 2016 [2017-08-13]. https:arxiv.orgpdf1602.05110

[146]Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[OL]. 2017 [2017-07-25]. https:arxiv.orgpdf1701.07875

[147]Salimans T, Goodfellow I, Zaremba W, et al. Improved techniques for training GANs[C]Proc of the 29th Conf on Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2016: 2234-2242

[148]Goodfellow I. NIPS 2016 tutorial: Generative adversarial networks[OL]. 2016 [2017-07-24]. https:arxiv.orgpdf1701.00160

[149]NIPS. Non-targeted adversarial attack[EBOL]. 2017[2017-07-24]. https:www.kaggle.comnips-2017-adversarial-learning-competition

[150]Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks[C]Proc of the 30th Int Conf on Machine Learning. New York: ACM, 2013: 1310-1318

[151]Andreas J, Rohrbach M, Darrell T, et al. Neural module networks[C]Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 39-48

[152]McDaniel P, Papernot N, Celik Z B. Machine learning in adversarial settings[J]. IEEE Security & Privacy, 2016, 14(3): 68-72

[153]Huang Ling, Joseph A D, Nelson B, et al. Adversarial machine learning[C]Proc of the 4th ACM Workshop on Security and Artificial Intelligence. New York: ACM, 2011: 43-58

[154]Biggio B, Corona I, Maiorca D, et al. Evasion attacks against machine learning at test time[C]Proc of the 23rd Joint European Conf on Machine Learning and Knowledge Discovery in Databases. Berlin: Springer, 2013: 387-402

[155]Biggio B, Fumera G, Roli F. Pattern recognition systems under attack: Design issues and research challenges[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2014, 28(7): 146-158

[156]Szegedy C, Zaremba W, Sutskever I, et al. Intriguing properties of neural networks[OL]. 2013 [2017-08-02]. https:arxiv.orgpdf1312.6199

[157]Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples[OL]. 2014 [2017-07-27]. https:arxiv.orgpdf1412.6572

[158]Warde-Farley D, Goodfellow I, Hazan T, et al. Perturbations, Optimization, and Statistics[M]. Cambridge, MA: MIT Press, 2016: 1-32

[160]Papernot N, McDaniel P, Jha S, et al. The limitations of deep learning in adversarial settings[C]Proc of the 1st European Symp on Security and Privacy. Piscataway, NJ: IEEE, 2016: 372-387

[161]Moosavi-Dezfooli S M, Fawzi A, Frossard P. Deepfool: A simple and accurate method to fool deep neural networks[C]Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 2574-2582

[162]Kurakin A, Goodfellow I, Bengio S. Adversarial examples in the physical world[OL]. 2016 [2017-07-27]. https:arxiv.orgpdf1607.02533

[163]Papernot N, McDaniel P, Goodfellow I, et al. Practical black-box attacks against machine learning[C]Proc of the 12th ACM Asia Conf on Computer and Communications Security. New York: ACM, 2017: 506-519

[164]Papernot N, McDaniel P, Goodfellow I. Transferability in machine learning: From phenomena to black-box attacks using adversarial samples[OL]. 2016 [2017-07-19]. https:arxiv.orgpdf1605.07277

[165]Tramèr F, Papernot N, Goodfellow I, et al. The space of transferable adversarial examples[OL]. 2017 [2017-07-19]. https:arxiv.orgpdf1704.03453

[166]Moosavi-Dezfooli S M, Fawzi A, Fawzi O, et al. Universal adversarial perturbations[C]Proc of the 32nd IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 893-901

[167]Russakovsky O, Deng Jia, Su Hao, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252

[168]Liu Yanpei, Chen Xinyun, Liu Chang, et al. Delving into transferable adversarial examples and black-box attacks[OL]. 2016 [2017-08-02]. https:arxiv.orgpdf1611.02770

[169]Papernot N, McDaniel P, Swami A, et al. Crafting adversarial input sequences for recurrent neural networks[C]Proc of the 35th Military Communications Conf. Piscataway, NJ: IEEE, 2016: 49-54

[170]Papernot N, McDaniel P, Wu Xi, et al. Distillation as a defense to adversarial perturbations against deep neural networks[C]Proc of the 37th IEEE Symp on Security and Privacy. Piscataway, NJ: IEEE, 2016: 582-597

[171]Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[OL]. 2015 [2017-08-14]. https:arxiv.orgpdf1503.02531

[172]Carlini N, Wagner D. Towards evaluating the robustness of neural networks[C]Proc of the 38th IEEE Symp on Security and Privacy. Piscataway, NJ: IEEE, 2017: 39-57

[173]Carlini N, Wagner D. Defensive distillation is not robust to adversarial examples[OL]. 2016 [2017-08-09]. https:arxiv.orgpdf1607.04311

[174]Hosseini H, Chen Yize, Kannan S, et al. Blocking transferability of adversarial examples in black-box learning systems[OL]. 2017 [2017-08-09]. https:arxiv.orgpdf1703.04318

[175]Papernot N, McDaniel P. Extending defensive distillation[OL]. 2017 [2017-08-09]. https:arxiv.orgpdf1705.05264

[176]Brendel W, Bethge M. Comment on “biologically inspired protection of deep networks from adversarial attacks”[OL]. 2017 [2017-08-09]. https:arxiv.orgpdf1704.01547

[177]Wang Qinglong, Guo Wenbo, Zhang Kaixuan, et al. Learning adversary-resistant deep neural networks[OL]. 2016 [2017-08-16]. https:arxiv.orgpdf1612.01401

[178]Wang Qinglong, Guo Wenbo, Ororbia I I, et al. Using non-invertible data transformations to build adversary-resistant deep neural networks[OL]. 2016 [2017-08-16]. https:arxiv.orgpdf1610.01934

[179]Gu Shixiang, Rigazio L. Towards deep neural network architectures robust to adversarial examples[OL]. 2014 [2017-08-16]. https:arxiv.orgpdf1412.5068

[180]Ororbia I I, Alexander G, Giles C L, et al. Unifying adversarial training algorithms with flexible deep data gradient regularization[OL]. 2016 [2017-06-06]. https:arxiv.orgpdf1601.07213

[181]Lyu C, Huang Kaizhu, Liang Haining. A unified gradient regularization family for adversarial examples[C]Proc of the 15th Int Conf on Data Mining. Piscataway, NJ: IEEE, 2015: 301-309

[182]Zhao Qiyang, Griffin L D. Suppressing the unusual: Towards robust cnns using symmetric activation functions[OL]. 2016 [2017-08-14]. https:arxiv.orgpdf1603.05145

[183]Rozsa A, Gunther M, Boult T E. Towards robust deep neural networks with BANG[OL]. 2016 [2017-06-06]. https:arxiv.orgpdf1612.00138

[184]Miyato T, Maeda S, Koyama M, et al. Distributional smoothing with virtual adversarial training[OL]. 2015 [2017-06-06]. https:arxiv.orgpdf1507.00677

[185]Tramèr F, Kurakin A, Papernot N, et al. Ensemble adversarial training: Attacks and defenses[OL]. 2017 [2017-06-04]. https:arxiv.orgpdf1705.07204

[186]Na T, Ko J H, Mukhopadhyay S. Cascade adversarial machine learning regularized with a unified embedding[OL]. 2017 [2017-06-04]. https:arxiv.orgpdf1708.02582

[187]Shaham U, Yamada Y, Negahban S. Understanding adversarial training: Increasing local stability of neural nets through robust optimization[OL]. 2015 [2017-09-14]. https:arxiv.orgpdf1511.05432

[188]Huang Ruitong, Xu Bing, Schuurmans D, et al. Learning with a strong adversary[OL]. 2015 [2017-09-17]. https:arxiv.orgpdf1511.03034

[189]N?kland A. Improving back-propagation by adding an adversarial gradient[OL]. 2015 [2017-09-12]. https:arxiv.orgpdf1510.04189

[190]Demyanov S, Bailey J, Kotagiri R, et al. Invariant backpropagation: How to train a transformation-invariant neural network[OL]. 2015 [2017-08-02]. https:arxiv.orgpdf1502.04434

[191]Grosse K, Manoharan P, Papernot N, et al. On the (statistical) detection of adversarial examples[OL]. 2017 [2017-09-12]. https:arxiv.orgpdf1702.06280

[192]Metzen J H, Genewein T, Fischer V, et al. On detecting adversarial perturbations[OL]. 2017 [2017-09-12]. https:arxiv.orgpdf1702.04267

[193]Lu Jiajun, Issaranon T, Forsyth D. SafetyNet: Detecting and rejecting adversarial examples robustly[OL]. 2017 [2017-08-02]. https:arxiv.orgpdf1704.00103

[194]Cloudflare. The wireX botnet: How industry collaboration disrupted a DDoS attack[EBOL]. 2017[2017-09-02] https:blog.cloudflare.comthe-wirex-botnet

[195]Fredrikson M, Jha S, Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures[C]Proc of the 22nd ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2015: 1322-1333

[196]Shen Shiqi, Tople S, Saxena P. Auror: Defending against poisoning attacks in collaborative deep learning systems[C]Proc of the 32nd Annual Conf on Computer Security Applications. New York: ACM, 2016: 508-519

[197]Hitaj B, Ateniese G, Perez-Cruz F. Deep models under the GAN: Information leakage from collaborative deep learning[OL]. 2017 [2017-09-01]. https:arxiv.orgpdf1702.07464

[198]Dwork C, Roth A. The algorithmic foundations of differential privacy[J]. Foundations and Trends in Theoretical Computer Science, 2014, 9(34): 211-407

[199]Dwork C. Differential privacy: A survey of results[C]Proc of the 5th Int Conf on Theory and Applications of Models of Computation. Berlin: Springer, 2008: 42-61

[200]Dwork C, McSherry F, Nissim K, et al. Calibrating noise to sensitivity in private data analysis[J]. Journal of Privacy and Confidentiality, 2016, 7(3): 265-284

[201]Zhu Tianqing, Li Gang, Zhou Wanlei, et al. Differentially private data publishing and analysis: A survey[J]. IEEE Trans on Knowledge and Data Engineering, 2017, 29(8): 1619-1638

[202]Xie Pengtao, Bilenko M, Finley T, et al. Crypto-nets: Neural networks over encrypted data[OL]. 2014 [2017-09-01]. https:arxiv.orgpdf1412.6181

[203]Rivest R L, Adleman L, Dertouzos M L. On data banks and privacy homomorphisms[J]. Foundations of Secure Computation, 1978, 4(11): 169-180

[204]Ohrimenko O, Schuster F, Fournet C, et al. Oblivious multi-party machine learning on trusted processors[C]Proc of the 25th USENIX Security Symp. Berkely, CA: USENIX Association, 2016: 619--636

[205]Shokri R, Shmatikov V. Privacy-preserving deep learning[C]Proc of the 22nd ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2015: 1310-1321

[206]Abadi M, Chu A, Goodfellow I, et al. Deep learning with differential privacy[C]Proc of the 23rd ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2016: 308-318

[207]Papernot N, Abadi M, Erlingsson ú, et al. Semi-supervised knowledge transfer for deep learning from private training data[OL]. 2016 [2017-08-02]. https:arxiv.orgpdf1610.05755

[208]Hamm J, Cao P, Belkin M. Learning privately from multi-party data[C]Proc of the 33rd Int Conf on Machine Learning. New York: ACM, 2016: 555-563

ZhangYuqing, born in 1966. PhD, professor, PhD supervisor in the University of Chinese Academy of Sciences. His main research interests include computer networks and information security.

DongYing, born in 1991. PhD candidate in the University of Chinese Academy of Sciences. Her main research interests include Web security and machine learning.

LiuCaiyun, born in 1992. Master candidate in the University of Chinese Academy of Sciences. Her main research interests include data mining and information security.

LeiKenan, born in 1992. Master candidate in Xidian University. Her main research interests include network and information security.

SunHongyu, born in 1992. Master candidate in Xidian University. His main research interests include network and information security.