敵對攻擊環境下基于移動目標防御的算法穩健性增強方法

何康，祝躍飛，劉龍，蘆斌，劉彬

敵對攻擊環境下基于移動目標防御的算法穩健性增強方法

何康1,2，祝躍飛1,2，劉龍1,2，蘆斌1,2，劉彬1,2

（1. 信息工程大學網絡空間安全學院，河南 鄭州450001；2. 數學工程與先進計算國家重點實驗室，河南 鄭州 450001）

傳統的機器學習模型工作在良性環境中，通常假設訓練數據和測試數據是同分布的，但在惡意文檔檢測等領域該假設被打破。敵人通過修改測試樣本對分類算法展開攻擊，使精巧構造的惡意樣本能夠逃過機器學習算法的檢測。為了提高機器學習算法的安全性，提出了基于移動目標防御技術的算法穩健性增強方法。實驗證明，該方法通過在算法模型、特征選擇、結果輸出等階段的動態變換，能夠有效抵御攻擊者對檢測算法的逃逸攻擊。

機器學習；算法穩健性；移動目標防御；動態變換

1 引言

近年來，機器學習算法在數據挖掘、圖像處理、自然語言處理和網絡空間安全等方面得到了廣泛應用，分類準確率上取得了顯著提升。但面對以入侵檢測、惡意軟件檢測為代表的網絡安全領域[1-4]的分類任務時，算法在提高算法分類準確率的同時，還需應對敵人對算法本身的攻擊。傳統的機器學習任務通常假設訓練數據集和測試數據集的特征服從基本一致的概率分布，進而取得較高的準確率。基于流形學中關于低概率區域的觀點認為，由于訓練樣本的有限性，機器學習的訓練過程只學習了總體樣本所在的概率空間的局部區域，而對抗樣本是從總體樣本所在的概率空間的某一子空間抽樣得到，其超出了分類器所能學習的概率分布所在的支集[5]，因而攻擊者會通過精巧修改輸入樣本來打破該假設并誤導分類算法輸出期望的錯誤判斷。在圖像處理[6]、語音識別[7]等領域，已有對輸入樣本數據的小幅改動能夠逃逸分類算法檢測的研究，在網絡安全領域，在檢測模型算法上的對抗也日趨激烈[8-9]。

常規的機器學習防御方法通過添加對抗樣本到訓練集中重訓練模型優化分類性能，但給定足夠長的時間，攻擊者總能構造出不在訓練數據分布范圍內的對抗樣本。Nicolas等[10]提出訓練過程中的防御性蒸餾增加了輸出類別之間的相似性信息，提高了算法的穩健性，但Carlini等[11]的研究表明，攻擊方式稍作修改仍能有效降低算法的準確率。

基于此，本文基于移動目標防御（MTD，moving target defense）思想[12]提出一種算法穩健性增強的方法。傳統的防御系統只是對防御方的系統進行加固，但無法保證加固后的系統信息不暴露給攻擊者。攻擊者經過不斷地試探、分析、研究，能不斷獲取目標信息，攻擊者有充分的時間和資源挖掘系統的弱點，而防御者對攻擊者的信息知之甚少，無法進一步提高防御水平，攻擊者對防御者具有天然的不對稱優勢。為了打破這種不對稱優勢，增加防御者的動態性和隨機性，MTD技術應運而生。其目標是通過構建一個動態變化、冗余異構、具有不確定性的防御系統，使攻擊者的目標一直處于動態變化過程中，大大增加了攻擊者的攻擊代價。MTD技術在操作系統地址空間和指令集[13]、網絡地址和端口[14]等方面的應用已顯著提高了網絡系統的安全性，其防御思想可引入算法系統的防御中。MTDeep[15]將MTD思想應用到神經網絡算法中，張紅旗團隊[16]使用主從博弈對其效能進行了分析。Roy[17]、李亞龍[18]等將該思想進一步拓展到非理性條件和非完全信息情況下的攻防博弈分析。攻防雙方采取不同概率分布策略時的隨機預測博弈模型，以提高攻擊開銷。

本文首先對MTD在算法上的應用進行形式化，做出對穩健性增益的定性分析；然后將MTD應用到算法設計的多個階段，并給出了具體的實施方法；最后在惡意PDF分類領域對算法穩健性的增益進行檢驗。基于MTD的動態算法系統機制不是代替其他算法穩健性增強的方法，而是從額外的維度為現有的算法穩健性設計方法提供強有力的補充。

2 算法分析

為對采用MTD技術算法的防御能力進行分析，首先對攻擊者的能力進行假設。網絡安全領域機器學習算法的典型應用包括對軟件或者文檔的惡意性進行分類，如VirusTotal、VirusShare等網站。用戶僅可提交樣本并獲取查詢結果，對其中涉及算法的訓練集、分類器形式、參數等知識了解甚少，因此假設攻擊方式為黑盒攻擊。具體過程如下。

根據上述定義，可以得出以下性質。

3 動態算法系統的多樣性設計

面對未知的固定不變的目標算法，攻擊者有充足的時間和資源尋找可能存在的漏洞，而防御者對攻擊者采取的行動一無所知，攻擊者對防御者有天然的不對稱優勢。MTD技術有3個典型特點：多樣性、動態性、異構性。移動是在異構的配置中進行動態切換，減少算法的脆弱性在攻擊者視野中的暴露時間，使攻擊者的攻擊速度落后于配置切換速度，達到有效增加攻擊者的難度和代價的目的。在動態算法系統中，攻擊者的目標就是執行分類任務的分類器，即機器學習算法模型本身。目標的集成以及動態切換構成了整體的動態算法系統。在本文中，算法的含義界定為根據訓練數據生成的將輸入向量映射到特定類別或屬于各類別概率的執行分類任務的具體機器學習模型，不同的配置包括算法種類、使用的特征、參數和超參數等，是動態算法系統執行配置變換的基本單元。其中，多樣性是實現MTD的基礎，異構性是MTD能夠有效工作的前提，如果算法模型之間沒有差異性，則移動并不能帶來算法穩健性上的增強。由于算法模型具有可遷移性的特點，如何在保證分類準確率的同時對算法進行多樣化設計也是一個需要研究的重要問題。本文對這幾個方面進行設計。

3.1 算法選擇的多樣性

對同一個機器學習任務，可以使用不同的算法模型進行實現，但不同算法在數據的分類上展現出不同的優缺點。如近鄰算法可解釋性強，但對訓練數據集的依賴性較強，容易受到敏感值的影響；基于條件概率的貝葉斯算法對不同維度數據的獨立性有較高的要求；支持向量機算法的分類面主要受支持向量的影響，對偏離數據重心的樣本的判斷，置信度不高，且不同核函數的選擇對分類結果的影響也較大；神經網絡算法準確率較高，但參數較多，容易產生過擬合等。不同的分類算法在數據集上產生的分類面有較大差異，因而對核心數據集和邊緣數據集的劃分也不同。算法模型本身的多樣性有利于提高算法系統的防御能力。

3.2 特征選擇的多樣性

特征選擇是從對象的大量描述維度中選取一部分用于機器學習訓練的過程。該過程一方面能夠去除重復冗余的特征來減少特征之間的相關性，另一方面通過降低維度來防止維度災難引起的過擬合等問題，增強機器學習模型的泛化能力。不同的模型描述對象的角度不同，對數據的特征選擇也有不同的側重，因而機器學習算法使用各自特征集訓練的模型在對輸入的判斷上也有所差別。在特征選擇上多樣性設計可以從不同的角度對數據集進行判別，降低由于攻擊者對特征知識的判斷生成對抗樣本的能力。

3.3 算法輸出的多樣性

算法輸出的多樣性會對模型分類結果的準確率造成影響，但影響較小。對訓練良好的機器學習模型來說，非對抗樣本的隸屬度概率絕大多數靠近0或者1，分布在分類界限0.5附近的樣本數量很少。而對抗樣本完全模擬正常樣本的難度較大，有較大概率分布在分界線附近，分類概率輸出的多樣性會對對抗樣本造成較大影響，進而給攻擊者的替代模型造成較大困難。

以上列舉了算法多樣性設計的幾種方式，在實際訓練過程中可根據需求對算法模型其他方式的多樣化，如使用不同的訓練數據集和訓練權重產生具有不同偏好的機器學習模型等。然而，算法的多樣性不等同于集成學習算法。集成學習算法通過結合不同分類器的預測結果來產生最終的結果，但這些分類器本身是固定不變的，攻擊者仍能通過長時間的信息反饋生成集成學習算法的對抗樣本。 Kantchelian等[19]提出的基于混合整數線性規劃的方法能對隨機森林算法展開有效攻擊并生成對抗樣本。而基于MTD的算法系統可以動態切換使用機器學習模型，當攻擊者針對當前模型生成對抗樣本時，所面臨的算法系統已經切換到新的機器學習模型，打破了攻擊者對防御者的時間不對稱優勢，有效增強了算法面對敵對攻擊的穩健性。

相比傳統單一的檢測算法，基于移動目標防御的動態算法系統地增加了部分開銷，其成本有以下4個方面。①設計成本：防御者需要根據任務要求設計冗余異構算法，在保證準確率的同時壓縮對抗樣本的概率分布空間。②訓練成本：使用數據集和算法對模型參數進行訓練，單個模型的訓練時間從分鐘級到天級不等，算法池的規模為，則算法系統的訓練成本為()，但該過程可以通過并行算法將訓練成本降低到(1)。在實際部署中，算法系統可以在運行時增量訓練，減少占用的時間成本，而模型的空間開銷為()。③管理成本：動態算法系統需要對算法的工作狀態進行管理和變換，需要占用一定的內存空間。④決策成本：相比單個算法直接獲取檢測結果，動態算法系統的決策模塊需要集成多個算法的輸出給出綜合判斷并為算法訓練提供反饋。總體來說，動態算法系統對時間和空間占用控制在()，在時間和空間上不會造成太大的開銷。

4 動態算法系統的流程設計

為了清晰地描述算法系統的動態變換過程，首先對相關概念做出說明。在算法設計流程中，在進行多樣化設計的每個環節中，定義配置。

定義5 配置=(name, value)，name為配置參數的標識符，value為該配置的取值。對每個配置，value的定義域為。

根據上述對動態算法系統的描述，設計的基于MTD技術的動態算法系統流程如圖1所示。首先對算法進行多樣化設計，并和訓練數據集在分類準確率較高的前提下生成異構的機器學習模型池，供算法決策模塊選擇算法模型集。實際環境中的樣本首先通過特征提取生成特征向量，然后經過的檢測輸出個檢測結果，綜合判別模塊根據投票等決策機制輸出對該樣本的最終判別結果。的輸出也會影響算法決策模塊，檢測前需運行算法決策模塊決定是否對現有算法模型集進行變換。

算法決策模塊的工作流程如圖2所示。首次運行時，先從模型池中隨機選取滿足約束集的初始模型集作為輸出。后續運行時，根據前述的變換策略決定是否對現有的進行變換。當決定變換時，根據目標選取策略集選擇滿足約束集的替換模型并生成動作序列。執行變換后得到更新后的算法模型集。

圖1 基于MTD技術的動態算法系統流程

5 實驗驗證

本文使用對便攜式文檔格式（PDF，portable document format）的惡意性檢測任務檢驗MTD技術對算法穩健性的提升效果。由于PDF文件的廣泛應用和其存在的大量漏洞[20]，該格式文件越來越多地被用于發起APT攻擊。雖然許多包括機器學習在內的檢測算法已經被提出，但面對攻擊者對機器學習模型本身的攻擊時，其分類的準確率迅速下降。本文從MTD的角度分別對算法選擇、特征選擇和算法輸出3方面進行多樣化設計，并測試多樣化的算法模型對對抗樣本的檢測能力。用來訓練和測試的惡意樣本集合Mal來自VirusTotal，其收集了大量已知的惡意PDF樣本；良性的樣本集Ben來自互聯網的收集，其均已通過多種反病毒系統的檢測。其中，Mal包含10 986個惡意樣本，Ben包含8 969個良性樣本。為了使用機器學習模型對PDF文檔進行檢測，從結構和內容兩個方面對PDF文件進行特征提取，并生成296維列向量，作為樣本的特征空間。

5.1 算法選擇多樣性穩健性評估

圖2 算法決策模塊的工作流程

Figure 2 Algorithm decision module workflow

表1 3個機器學習模型對各數據集的分類準確率

5.2 特征選擇多樣性的穩健性評估

表2 使用不同特征的SVM模型的惡意樣本檢測率

表3 使用不同特征的SVM模型對敵對樣本的檢測率

5.3 算法輸出多樣性的穩健性評估

表4 目標SVM模型性能的混淆矩陣

圖3 樣本數隨分類概率擾動最大范圍的變化

Figure 3 The change of sample number with the maximum perturbation range of classification probability

圖4 檢測率隨分類概率擾動最大范圍的變化

Figure 4 The change of detection rate with the maximum perturbation range of classification probability

實驗表明，算法輸出的多樣性能小幅度提高算法系統檢測對抗樣本的能力。

6 結束語

隨著人工智能技術在各領域的廣泛應用和蓬勃發展，機器學習起到越來越重要的作用。在提高算法分類的準確率、召回率的同時，提高機器學習算法面對敵對攻擊時的穩健性也越來越重要，特別是在攻防對抗十分激烈的網絡安全領域。為了解決上述問題，本文從MTD思想的角度對傳統的算法設計流程進行改造。首先對該思想的作用進行形式化的定性分析；其次根據算法實際設計經驗提出了3種算法的動態化設計；然后結合MTD技術原理提出了動態算法的工作流程；最后以惡意PDF文檔檢測任務為例檢驗了MTD技術對算法穩健性的增益。實驗證明，3種方法均能不同程度地提高算法的穩健性。本文設計的基于MTD防御技術的動態算法系統不是替換現有的算法穩健性增強算法，而是在既有的重訓練、蒸餾等方法的基礎上做進一步的改造，是從新的角度對現有算法穩健性的增強。

[1] JIANG H, NAGRA J, AHAMMAD P. Sok: applying machine learning in security-a survey[J]. arXiv preprint arXiv:1611.03186, 2016.

[2] PITROPAKIS N, PANAOUSIS E, GIANNETSOS T, et al. A taxonomy and survey of attacks against machine learning[J]. Computer Science Review, 2019, 34: 100199.

[3] 張東, 張堯, 劉剛, 等. 基于機器學習算法的主機惡意代碼檢測技術研究[J]. 網絡與信息安全學報, 2017, 3(7): 25-32.

ZHANG D, ZHANG Y, LIU G, et al. Research on host malcode detection using machine learning[J]. Chinese Journal of Network and Information Security, 2017, 3(7): 25-32.

[4] 張驍敏, 劉靜, 莊俊璽, 等. 基于權限與行為的 Android 惡意軟件檢測研究[J]. 網絡與信息安全學報, 2017, 3(3): 51-57.

ZHANG X M, LIU J, ZHUANG J X, et al. Research on Android malware detection based on permission and behavior[J]. Chinese Journal of Network and Information Security, 2017, 3(3): 51-57.

[5] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[J]. arXiv preprint arXiv:1312.6199, 2013

[6] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv:1412.6572, 2014.

[7] ZHANG G, YAN C, JI X, et al. Dolphinattack: inaudible voice commands[C]//The 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017: 103-117.

[8] GROSSE K, PAPERNOT N, MANOHARAN P, et al. Adversarial perturbations against deep neural networks for malware classification[J]. arXiv preprint arXiv:1606.04435, 2016.

[9] CHEN S, XUE M, FAN L, et al. Automated poisoning attacks and defenses in malware detection systems: an adversarial machine learning approach[J]. Computers & Security, 2018, 73: 326-344.

[10] PAPERNOT N, MCDANIEL P, WU X, et al. Distillation as a defense to adversarial perturbations against deep neural networks[C]//2016 IEEE Symposium on Security and Privacy (SP). 2016: 582-597.

[11] CARLINI N, WAGNER D. Towards evaluating the robustness of neural networks[C]//2017 IEEE Symposium on Security and Privacy (SP). 2017: 39-57.

[12] 蔡桂林, 王寶生, 王天佐, 等. 移動目標防御技術研究進展[J]. 計算機研究與發展, 2016, 53(5): 968-987.

CAI G L, WANG B S, WANG T Z, et al. Research and development of moving target defense technology[J]. Journal of Computer Research and Development, 2016, 53(5): 968-987.

[13] EVANS D, NGUYEN-TUONG A, KNIGHT J. Effectiveness of moving target defenses[M]//Moving Target Defense. 2011: 29-48.

[14] JAFARIAN J H, AL-SHAER E, DUAN Q. Openflow random host mutation: transparent moving target defense using software defined networking[C]//The First Workshop on Hot Topics in Software Defined Networks. 2012: 127-132.

[15] SENGUPTA S, CHAKRABORTI T, KAMBHAMPATI S. MTDeep: boosting the security of deep neural nets against adversarial attacks with moving target defense[C]//Workshops at the Thirty-Second AAAI Conference on Artificial Intelligence. 2018.

[16] LEI C, MA D H, ZHANG H Q. Optimal strategy selection for moving target defense based on Markov game[J]. IEEE Access, 2017, 5: 156-169.

[17] ROY A, CHHABRA A, KAMHOUA C A, et al. A moving target defense against adversarial machine learning[C]//The 4th ACM/IEEE Symposium on Edge Computing. 2019: 383-388.

[18] 李亞龍, 陳勤, 張旻. 基于博弈論的移動目標最優防御策略研究[J]. 計算機工程與應用, 2019, 55(19): 141-146.

LI Y L, CHEN Q, ZHANG M. Research on optimal defense strategy of moving targets based on game theory[J]. Computer Engineering and Applications, 2019, 55(19): 141-146.

[19] KANTCHELIAN A, TYGAR J D, JOSEPH A. Evasion and hardening of tree ensemble classifiers[C]//International Conference on Machine Learning. 2016: 2387-2396.

[20] NISSIM N, COHEN A, GLEZER C, et al. Detection of malicious PDF files and directions for enhancements: a state-of-the art survey[J]. Computers & Security, 2015, 48: 246-266.

[21] CHEN P Y, ZHANG H, SHARMA Y, et al. Zoo: zeroth order optimization based black-box attacks to deep neural networks without training substitute models[C]//The 10th ACM Workshop on Artificial Intelligence and Security. 2017: 15-26.

[22] MU?OZ-GONZáLEZ L, BIGGIO B, DEMONTIS A, et al. Towards poisoning of deep learning algorithms with back-gradient optimization[C]//The 10th ACM Workshop on Artificial Intelligence and Security. 2017: 27-38.

Improve the robustness of algorithm under adversarial environment by moving target defense

HE Kang1,2, ZHU Yuefei1,2, LIU Long1,2, LU Bin1,2, LIU Bin1,2

1. Cyberspace Security Institute, Information Engineering University, Zhengzhou 450001, China 2. State Key Laboratory of Mathematical Engineering and Advanced Computing, Zhengzhou 450001, China

Traditional machine learning models works in peace environment, assuming that training data and test data share the same distribution. However, the hypothesis does not hold in areas like malicious document detection. The enemy attacks the classification algorithm by modifying the test samples so that the well-constructed malicious samples can escape the detection by machine learning models. To improve the security of machine learning algorithms, moving target defense (MTD) based method was proposed to enhance the robustness. Experimental results show that the proposed method could effectively resist the evasion attack to detection algorithm by dynamic transformation in the stages of algorithm model, feature selection and result output.

machine learning, algorithm robustness, moving target defense, dynamic transformation

s: The National Key R&D Program of China (2016YFB0801505), Cutting-edge Science and Technology Innovation Project of the Key R&D Program of China (2019QY1305)

TP301.6

A

10.11959/j.issn.2096?109x.2020052

何康（1992? ），男，山東濟寧人，信息工程大學博士生，主要研究方向為網絡空間安全。

祝躍飛（1962? ），男，河南鄭州人，信息工程大學教授、博士生導師，主要研究方向為入侵檢測、密碼學、信息安全。

劉龍（1983? ），男，河南鄭州人，信息工程大學講師，主要研究方向為入侵檢測和信息安全。

蘆斌（1983? ），男，河南鄭州人，信息工程大學副教授，主要研究方向為信息安全、機器學習和網絡分析。

劉彬（1981? ），女，河南鄭州人，信息工程大學副教授，主要研究方向為網絡安全。

論文引用格式：何康, 祝躍飛, 劉龍, 等. 敵對攻擊環境下基于移動目標防御的算法穩健性增強方法[J]. 網絡與信息安全學報, 2020, 6(4): 67-76.

HE K, ZHU Y F, LIU L, et al. Improve the robustness of algorithm under adversarial environment by moving target defense[J]. Chinese Journal of Network and Information Security, 2020, 6(4): 67-76.

2019?11?26；

2020?02?04

祝躍飛，yfzhu17@sina.com

國家重點研發計劃基金（2016YFB0801505）；國家重點研發計劃前沿科技創新專項基金（2019QY1305）