基于激勵機制的網絡攻防演化博弈模型研究

徐曉桐,王高才,胡錦天

(廣西大學 計算機與電子信息學院,南寧 530004)

1 引 言

隨著互聯網規模的擴大,網絡的安全性和用戶隱私性受到了極大地干擾,網絡安全問題在現代社會中也引起了人們的高度注視,網絡的安全性已經變成阻礙信息技術發展的重要因素之一.針對網絡環境以及攻擊手段的日趨復雜化,僅僅依靠一些被動的防御措施已無法保障網絡空間的安全.因此,尋找能夠對網絡環境進行檢測,并能及時預判是否安全進而積極采取防御手段的新技術尤為必要.

博弈論的研究最早出現于經濟學研究領域,1944年馮·諾依曼(von Neumann)和摩根斯坦(Morgenstern)提出了“博弈論與經濟學”,受到了人們的廣泛關注[1].演化博弈理論是一種將博弈理論與動態演化過程相結合的理論,它是在傳統博弈論的基礎之上引進了生物學的進化理論.演化博弈論能夠在各個不同的領域獲得極大的發展應歸功于史密斯(Smith,1973)與普瑞斯(Price,1974)[2],他們提出了演化博弈理論中的基本概念:演化穩定策略(Evolutionary Stable Strategy ESS).其中,參與者將不再是完全理性的個體,而是介于完全理性和非完全理性之間的、在一定限制條件下的有限理性.群體之間的局中人在演化過程中不斷地糾錯、模仿和改進,一步步趨向于某種穩定策略,最終達到一種博弈的平衡狀態,從而獲得最優策略以最大化自身利益的問題.

在網絡攻防中,入侵者做出某些行為來實施入侵以及一個計算機網絡做出某些行為來防止或抵抗攻擊的過程與演化博弈的過程具有相似之處,因此,相當多的研究通過建立網絡攻防博弈模型,來更加直觀的選取最優策略[3-6].在網絡安全領域,典型的演化博弈模型包括兩個對抗的參與者:攻擊者和防御者.攻擊者會試圖在防御者的控制下破壞或摧毀網絡環境,防御者可以通過增加自身的安全投資來增強網絡環境的防御能力.基于局中人的有限理性原則,攻防雙方通過結合歷史經驗來改進各自的策略選擇.通過不斷地學習和改進體制,攻防雙方逐漸演變為穩定狀態,有效提高了防御方選取最優策略的可靠性和準確性,保障了網絡空間的安全.

本文的組織結構如下:第2節介紹相關研究工作;第3節介紹網絡攻防演化博弈模型及相應概念;第4節討論演化博弈最優策略算法的描述;第5節進行仿真實驗并對實驗結果進行分析;最后第6節對全文進行了總結.

2 相關研究工作

博弈論在網絡安全方面的應用已經成為最近幾年的一個研究熱潮,由于傳統的博弈理論需要滿足太多的前提條件,比如完全信息條件等等,這與實際網絡環境有較大的出入,從而削弱了博弈模型的實際應用范圍.因此,研究人員開始將演化博弈理論引入網絡安全的研究中.關注方向主要有以下三個方面:一是關于網絡環境脆弱性的分析;二是信息安全的防御投資策略;三是關于網絡群體行為的研究.

在對網絡環境的脆弱性分析時,王元卓等人建立了基于隨機Petri網的攻防博弈模型[7],可以對目標網絡的攻擊成功率、平均攻擊時間、脆弱節點以及潛在攻擊路徑等方面進行安全分析與評價.J Liu等人提出了一種博弈理論方法制定了涉及多個檢測和防御決策的問題[8],以此來優化入侵檢測策略、降低能耗以及減少了報警信息,提高了傳感器云中數據的安全性.Alabdel Abass等人使用演化博弈理論分析了云存儲的APT(Advanced Persistent Threat 高級持續性威脅)攻擊/防御策略[9],利用復制動態方程來研究云存儲系統的動態穩定性,以表征局部漸近穩定的均衡策略,并顯示其間的關系漸近穩定性和演化穩定性.Yezekael Hayel等人構建了演化泊松博弈模型[10],并設計了控制軟件用戶行為以實現系統目標的機制.為了尋求最優策略集,Liu等認為在研究基本協同演化方法上,魯棒性是一個重要指標,并且他們研究了群體協同攻擊規則對合作博弈攻擊的魯棒性[11].然而該模型仍局限于需要完全信息.事實上,由于不同的參與者具有不同的認知能力以及非對稱的信息,策略演化的過程將不可避免地缺乏遠見.因此,探索非確定性策略演化分析具有重要意義.Hu等人利用復制動態方程來描述攻防行為[12],總結了不同類型參與者采取不同策略的演化過程,并通過計算演化穩定均衡給出了最優的防御策略.張云等人提出一種基于不完全信息的攻防博弈模型[13],使用證據理論來描述信息的模糊性,更加全面的尋求最優防御策略.文獻[14]在博弈論的基礎上,優化了網絡安全評估機制.文獻[15]在非合作演化博弈的基礎上,提出了具有不對稱信息的演化博弈模型,并利用系統動力學對模型進行演化分析,通過引入第三方懲罰機制來進一步解決網絡安全問題.

由于演化博弈研究的范圍和應用范圍正在不斷擴大,Wang等人在研究信息安全時使用演化博弈論來尋求長期最優安全投資策略,分別考慮了針對性和機會性兩種類型的攻擊的最優信息安全投資問題[16].Zhang等人利用演化博弈理論[17],解決網絡安全攻防交互中的決策問題,并為防御者提供量化的方法來計算安全收益.通過這種量化方式,可以為網絡制定合適的安全策略.Pan等人提出了一種動態的非對稱信息演化博弈模型[18],從微觀角度分析了參與者的決策動機,提出了最優投資策略.

另外,在研究網絡群體行為時,文獻[19]探討了網絡群體中用于隱私保護的群體結構演化博弈,它可以改進網絡群體用戶之間的隱私保護行為,并促進整個網絡中隱私保護行為的傳播;王元卓等人在介紹網絡群體行為評估標準時[20],利用演化博弈模型討論其群體行為的可行性.文獻[21]利用系統動力學對多個網絡群體系統進行實驗,評估了群體演化狀態的穩定性,為特定策略的演化穩定性提供了相應的條件.

針對已有的研究結果,本文研究并提出了一種引入第三方激勵機制的網絡攻防演化博弈模型,將激勵機制與懲罰機制相結合,并根據網絡攻防場景對網絡攻防群體的行為策略演化趨勢進行分析,在此基礎上尋求最優防御策略.有效的提高了防御者的收益,抑制了攻擊者的攻擊行為.

3 基于激勵機制的演化博弈模型

在網絡攻防中,由于攻擊者和防御者的有限理性致使攻防群體會選擇不同的策略進行博弈.雙方在攻防過程中通過不斷地試錯、調整和改進自己的決策手段,從而形成新的攻防博弈局面.

3.1 模型定義

由于實際網絡環境較為復雜,且攻防群體策略選擇是有限理性行為,因此,本文在不完全信息的條件下定義了網絡攻防演化博弈模型NADEGM(Network Attack-Defense Evolution Game Model).

定義1.將網絡攻防演化博弈模型定義為一個三元組NADEGM=(N,S,U),其中:

①N=(NA,ND)代表攻防演化博弈的局中人,即在博弈過程中采取某種策略的參與者.參與者在不同的環境下具有不同的意義,它能夠代表個體,也能夠代表一個團隊,個體或者團隊組成的群體叫做局中人策略集.這里NA是攻擊者,ND是防御系統.

②S=(SA,SD)表示局中人的策略集合,是局中人進行博弈的工具和手段.其中SA=(SA1,SA2,…,SAm)代表攻擊策略集合,SD=(SD1,SD2, …,SDn)代表防御策略集合.

3.2 參數量化

在分析攻防演化博弈時,我們首先需要給出一些相關定義,便于量化攻防雙方收益.

定義2.攻擊成本CA(Attack Cost):表示攻擊方實施攻擊所需要損耗的財力、物力等.

定義3.激勵機制酬勞R(Incentive Mechanism Reward):表示第三方監管部門給予防御方的獎勵.

在如今的信息時代,信息資源的占有程度和壟斷程度決定了自身的收益.由于目標網絡被攻擊的原因大多是因為信息的不公開、不透明,導致攻擊方想要通過攻擊獲取一定的信息.因此,社會想要通過激勵機制來激勵防御方,在不傷害自身利益的前提下適當的公開信息,實現信息共享,為此而受益的社會將會給予防御方一定的獎勵,也降低了攻擊方攻擊所帶來的損失.為了降低防御系統被攻擊的可能性,防御方選擇適當的公開信息得到社會的獎勵,公開的信息越有利于社會,激勵機制所產生的獎勵就會越豐厚.用R表示激勵機制酬勞,設R=αI(I表示公開的信息量,α表示社會受益度).因此,當防御方沒有進行防御投資時,設此時防御方公開的信息量為I0,則R0=αI0;當防御方進行防御投資時,設此時防御方公開的信息量為I1,則R1=αI1.

定義4.懲罰成本G(Penalty Cost):表示第三方監管部門對攻擊方實施攻擊的懲罰.

互聯網攻擊會引發一系列的網絡安全問題,用戶數據遭遇泄露,網絡服務被迫中斷,影響了人們的日常工作生活,嚴重時甚至影響國家安危.因此,第三方監管部門有責任對攻擊方違反網絡安全的不法行為進行懲治.用G表示監管部門對攻擊方的懲罰,設懲罰力度系數為β.因此,當防御方未采取防御投資策略時,攻擊方受到的懲罰為G0=βP0;當防御方采取防御投資策略時,攻擊方受到的懲罰為G1=βP1.

定義5.總回報E(Total Earning)表示攻擊方從一次成功攻擊中可獲得的總回報.

防御方作為目標網絡本身也具有一定的防御能力,但為了更好的抵抗外來攻擊以及保護自身網絡環境的穩定狀態,防御方可選擇增加自身的防御投資來抵抗網絡攻擊,設防御方增加的投資成本為Vadd.設防御方原有的防御能力為V0,攻擊方攻擊成功所帶來的損失為L.所以,當防御方采取防御投資策略時,防御方的損失為P1L;防御方未采取防御投資策略時的損失為P0L.由公開信息帶來的社會獎勵分別為R0和R1.當攻擊方采取攻擊策略并攻擊成功時,防御方采取防御投資策略的期望收益為V0-Vadd-P1L+R1;當攻擊方采取攻擊策略并攻擊成功時,防御方未采取防御投資策略的期望收益為V0-P0L+R0.當攻擊方沒有采取任何攻擊行為時,攻擊方的期望收益為0,防御方采取防御投資策略前后的期望收益為V0+R0,V0-Vadd+R1.

整理上述涉及的主要參數及意義如表1所示.

表1 主要參數及意義
Table 1 Main parameters and meaning

變量意義變量意義C0A防御方防御投資前,攻擊方所需攻擊成本R社會對防御方公開信息行為的獎勵C1A防御方防御投資后,攻擊方所需攻擊成本G攻擊方由攻擊行為所受到的懲罰P0防御方防御投資前,攻擊方攻擊成功的概率L防御方被攻擊后遭受的損失P1防御方防御投資后,攻擊方攻擊成功的概率E攻擊方一次成功攻擊帶來的總回報I0防御方防御投資前,防御方公開的信息量V0防御方原有的防御能力(原有資產)I1防御方防御投資前,防御方公開的信息量Vadd防御方增加的防御能力(防御投資)t0防御方防御投資前,攻擊方攻擊成功的時長α公開信息對社會的受益程度系數t1防御方防御投資后,攻擊方攻擊成功的時長β懲罰力度系數

3.3 復制動態方程

假設在攻防博弈過程中,攻擊方群體中采取攻擊策略的比例為x,采取不攻擊策略的比例為1-x;防御方群體中采取防御策略和不采取防御投資策略的比例分別為y,1-y.利用上述參數設定,得出網絡攻防演化博弈模型的收益矩陣如表2所示.

表2 演化博弈期望收益矩陣
Table 2 Evolutionary game expectation return matrix

防御方/攻擊方攻擊不攻擊投資V0-Vadd-P1L+R1,P1E-C1A-G1V0-Vadd+R1,0不投資V0-P0L+R0,P0E-C0A-G0V0+R0,0

(1)

=-xP0L+V0+αI0

(2)

α(I1-I0)-Vadd]-xP0L+V0+αI0

(3)

-y[(P0-P1)(E-β)+t1P1-t0P0]+P0(E-t0-β)

(4)

(5)

-xy[(P0-P1)(E-β)+t1P1-t0P0]+xP0(E-t0-β)

(6)

根據以上分析得到攻防演化博弈模型的復制動態方程.

由公式(4)和公式(6)可得攻擊方復制動態方程為.

x(1-x){-y[(P0-P1)(E-β)+t1P1-t0P0]P0(E-t0-β)}

(7)

由公式(1)和公式(3)可得防御方復制動態方程為.

α(I1-I0)-Vadd]

(8)

4 攻防演化博弈最優策略選取

在網絡攻防博弈過程中,攻擊方與防御方對立的進行博弈,每一個局中人都是通過在博弈中不斷地試錯、調整和改進來促使自己的期望收益最大化.在這種原則的指導下,無論是攻擊方的攻擊策略還是防御方的防守策略,均會逐漸趨向于一種平衡.未趨向平衡的一方所換來的代價就是減少收益,所以任何一方都不會去嘗試改變這種策略,即此時達到平衡的策略為最優策略.具體算法描述如下:

算法.最優防御策略選取算法

輸入:參與攻防博弈的局中人NA,ND及主機節點信息

Begin

1.初始化ADEGM=(N,S,U) /*初始化攻防演化博弈模型*/

2.構建x,y/*構建攻防雙方所選策略集的群體概率*/

3.構建基于激勵機制的不完全信息博弈樹

4.構建攻防雙方演化博弈矩陣

5.計算攻擊方的復制動態方程{

}

6.計算防御方的復制動態方程

{

}

End

分析以上算法步驟可知,第1步-第6步的時間復雜度為O(m+n),第7步-第8步的時間復雜度為O((m+n)2).綜上所述,求解最優防御策略的選取的時間復雜度不超過O((m+n)2).

圖1 基于激勵機制的不完全信息樹Fig.1 Incomplete information tree based on incentive mechanism

針對上述建立的網絡攻防演化博弈模型、參數設定及算法描述,構建了基于激勵機制的不完全信息博弈樹,利用博弈樹我們可以更直觀的分析演化博弈模型的所有信息.在本文提出的模型中,第三方監管部門是演化博弈中自然的身份,并不是參與者,在激勵因子的作用下,防御方群體有(SD1,SD2,…,SDn)種防御策略,攻擊方群體有(SA1,SA2,…,SAm)種攻擊策略,攻防雙方群體均以不同的概率選取不同的策略并產生不同的收益,如圖1所示.

5 應用實例與分析

在本節中,我們部署了網絡拓撲環境對本文所提出的網絡攻防演化博弈模型進行仿真實驗.通過分析演化穩定策略,證明模型的有效性;通過分析攻擊時間對攻擊群體策略選取的影響,證明攻擊具有時效性;通過激勵機制對攻防群體策略選取的影響以及引入防御投資回報方程,證明激勵機制的適用性.

在網絡拓撲環境中,攻擊主機A位于外部網絡,內網中包含三臺服務器,分別為MySQL服務器B、web服務器C和FTP服務器D;由防火墻將內部網絡與外部網絡隔離開.如圖2所示.

其中,防火墻用于將內網和外網隔開,是維護網絡環境安全的一道屏障.外部主機只能通過網絡訪問web服務器C和FTP服務器D.在內網中,MySQL服務器B、web服務器C和FTP服務器D之間可以利用user權限互相訪問.利用Nessus

圖2 網絡拓撲環境Fig.2 Network topology environment

脆弱點掃描器對網絡中三臺服務器節點進行弱點掃描,其服務器節點信息如表3所示.

表3 服務器節點信息
Table 3 Server node information

Host/IPOS服務脆弱點IDB172.16.3.2LinuxMySQLCVE-2018-10757C172.16.3.3LinuxsshCVE-2016-10012D172.16.3.4LinuxftpCVE-2016-9499

通過對網絡中各主機節點脆弱性和攻擊行為的分析,并結合國家信息安全漏洞庫(CNNVD)信息,在實驗中設計網絡攻擊策略SA1、SA2(SA1策略成本高,攻擊有效性高,針對性強;SA2策略成本低,攻擊有效性低,可看作不采取攻擊).對抗外來攻擊時,防御方可增加成本采取防御投資,也可依靠現有防御能力被動防守,設計防御策略為SD1、SD2.如表4和表5所示.

表4 原子攻擊信息
Table 4 Atomic attack information

編號及名稱網絡攻擊策略SA1SA21Remotebufferoverflow2Buffererror√3installWebLinstenerprogram√4installdeleteTrojan√5Tryingtostealaccount√6FTPserverinformationdisclosure√7Homepageattack√8CheckPointZoneAlarm9LPCtoLSASSprocess√10SQLinjectionvulnerability√

根據上述網絡環境,構建基于激勵機制的不完全信息博弈樹,在社會第三方監管部門的激勵下,攻防群體選擇不同的攻防策略,形成攻防收益集合,如圖3所示.

5.1 演化穩定策略

下面根據x和y的問題情境不同,對構建的網絡環境進行多次模擬實驗.利用仿真實驗,可以直觀的分析攻擊方x和防御方y的群體演化規律,實現對攻擊策略的預測,并最終尋求到演化穩定策略,即此狀態下的最優防御策略.

表5 防御策略信息
Table 5 Defense strategy information

圖3 基于激勵機制的不完全信息樹Fig.3 Incomplete information tree based on incentive mechanism

當問題情境為x=0.2,y=0.6時,即群體中攻擊方以{0.2,0.8}的概率選取混合策略{SA1,SA2},防御方以{0.6,0.4}的概率選取混合策略{SD1,SD2}.通過不斷演化,攻擊方選取策略SA1的幾率逐步趨向于0,防御方選取防御策略SD1的幾率逐步趨向于1,二者均達到演化穩定狀態,此時的最優防御策略為SD1.如圖4所示.

圖4 x=0.2,y=0.6時群體演化趨勢Fig.4 Group evolution trend when x=0.2,y=0.6

分析可知,在此時的情境下,防御方屬于較為積極的防備狀態,并且愿意針對自身脆弱點采取投資防御策略的防御群體呈逐步增加趨勢,攻擊方群體逐漸轉向不采取攻擊的被動狀態,此時網絡環境較為安全.

當問題情境為x=0.7,y=0.3時,即群體中攻擊方以{0.7,0.3}的概率選取混合策略{SA1,SA2},防御方以{0.3,0.7}的概率選取混合策略{SD1,SD2},經過不斷演化,攻擊方最終選取攻擊策略SA1的概率逐步趨向于1,防御方選取防御策略SD1的概率逐步趨向于0,二者均達到演化穩定狀態,此時的最優防御策略為SD2.如圖5所示.

圖5 x=0.7,y=0.3時群體演化趨勢Fig.5 Group evolution trend when x=0.7,y=0.3

分析此時的情景可知,由于防御方選擇投資防御策略的群體概率較小,在攻防對抗中較為被動,攻擊方群體逐漸采取有效的攻擊策略進行攻擊,整體網絡環境癱瘓.

5.2 激勵機制對攻防群體策略的影響

當防御方采取防御策略后,攻擊方想要攻擊成功的時間就會延長.我們可以發現,本文所構建的模型在仿真實驗環境下,在第1min至第3min時,攻擊群體逐漸趨向于選擇高成本的攻擊策略,在第4min時攻擊群體中選擇高成本攻擊策略者基本保持原有概率不變,如圖6(a)所示.當超過4min之后,由于攻防雙方長時間僵持導致攻擊成本過高,攻擊方逐漸趨向于消極狀態,最終演化為不采取攻擊,如圖6(b)所示.因此,當防御方以較為積極的狀態采取防御策略致使攻擊時間過長時,可以有效遏制攻擊方的攻擊積極性.

圖6 攻擊時長對攻擊群體的影響趨勢Fig.6 Impact of attack duration on attack groups

圖7 激勵機制對防御群體的影響趨勢Fig.7 Influence of incentive mechanism on defense groups

為了分析增加激勵機制對防御群體的影響,我們將R分別取不同值觀測防御群體的演化規律.將圖7(a)、圖7(b)結合分析可知,無論選擇投資防御策略的初始群體的概率是多少,當社會不給予防御方激勵或者激勵程度較小時,防御群體逐漸趨向于被動防御的消極狀態,這樣對于整個網絡環境是十分不利的;當社會給予防御方足夠豐厚的激勵時,防御群體逐漸趨向于采取投資防御策略的積極狀態,更有利于建設和諧文明的互聯網空間.

5.3 激勵機制對防御收益的影響

此外,為了更直觀的看出增加激勵機制的優勢,我們引入投資回報(Return on Security Investment)的概念[16].可得到防御投資回報ROSI:

通過對比我們可以看出增加激勵機制可以明顯提高防御方的收益,有效降低了攻擊方攻擊對網絡環境所造成的損失.如圖8所示.

圖8 激勵機制對防御方收益的影響Fig.8 Impact of incentives on the benefits of defenders

6 總 結

如今,網絡攻防對抗正朝著快速、實時、多元化的方向迅猛發展,基于傳統動態博弈的分析方法已經不能滿足現實需求.本文構建了基于激勵機制的網絡攻防演化博弈模型,在不同的問題情境下,系統通過不斷演化,最終將會趨向于某個穩定狀態,防御方經過不斷的修正和改進自己的行為,最終獲得此情境下的最優防御策略.此外,本文在懲罰機制的基礎上引入激勵機制,通過第三方監管部門對局中人進行管理,可以有效提高防御方的總體收益,促進防御方投資防御策略的積極性.通過分析攻擊時長可以發現,增加防御策略投資會導致攻擊時間變長、攻擊成本過高,從而遏制了攻擊者的攻擊積極性,便于構建更加安全穩定的網絡環境.通過對比可以很直觀的發現本文演算得出的理論分析與仿真實驗得出結論保持一致,證明了本文提出的攻防演化博弈模型的實際意義.將其應用在實際網絡環境下,可以對外來攻擊者及時進行預判和檢測,并為自身最優防御策略的選取提供一定的依據,對網絡環境的維護有一定的積極作用.