夏 怒 李 偉 陸 悠 蔣 健 單 馮 羅軍舟
(東南大學計算機科學與工程學院 南京 211189)(xia_nu@seu.edu.cn)
一種面向域間路由系統的信任模型
夏怒李偉陸悠蔣健單馮羅軍舟
(東南大學計算機科學與工程學院南京211189)(xia_nu@seu.edu.cn)
摘要在域間路由系統中,邊界網關協議(border gateway protocol, BGP)的運行基于對自治域路由通告行為的可信假設,給了虛假路由信息發布者可乘之機,導致影響Internet穩定運行的安全事件時有發生,然而現有研究工作并不能有效抑制虛假路由信息的產生和傳播,因此提出一種面向域間路由系統的信任模型,以實現對自治域路由通告行為準確的可信評估.在該模型中,在每個評估周期,評估自治域對其鄰居自治域的歷史路由通告行為進行直接評估,同時收集被評估自治域的其他鄰居自治域對其的直接評估,最后綜合多方來源的直接評估結果計算被評估自治域的信任度.采用路由通告行為預測方法,以使直接評估結果可準確反映被評估自治域的未來路由通告行為,此外,為使評估自治域可獲得充分的信任信息以保障信任度評估結果的準確性,采用信任推薦激勵機制促進自治域積極參與信任推薦,自治域間相互根據對方的歷史信任推薦積極性計算信任推薦概率,并基于該概率進行信任推薦.實驗結果表明:相比于其他信任模型,在不同的評估環境中,信任模型的信任評估結果可更為準確地反映被評估自治域未來發布真實路由通告的可能性.
關鍵詞域間路由系統;信任模型;信任度;路由行為預測;信任推薦激勵
域間路由系統由眾多自治域系統(autonomous system, AS)互聯而成,肩負著維護網絡可達的重任,是Internet穩定運行的基石.在該系統中,自治域間基于邊界網關協議(border gateway protocol, BGP)交換路由通告以實現域間路由收斂,BGP協議的運行基于對自治域路由通告行為的可信假設,然而這種可信假設卻導致域間路由系統的穩定運行時常遭受由前綴劫持、錯誤配置、軟件故障等產生的虛假路由信息的干擾[1-2].例如,2005年Google的一個前綴被劫持導致部分用戶將近1 h無法訪問Google[3],2008年巴基斯坦電信錯誤散播YouTube的一個前綴導致后者的服務中斷2 h[4],這些安全事件同時也造成了重大的經濟損失.為了應對域間路由系統所面臨的安全挑戰,當前的研究工作主要是從完善路由協議的安全機制以及加強對路由信息的診斷監測這2方面展開的.在安全機制方面,常用的解決方案如使用公共密鑰設施(public key infrastructure, PKI),通過對自治域與其可發布前綴的綁定[5-7],以限制虛假路由信息的傳播,然而,在分布式的域間路由系統內設置集中式的密鑰授權管理機構尚缺乏現實可行性.在路由信息診斷監測方面,主要是基于數據層面(前綴是否可達)或控制層面(路由路徑是否變化)的行為監測結果分析是否存在虛假前綴等安全威脅[8-10],然而,此類方法實質上是對域間路由通告的有效性進行后驗式診斷,并沒有對路由通告來源進行風險評估,從而難以有效抑制虛假路由信息的產生和傳播.
鑒于信任機制在電子商務和P2P等領域[11-13]內遏制實體惡意行為方面的功效,目前信任機制也被逐漸引入到域間路由系統中,以實現對自治域的路由行為如所發布路由通告的前綴真實性等進行信任評估,評估結果可以作為路由決策規避路由風險的有效依據.在文獻[14]提出的信任模型中相鄰自治域間相互交換自身的路由策略、授權狀態等指標,并基于這些指標展開信任評估,所使用的評估方法為對多個歸一化的行為指標進行加權平均,然而,在該模型中信任評估所基于的一些行為指標并非來源于評估方的直接監測結果而是由被評估方提供,因此這些指標的可靠性無法得到保障,此外,要求被評估方提供如路由策略等隱私信息的做法缺乏現實可行性.在文獻[15]所提出的信任模型中,自治域分別基于其他自治域所發布的路由通告的前綴真實性、所包含路由是否為谷底路由(valley free routing)以及所包含域間鏈路穩定度來計算相應的有效通告所占比例,隨后基于不同的有效通告所占比例,分別評估自治域在不同路由通告行為指標方面的信任度.值得注意的是由于現有的路由行為監測方法并不能完全保障監測結果的準確性,并且由于不同自治系統之間的路由策略受商業關系的約束,有些路由通告可能被路由過濾器(route filter)所屏蔽進而無法被路由監測系統所發現,因此單個自治域僅僅依靠自身路由行為監測所得出的評估結果往往難以準確地反映被評估自治域的路由行為.盡管文獻[16]所提出的信任模型在評估自治域信任度時綜合考慮多個自治域所提供的信任信息,然而該模型沒有采取過濾虛假信任推薦信息的措施,使得當存在虛假信任推薦信息時信任評估的準確性無法得到保障.在文獻[17]所提出的信任模型中,域間路由系統被分割成若干個信任聯盟,每個聯盟中有一個自治域擔任盟主,其他自治域(聯盟成員)之間基于Beta分布理論相互展開直接評估,針對某一成員,盟主收集聯盟其他成員所提供的關于該成員的直接評估,隨后過濾掉與直接評估平均值偏離較大的直接評估值,最后取未被過濾的直接評估值的平均值作為該成員的信任度.然而,這種在信任模型中常用的過濾不可靠推薦信任度的方法需要在大多數推薦者為善意的情況下才能保障過濾效果,當在局部范圍內惡意推薦者所占比例較大時該信任推薦過濾方法的效能將大打折扣.此外,在該模型中,為實現大范圍內信任信息共享需要不同聯盟的盟主之間交互所管轄成員的信任信息,這種盟主-成員式的信任模型所帶來的問題是:各個獨立的自治域并非樂意讓其他自治域成為自己的信任代理,因此盟主的選擇很難在自治域間展開并最終達成共識;盟主行為難以被監管,若盟主提供虛假信任信息會對域間路由系統的安全性造成嚴重破壞.還需要指出的是,在被評估自治域路由行為波動較大的情況下,上述信任模型基于加權平均、Beta分布等方法所得信任評估結果難以準確反映其未來路由行為變化,因此不能有效地為路由決策規避未來路由風險提供支持.此外,由于在現有面向域間路由系統的信任模型中沒有采取方法促進自治域積極的參與信任推薦,會導致在自治域出于私利不積極反饋直接評價的情況下,評估者由于無法獲取足夠的信任信息而無法保障信任度評估結果的準確性,因此,有必要建立促進自治域積極參與信任推薦的激勵機制.通過研究面向其他研究領域的激勵機制后發現,在基于一次一罰策略的激勵機制中[18-19],實體一旦有1次不合作行為后其將被迫進入1個懲罰期,被懲罰實體需無償向其他未被懲罰實體提供若干次服務才能脫離懲罰期,并且在該期間內被懲罰實體不能享受其他實體提供的服務,這種激勵機制的問題在于沒有對實體的歷史合作行為進行有效區分,會嚴重影響長期合作偶爾無法合作的實體的合作積極性.此外,在合作雙方初始積極性不高的情況下,2個實體很有可能由于1次同時不合作而雙雙陷入懲罰期,導致相互不能提供服務而都無法脫離懲罰期即陷入合作僵局.在基于行為閾值的激勵機制中[20-21],實體合作行為一旦低于某個閾值將被迫經歷1個懲罰期,在該懲罰期內被懲罰實體需無償向其他未被懲罰實體提供若干次服務,并不能享受服務,這種激勵機制雖然避免了一次一罰策略對實體合作積極性的影響,但是在這種機制中合作行為高于閾值的實體所受到的獎勵相同,會導致實體采取保持合作行為達標(高于閾值)即可的投機策略.此外,這種基于行為閾值的激勵機制也存在使實體陷入合作僵局的風險,即當2個實體合作行為都低于閾值后將相互不能提供服務.
為實現對自治域路由通告行為進行準確的信任評估,使得評估結果可作為域間路由決策的依據,以有效抑制虛假路由信息的產生和傳播,本文提出一種面向域間路由系統的信任模型TMIRS(trust model for inter-domain routing system),在該模型中,在每個評估周期,評估自治域對其鄰居自治域的歷史路由通告行為進行直接評估,同時收集被評估自治域的其他鄰居自治域對其的直接評估,最后綜合多方來源的直接評估結果計算被評估自治域的信任度.本文采用路由通告行為預測方法以使直接評估結果可準確反映被評估自治域的未來路由通告行為.此外,為使評估自治域可獲得充分的信任信息以保障信任度評估結果的準確性,本文采用信任推薦激勵機制促進自治域積極參與信任推薦,自治域間相互根據對方的歷史信任推薦積極性計算信任推薦概率,并基于該概率進行信任推薦,一個自治域歷史上向其他自治域信任推薦積極性越高,其從其他自治域獲取信任信息的概率就越大,反之亦然.
1信任模型
在本文的信任模型中,自治域對其鄰居自治域的路由通告行為展開信任度評估,在評估時評估方綜合考慮自身獲取的以及被評估自治域其他鄰居所提供的直接評估信息,在有效區分不同來源直接評估值的可靠性的基礎上計算被評估自治域的信任度.
在當前的域間路由系統中,惡意攻擊、軟件故障或配置錯誤都有可能導致自治域對外發布包含虛假前綴的路由通告,這類通告會快速傳播到多個自治域的邊界路由器并引發路由表項的變動,最終導致數據流量無法到達自治域所宣稱的目的前綴,虛假前綴已經成為當前域間路由系統所面臨的最嚴重威脅.因此,為抑制包含虛假前綴的路由通告的產生,有必要對自治域的路由通告行為進行可信評估,評估結果應能夠反映出被評估自治域在未來發布包含真實前綴的路由通告的可信程度.鑒于現有的路由信息診斷和監測研究工作[8-10]在發現前綴劫持行為方面取得了一定的成效,對自治域路由通告行為的可信評估提供了良好的基礎,可以通過現有的路由信息診斷和監測方法驗證被評估自治域所發布前綴的真實性.綜上所述,本文設計一種面向域間路由系統的信任模型,在該模型中,在每個評估周期,評估自治域基于其自身對被評估自治域路由通告行為的監測結果做出直接評估,考慮到現有的路由行為監測方法并不能完全保障診斷結果的準確性,并且有些路由通告可能被路由過濾器(route filter)所屏蔽進而無法被路由監測系統所發現,會導致單個自治域的直接評估結果難以準確反映被評估自治域的實際路由通告行為,因此評估自治域還需要參考被評估自治域的其他鄰居自治域對其的直接評估,為實現不同自治域間信任信息的交互,可以采取如在不同域內設置信任服務器相互交互信任信息,或采取帶外連接的方式如管理員之間通過電話和郵件等進行信任信息的交互.在收集到其他自治域的信任推薦信息后,評估自治域對不同來源的直接評估設以相應的權重,最后計算被評估自治域的信任度.由上述可知,在每個評估周期,評估自治域首先需要對被評估自治域做出直接評估:
定義1. 直接評估DTi,j(t).DTi,j(t)為在第t個評估周期自治域i對自治域j在未來發布滿足前綴真實性的路由通告的可信預期,該值是基于自治域i自身對自治域j的歷史路由通告行為監測結果得出的,取值范圍為[0,1].
隨后,評估自治域綜合多方來源的直接評估計算被評估自治域的信任度.
定義2. 信任度CTi,j(t).CTi,j(t)為在第t個評估周期自治域i認為自治域j在未來發布滿足前綴真實性的路由通告的可信程度,該值是自治域i綜合多方直接評估得出的,取值范圍為[0,1].
需要指出的是,在信任度計算時,評估自治域參考的是其他自治域對被評估自治域的直接評估而非信任度,這是因為:信任度可能綜合了第三方自治域所提供的直接評估,在第三方直接評估不可靠的情況下,會導致不可靠信任信息的傳播和擴散即形成以訛傳訛.為有效降低不可靠直接評估對信任度評估的影響,在信任度計算時評估自治域需要對比歷史上不同來源的直接評估與被評估自治域的實際路由通告行為的總體偏差程度,根據對比結果對不同來源的直接評估設置相應的權重.本文的信任模型示意圖如圖1所示,當一個自治域i對其鄰居自治域j進行信任度評估時,自治域i需要綜合考慮i對j的直接評估以及j的其他鄰居(k和m)對j的直接評估,這些評估值通過自治域間信任推薦的方式獲取,隨后自治域i賦予不同來源的直接行為值相應的權重,最后綜合多個賦有權重的直接行為值計算被評估自治域j的信任度.

Fig. 1 The diagram of the trust model.圖1 信任模型示意圖
設在第t個評估周期,自治域i對自治域j的信任度計算方法為
(1)
其中,CTi,j(t)為自治域i對自治域j的信任度,DTk,j(t)為自治域k(包括自治域i)對自治域j的直接評估,m表示在當前評估周期自治域i收集到的關于自治域j的直接評估的數量(m≥1),wk為自治域k對自治域j的直接評估在此次信任度評估中所占的權重.需要指出的是,對于同一個被評估自治域j,在同一個評估周期,其不同鄰居自治域計算得出的信任度是不一樣的,原因是:在1個評估周期里,由于自治域并非總是積極地參與信任推薦,不同鄰居收集到的對自治域j的直接評估的來源會有所不同,進而所得信任度會不一樣;即便不同鄰居收集到的對自治域j的直接評估的來源是相同的,但是不同的評估自治域對于同一個由第三方提供的直接評估所設置的權重是不一樣的,因為評價第三方直接評價可靠性的指標要基于評估自治域自身對被評估自治域的路由通告行為的驗證結果(詳見1.2節),而不同評估自治域所獲的驗證結果是不一樣的,因此對同一個第三方直接評估設置的權重會不一樣,進而所得信任度會有所不同.下面將分別詳細介紹信任度計算所需的直接評估以及不同直接信任評價值所對應權重的計算方法.
1.1直接評估
由定義1可知,本文對直接評估的計算是基于對被評估自治域歷史路由通告行為的驗證結果,如果僅僅以被評估自治域歷史上所發布的滿足前綴真實性的路由通告的比例作為評估依據,會由于缺乏對不同時期被評估自治域的路由通告行為的分析,導致評估結果只是反映被評估自治域以往發布滿足前綴真實性的路由通告的總體比例,而無法有效反映其未來發布滿足前綴真實性的路由通告的可能性.因此,為了有效把握被評估自治域路由通告行為的變化規律,在本文的信任模型中,評估自治域以評估周期為單位來統計對被評估自治域所發布路由通告的前綴真實性的驗證結果,進而計算出以評估周期為單位的被評估自治域的路由通告行為指標:路由通告行為值.
定義3. 路由通告行為值ABi,j(t).ABi,j(t)為在第t個評估周期自治域i計算得出的自治域j在該周期內向其發布滿足前綴真實性的路由通告的比例,該值的取值范圍為[0,1].
ABi,j(t)的計算方法為
ABi,j(t)=u
(2)
其中,n為在第t個評估周期內自治域i收到的來自自治域j的路由通告數量,u為滿足前綴真實性的路由通告數量.由此可知,經過t個評估周期,自治域i可獲得自治域j歷史上各個評估周期的行為指標即路由通告行為值ABi,j(1),ABi,j(2),…,ABi,j(t).值得注意的是,現有的信任模型在計算直接評估時,對歷史行為指標往往采用加權平均、貝葉斯算法、Beta分布等方法,所得評價結果在被評估對象路由行為非平穩變化的情況下難以準確反映其未來路由通告行為狀態,導致評價結果不能有效幫助路由決策規避未來的路由風險.因此,在本文的信任模型中,為了使得直接評估結果可準確反映被評估自治域在未來1個評估周期內的路由通告行為表現,設當前為第t個評估周期,評估自治域i基于對被評估自治域j未來一個評估周期的路由通告行為值的預測,來計算直接評估DTi,j(t),有DTi,j(t)=ABi,j(t+1),ABi,j(t+1)為評估自治域i基于自治域j歷史上各個評估周期的路由通告行為值預測出的其在第t+1個評估周期的路由通告行為值.由此可知,該直接評估可以有效反映自治域未來路由通告行為,將有助于路由決策規避未來的路由風險.

Fig. 2 Prediction method of the routing behavior value.圖2 路由行為值預測方法示意圖
本文所使用的對自治域路由通告行為值的預測方法基于早先的1個在路由行為預測方面的研究成果[22],與現有的AR模型、人工神經網絡、小波變換、灰色模型相比,該研究成果的優點是:在小樣本狀態下(樣本數量不少于4個)即可實施預測、無樣本分布要求、不依賴專家經驗、在樣本數據值波動較大的情況下預測精度更高.設自治域i獲得的自治域j的歷史路由通告行為值序列為(ABi,j(1),ABi,j(2),…,ABi,j(t)),本文在預測路由通告行為值時,所基于的路由行為預測算法定義了2種波動類型:1)突發波動,該波動只干擾波動出現時刻的行為值,對后續行為值無影響,具有突發性;2)遷移波動,該波動不僅干擾波動出現那一刻的行為值并會對后續行為值產生一定影響,導致行為曲線發生如水平遷移以及趨勢改變等.該預測算法定義了1個級比序列,此序列由相鄰路由通告行為值的比值構成,表示為(r1,r2,…,rt-1),其中有ru=ABi,j(u+1)ABi,j(u).隨后,基于一個分組標準|max(ri)-min(ri)| DevDTi,k,j(t)= (3) 其中,nk,i,j為在過去的t個評估周期里自治域k(包含自治域i)向自治域i提供的關于自治域j的直接評估的次數,出于策略或開銷的考慮,其他自治域不一定會在每個評估周期都向自治域i提供關于自治域j的直接評估,因此第u次(1≤u (4) 由式(4)可知,如果歷史上自治域k所提供的關于自治域j的直接評估與自治域j路由通告行為值的平均偏差相對于其他自治域的更小,則在當前自治域i對自治域j的信任度評估中自治域k所提供的直接評估所占權重更大,反之亦然.在極端情況下,如果每個自治域的歷史直接評估與自治域j的路由通告行為值的平均偏差都為1,這說明參與評估的自治域總是提供與自治域j實際路由通告行為相反的評估結果,顯然在這種情況下各個自治域所提供的直接評估毫無價值,故權重都設為0. 1.3算法描述 基于上述對本文信任模型的介紹,本節給出對信任度評估的算法描述,設評估自治域為A,被評估自治域為B,自治域B的鄰居集合為N(B),該集合包含自治域A,N(B)中任意1個自治域R在A對B信任評估時所提供的直接評估值序列為SeqR,自治域B的路由通告行為值序列為SeqB,自治域A對自治域B的信任度評估算法如下所示: 算法1. 信任度評估算法. 輸入:N(B),SeqR(R∈N(B)),SeqB; 輸出:CTA,B(t). ①t=1,?SeqR=[],SeqB=[]; ② 計算路由通告行為值ABA,B(t),并將其加入到SeqB中; ③ if (t≠1) then ④ for eachR∈N(B) do ⑤ 計算邊路由通告行為值的平均偏差DevDTA,R,B(t); ⑥ end for ⑦ for eachR∈N(B) do ⑧ 計算直接評估權重wR; ⑨ end for ⑩ else then 2信任推薦激勵機制 在本文的信任推薦激勵機制中,自治域間相互根據對方的歷史信任推薦行為計算信任推薦概率,并基于該概率決定是否向對方推薦信任信息即反饋對被評估自治域的直接評估值,自治域參與信任推薦的積極性越高,其從其他自治域獲取信任推薦的可能性越大,反之亦然.此外,為保障自治域間的信任推薦不會陷入合作僵局,本文還設置了補償概率,信任推薦行為不好的自治域可以通過付出較大補償概率的方式來提升與其他自治域的合作水平,而信任推薦行為較好的自治域只需付出有限的補償概率來維持合作. 由本文第1節可知,評估自治域通過綜合考慮多方對評估自治域的直接評價可提高信任度量結果的準確性,然而,在自治域出于私利不積極反饋直接評價的情況下,評估自治域無法獲取足夠的信任信息,最終使得信任度評估結果的準確性無法得到保障.考慮到現有面向域間路由系統的信任模型中沒有采取方法促進自治域積極地參與信任推薦,因此,有必要建立促進自治域積極參與信任推薦的激勵機制.同時鑒于現有激勵機制所存在的不足,本文提出一種激勵機制.在該激勵機制中,設當前為第t個評估周期,自治域A基于自治域B對其的歷史信任推薦行為設置相應的信任推薦概率RPA,B(t),有0%≤RPA,B(t)≤100%,隨后,當B向A發送信任查詢請求時,A首先判斷其資源策略是否允許其對B信任推薦,如果不允許則不推薦,否則A則以信任推薦概率RPA,B(t)向B進行信任推薦.本文使用信任推薦有效性來刻畫自治域歷史信任推薦行為: 定義4. 信任推薦有效性CB,A(t).CB,A(t)為自治域B歷史上向自治域A反饋信任信息的比例,有0%≤CB,A(t)≤100%. CB,A(t)的計算方法為 (5) 其中,nT為在信任推薦有效性評估窗口(最近T個評估周期)中A向B發送過的信任信息查詢請求次數,kT為在該評估窗口內B向A信任推薦的次數.設當前為第t個評估周期,在計算出信任推薦概率RPA,B(t)后, 由上述可知,本文的激勵機制基于“多勞多得少勞少得”理念,A對B的信任推薦概率與B對A的歷史信任推薦行為相掛鉤:B對A的歷史信任推薦合作積極性越高,當A在策略資源允許的情況下,B從A獲取信任信息的概率就越大,反之亦然.因此,相比于現有的激勵機制,本文激勵機制的優點是:1)歷史信任推薦積極性較高的自治域偶爾幾次不推薦,只會一定程度降低其他自治域對其信任推薦的概率,不會如基于一次一罰策略的激勵機制那樣必然遭受無法獲取信任信息的懲罰,而是仍然有較大可能性從其他自治域獲取信任信息,然而,隨著不推薦次數的增多,其他自治域對其的信任推薦概率會不斷下降,最終會使其無法有效從其他自治域獲取信任信息;2)自治域是否能夠有效地從其他自治域獲取信任信息與該自治域的歷史信任推薦積極程度有關,而非與某個行為閾值掛鉤,因此越積極地參與信任推薦,從其他自治域獲取信任信息的可能性就越大,使得自治域不會采取在信任推薦積極性到達一定程度就不加努力的投機策略.本文信任推薦激勵機制流程圖如圖3所示. 由圖3可知,設在第t個評估周期,在自治域A和自治域B相互展開信任推薦之前,自治域A需要計算自治域B對其的信任推薦有效性CB,A(t),并依此計算其對其自治域B的信任推薦概率RPA,B(t),自治域B也是如此.在A收到B的信任查詢請求后,A對B的信任推薦概率并不是決定A向B信任推薦的唯一要素:在A受資源策略限制的情況下,即便A對B的信任推薦概率為百分之百,A也不能向B推薦信任信息.只有在A不受自身資源策略的限制下,A對B的信任推薦概率才能成為左右A是否向B信任推薦的唯一要素.下面將介紹信任推薦概率的計算方法. Fig. 3 The trust recommendation incentive mechanism for the inter-domain routing system.圖3 面向域間路由系統的信任推薦激勵機制示意圖 2.1信任推薦概率的計算方法 如果2個自治域之前并無信任推薦歷史,出于對合作的激勵,在本文的激勵機制中,初次開展信任推薦的自治域將相互的信任推薦概率設置為100%,在隨后的評估周期再根據對方實際的信任推薦行為(信任推薦有效性)來調整信任推薦概率.在介紹本文的信任推薦概率的計算方法之前,首先分析1個問題:是否可以直接將自治域B對自治域A的信任推薦有效性作為自治域A對自治域B的信任推薦概率?下面通過1個實例來討論上述猜想的可行性,在這個實例中A與B相互將對方對自己的信任推薦有效性作為自己向對方的信任推薦概率,設A與B之間相互信任推薦100次,并設A和B的資源策略所允許推薦的概率相同,當A和B的資源策略所允許信任推薦的概率分別為90%,50%以及30%時,分別計算在每次信任推薦時A對B的信任推薦概率,重復上述測試100遍后對每次信任推薦所得信任推薦概率取平均值,測試結果如圖4所示.從圖4可以發現,如果雙方僅僅將對方的信任推薦有效性作為計算信任推薦概率的唯一要素,會導致信任推薦合作水平遠低于預期,特別是當資源策略 所允許推薦的概率較低時,合作水平下降非常快直至趨于不合作狀態.由此可知,不能將自治域B對自治域A的信任推薦有效性直接作為自治域A對自治域B的信任推薦概率. Fig. 4 The change of trust recommendation probability.圖4 信任推薦概率變化示意圖 下面對造成上述問題的原因進行分析,在本文的激勵機制中,自治域A是否向自治域B信任推薦需要A首先判斷資源策略是否允許信任推薦,如果允許則A將基于其對B的信任推薦概率決定是否推薦,因此即便A與B相互的初始信任推薦概率為100%,但如果雙方資源策略允許推薦的概率小于100%,則當資源策略不允許信任推薦時A也不能給予B信任推薦,進而隨后從B的角度來說A對其的信任推薦概率將小于100%,因此B也會降低對A的信任推薦概率,進而又會導致未來B對A的信任推薦有效性小于100%,如此往復,A和B不斷降低向對方的信任推薦概率,導致最終A與B的信任推薦合作水平會遠低于預期.顯然,這種當雙方都具有較高理論上的合作水平(資源策略允許推薦概率為90%)卻無法達到高水平合作的現象是不合理的.為解決這個問題,本文設在第t個評估周期自治域A對自治域B的信任推薦概率計算為 (6) 其中,CB,A(t)為B對A的信任推薦有效性;FC(t)為補償概率,設置該值的目的是為了避免圖4所示情況的發生:自治域A與自治域B之間由于一方或雙方的歷史不合作,導致相互降低向對方信任推薦的概率,最終使得雙方都不愿意主動提升合作積極性,導致雙方的信任推薦陷入僵局. 2.2補償概率的計算方法 補償概率FC(t)的計算方法為 (7) (8) 3實驗 為驗證本文信任模型的有效性,本文分析了RIS項目網站①提供的位于美國邁阿密的1臺邊界路由器(AS12654)上的路由通告數據,繪制出了以AS12654為中心的1個局部網絡拓撲,如圖5所示,其中自治域A代表AS12654. Fig. 5 The network topology of simulation.圖5 實驗網絡拓撲 鑒于RIS項目所提供的每個邊界路由器路由通告數據樣本所對應的時間跨度為5 min,因此本文設置1個信任評估周期的時間跨度為5 min.設置實驗網絡拓撲中每個自治域擁有10個前綴,在每個評估周期,這些自治域都要將自己的前綴宣告出去,隨后在此基礎上設置相應的發布虛假前綴的行為(見3.1節).需要指出的是,在前綴真實性驗證方面,當前研究主要采用的方法是查詢地區級互聯網路由注冊中心(Internet routing registry, IRR)[23]的“網絡前綴-來源”對應關系數據庫,依此來判斷1個前綴是否真實存在且屬于相應的自治域,為模擬真實的前綴認證環境,在本文實驗中設置1個數據庫存放所有自治域與其所擁有的前綴的對應關系,通過查詢數據庫,實驗網絡中的自治域i可以驗證來自其鄰居自治域j的路由通告前綴真實性即只要沒有在數據庫中查到相關的前綴與自治域對應關系則認為1條通告不滿足前綴真實性.此外,為了模擬實際中自治域在驗證路由通告前綴真實性時由于IRR所存信息陳舊或查詢請求未得到響應等所造成的驗證結果不準確的情況,本實驗設1個自治域i在1個評估周期內從自治域j收到的每個路由通告有10%的概率由于未能得到數據庫響應而不將該路由通告納入到對路由通告行為值的計算中,隨后如果對該通告的驗證查詢可以得到數據庫的響應,則再設有10%的概率該通告的前綴因無法驗證(模擬IRR所存信息陳舊)而被認為是虛假前綴.由上可知,在每個評估周期自治域i可計算出相應的路由通告行為值ABi,j(u)=vn,其中n為在第u個評估周期內自治域j向自治域i發送的路由通告數量(不包括在驗證前綴真實性時未能得到數據庫響應的路由通告數量),v為前綴真實性得以驗證的路由通告數量.本實驗環境為2.0 GHz的P4處理器、2 GB內存、Windows XP平臺,使用Java作為開發工具. 3.1自治域都積極信任推薦時信任模型有效性驗證 在這個實驗部分不考慮自治域不積極參與信任推薦即不提供直接評估的情況,將實驗網絡中的自治域A作為被評估自治域,當其任意1個鄰居自治域如B為評估自治域時,A的其他鄰居自治域如C,D,E,F則為信任推薦自治域.設置A每次在應該宣告自己所擁有的前綴時都有30%的概率將非自己所擁有的前綴宣告出去以模擬前綴劫持行為.鑒于當前面向域間路由系統的信任模型中最常用的評估方法是基于算術平均法或Beta分布,因此本文選取2個信任模型作為比較:1)文獻[15]提出的信任模型,簡稱為AVE,該模型分別計算出各個評估周期滿足前綴真實性的路由通告比例,然后對這些比例值取平均值作為直接評估,該模型不采用信任推薦;2)文獻[17]提出的信任模型,簡稱為Beta_Filter,該模型統計歷史評估周期中滿足前綴真實性的路由通告個數,然后基于Beta分布計算直接評估,此外,該模型采用信任推薦并基于平均值過濾偏離較大的直接評估,最后將未被過濾的直接評估的平均值作為信任度.為了驗證不同信任模型的評估效能,在每個評估周期自治域A的所有鄰居分別采用不同的信任模型計算A的信任度,并將信任評估結果與A實際的對其不同鄰居下一個評估周期的路由通告行為值進行對比以計算評估偏差(取絕對值),進而再計算A的多個鄰居評估偏差的平均值,將該值作為比較不同信任模型評估效能的指標.還需要指出的是,由于本文所采用的路由通告行為預測方法需要積累4個評估周期的路由通告行為值才能進行預測,因此在本實驗中從第5個評估周期開始對不同信任模型的評估效能進行對比.此外,在本實驗中信任推薦者被分為誠實推薦者和虛假推薦者,誠實推薦者將自身所獲直接評估不做修改地提供給評估者;虛假推薦者又分為長期虛假推薦者和非長期虛假推薦者,長期虛假推薦者在每次信任推薦時都將其實際所獲直接評估提高10%~20%后提供給評估者,而非長期虛假推薦者在每次信任推薦時有10%的概率提供高出實際所獲直接評估10%~20%的直接評估.下面將在不同的信任評估環境中比較不同信任模型的評估效能. 實驗1. 在包含不同比例的誠實推薦者與長期虛假推薦者的環境中信任評估有效性驗證. 本實驗分析100個數據樣本即評估時長為100個周期(每周期間隔5 min),將長期虛假推薦者的個數分別設為0~4個(由實驗拓撲可知,以A的任意1個鄰居作為評估自治域都會存在最多4個信任推薦者),實驗結果如圖6(a)~(e)所示.其中,不同類型的線對應不同模型所得100個評估偏差的平均值,實線代表TMIRS模型所得平均值,虛線代表AVE模型所得平均值,點劃線代表Beta_Filter模型所得平均值.可以看出,由于采用路由通告行為預測方法進行直接評估,TMIRS所得信任評估結果與被評估者路由通告行為值的偏差最小;隨著誠實推薦者數量的減少,由于AVE模型沒有考慮信任推薦,所以該模型的信任評估偏差不隨虛假推薦者數量增加而增大;而對于Beta_Filter模型,由于其基于平均值過濾偏離較大的直接評估,因此隨著虛假推薦者數量的增加,該模型的信任評估偏差逐漸增大.作為比較,隨著虛假推薦者數量的增加,本文的信任模型TMIRS所得評估結果仍然與被評估者路由通告行為值偏差較小,這是因為TMIRS模型基于推薦者過往提供的直接評估與自治域路由通告有效值的整體偏差程度來設置相應的直接評估的權重,可以有效降低持續虛假推薦者所提供直接評估的權重,從而有效限制了長期虛假推薦者對于信任評估的影響力. Fig. 6 The trust evaluation comparison on the condition of long-time malice recommenders.圖6 在包含長期虛假推薦者的環境中信任評估效果比較 實驗2. 在包含不同比例的誠實推薦者與非長期虛假推薦者的環境中信任評估有效性驗證. 本實驗將非長期虛假推薦者的個數分別設為1~4,實驗結果如圖7(a)~(d)所示.其中,不同類型的線對應不同模型所得100個評估偏差的平均值,實線代表TMIRS模型所得平均值,虛線代表AVE模型所得平均值,點劃線代表Beta_Filter模型所得平均值.可以看出,由于推薦者偶爾實施虛假推薦,不會導致他們所提供的直接評估權重下降太多,因此會對TMIRS模型的信任評估產生一定影響即在虛假推薦發生時評估值會增大(惡意吹捧),因此TMIRS模型所得結果中出現了一些偏差值較大的情況;相比Beta_Filter模型,TMIRS模型遭受的影響相對較小,這是因為該模型基于路由通告行為預測方法進行直接評估,評估者自身所得直接評估結果與被評估自治域的路由通告行為偏差較小,因此評估者會賦予自身所獲直接評估較大的權重,進而削弱了其他來源的直接評估對信任度評估的影響程度. Fig. 7 The trust evaluation comparison on the condition of several occasional malice recommenders.圖7 在包含不同數量的非長期虛假推薦者的環境中信任評估效果比較 3.2信任推薦激勵機制有效性驗證 在這個實驗部分驗證本文所提出的面向域間路由系統的信任推薦激勵機制(IMTRGT)的有效性,使用2個激勵機制作為對比:1)類似文獻[20-21]中博弈模型所設置的激勵機制GTIS,設置1個閾值0.6,對于信任推薦有效性低于閾值的自治域將被迫進入懲罰期,在懲罰期中的自治域只能響應其他未被懲罰的推薦者的信任查詢而自身不能進行信任查詢,直到其信任推薦有效性高于閾值后才可脫離懲罰期;2)類似文獻[18-19]中的一次一罰的機制SEV,在該機制中當1個自治域不給予信任推薦后,該自治域將被迫進入懲罰期并同時設置1個初始值為2的計數值count,在懲罰期中自治域需積極響應其他未被懲罰的推薦者的信任查詢而自身不能進行信任查詢,完成1次信任推薦count值減1直到count值為0后自治域脫離懲罰期.同樣將圖5所示的實驗網絡拓撲中的自治域A作為被評估自治域,當其任意1個鄰居自治域如B為評估自治域時,其他A的鄰居自治域如C,D,E,F則為信任推薦自治域.為了驗證不同激勵機制的效能,計算自治域A的所有鄰居在每個評估周期能夠獲取的關于自治域A的信任信息數量的平均值,并將該值作為不同激勵機制激勵效能的對比指標. 實驗1.自治域信任推薦行為穩定情況下不同激勵機制有效性分析. 為模擬整體的信任推薦環境,統一設置自治域資源策略允許信任推薦的概率分別為90%,80%,60%,30%.實驗結果如圖8所示.可以看出,在自治域整體合作水平較高的情況下(90%),在GTIS機制下自治域可獲得的信任推薦數量最多,這是因為在該機制中如果1個自治域i對任意1個自治域j的信任推薦有效性超過閾值,只要j的資源策略允許則自治域j一定會給予i信任推薦;而在IMTRGT方法中,自治域j還需要基于對i的信任推薦率決定是否推薦.在自治域整體合作水平較低的情況下,IMTRGT機制中采用補償概率可有效維持自治域間的信任推薦合作水平,因此自治域仍然可以獲得一定數量的信任推薦,而GTIS和SEV機制沒有設置相應的維持合作的方法導致自治域間信任推薦合作水平快速降低.此外,還值得注意的是,由圖8(a)~(b)可知,在自治域合作水平有所下降(從90%下降到80%)的情況下,在GTIS機制中自治域可獲取的信任推薦數量并沒有明顯下降,這是因為在該機制中只要1個自治域的信任推薦有效性超過閾值則該自治域的信任查詢請求必然會得到相應自治域的響應. Fig. 8 The incentive mechanism comparison on the condition of the stable ASes behavior.圖8 自治域信任推薦行為穩定情況下不同激勵機制有效性對比 實驗2. 自治域信任推薦行為變化情況下不同激勵機制有效性分析. 設置所有自治域行為持續變化即資源策略允許信任推薦的概率發生變化,變化函數為y=a+b(i-1).其中,a為資源策略允許信任推薦的概率初始值;i表示評估周期數,取值范圍為[1,100];b為每周期推薦概率變化值.設a=0%,30%,設i=10%.實驗結果如圖9(a)~(b)所示,當自治域初始資源策略允許信任推薦的概率為0%時,在GTIS和SEV機制中自治域將相互陷入懲罰期即出現合作僵局使得信任推薦過程陷入停滯,而在IMTRGT機制中沒有懲罰期的概念而是根據自治域的信任推薦有效性計算信任推薦概率來決定是否信任推薦,因此即便初始合作積極性再差的自治域也可以通過不斷地改善合作水平(放寬資源策略限制),從而最終能夠有效地從其他自治域得到信任信息.當自治域初始資源策略允許推薦的概率為30%的情況下,相比在其他激勵機制中,在IMTRGT機制中自治域所獲取信任推薦數量的增長速度更快,而對于GTIS和SEV機制,由于部分自治域仍然會陷入合作僵局導致相互合作水平無法提升,這說明這2個激勵機制并不適用于在自治域初始信任推薦合作水平都比較低的環境中使用,而IMTRGT機制則不受限于自治域的初始信任推薦合作水平. Fig. 9 The incentive mechanism comparison on the condition of the changing ASes behavior.圖9 自治域信任推薦行為變化時不同激勵機制有效性對比 3.3自治域并非總是積極參與信任推薦情況下信任模型有效性驗證 本節在自治域會出于私利不積極參與信任推薦情況下,驗證本文所提出的信任推薦激勵機制能否有效激勵信任推薦以保障信任評估的準確性.將圖5所示實驗網絡拓撲中的自治域A作為被評估自治域,當其任意1個鄰居自治域如B為評估自治域時,其他A的鄰居自治域如C,D,E,F則為信任推薦自治域.在每個評估周期自治域A的所有鄰居分別采用不同的信任模型計算A的信任度,并將信任評估結果與A實際的對不同鄰居的下一個評估周期的路由通告行為值進行對比以計算評估偏差(取絕對值),進而再計算A的多個鄰居評估偏差的平均值,將該值作為驗證本文信任模型評估效能的指標.為模擬整體的信任推薦環境,統一設置自治域資源策略允許信任推薦的概率為80%,隨后分別在沒有虛假推薦者、有長期虛假推薦者(2個)、非長期虛假推薦者(2個)的環境中,對比不使用本文提出的激勵機制以及使用該機制的情況下A的多個鄰居評估偏差的平均值.實驗結果如圖10(a)~(c)所示, Fig. 10 The trust evaluation comparison with incentive mechanism or not.圖10 使用或不使用信任推薦時信任評估效果比較 其中不同類型的線對應使用或不使用信任推薦激勵機制時TMIRS模型所得100個評估偏差的平均值,實線代表不使用信任推薦激勵機制時TMIRS模型所得評估偏差的平均值,虛線代表使用信任推薦激勵機制時TMIRS模型所得評估偏差的平均值.可以看出,在不同的信任推薦環境中,如果采用本文提出的信任推薦激勵機制,自治域所得信任評估結果與被評估自治域的實際路由通告行為值的偏差將會更小,這說明本文信任推薦激勵機制可以有效地激勵自治域間相互分享信任信息,從而有助于對被評估自治域做出準確全面的信任評估. 4結束語 為實現對自治域路由通告行為的準確信任評估,本文提出了一種面向域間路由系統的信任模型TMIRS,在該模型中自治域對其鄰居自治域進行信任度評估,信任度的計算基于評估自治域對被評估自治域的直接評估以及其他自治域提供的直接評估.在直接評估中,本文基于路由通告行為預測方法以使信任評估結果有效反映被評估自治域的未來路由行為.為降低不可靠直接評估對信任度評估的影響,對于同一個被評估自治域,本文對比歷史上來源于不同自治域的直接評估與被評估自治域路由通告行為的偏差,依據對比結果設置來源于不同自治域的直接評估的權重.此外,為保障評估自治域可以獲得足夠的信任信息以實現對被評估自治域的準確信任度評估,本文還設置了信任推薦激勵機制,自治域間相互根據對方的歷史信任推薦積極性計算信任推薦概率,并基于該概率向相應的自治域進行信任推薦.實驗結果表明,相比于其他信任模型,在不同的評估環境中,本文信任模型的信任評估結果可更為準確地反映被評估自治域未來發布滿足前綴真實性的路由通告的可能性. 參考文獻 [1]Lychev R, Goldberg S, Schapira M. BGP security in partial deployment: Is the juice worth the squeeze?[J]. ACM SIGCOMM Computer Communication, 2013, 43(4): 171-182 [2]Butler K, Farley T R, McDaniel P, et al. A survey of BGP security issues and solutions[J]. Proceedings of the IEEE, 2010, 98(1): 100-122 [3]Wan T, Oorschot P C. Analysis of BGP prefix origins during Google’s May 2005 outage[C] //Proc of the 20th IEEE Int Paralleland Distributed Processing Symp(IPDPS 2006). Los Alamitos, CA: IEEE Computer Society, 2006: 422-429 [4]Hunter P. Pakistan YouTube block exposes fundamental Internet security weakness: Concern that Pakistani action affected YouTube access elsewhere in world[J]. Computer Fraud & Security, 2008, 28(4): 10-11 [5]Kent S, Lynn C, Mikkelson J, et al. Secure border gateway protocol[J]. IEEE Journal on Selected Areas in Communications, 2000, 18(4): 582-592 [6]Zhang F, Jia L, Basescu C, et al. Mechanized network origin and path authenticity proofs[C] //Proc of the 2014 ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2014: 346-357 [7]Lychev R, Goldberg S, Schapira M. BGP security in partial deployment: Is the juice worth the squeeze?[J]. ACM SIGCOMM Computer Communication, 2013, 43(4): 171-182 [8]Shi X, Xiang Y, Wang Z, et al. Detecting prefix hijackings in the Internet with argus[C] //Proc of the 2012 ACM Conf on Internet Measurement. New York: ACM, 2012: 15-28 [9]Zhang Z, Zhang Y, Hu Y C, et al. ISPY: Detecting IP prefix hijacking on my own[J]. IEEE/ACM Trans on Networking, 2010, 18(6): 1815-1828 [10]Hong S, Ju H, Hong J W. Network reachability‐based IP prefix hijacking detection[J]. International Journal of Network Management, 2013, 23(1): 1-15 [11]Oscar W X, Cheng W, Mohapatra P, et al. ARTSense: Anonymous reputation and trust in participatory sensing[C] //Proc of IEEE INFOCOM 2013. Piscataway, NJ: IEEE, 2013: 2517-2525 [12]Ghaffarinejad A, Akbari M K. An incentive compatible and distributed reputation mechanism based on context similarity for service oriented systems[J]. Future Generation Computer Systems, 2013, 29(3): 863-875 [13]Grenadier S R, Malenko A, Strebulaev I A. Investment busts, reputation, and the temptation to blend in with the crowd[J]. Journal of Financial Economics, 2014, 111(1): 137-157 [14]He L. A novel scheme on building a trusted IP routing infrastructure[C] //Proc of the Int Conf on Networking and Services(ICNS'06). New York: ACM, 2006: 13-18 [15]Chang J, Venkatasubramanian K K, Kannan A G, et al. As-cred: Reputation and alert service for interdomain routing[J]. IEEE Systems Journal, 2013, 7(3): 396-409 [16]Ahmed A, Qian D. Dynamic trust management based on routing system[C] //Proc of the 2nd Int Conf on Computer Technology and Development (ICCTD 2010). New York: ACM, 2010: 333-337 [17]Zhu Peidong, Cao Huayang, Deng Wenping. A systematic approach to evaluating the trustworthiness of the Internet inter-domain routing information[J]. IEICE Trans on Information and Systems, 2012, 95(1): 20-28 [18]Lu Yin, Shi Jin, Xie Li. Repeated-game modeling of cooperation enforcement in wireless ad hoc network[J]. Journal of Software, 2008, 19(3): 755-768 (in Chinese)(陸音, 石進, 謝立. 基于重復博弈的無線自組網絡協作增強模型[J]. 軟件學報, 2008, 19(3): 755-768) [19]Gui Jinsong, Chen Zhigang, Deng Xiaoheng. A game-based interaction scheme among mobile nodes in wireless access networks[J]. Journal of Computer Research and Development, 2013, 50(12): 2539-2548 (in Chinese)(桂勁松, 陳志剛, 鄧曉衡. 無線接入網中移動節點間基于博弈的交互方案[J]. 計算機研究與發展, 2013, 50(12): 2539-2548) [20]Guo Yi, Wang Zhenxing, Cheng Dongnian. A game-based incentive strategy for the inter-domain routing collaborative monitor[J]. SCIENTIA SINICA Informationis, 2012, 42(7): 803-814 (in Chinese)(郭毅, 王振興, 程東年. 基于博弈的域間路由協同監測激勵策略[J]. 中國科學: 信息科學, 2012, 42(7): 803-814) [21]Xu Z, Yin Y, Wang J, et al. A game-theoretic approach for efficient clustering in wireless sensor networks[J]. International Journal of Hybrid Information Technology, 2014, 7(1): 67-80 [22]Xia Nu, Li Wei, Luo Junzhou, et al. A routing node behavior prediction algorithm based on fluctuation type identification[J]. Chinese Journal of Computers, 2014, 37(2): 326-334 (in Chinese)(夏怒, 李偉, 羅軍舟, 等. 一種基于波動類型識別的路由行為預測算法[J]. 計算機學報, 2014, 37(2): 326-334) [23]Merit Network. Internet routing registries[EB/OL]. (2010-01-12) [2010-04-15]. http://www.irr.net Xia Nu, born in 1981. PhD candidate in Southeast University. His research interests include network management. Li Wei, born in 1978. Associate professor and master supervisor in Southeast University. Member of China Computer Federation. His research interests include next generation network architecture and service computing. Lu You, born in 1977. PhD candidate in Southeast University. Member of China Computer Federation. His research interests include network management. Jiang Jian, born in 1986. PhD candidate in Southeast University. His research interests include network management. Shan Feng, born in 1985. PhD candidate in Southeast University. His research interests include wireless sensor network and algorithm design. Luo Junzhou, born in 1960. Professor and PhD supervisor in Southeast University. Senior member of China Computer Federation. His research interests include next generation network architecture, protocol engineering, network security, wireless network and cloud computing. A Trust Model for the Inter-Domain Routing System Xia Nu, Li Wei, Lu You, Jiang Jian, Shan Feng, and Luo Junzhou (SchoolofComputerScience&Engineering,SoutheastUniversity,Nanjing211189) AbstractIn the inter-domain routing system, the running of the border gateway protocol (BGP) is on the assumption that ASes trust each other, and there is lack of effective verification on the validity of the routing information, so the false information publishers have the chance to seriously threaten the security of the inter-domain routing system. However, the existing works can not effectively limit the generation and transmission of the false routing information, so this paper presents a trust model for inter-domain routing system to achieve the trust evaluation on the routing behavior of the ASes. In this model, the evaluator’s direct evaluation of the evaluated AS’s routing behavior and the evaluated AS’s neighbors’ direct evaluation, weight value is assigned to different direct evaluation to compute the trust degree of the evaluated AS. A routing announcement behavior prediction method is used to make the direct evaluation result accurately reflect the evaluated AS’s future probability of sending true routing information. In addition, in order to promote ASes to join in the trust recommending positively, an incentive mechanism is used, in which every AS evaluates the other ASes’ recommendation behavior in history and computes the corresponding recommendation probability for them. The simulation results show that, compared with other trust models for inter-domain routing system, the trust evaluation result of our model is more accurate to reflect the evaluated AS’s future probability of sending true routing information. Key wordsinter-domain routing system; trust model; trust degree; routing behavior predication; incentive for trust recommendation 收稿日期:2015-12-21;修回日期:2016-02-03 基金項目:國家自然科學基金項目(61320106007);國家“八六三”高技術研究發展計劃基金項目(2013AA013503);江蘇省未來網絡創新研究院未來網絡前瞻性研究項目(BY2013095-2-07):教育部計算機網絡與信息集成重點實驗室(東南大學)基金項目(93K-9);江蘇省網絡與信息安全重點實驗室基金項目(BM2003201);無線通信技術協同創新中心資助項目;軟件新技術與產業化協同創新中心資助項目;住建部科研項目(2015-K6-012) 中圖法分類號TP391 This work was supported by the National Natural Science Foundation of China (61320106007), the National High Technology Research and Development Program of China (863 program) (2013AA013503), the Prospective Research Project on Future Networks of Jiangsu Future Networks Innovation Institute (BY2013095-2-07), the Project Funded by Key Laboratory of Computer Network and Information Integration (Southeast University) of Ministry of Education of China (93K-9), the Project Funded by Jiangsu Provincial Key Laboratory of Network and Information Security (BM2003201), the Project Funded by Collaborative Innovation Center of Wireless Communication Technology, the Project Funded by Collaborative Innovation Center of Novel Software Technology and Industrialization, and the Project Funded by Ministry of Housing and Urban-Rural Development (2015-K6-012).


























