軟件安全漏洞知識圖譜構建方法

郭軍軍，王 樂，王正源，姚大春，王長元

(1.西安工業大學 計算機科學與工程學院，陜西 西安 710021； 2.長安大學 信息工程學院，陜西 西安 710064)

0 引 言

隨著社會信息化的不斷發展，軟件已成為促進經濟增長的支柱產業。軟件帶來巨大經濟效益的同時，風險和挑戰并存。2020年上半年，據《第46次中國互聯網發展狀況統計報告》顯示，國家互聯網應急中心(CNCERT)檢測到我國境內被篡改的網站數量為147 682個，是2019年同期的近3倍，其中包括政府網站581個，較上年同期增長57%。軟件安全問題十分嚴峻，信息竊取、程序崩潰等安全事件層出不窮，尤其是政府單位、醫療機構、科技企業等成為攻擊的重要目標，造成較大的負面影響和經濟損失[1,2]。

Google公司于2012年提出知識圖譜(Knowledge Graph)，開啟了知識圖譜的序章，在信息安全、語義搜索等眾多領域具有廣泛的應用價值[3-5]。從本質上講，知識圖譜是一種語義網絡，旨在描繪客觀實體和實體之間的關系，挖掘隱藏在實體之間的語義信息，促進了人工智能的發展，同時也為軟件安全研究領域指引了新的研究方向。

本文針對漏洞數據利用價值低、漏洞語義不夠豐富、分析手段欠缺等問題，提出一種軟件安全漏洞知識圖譜構建方法。從碎片化、海量化漏洞數據中提取關鍵信息，用于構建漏洞知識圖譜，提高了漏洞數據利用價值，且豐富了漏洞語義信息，使用Cypher查詢結果分析漏洞實體間的關系，提高了分析效率，且能挖掘出隱藏的知識，彌補了分析手段的不足。

1 相關工作與技術

知識圖譜(Knowledge Graph)是一種用圖模型來刻畫知識和建模世界萬物之間的關聯關系，由節點和邊組成[6]。知識圖譜構建關鍵技術包括知識抽取、知識融合以及知識計算。通過知識抽取可以從半結構化及非結構化的數據中提取實體、關系以及屬性等；知識融合將多元信息進行整合，獲得實體的整體描述；知識計算則是通過推理、分析挖掘隱藏的知識[7]。

本體作為知識圖譜實體的抽象表達，其起源于哲學領域，用于描述特定領域的概念、屬性、公理等[8]。良好的本體設計有利于知識圖譜的構建。例如，謝敏容[9]針對現有的網絡安全本體側重點不同，難以適用于復雜多樣系統的網絡安全數據源，在現有的基礎上，結合網絡安全數據，綜合考慮了不同維度要素，設計了具有通用性強的網絡安全領域本體，為網絡安全知識圖譜的構建奠定了基礎。

在軟件安全研究領域中，知識圖譜可以用來表示供應商、產品、漏洞等，以及復雜漏洞之間的關系，可應用于漏洞跟蹤、推理、挖掘等[10-12]。針對漏洞應用范圍的不同，部分學者從不同的角度構建了軟件安全漏洞知識圖譜。例如，Lin等[13]提出了軟件知識圖譜，用來表示軟件領域、項目和系統中相關知識，節點表示軟件知識實體，有向邊表示實體之間的各種關系；王飛等[14]詳細闡述了代碼知識圖譜的建模表示、存儲與演化管理以及智能化應用等5個方面研究發展趨勢，為代碼知識圖譜進行智能化軟件開發提供了保障；Xiao等[15]提出一種知識圖譜的嵌入方法，將軟件安全實體、關系以及描述信息嵌入到向量空間中，可以預測軟件安全實體關系；Zhang等[16]利用知識圖譜嵌入的方法提取代碼之間的相互關系，結合關鍵字雙向監督機制進行Bug定位；Yin等[17]針對PHP語言Web應用系統進行各種漏洞檢測，提出了一種基于知識圖譜的半自動化系統，該系統能夠有效檢查Web系統中常見的漏洞。

2 本體模型設計

知識圖譜能夠反映出實體和實體之間的關系，而本體(Ontology)是對實體以及實體間的關系的一種抽象性表達，因此優良的本體構建能夠明確知識圖譜中包含信息和關系的種類。本體通常用五元組來表示，即O=(C,A,R,F,I)。 其中，O表示本體，C表示概念類集合，A表示屬性集合，R表示類與類之間的關系集合，F表示公理集合，I表示實例集合。

本文在現有本體構建的基礎上[18]，總結出本體構建4步法，具體步驟如下：

(1)明確本體的領域和范疇。本文面向的是軟件安全領域，范疇是NVD(national vulnerability database)和CVE(common vulnerabilities exposures)軟件安全領域內的知識。

(2)考查對現有的軟件安全本體進行復用，有利于本體的構建效率。

(3)依據現有數據源的特性，對軟件安全領域概念類集合、類之間關系集合以及屬性集合3部分的確定。

(4)針對構建的軟件安全領域本體評估，檢驗是否能夠覆蓋數據源，并不斷對本體進行調整、優化和完善。

如圖1所示，構建了軟件安全漏洞知識圖譜的本體模型。其中，概念類包括供應商(Vendor，Ven)、受影響的產品(Product，Prod)、漏洞(Vulnerability，Vul)和漏洞類型(Vulnerability Type，VT)；類和類之間的關系包括屬于(BelongTO)、影響(Affect)和存在CWE(HasCWE)；屬性集合包括版本號(Version)、漏洞描述(Description)等；公理集合，通常用于知識推理，如緩沖區溢出會導致程序崩潰；實例集合，如軟件安全本體中的“漏洞”類中具體的漏洞，如CVE-2019-12980、CVE-2018-3719等。

以漏洞實例CVE-2017-9796展現實體之間存在的關系，結合形式化定義則如下：

其中Apache表示的是具體廠商，Commons1.2.0表示具體產品以及版本號，該漏洞屬于不正確的輸入驗證，漏洞的本體模型中涵蓋了多維數據標簽，所有實體的屬性標簽都是從NVD、CVE等漏洞庫中抽取而來。因此，某個特定的CVE-ID漏洞能夠直接或間接影響一個以及一系列產品，該產品屬于某個供應商，屬于某一種類型的漏洞。

3 漏洞知識圖譜的構建

漏洞知識圖譜構建是以數據的獲取為起點，通過網絡爬蟲進行數據的采集，然后經過知識抽取、知識融合形成統一的知識，最后將獲取到的知識存儲到Neo4j圖數據庫中，并實現存儲、查詢以及可視化展示，構建框架如圖2所示。

圖1 漏洞知識圖譜本體模型

圖2 漏洞知識圖譜構建框架

3.1 漏洞樣本數據采集

漏洞樣本數據的采集是構建漏洞知識圖譜的第一步，本文主要面向的是NVD和CVE漏洞數據庫，這些信息通常是以非結構化的文本形式存在。CVE漏洞披露規范是信息安全行業常用的標準。在CVE中，每個漏洞都有確定的ID、漏洞描述、漏洞來源、發布時間等信息，便于實現數據的共享。一個漏洞在CVE網站中披露，首先安全人員提交漏洞，然后安全專家進行審查和驗證，一旦被安全專家確認，將會分配漏洞編號并在CVE站點公布。NVD是與CVE兼容的，收錄了所有CVE條目，且提供了除CVE之外的信息，如危害等級、CWE分類等。

目前，軟件漏洞以不同的形式存在于不同的位置，具有數據規模龐大，分布不同，種類復雜多樣，參差不齊，且異構多源。針對以上漏洞數據的特點，考慮到數據信息量較大，故對于漏洞數據的采集主要以網絡爬蟲為主，通過深入分析NVD和CVE公開披露的漏洞數據庫網站發布機制，獲取漏洞信息，一旦發現新漏洞的發布，立即進行爬取，因此具有較強的實時性。

3.2 數據預處理

通過上述步驟獲取到的數據存在冗余無序，無層次邏輯關系等問題，不便于漏洞知識圖譜的構建，故需要對獲取到的數據進行預處理。預處理的具體過程如下：

(1)數據清洗

對于個別漏洞數據，通過網絡爬蟲獲取得到信息相關性較小，無用信息也被下載。對于這一部分信息可以通過優化爬蟲代碼，也可以通過手工方式進行人工篩選剔除，經處理后的漏洞數據仍存儲在本地漏洞源代碼數據庫中。

(2)數據的分類

經數據清洗后得到的漏洞數據文件雜亂無序，不利于后續的研究，需要對清洗后的漏洞數據進行分類。因漏洞庫中每個漏洞都有確定的CWE-ID和CVE-ID，故分類的標準是以CWE-ID為根節點，CVE-ID為葉子節點。

(3)分詞

漏洞數據描述中包含了漏洞重要的信息，如受影響的產品、漏洞類型以及部分供應商等，因此在漏洞描述中提取重要的漏洞信息至關重要。文本分詞以自然語言為基礎，是將連續的字符串序列按照一定規則轉為詞序列的過程。本文主要通過Python調用SpaCy庫進行分詞，SpaCy分詞具有速度較快，準確率較高，分詞是為了便于后續分析及實體識別。

(4)文本特征提取

在自然語言處理中，要將文本數據轉為計算機可以理解的一種數據，才能通過模型不斷地學習、訓練。特征提取作為文本分類中的關鍵技術，特征提取的質量直接影響到文本分類的效果。詞向量作為自然語言處理技術的一種，采用詞向量技術對軟件安全漏洞訓練得到的詞向量作為模型的輸入，有利于提高模型訓練的性能。詞向量將待標注序列的每個詞進行嵌入處理，并將其轉為向量，采用數學表達式獲取詞的語法和語義相關特征，便于后續實體識別。

3.3 實體識別

目前，主要包括基于規則和詞典、基于機器學習的方法以及基于深度學習的方法。面向軟件漏洞實體識別主要針對供應商、受影響的產品、漏洞、漏洞類型4類實體進行識別。其中，供應商表示如微軟、蘋果、思科等公司，供應商的屬性標簽包括公司名稱、編號以及對應的URL鏈接等；受影響的產品表示的是如谷歌Chrome、360瀏覽器等，產品的屬性標簽包括產品名、產品的版本號，如Apache下的分布式內存系統內核Mesos，對應的版本如Mesos 1.1.2、Mesos 1.2.0、Mesos 1.3.0等；漏洞實體則表示的是某一特定的漏洞CVE-ID，如CVE-2018-16976、CVE-2018-18397；漏洞類型的屬性標簽中包含CWE-ID，例如，CWE-79表示的是跨站腳本攻擊，CWE-22表示的是目錄遍歷等，面向軟件的實體以及相關屬性具體信息見表1。

表1 面向軟件實體及屬性

漏洞的相關屬性標簽主要是來自于公開漏洞庫CVE和NVD等信息的分析、總結和歸納，豐富多樣的屬性標簽更有利于分析漏洞的相關特征，挖掘潛在的漏洞之間的關系。本文在漏洞的屬性中涵蓋了多種標簽如漏洞文件名(PathName)、風險數值(Cvss)、編程語言(Language)等漏洞屬性信息，具體漏洞描述見表2。

在軟件安全領域中，通過對非結構化的文本數據進行大量的研究和分析，得出部分實體及屬性具有一定的規則。例如，NVD和CVE漏洞編號遵循特定的命名方式，都是以“CVE+年份+任意數字”，基于規則的實體識別具有高精度、高召回率和可擴展性，因此對于具體某個漏洞編號可以通過設計正則表達式進行提取該實體，不再需要其它的方法進行實體識別，漏洞的其它屬性通過漏洞庫中分析的相關屬性一一對應，部分實體和屬性的正則表達式規則模板見表3。

表2 漏洞屬性描述

表3 部分實體與屬性正則表達式

因NVD、CVE每一個漏洞編號都代表著一種特定的漏洞，每一個特定漏洞都包含漏洞相關描述，而漏洞描述是部分領域專家給出的高質量非結構化文本信息，具有一定的權威性。漏洞描述中涵蓋了受影響的產品、漏洞類型以及部分供應商，故需要對這3類實體進行識別，具體如下所示：

(1)實體標注策略

目前，以深度學習為代表的人工智能得到了快速的發展，規范的數據集標注對知識圖譜的構建以及計算能力的提升起到了重要作用。針對知識圖譜構建的數據集，一方面基于小樣本的學習算法已經成為了主流，另一方面，如何統一標注的方法以及標注的質量已經成為了重要的內容。

因漏洞編號具有一定的規則性，故只需要對廠商、產品名和漏洞類型進行實體識別。針對以上3類軟件安全領域的相關實體，采用BIOES方法進行標注，Ven、Prod、VT分別表示廠商、產品、漏洞類型，用X表示這3類實體。B-X代表實體的開始部分，I-X表示實體的中間部分，E-X表示實體的結束部分，S-X表示單個字符的實體，O表示其它非實體部分，實體的標注集見表4。

表4 軟件安全實體標注集

圖3截取了某一特定漏洞描述的標注示例，該漏洞描述中包含了漏洞類型Integer Overflow標記為(B-VT，E-VT)，其它與標注無關的詞則標記為非實體(O)。盡管手工標注的方法耗費大量時間和精力，但標注的數據集準確，便于后續模型的識別。

圖3 部分實體標注示例

(2)實體識別模型

本文通過BiLSTM-CRF進行軟件實體識別，該模型使用了通過長短記憶神經網絡與CRF相結合的方法進行實體識別，自頂向下包括CRF、前向LSTM網絡層、后向LSTM網絡層和Embedding層，模型架構如圖4所示。

圖4 BiLSTM-CRF實體識別模型

首先將特定漏洞的相關描述中的單詞為基本單位，經過分詞后按照字或者詞為輸入，對于給定包含n個詞的句子s={w1,w2,w3,…wn}， 其中wn表示輸入句中的第n個單詞，將單詞映射到多維連續值的詞向量中。經過詞向量化后，將初始值傳入到BiLSTM網絡層中，前向LSTM和后向LSTM分別作為初始的順序序列和逆序序列。然后通過BiLSTM層進行有監督訓練學習，以此獲得輸入單詞序列基本特征，并將預測結果歸一化輸出提供給最終的CRF層，最后通過CRF層將上一層的輸入預測標簽進行約束矯正，實現對標簽數據的準確分類。

3.4 關系抽取

由于軟件安全領域中的實體關系種類繁多，不利于實體關系的抽取。面向軟件的漏洞關系抽取主要針對供應商、受影響的產品、漏洞和漏洞類型這4類實體。因此，本文對軟件安全實體關系進行了泛化，人工篩選并定義了較為全面的關系種類，能夠保證覆蓋軟件安全實體識別中的實體，所識別出的實體互相都存在著一定的關系。面向軟件關系抽取包括屬于(BelongTo)、影響(Affect)、存在CWE-ID(HasCWE)詳細信息見表5。

表5 面向軟件實體之間的關系

3.5 知識融合

知識融合本質就是將多元信息進行整合，完成整體實體的描述，主要的技術包括實體消歧、實體對齊和屬性對齊等。因本文所獲取的軟件安全實體來自于專有的實體知識庫，故有效減少了“一詞多義”現象，避免了實體之間可能存在的歧義性，因此重點考慮實體對齊和屬性融合。

本文的實體和屬性來自于NVD和CVE之間交叉互補信息，同一漏洞實體字段信息有所差異。在漏洞知識圖譜構建過程中可能因此產生歧義，從而導致實體語義粒度不一致，存在冗余，造成系統較大的開銷。因此需要將兩個漏洞庫之間交叉互補的實體信息進行對齊，統一為本文所構建規范的實體和屬性字段。例如，在CVE中字段“CVE-ID”對應的字段是NVD中“CVE_ID”，表示的是具體某一特定的實體，統一規范為“CVE-ID”；CVE中的屬性字段“Description”對應是NVD中的“Current Description”，表示的是對特定漏洞的描述，統一規范為“Description”；CVE中的屬性字段“Date Record Crated”對應的是NVD中“Published Date”表示的是漏洞的發布時間，統一規范為“Publish Date”，時間格式統一規范為“年-月-日”等，通過對實體對齊，使信息能夠更加規范，更加準確，有效減少了系統的開銷。在CVE中部分屬性字段不存在，但在NVD能夠有效的互補，如漏洞類型，該字段是區分漏洞的類型，“Base Score”字段表示的是基礎得分等等，CVE和NVD互補提供了豐富可靠的字段信息。此外，部分實體存在異構問題，不同的實體可能指代同一個實體，大量共指性問題造成不必要的開銷，如漏洞類型為“Integer Overflow”又稱“Wraparound”表示的是整數溢出，統一為“Integer Overflow”。通過知識融合有效地將多元信息進行整合，有解決了冗余等問題。

3.6 圖譜構建實驗

(1)實驗環境

實驗在Python語言下進行編程，所使用電腦CPU為英特爾酷睿i7，顯卡為英偉達GTX 1070，內存128 GB，固態硬盤256 GB，機械硬盤4 T，系統使用的是Windows10和CentOS 7.0操作系統，Neo4j使用的版本為Neo4j-community-4.1.3，擴展包添加了APOC和ALGO。

(2)實驗數據

通過網絡爬蟲，從CVE和NVD中獲取到漏洞的數據信息，經數據預處理后，得到SQL注入(SQL Injection)、命令注入(Command Injection)等8種常見類型的漏洞，涵蓋21種常見類型的CWE，1176個CVE-ID，17 640個屬性信息(其中包括漏洞描述、編程語言、路徑名、漏洞粒度、發布時間等)，詳細見表6。

(3)構建步驟及結果

本文根據上述3.1～3.5步驟將網絡爬蟲獲取到的數據依次進行實體抽取、關系抽取和知識融合，通過實體抽取得到知識圖譜的節點集及屬性，關系抽取得到實體和實體之間的關系為邊集，通過Python調用Py2neo庫及結合Load-CSV語句兩種方式將漏洞語義信息批量存儲在Neo4j圖形數據庫中，可視化展示節點和節點之間的關系。

表6 數據統計

單獨從導入方式來說，第一種方式使用方便，可實時插入，但速度相對較慢。第二種方式是官方提供的導入工具，速度相對較快，但在執行的過程中，需要將CSV文件放在Neo4j/import目錄下，默認編碼轉為UTF-8，且當字段過多時，導入語句比較繁瑣，不能動態創建節點和關系。故本文將漏洞語義信息在導入數據過程中時，首先通過Load-CSV語句將確定數據導入到Neo4j數據庫中，然后再結合Python調用Py2neo庫，實現將數據批量的導入。

因所構建的知識圖譜節點和相關屬性較多，數據量過大導致無法全面地、清楚地展示軟件安全漏洞知識圖譜的相關節點和邊，故本文在漏洞知識圖譜的可視化過程中通過Cypher查詢語句查找具體某個局部節點和邊之間的關系。在圖中部分節點看似孤立單獨的點，實際上每個節點都存在關系。在下圖中，用圓形節點表示漏洞，即特定漏洞CVE對象，方形節點表示受影響的產品，五邊形節點表示供應商，八邊形節點表示漏洞類型。圖5通過Cypher查詢語句，查詢指向影響漏洞廠商Ming的所有產品版本，圖中展示了其中包括節點和邊之間的關系，影響Ming的版本包括libming0.4.8和libming0.4.7兩個版本，漏洞廠商和產品之間的關系為屬于，通過BelongTo將漏洞廠商和產品關聯在一起。

圖5 影響Ming的所有產品

通過分析可知，每一種特定的漏洞能影響一個或多個廠商或者產品，圖6經Cypher查詢語句查詢Ming所有受影響的產品以及具體漏洞信息，每個漏洞節點都包含特定漏洞的屬性信息，如漏洞編號、漏洞文件名、風險數值、漏洞的粒度、漏洞描述等漏洞的相關節點屬性信息，漏洞和產品之間的關系是影響(Affect)，通過Affect將漏洞和產品節點之間關聯在一起。

因每一個特定的漏洞都包含CWE-ID，圖7展示的是通過Cypher查詢語句查詢漏洞類型為SQL注入所包含CVE-ID，漏洞和漏洞類型通過HasCWE關聯在一起。

通過Cypher查詢結果可間接驗證本文方法的有效性和可行性。

圖6 影響Ming漏洞節點

圖7 SQL注入

4 圖譜應用

軟件安全漏洞知識圖譜可廣泛應用于漏洞分析、推理、挖掘等領域，具體如下：

(1)漏洞分析：在漏洞分析領域中，通過Cypher 查詢語句查找出特定漏洞之間的關系，為深入分析、追溯漏洞成因提供了可靠的支撐。

(2)漏洞推理：在漏洞推理領域中，特定漏洞和漏洞之間存在著一定的聯系，可能屬于同一種受影響的產品或者廠商，也可能屬于同一種類型的漏洞，具有相同或者不同的CWE-ID，通過推理揭示隱藏的語義信息。

(3)漏洞挖掘：在漏洞挖掘領域中，通過推理函數挖掘出潛在的關系和知識，避免因漏洞造成的危害。

此外，漏洞知識圖譜也可以用于漏洞追蹤與溯源等方面。

5 結束語

本文針對實際漏洞形成的原因和表現方式多樣，特征項之間關系復雜，現有漏洞數據利用價值低、漏洞語義信息不夠豐富、分析手段欠缺等問題，提出了一種軟件安全漏洞知識圖譜構建方法，通過對漏洞數據的采集、知識抽取、知識融合等手段，將獲取到的知識存儲到Neo4j圖數據庫中，通過Cypher查詢并將結果可視化展示。結果表明，所提出的方法能夠更好地構建漏洞知識圖譜。在后續的研究過程中，進一步豐富和完善，借助于程序分析，知識圖譜的推理、挖掘等方法，分析漏洞語義之間的關系，探究漏洞的根本特征，挖掘出軟件中潛在的漏洞。