基于BP神經網絡的惡意URL檢測模型

■ 安徽 劉一利 張家鋼 施凡

編者按：惡意網址URL檢測問題是網絡安全領域研究的一個熱點。本文提出了基于BP神經網絡的惡意URL檢測模型，可實現對大批量URL快速、有效判別。

隨著計算機網絡技術的快速發展，互聯網已經深入到人們生產生活的方方面面，擔負著越來越重要的角色。互聯網金融、互聯網商務、互聯網農業、互聯網醫療等新興行業逐漸改變著人們的生活方式。

然而，在計算機網絡快速發展的同時，網絡安全事件層出不窮，網絡攻擊工具泛濫、網絡威脅時刻相伴，據國家計算機網絡應急技術處理協調中心發布的《2019年上半年我國互聯網安全態勢》顯示，僅上半年新捕獲的惡意程序達3200萬個，惡意程序日均傳播達998萬次，受影響的IP約3762萬個，發現惡意郵件數超過5600萬封。

如何檢測惡意網站已成為維護網絡安全的一項重要措施。惡意URL檢測是網絡安全研究的熱點，URL是網站的入口地址，對其進行鑒別可有效提升安全檢測的效果。

惡意URL檢測方法的相關研究

關于惡意URL檢測的方法，國內外學者也進行了廣泛的研究，主要有基于黑名單的方法、基于TF-IDF的方法、基于深度學習的方法、基于段模式的方法等，下面對幾種典型的方法進行介紹。

黑名單方法廣泛運用于網絡安全領域，主要是通過建立黑名單庫，對URL進行特征比對，具有識別準確率高、識別速度快、簡單方便的優點。但由于其采用黑名單庫，對新增的惡意URL無法檢測，同時其需要維護龐大的黑名單數據庫需消耗大量資源。基于黑名單的過濾方法在Google、eBay Toolbar等瀏覽器中得到了使用。

甘宏等提出利用TF-IDF方法計算各個分詞的權重作為統計特征，來進行惡意URL檢測。

潘司晨等提出的使用卷積神經網絡的深度學習方法，通過將URL字符進行編碼映射成二維數組，通過多層神經網絡，自動學習高層次特征并預測結果，不需要特征提取。但該方法需要高質量帶標簽數據。

林海倫等提出了基于段模式的惡意URL檢測方法，是通過對惡意URL中的域名、路徑名和文件名3個語義段，通過建立三元組為詞項的快速計算惡意URL每個語義段的模式，判定給定的URL是否是惡意URL。

Ma等提出一種基于URL的詞匯特征和主機屬性訓練模型，對惡意URL進行檢測的方法。該方法的有效性基于對特征的準確選取和計算。

本文提出的利用BP(Back Propagation)神經網絡方法構建的惡意URL檢測方法，通過提取URL特征，利用歷史數據訓練BP神經網絡分類模型。運用訓練好的分類模型對未知URL進行預測。

圖1 模型流程圖

表1 訪問控制規則

模型設計

BP神經網絡是一種按照誤差反向傳播算法訓練的多層前饋神經網絡，是應用最廣泛的神經網絡。

BP神經網絡模型無需事先確定輸入輸出之間映射關系的數學方程，僅通過使用歷史數據對模型進行訓練，學習規則，實現對未知數據的預測。

本文通過設計BP神經網絡分類模型，對惡意URL進行檢測。模型基于sklearn庫實現。

完整的處理流程如圖1所示。

1.數據集特征提取

本文從URL域名的結構特點，以及正常與惡意URL的差異性等方面，選取的特征如表1所示。

表1中各特征參數的計算方法為，第11個特征通過網絡爬蟲工具爬取12000個常用域名主域名，在選取常用的6000個英文單詞和15000個常用的中文拼音通過去重處理后，共同組成常用主域名詞數據庫。將URL的主域名字符串與主域名詞數據庫進行比對，若比對成功，則字符串有意義，最后將這個匹配的字符串與主域名總長度的比值作為有意義系數。

例如，“http://www.baidu.com.cn”，去掉“http://”，僅對“www.baidu.com.cn”進行特征提取。其中的URL總長度為16，數字個數為0，是否含有IP地址為布爾型變量為0，數字占比為0，最長域名段為“baidu”長度為5，分隔符“/”的個數為0，大寫字母個數0，最長連續字母長度為5，頂級域名是否為五大域名為1，是否含特殊字符為0，主域名中有意義系數中，主域名僅有一個字符串“baidu”，通過匹配查找能夠匹配，有意義長度為5，主域名總長度為5，有意義系數為5/5=1。得到該URL的特征提取向量為<16,0,0,0,5,0,0,5,1,0,1>。

2.訓練模型

通過對訓練集URL進行特征提取，得到特征向量。將正例樣本標記為1，將反例樣本標記為0。模型訓練步驟如圖2所示。

（1）劃分數據集

將數據集進行合理劃分，一般按照7:3的比例將數據集劃分為訓練數據和測試數據。使用訓練數據訓練模型，Adagrad、Adadelta、Adam、Adamax、Nadam。

圖2 模型訓練步驟

（3）判斷訓練結果

將BP神經網絡模型對驗證集數據的分類結果進行分析，判斷正確率和召回率是否達到要求。如果正確率和召回率達到要求，停止訓練，模型訓練完畢。如果不滿足要求，返回步驟2，重新設置模型超參數，進行訓練，直到達到要求。用測試數據來驗證模型的正確率和召回率，判斷模型的有效性。當數據集數量不夠可采用k折交叉驗證，k一般取值為10，我們將數據集劃分為k個子集，其中每個子集做一次驗證集，共進行k次訓練，將平均值正確率和召回率作為最終的結果。

（2）設置模型超參數

BP神經網絡模型在訓練之前需要設置超參數，如網絡模型的層數；輸入層、輸出層和隱含層的神經元數量；初始權值設定；學習率，最小訓練速率；激活函數，常用的激活函數為sigmoid、tanh、relu、leaky relu、elu；優化器選擇，常見優化器有SGD，

結語

當今，信息安全面臨日益嚴峻的考驗。本文基于BP神經網絡機器學習算法，設計了一種快速、有效的對惡意URL的識別方法。通過對URL數據的11個特征進行提取，轉化為特征向量，使用數據集劃分為訓練集和驗證集，對BP神經網絡模型進行訓練和驗證，模型達到指標要求可實現對大批量待檢測URL實現快速識別，可有效實現對惡意URL的實時在線識別。

本文設計的惡意URL識別檢測模型，還需要用更廣泛的URL數據進行驗證，下一步將針對模型泛化能力進行深入研究。