基于CBA 算法的惡意URL 檢測＊

盛蒙蒙 史建暉 沈立峰

1.浙江警察學院；2.浙江省杭州市公安局拱墅區(qū)分局

隨著網(wǎng)絡應用的普及，惡意URL 攻擊給人們的個人隱私和財產(chǎn)安全構成了嚴重威脅。為有效檢測惡意URL，本文構建了基于機器學習方法的CBA 模型。該模型以Bi-LSTM 模型為基礎，結合卷積神經(jīng)網(wǎng)絡，在有效提取數(shù)據(jù)局部特征的同時解決輸入文本長度不均衡的問題。通過引入注意力機制，按不同權重對數(shù)據(jù)特征進行重新排序，提高了模型的識別準確率。實驗數(shù)據(jù)表明，CBA 模型在惡意URL 檢測任務中相比其他模型表現(xiàn)出更優(yōu)異的性能。

互聯(lián)網(wǎng)的迅猛發(fā)展為社會帶來了巨大的便利，但同時也給攻擊者提供了高效的作案平臺。其中，惡意URL（惡意統(tǒng)一資源定位符）作為一種隱蔽、具有欺騙性的網(wǎng)絡威脅，正逐漸成為網(wǎng)絡安全領域的突出問題。不法分子通過釣魚網(wǎng)站、垃圾郵件鏈接、社交媒體消息等方式引誘用戶點擊或訪問惡意URL，從而在用戶不知道的情況下對其進行分發(fā)惡意軟件、竊取個人信息、實施網(wǎng)絡詐騙等惡意活動[1]，從而造成數(shù)據(jù)泄露、金融損失以及個人隱私泄露等一系列嚴重后果。根據(jù)CNCERT/CC發(fā)布的《2020 年中國互聯(lián)網(wǎng)網(wǎng)絡安全報告》，檢測到多個冒充境內網(wǎng)站的釣魚頁面，這種惡意攻擊具有極高的靈活性和多樣性，攻擊者通常只需要對網(wǎng)站的URL 稍作修改便可繞過已過時的監(jiān)管，極大破壞了互聯(lián)網(wǎng)生態(tài)，對公民的切身利益構成了嚴重威脅。因此，開發(fā)有效的惡意URL 檢測方法至關重要。

近年來，機器學習技術在惡意URL 檢測中得到了廣泛的應用，常用的方法有支持向量機[2,3]、邏輯回歸[4]、樸素貝葉斯[5]、決策樹[6]、隨機森林[6,7]和集成學習方法[8]等。通過分析URL 的內容、結構和行為特征，機器學習模型能夠識別出惡意URL，并提供一定的預防措施。然而，由于惡意URL 的多樣性和不斷變化，傳統(tǒng)的機器學習方法在惡意URL 檢測中常會面臨新的挑戰(zhàn)，如特征選取困難、數(shù)據(jù)不平衡等。隨著深度學習的持續(xù)發(fā)展，深度學習算法在自然語言處理、圖像處理、機器翻譯等領域都有著出色的表現(xiàn)，越來越多的學者開始將其引入到惡意URL 處理問題中。Anu Vazhayil 等[9]將經(jīng)典機器學習技術（Logistic Regression，邏輯回歸）、卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks, CNN）和CNN 長短期記憶（CNN-LSTM））算法用于檢測惡意URL 并進行了比較研究，結果表明，CNN-LSTM對釣魚網(wǎng)站的分類準確率最高。張慧[10]等提出一種基于CNN 的URLs 特征自動提取方法來提升特征的區(qū)分能力和普適性。吳曉英[11]等采用Bi-LSTM 和注意力機制（Attention）構建檢測模型。卜佑軍[12]等使用CNN 來獲取URL 的空間局部特征，通過Bi-LSTM 來獲取URL的雙向長距離依賴特征，從而提高模型的檢測準確率。

為有效檢測惡意URL，在已有研究的基礎上，本文構建了基于CNN、Bi-LSTM 和注意力機制的CBA 模型。該模型以Bi-LSTM 模型為基礎，通過將文本數(shù)據(jù)中的單詞映射到一個低維的向量空間中，從而提取單詞的語義和上下文信息。然后通過CNN 網(wǎng)絡來用于提取輸入數(shù)據(jù)的局部關聯(lián)特征，并引入注意力機制，保證模型能夠在輸入的特征中最大程度學習到所有關鍵特征并按重要性進行排序重組。相較于傳統(tǒng)方法，CBA 模型的創(chuàng)新之處在于將多種機器學習技術進行有機結合，從而充分利用各自的優(yōu)勢，提高惡意URL 檢測的準確性。

1 模型結構設計

惡意URL 檢測研究的目標是通過對URL 的文本特征進行判斷，輸出URL 文本判斷結果屬于“良性”還是“惡意”，因此，該問題本質是屬于自然語言處理的二分類問題。本文運用多機制融合思想，深入分析各深度學習方法的優(yōu)缺點，構建了融合CNN、BiLSTM 和Attention 機制的CBA 模型，模型算法的整體流程圖如圖1 所示。

圖1 CBA 模型結構流程圖Fig.1 CBA model structure flow chart

該模型能充分運用各種機制的優(yōu)點，快速有效地提取URL 特征表達信息，增強模型的分類能力。總體而言，模型主要包括：（1）使用NLTK 開源工具包對實驗數(shù)據(jù)集中的URL 進行分詞；（2）通過Word2Vec 詞嵌入技術將URL 進行向量化表示，并生成詞嵌入矩陣作為模型的嵌入層；（3）將數(shù)據(jù)輸入CNN 層提取其中的局部關聯(lián)特征；（4）Bi-LSTM 層接受CNN 層的特征并進行進一步信息提取，同時提取每個URL 樣本的時序特征；（5）通過注意力機制對所有提取的特征按照重要指數(shù)進行排序，并為不同特征構建權重向量；（6）將處理完的特征向量輸入全連接層，運用分類器完成URL 分類；（7）通過計算損失函數(shù)，調節(jié)模型參數(shù)來優(yōu)化模型。

1.1 分詞技術

分詞是自然語言處理中的關鍵任務，它將連續(xù)的文本劃分為一個個有意義的單元，如單詞或短語。在惡意URL 檢測等領域，分詞能夠有效地提取URL 文本的特征，為后續(xù)的特征提取和模型訓練打下基礎。分詞質量直接影響著特征的表達和模型的性能，因此選擇適合的分詞方法十分重要。

目前，常用的分詞方法有基于規(guī)則、統(tǒng)計、機器學習和深度學習等。基于規(guī)則的方法使用預定義的規(guī)則來進行分詞，但這種方法往往無法處理復雜的語言結構和不規(guī)則的現(xiàn)象，且規(guī)則需要手動定義，難以適應多樣性的文本?；诮y(tǒng)計的方法則根據(jù)詞頻、頻率等統(tǒng)計信息進行分詞。這種方法需要大量的訓練數(shù)據(jù)來學習分詞規(guī)律，但在處理生僻詞或新詞時可能表現(xiàn)不佳。機器學習方法使用訓練數(shù)據(jù)來學習分詞模式，如條件隨機場（CRF）和隱馬爾可夫模型（HMM）。然而，這些方法需要大量的標注數(shù)據(jù)和特征工程，且對于不同領域的數(shù)據(jù)泛化能力可能有限。

賓夕法尼亞大學NLTK Project 發(fā)布的NLTK（Natural Language Toolkit）開源工具包，是一個用于處理和分析自然語言文本的Python 庫，提供了一系列的工具和資源，使開發(fā)者能夠快速構建自然語言處理應用。它已經(jīng)成為自然語言處理領域的重要工具之一，被廣泛應用于學術研究、教學以及工業(yè)界的實際應用中。本文選擇使用NLTK 來完成URL 文本的分詞操作。

1.2 URL 向量化

URL 向量化是將URL 文本轉換為向量的過程，由于在訓練數(shù)據(jù)集中，所有的樣本皆以文本格式存儲，但神經(jīng)網(wǎng)絡并不能直接處理文本格式的數(shù)據(jù)，因此就需要先將URL 文本轉換為計算機可理解的數(shù)值特征，以便后續(xù)進行神經(jīng)網(wǎng)絡的訓練和處理。然而，與僅包含數(shù)字或單詞的普通文本不同，URL 文本由各種單詞縮寫、前綴、符號、拼音、IP 甚至轉義字符等元素構成。因此，選擇合理的文本向量化方式十分重要。

在自然語言處理研究領域，目前常用的文本向量化方法有獨熱編碼（One-Hot Encoding），詞袋模型（Bag of Words, BoW），詞頻逆詞頻模型（Term Frequency-Inverse Document Frequency, TF-IDF）以及詞嵌入模型（Word2Vec）。其中，Word2Vec 是一種基于深度學習的詞向量表示方法，它能夠將詞語映射為實數(shù)向量，并且能夠捕捉詞語之間的語義關系。因此，本文選擇Word2Vec 進行URL 向量化處理，以便更好理解URL 文本的語義信息與特征。

在Word2Vec 模式下有兩個常用模型：連續(xù)詞袋（Continuous Bag-of-Words, CBOW）模型和跳詞（Skip-Gram）模型。CBOW 模型是一種基于神經(jīng)網(wǎng)絡的詞嵌入方法，其主要目標是將每個單詞表示為固定維度的實數(shù)向量，使得這些向量能夠捕捉到單詞之間的語義和上下文關系；Skip-Gram 模型則是CBOW 模型的逆過程，雖然兩者都能捕捉語義和上下文關系，但Skip-Gram 模型對罕見詞匯和小規(guī)模數(shù)據(jù)集表現(xiàn)較差。因此本文中選擇CBOW 模型，具體采用的是Gensim 庫中Word2Vec函數(shù)對輸入URL 參數(shù)進行向量化，并獲取詞嵌入矩陣作為模型的嵌入層。

1.3 卷機神經(jīng)網(wǎng)絡層

卷積神經(jīng)網(wǎng)絡是一種前饋神經(jīng)網(wǎng)絡，是經(jīng)典的深度學習模型，在計算機視覺領域取得了不俗的成績。然而，將卷積神經(jīng)網(wǎng)絡從計算機視覺領域擴展到自然語言處理領域并非易事。比如在對圖像的處理過程中，研究者可以將每張圖片的尺寸和分辨率設為固定值，從而使用多種長度不變的卷積核處理圖像。但在文本分類領域，如果直接將輸入文本長度截斷為固定值，就無法確保輸入信息的完整性。輸入文本長度的不同就可能導致后續(xù)卷積操作的異常，從而導致數(shù)據(jù)丟失，進而影響最終訓練效果。

針對上述問題，研究者們采用了不同的技術以確保網(wǎng)絡能夠有效地進行特征提取和學習，部分研究者采用單層CNN 模型結構，并在最大池化階段采用1-max pooling 操作[13]。這種做法將每個卷積核產(chǎn)生的特征圖中最大特征值作為該卷積核對整個句子的特征值，從而保留了每個卷積核提取到最顯著的特征。在池化操作之后得到的特征向量，其維度大小就等于卷積核數(shù)量，這些特征便可用于進行文本分類任務。這種方法可有效解決文本長度不同的問題。本文借鑒上述思路，將CNN 融入模型來獲取輸入數(shù)據(jù)的局部關聯(lián)特征。

首先，卷積層是CNN 模型中的核心組成部分，它能在局部范圍內有效提取相鄰詞語間的語義關系。本文采用一維卷積層（Conv1D）對文本特征進行卷積操作。其中卷積核的尺寸通常是3 或5，卷積操作后得到的特征圖是一個一維向量，其操作過程如式（1）所示：

其中，x為輸入的文本序列，k為卷積核的長度，W為卷積核權重矩陣，b為偏置項。

首先，卷積操作使用ReLU 激活函數(shù)，使輸出特征向量中的負值變?yōu)?，提高特征的非線性表達能力。其次，池化層是在卷積層后對特征圖進行下采樣操作，以進一步減少文本的長度。池化操作有最大池化和平均池化等，可以減少特征的數(shù)量，并且對輸入文本的長度不敏感。本設計采用最大池化層（Max Pooling）對卷積操作后的特征圖進行下采樣，將每個特征子序列的最大值作為下采樣后的特征值，縮小特征圖的尺寸和數(shù)量。MaxPooling1D 的參數(shù)通常是3 或4，表示下采樣時從3個或4 個相鄰特征值中選擇最大值作為該特征子序列的特征值，其表達式如式（2）所示：

其中，c為卷積操作后的特征向量，p為最大池化操作后得到的特征向量，s為池化層的步長。

通過采用單層CNN 模型結構，并在最大池化階段采用1-max pooling 操作，在最大保留特征的前提下又使輸出維度保持一致，解決了輸入文本長度不相等的問題，理論上對URL 的分類效果能起到積極作用。

1.4 Attention 機制

使用Bi-LSTM 模型對序列進行處理時，該模型會對每個時刻的輸入都產(chǎn)生一個隱藏狀態(tài)。這些隱藏狀態(tài)組成了一個矩陣，可以把它看作是一個由時間步組成的序列。但是并不是每個時刻的隱藏狀態(tài)對最終結果都有同等的貢獻，而某些時刻的隱藏狀態(tài)可能更重要。因此，本文中引入Attention 機制，來對不同時刻的隱藏狀態(tài)進行加權，可以更好捕捉較為重要的信息。

模型采用了基于注意力機制的加權求和方式，計算每個時刻的權重。先通過兩個全連接層對BiLSTM 輸出進行處理，將其轉換成一個對應的向量，再利用這個向量來計算每個時刻的權重。計算過程如式（3）所示：

其中，ht為時間步上的隱藏狀態(tài)，va為注意力向量，Wa為注意力權重矩陣，ba為偏置向量。

在得到權重向量后，將其歸一化處理，得到每個時刻的權重系數(shù)如式（4）所示：

將每個時刻的隱藏狀態(tài)和其對應的權重系數(shù)相乘，并將這些加權和求和，得到一個加權后的向量如式（5）所示：

這個加權后的向量表示包含了所有時刻的隱藏狀態(tài)，但每個時刻的重要性不同，因此能夠更好地捕捉序列中的重要信息。

2 實驗

2.1 實驗數(shù)據(jù)集

本實驗數(shù)據(jù)均采集自互聯(lián)網(wǎng)，時間范圍從2020 年5月至2023 年4 月。數(shù)據(jù)的獲取渠道涵蓋多個來源，主要包括GitHub 開源訓練數(shù)據(jù)集（約290,000 條）、Kaggle開源訓練數(shù)據(jù)集（約50,000 條）以及Alexa 全球網(wǎng)站排名數(shù)據(jù)（10,000 條）。通過對這些數(shù)據(jù)源進行整合，確保了實驗數(shù)據(jù)的充分性和代表性。在數(shù)據(jù)整合的過程中，針對所有的網(wǎng)站主域名進行了存活性檢測，以確保模型的輸入數(shù)據(jù)在時效性上的準確性。

2.2 數(shù)據(jù)處理

為提高模型的泛化能力和準確性，實驗對于正面和負面數(shù)據(jù)進行平衡處理，按1:1 的比例進行采樣，即正負面樣本各取10,000 條，形成最終的實驗數(shù)據(jù)集，樣例如表1 所示。可以看出，惡意URL 往往巧妙地模仿正常URL 的樣式，使得它們在外觀上高度相似，從而引導用戶進行訪問。因此，普通網(wǎng)民很難根據(jù)URL 地址來區(qū)分該訪問是否安全。鑒于此，對于那些具有誤導性和高度相似性的惡意URL 的識別和分析變得至關重要。

表1 正常與惡意URL 樣本Tab.1 Benign and malicious URL samples

本實驗中，統(tǒng)一對樣本數(shù)據(jù)集進行二八分處理，即80%的樣本數(shù)據(jù)作為訓練集，剩下20%的數(shù)據(jù)作為測試集。

2.3 實驗環(huán)境

本實驗采用的編程語言為Python3.8，計算設備配備了Intel(R)Core(TM)i7-10875H 中央處理器，NVIDIA GeForceRTX2060 顯卡，內存為32GB。運行環(huán)境為64位Windows10Version22H2 操作系統(tǒng)。

2.4 模型相關參數(shù)

CBA 模型的相關參數(shù)如表2 所示。

表2 CBA 模型相關參數(shù)表Tab.2 Parameters of CBA model

2.5 實驗結果分析

為驗證CBA 模型的性能，本文采用控制變量法進行對比試驗，旨在比較改進后的模型與單一模型及其他改進模型的性能差異。對比實驗各模型參數(shù)如表3 ～表6所示。

表3 CNN 模型參數(shù)表Tab.3 Parameters of CNN model

表4 Bi-LSTM 模型參數(shù)表Tab.4 Parameters of Bi-LSTM model

表5 CNN + Bi-LSTM 模型參數(shù)表Tab.5 Parameters of CNN + Bi-LSTM model

表6 Bi-LSTM + Attention 模型參數(shù)表Tab.6 Parameters of Bi-LSTM + Attention model

CBA 模型與各模型的對比實驗結果如表7 所示，下面對各模型的表現(xiàn)進行分析，并探討造成這些差異的原因。

首先，從準確率（Accuracy）、精確率（Precision）和F1 分數(shù)（F1-score）來看，單一CNN 模型的效果最差。這主要是因為卷積神經(jīng)網(wǎng)絡在處理可變長度文本上的優(yōu)勢不及循環(huán)神經(jīng)網(wǎng)絡，且在1-max pooling 操作下仍有小部分特征丟失，所以只有約83%的準確率。

其次，可以看到Bi-LSTM 模型的表現(xiàn)優(yōu)于CNN。這是由于Bi-LSTM 模型作為一種循環(huán)神經(jīng)網(wǎng)絡，能更好地處理可變長度文本并從中提取全局時序信息。此外，在Bi-LSTM 模型基礎上引入了Attention 機制后，Attention 機制對全局特征的加權和排序能讓模型關注到更有意義的特征，對模型的性能有較大的提升。相比而言，CNN 只能關注到局部特征，因此Bi-LSTM +Attention 模型相比CNN + Bi-LSTM 有更好的表現(xiàn)。

最后，在所有模型中，CBA 模型在完成惡意URL檢測的任務上的表現(xiàn)最為優(yōu)異，其正確率已接近90%。其中，Attention 機制的引入對于模型性能的提升幫助較高，可以看出Attention 機制的全局特征排序有利于神經(jīng)網(wǎng)絡習得更多有價值的特征，以獲得更好的分類效果。同時卷積神經(jīng)網(wǎng)絡的引入也能在一定程度上幫助神經(jīng)網(wǎng)絡在局部上關注到更有價值的特征，從而提高整體性能。

綜上所述，CBA 模型能有效融合多種機制，并有效提送惡意URL 檢測效果。其中，CNN 在提取局部特征方面表現(xiàn)出色，Bi-LSTM 則能夠捕獲序列的長程依賴關系，而Attention 機制則強化了全局信息的理解能力。CBA 模型的綜合優(yōu)勢使其能夠更全面地理解和分析URL 文本，從而在惡意URL 檢測任務中取得了出色的結果。

3 總結與展望

本文針對現(xiàn)有基于機器學習的惡意URL 檢測方法的缺點，運用多機制融合思想，提出在Bi-LSTM 模型的基礎上，引入卷積神經(jīng)網(wǎng)絡和Attention 機制，構建了CBA 模型。實驗結果表明，CBA 模型通過綜合運用不同機制，能夠從不同角度捕捉URL 文本的各種特征，使得模型更全面地理解和分析URL 的語義和結構信息。這種綜合性特點使得CBA 模型在特征表達能力上較單一機制更具優(yōu)勢，能夠更準確地判別惡意和非惡意URL，這為未來的研究和應用提供了有益的參考。今后，在數(shù)據(jù)集方面，可以更好地兼顧樣本的時效性、多樣性和數(shù)據(jù)量，使用更多更全面的數(shù)據(jù)來進行模型訓練，從而進一步提升模型的準確性；同時，還可以考慮將CBA 模型與更多深度學習技術進行整合，以進一步提升模型的序列建模和特征提取能力，此外，通過更優(yōu)化的數(shù)據(jù)預處理和模型調參，也有望進一步提升CBA 模型的性能。

引用

[1] 沙泓州,劉慶云,柳廳文,等.惡意網(wǎng)頁識別研究綜述[J].計算機學報,2016,39(3):529-542.

[2] LI T,KOU G,PENG Y.Improving Malicious URLs Detection Via Feature Engineering:Linear and Nonlinear Space Transformation Methods[J].Information Systems,2020(91):1-18.

[3] 吳森焱,羅熹,王偉平,等.融合多種特征的惡意URL檢測方法[J].軟件學報,2021,32(9):2916-2934.

[4] JAIN A K,GUPTA B B.A Machine Learning Based Approach for Phishing Detection Using Hyperlinks Information[J].Journal of Ambient Intelligence and Humanized Computing,2019,10(5):2015-2028.

[5] WANG Z,FENG X,NIU Y,et al.TSMWD:A High-speed Malicious Web Page Detection System Based on Two-step Classifiers[C]//2017 International Conference on Networking and Network Applications (NaNA).IEEE,2017:170-175.

[6] TELO J.Supervised Machine Learning for Detecting Malicious URLs:An Evaluation of Different Models[J].Sage Science Review of Applied Machine Learning,2022,5(2):30-46.

[7] XUAN C D,NGUYEN H D,TISENKO V N.Malicious URL Detection Based on Machine Learning[J].International Journal of Advanced Computer Science and Applications,2020,11(1).

[8] 張永剛,呂鵬飛,張悅,等.基于Stacking集成學習的惡意URL檢測系統(tǒng)設計與實現(xiàn)[J].現(xiàn)代電子技術,2023,46(10):105-109.

[9] VAZHAYIL A,VINAYAKUMAR R,SOMAN K P.Comparative study of the detection of malicious URLs using shallow and deep networks[C]//2018 9th International Conference on Computing,Communication and Networking Technologies(ICCCNT).IEEE,2018:1-6.

[10] 張慧,錢麗萍,汪立東,等.基于CNN和多分類器的惡意URLs檢測[J].計算機工程與設計,2019,40(10):2991-2995+3019.

[11] 吳曉英,朱勁松.基于BI-lstm+attention的網(wǎng)站多結構異常檢測分析實證研究[J].情報探索,2022(3):49-55.

[12] 卜佑軍,張橋,陳博,等.基于CNN和BiLSTM的釣魚URL檢測技術研究[J].鄭州大學學報(工學版),2021,42(6):14-20.

[13] 朱錦程.基于機器學習的惡意URL檢測技術研究[D].成都:電子科技大學,2022.