基于Transformer-LSTM模型的跨站腳本檢測方法

趙斯祺 代 紅 王 偉

(遼寧科技大學計算機與軟件工程學院 遼寧 鞍山 114051)

0 引 言

跨站腳本攻擊(Cross Site Scripting),簡稱XSS攻擊,是一種基于代碼注入的Web安全威脅,攻擊者可以通過攻擊網站或Web應用程序來訪問敏感信息。當使用不安全的輸入或惡意的XSS鏈接將惡意的JavaScript代碼注入到Web應用程序中時,就可能發生這類攻擊[1]。這些類型的攻擊可以在任何沒有輸入驗證且對用戶輸入的安全性實現很差的站點上執行[2]。XSS攻擊可以分為三類:反射型XSS攻擊、存儲型XSS攻擊和基于DOM的XSS攻擊[3]。傳統的XSS攻擊檢測方法主要是基于已有特征,進行特征匹配來檢測[4]。這種方法對已知攻擊有較好的檢測效果,但難以檢測未知攻擊,對于惡意變形的XSS攻擊檢測效果不好。隨后研究者提出了機器學習的方法。吳少華等[5]將SVM算法用于XSS攻擊檢測。趙澄等[6]建立了一種改進后的SVM分類器識別XSS攻擊,提取出典型的五維特征進行特征優化。Wang等[7]提出了一種基于分類器與改進的n-gram模型相結合的OSN中XSS檢測方法。三者提出的檢測方案都是基于傳統的機器學習算法,對未知的XSS攻擊有較好的檢測效果,但對惡意變形的XSS攻擊檢測效果并不顯著,而且研究者們所用的機器學習方法需要人工提取XSS攻擊的特征,人工提取特征主觀性強,容易造成特征提取不充分,影響分類結果。隨著研究深入,研究者開始將深度神經網絡運用到XSS攻擊檢測,深度學習算法可以自動學習特征,減少人工提取特征的不足。Li等[8]首次將深度學習應用到漏洞檢測領域,實驗結果表明,上述方法的預測精度要優于傳統神經網絡和機器學習算法。Fang等[9]使用長短時記憶網絡(LSTM)構建分類模型,實驗結果表明LSTM模型對XSS攻擊檢測效果較好。兩者對于深度學習的應用解決了人工提取存在的不足,但對惡意變形的XSS攻擊檢測還要進一步提高準確性。

通過研究,為減少人工提取存在的問題,提高惡意變形的XSS攻擊檢測效果,本文提出一種基于Transformer-LSTM模型的跨站腳本檢測方法。通過前期數據預處理,使用解碼技術解決XSS攻擊惡意變形問題,并利用Transformer-LSTM模型自動學習XSS攻擊特征,減少人工提取特征存在的不足。實驗結果表明,本文方法較傳統機器學習方法和普通的深度學習方法具有更高的準確率、更好的召回率。

1 神經網絡

1.1 Transformer模型

Transformer模型是一種基于自我關注機制的新穎神經網絡體系結構[10]。整個結構是由編碼組件、解碼組件和它們之間的連接層組成。編碼組件是六層編碼器首尾相連堆砌而成,解碼組件也是六層解碼器堆砌而成,模型結構如圖1所示。左邊為編碼器(N=6),編碼器結構完全相同,但并不共享參數,每一個編碼器有兩個子層,為多頭注意力子層和全連接的前饋神經網絡層。右邊為解碼器(N=6),解碼器同樣有這兩個子層,但不同的是,在這兩個子層間增加了一個Masked多頭注意力層[11]。為使整個模型結構達到更好的深度網絡效果,在兩個子層中使用一個殘差連接,并進行層標準化。

圖1 Transformer模型框架

Transformer模型拋棄循環神經網絡結構,完全采用Attention取而代之,詞序之間的信息就會丟失,模型就無法得知每個詞在句子中的相對位置和絕對位置信息。因此,有必要把詞序信號加到詞向量上幫助模型學習這些信息,位置編碼(Positional Encoding)需要將詞序信息和詞向量結合起來形成一種新的表示輸入給模型,這樣模型就具備學習詞序信息的能力。具體計算式表示為:

PE(pos,2i)=sin(pos/1 0002i/dmodel)

(1)

PE(pos,2i+1)=cos(pos/1 0002i/dmodel)

(2)

式中:PE為二維矩陣,行表示詞語,列表示詞向量,pos表示單詞的位置索引,i表示詞向量的某一維度;dmodel是詞向量的維度。式(1)、式(2)表示在每個詞語的詞向量的偶數位置添加sin變量,奇數位置添加cos變量,以此填滿PE矩陣,然后添加到嵌入層中,這樣的編碼方式可以得到詞語之間的相對位置和絕對位置。

注意力機制描述為一個查詢(query)到一組鍵值對(key-value)的映射,計算公式表示為:

Attention(Q,K,V)=softmax(QKT)V

(3)

放縮點積注意力計算式表示為:

(4)

研究人員引入了多頭注意力,這使得模型能夠關注來自不同位置的不同表示子空間的信息,能夠充分提取內部關系。多頭注意力就是把多個自注意力連起來,同時,通過減低維度來減少總計算消耗,計算公式表示為:

MultiHead(Q,K,V)=Concat(head1,head2,…,headh)WO

(5)

(6)

FFN(x)=max(0,xW1+b1)W2+b2

(7)

式中:x代表輸入;W1、W2表示第一次和第二次線性變換的參數矩陣;b1、b2表示第一次和第二次線性變換的偏置向量。

1.2 LSTM模型

長短時記憶模型(Long-Short Term Memory,LSTM)是一種特殊的RNN模型,是為了解決RNN模型梯度彌散問題而提出[12-13]。LSTM網絡結構如圖2所示。

圖2 LSTM網絡結構

LSTM由遺忘門(forget gate)、輸入門(input gate)和輸出門(output gate)、單元狀態(cell state)來更新和保留歷史信息[14]。其中,遺忘門決定丟棄上一個單元狀態ct-1傳遞到當前單元狀態ct的部分信息[15];輸入門決定了保留當前時刻網絡的輸入xt傳遞到單元狀態ct部分信息;輸出門決定當前輸出值ht。

遺忘門的計算為:

ft=σ1(Wf·[ht-1,xt]+bf)

(8)

式中:Wf為遺忘門的權重矩陣;ht-1為上一個單元狀態的輸出;xt為當前細胞的輸入;bf為遺忘門的偏置項;σ為sigmoid函數。

輸入門的計算為:

it=σ2(Wi·[ht-1,xt]+bi)

(9)

式中:Wi是輸入門的權重矩陣;bi是輸入門的偏置項。

(10)

(11)

式(11)用于將舊的單元狀態ct-1更新為新的單元狀態ct。

輸出門的計算為:

ot=σ3(Wo·[ht-1,xt]+bo)

(12)

ht=ot×tanh(ct)

(13)

最終的輸出由輸出門和單元狀態共同決定。

2 Transformer-LSTM模型

2.1 數據預處理

實驗數據分為正樣本數據和負樣本數據,正樣本數據是利用爬蟲工具從XSSed網站爬取,負樣本數據是從各網絡平臺通過網絡爬蟲獲得。本文對所收集的正樣本數據和負樣本數據進行了預處理,分為數據清洗、分詞、向量化,如圖3所示。

(1) 數據清洗:完整的URL請求包括協議、域名、端口、虛擬目錄、文件名和參數。為了保證數據安全,只保留虛擬目錄、文件名和參數。XSS攻擊為了逃避檢測利用編碼技術惡意變形,主要有HTML編碼和URL編碼,因此,在分詞之前需要通過解碼技術進行相應的解碼,提高數據質量。

(2) 分詞:數據清洗之后,為了減少分詞數量,需要把數字和超鏈接范化。將數字替換為“0”,超鏈接替換為“http://u”。考慮到參數內包含完整可執行的標簽和事件,將同一類型標簽和事件收集起來,通過正則表達式進行匹配。因此,設計了符合要求的分詞規則為:單雙引號里的內容,帶有http/https的鏈接,腳本標簽,標簽開頭,屬性名,函數體。如表1所示。

表1 分詞規則

(3) 向量化:XSS攻擊通常執行的是HTML/JavaScript腳本,具有一些語義的關聯。可以使用嵌入式詞向量模型,建立一個XSS的語義模型,使機器能夠理解