工控通信行為的自編碼特征降維和雙輪廓模型異常檢測方法

尚文利,閆騰飛,趙劍明,喬 楓,曾 鵬

1(中國科學(xué)院 沈陽自動化研究所,沈陽 110016)2(沈陽建筑大學(xué) 信息與控制工程學(xué)院,沈陽 110168)3(中國科學(xué)院大學(xué),北京 100049)4(中國科學(xué)院 網(wǎng)絡(luò)化控制系統(tǒng)重點實驗室,沈陽 110016)

1 引 言

現(xiàn)階段,工業(yè)控制系統(tǒng)已廣泛應(yīng)用于電力、軌道交通、石油化工、核設(shè)施等行業(yè)中,據(jù)統(tǒng)計,超過80%涉及國計民生的關(guān)鍵基礎(chǔ)設(shè)施都依靠工業(yè)控制系統(tǒng)來實現(xiàn)自動化作業(yè)[1].我國已經(jīng)將工業(yè)控制系統(tǒng)的信息安全上升為國家戰(zhàn)略高度,工控安全已經(jīng)成為“網(wǎng)絡(luò)安全、設(shè)備安全、控制安全、應(yīng)用安全、數(shù)據(jù)安全”的綜合體.

由于工控系統(tǒng)與傳統(tǒng)IT系統(tǒng)之間存在顯著差異,故不能將傳統(tǒng)IT系統(tǒng)安全技術(shù)直接應(yīng)用于工控系統(tǒng).工業(yè)控制系統(tǒng)目前還存在很多技術(shù)隱患.系統(tǒng)缺乏監(jiān)測手段,無法感知未知設(shè)備;工控系統(tǒng)設(shè)備存在很多漏洞,RTU/PLC安全隱患突出;網(wǎng)絡(luò)流量異常,導(dǎo)致設(shè)備工作異常等.

邊界安全防護主要以防火墻技術(shù)與終端安全軟件為主,入侵檢測技術(shù)作為邊界安全后的“閘門”,廣泛應(yīng)用于工控系統(tǒng)安全防護中.目前,國內(nèi)外很多學(xué)者對異常檢測技術(shù)進行了研究與探討.通過研究發(fā)現(xiàn),以往對異常檢測的研究多采用機器學(xué)習(xí)的方法,其中支持向量機(Support Vector Machine,SVM)在解決小樣本、非線性及高維模式識別中特有的優(yōu)勢而廣泛應(yīng)用于異常檢測[2,3].文獻[4]分析了入侵檢測分類算法建立高效檢測模型的障礙在于輸入數(shù)據(jù)的不相關(guān)性和冗余的特征,提出了一種基于支持向量機的蟻群優(yōu)化算法,從而過濾冗余和不相關(guān)數(shù)據(jù),提高基于支持向量機入侵檢測算法的高效性.文獻[5]提出一種半監(jiān)督支持向量機,利用在線優(yōu)化方式及批處理模式中的高效優(yōu)化技術(shù),使得可以在大規(guī)模數(shù)據(jù)集的情況下具有可行性,可提高異常檢測的效率.Kim G[6]提出了一種基于SVM的融合異常檢測和誤用檢測混合入侵檢測方法,減少了訓(xùn)練和測試過程的高時間復(fù)雜度.

上述工作雖然在一定程度上實現(xiàn)了工控系統(tǒng)的異常檢測,但是誤報率(非入侵性而異常)和漏報率(入侵性而非異常)依然較高.為提高工控系統(tǒng)異常檢測的正確率,降低誤報率和漏報率,本文采用單類支持向量機(OCSVM)構(gòu)建雙輪廓模型,通過實時協(xié)同判別引擎進行工控系統(tǒng)異常檢測,仲裁判決擬考慮誤報率和漏報率兩個因素,完成異常判定.同時,為防止OCSVM模型由于輸入自變量過多而導(dǎo)致的過擬合現(xiàn)象,采用自編碼網(wǎng)絡(luò)對輸入自變量進行特征降維,去除冗余,提高OCSVM模型精度,減少建模時間.

2 Modbus TCP通信協(xié)議分析及特征提取

傳統(tǒng)IT信息系統(tǒng)數(shù)據(jù)交換協(xié)議遵從TCP/IP協(xié)議棧,而工控系統(tǒng)采用專用通信協(xié)議或規(guī)約(Modbus等)直接使用或作為TCP/IP協(xié)議的應(yīng)用層使用.Modbus TCP通信協(xié)議是一種已廣泛應(yīng)用于當(dāng)今工業(yè)控制領(lǐng)域的通用通訊協(xié)議.通過此協(xié)議,控制器相互之間、或控制器經(jīng)由網(wǎng)絡(luò)(如以太網(wǎng))可以和其它設(shè)備之間進行通信[7].Modbus協(xié)議使用的是主從通訊技術(shù),即由主設(shè)備主動查詢和操作從設(shè)備.一般將主控設(shè)備方所使用的協(xié)議稱為Modbus Master,從設(shè)備方使用的協(xié)議稱為Modbus Slave[8].典型的主設(shè)備包括工控機和工業(yè)控制器等;典型的從設(shè)備如PLC可編程控制器等.Modbus通訊物理接口可以選用串口(包括RS232和RS485),也可以選擇以太網(wǎng)口.

提取入侵檢測數(shù)據(jù)即對Modbus TCP數(shù)據(jù)幀進行處理,數(shù)據(jù)幀結(jié)構(gòu)如圖1.服務(wù)器復(fù)制正常響應(yīng)的原始功能碼,將異常響應(yīng)原始功能碼的最高有效位設(shè)置邏輯1后返回,異常碼指示差錯類型.協(xié)議執(zhí)行過程為:接受Modbus TCP請求、校驗功能碼、校驗數(shù)據(jù)地址、校驗數(shù)據(jù)值、執(zhí)行Modbus TCP功能、發(fā)送Modbus TCP響應(yīng)[9].

圖1 TCP/IP 上的Modbus幀F(xiàn)ig.1 Modbus frames on TCP/IP

OCSVM建立異常檢測模型所需數(shù)據(jù)特征需要對Modbus TCP協(xié)議提取特征向量,包括從工控流量數(shù)據(jù)直接提取的地址碼、長度、功能碼、端口號、協(xié)議標(biāo)識符、Modbus長度等,以及根據(jù)異常行為模式結(jié)合實際工控流量進行構(gòu)造的反映操作異常的檢測特征,如單位時間內(nèi)數(shù)據(jù)地址異常碼數(shù)、連接設(shè)備標(biāo)識數(shù)、數(shù)讀功能碼數(shù)等.使用wireshark軟件截獲數(shù)據(jù)報文,提取最能反映數(shù)據(jù)特征的屬性構(gòu)造特征向量,得到工控流量異常檢測初始數(shù)據(jù)集.

3 稀疏自編碼器降維模型

特征維數(shù)過多是導(dǎo)致工控安全異常檢測速度低的原因,可以通過對高維、非線性的屬性特征進行約簡來達到降維目的.通過特征的稀疏表達,使用少量的基本特征組合拼裝得到更高層次抽象的表達.

自編碼器(Auto-Encoder)使用自身的高階特征編碼自己,借住稀疏編碼的思想,目標(biāo)是使用稀疏的一些高階特征重新組合來重構(gòu)自己[10].它的特征很明顯:第一,期望輸入等于輸出;第二,希望使用高階特征來重構(gòu)自己,而不只是復(fù)制像素點.如果自編碼器的隱含層只有一層,那么其原理類似于主成分分析法(PCA),只是PCA是線性降維,自編碼器激活函數(shù)sigmoid為非線性激活函數(shù),所以自編碼器可看做非線性降維[11],并且能將數(shù)據(jù)的各個層次的特征都能學(xué)習(xí)出來.

3.1 自編碼器標(biāo)準(zhǔn)模型學(xué)習(xí)算法

標(biāo)準(zhǔn)的自編碼器是一個關(guān)于中間層對稱的多層前饋網(wǎng)絡(luò),它的輸入和輸出一致,可用來學(xué)習(xí)恒等映射并抽取無監(jiān)督特征.圖2是一個單層自編碼器的網(wǎng)絡(luò)結(jié)構(gòu),輸入層到中間層的部分稱為編碼器(Encoder),從中間層到輸出層的部分為解碼器(Decoder).自編碼器學(xué)習(xí)從輸入生成隱含層表示,從隱含層表示重構(gòu)與輸入盡可能接近的輸出.

圖2 自編碼網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Auto-Encoder network structure

編碼是指輸入x∈R映射到隱含表示h(x)∈R的過程,計算形式為:

h(x)=σh(Wx+b)

(1)

其中,W∈R是編碼權(quán)值矩陣,b∈R是編碼偏置向量;σh(x)是向量值函數(shù),非線性情況取為sigmoid函數(shù).

解碼是指把隱含表示h(x)映射到輸出層o,以對輸入x進行重建.計算形式為:

o=σo(W′h(x)+b′)

(2)

其中,W′∈R是解碼權(quán)值矩陣,b′∈R是解碼偏置向量;σo(x)與σh(x)類似.

作為一種特殊的多層感知器,自編碼器可通過反向傳播算法(BP算法)學(xué)習(xí)權(quán)值和偏置[10].直接采用反向傳播算法學(xué)習(xí)權(quán)值和偏置結(jié)果不穩(wěn)定,通常會出現(xiàn)學(xué)習(xí)過程收斂慢,或不收斂.故采用兩階段訓(xùn)練算法,即貪婪逐層無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督調(diào)優(yōu).

3.1.1 無監(jiān)督預(yù)訓(xùn)練算法

從輸入層到隱含層,把每相鄰兩層看做一個受限玻爾茲曼機每個受限玻爾茲曼機輸出作為下一緊鄰受限玻爾茲曼機輸入,從最底層開始,用CD-K算法進行逐層訓(xùn)練,從而得到自編碼器的所有初始化權(quán)值和偏置.

算法步驟為:

Step1.用接近0的隨機數(shù)初始化網(wǎng)絡(luò)參數(shù)(Wi,bi)(1≤i≤r).

Step2.使用CD-K算法訓(xùn)練第一個RBM,該RBM可視層為x,隱含層為h1.

Step3.對1

Step4.反向堆疊RBM,初始化r+1到2r層的自編碼參數(shù).

3.1.2 有監(jiān)督調(diào)優(yōu)

在無監(jiān)督預(yù)訓(xùn)練完成后,采用有監(jiān)督學(xué)習(xí)算法對網(wǎng)絡(luò)全部參數(shù)進行調(diào)優(yōu),本文采用BP算法從輸出層到輸入層逐層實現(xiàn)對網(wǎng)絡(luò)參數(shù)的調(diào)整.

算法步驟為:

輸入:訓(xùn)練集S={(xl,yl),(1≤l≤N)},網(wǎng)絡(luò)結(jié)構(gòu),層數(shù)R

輸出:權(quán)值矩陣和偏置(Wk,bk)(1≤k≤R)

Step1.隨機初始化Wk≈0,bk≈0,k=1,…,R.

Step6.計算權(quán)值和偏置的更新,

實驗表明,兩階段的訓(xùn)練方法能夠明顯提高自編碼器學(xué)習(xí)效果,有助于OCSCVM入侵檢測模型建立.

3.2 稀疏自編碼器實現(xiàn)降維

稀疏自編碼器在模型優(yōu)化中增加對隱含神經(jīng)元激活的稀疏性約束,使絕大多數(shù)隱含神經(jīng)元處于非激活狀態(tài),從而實現(xiàn)降維.如果給中間隱含層的權(quán)重加一個正則項,根據(jù)懲罰系數(shù)控制隱含節(jié)點的稀疏程度.

稀疏自編碼器優(yōu)化的目標(biāo)函數(shù)為:

(3)

通過對目標(biāo)函數(shù)進行優(yōu)化,學(xué)習(xí)到特征的稀疏表達,得到高維空間到低維空間的特征映射,用于OCSVM構(gòu)建異常檢測模型的特征向量,從而提高檢測速度.

4 OCSVM異常檢測模型構(gòu)建

任何工業(yè)生產(chǎn)過程都可以用一系列功能控制操作來抽象描述,采集的工業(yè)數(shù)據(jù)具有正常數(shù)據(jù)多,異常數(shù)據(jù)少的特點,故采用參數(shù)優(yōu)化的單類支持向量機方法,分別構(gòu)建異常和正常模式下的雙輪廓模型.同時,OCSVM對噪聲樣本數(shù)據(jù)具有魯棒性,能建立較準(zhǔn)確的分類模型.

4.1 OCSVM算法

OCSVM算法是在SVM算法基礎(chǔ)上發(fā)展起來的,特點是只需一類樣本即可訓(xùn)練模型.與傳統(tǒng)SVM算法相比,OCSVM算法不再使用最大間隔,適用于工控網(wǎng)絡(luò)異常檢測數(shù)據(jù)特征不易確定的情況.OCSVM通過非線性映射將輸入向量映射到高維特征空間,在特征空間構(gòu)造最優(yōu)分類超平面,邊界之外的數(shù)據(jù)被分為異常[12],實現(xiàn)正常工業(yè)數(shù)據(jù)與坐標(biāo)原點的最大間隔.

當(dāng)工控異常監(jiān)測數(shù)據(jù)線性不可分時,引入核函數(shù),本文使用高斯核函數(shù),將數(shù)據(jù)從輸入空間的非線性轉(zhuǎn)變到特征空間轉(zhuǎn)換成線性可分,這樣就可以準(zhǔn)確的對異常檢測數(shù)據(jù)進行分類,如圖5.若在二維空間,最優(yōu)超平面即一條直線.

OCSVM擬尋求最小化目標(biāo)函數(shù):

(4)

其中,xi為樣本數(shù)據(jù),l為訓(xùn)練集數(shù)量,v為權(quán)衡參數(shù),Φ為原始空間到特征空間映射,ω和ρ分別為特征空間中超平面的法向量和補償.

引入拉格朗日函數(shù):

(5)

其中,αi,βi為拉格朗日因子.

當(dāng)工控異常監(jiān)測數(shù)據(jù)線性不可分時,引入核函數(shù),本文使用高斯核函數(shù),將數(shù)據(jù)從輸入空間的非線性轉(zhuǎn)變到特征空間轉(zhuǎn)換成線性可分,這樣就可以準(zhǔn)確的對異常檢測數(shù)據(jù)進行分類.若在二維空間,最優(yōu)超平面即一條直線.

引入高斯核函數(shù)將樣本空間映射到特征空間得對偶問題:

K(xi,xj)=<Φ(xi),
Φ(xj)>=exp(-g‖xi-xj‖2)

(6)

(7)

由上式可求出ρ:

(8)

求出決策函數(shù)即最優(yōu)超平面,也就得到基于OCSVM的工業(yè)入侵檢測模型:

(9)

對于訓(xùn)練數(shù)據(jù)x,f(x)表明了它在高維空間位于超平面的正負方向,f(x)為正則認為是正常類,反之為異常類.

4.2 參數(shù)尋優(yōu)

粒子群優(yōu)化算法(Particle Swarm Optimization,PSO)是一種基于群體智能的演化計算技術(shù),與遺傳算法相比,PSO沒有選擇、交叉、變異的操作[13].而是通過粒子在解空間追隨最優(yōu)的粒子進行尋優(yōu).本文采用PSO對決定分類器性能和結(jié)構(gòu)的關(guān)鍵參數(shù)進行尋優(yōu),需要尋優(yōu)的重要參數(shù)包含OCSVM的權(quán)衡參數(shù)v和高斯核函數(shù)參數(shù)g.選取分類準(zhǔn)確率作為PSO的適應(yīng)度函數(shù)值.

5 OCSVM雙輪廓模型異常檢測模型構(gòu)建

工控系統(tǒng)入侵活動并不總與異常活動相符合,包括4種可能:入侵性而非異常(漏報)、非入侵性而異常(誤報)、非入侵性非異常(正確判斷)、入侵且異常(入侵).

1)入侵性而非異常.活動具有入侵性卻因為不是異常而導(dǎo)致不能檢測到,造成漏報,結(jié)果就是IDS不報告入侵.

2)非入侵性而異常.活動不具有入侵性,而因為它是異常的,IDS報告入侵,這時就造成誤報.

3)非入侵性非異常.活動不具有入侵性,IDS沒有將活動報告為入侵,這屬于正確的判斷.

4)入侵且異常.活動具有入侵性并因為活動是異常的,IDS將其報告為入侵.

異常檢測的基礎(chǔ)是異常行為模式系統(tǒng)誤用,漏報、誤報對于重要的工控系統(tǒng)來說相當(dāng)危險.因此,工控系統(tǒng)異常檢測的完成必須驗證.

本文利用單類支持向量機分別建立正常OCSVM模型和異常OCSVM模型,提出基于雙輪廓模型的異常檢測方法[14],實現(xiàn)正常和異常行為的協(xié)同判別,達到抑制漏報率和誤報率的目的,實現(xiàn)工控網(wǎng)絡(luò)異常檢測.

實時協(xié)同判別引擎實時捕獲并提取功能控制行為信息,以此作為模型的輸入數(shù)據(jù)進行異常判定.雙輪廓模型的協(xié)同判別機制簡述如下:

圖3 自編碼網(wǎng)絡(luò)訓(xùn)練結(jié)果Fig.3 Training results of Auto-Encoder network

1)若異常OCSVM模型判定為“正常”,同時正常OCSVM模型也判定為“正常”,則最終結(jié)果為“正常”;

2)若異常OCSVM模型判定為“異常”,同時正常OCSVM模型也判定“異常”,則最終結(jié)果為“異常”;

3)若異常OCSVM模型與正常OCSVM模型判定結(jié)果不一致,則需要進行進一步的仲裁判決,仲裁判決擬考慮誤報率和漏報率兩個因素,完成最終的異常判定.

通過上述OCSVM雙輪廓異常檢測模型實現(xiàn)工業(yè)控制網(wǎng)絡(luò)的異常檢測,抑制漏報率和誤報率,保護工控系統(tǒng)正常運行.

6 實驗驗證

實驗平臺為MATLAB2016b,使用MATLAB自帶神經(jīng)網(wǎng)絡(luò)工具箱構(gòu)建自編碼網(wǎng)絡(luò),實驗驗證采用自編碼網(wǎng)絡(luò)結(jié)構(gòu)為20-8-20,選取中間隱藏層作為OCSVM算法輸入特征向量.采用8維向量訓(xùn)練自編碼網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示,可見使得均方誤差最低時迭代次數(shù)在12次.經(jīng)過反復(fù)實驗驗證發(fā)現(xiàn),當(dāng)訓(xùn)練集與測試集的準(zhǔn)確率出現(xiàn)明顯分離時,停止迭代,并且在迭代次數(shù)為12次時不會出現(xiàn)過擬合現(xiàn)象.

為消除數(shù)據(jù)本身的冗余,在保全信息量的同時簡化網(wǎng)絡(luò)的計算量和網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度,經(jīng)過自編碼網(wǎng)絡(luò)稀疏層參數(shù)的不同取值,選取8維向量作為稀疏自編碼的隱藏層,稀疏層為8維向量時能更好的還原輸入20維變量數(shù)據(jù)特征,符合自編碼網(wǎng)絡(luò)的特點.即將20維數(shù)據(jù)降至8維,作為OCSVM算法輸入特征向量,達到減少運算時間的目的.

PSO尋找最佳參數(shù)的適應(yīng)度(準(zhǔn)確率)曲線如圖4所示,bestg=4.5181,bestv=0.3473,bestaccuarcy=98.970%.

圖4 PSO尋找最佳參數(shù)的適應(yīng)度(準(zhǔn)確率)曲線Fig.4 PSO′s fitness (accuracy) curve for finding the best parameters

經(jīng)過PSO進行參數(shù)優(yōu)化后,采用經(jīng)自編碼網(wǎng)絡(luò)降維處理后的數(shù)據(jù)作為OCSVM雙輪廓模型的輸入自變量.對雙輪廓模型的OCSVM異常檢測算法的驗證采用Wireshark軟件截獲數(shù)據(jù)報文所抓取1000條數(shù)據(jù)包中400條數(shù)據(jù)用于對所建模型的訓(xùn)練,另取400條數(shù)據(jù)用于測試.訓(xùn)練集和測試集檢測結(jié)果分別如圖5和圖6所示.

圖5 OCSVM雙輪廓模型訓(xùn)練集檢測結(jié)果Fig.5 OCSVM double contour model training set detection result

由對訓(xùn)練集和測試集進行網(wǎng)絡(luò)異常檢測的分類結(jié)果可以看出,OCSVM雙輪廓模型對訓(xùn)練集的400條數(shù)據(jù)分類準(zhǔn)確率能達到93.38%,對于測試集的400條數(shù)據(jù)的分類準(zhǔn)確率達到98.726%,檢測結(jié)果接近100%.通過本文提出的雙輪廓實時判別機制,有效的提高了分類準(zhǔn)確率.為說明本文提出方法的優(yōu)越性,將異常檢測模型與其他幾種模型進行了對比,對比結(jié)果如表1所示.

圖6 OCSVM雙輪廓模型測試集檢測結(jié)果Fig.6 OCSVM double contour model tseting set detection result

經(jīng)過自編碼網(wǎng)絡(luò)對輸入自變量降維并使用粒子群算法進行參數(shù)尋優(yōu)的單類支持向量機異常檢測模型(AE-PSO-OCSVM)與SVM、GA-OCSVM異常檢測模型進行對比.其在漏報率、誤報率、測試集準(zhǔn)確率以及檢測時間方面的結(jié)果如表1中

表1 各算法性能對比

Table 1 Performance comparison of each algorithm

算 法漏報率誤報率測試集準(zhǔn)確率檢測時間SVM25%16%90．25%24．914sGA?OCSVM7%10%94．00%17．641sAE?PSO?OCSVM5%3%98．73%4．071s

所示.同時選取了相同的訓(xùn)練集與測試集對各個模型進行測試比較.由表中可以看出,本文所提出的基于自編碼網(wǎng)絡(luò)的AE-PSO-OCSVM 雙輪廓異常檢測模型的檢測時間為4.071s,SVM的檢測時間為24.914s,GA-OCSVM的檢測時間為4.071s.由此可見,AE-PSO-OCSVM的檢測時間要比SVM模型的時間近似少20s.同時由表1中可見,AE-PSO-OCSVM的漏報率為5%,誤報率為3%,分別低于SVM和GA-OCSVM對應(yīng)指標(biāo)的數(shù)值.并且AE-PSO-OCSVM的測試集準(zhǔn)確率98.73%,高于SVM和GA-OCSVM的對應(yīng)數(shù)值.這說明通過對輸入自變量進行降維優(yōu)化來實現(xiàn)去除冗余,在減小檢測時間的同時又使得測試集準(zhǔn)確率得以提升,這說明了本文所提出的工控異常檢測模型的有效性,同時本方法可以提高了整體的檢測性能.

7 結(jié) 語

本文分析了Modbus TCP工業(yè)控制網(wǎng)絡(luò)通信協(xié)議及對異常檢測特征流量進行提取,構(gòu)建了單類支持向量機工業(yè)異常檢測模型,并對提取的特征數(shù)據(jù)進行自編碼降維,降低OCSVM異常檢測時間,提高檢測效率.同時,為降低工控系統(tǒng)異常檢測漏報率和誤報率,本文構(gòu)建了基于OCSVM的雙輪廓模型,通過實時協(xié)同判別引擎對模型的輸入數(shù)據(jù)進行異常判定.最后,本文通過仿真驗證了所提算法的有效性.