大數據融合模型的智能化網絡安全檢測方法

(內蒙古電力科學研究院，呼和浩特 010010)

0 引言

在信息智能化不斷發展的時代，許多中小型企業的各種業務系統也在不斷地更新與完善，所產生的數據也在迅猛地增長。產業互聯網的迅速發展，帶動了各行各業的生產水平，與此同時，智能網絡時代也給企業的安全帶來了全新的挑戰[1]。互聯網的負面作用正逐步擴大，網絡安全問題成為了企業安全的重中之重，其中數據安全問題較為突出[2-3]。

針對上述存在的問題，許多學者發表了自己研究的技術方案。文獻[4]公開了一種基于Hadoop平臺卷積神經網絡模型[4]，雖然能在一定程度上對網絡安全檢測運算處理效果比較好，但是處理數據過程比較復雜導致效率低，對于實時數據無法快速處理。文獻[5]提出了一種多源異構數據實時處理模型，采用了XML數據形式映射數據庫的機制[5]，雖然在實時數據處理上有明顯的優勢，但是采集的數據容易受到噪聲干擾導致精度下降。本研究研究出一套適用的解決方案，下文將詳述具體方案設計。

1 網絡安全檢測平臺總體框架設計

針對上述技術存在的不足，本研究設計出新型的智能化網絡安全檢測平臺，全面分析網絡風險因素，以提高對網絡風險因素的感知、預測和防范能力。本研究采用卡爾曼濾波算法、采用數據融合分類算法和模糊推理算法3種方法結合構建出數據融合模型來對網絡安全檢測數據進行運算與處理。關于網絡安全檢測平臺總體框架圖如圖1所示。

圖1 網絡安全檢測平臺總體框架圖

如圖1所示，網絡安全檢測平臺總體框架可分為5大模塊。

1)檢測數據采集與預處理：

網絡安全檢測平臺主要是通過物聯網和企業的業務系統中獲取數據，利用網絡采集探針在關鍵網絡節點進行實時檢測。采集內容應該包括網絡流量、日志、系統漏洞和各個業務系統之間交互數據等信息，在原始流量中經過分析得出已知威脅，將數據進行預處理之后通過數據采集接口傳輸至數據融合模型之中進一步進行數據處理[6-7]。

2)數據存儲：

數據存儲主要是將采集得到的不同結構的數據進行合理地存儲，與數據融合模型通過數據交互接口進行信息交互，便于數據融合模型的運算。

3)平臺管理：

包括平臺的管理、數據存儲以及自身安全防護，通過實時監控來主動發現安全漏洞并及時預警，充分運維管理網絡安全檢測平臺，加強全網安全形勢意識和安全監控，為平臺的總體功能實現提供支撐。

4)數據融合模型：

在本研究的數據融合模型中，在結構上分為卡爾曼濾波算法、采用數據融合分類算法和模糊推理算法，采用多種算法能將復雜的網絡安全檢測大數據進行融合處理產生最優權重值提高了數據有效性，提高了網絡應用效率。最終將處理結果傳達至展示與應用模塊。

5)展示與應用：

在對顯示單元中存在的隱藏數據信息中，依據決策者、管理人員和運維人員對網絡應用安全的需求側重點，利用可視化分析技術，進行多種態勢的多維度展示，并且支持預警通告和應急處置[8]。

2 數據融合模型的構建

在對復雜的網絡安全檢測大數據處理方面，通常是采用數據融合技術來將不同結構的網絡安全檢測數據進行互補優化，得到更好的數據結果。本研究設計了網絡安全檢測數據融合組合算法模型，采用多種算法將復雜的網絡安全檢測大數據進行融合處理產生最優權重值提高了數據有效性和網絡利用率。關于數據融合模型如圖2所示。

圖2 網絡安全檢測數據融合模型

結合圖2對網絡安全檢測數據融合模型進行說明。在結構原理上，首先應用卡爾曼濾波算法進行數據融合處理，以提高數據的純度，進而提高計算的精度。其次采用數據融合分類算法為對網絡安全檢測數據進行進一步的關聯融合，通過稀疏自編碼器進行自主提取數據特征。為了進行數據聚類，通過K-means聚類算法模型對接收到的數據進行聚類處理，并通過softmax函數輸出分類器，進而實現多種數據的融合計算和處理；最后將處理后的數據信息輸出至模糊推理算法，對接收到的網絡安全檢測數據從整體上進行性能評估。

2.1 卡爾曼濾波算法

在實際網絡采集探針在關鍵網絡節點進行實時檢測過程中，采集過程和傳輸過程的周邊環境難免會受到各種外界因素的干擾。為了降低噪聲干擾提高數據的準確度，本研究將卡爾曼濾波算法進行了新型的應用，在應用過程中對原始網絡安全檢測數據進行初始化濾波處理[9]。計算方法的詳解如下文所示：

針對關鍵網絡節點處首先建立狀態方程和量測方程為：

(1)

式(1)中，k表示某一時刻，取不為0的自然數；xk表示在k時刻網絡安全檢測信號的狀態變量，yk分別表示在k時刻網絡安全檢測信號的量測變量；Ak和Hk分別表示在k時刻網絡安全檢測信號的狀態轉移矩陣和量測系數矩陣；Wk和Vk分別表示在k時刻網絡安全檢測信號的動態噪聲和量測噪聲。

其次，根據式(1)建立誤差初始化方程為：

(2)

式(2)中，P為計算誤差初始化方程中對應x的協方差，E為計算的誤差值。經過卡爾曼濾波遞推，得到：

(3)

(4)

Qw=E[wkwkT]Rv=E[vkvkT]

(5)

其中:Q和R分別表示在k時刻網絡安全檢測信號的動態噪聲和量測噪聲各自的協方差；J表示最終運算的濾波值。

綜上式(1)～(5)[10-11]可以看出，卡爾曼濾波算法過程是一個迭代過程，當得到新的網絡安全檢測數據時，即可算出新的濾波值，實現對原始網絡安全檢測數據的降噪處理。

2.2 數據融合分類算法

本研究的數據融合分類算法是在K-means聚類的稀疏自動編碼器融合算法的基礎上，應用SAE稀疏自動編碼器將網絡安全檢測數據的特征信息自主地提取出來，然后啟動K-means聚類算法模型接收上述數據信息，對SAE稀疏自動編碼器輸出的數據進行處理[12-13]。關于數據融合分類算法的具體步驟如下：

1)設3種不同結構網絡安全檢測數據集A={a1，a2，…，aN}，B={b1，b2…，bN}，C={c1，c2，…，cN}均含有N個樣本，經過關聯融合后得到數據樣本集[14-15]D={a1，a2，…，aN，b1，b2…，bN，c1，c2，…，cN}。

2)通過SAE稀疏自動編碼器建立3個隱藏層，本研究構建三次神經網絡模型來提取網絡安全檢測數據的特征信息。構建SAE稀疏自動編碼器網絡模型主要通過編碼和解碼過程。在編碼過程中，提取隱藏層特征第k個網絡安全檢測數據樣本編碼公式為[16-17]：

ak=fθ(dk)=f(T1dk+C1)

bk=fθ(dk)=f(T1dk+C1)

ck=fθ(dk)=f(T1dk+C1)

(6)

式(1)中，f(x)為激活函數，θ為SAE稀疏自動編碼器的參數。通常編碼和解碼過程常用的激活函數為ReLU函數和sigmoid函數，本研究在編碼過程中使用ReLU函數，而在解碼過程中將兩種激活函數混合使用[18]。

在解碼過程中，將對網絡安全檢測數據進行重構，得到與輸入層的原始網絡安全檢測數據最接近的輸出量gk，如公式(7)所示[19]：

gk=fθ(x)=f(T2x+C2)

x=ak,bk,ck

(7)

其中：x為3種網絡安全檢測數據集任意一種，T1=T2T，C1=C2T。

3)對網絡安全相關數據進行設置，比如網絡硬件參數、損失函數和優化器。神經網絡模型參數主要由迭代次數、批處理以及學習速率組成，損失函數則通過調用PyTorch數據庫內的均方損失函數MSELoss，在模型中為了防止數據出現過擬合現象，本研究采用Adam優化器對數據進行優化[19-20]。關于具體實現程序相關代碼如下[21]：

迭代次數：nmm_epochs=200

批處理個數：batch_size=1280

學習速率：lerning_rate=1e-3

采用Adam優化器：

optimizer=torch.optim.Adam(model.parameters(),lr=learning_rate weight_decay=1e-5)

設置均方損失函數：criterion=nn.MSELoss

最后一步，通過SAE稀疏自動編碼器輸出量作為K-means聚類算法的輸入量。首先要先確立一個輸入網絡安全檢測數據的中心點；其次每個網絡安全檢測數據點通過ou_distance函數來定義數據點與所設中心點之間的歐式距離；然后通過分析計算距離所設中心點最近的數據點，確定該點歸屬于哪一種網絡安全檢測數據類別。最后，計算中心點與所有其他數據點之間的距離之和，并計算每類網絡安全檢測數據集中每個點與所有其他點之間的距離之和。如果距離小于當前中心點之和，則刪除中心點并再次分割質心。經過多次循環，得到最終的分類結果[22]。

2.3 模糊推理算法

通過模糊推理算法對數據融合分類算法的結果進行數據融合，根據結果決定是否調整權值，并將調整后的權值隱含在其權值矩陣中，使數據融合更加適宜。關于具體步驟如下[23]：

(1)對輸入量進行量化，假設模糊推理結果為F，數據融合分類算法結果為U1，卡爾曼濾波算法結果為U2。

(2)從專家級研究經驗進行推理分析，得出模糊推理結果F的定義式為：

(8)

其中：i是某個網絡安全檢測數據樣本，M是總網絡安全檢測數據樣本集合，當Fi趨近于0時，說明網絡安全檢測數據損失值小，表明融合性好；當Fi趨近于1時，說明網絡安全檢測數據損失值大，表明融合性差。

3 實驗與分析

為了驗證本研究設計的數據融合模型的適用性與可靠性，下面進行實驗。

3.1 實驗環境與數據樣本

關于實驗硬件環境為Pentium(R)CPU、8核16G內存，電腦的硬盤容量為512G的硬件環境，軟件的操作系統Windows10，JDK5.0，通過MATLAB軟件系統進行仿真。

本研究以某企業近五年來受到網絡安全威脅情報作為數據樣本對象，對每條告警日志進行處理與分析，重點關注源IP地址、目的IP地址、動作等字段，分析清楚每個字段的含義，之后提取威脅IP地址進行進一步的評估。關于網絡安全檢測數據樣本某個告警日志重要字段說明如表1所示。

通過輸入威脅IP地址輸出此威脅的評估值，由上級管理決定是否采取相應措施，從而消除網絡安全威脅。

3.2 實驗內容與結果分析

為了驗證本研究所設計的數據融合模型的優勢，本研究以卷積神經網絡(CNN)方法和交叉映射(CM)方法作為對比，采用不同方法計算0～2TB網絡安全檢測數據量范圍內融合損失值。在以下實驗中，本研究所采用的卡爾曼濾波算法參數Q=10-6，R=10-1。通過MATLAB軟件系統進行仿真對比，對比結果圖如圖3所示。

如圖3所示，本研究所采用的數據融合模型方法比CNN算法和CM算法的損失值更低，網絡安全檢測數據融合性更好。因此得出結論，本研究的數據融合模型更加適用。

圖3 損失值對比結果圖

為了進一步驗證本研究的數據融合模型高精度和低能耗的優點，采用不同方法計算0～2 TB網絡安全檢測數據量范圍內誤差率和網絡節點平均剩余能量，得出結果進行對比如圖4和表2所示。

圖4 節點平均剩余能量對比結果圖

表2 3種方法誤差對比結果

通過對圖4和表2中的結果分析，本研究本研究的數據融合模型不僅誤差數值最低，而且由于運算過程效率高使得網絡節點能耗較低。因此得出結論，本研究數據融合模型可靠性要更高。

4 結束語

結合新時代智能化網絡背景下對企業網絡安全保護的需求，本研究設計出新型的智能化網絡安全檢測平臺，在數據傳輸的過程中利用數據融合技術對網絡中的數據進行融合處理，采用卡爾曼濾波算法提高網絡安全檢測數據的精準度。通過分析存在的威脅和漏洞，評估網絡威脅帶來的危害程度，最后利用某企業的告警日志數據通過實驗驗證了本研究網絡安全檢測數據融合模型的適用性和可靠性。結果表明，該改進算法產生最優估計值提高了數據有效性，處理后的數據傳輸降低了網絡能耗。隨著技術的不斷發展，對于智能化網絡安全檢測平臺采集精準度和全面性要求會更高，本研究仍舊存在諸多不足，有待進一步的研究。