串口通信傳輸故障數據挖掘算法的研究與仿真

馮利民，劉 波

(1. 武漢紡織大學計算機與人工智能學院，湖北 武漢 430020；2. 華中科技大學網絡與計算中心，湖北 武漢 430020)

1 引言

近年來隨著網絡用戶的不斷增加，網絡信息量也隨之越來越大，逐漸達到飽和狀態。網絡覆蓋范圍也在不斷擴大，各類問題也接踵而來，如：各類網站的不良廣告、彈窗，導致隱私信息被泄露；網絡黑客的襲擊，導致私密數據被篡改、盜取等等。急需要一種故障挖掘技術檢測串口通信網絡中的故障數據，解決網絡威脅問題[1]。

有學者將深度學習算法應用在通信網絡數據挖掘中，從通信傳輸線路的冗余監測出發，提取在不同監測節點處故障特征向量，利用邏輯連接將所有節點的特征向量進行關聯，輸入到深度學習故障挖掘模型中，取得最終挖掘結果。該方法所需數據量較大，整體耗用較高，實用性不強；文獻[2]采用基于支持度、置信度以及提升度的結合的故障挖掘算法。計算待挖掘數據的三者參數數值，將數值與故障頻繁項進行對比，符合頻繁項條件的就為故障數據。由于未對原始數據進行預處理，參數計算誤差較大，導致后續故障挖掘精準度較低。

綜合上述問題，本文結合SOM聚類技術實現串口通信傳輸故障數據挖掘。本文方法的主要創新點如下：

1)利用SOM聚類建立特征分布圖，對原始特征實現一一映射，明確數據特征數目；

2)運用非線性離散化方法將待挖掘數據分量離散化，增強數據邊緣的敏感值；

3)二分圖故障挖掘模型利用故障源與其它數據點之間的關聯關系，通過邏輯分析實現所有關聯點的故障挖掘。

2 串口通信傳輸數據敏感度增強

一般情況下，串口通信傳輸中易出現的故障多為高維模式，相比于低維模式，其在人眼觀察下很難被識別。基于此，本文利用SOM(Self Origanizing Maps自組織映射網絡)聚類算法，將高維數據的拓撲分布映射在低維空間中，憑借人眼對低維模式的快速辨別能力來提高后續的故障挖掘效率[3]。在進行聚類之前，需要確定待挖掘數據項目的類別，但進行該步驟會影響聚類算法的整體效果。因此在面臨大量高維數據時，本文建立一種聚簇分布特征圖，預先確定待挖掘數據的類別和范圍，降低故障數據挖掘的誤判率[4]。

將訓練完成的SOM輸出結果構成一個完整的網絡結構，根據數據節點的優先順序進行排列[5，6]。假定SOM網絡結構中共有m*n個數據節點，那么節點間Distance-Matrix(距離矩陣)ξ＿mat的定義如下

(1)

式中，節點i和j二者之間的距離可用ξij進行描述，將二者的距離值ξij與一個隨機的顏色范圍實施一一對應映射。

映射結果通過非線性量化算法進行變量離散化，使介于正常與異常之間以及周圍的變量敏感值都提高，進而增強故障特征的分辨率，具體操作步驟如下[7]。

1)首先，把待挖掘所有數據點大致分為三類：第一類為高端越限類，該類數據的數值越小越好；第二類為低端越限類，該類數據的數值越大越好；第三類則為雙邊越限類，該類數據的取值范圍應選擇較為適中的位置。根據上述分類情況，從所有數據點中挑選一個聚焦因子，取值范圍為F∈[0，1][8]。

2)對于高端越限數據點，將正常和不正常變量值之間相互交叉的位置M看作中心點，并以數據點的最低位置0為起點，在[0，A]的條件范圍內，將數據點離散化為2l+1份，其中，l表示數量值，最終離散化后的數據點為2l+1份{0，1，2，2l}。

3)對于低端越限數據點，依舊將異常和正常變量值的交叉位置M為集中點，以數據點的最高位置，作為邊界參考值B的起點，在[0，B]的條件范圍內，將數據點離散化為2l+1份[9]。

4)對于雙邊越限數據點，跟上述運用的兩種方法大致相同，先把正常和不正常數據變量值的交叉看作中心點，隨后再把不正常的數值放在交叉中心，形成兩個焦點M1和M2。

經過離散化后所有數據點的等級都是一致的，都為單邊向取值，并且均以0為最佳表示點。采用這種非線性離散化的方式，能提高數據邊緣的敏感值，使待檢測數據在整個挖掘空間中更好分辨，更易于觀察，對后續挖掘具有一定的幫助，有利于提高整體的挖掘精度[10]。

3 故障數據挖掘實現

通過式(1)映射規律得到提高敏感度值的串口數據，在灰度模式的前提條件下，按照距離從小至大，顏色由深至淺進行對應排列。至此，可取得一個和距離矩陣相同規模的(Color-Matrix)顏色矩陣ζ＿mat[11，12]，具體表達公式為

(2)

采用SOM網絡繪制特征圖，依照顏色矩陣的方式將所有節點進行上色，由此取得了聚簇分布特征圖(如圖1所示)。

圖1 原始數據聚簇分布特征圖

從圖1可以看出，左半部分呈現的是經過顏色映射后的SOM神經網絡，當距離范圍越來越大時，顏色會變得越來越淺。其中，顏色偏淺的一組相鄰節點會形成聚簇現象，由此顏色偏深的節點就自然組成了類邊界。

在面對繁多的數據集時，利用該聚簇分布特征圖，可以精準地確定待挖掘數據的類別數，多加嘗試，不斷地迭代分析，最后利用二分圖故障模型描述串口通信傳輸故障挖掘問題，如下圖2所示[13]。

圖2 串口通信傳輸故障挖掘二分圖模型

該模型以通信線路中的故障源點作為切入點，根據網絡之間的關聯關系，挖掘與故障原點相關的數據點，通過迭代計算得出待挖掘點的故障發生概率，實現精準、高效地挖掘。

在該二分圖模型的基礎之上，將包含故障數據的集合表示為Xn，其中，n表示故障數據量；用Hn代表實際觀測到的關聯故障數據集[14，15]，假設串口通信中故障發生的概率性最大

(3)

式中，P表示概率，采用貝葉斯算法求解，可得

(4)

式中，P(Hn)表示常數值，可將式(4)化簡為

(5)

設定向維度為K；向量為x，此時，故障源Ti與向量x之間的定向關系如下

(6)

其中

(7)

(8)

(9)

該問題的目標函數為

(10)

為了方便目標函數[16]的計算，將對數值表示為以下形式

(11)

式中，ln(1-PTi)的大小與未知數不存在關聯，可通過同等項進行消除，假設

(12)

基于此，故障數據挖掘的目標函數最終可轉換為

(13)

將變量離散后形成兩個焦點M1和M2帶入到轉化結果中，設故障數據點為C，那么C點就為最佳取值點，取值范圍為[0，D]。根據以上說明可得，大的數據點和小的數據點都存在異常，所以最佳的判定方法為在中心處進行折合，對合成后的數據點實施離散化處理[17]，最終形成單邊取值。

若數據點在[0，C]區域，采用第二類方法，將數據離散化，可得到2l+1份{0，1，2，2l}。若數據點落在[C，D]區域內，采用第一類方法進行變量離散化，同樣得到2l+1份{0，1，2，2l}。

(14)

可以將串口通信傳輸中的關聯故障挖掘問題轉化為下列形式，便于挖掘管理

φi∈{0，1}i=1，…，K

(15)

式中，φi表示故障劃分范圍系數。通過該公式就可將所有故障數據挖掘的復雜問題全部轉換為簡單的范圍規劃問題，將計算得出的數據參數輸入到劃分范圍內進行對比，如果在{0，1}范圍內就為故障數據，由此實現串口通信傳輸故障數據挖掘。

4 實驗分析

4.1 實驗樣本

為了驗證文中提出的串口通信傳輸故障數據挖掘算法的有效性，將文本方法與基于深度學習故障數據挖掘算法、結合支持度和置信度故障數據挖掘方法進行對比分析，本實驗在MATLAB仿真軟件的支持下進行。

本次實驗主要以SQL(Structured Query Language)大型網絡數據庫中的串口通信數據集作為測試對象。該數據庫是Microsoft微軟公司推出的關系連帶型網絡數據庫系統，擁有信息定義、信息操縱以及信息管理等多類型功能，可擴展性及信息覆蓋性較高。在數據庫中挑選150個原始串口通信數據樣本，其中存在3組不同故障的數據簇，三組數據簇內共包含45個樣本，樣本均值為15個。

將故障數據簇分為三個類型，對于三組不同結構分布的故障數據簇，如果存在與其特征相關聯的子空間中，此時，特征就會服從正比高斯分布；如果存在與其特征沒有關聯的子空間中，特征就會服從均勻分布。根據該特點，劃分對比挖掘范圍，對比挖掘所需的時間，及在同等原始數據量下捕捉到的故障數據量。

4.2 故障數據挖掘對比結果分析

為了準確判定本文故障挖掘方法的準確性，對比同等數據量條件下，三種方法劃分的異常范圍內包含的故障數據量，實驗結果如下圖3所示。

圖3 三種方法故障特征量劃分對比

圖3中，黑色圓圈為故障數據特征，白色圓圈為正常數據特征。可以看出，相對于深度學習挖掘法以及結合支持度和置信度挖掘法，本文方法挖掘出的故障數據范圍包含的故障數據更多。從挖掘比列分析，本文方法基本挖掘出所有的故障數據，另外兩種方法挖掘效果過于保守，挖掘精準度有待提高，能夠挖掘到的故障數據有限，整體表現較差，對于故障特征存在一定的判定誤差。出現這種現象的主要原因就是，在進行初步挖掘時，沒有對原始數據進行預處理，導致大量噪聲及其它干擾數據涌入，影響算法精度。由此說明，本文方法具有一定的有效性，算法性能表現較強，實用性高。

4.3 故障挖掘耗費時間對比分析

三種方法在同等條件下進行故障挖掘所需的時間如表1所示。

表1 故障挖掘耗費時間對比/s

從表1中的數據可以看出，本文方法故障挖掘耗時是最低的，最低值為0.5s，最高值為2.0s。雖然隨著數據挖掘樣本數量的不斷上升，挖掘耗時有所提升，但是并未出現大幅度的上漲。另外兩種方法的故障挖掘耗時較大，時間成本過高，應用在實際挖掘中，不僅會增加硬件成本，還會降低挖掘效率，實用性及可行性不強。

5 結論

本文在分析串聯通信中故障數據特點的基礎上，提出一種基于SOM聚類的串口通信傳輸故障數據挖掘算法，算法所需訓練時間較短，挖掘模型邏輯清晰易實現。針對原始數據敏感性不高的問題，本文建立了一種聚類分布特征圖，對原始數據進行了初步的劃分后，并進行邊界特征離散化，提高了數據的敏感性，增強后續故障挖掘準確率。仿真結果證明，本文方法的挖掘效率較高，并且能夠對特征量進行準確劃分，實用性和可靠性較強。