基于Merkle哈希樹的通信網(wǎng)絡(luò)異常數(shù)據(jù)流自動識別方法

摘要：為解決通信網(wǎng)絡(luò)在高異常數(shù)據(jù)比例下識別模型性能退化、F1值偏低的問題，文章設(shè)計了一種基于Merkle哈希樹的通信網(wǎng)絡(luò)異常數(shù)據(jù)流自動識別方法。對通信網(wǎng)絡(luò)數(shù)據(jù)流進行預(yù)處理，以消除噪聲和冗余信息；通過設(shè)定合理的閾值對異常評分進行比較，從而提取出關(guān)鍵的異常數(shù)據(jù)流特征；利用Merkle哈希樹，建立一個高效的異常數(shù)據(jù)識別模型，該模型通過哈希樹節(jié)點的連接機制，在層級間有效傳遞信息，實現(xiàn)對通信網(wǎng)絡(luò)中異常數(shù)據(jù)流的自動識別。實驗結(jié)果表明，相較于傳統(tǒng)方法，基于Merkle哈希樹的通信網(wǎng)絡(luò)異常數(shù)據(jù)流自動識別方法在各個數(shù)據(jù)集上的表現(xiàn)更為優(yōu)越，特別是在數(shù)據(jù)集4中，取得了0.93的F1值，證明該方法識別通信網(wǎng)絡(luò)異常數(shù)據(jù)流的準(zhǔn)確性和可靠性，幾乎無遺漏。

關(guān)鍵詞：Merkle哈希樹；通信網(wǎng)絡(luò)；哈希樹節(jié)點；異常數(shù)據(jù)流；自動識別

中圖分類號：TN913 "文獻標(biāo)志碼：A

0 引言

隨著通信網(wǎng)絡(luò)的快速發(fā)展，異常數(shù)據(jù)流的出現(xiàn)日益頻繁，給網(wǎng)絡(luò)的健康運行帶來了巨大挑戰(zhàn)。因此，通信網(wǎng)絡(luò)異常數(shù)據(jù)流的自動識別技術(shù)成為當(dāng)前研究的熱點和難點。在現(xiàn)有研究中，徐胤博等［1］采用聚類算法對通信網(wǎng)絡(luò)中的數(shù)據(jù)進行分類，以識別異常數(shù)據(jù)流。該方法基于數(shù)據(jù)的分布特性，將異常數(shù)據(jù)視為與正常數(shù)據(jù)分布不同的類別。通過聚類算法，該方法能夠在一定程度上實現(xiàn)對異常數(shù)據(jù)流的檢測。田銀磊等［2］利用神經(jīng)網(wǎng)絡(luò)在異常檢測領(lǐng)域的強大潛力，提出一種基于神經(jīng)網(wǎng)絡(luò)的異常數(shù)據(jù)識別方法。神經(jīng)網(wǎng)絡(luò)以其獨特的非線性映射能力和自學(xué)習(xí)能力，能夠自動學(xué)習(xí)數(shù)據(jù)中的特征并識別異常。然而，面對日益復(fù)雜的網(wǎng)絡(luò)環(huán)境和不斷變化的攻擊手段，這些方法已難以滿足實際需求。面對這些挑戰(zhàn)，本文提出一種基于Merkle哈希樹的通信網(wǎng)絡(luò)異常數(shù)據(jù)流自動識別方法。Merkle哈希樹作為一種高效的數(shù)據(jù)結(jié)構(gòu)，在數(shù)據(jù)完整性驗證和可擴展性方面具有顯著優(yōu)勢。將Merkle哈希樹應(yīng)用于通信網(wǎng)絡(luò)異常數(shù)據(jù)流的識別中，實現(xiàn)對數(shù)據(jù)的快速檢索和比對，從而準(zhǔn)確識別出異常數(shù)據(jù)流。預(yù)處理通信網(wǎng)絡(luò)數(shù)據(jù)流，提取關(guān)鍵異常數(shù)據(jù)流特征，利用Merkle哈希樹建立異常識別模型，通過其層級結(jié)構(gòu)和節(jié)點連接機制增強識別能力，實現(xiàn)異常數(shù)據(jù)流的自動識別，為網(wǎng)絡(luò)管理員提供及時、準(zhǔn)確的異常信息，支持快速響應(yīng)和處理，確保在復(fù)雜網(wǎng)絡(luò)環(huán)境中保持高效檢測能力。

1 預(yù)處理通信網(wǎng)絡(luò)數(shù)據(jù)流

在網(wǎng)絡(luò)關(guān)鍵節(jié)點部署監(jiān)測設(shè)備，實時捕獲流經(jīng)的通信數(shù)據(jù)包，對這些數(shù)據(jù)包進行詳細的篩選和解析，提取出有價值的信息，如數(shù)據(jù)流量、傳輸協(xié)議、源地址和目標(biāo)地址等，這些數(shù)據(jù)流信息能夠直觀反映網(wǎng)絡(luò)的運行狀態(tài)［3］。

由于設(shè)備性能的限制和外部環(huán)境的干擾，數(shù)據(jù)流常常摻雜著噪聲和冗余信息，這些因素會損害數(shù)據(jù)流的平穩(wěn)性和一致性，進而對數(shù)據(jù)分析的準(zhǔn)確性和有效性構(gòu)成挑戰(zhàn)。為提升通信網(wǎng)絡(luò)數(shù)據(jù)流的質(zhì)量，預(yù)處理步驟至關(guān)重要。設(shè)定數(shù)據(jù)流為xi，其中i表示數(shù)據(jù)流的索引［4］。歸一化方法通常將數(shù)據(jù)映射到一個標(biāo)準(zhǔn)區(qū)間［-1，1］內(nèi)。歸一化表示為：

xi=xi-minxmaxx-minx×2-1

式中，minx表示數(shù)據(jù)流x中的最小值，maxx表示數(shù)據(jù)流x中的最大值。

在通信網(wǎng)絡(luò)數(shù)據(jù)流的預(yù)處理階段，為了確保與Merkle哈希樹異常識別算法的兼容性，將數(shù)據(jù)流轉(zhuǎn)化為哈希值的形式。對于給定的數(shù)據(jù)流xi，采用分段哈希的方法來進行處理。定義一個函數(shù)HashingSegment（xi，w），其中w表示滑動窗口的大小。該函數(shù)將xi劃分為長度為w的連續(xù)片段并對每個片段執(zhí)行哈希運算，生成相應(yīng)的哈希值序列Hi。通過這種方式，確保輸入和輸出的形式均為哈希值，從而適應(yīng)Merkle哈希樹的處理要求［5］。表示為：

Hi=［h1，h2，…，hn］=HashingSegment（xi，w）（2）

式中，hi表示第i個數(shù)據(jù)片段的哈希值，n表示數(shù)據(jù)片段的總數(shù)。

2 提取通信網(wǎng)絡(luò)異常數(shù)據(jù)流特征

在通信網(wǎng)絡(luò)異常數(shù)據(jù)流的特征提取過程中，首先定義預(yù)處理后的通信網(wǎng)絡(luò)數(shù)據(jù)流動態(tài)特征為Dt，其中t表示時間。結(jié)合數(shù)據(jù)的局部性特征Lf和結(jié)構(gòu)化特征Sf，對Dt進行分析，通過數(shù)學(xué)公式進行融合：

E=f（Dt，Lf，Sf）（3）

式中，f表示一種映射函數(shù)，將數(shù)據(jù)流、局部性特征和結(jié)構(gòu)化特征映射到特征空間。利用異常數(shù)據(jù)樣本庫中的哈希值數(shù)據(jù)Hi，通過相似度計算得到一個異常評分As［6］：

As=Model（Hi，E）（4）

式中，Model表示相似度算法。

異常評分As能夠量化數(shù)據(jù)流的異常程度。設(shè)定一個合理的閾值與這個異常評分進行比較，從而判斷數(shù)據(jù)流是否處于異常狀態(tài)。基于歷史數(shù)據(jù)的統(tǒng)計分析和專家經(jīng)驗因素的綜合考慮。閾值為：

T=μ+0.95σ（5）

式中，μ表示異常評分均值，σ表示標(biāo)準(zhǔn)差。

當(dāng)Asgt;T時，認為數(shù)據(jù)流中存在異常特征，此時異常數(shù)據(jù)流特征提取的過程就被視為完成。相反，如果Aslt;T，則說明數(shù)據(jù)流在正常范圍內(nèi)，沒有出現(xiàn)明顯的異常特征。

3 利用Merkle哈希樹建立異常數(shù)據(jù)流識別模型

在建立異常數(shù)據(jù)流識別模型中，采用Merkle哈希樹算法來確保數(shù)據(jù)流的完整性和可驗證性。在建立基于Merkle哈希樹的異常數(shù)據(jù)流識別模型中，系統(tǒng)首先會在新數(shù)據(jù)流首次出現(xiàn)時進行初始化操作：根據(jù)數(shù)據(jù)流的特征向量計算各自的哈希值并將這些哈希值作為Merkle哈希樹的葉子節(jié)點。采用遞歸方法，將相鄰葉子節(jié)點的哈希值逐級合并，以構(gòu)建完整的Merkle哈希樹，直至計算出根哈希值［7］。對于持續(xù)監(jiān)測的數(shù)據(jù)流，當(dāng)其特征向量發(fā)生變化時，系統(tǒng)會自動觸發(fā)更新機制，重新計算受影響的葉子節(jié)點及其所有上級祖先節(jié)點的哈希值，確保Merkle哈希樹能夠?qū)崟r準(zhǔn)確地反映數(shù)據(jù)流的最新變化狀態(tài)。哈希樹的結(jié)構(gòu)如圖1所示。

k和l分別代表樹的層級和節(jié)點索引。第k層的第l個節(jié)點標(biāo)記為M（k，l）。對于每個網(wǎng)絡(luò)數(shù)據(jù)項，將其標(biāo)記為Dl。Merkle哈希樹是通過遞歸地執(zhí)行哈希函數(shù)來逐步構(gòu)建成的，其中H（Dl）表示數(shù)據(jù)項Dl的哈希值。

在建立異常數(shù)據(jù)流識別模型的過程中，充分利用哈希函數(shù)的單向性特點，通過計算Merkle哈希樹各節(jié)點的哈希值來驗證其子節(jié)點及數(shù)據(jù)項的完整性和一致性。為了確保整個哈希樹的可靠性，在根節(jié)點處嵌入一個特殊的編碼值。系統(tǒng)部署了一套高效的異常檢測體系，該體系持續(xù)監(jiān)控Merkle哈希樹的根哈希值，一旦檢測到根哈希值發(fā)生顯著變化，系統(tǒng)立即將其視為潛在的數(shù)據(jù)流異常預(yù)警并自動觸發(fā)深入的檢測流程。同時，利用Merkle哈希樹的層次化結(jié)構(gòu)，系統(tǒng)能夠高效地進行子樹驗證，通過對比各子樹根哈希值的變化情況，系統(tǒng)能夠迅速鎖定可能存在問題的數(shù)據(jù)流區(qū)域，極大地縮小了異常調(diào)查的范圍。

設(shè)R為根哈希值，當(dāng)新的數(shù)據(jù)流進入網(wǎng)絡(luò)時，提取其特征向量并構(gòu)建Merkle哈希樹，異常數(shù)據(jù)流識別模型表示為：

G=R［H（S1）‖H（S2）…‖H（Sn）］（6）

式中，Sn表示第n個子樹的根哈希值。

利用Merkle哈希樹建立的異常數(shù)據(jù)流識別模型，在提升驗證效率與確保數(shù)據(jù)完整性的同時，憑借其特殊結(jié)構(gòu)實現(xiàn)了對部分數(shù)據(jù)流的快速驗證，顯著增強了模型的實用性和靈活性。該模型一旦檢測到異常數(shù)據(jù)流，會立即觸發(fā)警報，通知管理員或相關(guān)系統(tǒng)采取相應(yīng)措施。系統(tǒng)詳細記錄每次異常檢測的結(jié)果與處理過程，以便后續(xù)進行分析和優(yōu)化。同時，該系統(tǒng)具備自適應(yīng)學(xué)習(xí)能力，能通過對歷史異常數(shù)據(jù)及反饋結(jié)果的深入分析，不斷優(yōu)化特征提取算法、調(diào)整哈希函數(shù)的選擇以及設(shè)定為更精準(zhǔn)的閾值，從而提高檢測的準(zhǔn)確性和效率。

4 實現(xiàn)通信網(wǎng)絡(luò)異常數(shù)據(jù)流自動識別

異常數(shù)據(jù)流識別模型是一個多層次結(jié)構(gòu)，旨在自動檢測并識別通信網(wǎng)絡(luò)中的異常數(shù)據(jù)流。該模型由輸入層、模糊化層、推理層、歸一化層、反模糊化層以及輸出層組成，這些層之間通過哈希樹的節(jié)點連接機制實現(xiàn)了信息的高效傳遞與整合。

模型輸入層首先接收的是通信網(wǎng)絡(luò)數(shù)據(jù)的特征向量，這些特征向量是模型進行異常識別的基礎(chǔ)。模糊化層利用隸屬度函數(shù)將輸入層傳遞的特征向量映射到模糊子空間中，形成模糊集合。這些模糊集合深刻反映了數(shù)據(jù)流在不同特征維度上的模糊狀態(tài)［8］。隸屬度函數(shù)表示為：

G=exp-gi-c2σ2（7）

式中，gi表示輸入特征，c表示模糊集合的中心。

通過調(diào)整c和σ的值，可以控制模糊集合的位置和模糊程度。歸一化層對模糊決策結(jié)果進行歸一化處理。通過將模糊決策結(jié)果轉(zhuǎn)化為標(biāo)準(zhǔn)化的輸出，使得不同數(shù)據(jù)流之間的異常程度可以進行比較和評估。反模糊化層將歸一化后的輸出轉(zhuǎn)換為明確的分類或數(shù)值結(jié)果，這些結(jié)果即為異常數(shù)據(jù)流的識別結(jié)果。

通過哈希樹節(jié)點的鏈接機制，模型實現(xiàn)了信息的層次化傳遞與處理。這種結(jié)構(gòu)使得模型能夠充分利用各層級的信息資源，提高異常識別的準(zhǔn)確性和效率。最終，模型能夠自動識別通信網(wǎng)絡(luò)中的異常數(shù)據(jù)流，為網(wǎng)絡(luò)管理員提供有力的支持，保障通信網(wǎng)絡(luò)的安全和穩(wěn)定。

5 實驗

5.1 實驗準(zhǔn)備

為驗證基于Merkle哈希樹的通信網(wǎng)絡(luò)異常數(shù)據(jù)流自動識別方法的性能，進行對比實驗。實驗由4臺高性能測試服務(wù)器組成，每臺服務(wù)器均搭載了Intel處理器、配備了1TB SSD硬盤和64 GB的RAM，運行著穩(wěn)定的Linux操作系統(tǒng)。在實驗開始前，對服務(wù)器進行了全面的性能檢測和調(diào)優(yōu)，以確保實驗結(jié)果的準(zhǔn)確性。網(wǎng)絡(luò)配置如表1所示。

使用Merkle哈希樹作為實驗基礎(chǔ)，根據(jù)上述網(wǎng)絡(luò)配置，設(shè)定一個1000 m×1000 m的虛擬網(wǎng)絡(luò)監(jiān)測區(qū)域并部署一定數(shù)量的網(wǎng)絡(luò)節(jié)點。每個節(jié)點都被精心配置以運行Merkle哈希樹算法，這一設(shè)置旨在實現(xiàn)對數(shù)據(jù)流中異常模式的實時監(jiān)測與高效識別。實驗環(huán)境如圖2所示。

依據(jù)圖2所示的實驗環(huán)境，本文模擬了互聯(lián)網(wǎng)環(huán)境中的多個節(jié)點，這些節(jié)點被配置為發(fā)送模擬數(shù)據(jù)并隨著實驗進程逐漸增加數(shù)據(jù)流量。通過利用Merkle哈希樹算法，將這些數(shù)據(jù)流傳輸至測試平臺，實現(xiàn)對潛在異常數(shù)據(jù)流的自動識別與檢測。

為了模擬真實網(wǎng)絡(luò)環(huán)境的復(fù)雜性和多樣性，本文設(shè)置多種網(wǎng)絡(luò)流量模式并引入不同的異常數(shù)據(jù)流注入場景。同時，為了更精確地評估方法的性能，構(gòu)建多樣化的網(wǎng)絡(luò)拓撲結(jié)構(gòu)，在每種結(jié)構(gòu)下模擬不同數(shù)量和位置分布的異常數(shù)據(jù)源。實驗過程中，共進行2000次的迭代測試，每次迭代均詳細記錄了識別結(jié)果并進行了深入分析。最終，基于這2000次實驗結(jié)果的平均值，作為全面評價基于Merkle哈希樹的通信網(wǎng)絡(luò)異常數(shù)據(jù)流自動識別方法的性能的依據(jù)。為了更全面地驗證該方法的適用性和有效性，建立4個具備不同的維度的數(shù)據(jù)集，如表2所示。

為了驗證本文提出的基于Merkle哈希樹的通信網(wǎng)絡(luò)異常數(shù)據(jù)流自動識別方法的有效性和可信度，選擇徐胤博等［1］基于K-means聚類的艦船通信網(wǎng)絡(luò)異常數(shù)據(jù)檢測方法和田銀磊等［2］基于神經(jīng)網(wǎng)絡(luò)的船舶通信網(wǎng)絡(luò)異常數(shù)據(jù)識別方法進行對比。使用這3種方法對準(zhǔn)備好的數(shù)據(jù)集樣本進行識別。在識別過程中，記錄每種方法對每個樣本的識別結(jié)果，明確標(biāo)注出被識別為正常數(shù)據(jù)流和異常數(shù)據(jù)流的樣本。根據(jù)識別結(jié)果計算每種方法的F1值，公式為：

F1=4TP2TP+FP+FN（8）

式中，TP表示正常數(shù)據(jù)流的實例數(shù)量，F(xiàn)P表示異常數(shù)據(jù)流的實例數(shù)量，F(xiàn)N表示異常數(shù)據(jù)流的識別數(shù)量。F1值越高，說明方法在精確率和召回率上表現(xiàn)得越好。實驗結(jié)果如表3所示。

5.2 實驗結(jié)果分析

根據(jù)表3的F1值實驗結(jié)果，可以看到本文方法在各個數(shù)據(jù)集上的表現(xiàn)均優(yōu)于徐胤博等［1］方法和田銀磊等［2］方法，表明本文提出的基于Merkle哈希樹的異常數(shù)據(jù)流識別方法在實際應(yīng)用中具有顯著的有效性。進一步分析發(fā)現(xiàn)，本文方法在精確率和召回率兩個關(guān)鍵指標(biāo)上均表現(xiàn)出色，能夠精確地區(qū)分正常數(shù)據(jù)流與異常數(shù)據(jù)流并全面覆蓋所有潛在的異常情況，從而實現(xiàn)對通信網(wǎng)絡(luò)異常數(shù)據(jù)流的準(zhǔn)確且全面的識別。特別是在數(shù)據(jù)集4中，本文方法取得了0.93的F1值，充分證明了其在高復(fù)雜度網(wǎng)絡(luò)環(huán)境中的識別能力。此外，通過詳細的數(shù)據(jù)對比和深入的分析，發(fā)現(xiàn)本文方法之所以能夠取得如此優(yōu)異的性能，主要得益于Merkle哈希樹結(jié)構(gòu)的高效驗證機制和嚴格的數(shù)據(jù)完整性保障，具有極高的有效性和可靠性。

6 結(jié)語

在通信網(wǎng)絡(luò)異常數(shù)據(jù)流識別領(lǐng)域，基于Merkle哈希樹的方法以其高效、準(zhǔn)確和可擴展的特性，為網(wǎng)絡(luò)健康運行提供了強有力的保障。通過構(gòu)建Merkle哈希樹，實現(xiàn)了對通信網(wǎng)絡(luò)數(shù)據(jù)的快速檢索和比對，有效識別出異常數(shù)據(jù)流。未來，隨著技術(shù)的不斷發(fā)展，期待該方法能夠在更廣泛的場景中得到應(yīng)用，為網(wǎng)絡(luò)安全貢獻更多力量。

參考文獻

［1］徐胤博，于洋.基于K-means聚類的艦船通信網(wǎng)絡(luò)異常數(shù)據(jù)檢測［J］.艦船科學(xué)技術(shù)，2023（16）：169-172.

［2］田銀磊，劉書倫.基于神經(jīng)網(wǎng)絡(luò)的船舶通信網(wǎng)絡(luò)異常數(shù)據(jù)識別［J］.艦船科學(xué)技術(shù)，2022（17）：148-151.

［3］李淵文，康健，鄭偉，等.基于Merkle哈希樹的電網(wǎng)數(shù)據(jù)隱私防護建模研究［J］.電子設(shè)計工程，2024（11）：160-163，168.

［4］侯立，楊成佳.船舶通信網(wǎng)絡(luò)異常數(shù)據(jù)自動檢測和剔除方法［J］.艦船科學(xué)技術(shù)，2023（19）：173-176.

［5］蔣誠智，徐浩，黃傳鋒，等.基于Merkle哈希樹的異構(gòu)通信網(wǎng)絡(luò)數(shù)據(jù)異常值概率識別算法［J］.兵器裝備工程學(xué)報，2022（6）：190-195，231.

［6］程雅瓊.基于關(guān)聯(lián)規(guī)則的無線通信網(wǎng)絡(luò)異常數(shù)據(jù)檢測方法［J］.長江信息通信，2022（4）：43-45.

［7］林立鑫，喻燕華，涂劍峰.基于改進KNN算法的網(wǎng)絡(luò)數(shù)據(jù)流異常識別方法［J］.信息與電腦（理論版），2023（8）：108-110.

［8］應(yīng)依依，馮巖星，聶開勛.基于多方云計算的網(wǎng)絡(luò)數(shù)據(jù)流異常識別方法［J］.電信快報，2023（4）：41-44.

（編輯 沈 強）

Automatic identification method for abnormal data flow in communication networks based on Merkle hash tree

SUN" Shuyao

（Information Center of National Radio and Television Administration， Beijing 100866，China）

Abstract： In order to solve the problem that the performance of the identification model of communication network is degraded and the F1 value is low under the high proportion of abnormal data， an automatic identification method of abnormal data flow in communication network based on Merkle hash tree is designed. The data stream of communication network is preprocessed to eliminate noise and redundant information. By setting a reasonable threshold to compare the abnormal scores， the key abnormal data flow characteristics are extracted. Using Merkle hash tree， an efficient abnormal data identification model is established. The model effectively transmits information between levels through the connection mechanism of hash tree nodes， and realizes the automatic identification of abnormal data flow in the communication network. The experimental results show that， compared with the traditional methods， the Merkle hash tree based method for automatic identification of abnormal data flow in communication network performs better on each data set， especially in data set 4， which achieves an F1 value as high as 0.93， which proves the accuracy and reliability of this method for identification of abnormal data flow in communication network， with almost no omission.

Key words： Merkle hash tree; communication network; hash tree nodes; abnormal data flow; automatic recognition