基于深度強化學習的無線傳感器網絡分簇算法

摘要：：鑒于無線傳感器網絡中拓撲頻繁變動挑戰分簇穩定性，引發數據傳輸冗余與能耗激增，文章提出基于深度強化學習的分簇算法。該算法融合能量、位置與密度因素，利用深度強化學習結合傳感器能量模型，精準聚類節點并優化簇間路徑，實現高效分簇策略。仿真驗證顯示，相較于對比方法，該算法顯著提升網絡生存時間約40%，能夠有效遏制能耗，顯著延長無線傳感器網絡的生命周期，展現了其在復雜環境中的優越性能與實用價值。

關鍵詞：深度強化學習；無線傳感器；網絡分簇；節點信任度；數據聚類

中圖分類號：TN711" 文獻標志碼：A

0 引言

無線傳感器網絡作為由眾多靜態或移動傳感器節點構成的自組織多跳網絡，核心在于協作感知、收集、管理及傳輸覆蓋區域內數據至指定接收者^［1］。然而，該體系面臨功率受限、網絡干擾、數據冗余及系統動態性不足等顯著挑戰^［2］。為此，王珊等^［3］提出基于競爭神經網絡的無線傳感器網絡分簇算法，模擬生物競爭過程選取簇頭，有效延長了網絡壽命，但其對網絡狀態變化的適應性及穩定性有待提升。張慧娟^［4］提出無線傳感網絡中基于Dijkstra算法的分簇路由方法，依據剩余能量、距離與擁塞狀態決策簇頭與路徑，雖力求能耗均衡，卻受限于負權邊問題，影響路徑優化精度。朱麗華等^［5］提出基于聚合層次聚類的無線傳感器網絡分簇算法，實現了根據數據集特性自適應分簇，雖靈活性增強，但層次聚類結果的非直觀性增加了網絡管理的復雜度。鑒于上述研究的局限，本文提出了基于深度強化學習的無線傳感器網絡分簇算法，通過智能體自主學習的方式，實現網絡節點的自組織、自優化和自適應，減少能量消耗，延長網絡生命周期。

1 基于深度強化學習的無線傳感器網絡分簇算法設計

1.1 構建無線傳感器能量消耗模型

無線傳感器網絡作為一種層次結構網絡，由一個高級節點和多個普通節點組成，所有具備唯一ID編號的節點均隨機部署在靜態監測區域^［6］，具體結構如圖1所示。

通過分析圖1可以發現，整個無線傳感器的能量消耗主要由各個節點接收發送數據能耗和高級節點數據融合能耗組成。本文分別對上述能耗進行計算，公式如下：

A=bEelex+bc2blt;b0

bEelex+bc4b≥b0

D=bEelex

F=cEelex（1）

其中，A為數據發送時的能耗；D為數據接收的能耗；F為數據融合能耗；b和b0分別為節點間距和用于轉換數據在傳輸時所采用的空間損耗模型的距離閾值；Eelex為節點發送或接收單位比特數據的能量消耗；c為發送的數據量。將上述計算結果相加，得到無線傳感器的全部能耗g，當blt;b0時，為自由空間能量消耗模型，b≥b0時，則為多路徑衰落能量消耗模型。

1.2 確定無線傳感器網絡簇頭

計算傳感器節點適應度函數的過程中須要優先對其進行計算，傳感器節點的能量等級計算公式如下：

λ=Q-QminQmax-Qmin

Q=-（A+D+F）（2）

其中，λ為傳感器節點的能量等級；Qmax和Qmin分別為當前輪數型無線傳感器網絡節點匯總剩余能量的最大值和最小值；Q為節點當前剩余能量；為節點初始能量。

完成能量等級計算后，對節點分布位置和節點密度進行分析，兩者的計算公式為：

β=i（x，y）∑i=1i（x，y）/i（x，y）max+i（j，y）

δ=mxn（3）

其中，β為節點分布位置因子；i（x，y）為節點x與基站y之間的距離；i（j，y）為簇頭節點j與基站y之間的距離；δ為節點附近網絡范圍內的密度因子；m為節點x附近節點數目；n為整個無線傳感器網絡中的節點數。

由于能量等級越高、節點分布位置因子和節點密度因子越大，所對應的節點剩余能量越多、通信距離越短、附近節點越多。因此，本文結合相對應權值，得出傳感器節點適應度函數，計算公式如下：

=ηλ+εβ+μδ（4）

其中，為傳感器節點適應度函數；η為能量等級的權重系數；ε為節點分布位置因子的權重系數；μ為節點密度因子的權重系數，3個權重須同時為正數且相加和為1。計算不同編碼的傳感器節點的適應度函數，選擇其中最大的一個節點作為無線傳感器網絡簇頭。

1.3 基于深度強化學習的無線傳感器網絡節點聚類

選定簇頭利用載波監聽多路訪問（Carrier Sense Multiple Access，CSMA）協議廣播簇頭身份，節點依據信號強度加入簇群。初步分簇后，通過能量消耗模型篩選，排除多路徑衰落高能耗節點，僅保留自由空間能耗節點作為輸入，進一步應用深度強化學習算法模型進行精細聚類，以優化能量利用率，確保分簇結果高效節能。算法模型會根據能量消耗模型的計算結果，計算不同節點對應的相關通信次數，公式為：

H=0.2gαx（5）

其中，H為節點對應的相關通信次數；α為x節點的大小。此時深度強化學習模型會根據通信次數，對距離簇頭節點的位置、能量狀態、數據傳輸量等環境進行感知，將環境信息更改為高維度的特征向量，輸入模型的策略學習模塊。強化學習模型基于狀態信息輸出行動函數，該函數綜合能量消耗與傳輸效 率，最大化長期回報。策略學習模塊據此選擇節點存留或排出，游離節點與排出節點由智能體重新分配至相似函數值簇群。智能體持續監測網絡狀態變化，收集能耗、傳輸延遲等反饋，用于更新狀態感知。通過迭代優化，模型逐步學會根據網絡狀態動態調整最優節點聚類策略。

1.4 規劃最優簇間路徑

為優化無線傳感器網絡分簇，規劃簇間最優路徑，確保能量均衡消耗。簇頭節點選擇下一跳時，優先連接未被其他簇頭選中的節點，以優化路徑規劃。此路徑推演的目標函數表達式為：

w=A+DH（6）

其中，w為路徑推演的目標函數，選取該函數對比結果最大的對應節點作為下一跳節點。重復簇間節點跳躍過程至完成，考慮能量限制，增設高目標函數路徑確保數據完全傳輸。監控路徑狀態，動態調整流量分配，平衡負載，優化傳輸效率。

2 仿真測試

2.1 測試準備

為驗證基于深度強化學習的無線傳感器網絡分簇算法，本文對該算法進行仿真測試。使用Simulink仿真軟件對無線傳感器網絡進行模擬，輸入合理的節點數量、通信半徑等參數，以此模擬真實環境下的無線傳感器網絡節點行為，具體網絡仿真模擬參數為：設定300 m×300 m的仿真區域，部署100個節點，每節點初始能量50 J，數據包長度為4000 bit。采用深度強化學習算法進行優化，設置進化次數為20次，變異概率為0.1，交叉概率為0.6，旨在通過算法迭代尋找最優網絡配置，以提升數據傳輸效率與網絡性能。

在仿真環境中部署無線傳感器網絡，采用深度強化學習、層次分析法及競爭神經網絡算法進行分簇，記錄通信、傳輸與能耗過程，分析網絡結構。多輪測試對比死亡節點數與生存時間，評估分簇算法優劣。

2.2 測試結果

將基于3種不同算法分簇的無線傳感器網絡測試結果進行歸納總結，在數據完全傳輸的情況下，多輪能量剩余情況以及網絡生存時間的實驗結果數據如圖2所示。

分析圖2可知，深度強化學習分簇算法較層次分析法與競爭神經網絡算法顯著降低能耗，延長網絡生存時間約40%，至2500輪時仍保留15 J能量。研究算法在復雜環境中展現優異性能，通過自學習優化分簇策略，高效分配資源，減少數據冗余與沖突，降低能耗，增強網絡穩定與可靠性，顯著延長生命周期。

3 結語

本文對基于深度強化學習的無線傳感器網絡分簇算法展開設計與分析，通過大量的數據訓練模型來 實現智能決策，能夠適應復雜多變的網絡環境，減小拓撲管理難度，提高可擴展性。同時通過自動調整選擇適合的簇頭節點，減少了節點之間的通信距離。未來，隨著異構無線傳感器網絡融合技術的發展，研究算法將逐步應用于多類型、多模態的傳感器網絡中，實現更高效的數據融合和協同處理。

參考文獻

［1］許知博，段新.考慮網絡吞吐量的異構無線傳感器網絡分簇路由算法［J］.沈陽工業大學學報，2022（3）：326-330.

［2］吳子敬.基于競爭神經網絡的無線傳感器網絡非均勻分簇算法［J］.齊齊哈爾大學學報（自然科學版），2023（5）：1-6.

［3］王珊，梁敏，路芳瑞，等.一種基于AHP的無線傳感器網絡分簇路由算法［J］.火力與指揮控制，2023（9）：77-81，91.

［4］張慧娟.無線傳感網絡中基于Dijkstra算法的分簇路由［J］.火力與指揮控制，2022（2）：134-139，145.

［5］朱麗華，陳心怡.一種改進的無線傳感器網絡分簇路由協議算法分析［J］.集成電路應用，2023（3）：11-13.

［6］李婧，侯詩琪.環境感知的自適應深度強化學習路由算法［J］.計算機工程與設計，2023（11）：3230-3237.

（編輯 王雪芬編輯）

Wireless sensor network clustering algorithm based on deep reinforcement learning

XIAO" Xiang

（Fujian College of Water Conservancy and Electric Power， Yongan 366000， China）

Abstract：" In view of the frequent topology changes in wireless sensor networks challenge the stability of clustering， which leads to data transmission redundancy and energy consumption surge， a clustering algorithm based on deep reinforcement learning is proposed. By integrating energy， position and density factors， deep reinforcement learning combined with sensor energy model is used to accurately cluster nodes and optimize inter-cluster paths to achieve efficient clustering strategies. Simulation results show that compared with the comparison method， the research algorithm can significantly improve the network lifetime by about 40%， effectively curb energy consumption， and significantly extend the life cycle of wireless sensor networks， demonstrating its superior performance and practical value in complex environments.

Key words： deep reinforcement learning; wireless sensor; network clustering; node trust degree; data clustering