機器學習技術在地質災害監測設備故障排查通信網絡阻塞控制中的應用

摘要：隨著機器學習技術的發展，機器學習算法已在解決許多領域的復雜問題中取得了顯著的成果，包括金融、醫療、交通和零售等領域。在網絡阻塞控制中，基于機器學習的計算模型可為復雜通信網絡的阻塞控制提供一個新的解決方案。與基于規則的傳統擁塞控制算法相比，機器學習方法能從歷史經驗中進行學習并做出預測決策，其表現優于傳統方法。本文首先對機器學習在網絡阻塞領域的應用進行梳理，之后重點探討了其在地質災害監測設備故障排查通信網絡阻塞控制中的應用及挑戰，最后對基于機器學習的網絡阻塞方法的應用前景進行了展望。

關鍵詞：通信；機器學習；阻塞控制；復雜通信網絡

一、引言

隨著數據中心、WiFi、5G、6G和衛星通信等應用的發展，網絡阻塞成為普遍問題。其會導致網絡性能低下，影響通信速度和可靠性。網絡擁塞控制（CC）是提高傳輸效率的重要技術，通過監控和調整網絡狀態以保持網絡暢通。網絡擁塞時，通過減少數據傳輸量來避免丟包和延遲，通常在網絡層或傳輸層實現。互聯網傳輸協議是基于分組交換的最優轉發，端到端控制為應用程序提供可靠服務[1]。當主機通過網絡發送過量數據包時，需進行CC以提高網絡吞吐量，同時避免過載導致的數據丟包，并確保端到端會話的公平性。傳統CC算法分為兩種類型：端到端（End-to-End）型網絡 CC和網絡輔助（Network-Assisted）型網絡 CC。

在端到端擁塞控制領域，有多種研究關注TCP協議在無線網絡中對丟包原因的識別策略。同時，一些研究團隊專注于多跳無線網絡（Ad-Hoc）的傳輸層最佳端到端速率和MAC層鏈路速率的聯合控制問題。新的集體擁塞控制范式（C3）也被提出，旨在改進網絡性能。此外，基于UDP的傳輸方法也被開發，以提高鏈路的峰值利用率。研究人員還探討了TCP擁塞控制中競爭窗口的影響，以及基于光纖－無線網絡虛擬化模型的新算法。動態時間窗口擁塞控制方法和自適應服務質量感知的路由算法也是研究的焦點。從控制理論角度，支持IP的無線網絡的擁塞控制策略正在被設計和優化。一些團隊還提出了結合動態負載平衡、多路徑和擁塞控制的新網絡控制方法。另外，網絡擁塞控制的流體流模型也在不斷被重新設計，以適應不同的網絡環境和需求。這些進展表明，雖然傳統的擁塞控制算法針對特定場景和協議設計，但它們的實時性、普適性和魯棒性仍需進一步優化。

近年來，基于機器學習（ML）的network-assisted型網絡CC算法為不同場景提供解決方案。機器學習（Machine Learning，ML）是人工智能的一個分支，通過數據特征提取學習實現分類、聚類和預測。ML在CC中的應用包括監督學習（Supervised Learning，SL）、非監督學習（Unsupervised Learning，UL）和強化學習（Reinforecement Learning，RL）。SL在網絡擁塞數據集上訓練，用于預測實時管理擁塞的最佳行動。UL從無標記數據中學習，識別流量模式以預防擁塞。RL通過試驗和獎懲學習控制擁塞的最佳行動，在網絡模擬上訓練算法進行擁塞管理。

基于此，本文首先對ML 在 CC 領域的應用進行了梳理及總結。這些算法被應用在了多種復雜的網絡中，如物聯網（Internet of Things，IoT）、數據中心，以及衛星通信等。接著，本文重點探討了ML技術在地質災害監測設備故障排查通信網絡阻塞控制中的應用，包括潛在的應用場景和技術挑戰。最后，對ML在網絡CC中的未來發展趨勢和面臨的挑戰進行了總結，旨在為地質災害監測設備故障排查通信網絡阻塞控制的進一步研究提供有益借鑒。

二、 基于機器學習的網絡擁塞控制算法

基于 ML 的網絡 CC 方法主要分為基于 SL 的網絡 CC 方法、基于 UL 的網絡 CC 方法和基于 RL 的網絡 CC 方法等。

（一）基于監督學習的網絡擁塞控制算法

傳統網絡CC算法基于數據包丟失或延遲來間接檢測擁塞。相比之下，基于SL的網絡CC算法通過分析歷史和當前網絡狀態（如數據包間隔、延遲等）來預估擁塞。這依賴于網絡狀態的時間序列特性，即未來的狀態可由過去狀態來預測?；赟L的CC方法在預測隊列長度方面表現出色，其通過樣本訓練獲得最優模型，并利用此模型將輸入映射到輸出，進行判斷。SL技術可用于數據分類，常見方法包括決策樹（Decision Tree，簡稱DT）、隨機森林（Random Forest，簡稱RF）、貝葉斯（Bayesian）方法和人工神經網絡（Artificial Neural Networks，簡稱ANNs）。

1.基于決策樹和隨機森林的網絡擁塞控制算法

在網絡擁塞控制算法的研究中，決策樹（DT）技術被用來通過樹狀結構對網絡數據進行預測和決策管理，如利用網絡流量和可用帶寬來管理數據流。同時，隨機森林（RF）算法通過結合多個決策樹來執行分類和回歸任務，以預測網絡中的擁塞情況。在5G網絡中，一種優化的基于DT的模型已被開發并應用于改善擁塞控制效果。一種結合卡爾曼濾波和梯度增強決策樹（GBDT-KF）的新算法也被提出，目的是提升GBDT算法的性能。此外，一個基于DT的擁塞控制算法選擇系統SCASys亦被設計出來，用于更有效的擁塞管理[2-3]。

2.基于貝葉斯的網絡擁塞控制算法

隨著實時視頻和無線網絡技術的發展，實施有效的實時擁塞控制變得至關重要。大多數現有的擁塞控制算法在面對需要低延遲的流量時表現不佳，特別是在信道容量頻繁變動的情況下。為了改善這一狀況，一種新型的基于學習的擁塞控制方法被開發出來，專門用于無線網絡中實時視頻通信的擁塞管理。這種方法利用概率密度估計和貝葉斯定理來適應信道容量的變化，目的是提升網絡的利用率和吞吐量[4]。

同時，在物聯網（IoT）環境中，針對無線和有線信道中數據包丟失問題，一種基于樸素貝葉斯的新型擁塞控制策略被提出。這種策略通過區分丟包類型，提供了高速、高準確性和高穩定性的擁塞管理解決方案。這些創新表明，在現代網絡環境下，擁塞控制策略必須具備高度的適應性和智能化特征[5]。

3.基于人工神經網絡的網絡擁塞控制算法

研究人員對TCP協議及自適應有限時間內擁塞控制的AQM（主動隊列管理）問題進行了深入研究。通過結合漏斗控制、神經網絡和滑?？刂萍夹g，提出了一種新型的AQM算法[6]。這種算法能夠確保誤差在有限時間內收斂，并進行了穩定性分析，證明了閉環系統信號是有界的。另一項研究為命名數據網絡及其自適應擁塞控制協議（Adaptive Congestion Control Protocol，ACCP）開發了一種基于深度信念網絡的方法。該方法分兩個階段：第一階段是用深度學習預測節點擁塞源，第二階段是根據路由器結果和平均隊列長度估計網絡擁塞，調整發送速率以實現CC。該方案可在多源、多路徑情況下提高信道利用率和減少丟包[7]。

（二）基于非監督學習的網絡擁塞控制算法

當數據類別未知時，需要根據樣本之間的相似性對樣本集進行聚類，以最小化類內差距，最大化類間差距，這時就會用到 UL 技術。在某些情況下，網絡信息不能完全被提供，訓練數據沒有被提前標記， 基于 UL 技術的聚類方法在網絡 CC 的應用主要是基于K-means、分層聚類（Hierarchical Clustering， HC）和其他 UL 技術，如基于密度的均值轉移（Density-Based Mean Shift， DBMS）、基于密度的聚類算法（Density-Based Spatial Clustering of Applications with Noise，DBSCAN）和基于期望最大化（Expectation Maximization， EM） 等。

1.基于 K-means 的網絡擁塞控制算法

K-means是一種非監督聚類方法，其能夠將數據分為K個類別。但此方法對初始中心選擇較為敏感。為了優化這一點，有研究者結合了Map Reduce框架，開發了一種改進的K-means算法。這種算法特別適用于識別網絡中的重流量問題，有助于更好地管理網絡流量和減輕擁塞。此外，該方法也被用于大規模網絡流量的聚類，通過有效地分類和管理網絡資源，以緩解網絡擁塞。在數據中心，K-means聚類方法被應用于TCP連接問題的節點分組。這種分組有助于簡化數據處理流程，減少網絡中的阻塞現象。

2.基于分層聚類的網絡擁塞控制算法

在網絡管理和擁塞控制領域，一種基于模糊邏輯的跨層機制被開發出來。該機制結合了對立人工蜂群協議，用于管理網絡擁塞并整合媒體可及性和基于節能的分層路由策略，有效地提升了網絡的壽命和能效。這種方法不僅有效控制了擁塞，還實現了節能和可靠的數據傳輸[8]。在邊緣計算系統中，針對IoT應用，一種基于分層聚類的家庭邊緣計算集群平衡方法被提出，通過在集群中分層處理請求，有效減少了網絡擁塞和延遲，實現了更加高效的網絡阻塞控制[9]。

（三）基于強化學習的網絡擁塞控制算法

基于RL的方法包括價值函數和策略函數。價值函數通過評估網絡狀態下行動的價值，決定行動的選擇。策略函數根據規則集選擇行動。在每次迭代中，系統按策略選擇行動并提供反饋，價值函數計算行動價值并更新?；诓煌臋C制，RL 算法被分為基于價值的方案和基于策略的方案。典型的基于價值的方案包括 Q 學習（Q-learning，QL）和深度 Q 學習（Deep Q-learning，DQL）?；诓呗缘姆桨赴ú呗蕴荻确ǎ≒olicy-Gradient，PG）、演員和評價算法（Actor-Critic，AC）、近端策略優化算法（Proximal Policy Optimization，PPO）和深度確定型政策梯度（Deep Deterministic Policy Gradient，DDPG）等?；趦r值的方案和基于策略的方案之間的區別是，基于策略的方案估計行動的策略，以及它們是否能滿足不同行動的場景，而基于價值的方案直接預測行動的價值。

1.基于 Q 學習的網絡擁塞控制算法

在網絡擁塞控制（CC）的創新研究中，一種結合了強化學習（RL）和深度學習技術的智能轉發策略被提出，特別適用于未來的網絡架構。該策略采用了長短期記憶（LSTM）模型和Q學習（QL）技術，旨在提高數據接收率并減少數據包的丟失[10]。同時，QL算法也被應用于移動設備網絡和有線網絡中，以改善這些網絡環境的擁塞控制[11]。

2.基于深度 Q 學習的網絡擁塞控制算法

一種自適應的I/O擁塞控制框架被開發出來。該框架融合了基于反饋的動態I/O擁塞控制與深度Q學習的參數調優技術，實現了自動化的I/O擁塞管理[12]。在應對特定網絡場景，如有人和無人機載網絡的挑戰時，一種基于深度Q學習的模型被用來優化無人飛行器的安置問題，以提高網絡性能[13]。

3.基于策略梯度法的網絡擁塞控制算法

在數據中心網絡擁塞控制領域，一種基于RL的算法被設計出來，特別是采用了分析性去極端化策略梯度（PG），以應對擁塞控制中的復雜挑戰[14]。此外，還有研究提出了一個基于深度強化學習的控制框架。該框架通過一個單一的代理，動態聯合控制多路徑TCP流量，旨在優化整體網絡效用，同時保持流量的公平性[15]。

4.基于演員和評價算法的網絡擁塞控制

在網絡擁塞控制問題上，設計了一種基于演員－評價者（AC）的強化學習（RL）模型。該模型通過將遺傳算法整合到擁塞控制策略中，有效地發現并預防網絡中的擁塞問題[16]。受機器學習在在線控制領域成功應用的啟發，該模型采用了一個結合集中學習與分布式執行的框架，并提出了一種多代理演員－評價者RL算法。在這種算法中，集中式的“評價者”使用全局網絡狀態和所有代理的聯合行動來強化訓練過程，從而有效減輕了訓練負擔[17]。

三、機器學習在地質災害監測設備故障排查通信網絡阻塞控制中的應用

地質災害監測設備故障排查通信在網絡阻塞控制方面的應用面臨重大挑戰。系統通過物聯網連接偏遠地區的多個設備，常受網絡延遲和數據實時性問題的影響。機器學習技術為此提供了創新解決方案，但需面對包括網絡環境動態性、數據丟失與延遲檢測、計算復雜性、存儲需求、模型收斂、兼容性、公平性及參數選擇等諸多挑戰。機器學習方案能夠基于實時網絡狀態做出決策，適應動態復雜的網絡環境。盡管監督學習和非監督學習技術在網絡阻塞控制中用于估計網絡狀態或進行網絡流量分類，但這些方法多為離線訓練，難以實時處理網絡擁塞。與此相對，強化學習以其在線學習能力，在處理網絡擁塞問題方面顯示出更大的優勢。ML 可以用來應用一些挑戰。一個重要的挑戰是如何有效地預測和控制網絡阻塞。另一個挑戰是如何有效識別和應對網絡阻塞。基于 ML 的方案是依據實時網絡狀態來做出控制決策的，而不是使用預定的規則，這使得它們對具有動態性和復雜性的網絡場景有更好的適應性。調研發現，SL 和 UL 的學習技術在網絡 CC 中主要用于估計網絡狀態，如通過對擁塞信號、隊列長度或網絡流量進行分類，以識別具有潛在阻斷風險的流量。然而，這些方案大多是通過離線訓練的，不能實時對現實中的有線或無線網絡擁塞損失進行分類。而RL具有更強的在線學習能力，在處理具有動態和復雜狀態空間的網絡中的現實擁塞方面則有更多優勢。目前，基于 ML 的網絡 CC 的研究主要集中在基于 RL 的方案上。

然而，基于 ML 的 CC 仍處于起步階段，其主要面臨以下幾個挑戰：

第一，目前基于 ML 的 CC 算法主要側重于端到端的 CC，而不是網絡輔助的 CC。大多數基于學習的 CC 算法通過調整擁塞窗口（CWND） 來控制發送速率，而不是直接調整發送速率。因此， 突發性仍然是高速網絡中的一個問題，當多個 ACK 到達時，CWND 會急劇增加。

第二，目前基于 ML 的CC 仍無法繞開高計算復雜性的問題。對于 SL 技術， 預測精度可以相當可觀，但伴隨而來的計算復雜性也很高。而基于 RL 的 CC 算法的復雜性導致了行動和獎勵的延遲，計算由于時間上的開銷而不適合現實的網絡。在現實網絡中，基于 RL 的 CC 算法的實施表明，其效率并不像想象中的那樣高。智能學習決策不能足夠快，影響了這些方案的可行性。

第三，需要考慮高內存消耗。基于 RL 的 CC 算法的訓練需要相當大的存儲空間，特別是對于連續的網絡環境。為了實現高效的訓練過程，需要通過使用復雜的神經網絡表示狀態動作空間，需要具備處理連續網絡環境的強大能力，即對狀態動作空間進行抽象，并獲得代表性數據。

第四，基于 ML 的 CC 算法不能總是避免過度擬合和欠擬合問題。對于基于 ML 的 CC 算法來說，其訓練過程既耗時又耗資源，需要大量的訓練數據來保證性能。

第五，在現實網絡中的模型收斂不能總是得到很好的保證。考慮到具有多個神經網絡的復雜算法，模型可能很難達到收斂的目的。目前的 RL 算法提出了不同的方法來促進收斂，然而在現實網絡中的實際效果仍有待研究。

第六，解決兼容性問題仍有很長的路要走。目前，基于ML 的 CC 算法經常被用作控制擁塞的內置組件或獨立控制器，但若將整個網絡擁塞看成一個整體，那么仍需考慮基于 ML 的 CC 算法和傳統 CC 算法之間的兼容性問題。

第七，基于 ML 的 CC 算法在實際復雜網絡場景中的公平性不能得到較好的保證。因為基于 ML 的 CC 算法的性能依賴于訓練好的模型和網絡環境的反饋，當基于 ML 的 CC 算法與其他算法競爭流量時，基于 ML 的 CC 算法能夠感知其他算法引起的流量波動并采取適當的行動，而這些行動可能會影響流量的公平性。

第八，參數選擇對性能影響很大，尤其是 RL 算法，狀態空間、行動空間、獎勵設計和其他與算法結構有關的參數都需要仔細考慮?？赡茉谝粋€基于 RL 的 CC 算法中，吞吐量和 RTT 被用來計算獎勵，但在另一個算法中，又以吞吐量、丟包率和延遲來計算獎勵，不同的參數選擇對結果的影響差別較大。對 SL 而言，預定義參數決定了影響 CC 性能的潛在分類錯誤。而對于 UL 算法，諸如聚類組的數量和初始聚類中心等參數影響最終的聚類結果。

四、結束語

本文對機器學習在網絡阻塞控制中的應用進行了梳理，探討了ML 方法在網絡 CC 領域的應用和挑戰。在 ML 方法中，RL 比 SL 式和UL 式學習更適用于網絡 CC。雖然，在地質災害監測設備故障排查通信網絡阻塞控制這個現實場景中仍有許多復雜的挑戰，且主要集中在與現實復雜網絡相關的問題上，如參數選擇、高計算復雜性、高內存消耗、低訓練效率、難收斂、不兼容和公平性等，但是，基于 ML 的網絡 CC 方法，尤其是 RL 方法，由于其能夠處理具有動態性和復雜性狀態空間的網絡擁塞，仍是未來發展的趨勢。

目前，有以下幾個主流研究方向有待進一步探索：首先，目前大多數基于學習的 CC 算法是基于使用網絡模擬器的模擬，但在現實的網絡通信中面臨的工程類問題對于基于 ML 的 CC 算法也十分重要，因此，在現實的網絡環境中進行模擬將是設計更適用的算法的主要前提。其次，可編程交換機的出現使得基于 ML 的 CC 與之結合成為可能。再次，鑒于學習決策的時間和成本過高，基于輕量級學習的 CC 將是一個重要的研究方向。最后，基于 ML 的大規模差異化動態網絡場景的網絡CC 也有待進一步的探索。總的來說，設計一個能在真實網絡場景中工作的通用 CC 方案仍然是學術界和工業界的主要目標。

作者單位：王雅潔 貴州省分析測試研究院 貴州貴科大數據有限責任公司 貴州科學院

楊鑫 秦梅元 貴州貴科大數據有限責任公司 貴州科學院

楊冰 貴州省分析測試研究院 貴州貴科大數據有限責任公司 貴州科學院

參考文獻

[1]黃韜， et al. “確定性網絡研究綜述.” 通信學報 6 （2019）.

[2] Najm I A， Hamoud A K， Lloret J， et al. Machine Learning Prediction Approach to Enhance Congestion Control in 5G IoT Environment[J]. Electronics， 2019， 8（6）： 607-.

[3] Srinidhi N N. An Improved PRoPHET - Random Forest Based Optimized Multi-Copy Routing for Opportunistic IoT Networks[C]. 2020：100203.

[4] Dai T， Zhang X， Guo Z. Learning-based Congestion Control for Internet Video Communication over Wireless Networks[C]. 2018 IEEE International Symposium on Circuits and Systems. IEEE， 2018.

[5] Chen Y， Lu L， Yu X， et al. Adaptive Method for Packet Loss Types in IoT： An Naive Bayes Distinguisher[J]. Electronics， 2019， 8（2）.

[6] Wang K， Jing Y， Liu Y，et al. Adaptive finite-time congestion controller design of TCP. AQM systems based on neural network and funnel control[J]. Neural Computing and Applications， 2020， 32（7）.

[7] Liu T， Zhang M， Zhu J， et al. ACCP： adaptive congestion control protocol in named data networking based on deep learning[J]. Neural Computing and Applications， 2018.

[8] Kalaikumar K， Baburaj E. Fuzzy enabled congestion control by cross layer protocol utilizing OABC in WSN： combining MAC， routing， non-similar clustering and efficient data delivery[J]. Wireless Networks， 2018.

[9] Babou C S M， Fall D， Kashihara S， et al. Hierarchical Load Balancing and Clustering Technique for Home Edge Computing[J]. IEEE Access， 2020， PP（99）：1-1.

[10] Ryu S， Joe I， Kim W T. Intelligent forwarding strategy for congestion control using Q-learning and LSTM in named data networking[J]. Mobile Information Systems， 2021.

[11] Fakhimi E， Daneshjoo P， Rezaei S， et al. MPTCP Throughput Enhancement by Q-Learning for Mobile Devices[C]. 2018 IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems （HPCC/SmartCity/DSS）.IEEE， 2018.

[12] Cheng W， Deng S， Zeng L， et al. AIOC2： A deep Q-learning approach to autonomic I/O congestion control in Lustre[J]. Parallel Computing， 2021， 108：102855.

[13] Koushik A M， Hu F， Kumar S. Deep ${Q$ -Learning-Based Node Positioning for Throughput-Optimal Communications in Dynamic UAV Swarm Network [J]. IEEE Transactions on Cognitive Communications and Networking， 2019.

[14] Tessler C， Shpigelman Y， Dalal G， et al. Reinforcement Learning for Datacenter Congestion Control [J]. 2021.

[15] Xu Z， Tang J， Yin C，et al. Experience-Driven Congestion Control： When Multi-Path TCP Meets Deep Reinforcement Learning[J]. IEEE Journal on Selected Areas in Communications， 2019， PP （99）：1-1.

[16] Xu T ， Gong L ， Zhang W ，et al. Network congestion control algorithm based on Actor-Critic reinforcement learning model[C]. ADVANCES IN MATERIALS， MACHINERY， ELECTRONICS II： Proceedings of the 2nd International Conference on Advances in Materials， Machinery， Electronics， 2018.

[17] T. Mai， H. Yao， Z. Xiong， et al. Multi-agent actor-critic reinforcement learning based innetwork load balance[C]. Globecom2020.2020.