無人機集群編隊自主協同控制方法綜述?

高甲博 肖 瑋

（陸軍勤務學院 重慶 401331）

1 引言

無人機憑借其成本低、適應性強、靈活性高等優點得到廣泛應用，隨著應用領域不斷擴展，無人機執行任務的難度和復雜度也日益增加［1］。為此，科研工作者將目光投向了無人機集群領域。無人機集群［2］是指將多個無人機按照一定的結構、模式進行組合，通過協調控制使其具備群體自主感知、自主決策和自主行動能力［3］，能夠完成單一無人機難以完成的任務，如戰場滲透［4］、遠程偵察［5］、電子干擾［6］等。無人機集群編隊控制是集群實現整體效能最優化的重要基礎。目前，在實際應用中主要的兩種控制方法是：一種是依據控制目標任務提前設計固定控制策略，集群內各個無人機按照預先設計的控制策略進行編隊；另一種是通過遠程遙控實時發送控制指令，集群內無人機按照指令實現無人機集群編隊。這兩種控制方法都較為成熟，但難以滿足無人機集群在場景復雜導致的環境不確定、局部可觀導致的信息不完全、狀況突發導致的響應強實時等新領域應用發展中的需要。所以，亟需探索一種適應新領域應用場景的無人機集群編隊控制方法。

隨著智能控制的不斷發展，自主協同控制的方法打破了這一瓶頸，該方法是通過集群內無人機之間的協同感知、自主決策、相互配合，求得目標任務的最優解，能夠有效提高無人機集群編隊控制的自主性，充分發揮集群內無人機之間的協作能力，實現“1+1>2”的效果。為此，探索無人機集群編隊的自主協同控制方法，實現自主靈活高效的無人機集群編隊控制，對進一步提高無人機集群執行復雜高難度任務的能力，拓展加深其應用領域，具有十分重要的學術研究價值和現實應用意義。

2 無人機集群編隊自主協同控制方法研究現狀

無人機集群編隊自主協同控制方法包括多種，按照其控制通信拓撲結構不同，主要分為集中式和分布式兩大類［7］。集中式［8］由控制中心向被控節點發送控制指令和編隊信息，同時接受被控節點的狀態信息，實現對無人機集群編隊的控制。該類型優點是形成編隊隊形精度高，控制速度快，算法設計簡單，缺點是對控制中心計算和通信速度要求高，魯棒性較差，難以實現大規模的集群控制。分布式［9］集群內不存在控制中心，各節點只需與鄰居節點交換信息，通過節點之間的相互協作實現無人機集群編隊的控制，優點是去中心化，魯棒性較高，適應復雜動態的應用環境，可控無人機規模較大，缺點是算法設計復雜，通信時限要求高，存在誤差疊加，形成的編隊隊形精度不高。

2.1 集中式控制類型

集中式控制類型主要包括領航者-跟隨者方法、虛擬結構法等。

1）領航者-跟隨者方法（Leader-follower Method），又稱長機-僚機法。該方法是目前無人機集群編隊控制中最常用的控制方法之一，其基本思想是集群內領航者自主飛行，跟隨者接收領導者的控制指令調整自身運動參數，以維持在編隊中相對位置，同時反饋自身信息給領航者集中處理，從而實現編隊控制，如圖1 所示。該方法的算法設計較為簡單，形成編隊隊形精度較高，通過領航者實現信息共享，有效解決信息不完全導致的控制困難，但對領航者依賴過大，編隊整體魯棒性不足，并對領航者的通信和運算能力要求較高，難以應對環境不確定的復雜場景下的大規模集群控制。

圖1 領航者-跟隨者方法

領航者-跟隨者方法在實際應用中并不單獨使用，一般與其他控制方法結合應用。文獻［10］為跟隨者設計自適應神經網絡，使得跟隨者能夠預測領航者的動作，提高了系統的瞬態控制性能。文獻［11］采用內外環的編隊控制方法，外環通過領航者-跟隨者實現多無人機協同飛行，內環設計一種優化的主動抗擾系統，使得輕型無人機能夠克服外部環境風力的影響實現穩定飛行。文獻［12］引入貪婪算法、基于行為的方法和虛擬結構法，將目標隊型中leader和follower的區域劃分并分布計算，提高了無人機集群編隊的魯棒性和穩定性。文獻［13］將領航者-跟隨者方法進行集成，設計出基于多智能體系統的新型無人機集群編隊控制方法，該方法可隨機指定領航者，彌補了領航者-跟隨者方法中對唯一領航者依賴性過大的不足，提高了編隊的魯棒性。

2）虛擬結構法（Virtual Structure Method）。該方法最早由美國加利福尼亞大學Lewis［14］等提出，其基本思想是將無人機集群編隊看成是一個虛擬剛體，在編隊中設定一個虛擬中心為參考點，所有無人機根據參考點信息調整自身飛行狀態和坐標位置，以形成和保持虛擬剛體的編隊隊形［15］，如圖2 所示。該方法可以克服長機毀壞帶來的編隊混亂這一缺陷，魯棒性較高，但要求無人機的運動必須是剛性運動，在外部擾動和無人機間氣動因素影響下，無人機對虛擬點的追蹤較為困難。

圖2 虛擬結構法

針對上述問題，相關學者對該方法進行改進。文獻［16］把同步位置跟蹤控制器并入無人機集群編隊控制器中，改善了無人機的跟蹤效果，加快了編隊的收斂速度。文獻［17］將無人機和編隊虛擬結構的姿態控制系統分開設計，同時考慮參數不確定性和外部干擾，設計時變滑?？刂扑惴?，并通過數值模擬說明所提策略的有效性。文獻［18］采用基于虛擬結構法的非線性魯棒無人機集群編隊控制方法，通過對在慣性坐標系下虛擬剛體光滑軌跡的生成設計，以及在虛擬剛體坐標系下的無人機編隊隊形控制設計來實現無人機集群編隊的形成、保持和變換，并針對飛行時集群內無人機之間的氣流擾動問題，設計基于高階滑膜算法的魯棒控制算法，提高了控制精度和穩定性。

2.2 分布式控制類型

分布式控制類型主要包括人工勢場法、基于行為的方法、一致性理論、深度強化學習的方法等。

1）人工勢場法（Artificial Potential Field Method）。其基本思想借鑒了物理學中勢場概念，為集群內無人機設計勢場函數，在感知范圍內，依據無人機之間相鄰距離設置排斥區、保持區、吸引區，排斥區內相鄰無人機會受斥力拉大距離，保持區內無人機控制參數保持不變，吸引區內相鄰無人機受引力縮小距離，通過勢場力使得每架無人機收斂到期望位置，從而保持編隊隊形，如圖3 所示。該方法在設計上較為簡單，集群內無人機自主性、協同性較好，能夠實現不確定環境下較大規模的集群控制，并滿足響應強實時的要求，但容易存在局部極值，閉環系統穩定性證明較為困難，不易形成精度較高的編隊隊形。

圖3 人工勢場法

該方法一般與其他方法結合使用，主要在解決局部極值和提高系統穩定性上進行改進。文獻［19］采用虛擬結構法在三維空間中設立編隊參考點和目標參考點，再通過人工勢場作用下使得無人機集群形成期望編隊隊形，有效克服人工勢場法容易陷入局部極點的缺陷。文獻［20］針對固定翼無人機轉彎和最小空速必須為正的約束，提出一種非對稱的局部勢場法，并借助領航者-跟隨者框架，使跟隨者的空速和航向角收斂至其領航者的空速和航向角。文獻［21］在人工勢場法的基礎上，提出一種分叉勢場法，通過對十架無人機隊形變換的仿真結果分析，系統的穩定性明顯提高。

2）基于行為的方法（Behavioral Method）［22］。其基本思想是定義無人機集群形成編隊所需的幾種基本控制行為，如碰撞避免、障礙回避、目標獲取、隊形保持［23］等，通過距離、視覺、速度等傳感器采集無人機集群狀態信息，依據狀態信息對各基本控制行為進行加權求和［24］，即對每個基本控制行為分別求出控制量，進而對這些控制量做加權平均，求得綜合控制指令，各無人機執行機構按照綜合控制指令執行各個基本控制行為，從而實現無人機集群編隊，如圖4 所示。該方法優點是實時控制良好；集群內無人機行動較為靈活，能夠發揮無人機之間的自主性和協同性，在因局部未知導致的信息不完全和不確定環境中能實現集群的有效控制，形成編隊魯棒性較好。缺點是在確定整體行為時，各基本行為權重調節較難，不利于隊形穩定，集群的智能性和行為庫的大小成正比。

圖4 基于行為的方法

當前文獻主要在行為庫的設計和加權量的計算上進行研究。文獻［25］中利用優化算法對加權量進行了優化配比，取得了較好的控制效果。文獻［26］提出了一種基于鴿群行為機制的多無人機編隊控制方法，模仿鴿群特有的層級行為建立鴿群行為機制模型，通過設計基于鴿群行為機制的控制器實現無人機集群編隊。文獻［27］受寒鴉配對飛行行為機制啟發，模仿寒鴉個體間的配對交互設計鄰居選擇機制，減小交互的平均鄰居數量，降低無人機集群通信負載壓力。文獻［28］通過研究灰狼在團隊合作狩獵時表現出的社會層級結構與合作捕食行為，對灰狼的群體交互機制與合作捕食行為建模，將灰狼合作捕食行為機制映射至無人機集群動態任務分配中，給出了無人機集群動態任務分配流程。文獻［29～30］同樣采用基本控制行為構建復雜控制結構。該結構是由封裝五種基本控制行為的模塊構成，通過模塊間的輸入輸出相互作用實現復雜的功能。但當無人機執行更多復雜功能時，結構復雜性和系統計算量會隨著集成模塊的增多而指數增長，對于故障檢測和誤差分析造成極大困難。文獻［31］借鑒文獻［29～30］中的模塊化思想，提出一種基于行為控制策略的分布式無人機編隊控制結構，該結構分為三層，即編隊生成層、避障層和個體位置控制層，減小了系統復雜度。

3）基于一致性理論的方法（Consensus Theory Method）。其基本思想是無人機在基于分布式的網絡中，利用與之通信的相鄰無人機狀態信息來綜合更新自身狀態，最終使集群內所有無人機的狀態達到一致，從而實現無人機集群編隊［32］。該方法在大規模無人機集群編隊控制時具有較好的適用性、穩定性、魯棒性，在未知環境中能夠保持集群整體狀態的一致，克服環境不確定和信息不完全帶來的影響，但是控制方法設計比較復雜，通信時延和通信拓撲要求較高，占用通信資源較多，在解決響應強實時的問題上不夠理想。

一致性理論在發展過程中逐漸與其他理論和方法進行組合應用。文獻［33］在一階系統一致性理論發展的基礎上運用李雅普諾夫方法和凸性理論，解決了離散無人機集群系統的一致性問題。文獻［34］同時研究了離散和連續兩種無人機集群編隊一致性的基本問題，證明當無人機集群編隊的通信拓撲結構中含有一個有向生成樹時能達到一致性。文獻［35］又針對二階動力學系統提出基于一致性理論的無人機集群編隊控制方法，在考慮僅有鄰近個體交換信息的條件下，為保證編隊控制的精確性，擴展了一階一致性算法，并將領航者-跟隨者法、虛擬結構法和基于行為法統一到通用的一致性框架中。這種統一的好處在于一致性框架只需要局部鄰近個體之間的信息交換，并任意信息流引入反饋或是耦合行為，從而提高整個系統的冗余度和魯棒性，而且不會使控制方法設計和收斂/穩定性分析復雜化。文獻［36］提出了一種基于一致性理論的具有防撞能力的協同無人機集群編隊控制方法，將協同控制算法和避免碰撞控制算法同時應用于四旋翼無人機，確保了無人機集群編隊收斂性。文獻［37］把基于一致性理論的方法用于處理無人機集群的時變編隊控制問題，提出了無人機集群實現時變編隊的充要條件，并通過室外實驗驗證所提方法的有效性。

4）基于深度強化學習的方法（Deep Reinforcement Learning Method）。該類方法融合了深度學習的感知能力和強化學習的決策能力，用于解決高維決策問題，其基本思想是無人機集群中，每架無人機依據當前環境的聯合狀態采取一個動作，所有動作組成聯合動作，使得集群整體以一定概率由當前聯合狀態轉變為另一聯合狀態，獎勵函數依據聯合狀態轉變方向與控制目標是否相向給予聯合獎勵，通過反復交互學習訓練，實現聯合獎勵累計最大化，使得無人機集群學會特定聯合狀態下的恰當聯合行為，即一個策略［38～41］，如圖5所示。該方法能夠高度適應未知動態的現實環境，可以勝任多種不同類型任務而無需探究其中具體奧秘，自適應性較強，一定程度上解決了環境不確定的控制難題。在算法訓練完成后，策略網絡只需依據單個無人機的局部環境觀測狀態迅速給出合理動作，有效解決信息不完全的影響，并且響應實時性較好。缺點是隨著無人機數量增加，聯合狀態和聯合動作空間過大，學習訓練時間過長，收斂速度較慢，穩定性不強［42～43］，獎勵函數的設計較為復雜。

圖5 基于深度強化學習的方法

目前，深度強化學習的控制方法在無人機集群上的應用主要通過仿真環境進行驗證，在實際飛行環境的研究較少。文獻［44］設計一種分布式的無人機集群編隊深度強化學習方法，采用“集中式訓練-分布式執行”的結構，避免過大的聯合狀態和聯合動作空間。文獻［45］基于多智能體近端策略優化（MAPPO）算法建立了馬爾可夫決策過程框架，結合圍捕任務需求分別設計了狀態空間、動作空間、獎勵函數，實現了多無人艇對海上逃逸目標的圍捕。文獻［46］對傳統的納什Q 學習算法進行改進，提出了一種基于參數逼近的無人機集群強化學習算法，能夠使無人機100%達到納什均衡，且能夠提高算法性能，簡化算法復雜性，同時加快收斂速度。文獻［47］提出了多智能體深度確定性策略梯度算法（MADDPG），實現了無人機集群自主靈活地組建編隊隊形，基于MADDPG 算法還有多種類似的拓展和補充性的工作［48～49］。文獻［50］提出一種反事實多智能體策略梯度（Counterfactual Multi-agent Policy Gradients）算法，將一個無人機的獎勵表示為當前狀態下的整體獎勵與該無人機替換動作之后的整體獎勵之差，該算法相對于MADDPG 提高了訓練中信息共享的效率和無人機之間的協作能力，不足之處是只能用于離散動作空間。文獻［51］在Actor-Critic框架基礎上提出一種CACER 算法，解決了在連續狀態下長-僚機聚集的問題。文獻［52］提出一種深度策略推理遞歸Q 網算法（Deep Policy Inference Recurrent Q-network），使用遞歸神經網絡以應對部分可觀性問題，這種算法中每個無人機的值函數一定程度上依賴其他無人機的策略，減小了環境的非靜態性對學習帶來的不利影響，可同時應用于無人機集群合作和競爭兩類任務。文獻［53］提出一種ID3QN 算法提高學習效率，實現無人機集群編隊協調控制，并在半物理系統中進行驗證。

相比于其他算法，MADDPG 算法可應用于無人機集群的競爭、合作等多種任務場景，同時可以利用其他無人機的觀測信息進行集中訓練，克服因無人機所處編隊位置不同導致獲取的編隊信息不完全而帶來的影響，并采用策略推斷、策略集合機制增強算法魯棒性，應用場景更廣闊，是當前主流的控制方法之一，相關研究文獻也較多。文獻［54］從經驗回放池數據著手，將并行、優先經驗回放的思想方法融入到MADDPG算法中，采用［M/N］個線程對經驗池中數據并行處理，選擇損失函數值最小的線程網絡梯度參數更新主網絡梯度參數，在相同時間內使得經驗數據的吞吐量擴展至［M/N］倍，加快了算法訓練速度。文獻［55］采用長短時記憶網絡和設計異步合作更新方法對MADDPG 算法進行改進，利用長短時記憶網絡解決全局獎勵分配時的信度分配問題，精準反映各無人機行為對整體行為的貢獻，同時長短時記憶網絡與MADDPG 網絡異步合作更新參數，克服損失函數強波動問題。文獻［56］對MADDPG 算法在全局評價網絡的基礎上，為每個無人機構建一個局部評價網絡，設計全局獎勵函數和局部獎勵函數，能夠同時以解耦的方式最大化全局獎勵和局部獎勵，使得收斂速度明顯加快。文獻［57］將TD3（Twin Delayed Deep Deterministic policy gradient）算法擴展到無人機集群領域中，為每架無人機設計兩個評價網絡模型，通過選取兩個模型估計值中較小的一個來解決MADDPG算法存在值函數高估的問題，同時為了提升算法學習效率，增加了優先經驗回放機制。

無人機集群編隊自主協同控制方法優缺點如表1所示。

3 結語

當前圍繞無人機集群編隊控制問題的研究已取得了大量成果，初步形成了較為完備的理論體系和方法體系。但面向復雜多變的真實環境，無人機集群編隊的控制還有很大探索空間，在以下幾個方面仍需進一步深入。主要體現在：

1）對動態未知環境下無人機集群編隊自主協同控制的研究。

隨著無人機集群應用領域的不斷拓展，當前應用環境的突出特征就是動態未知，例如在俄烏戰爭中，俄軍使用“獵戶座”察打一體無人機對烏武裝據點等高價值軍事目標實施打擊，烏軍依靠“旗手”TB2 察打一體無人機實施低空突防，在面對戰場環境陌生、信息數據缺乏、作戰態勢多變的作戰環境，無人機為戰爭發展發揮了非常重要的作用。從俄烏戰爭中獲得的啟發是，按照預設程序的集群控制方法難以適應當前軍事作戰的需要，開展類似深度強化學習的全自主控制方法迫在眉睫。深度強化學習的方法最突出的優勢是通過學習訓練，能夠使無人機集群具備自主應對未知環境中突發狀況的能力，符合當前應用領域的需要。

2）對分布式無人機集群編隊可擴展性的研究。

當前無人機集群應用領域逐步復雜化，所需集群可擴展性越來越大，例如在邊境巡邏和情報偵察中，集群可擴展性的大小直接關乎任務完成效率和完成速度。但目前集群控制方法大多都存在可擴展性不足的問題，尤其是集中式控制類型，可控無人機數量非常有限，嚴重制約了無人機集群應用領域的拓展，因此，加大對分布式控制類型中可擴展性的研究，實現對大規模集群控制至關重要。

3）對三維環境下無人機集群編隊控制的研究。

現有論文中的無人機集群編隊控制方法大都建模在二維環境下，和實際應用環境存在偏差，為提高控制方法的實用度，開展三維環境下的集群控制研究是一個重要的方向。同時融入更加豐富的無人機及環境的約束條件，如無人機的最大航程、敵方火力威脅區域等，同時也需要研究三維環境下無人機與其它地面、水上智能體之間的協同控制，充分發揮聯合作戰的優勢。