不確定環境下融合語義的無人機編隊協同控制研究

戚 茜

(西北工業大學航海學院 陜西 西安 710072)

0 引 言

無人機編隊作業可以完成單個無人機難以勝任的復雜任務，在地質勘測、應急救援、情報偵察、航海情景探測、文藝表演等領域應用廣泛[1]。無人機編隊在高空環境下受到氣象狀況、地理空間信息及通信系統狀態等不確定性因素影響，隨著編隊規模以及編隊重構復雜性的增長，無人機編隊飛行軌跡和成員位置較難被描述和預測。求解不確定環境下智能體編隊協同控制問題的傳統方法一般從整體角度出發[2]，對系統中所有成員進行統一建模，建立編隊控制系統，通過協調并行的方式求解整體控制決策問題，進而將已求解的結果分配給個體成員，這種方法可以較好地解決系統的穩定性，但隨著無人機數量的增加容易形成空間連續最優求解問題[3]。解決這類問題的方法大都采用基于多Agent的控制模型[4]，通過競爭與合作的方法解決編隊成員之間的協同行為，從而規劃無人機系統的一致性和整體性，但這種方法會使信息共享機制在不確定因素影響下受到阻礙，使系統成員的差異性更加突出。

針對信息輸入的不確定性和動態變化性，學者們提出了許多方法。文獻[5]在基于貝葉斯框架的基礎上提出基于狼群優化的無人機協同優化控制系統，融合貝葉斯概網絡和值函數推理不確定信息的輸入，實現最佳軌跡規劃功能。文獻[6]采用蟻群算法研究無人機編隊在最小時間內搜索丟失目標問題，在不確定環境下重構編隊的軌跡形成和關鍵點可達。文獻[7]模擬蝗蟲響應內外部動力的自主力和彈性行為研究無人機編隊的任務分配問題，通過成員間運行狀態和任務參數動態調整平均完成時間及持續穩定性能。文獻[8]在考慮外界環境因素情形下，建立無人機縱向動力學模型和非定常氣動力模型，并對編隊速度、平尾偏角、矢量舵偏角及俯仰等進行特征分析，實現編隊構建和重構控制的方法。文獻[9]針對無人機編隊飛行過程中的突風及客觀因素的影響，設計了一種基于萊維飛行鴿群優化的仿雁群無人機編隊控制器，以增加作戰半徑。以上方法較好地解決了不確定信息處理在編隊控制的問題，但回避了對不確定抽象信息實體的語義建模，缺乏無人機計算更容易理解的語義知識，在一定程度上影響無人機系統對外部信息的有效識別。

綜合考慮以上問題，從信息處理的角度出發提出了一種融合語義的無人機編隊協同控制方法。該方法構建了一個具有不確定態勢檢測、不確定行為識別和語義策略本體模型的編隊協同控制框架；在此框架的基礎上，利用本體和貝葉斯網絡推理實現態勢檢測，提出基于個體激活期望值的強化學習方法，將學習到的知識遷移到相似新任務中，更新語義本體模型；采用netlogo仿真平臺驗證本文方法的有效性。

1 協同控制模型

1.1 協同控制框架

針對無人機編隊在不確定環境下行為控制的背景約束和信息感知過程中不確定數據的流向特點，將協同控制框架分為不確定態勢檢測模塊、不確定行為識別模塊和語義策略本體模型。

不確定態勢檢測模塊可以計算各類事件發生的概率，結合語義策略本體模型觸發基于貝葉斯網絡推理的態勢檢測，其功能主要包括環境感知模塊、任務執行檢測模塊和系統狀態檢測模塊。環境感知模塊用于檢測影響當前無人機編隊行為控制的周邊環境信息；任務執行模塊用于檢測無人機編隊任務規劃執行情況；系統狀態模塊用于檢測無人機系統的引擎控制、位置控制、姿態控制等狀態。

不確定行為識別模塊用于分析不確定檢測模型所檢測到的信息，通過基于個體激活期望值的強化學習方法，將該狀態下學習到的知識遷移到相似新任務中，并更新不確定任務本體模型。

語義策略本體模型是一種基于OWL[10]的知識庫，用于存儲具有語義功能的地圖、環境、任務和狀態，其功能包括規則推理、行為任務更新、實時維護等。如圖1所示，它是整個協同控制系統的底層框架。

圖1 無人機編隊協同控制框架

無人機編隊通過傳感器獲得的外部不確定信息進行感知，生成不確定行為發生的概率和對行為控制的影響，并與策略規劃知識共同作為語義本體模型信息，為無人機行為識別模塊提供統一的規范化數據支持；感知行為、系統狀態和任務策略共同觸發協同控制條件；可視化界面用于操作人員與無人機之間的實時交互，更好地判斷無人機協同控制的系統狀態和參數信息；本體作為知識形式化表示的工具，能夠為背景知識提供有效的概念和實例描述，實現融合語義的協同控制服務。

1.2 語義策略本體模型實現

語義策略本體的建模過程為：通過獲取傳感器的原始信息，生成無人機編隊環境感知本體、任務執行本體和系統狀態本體，構建相關概念、屬性、實例。模型如圖2所示。

圖2 語義策略本體模型

語義策略本體模型中，行為狀態本體描述無人機系統狀態，包括引擎狀態、位置狀態、姿態調整、速度調整等，通過實例關系獲取動力學模型中的平尾偏角、矢量舵偏角及俯仰角、中心角等參數；環境本體是由傳感器及可視化地理信息系統結合所獲取的數據，主要針對地理環境的概念、實例和關系，包括氣象環境、地圖概念，其實例包含了從點、線、面到復雜地圖的環境現象的數據；任務策略本體針對當前用戶指令智能判斷飛行策略，包括GPS導航、地圖搜索、飛行障礙物、飛行關鍵點、飛行目標點等實例。

2 基于本體推理的態勢檢測方法

2.1 本體推理機制

通過Apache Jena API[11]獲取所有語義策略本體中的相關概念和實例，將基于OWL的語義策略本體模型轉化為貝葉斯網絡圖結構，利用貝葉斯推理將檢測到的信息進行綜合分析，生成可識別的數據交換格式，其代碼片段如下：

< MotorControl rdf : ID=“MotorControl _1”/>

< propulsion rdf: ID=“propulsion_1”>

0.855

< filtering rdf: ID=“filtering_1”>

0.519

0.365

0.736

其中：MotorControl_1表示單個無人機引擎狀態的實例，propulsion_1表示當前狀態推進力正常系數，0.855為正常系數概率；AttitudeControl_1表示姿態可達的實例，filtering表示卡爾曼濾波觀測數據，0.519為當前系統的噪聲影響因素；PositionControl表示當前系統的位置，Collocation表示共位參數，0.365表示位置共位的參數量值；Situation_1表示當前時刻的態勢信息，0.736表示三種控制對感知的影響程度。

對于上述數據格式片段，設無人機A1的狀態推進系數propulsion_1借助自定義規則connect_fact連接與其關聯的無人機A2，生成一個擴展事實庫con_link。

String rule=“Construct{?p:relatesTo:Cryptography}

Where ”+“{{: propulsion_1?p: propulsion_2}union{: propulsion_2?p: propulsion_1}}” %將具有相連關系的事件逐項存儲

Repository repo=new SailRepository(new CustomGraphQueryInferencer(new MemoryStore(),QueryLanguage.SPARQL,rule, “”))

其中：con_link描述了將OWL文件轉化單個無人機在一個狀態參數下的關系，通過Jena推理引擎遍歷所有結點，對于簡單的事件則采用規則性推理，Jena推理引擎可以較好保證語義策略本體的完備性和有效性。而針對多無人機協同控制中的差異性和復雜性問題，則采用帶有條件概率分布的貝葉斯網絡的推理方法。

2.2 基于貝葉斯網絡的推理方法

貝葉斯網絡系統的主要功能是對語義策略本體的概念和實例進行解析，通過構建規則生成節點、邊和條件概率表，其步驟為：

第一步采用拉普拉斯平滑方法對檢測到的當前事件數據進行預處理，通過Jena API從任務策略本體中選擇與預處理后的當前事件相匹配的概念節點x。

第二步根據獲取的信息更新擴展該節點為x=(x1,x2,…,xn)并生成父節點C，

第三步通過OWL的實例關系生成因果關系邊，并形成條件概率分布文件(Conditional Probability Distribution, CPD)，如表1所示。

表1 條件概率分布表

由表1可知，Filtering存在f0、f1和 f2三種取值情況，即系統噪聲的卡爾曼濾波觀測值在完備、適合和不適合三種情況下影響多個無人機姿態可達、一般適應、不可達三種結果；Collocation存在c0、c1和 c2三種取值情況，即共位參數在基于0.500的中間值影響多個無人機節點的位置，并使得無人機有影響較高、一般和較低三種結果。同理，Propulsion代表無人機推進力影響因素的結果。采用貝葉斯網絡對不確定的感知信息進行檢測，網絡中的結點代表感知的不確定信息對當前任務和狀態的影響程度，對于當前不確定信息的集合，采用貝葉斯網絡的方法可以檢測出當前事件的概率，并更新語義策略本體模型。

3 基于個體激活期望的強化學習

為識別行為檢測模塊所檢測到的不確定性數據，使編隊不斷地向成員發送隊形變換及周邊信息，更新當前行為狀態，提出基于個體激活期望值的強化學習方法。基本思路是將當前無人機編隊系統作為學習網絡Ginti，語義策略本體模型作為指導網絡S，單個無人機成員作為Ginti中的一個結點，通過結點和邊對系統的期望值生成關于Ginti的最大化期望網絡Gmax，并強制學習指導網絡S在每個狀態下的行為，最后將學習到的知識遷移到相似的新任務中，實時更新具有概率擴展的指導網絡S。

3.1 個體激活期望值計算

設任意一臺無人機的期望位置的閾值向量為δv，每臺無人機為學習網絡Ginti中的一個結點，根據結點間的激活期望估算和貝葉斯網絡中的聯合分布概率的權重計算最大化期望程度。

定義1(邊激活期望值計算)：設v為無人機學習網絡Ginti中任意處于未激活的單個無人機結點。IN(v)為v的處于激活狀態的入鄰居結點集合。設u是v的任意處于未激活的入結點。則結點u通過邊e(u,v)對v的期望值計算記為GH(u,v)：

(1)

定義2(結點激活期望值計算)：設OUT(v)為結點v的出邊鄰居集合，v的l步期望貢獻值為GHl(v)(l≥2)，計算為：

(2)

3.2 強化學習方法

當網絡中結點和邊激活，得到了最大期望程度的網絡Gmax={G1,G2,…,GN}后，可以通過輸出Q值波爾茲曼分布將指導網絡S={S1,S2,…,SN}，即本體網絡轉換成為一個策略網絡。

(3)

式中：τ表示影響因子，ASi表示指導網絡Si的動作空間，對于最大期望網絡Gmax中的每一個狀態，根據學習網絡策略和指導網絡策略之間的交叉熵定義一個策略回歸目標函數。

(4)

式中：πAMN(a|Gmax;θ)表示用于指導當前學習網絡Gmax的行為，指導網絡的輸出策略為一個穩定的監督訓練信號，不斷指導當前網絡的行為向指導網絡的行為靠攏。

3.3 算法實現

輸入：網絡Ginti(V,E)，關聯初始化集合長度k

輸出：更新后的語義策略本體S和Gmax

1.由隨機期望閾值向量δ確定網路實例g(v,e(u,v))∈G，Gmax←φ

2.for eachg∈Gdo

3.以g作為任意一個初始化待被期望激活的集合，對于g中每一個結點v∈V，從貝葉斯概率分布表中獲取其入邊權重wu,v。

4.end for

5.while(|gi|

6.通過式(1)計算邊激活期望值GH(u,v)

7.通過式(2)計算結點激活期望值GHl(v)

8.end for

9.forv∈Vdo

11.end for

12.v←argmaxv∈V/SiEGH(v) 獲取最大期望結點

13.Gmax←Gmax∪{v}求解最大期望網絡Gmax

14. end while

15.通過式(3)將指導網絡S轉換成策略網絡

16.求解策略回歸目標函數式(4)

17.更新當前的任務策略本體模型S

18.returnS,Gmax

以上算法首先隨機選擇未被期望激活的結點v1，當步長l=2時，根據式(1)和式(2)可得GH2(v1)=0.347，GH2(v2)=1.252，GH2(v3)=0.548，GH2(v4)=0.378，GH2(v5)=0.195，此時選取激活期望值最大的結點v2作為激活期望結點，由于v2對v3和v4具有影響，當v2激活后，其指向v3和v4的有向邊激活期望值發生了改變。因此重新計算這些邊和未激活結點的期望值，并取期望值最大的結點作為激活結點，形成一個最大期望網絡Gmax。最后，通過式(3)和式(4)，求解策略回歸目標函數，更新當前的任務本體S。

4 仿真結果與分析

仿真實驗在netlogo平臺上驗證所提出方法的有效性，應用4臺無人機在高度為200米，背景在不確定海洋環境下，增加風雨狀態進行仿真，仿真時間為60秒，每隔采樣周期為5秒。

實驗數據來源于某船舶自動識別系統(Automatic identification System , AIS)，由岸基設備和船載設備數據構成，包括風雨場景的各項已有真實數據。與真實場景相比其區別在于該實驗可以對場景進行隨機布置，減少實驗平衡狀態的仿真時間。實驗中，由于網絡中存在數據不平衡等問題，應對超出預測范圍的特征干擾，即策略本體庫中沒有出現的實例，直接采用隨機方式會嚴重影響控制效果。為此，采用拉普拉斯平滑方法對檢測到的當前事件數據進行預處理。另外，為提高仿真實驗的實用性和合理性，消除數據檢測隨機誤差的影響，實驗重復10次后取平均值作為最終結果。

4.1 關鍵點可達控制分析

4臺無人機初始位置隨機設置，每臺無人機接收到飛行信息后，根據設定的目標關鍵點進行期望位置飛行。圖3(a)中4臺無人機從任意位置開始，由語義策略本體引導成員向目標關鍵點飛行，通過傳感器獲取不確定信息進行感知，生成行為發生的概率為行為識別提供統一格式的數據。圖3(b)中的箭頭即為個體成員激活期望值所生成的期望方向，并最終形成一個菱形編隊，實現關鍵目標點可達的效果。

圖3 編隊控制過程

由圖4(a)可知，通過融合語義的編隊協同控制方法，4臺無人機相對距離誤差逐漸減小。在25秒之前，無人機1保持飛行速度大于無人機2、3、4的狀態；直到25秒后，4臺無人機系統趨于穩定，同時以相同的姿態和位置漸進飛行。圖4(b)進一步描述了編隊成員之間變化情況，任意兩臺無人機成員之間的距離能夠快速收斂并趨于穩定值，且形成菱形編隊穩定距離值。這是由于當編隊系統在生成OWL語義策略本體后實時轉化為貝葉斯網絡分析判斷編隊運行狀態，并對整個系統的協作狀態進行觸發糾正。在實際工程應用中，當1臺無人機飛行狀態因外界或內部因素偏離時，通過結點和邊激活期望值的計算激活當前成員，強制學習當前指導網絡的期望目標，并實時更新語義策略本體的實例庫。

(a) 各機與目標關鍵點距離

(b) 各機之間的距離

4.2 障礙物規避控制

如圖5所示，無人機編隊可以有效規避障礙威脅，并且飛行軌跡彎曲較小、過渡平滑，成員之間操作靈活，等障礙物解除后，又迅速恢復到原有編隊形態。這是因為感知的不確定信息經過貝葉斯網絡的推理及個體期望貢獻強化學習算法應用，更新了具有概率擴展的語義策略本體，可以在較短的時間內檢測不確定數據，實現障礙物規避并保持編隊飛行控制的穩定性。表2給出了不確定環境下編隊協同控制輸出結果。

圖5 無人機編隊障礙物規避控制

表2 不確定環境下無人機編隊協同控制輸出結果

表2顯示系統的關鍵目標點是否可達事件在第60秒開始發生，v3、v1結點的無人機發生關鍵點不可達的概率為0.46，經過本文方法計算GH值形成一個最大期望網絡并更新本體模型。同時，從工程實用性角度來說，本文算法每隔5秒獲取一次輸出結果，對于相似的任務可以由任務策略本體直接觸發，從而減少計算量，保證數據的合理性和科學性。

4.3 比較分析

采用代價函數(Cost Function)[13]進一步說明無人機編隊協同控制性能，它是通過進化曲線測量無人機編隊協同控制性能的重要指標。將本文方法與鴿群算法[14-15]、multi-agent算法[3]進行比較，結果如圖6所示。由圖6可以發現本文方法收斂速度較快，在第6代時達到了收斂，得到最優的目標解。這是由于在個體激活期望值計算時，學習網絡策略和指導網絡策略之間的交叉嫡定義了策略回歸目標函數，輸出了一個穩定的監督訓練信號，各個體之間可以在工程實際應用中趨于穩定一致的狀態；而鴿群算法在第30代才達到收斂穩定，沒有本文方法效果好；multi-angent算法系統性地解決了局部最優的問題，但隨著迭代次數的增加陷入了不穩定狀態。

圖6 基于代價函數的編隊控制進化曲線

5 結 語

本文針對無人機編隊感知行為、系統狀態和任務規劃等不確定性問題，從信息處理的角度出發提出了一種具有不確定環境檢測、不確定行為識別和語義策略本體模型的無人機編隊協同控制框架，實現了基于本體推理的態勢檢測方法和基于個體激活期望值的強化學習方法。該方法不僅可以使任意兩臺無人機相對距離收斂穩定，還可以判斷關鍵點可達和障礙物規避，對于復雜海洋環境下的目標搜索、搶險救援有著重要意義。下一步將考慮更多無人機數量進行仿真，進一步優化無人機網絡的學習算法，結合云計算和大數據平臺優化編隊控制性能，以提高協同控制的效率。