脈沖控制下基于合作機制的多智能體系統分組一致性研究

劉雪梅,彭大芹,楊莎莎

1(重慶郵電大學 通信與信息工程學院,重慶 400065)

2(重慶郵電大學 計算機科學與技術學院,重慶 400065)

0 引 言

隨著人工智能、自動控制技術的快速發展,多智能體系統逐漸應用于無人機編隊控制、智能電網等領域[1-4].在對多智能體系統的研究中,協同控制問題引起了研究者們的廣泛關注.

多智能體系統協同控制包含一致性和分組一致性.一致性是指系統中智能體通過接收周圍個體傳遞的信息,并與其鄰居個體進行通信,最后收斂到一個共同的狀態[5].在現實應用中,一致性的狀態可能會隨著環境、情形、任務以及時間的變化而變化,因此引出了分組一致性.智能體通過分組控制協議與鄰居個體進行信息交互,從而實現不同的收斂目標,即同組智能體收斂到一個共同的狀態,異組智能體實現不同的收斂目標.

然而在實現多智能體系統分組一致性控制中,文獻[6-14]沒有考慮到連續控制所產生的高通信成本.文獻[8]中,提供了一種新穎的同構分布式協議,該協議可以提供相同智能體的一致性和分組,通過通用有向圖進行交互,并為它們的收斂建立標準.文獻[9]針對采樣數據異構多智能體系統(Heterogeneous Multi-agent System, HMAS),研究了有向拓撲下的分組一致性問題,其中HMAS的模型由雙積分器和單積分器描述,設計了兩種不同通信條件下的分組一致協議,給出了實現分組一致性的充分條件.文獻[11]中研究的是具有一階、二階智能體的系統,針對固定通信拓撲情況,提出了一種基于鄰接信息的分布式控制協議.文獻[12,13]中分別構建了包含一階、二階以及具有歐拉-拉格朗日性質智能體的系統,針對固定拓撲情況,分別提出了一類解決分組一致性問題的控制協議,并將其推廣到包含有領導者和跟隨者網絡中.

脈沖控制采用合適的控制協議可解決連續控制所產生的高額開銷,使系統具有更高魯棒性[15].脈沖控制作為一種重要而有效的控制理論技術,廣泛應用于多智能體系統.這種技術允許智能體僅在脈沖時刻進行信息交互,大大降低了網絡的通信開銷.近年來,文獻[16-19]有關脈沖控制的一致性研究取得了許多有意義的成果.文獻[16]針對一類二階多智能體系統中各智能體之間的相對全狀態和部分狀態采樣數據的一致性問題,提出了一種延遲脈沖控制器.然后基于離散化、狀態增廣和線性狀態變換,提出了一種新的解析方法,建立了脈沖區間和控制參數的充分一致準則.在文獻[17-19]中,分別針對二階多智能體系統的一致性問題,采用脈沖控制的方法來實現多智能體系統一致性.文獻[16-19]提出的脈沖控制方法都是用于實現一致性的.然而在實現分組一致性的方法中鮮少采用脈沖控制方法.文獻[20]中雖然提出了一種基于脈沖觀測器的控制協議實現分組一致性,基于該協議,用混合系統的術語描述了多智能體系統的集體網絡動力學,但智能體不能與其他組中的智能體通信.在實際的應用中,不同組之間難免會有通信,本文設計的協議解決了不同組之間的通信干擾,提高系統的魯棒性.

基于此,本文提出一種實現分組一致性的脈沖控制方法,解決了連續控制產生的高開銷問題.此外,由于目前許多研究都重點關注線性系統[21,22],存在應用局限性,因此本文提出的控制協議還針對具有非線性特性的智能體,提高了協議的適用范圍.

該協議適用于多智能體系統分組一致性控制場景,比如,在無人機的編隊飛行控制應用場景中,無人機群會時常接收來自地面控制中心的指令,如果采用持續控制機制,則需要控制中心不間斷發送消息,無人機持續接收消息來更新自己的狀態,這樣會造成不必要的網絡開銷;同時還存在不同組無人機的通信干擾,影響無人機實現編隊控制的效果.如果采用本協議的脈沖控制方法,可以有效的解決這類問題,減少網絡開銷,降低不同組之間的通信干擾,提高魯棒性,該協議具有現實的應用價值.

綜上所述,本文的主要貢獻有:

1)本文提出了一種基于脈沖控制的分組一致性協議,控制系統中智能體在脈沖時刻接收來自鄰居節點的信息,并更新自己的狀態,克服了連續控制所產生高開銷的缺點.

2)本協議引入了一種干擾抑制機制,允許不同組之間有信息交互,通過減小耦合參數降低組外干擾,提高了系統的魯棒性.

3)本文設計了一種適用于非線性系統的方案,擴大了系統的適用范圍,可應用于更廣泛的場景.同時分析控制參數對系統收斂的影響,如脈沖控制參數、脈沖間隔對系統分組一致性的影響,可根據實際需要設置相應參數.

1 預備知識和系統模型

1.1 圖 論

在一個多智能體系統網絡中,假設每個智能體是網絡中的一個節點,由這些節點構成一個拓撲圖,圖中的每條邊代表智能體之間的信息交互.在系統網絡中,其拓撲圖表示為G=(V,ε,A),它是一個加權有向圖.節點集合為V=[v1,v2,…,vn],節點與節點之間邊的集合為ε?{(vi,vj):vi,vj∈V,vi≠vj}.令eij=(vi,vj),意味著節點vj能夠接收來自節點vi的信息.令鄰接矩陣為A=(aij)n×n,其中aij≥0.若eji∈ε,則aij>0;若eji?ε,則aij=0.若在圖G的鄰接矩陣A中,存在aij=aji,則圖G是無向圖,其鄰接矩陣A是對稱矩陣.智能體i的鄰居集合為Ni={vj∈V:(vi,vj)∈ε}.在有向圖中,存在一個節點和其他任何一個節點之間至少有一條有向路徑,則稱該圖存在有向生成樹.

所有智能體共享一個公共的狀態空間R.智能體i的狀態定義為xi,且x=(x1,…,xn)T.

(1)

1.2 系統模型

為了方便系統的計算,多智能體系統中有m個智能體,其中包含p個領導者,n個跟隨者.這樣可以在不影響解決系統問題的情況下,更清楚直觀地觀察節點間的關系.

系統中的智能體滿足:

(2)

其中xi(t)∈m,ui(t)∈m分別是智能體i的位置狀態和輸入控制,表示智能體i的位置變化.

在考慮領導者的時候,本文選擇真實的領導者作為參考模型,用以實現對領導者的一致性跟蹤,進而實現對分組一致性的控制目標.

在系統中,領導者的動力學模型為:

(3)

跟隨者的動力學模型:

(4)

假設1.連續非線性函數φ:m→m滿足利普希茨條件[23],

|φ(x1)-φ(x2)|≤l|x1-x2|

(5)

其中l是利普希茨常數.

注1.為了方便起見,本文都是基于一維空間.然而,在一維空間里得到的所有結果都可以用克羅內克積推廣到n維空間.

假設2.假設圖G是包含一個有向生成樹,即至少存在一個根節點可以訪問其它節點.其中圖G是斷開的:可以分離成多個分組,每個分離的組要么是單個節點,要么包含一棵生成樹.

假設S是n中點的集合,M是S中最大的不變子集.當t→∞時,Rn中所有解x(t)趨近于M.

1.3 分組一致性條件

本文致力于實現系統(2)-(4)的分組一致性,即在分組一致性協議下控制具有領導-跟隨網絡的非線性系統,使其實現分組一致性.假定將多智能體系統分成p(p≥2)個分組,若智能體i在第κ個分組中,則σi=κ.當σi=σj時表示同一個分組,即xσi=xσj;若σi≠σj表示不同分組,即xσi≠xσj.同時xσi表示每個分組的領導者,Ξ是一個已知矩陣.

在多智能體系統(2)-(4)可以實現p(p≥2)組一致性,當且僅當下列條件成立時,在任意初始狀態下,協議ui實現分組一致性:

(6)

2 具有領導-跟隨的固定脈沖分組一致性研究

在這一小節中,研究在本協議的作用下實現多智能體系統的分組一致性.在系統中,智能體之間的關系通常包括合作、競爭或兩者兼有.本協議針對具有合作機制的系統實現分組一致性,用xj-xi表示智能體之間的合作關系.因此,根據鄰居節點之間的信息交互和脈沖控制的性質,設計了一種基于合作機制的多智能體系統分組一致性協議.該協議分為兩種情況:在非脈沖時刻,智能體按照xi(t)方式運動;在脈沖時刻,系統中的智能體在協議ui(t)的控制下運動,具體如式(7)所示:

(7)

當t=tk時,在脈沖時刻智能體位置狀態的變化為:

(8)

定理1.假設1-2是成立的,若存在一個常數ξ>1滿足下列條件[23]:

Ta(λΞ+2l)+ln(λkξ)<0

(9)

其中Ta=tk-tk-1=h是脈沖間隔,λΞ和λk分別是(Ξ+ΞT)和(bkL-Im+B)T(bkL-Im+B)的最大特征值,l是利普希茨常數,Im表示一個m階單位矩陣,B為權重矩陣.若智能體系統的通信拓撲圖滿足假設2,該系統在脈沖控制協議(7)的作用下,可實現分組一致性.

證明：

定義在非脈沖時刻t和脈沖時刻tk系統中跟隨智能體與領導智能體之間狀態誤差函數分別為:

δi(t)=xi(t)-xσi(t)

(10)

(11)

將式(10)求導可得狀態誤差的變化為:

=φ(xi(t),t)+Ξxi(t)-(φ(xσi(t),t)+Ξxσi(t))

=Ξδi(t)+φ(xi(t),t)-φ(xσi(t),t)

(12)

(13)

(14)

最后將(13)式化簡為:

(15)

因此多智能體系統的誤差狀態方程為:

(16)

令領導者與跟隨者之間信息交互的權重矩陣為B=diag(b1,…,bm),將誤差狀態方程進一步化簡為:

(17)

其中Φ(φ(xi(t),t),φ(xσi(t),t))=[φ(x1(t),t)-φ(xσi(t),t),…,φ(xn(t),t)-φ(xσi(t),t)],L為圖G的拉普拉斯矩陣.

至此,將系統的狀態方程轉化為誤差狀態方程.若系統中跟隨者與領導者的狀態誤差收斂為零,意味著系統能實現分組一致性.因此將基于脈沖控制的分組一致性控制協議的有效性轉變為誤差系統收斂為零的問題,有利于降低分析該問題的復雜度.接下來,通過李亞普洛夫穩定性定理對誤差函數的收斂性和有效性進行逐步分析和證明.

由引理1設計李亞普洛夫函數為:

V(t)=δT(t)δ(t)

(18)

為了簡單起見,在本文的其余部分中,所有變量都將表示為不帶時間參數t,例如,x:=x(t),xi:=xi(t),δ:=δ(t),δi:=δi(t),V:=δTδ.

人類社會的演進過程是不以人的意志轉移而轉移的歷史過程。在東西方相互隔絕的時代，各自沿著自己的歷史軌跡演進。在東西方交流暢通的時代，相互之間在有選擇的交流中演進。在全球化深入發展的時代，因為東西方相互依存度越來越大，依然還是受到無法抗拒的慣性的影響，沿著各自的邏輯，依次展開。前景是擺脫慣性的束縛，統一于人類美好未來。

=[Ξδ+Φ(φ(xi(t),t),φ(xσi(t),t))]Tδ

+δT[Ξδ+Φ(φ(xi(t),t),φ(xσi(t),t))]

=δT(Ξ+ΞT)δ+2δTΦ(φ(xi(t),t),φ(xσi(t),t))

≤(λΞ+2l)δTδ

=(λΞ+2l)V

(19)

然后對式(19)求積分,可得:

(20)

=[(bkL-Im+B)δ(tk-1)]T(bkL-Im+B)δ(tk-1)

=δT(tk-1)(bkL-Im+B)T(bkL-Im+B)δ(tk-1)

=λkV(tk-1)

(21)

結合式(20)和式(21)可得:

(22)

將式(9)代入式(22)得:

(23)

注2.由式(23)可知,當脈沖間隔Ta=tk-tk-1=h增大,相同時間內脈沖次數k減小,V(t)趨于零的時間變長,系統收斂時間變長.

3 仿真分析

在這一節中,給出仿真結果來證明協議的正確性與可行性.仿真實驗的平臺為64位windows10系統,仿真軟件為Matlab2019b,并用其對實驗結果進行可視化展示.

假設一個具有有向固定拓撲結構的多智能體系統,如圖1所示.系統中一共有8個智能體,將其劃分為兩個分組G1和G2.其中智能體3、4、5屬于G1,6、7、8屬于G2,智能體1和2為領導者.

圖1 系統的通信拓撲圖Fig.1 Communication topology of the system

為了簡化計算,假設同組節點之間的鄰接矩陣的元素為1.經過大量實驗表明將不同組之間的耦合參數設為0.2時可最大程度降低不同組之間的通信干擾.鄰接矩陣為:

拉普拉斯矩陣為:

權重矩陣為:

B=diag(1,0,0,0,1,0).

實驗1.令bk=-0.4,分別對脈沖間隔為h1=0.001 s、h2=0.002 s,以及連續控制進行仿真,分析脈沖控制對系統分組一致性的影響以及不同脈沖間隔對分組一致性的影響,即對系統的收斂時間的影響.

由圖2中(a)、(b)以及圖3中(a)、(b)可知,脈沖控制的收斂時間比連續控制的收斂時間長,這是因為連續控制是對系統進行持續控制,而脈沖控制只在脈沖時刻對系統進行控制,這樣雖減少了網絡開銷,提高了系統魯棒性,但也延長了系統收斂時間.

圖2 跟隨者與領導者之間的狀態誤差Fig. 2 State error between followers and leaders

圖3 智能體的狀態Fig.3 State of agents

由圖2中(b)、(c)可知,跟隨者與領導者狀態誤差最終趨于零,表明系統實現分組一致性,其中δ31表示跟隨者3與領導者1的位置差.由這兩圖可以看出,h1=0.001 s時,收斂時間在0.015 s左右,而h2=0.002 s時,收斂時間差在0.02 s左右,由此得出結論:脈沖間隔越大,相同時間內脈沖次數越少,狀態誤差趨于0的時間越長,系統收斂時間越長.同樣地,由圖3(b)、(c)可以看出,智能體的狀態最終與領導者的狀態一致.結合兩圖得出,當脈沖間隔越大,智能體的收斂時間就越長.

實驗2.設脈沖間隔為h1=0.001s,分別對不同脈沖控制參數bk1=-0.4,bk2=-0.2進行仿真,分析脈沖控制參數對系統收斂時間的影響.

由圖4可看出,當h一定時,bk的絕對值越大,對系統的控制強度越強,系統最終收斂時間越短.反之,bk的絕對值越小,系統收斂時間越長.

圖4 脈沖參數對系統收斂的影響Fig. 4 Effect of impulsive parameter on system convergence

基于以上分析,系統在協議(7)的作用下可以實現多智能體系統的分組一致性.當脈沖間隔越大,相同時間內的脈沖次數就越少,系統收斂時間就越長.當脈沖控制參數絕對值越大,對系統的控制強度越強,系統收斂時間就越短.

此外,由于現有的基于脈沖控制協議實現分組一致性的文獻中,未考慮異組之間的通信而造成的影響.而本協議引入了不同分組之間的通信干擾,仍然可以有效實現分組一致.因此本協議解決了不同組之間的通信干擾,提高了系統的魯棒性.

討論：

·采用脈沖控制的方法,可以減少網絡的損耗,提高系統魯棒性.但是,由于智能體在脈沖時刻才能與鄰居節點進行信息交互,更新自己的狀態,就不可避免地會增加系統的收斂時間.因此,在實際應用中,如果對系統收斂時間的要求低于對網絡開銷的要求,脈沖控制方法是個不錯的選擇.

·脈沖控制方法中,可以根據脈沖間隔來控制脈沖觸發的次數.脈沖間隔越小,脈沖次數越多,系統收斂時間就越短,同時網絡開銷就相應的增加;脈沖間隔越大,脈沖次數越少,網絡開銷減少,但系統收斂時間就相應的延長.因此,在實際應用中,可根據實際需要選擇脈沖間隔來實現系統的分組一致性.

·同樣地,對于脈沖控制的系統,可根據脈沖控制參數來實現對系統的控制強度(圖中bk),脈沖控制參數絕對值越大,對系統的控制越強,系統的收斂時間就越短.因此,應根據實際需要選擇脈沖控制參數來實現多智能體系統的分組一致性.

綜上所述,雖然脈沖控制會延長系統的收斂時間,但可以通過動態調整脈沖間隔、脈沖控制增益來縮短收斂時間,減少網絡開銷,提高系統魯棒性.

4 結 語

本文基于圖論和李亞普洛夫穩定性理論,研究了非線性多智能體系統的分組一致性問題.首先,為了解決分組一致性問題,提出了一種基于脈沖控制的協議,給出了分組收斂的充分條件.然后,通過數值分析說明了分組一致的過程,并通過仿真驗證了該協議實現了分組一致性.最后,討論了控制參數對于系統收斂時間的影響.本文提出的基于脈沖控制的分組一致性協議,解決了連續控制會產生高額通信開銷問題,提高了系統的魯棒性.同時提出了一種適用于非線性系統的控制協議,擴大了該協議的適用范圍.本文提出的協議具有現實的應用價值,例如在無人機的編隊控制中,解決了因持續接收消息帶來損耗的同時,提高了無人機系統的魯棒性.在未來,將致力于研究更多方法來解決多智能體系統分組一致性問題,例如有限時間、事件觸發等,同時使提出的協議能廣泛應用于實際場景,例如無人機編隊、車輛交通系統、傳感器網絡等場景.