基于ADP的一類未知非線性系統事件觸發輸出反饋最優控制

李 琳 潘忠成 李昶志

1(廣東交通職業技術學院信息學院 廣東 廣州 510000) 2(哈爾濱工程大學材料科學與化學工程學院 黑龍江 哈爾濱 150001) 3(陜西麥可羅生物科技有限公司 陜西 渭南 715500) 4(陜西省公共資源交易中心 陜西 西安 710000)

0 引 言

隨著控制性能要求的提高,非線性系統最優控制受到了控制領域的廣泛關注[1-4]。在最優控制設計過程中,系統哈密頓-雅可比-貝爾曼方程(Hamilton-Jacobi-Bellman equation,HJB)的求解方法成為控制器設計的關鍵,而動態規劃(Dynamics Programming,DP[5])作為求解方法被廣泛應用于最優控制策略中。然而動態規劃在時間上是向后執行的,所以DP為離線求解方法。并且由于在高維最優化問題中存在“維度詛咒”問題,DP難以在實際控制中應用。為了避免上述問題,Werbos[6]提出了基于強化學習(Reinforcement Learning,RL)的自適應動態規劃(ADP)策略。它將強化學習方法、演員-批評家結構(Actor-Critic Structure)[7]和神經網絡結合來解決最優控制問題,其中評估網絡用于估計動態規劃中的成本函數,從而解決“維度詛咒”問題。近些年來,基于RL的ADP的控制策略和相關領域受到了學者的廣泛關注并且獲得了很多重要的成果。文獻[8]針對帶有未知動態的非仿射非線性系統的控制問題提出了一種新型ADP控制方法,此方法不需要識別系統的未知動態。文獻[9]設計了基于觀測器的ADP控制器,解決了非仿射連續非線性系統的控制問題,其中觀測器用于重構系統不可測狀態量,評估網絡用于估計系統的性能指標函數。文獻[10]將ADP方法應用于具有未知動態的多智能體編隊控制中。

近些年來,非線性系統的事件觸發控制方法吸引了廣泛的關注[11-12]。與常規的時間觸發控制方法相比,事件觸發控制(Event-Triggered Control,ETC)只有在當前狀態量與期望值的誤差超過閾值時控制器才會更新,這樣大大減少了控制系統的計算負擔同時節約了被控對象和執行器的通信資源[13]。在最優控制的實際應用中還需要考慮系統模型未知和系統的內部狀態量無法測量的問題。需要注意的是,在實際應用中通常只有系統的輸出量和控制輸入量為可測度量,并且只對輸出量進行測量也可以大大減少控制系統對測量裝備的需求。為了估計不可測量的狀態量,本文首先通過神經網絡觀測器來重構系統狀態量,然后通過觀測到的狀態量設計了基于ADP算法的事件觸發輸出反饋最優控制策略,在實現最優控制的同時節約計算能力和通信資源。通過Lyapunov理論獲得了神經網絡觀測器的權值更新率和評價網絡的權值更新率。閉環系統的穩定性同樣進行了嚴格的證明。最后通過仿真實驗驗證了控制算法的有效性。

1 系統描述

考慮如下的未知非線性系統:

式中:x(t)∈Rn代表系統的狀態量;y(t)∈Rm代表系統的輸出量并且為可測度量;u(t)∈Rp代表系統的控制輸入;C∈Rm×n為常數矩陣;G(x(t),u(t))代表系統的未知動態。需要注意的是,在實際應用中系統的狀態量不一定完全可測量的且系統的狀態方程也不一定精確可知,所以式(1)符合實際的應用場景。

為了便于后續觀測器設計,將式(1)寫成如下形式:

式中:U(x(t),u(t))=G(x(t),u(t))-Ax;A為常數矩陣。

假設1系統未知動態U(x(t),u(t))為平滑函數并滿足:

式中:δ為正常數。

2 控制器設計

本節主要分成兩個部分,首先設計了基于神經網絡的狀態估計器用于估計系統的狀態量,然后設計基于自適應評估的輸出反饋最優控制策略。

2.1 基于神經網絡的狀態觀測器

結合式(2)設計如下的狀態觀測器:

DTP+PD=-M

(5)

式中:P=PT,M=MT。

設計如下的神經網絡逼近器用來逼近式(1)中的未知函數U:

權重的更新律選擇如下:

證明定義如下的Lyapunov函數:

對式(9)求導可得:

結合式(2)、式(4)、式(6)、式(7)和式(8),式(10)可寫成:

令b=a(D-1)TCTC,則式(11)簡化為:

考慮如下不等式成立:

將式(13)代入式(12)可得:

式中:λmin(M)表示矩陣M的最小特征值;sm表示激活函數的上界。

則式(14)變為:

2.2 基于自適應評估的輸出反饋控制器

為了后續事件觸發函數的設計,定義如下的誤差方程:

基于式(19)可以判斷事件觸發的時間。當事件觸發時ek(tk)=0,當事件沒有觸發時,控制器的控制輸出保持不變,即:

將式(19)代入式(20)有:

針對式(1),設計如下的性能指標:

(22)

式中:Q=QT∈Rm×m、R=RT∈Rp×p為正定常數矩陣。

如果控制輸入u在緊集Ω是可接受的[14],并且性能指標函數V一階可導,則:

定義如下的哈密頓(Hamiltonian)方程:

求解最優性能指標后可以獲得如下的最優控制策略:

作為求解最優控制策略的式(26),可以得到理想的最優控制解。將式(26)轉換成事件觸發,則有

將式(27)代入式(24)可得基于事件觸發的HJB方程為:

本文采用如下的評價神經網絡來逼近最優性能指標函數:

式中:θ2為評價神經網絡的最優權重;隱含層激活函數s2(x)選為雙曲正切函數;σ(x)為神經網絡的逼近誤差。有:

由式(30)可得:

結合式(32)和式(7),實際的控制率如下:

將式(32)和式(33)代入式(24),哈密頓函數的估計可表示為:

為了后續分析,做如下的假設。

假設2U(x,u)為Lipschitz連續,并滿足:

式中:L為正常數。

假設3控制輸入u*滿足Lipschitz條件,則存在一個正常數A使得:

定理2針對式(1),如果觀測器為式(3),并且觀測器和評價網絡的權重更新率分別為式(7)和式(36),并且滿足如下的事件觸發條件:

證明定義如下的Lyapunov函數:

Va=V1+V*+V2

(40)

根據求解最優控制策略的式(26)可得:

式中:ΔUu*=?U(x,u*)/?u*。由于:

(43)

將式(42)和式(43)代入式(41)可得:

2u*TN(U(x,u*)-U(x,u))-yTQy-u*TRu*

(44)

式中:N=((ΔUu*)TΔUu*)-1(ΔUu*)T。

根據假設2,式(36)可以寫成:

(46)

結合假設3,式(46)可變成:

對V2求導得到:

將式(36)代入式(48)可得:

(49)

結合式(31)可得:

3 仿真研究

為了驗證控制策略的有效性,利用如下的非線性系統作為仿真對象:

式(7)表示結構為3-3-2,初始權重為θ(0)=[1,0.5,0.2;-0.2,-0.5,-1],更新率計算的式(8)中參數為a=0.1、λ=10。式(23)的參數為Q=1、R=10。式(30)表示的結構為3-4-1,初始權重W(0)=[4,2,-1,-2]T,更新率計算的式(36)中參數r=10。仿真結果為圖1-圖6。

圖1 系統的實際狀態量x1和狀態量的估計

圖2 系統的實際狀態量x2和狀態量的估計

圖3 神經網絡的估計權重θ1

圖4 評估網絡的估計權重θ2

圖5 事件觸發條件和閾值

圖6 控制輸入

根據圖1和圖2可以看出,本文提出的控制器能很好地完成控制目標,使系統狀態穩定在平衡點,并且表明神經網絡狀態觀測器能很好地跟蹤和估計系統不可測狀態量,使狀態估計誤差穩定。圖3和圖4表明神經網絡和評估網絡的權重最終收斂。圖5為系統的觸發情況,結合圖6可知,只有當式(39)滿足時,系統的控制輸出才進行更新,因此有效減少控制輸出更新頻率從而大幅節約計算能力。

4 結 語

針對一類未知非線性系統提出基于神經網絡的最優控制策略。利用神經網絡狀態觀測器對未知非線性系統的狀態量進行估計,從而解決實際應用中系統的部分狀態量無法測量的難題。然后通過觀測器估計的狀態量設計基于ADP算法的輸出反饋最優控制策略。本文通過Lyapunov方法獲得了神經網絡和評估網絡的權值更新率并嚴格證明了閉環系統的穩定性。最后通過仿真實驗驗證了該控制器設計方法的有效性。