基于多層概率集的隨機系統預測控制

梁華清，張冬雯，邢少光，張沙沙

(1.河北科技大學電氣工程學院，河北石家莊　050018; 2.河北科技大學信息科學與工程學院，河北石家莊　050018)

?

基于多層概率集的隨機系統預測控制

梁華清1，張冬雯2，邢少光1，張沙沙2

(1.河北科技大學電氣工程學院，河北石家莊050018; 2.河北科技大學信息科學與工程學院，河北石家莊050018)

摘要：針對具有Markov跳變特點的一類離散隨機系統，研究了輸入量概率約束下的狀態反饋預測控制問題。采用多層概率集的概念和方法，給出了具有多個不同概率軟約束下的預測控制器設計算法，在多步反饋律的控制下，系統狀態以指定概率進入不同的橢圓內，保證了系統的穩定性，而且擴大了控制問題的可行范圍，改善了系統性能。最后仿真實例證明了所提方法的有效性。

關鍵詞：隨機過程；預測控制；Markov跳變；概率約束；多層概率集

在工業領域中，人們大都習慣用傳統的PID控制來處理一些實際問題[1]。然而在處理一些帶約束的控制問題時，PID控制會有很大的局限性。對于此類問題，模型預測控制顯現出很大的優勢。模型預測控制(MPC)作為一種有著廣泛應用的控制方法，是20世紀70年代從工業領域發展起來的。在文獻[2]中，作者針對復雜供暖系統中存在的大時滯、大慣性和不確定性，引入預測控制的方法對系統進行調節，取得了良好的效果。MPC是一種基于模型的啟發式控制算法，能夠有效地處理多變量約束問題。其思想是利用歷史數據和預測模型，在每一采樣時刻通過在線求解一個有限時域的開環最優控制問題，從而得到一個控制作用。如今，預測控制算法的應用領域越來越多，但算法都離不開其本質的3部分：預測模型、滾動優化和反饋校正[3-4]。另外，預測控制自問世以來，在復雜工業過程中針對解決復雜約束優化控制問題已取得了巨大的成功，現在發展成為一門既具有豐富理論支撐又具有實踐內容的重要學科[5-9]。

在隨機系統控制問題中，不確定性是普遍存在的，這些不確定性描述了系統數學模型與實際系統之間的誤差，這種在隨機系統中存在的不確定性稱之為隨機不確定性。這種隨機不確定性通常會以某種概率分布來描述。一切隨時間變化的過程，往往都要受到某些不確定因素的作用，這種不確定因素服從某種統計概率規律，如果將這些概率信息合理地包含到預測控制器的設計中，就可以得到保守性較低的設計[3]。

目前，對隨機系統的預測控制研究已成為國內外關注的熱點。在以往的諸多研究中，針對隨機系統預測控制已有很多研究成果。文獻[10]提出用增廣自治預測模型來解決具有凸多面體多重不確定性的隨機系統在概率約束下的穩定性問題，并首次提出概率不變集的概念。文獻[11]在文獻[10]的基礎上對系統增加了附加的多重不確定因素，將凸面體不確定性一般化。文獻[12]針對附加的隨機獨立擾動因素，對初始時刻系統的可行性進行研究，并確保了隨機約束和二次穩定性條件的滿足。而文獻[13]則應用隨機Tubes約束的方法減少了在線計算量，拓寬了預測區間，改善了系統性能。同時，文獻[14]通過使滿足約束的性能指標最小化，進而提出控制策略；將系統狀態限定在嵌套的橢圓集或隨機Tubes內，通過不同Tubes之間的轉移概率，保證了系統在滿足約束情況下的遞歸可行性。然而，近年來具有Markov跳變特點的隨機系統具有較大的吸引力，并且近年來得到快速的發展[15-18]。在實際的工程問題中，諸如互聯子系統的變化，環境條件的突變，系統元件的故障等隨機現象都會引起系統的跳變。通過大量的研究發現，這種隨機變化的規律通常遵循Markov過程的變化規律[18]。因此，對具有Markov跳變過程的系統的研究就顯得尤為重要，在提出之后的很長時間受到國內外學術界關注。于是在文獻[18]中，作者提出了具有此特點的隨機線性系統，研究了對狀態和輸入有線性約束且具有Markov跳變特點的隨機系統的穩定性和鎮定問題。采用Lyapunov穩定性理論和離線LMIs方法解決系統的穩定性問題；應用多級優化方法使性能指標優化問題轉化成解決二次規劃問題。在文獻[10]中，針對具有正態分布的隨機不確定模型，以往魯棒預測控制的方法不再適用，因此該文獻作者提出概率不變集的概念，以給定概率滿足系統約束，設計預測控制器。這一概念的提出為隨機系統的軟約束設計提供了新思路。文獻[19]更是擴大了約束的范圍，提出了多層概率集的概念。多層概率集可以描述系統狀態在多步反饋控制律作用下的一系列具有不同概率的分布區域，可以同時保證滿足多個不同概率要求的軟約束，具有較大的可行范圍。該文章在基于多層概率的基礎上，在每一時刻求解一個優化問題，使性能指標的上界達到最小值。

本文將應用文獻[19]提出的多層概率集的概念和方法，研究具有Markov跳變特點的隨機線性系統的預測控制問題，在滿足給定概率約束條件的前提下，設計狀態反饋控制律，在每一采樣周期求解一個優化問題，使性能指標的上界達到一個最小值。

1問題描述

考慮離散時間隨機系統：

xk+1=A(w(k))xk+B(w(k))uk，

(1)

其中，xk∈Rnx為系統的狀態向量，uk∈Rnu為系統的輸入向量，A(w(k))∈Rnx×nx，B(w(k))∈Rnx×nu是隨機矩陣，對所有時刻k>0，隨機變量w(k)∈W={w1,w2,…,ws}∈R表示獨立同分布的不確定因素。在k>0時刻，隨機矩陣A(w(k))，B(w(k))的取值是隨機的，可表示成式(2)的形式：

(2)

其中(Aj,Bj)是給定的適當維數的矩陣，且Aj=A(wj)，Bj=B(wj)，j∈{1,2,…,s}。

不確定因素w(k)是取值于有限集合的離散時間Markov鏈的跳變模態。Markov鏈是Markov過程的原始模型。Markov過程是一類隨機過程，在隨機系統理論中占有非常重要的地位，并在實際中得到廣泛的應用。一個Markov過程通常用轉移概率Pr{x(t)∈X|x(τ)}，τ,t∈T，且t≥τ來表示，它表示當給定τ時刻的狀態x(τ)時，過程在時刻t>τ的狀態x(t)落入集合X的概率。Markov過程具有一個特殊的性質，即它的下一狀態只依賴于當前時刻的狀態，而與之前的歷史狀態無關。Markov鏈就是具有這一性質的離散時間隨機過程，它是時間和狀態都離散的Markov過程。

不確定因素w(k)在k時刻有s種不確定形式，其概率分布為

p(k)=[p1(k),p2(k),…,ps(k)]T，其中Pr{w(k)=wj,j=1,2,…,s}=pj(k)，且p(k)滿足:

假設2對所有的k∈N，概率分布p(k)是可觀的。

為了便于描述Markov鏈中的跳變模態w，假定當前k時刻為w(k)=wi,i∈{1,2,…,s}，下一時刻的k+1為w(k+1)=wj，j∈{1,2,…,s}則一步轉移概率可以寫成式(3)形式：

λij=p(w(k+1)=wj,w(k)=wi)，

(3)

其中

(4)

根據p(k)的概率分布可以知道，系統在每一時刻的狀態都有s種不同的形式。因此對原始系統的研究就轉化成對以下系統的研究：

xk+1=Ajxk+Bjuk,w(k)=wj,j∈{1,2,…,s}，

(5)

式(5)以概率pj,j∈{1,2,…,s}成立。

系統的輸入uk滿足的概率約束如下：

Pr{Gmuk≤hm}≥pm，

(6)

其中，hm∈Rnm，m=1,2,…,μ。當某個m對應pm=1時，此約束為確定性約束。通過對約束的排列及約束系數的選取，令p1

在k時刻，預測控制所要優化的性能指標為

(7)

其中，xk+i|k和uk+i|k是系統在k時刻對未來k+i時刻的狀態和輸入的預測值，Q>0和R>0分別是狀態和輸入權值矩陣。

預測控制的目的是在每一采樣時刻，當系統滿足式(3)、式(4)、式(6)的約束時，求解最優問題(7)，使性能指標Jk達到最小值，并設計系統(5)的狀態反饋控制律：

uk+i=Kixk+i,i≥0。

(8)

2多層概率集與概率約束

概率約束(6)給定了系統輸入滿足的概率集合。當系統滿足了給定的輸入后，在設計好的狀態反饋控制律作用下，會使系統的狀態也滿足相應的概率集合。多層概率約束(6)有μ個不相同的概率要求，因此對每一預測時刻至少需要計算μ個狀態的集合，使預測狀態分別按不同的給定概率屬于這些集合。

定義 1[19]多層概率集由μ層嵌套的橢圓集組成。從k+i時刻的某個橢圓集出發的狀態，在控制律Ki的控制下，將分別按不同的設定概率進入k+i+1時刻的μ層橢圓集中。

(9)

當施加約束：

0

(10)

文獻[19]中作者描述的引理1是將某一時刻的隨機矩陣Ak+i，Bk+i屬于一個多面體集合，于是涉及到了凸多面體的頂點。而在此文的研究相當于取集合中的一個點研究，這個點具有Markov特性。于是將文獻[19]中的引理1進行修改，可以得到滿足本文特點的如下引理。該引理保證了系統狀態在相鄰時刻的2個橢圓集內按給定概率轉移。這一結論將在之后用來預測未來任意時刻狀態的概率分布區域。

引理1考慮具有Markov跳變特點的離散時間隨機系統，如果存在矩陣變量Qμ,i，Ql,i，Qm,i+1∈Rnx×nx，Yi∈Rnu×nx，以概率pj,j∈{1,2,…,s}使下列線性矩陣不等式成立：

(11)

(12)

將式(5)代入式(12)，得:

根據正定矩陣的性質可以得到:

將上式左右兩邊同時乘以Qμ,i，得到:

利用Schur補，進一步得到:

根據文獻[19]中引理1的證明可以得到:

因此,引理1證畢。

定理1考慮具有Markov跳變特點的離散時間隨機系統，如果存在矩陣變量Qm,i∈Rnx×nx，Yi∈Rnu×nx，Wm,i∈Rnm×nm，i∈{0,1,…,N}，m=1,2,…,μ，以概率pj,j∈{1,2,…,s}滿足式(3)、式(4)和如下線性矩陣不等式：

(13)

(14)

(15)

(16)

證明：以下證明均在系統方程滿足概率pj,j∈{1,2,…,s}的情況下完成。

當系統滿足概率約束(6)時，則在k+i時刻滿足約束Pr{Gmuk+i|k≤hm}≥pm。

根據文獻[19]中定理1的證明可得:

Wm,i≥(GmYi)(2Qμ,i-Qm,i)-1(GmYi)T。

利用Schur補，上式可得:

式(15)證得，因此定理1證畢。

3預測控制算法設計

此處給出多步反饋律下的性能指標(7)的求解算法。多步反饋律在前N步依次使用反饋律K0，K1,…，KN-1，第N+1步及之后使用反饋律KN。對于具有Markov跳變特點的離散時間隨機系統(5)而言，直接優化性能指標(7)比較困難，所以可對式(7)施加一個上界。以下定理給出多步反饋律下的性能指標。

定理2若系統(5)的當前時刻狀態為xk，且存在矩陣變量Qμ,i>0∈Rnx×nx，Yi∈Rnu×nx，γ>0∈R，i=0,1,…,N，以概率pj,j∈{1,2,…,s}滿足式(3)、式(4)和如下線性矩陣不等式：

(17)

上式可以等價為如下不等式：

應用Schur補可知：

上式可根據pj，j∈{1,2,…,s}寫成s個線性矩陣不等式，因此定理2證畢。

由此，該預測控制問題轉化為如下問題的求解：

在k=0,1,…時刻，已知系統狀態為xk，求解如下優化問題：

(18)

s.t. 式(3)、式(4)、式(10)、式(13)-式(16)、式(17)，

引理3[19]如果以上算法的優化問題在k時刻可行，則在之后的所有時刻都是可行的。并且在該算法的控制下，系統均方穩定，狀態以概率1收斂到原點。

在文獻[19]中，定理3充分證明了當該算法在k時刻可行時，在k+1時刻也是可行的，并且滿足均方穩定的定義，并以此類推在之后的任意時刻都可行。因此，在本文中引用文獻[19]中的定理3也是可行的，可以保證系統均方穩定，并且以概率1收斂到原點。

隨機系統預測控制算法的步驟如下：

Step 1:設k=0；

Step 2:求解優化問題(18)，得到狀態反饋控制矩陣K0|k；

Step 3:對系統實施控制uk=K0|kxk，設已知初始值為xk，檢測系統的狀態值xk+1；

Step 4:進入下一個采樣時刻k+1，轉到Step 2繼續計算。

4仿真驗證

本節考慮一個具有3個模態的Markov隨機跳變系統，通過數值仿真實例說明算法的可行性。

針對如下系統：

xk+1=Ajxk+Bjuk，

對系統施加約束：

設初始狀態：

x0=[-0.7-0.3]T，

初始模態：

wj=0.6，

給定加權矩陣：

圖1　系統狀態軌跡曲線Fig.1　Trajectory curve of system state

根據定理1和定理2，應用MatlabLMI軟件可以求出控制律Ki，根據引理3可以知道，系統在k時刻之后的任意時刻都是成立的，并且最終以概率1收斂于原點，從而得到系統在所求控制律的作用下最終趨于穩定。

采用Matlab軟件進行仿真，仿真結果如圖1所示。

從仿真結果可以看出，具有Markov跳變特點的隨機系統，雖然其系統矩陣和輸入矩陣都是隨時間而變化的，但是在本文設計的控制器作用下，系統能夠排除隨機干擾，最終保持穩定，從而實現良好的性能。

5結語

本文研究了具有Markov跳變特點的隨機系統當滿足一系列不同設定概率軟約束條件時的預測控制算法，為使多層概率集滿足概率軟約束，采用多步反饋控制方法計算反饋序列，使系統的性能指標得到優化，保證了遞歸的可行性和穩定性，具有較大的可行范圍。

參考文獻/References:

[1]任有志，王璐，劉輝. 基于PLC的大型熱油鍋爐自動化改造[J]. 河北工業科技，2015，32(3)：264-267.

REN Youzhi，WANG Lu，LIU Hui. Automatic transformation of large hot oil boiler based on PLC[J]. Hebei Journal of Industrial Science and Technology，2015，32(3)：264-267.

[2]張蘇英，齊雪蓮，郭慧聰，等. 基于預測模糊的供暖系統控制算法研究[J].河北工業科技，2013，30(3)：143-146.

ZHANG Suying，QI Xuelian，GUO Huicong，et al. Study on control algorithm of heating system based on predictive fuzzy control[J]. Hebei Journal of Industrial Science and Technology，2013，30(3)：143-146.

[3]席裕庚, 李德偉, 林姝. 模型預測控制——現狀與挑戰[J]. 自動化學報，2013，39(3): 222-236.

XI Yugeng，LI Dewei，LIN Shu. Model predictive control:Status and challenges[J].Acta Automatica Sinica，2013，39(3)：222-236.

[4]錢積新，趙均，徐祖華. 預測控制[M]. 北京：北京化工大學出版社，2007.

[5]DING Baocang，XI Yugeng，CYCHOWSKI M T，et al. A synthesis approach for output feedback robust constrained model predictive control[J]. Automatica, 2008, 44(1): 258-264.

[6]LI Dewei，XI Yugeng，ZHENG Pengyuan. Constrained robust feed-back model predictive control for uncertain systems with polytopic description[J].International Journal of Control，2009，82(7)：1267-1274.

[7]LI Dewei，XI Yugeng，GAO Furong. Synthesis of dynamic output feedback RMPC with saturated inputs[J]. Automatica，2013，49(4)：949-954.

[8]CHENG Qifeng，CANNON M，KOUVARITAKI B. The design of dynamics in the prediction structure of robust MPC[J]. International Journal of Control，2013，86(11)：2096-2103.

[9]ZHENG Pengyuan，LI Dewei，XI Yugeng，et al. Improved model prediction and RMPC design for LPV systems with bounded changes[J].Automatica，2013，49(12)：3695-3699.

[10]CANNON M，KOUVARITAKI B，WU Xingjian. Model predictive control for systems with stochastic multiplicative uncertainty and probabilistic constraints[J]. Automatica 2009，45(1)：167-172.

[11]WU Xingjian. Probabilistic constrained MPC for multiplicative and additive stochastic uncertainty[J]. IEEE Transactions on Automatic Control，2009，54(7)：1626-1632.

[12]KOUVARITAKI B，CANNON M， CHENG Qifeng. Explicit use of probabilistic distributions in linear predictive control[J]. Automa-tica， 2010，46：1719-1724.

[13]CANNON M，KOUVARITAKI B，CHENG Qifeng. Stochastic tubes in model predictive control with probabilistic constraints[J]. IEEE Transactions on Automatic Control，2011，56(1)：194-200.

[14]CANNON M，KOUVARITAKI B，NG D. Probabilistic tubes in linear stochastic model predictive control[J]. Systems and Control Letters，2009，58(10/11)：747-753.

[15]劉飛，蔡胤. 基于終端不變集的Markov跳變系統的約束預測控制[J]. 自動化學報，2008，34(4)：496-499.

LIU Fei，CAI Yin. Constrained predictive control for Markov jump linear system based on terminal invariant sets[J].Acta Automatica Sinica，2008，34(4)：496-499.

[16]程晉功. Markov 跳變系統的反饋預測控制研究[D]. 無錫：江南大學，2014.

CHENG Jingong. The Research of Feedback Predictive Control for Markov Jump Systems[D]. Wuxi：Jiangnan University，2014.

[17]肖琳. Markov 跳變系統的模型預測控制研究[D]. 煙臺：魯東大學，2013.

XIAO Lin. Model Predictive Control Method for Markov Jump Systems[D].Yantai:Ludong University，2013.

[18]BERNARDINI D，BEMPORAD A. Stabilizing model predictive control of stochastic constrained linear systems[J].IEEE Transactions on Automatic Control，2012，57(6)：1468-1480.

[19]李濟煒，李德偉，席裕庚，等. 基于多層概率集的隨機預測控制算法設計[J]. 自動化學報，2014，40(12)：2697-2705.

LI Jiwei，LI Dewei，XI Yugeng，et al. On design of stochastic model predictive control algorithm based on multi-layer probabilistic sets[J]. Acta Automatica Sinica，2014，40(12)：2697-2705.

[20]SU Yang，TAN K K，LEE T H. Comments on “Model predictive control for systems with stochastic multiplicative uncertainty and probabilistic constraints”[J]. Automatica，2011，47(2)：427-428.

[21]WANG Chen，ONG C J，SIM M. Model predictive control using segregated disturbance feedback[J]. IEEE Transactions on Automatica Control，2010，55(4)：831-840.

[22]WILLIAMS D. Probability with Martingales[M]. Cambridge: Cambridge University Press，1991.

Predictive control for stochastic systems based on multi-layer probabilistic sets

LIANG Huaqing1， ZHANG Dongwen2， XING Shaoguang1， ZHANG Shasha2

(1.School of Electrical Engineering, Hebei University of Science and Technology, Shijiazhuang, Hebei 050018, China; 2.School of Information Science and Engineering, Hebei University of Science and Technology, Shijiazhuang, Hebei 050018, China)

Abstract:Aiming at a class of discrete-time stochastic systems with Markov jump features, the state-feedback predictive control problem under probabilistic constraints of input variables is researched. On the basis of the concept and method of the multi-layer probabilistic sets, the predictive controller design algorithm with the soft constraints of different probabilities is presented. Under the control of the multi-step feedback laws, the system state moves to different ellipses with specified probabilities. The stability of the system is guaranteed, the feasible region of the control problem is enlarged, and the system performance is improved. Finally, a simulation example is given to prove the effectiveness of the proposed method.

Keywords:stochastic process; predictive control; Markov jump; probabilistic constraints; multi-layer probabilistic sets

中圖分類號：TP13

文獻標志碼：A

通訊作者：張冬雯教授。E-mail：zdwwtx@hebust.edu.cn

作者簡介：梁華清(1988—)，女，河北石家莊人，碩士研究生，主要從事隨機系統預測控制方面的研究。

基金項目：河北省自然科學基金(F2014208169)

收稿日期：2015-09-29；修回日期：2015-12-18；責任編輯：李穆

doi:10.7535/hbkd.2016yx02015

文章編號：1008-1542(2016)02-0205-08

梁華清，張冬雯，邢少光，等.基于多層概率集的隨機系統預測控制[J].河北科技大學學報,2016,37(2):205-212.

LIANG Huaqing，ZHANG Dongwen，XING Shaoguang，et al. Predictive control for stochastic systems based on multi-layer probabilistic sets[J].Journal of Hebei University of Science and Technology,2016,37(2):205-212.