基于最小二乘支持向量機的MIMO線性參數變化模型辨識及預測控制

馮凱，盧建剛，陳金水

（浙江大學控制科學與工程學系工業控制技術國家重點實驗室，浙江 杭州310027）

引 言

近年來，隨著控制理論的發展，線性參數變化（linear parameter varying，LPV）模型系統辨識得到了學術界和工業界的廣泛關注[1]。LPV這一名詞，最先由Shamma等[2]在研究增益調度時提出，指的是一類狀態依賴于某一可測調度變量的模型。

現有的線性參數變化模型根據模型結構進行劃分，可分為基于傳遞函數的模型結構[3]，基于子空間的結構[4]和基于正交基的結構[5]。而基于輸入輸出傳遞函數的LPV模型結構大致又可分為2類：基于模型插值LPV結構和基于參數插值LPV結構。在基于模型插值的框架下，文獻[6]提出了一種多模型線性參數變化架構。該算法首先選取幾個典型工作點，并在典型工作點辨識得到系統的局部線性模型，然后根據工作點測試數據以及工作點間過渡數據，選取合適的權值插值函數，辨識出系統的全局模型。在基于參數插值的模型結構下，調度變量全局連續變化。假設模型系數可表示為一組基函數的線性組合，則系數可通過線性回歸求解。兩種方法各有優缺點，基于模型插值的LPV結構，典型工作點的選取主要依賴于經驗，且合適的權值函數的選擇也很關鍵，但該方法辨識成本較低，不會干擾正常工業過程；而基于參數插值的模型結構需要大范圍進行測試，可能會干擾原系統正常運行，但該方法可通過線性回歸的方法直接得到全局模型，計算量較低，模型結構更加緊湊。

傳統的基于參數插值的LPV模型結構，模型質量與所選基函數密切相關。為了充分描述模型系數與調度變量的函數關系，通常會選取多于實際所需數目的基函數，這會導致嚴重的過參數化問題。而當系統先驗知識不夠時，往往又會因為基函數數目過少而導致模型結構偏差。

文獻[7]針對單輸入單輸出系統提出了基于最小二乘支持向量機（least square support vector machine, LSSVM）的 LPV模型結構。LSSVM[8-9]由傳統支持向量機發展而來，通過運用l2損失函數和線性回歸，可得到問題的唯一解。相比傳統SVM算法，LSSVM 算法通過線性回歸求得唯一解，可大大減少計算量,這也為構建一種高效的 LPV辨識算法提供了可能。基于LSSVM-LPV模型可逼近復雜非線性系統，能自動決定模型結構，從而避免因基函數選擇不當帶來的模型結構偏差和方差過大等問題。本文將這一方法推廣到多輸入多輸出（multiple-input multiple-output，MIMO）系統，仿真結果表明MIMO-LSSVM-LPV辨識算法能取得很好的辨識效果。

然后本文研究了基于MIMO-LSSVM-LPV模型結構的預測控制算法（model predictive control，MPC）。MPC因其能處理多輸入多輸出帶約束問題得到了廣泛關注[10]。大部分工業過程并不是嚴格的線性系統，這導致運用線性模型作為預測模型的方法并不是十分準確。而采用非線性模型作為預測模型又會導致最優控制量計算復雜，經典的數值計算方法無法得到最優解甚至可行解。遺傳算法（genetic algorithm, GA）[11-12]作為一種非線性全局優化算法，具有簡單通用、魯棒性強、可并行處理等優點，很好地解決了以上問題。本文利用辨識所得的MIMO-LSSVM-LPV模型作為預測模型，在每個采樣點預測系統輸出，結合遺傳算法，實時滾動優化控制量，取得了很好的控制效果。

1 ARX模型的LPV辨識[7]

給定單輸入單輸出離散時間系統的有源自回歸模型（auto-regressive model with exogenous input，ARX）如下

假設樣本數據集為

對式( 3 )的最小二乘估計可表示為

從而問題(5)的最優解可表示為

2 基于MIMO-LSSVM-LPV模型辨識

與第 1節介紹的標準最小二乘不同，在基于LSSVM-LPV模型結構辨識算法中，系數iφ與p的函數依賴關系未知。文獻[7]已證明，在函數依賴關系未知的情況下，基于LSSVM-LPV模型辨識算法可以得到一致估計。為實現該方法在多輸入多輸出系統的應用，系統的每一個輸出需分別獨立進行辨識。為了簡化過程，文中以2輸入2輸出系統為例。記參數化模型結構為

式中，j代表系統第j個輸出，代表具體形式未知的特征映射模型。是第i個參數向量，是模型j的預測誤差。定義(k)為

記

則式(9)可表示成如下形式

式中，是調節參數，是最小化訓練誤差和模型復雜度之間的折中，對 LPV 模型的推廣性能有著重要影響。該帶約束優化問題可通過構造拉格朗日函數在對偶空間求解。

將式(14)、式(15)代入式(16)，可得

式中，k∈ { 1,… ,N}，N代表樣本數目。式(17)可進一步表示為

且

式中，Ki是人們熟知的核函數，通過將高維空間的點積運算轉化為原輸入空間的代數運算，極大地簡化了計算。也使得問題的求解不再需要確定的具體形式，只需選擇合適的核函數即可。常用的核函數有徑向基核函數（radial basis function，RBF）、多項式核函數等。這里采用常用的 RBF，定義如下

其中，是輸出的平均值，是根據辨識出的模型的預測值。采用核函數，式(18)的解可表示為

在該算法中，作為中間變量，它的值無法直接求解。通過運用核函數，該方法能得到以系數()T(·)為整體的值。利用得到的，即可根i據式(11)求得模型的預測輸出。

3 基于MIMO-LSSVM-LPV模型預測控制研究

預測控制是基于模型的先進控制算法。根據歷史信息及未來輸入，利用模型預測未來輸出，通過對某個性能指標最優化計算確定當前控制時域內最優控制序列[13]。通常只將當前時刻最優控制量作用于系統，并在下一時刻重復上述過程，故稱為有限時域滾動優化。預測模型只強調功能不強調結構。對一R輸入Q輸出帶約束系統，性能指標通常為

其中系統約束為

式中，Nur為第r個輸入的控制時域，Nyq為第q個輸出的預測時域，rλ為調節系數，yrq和y?q分別是第q個輸出的實際值和預測值，urh和url分別是第r個輸入的上下限。利用辨識所得的MIMO-LSSVM-LPV模型作為預測模型，根據當前所處工況點，根據式(24)計算辨識所得系數，再利用式(11)即可得到模型預測輸出。利用遺傳算法的全局搜索特性計算滿足約束且使性能指標式(25)最優的控制序列。將當前最優控制量作用于系統，并在每個采樣點重復上述過程，即可實現過程的控制。具體的算法框圖見圖1。

圖1 預測控制結合遺傳算法框圖Fig.1 Block diagram of GA based MPC

4 辨識研究

4.1 實例一：LPV-ARX模型辨識

設有如式(27)的雙輸入雙輸出LPV系統

其中調度變量P∈[?1 ,1]，e為零均值隨機噪聲過程 ，系統系數如式(28)所示。

在該系統中，模型系數對調度變量p為靜態依賴，但是系數非線性情況復雜，用傳統的非線性辨識方法很難得到滿意的解。

將對式(27)的辨識問題轉化為對如下模型結構的辨識

選取

，的選取并不需要完全一致，具體情況需視辨識系統而定。調度變量p的操作軌跡按照p(k)= sin(0.25k)變化。用幅值在[?1,1]之間零均值均勻分布的隨機數作為系統輸入u1,u2，產生 2000組輸入輸出序列。其中，1500組用于辨識，500組用于測試。首先在無噪聲條件下測試算法性能。通過網格法，最大化BFR，得核函數中待整定參數為運用基于MIMO-LSSVM-LPV辨識算法對該系統進行辨識，系數的辨識結果如圖 2。由圖 2可知，在沒有系統先驗知識的情況下，該算法可以很好地辨識出非線性特性嚴重的系統參數。

圖2 LPV模型參數估計Fig.2 Identified parameters of LPV models

定義輸出誤差為

圖3 辨識模型輸出和實際系統輸出比較Fig.3 Comparison between identified outputs and actual outputs

對測試集進行預測，預測效果如圖3。從圖3可以看出，運用基于MIMO-LSSVM-LPV辨識算法辨識得到的模型輸出能很好地跟蹤原系統的輸出，1y，y2的輸出誤差如表1所示，可見該辨識算法辨識的模型準確度很高。

表1 輸出誤差Table 1 Output error

表2 不同噪聲水平下系統輸出誤差Table 2 Output error under different noise

4.2 實例二：等溫型CSTR模型辨識

連續攪拌釜反應器（CSTR）[14]是生產聚合物時使用最廣泛的反應器。該反應是典型的多工況過程[15-16]。本文選用文獻[17]中提出的理想的 CSTR過程模型為研究對象。該過程代表等溫偽一階反應A+B→P反應過程，其中反應物A濃度過量。過程模型可表示為

約束條件為

參數取自文獻[18]

該過程為典型的雙輸入雙輸出系統，兩個輸入為u1和u2，兩個輸出為y1和y2，是一個有上下界約束的非線性多輸入多輸出系統。取輸入向量為

圖4 預測模型輸出和實際系統輸出比較Fig.4 Comparison between predicted outputs and actual outputs

圖5 預測控制輸出及控制量變化Fig.5 Predicted outputs and control actions

輸出為y1和y2，u2為調度變量。為充分激發系統非線性，u1和u2采用零階保持信號，并分別按照正弦和余弦函數變化。單個信號持續作用時間為300 s，采樣周期為 2 s。共產生數據 7500組，其中 5000組用于辨識模型，2500組用于驗證模型效果。在無噪聲情況下進行辨識，通過最大化BFR，得到待整定參數為σ1=0.1，σ2= 0 .1，γ1=1，γ2=1 。辨識所得兩個MISO模型，仿真效果如圖4所示，可見模型能很好地逼近系統的非線性。

5 預測控制研究

針對式(27)和式(28)代表的非線性過程，利用已經辨識得到的MIMO-LSSVM-LPV模型作為預測模型，開展系統預測控制研究。設定系統初值為y1=0，y2=0。GA 使用二進制編碼，初始種群大小為 30，最大迭代次數 200，交叉概率 0.7，變異概率 0.1，適應度函數為預測控制算法性能指標[式(25)]的倒數。預測控制算法的預測時域和控制時域都為2。為了測試算法在不同工作點間切換性能,令調度變量在時刻50及100時分別從0.8變化到0.9再變到1.0，系統的輸出及控制作用如圖5所示。由圖5可知，當工作點發生切換時，該控制算法能很快使系統輸出達到并穩定在設定值附近。同時，基于GA的預測控制計算單步最優控制量的時間僅為0.75 s，完全能夠實現在線計算。

6 結 論

本文結合針對多輸入多輸出系統的最小二乘支持向量機線性參數變化模型的辨識算法及基于遺傳算法的預測控制算法，提出了MIMO-LSSVMLPV+GA-MPC辨識及控制一體化架構。MIMOLSSVM-LPV辨識算法能自動判斷模型結構，避免了因基函數選擇不當帶來的模型失配。兩個仿真實例表明，該算法能逼近復雜非線性系統，且計算量低。結合遺傳算法的預測控制可以使系統在不同工作點間切換時快速達到控制目標。但是該辨識算法對噪聲比較敏感，通過網格法選取最優整定參數費時過長，未來研究可著重針對這兩方面。

[1]Yu Zhao, Huang Biao, Su Hongye, Chu Jian. Prediction error method for identification of LPV models [J].Journal of Process Control,2012, 22 (1): 180-193

[2]Shamma Jeff S, Michael Athans. Analysis of gain scheduled control for nonlinear plants [J].Automatic Control, IEEE Transactions on,1990, 35 (8): 898-907

[3]Previdi F, Lovera M. Identification of a class of non-linear parametrically varying models [J].International Journal of Adaptive Control and Signal Processing, 2003, 17 (1): 33-50

[4]Verdult Vincent, Michel Verhaegen. Subspace identification of multivariable linear parameter-varying systems [J].Automatica, 2002,38 (5): 805-814

[5]Tóth Roland, Peter S C Heuberger, Paul M J Van den Hof.Asymptotically optimal orthonormal basis functions for LPV system identification [J].Automatica, 2009, 45 (6): 1359-1370

[6]Zhu Y C, Xu Z H. A method of LPV model identification for control//Proceedings of 17th IFAC World Congress [C]. Seoul, Korea,2008

[7]Tóth Roland, Vincent Laurain, Wei Xing Zheng, Kameshwar Poolla.Model structure learning: a support vector machine approach for LPV linear-regression models//50th IEEE Conference on Decision and Control and European Control Conference (CDC-ECC)[C]. 2011:3192-3197

[8]Suykens Johan A K, Joos Vandewalle. Least squares support vector machine classifiers [J].Neural Processing Letters, 1999, 9 (3):293-300

[9]Wang Haifeng, Hu Dejin. Comparison of SVM and LS-SVM for regression//International Conference on Neural Networks and Brain.ICNN&B’05 [C]. 2005: 279-283

[10]Li Ping (李平), Ren Penghui (任朋輝). Multiple constrained generalized predictive control for cascade industrial systems [J].CIESCJournal(化工學報), 2010, 61 (8): 2159-2164

[11]Davis Lawrence. Handbook of Genetic Algorithms[M]. New York:Van Nostrand Reinhold, 1991

[12]Whitley Darrell. A genetic algorithm tutorial [J].Statistics and Computing, 1994, 4 (2): 65-85

[13]Qian Jixin (錢積新), Zhao Jun (趙均), Xu Zuhua (徐祖華).Predictive Control (預測控制)[M]. Beijing: Chemical Industry Press,2007

[14]Luo Xionglin (羅雄麟), Yu Yang (于洋), Xu Jun (許鋆). Online optimization implementation on model predictive control in chemical process [J].CIESC Journal(化工學報), 2014, 65 (10): 3984-3992

[15]Jie You, Yang Qinmin, Lu Jiangang, Sun Youxian. Identification of LPV models with non-uniformly spaced operating points by using asymmetric gaussian weights [J].Chinese Journal of Chemical Engineering, 2014, 22 (7): 795-798

[16]Ge Zhiqiang (葛志強), Song Zhihuan (宋執環). New online monitoring method for multiple operating modes process [J].Journal of Chemical Industry and Engineering(China)(化工學報), 2008, 59(1): 135-141

[17]Oliveira N M C. Newton-type algorithms for nonlinear constrained chemical process control [D]. Pittsburgh: Carnegie Mellon University,1994

[18]Martinsen F, Biegler L T, Foss B A. A new optimization algorithm with application to nonlinear MPC [J].Modeling Identification and Control, 2005, 26 (1): 3-22