基于神經網絡的切換非線性系統辨識

王 林, 王宏偉,2*, 柴秀俊

(1.新疆大學電氣工程學院， 烏魯木齊 830047； 2.大連理工大學控制科學與工程學院， 大連 116024)

切換系統是由一系列有限個子系統和決定子系統之間相互聯系的規律(切換規律)組成的混雜系統。作為一類非常重要的混雜系統，切換系統廣泛存在于人們的生活中。比如汽車的變速箱系統中，加速、減速、勻速等對應發動機輸出的轉速比是不同的，即不同運動階段汽車的動力系統模型不同。此外，電力系統[1]、機器人控制系統[2]、溫度控制系統、攪拌反應釜系統[3]、復雜網絡同步系統[4]、多智能體系統[5-9]等依然存在著大量的切換系統。

對于切換系統辨識，一般需要利用采樣數據辨識切換規律和系統參數。由于切換規律作用，切換系統數據通常是混雜的，采樣數據與各個子系統的對應關系通常是未知的，普通辨識方法很難保證切換規律辨識的準確率和參數辨識算法的魯棒性。為解決上述問題，學者們進行了多方面研究，在切換線性系統情況下，Sadeghi等[10]引入了引力搜索法、Juloski等[11-12]引入了貝葉斯算法、Wang等[13]提出了增益重置策略、Borges等[14]引入了投影子空間法、Bako[15]提出了凸優化法、Ma等[16]提出了混合整數規劃法、Sefidmazgi等[17]提出了聚類法。

以上研究主要集中于線性系統領域，由于非線性系統本身具有非線性、復雜性和多樣性，采用線性辨識方法一般不能解決切換非線性系統的辨識問題。因此，一些學者展開了此方面的研究。Zhang等[18]對于連續電機伺服轉臺系統，提出了一種切換非線性自回歸滑動平均(nonlinear auto regressive moving averagee xogenous，NARMAX)模型，將轉臺NARMAX模型的切換規律和參數辨識轉化為約束多目標優化問題(constrained multiobjective optimization problem，CMOP)，并提出使用Pareto最優多目標粒子群優化算法解決上述CMOP問題。Bianchi等[19]引入范疇分布和伯努利分布，通過調整每個子系統模型的概率分布，逐步獲得趨向整體混合模型的極限分布，最終獲取最優切換模型。此算法在模式分配和模型識別方面都有很好的表現，但存在因陷入局部問題而造成模式識別不匹配現象。Bianchi等[20]又針對一類切換非線性自回歸模型提出了一種兩階段黑箱迭代辨識法，在第一階段中，假設模式切換只能在預定義的時刻發生，而在第二階段中通過細化候選切換時間的數量和位置，最終估計實際模式切換。然而，這種方法精確估計的前提是需預先知道大致切換時間。

上述文獻提出的辨識方法中存在切換規律識別有一些失配情況以及對切換時間存在要求，而一般情況下切換規律識別錯誤率越高，系統辨識結果準確度越差。基于上述討論，針對切換非線性系統切換規律和參數難于辨識的問題，現提出基于BP神經網絡和折息遞推辨識算法辨識切換非線性系統模型的方法。此方法引入標簽函數標簽化所有子系統，利用系統采樣的混雜數據，通過BP算法對神經網絡進行訓練，從而建立非線性系統切換規律的神經網絡預測模型，利用神經網絡預測模型對切換規律進行預報，目的是提高預報質量，降低識別錯誤率；然后，使用折息遞推辨識算法和關鍵項分離法在線辨識非線性系統中各子系統的參數，進而解決各子非線性系統的參數辨識問題；最后，給出非線性系統辨識仿真和結論。

1 問題描述

一類Hammerstein-Wiener切換非線性系統模型如圖1所示。在第k時刻，切換規律σ(k)控制系統切換至第i個子系統，此時刻系統輸出y(k)由第i個子系統決定，由此完成當前時刻系統運行。

NL1i、NL2i分別為第i個子系統輸入端非線性環節、輸出端非線性環節；Lineari為中間動態線性環節；σ(·)為該系統切換規律，σ(k)為第k時刻的切換規律；u(k)、y(k)分別為系統輸入和輸出信號圖1 Hammerstein-Wiener切換非線性系統模型Fig.1 Hammerstein-Wiener switching nonlinear system model

在圖1中，考慮如下Hammerstein-Wiener切換非線性系統模型：

v(k)=Fσ(k)[u(k)]

(1)

x(k)=Gσ(k)(z-1)v(k)

(2)

y(k)=Hσ(k)[x(k)]

(3)

式中：σ(k)為滿足σ(k)∈i={1,2,…,I}的分段切換函數；Fσ(k)(·)、Hσ(k)(·)為系統輸入端非線性函數、輸出端非線性函數；Gσ(k)(z-1)為系統中間動態線性環節的傳遞函數；v(k)、x(k)分別為第一、二個非線性系統的輸出信號，v(k)∈R，x(k)∈R；u(k)∈R、y(k)∈R且分別為非線性系統的輸入和輸出信號。

在σ(k)切換規律的控制作用下，第i個子系統被激活，第i個子系統中的輸入和輸出非線性函數都用已知的非線性基函數的線性組合來描述，此時被激活的非線性子系統為

(4)

(5)

(6)

式中：

(7)

式中：e(k)為均值為零、方差為δ2的噪聲。

整理式(7)可得

(8)

定義兩向量即參數集乘積項向量?i和信息向量φi(k)，形式如下：

(9)

(10)

(11)

(12)

(13)

(14)

對于切換系統[式(14)]的辨識任務為兩個，即切換規律σ(k)的確定和模型中參數的辨識。系統切換方式，文獻[13]認為有三種，即周期切換、不定期切換和隨機切換。在上述切換方式作用下，在工作時間內系統會形成切換序列[σ(1),σ(2),σ(3),…,σ(k),…]。切換規律辨識任務：估計當前采樣時刻系統要切換到哪個子系統和在這個子系統上駐留的時間。基于輸入/輸出采樣數據，建立切換規律σ(k)的神經網絡預測模型和辨識模型[式(14)]中的參數。

2 切換規律預測模型建立

在切換系統辨識中，切換規律有時有些經驗數據，通過對經驗數據的訓練和分類建立神經網絡預測模型，從而實現對未知切換的子系統、切換時刻、每次切換駐留時間等信息進行預測。

2.1 標簽化切換規律

為更好預測，同時便于跟蹤和分析每個子系統特征，首先引入標簽，統一子系統標識。在切換系統中，每個子系統都是獨立且唯一的，因此每個子系統標簽也必須唯一。將第i個子系統標簽定義為δi，形式為

δi=[01,…,0i-1,1i,0i+1,…，0I]T

(15)

具體的，δi共有I位(I為切換子系統總數)，當切換至第i個子系統時，第i位置1，其余位置0，表示該子系統的標簽被啟用。當系統第k時刻切換至第i個子系統時，標簽可表示為

δ(k)=[01,…,0i-1,1i,0i+1,…，0I]T。將標簽引入后，系統切換規律可以用式(16)描述，即

σ(·)=δ(·)=[δ(1),δ(2),δ(3),…,

δ(k),…]

(16)

2.2 BP神經網絡的切換規律預測模型建立

BP神經網絡是一種多層前向神經網絡，含有單個隱含層的BP神經網絡結構如圖2所示，其擁有R個輸入神經元、M個輸出神經元和O個隱含層神經元。在第k次迭代時，輸入層第r個神經元、隱含層第o個神經元輸出分別為x′r(k)、p′o(k)，輸出層第m個神經元的實際輸出、期望輸出分別表示為z′m(k)、y′m(k)，輸出層第r個神經元與隱含層第o個神經元之間連接的權值為w′ro，隱含層第o個神經元與輸出層第m個神經元之間連接的權值為s′om。

圖2 BP神經網絡結構圖Fig.2 BP neural network structure diagram

在預測切換系統切換規律之前，首先要對BP神經網絡進行訓練，建立切換規律的神經網絡預測模型。選取時間段[0,K]內各個子系統的狀態數據組成訓練集N=[X,Y]，由式(9)、式(14)、式(16)構成輸入數據集X：

(17)

構成實際期望輸出數據集Y：

(18)

(19)

網絡中隱含層激活函數、輸出層激活函數分別選取logsig函數、softmax函數作為激活函數，它們函數形式如下：

(20)

(21)

(1)給定網絡的訓練樣本N(樣本形式)和切換規律數據，設置網絡參數，包括：隱含層數目O、學習率ζ、訓練誤差E′及網絡訓練次數M。

(2)初始化網絡權值等參數。

(3)計算輸出層輸出z′m(k)以及輸出層實際輸出與期望輸出的均方誤差E(k)。

(4)判斷誤差精度是否達到要求，若沒達到，進行步驟(4)；否則，保存各項參數，算法結束。

(5)更新隱含層與輸出層間的權值s′om、輸入層與隱含層間的權值w′ro、輸入層與隱含層間的閾值εo(k)、隱含層與輸出層間的閾值ζm(k)。

(6)判斷是否達到設置的最大網絡訓練次數M，若沒達到，轉回步驟(3)；否則，算法停止。

3 參數估計

系統參數辨識方法有多種，比如最小二乘法、遺忘因子最小二乘法、加權最小二乘法等。與這些方法相比，現使用含有遺忘因子和加權因子的折息遞推辨識算法(recursive method with discounted measurements，RDM)辨識參數，它具有時變跟蹤能力即動態特性，同時還能保持區間內系統數據的平均特性。

(22)

考慮最小二乘辨識模型[式(14)]，對第i個子系統選取準則函數為

(23)

(24)

則可推導出k時刻第i個子系統參數估計值為

(25)

定義協方差矩陣ψi(k)為

(26)

定義增益矩陣?i(k)為

?(k)=ηi(k)ψi(k)φi(k)

(27)

由式(25)～式(27)推導，可得如下折息遞推辨識算法：

(28)

(29)

(30)

(31)

(32)

(33)

(34)

(35)

通過以上公式，對于第i個系統，在第k次迭代中，系統辨識參數結果為

(36)

基于折息遞推辨識算法的參數估計步驟如下：

(3)由訓練后的BP神經網絡輸出δ(k)，通過δ(k)預測當前子系統i。

(6)若k未達到最大值，則k=k+1，轉到步驟(2)；否則，結束算法。

4 仿真

考慮如下由3個Hammerstein-Wiener非線性系統結構組成的切換非線性系統：

子系統1：

其中系統參數：a1=[1,-0.34,-0.5]T,b1=[1,-0.3,-0.2]T,c1=[0.26,-0.1,-0.96]T,d1=0.25,0.35,1.05]T。

子系統2：

其中系統參數：a2=[1,-0.21,0.25]T,b2=[1,0.44,-0.9]T,c2=[0.78,0.12,0.61]T,d2=[0.51,-0.9,-0.12]T。

子系統3：

e(k)。

其中系統參數：a3=[1,0.53,0.75]T,b3=[1,-0.6,-0.2]T,c3=[0.14,0.42,-1.01]T,d3=[-0.6,0.8,0.41]T。

在仿真中，輸入u(k)為零均值、單位方差的高斯白噪聲序列，噪聲信號e(k)為零均值、方差δ2為0.001的高斯白噪聲序列，輸入信號和輸出信號的噪信比為SNR=0.13%。同時，加權因子取η1=η2=η3=0.999，遺忘因子取ρ1=ρ2=ρ3=0.999。

系統采用隨機切換方式，每50個樣本周期性等概率隨機在子系統{1,2,3}中切換，產生10 000個已知切換規律的訓練數據，經過神經網絡訓練建立神經網絡預測模型。另外，在線對2 000個未知切換規律的測試數據進行切換規律預測。BP神經網絡初始參數設置中，所有閾值、權值初始值為0，訓練誤差E′=10-10，學習率ζ=0.000 1，輸入層、輸出層神經元數目分別為19和3。由式(29)確定隱含層數目大致范圍為[5,15]，為選取更合適的隱含層數目，將隱含層數目范圍擴大至[4,70]，并取其中的偶數。在訓練時，每個隱含層數目進行100次實驗，統計訓練時間及切換規律預測正確率，并觀察正確率分布情況。不同隱含層數目正確率中位數和正確率均值變化圖如圖3所示，不同隱含層數目訓練平均時間和正確率標準差變化圖如圖4所示。

圖3 不同隱含層數目正確率中位數和正確率均值變化圖Fig.3 Variation plot of the median of the correct rate and the mean of the correct rate under different numbers of hidden layers

圖4 不同隱含層數目訓練平均時間和正確率標準差變化圖Fig.4 Variation plot of the training average time and variation plot of the standard deviation of correct rate under different numbers of hidden layers

從圖3、圖4可看出，不同隱含層數目在100次實驗中，隱含層數目為34時，切換規律預測正確率較高且波動較小，同時訓練時間較為合適。通過對比可以看出，選取34作為隱含層數目，對切換非線性系統進行切換規律預測。切換非線性系統實際切換規律如圖5所示，通過神經網絡預測得到的切換規律如圖6所示，預測得到的切換規律正確率為99.900%，兩條曲線基本接近，可將預測規律近似為實際切換規律。在此基礎上，通過100次重復實驗，將本文方法與投影子空間法[14]、支持向量機(support vector machine，SVM)法進行對比，統計得到不同方法切換規律預測錯誤率的箱形圖，如圖7所示。從圖7可以看出，本文方法分類錯誤率主要集中在0～4%，低于其他兩種算法。

圖5 切換非線性系統實際切換規律Fig.5 The actual switching rules of switching nonlinear systems

圖6 系統切換規律的預測Fig.6 Prediction of system switching rules

圖7 不同方法切換規律預測錯誤率的箱形圖Fig.7 Box plot of prediction error rate of switching rules under different methods

在上述預測模型基礎上，不同算法辨識統計結果如表1所示，其中err為各個子系統參數辨識結果最終的總體相對誤差。第一組為通過遞推最小二乘算法(recursive least squares，RLS)獲得的參數辨識結果，第二組為加權最小二乘算法(recursive weighted least squares，RWLS)獲得的參數辨識結果，第三組為遺忘因子最小二乘算法(recursive forgetting factor，RFF)獲得的參數辨識結果，第四組為折息遞推辨識算法獲得的參數辨識結果。四種方法參數辨識總體相對誤差曲線如圖8所示。

表1 不同辨識算法的統計結果

圖8 RLS、RFF、RWLS、RDM參數辨識總體相對誤差曲線Fig.8 RLS, RFF, RWLS and RDM parameter identification overall relative error curve

以上仿真結果表明：

(1)BP神經網絡對于切換非線性系統具有良好的擬合性，神經網絡經過訓練后建立的預測模型，能夠較為準確地在線預測出系統的切換規律。

(2)對于有噪聲存在的切換非線性系統參數辨識，折息遞推辨識算法具有的動態特性和平均特性，充分利用了系統數據信息，使參數辨識精度較高、效果更好。

5 結論

針對Hammerstein-Wiener切換非線性系統，提出了BP神經網絡和折息遞推辨識算法對Hammerstein-Wiener切換非線性系統的切換規律和參數進行辨識。仿真實驗結果表明，通過訓練后的BP神經網絡能夠較為準確地預測切換規律，結合折息遞推辨識算法可以比較準確地辨識切換非線性系統參數。對于切換規律未知的切換非線性系統辨識還是比較困難的，它將是今后這類系統辨識研究的重點，研究者將進一步探索。