保精度-稀疏特性核回歸模型的非線性動態系統辨識

劉小雍， 方華京

(1.遵義師范學院工學院，遵義 563002；2.華中科技大學自動化學院，武漢 430074)

近年來，基于核學習方法[1]的非線性動態系統建模無論在線性還是非線性架構下[2-3]，都表現出了優越的建模特性，包括在時域和頻域方面的建模研究。核方法跟傳統的建模方法不一樣，在非參數模式下采用了無限維學習模型，主要通過正確選取規則化參數[4-5]來避免模型的過擬合問題。然而，當前基于一組有限測量數據條件下的非線性動態系統建模問題，其主要研究是通過最小化逼近誤差的某種最優標準來建立研究對象的非線性數學模型，這些標準包括極大似然估計[6]、最小二乘估計[7]、最大后驗估計[8]、最小方差估計[9]以及基于卡爾曼濾波的參數估計方法[10]等。這些方法所具有的共同特征可歸結為經驗風險最小化標準，即為了獲取非線性函數的最佳逼近，將模型預測輸出與實際測量輸出之間的偏差作為評判，雖然建模精度很高，卻極大地損失了模型的稀疏特性[11]。進一步，文獻[12]通過一個簡單實例論證了經驗風險最小化所引起的過擬合問題。基于經驗風險最小化的建模方法應用是很廣泛的，例如根據風電機組功率曲線建立的數學模型，可以很好地描述風速與功率輸出的變化關系，同時也作為監測和預測風能的重要工具；因此，文獻[13]從風速和渦輪功率角度出發，采用最大似然估計的方法挖掘出兩者之間最可能出現的概率密度函數。針對實際工程系統中的時變參數問題，一種新的分布式擴散型算法[14]應用擴散最大后驗算法對時變參數進行了跟蹤。基于卡爾曼濾波的參數估計在T-S模糊模型辨識過程中也得到了不同的應用[15]。當前，通過傳感器或其他數據獲取設備獲取被控系統的輸入-輸出數據，出現了基于數據或數據驅動的建模方法[16-17]，有神經網絡(NN)[18-19]、T-S模糊模型[20]、支持向量機[21]以及相關向量機(RVM)[22]等方法建立非線性動態系統的數學模型。這些方法的共同特點是建立的數學模型一般從擬合精度出發來考慮，具有一定的局限性：①基于訓練數據建立的數學模型結構復雜、泛化性能差；②所確定的數學模型不能從建模精度和模型稀疏特性之間取其平衡。尤其是基于經驗風險最小化的數據建模方法，例如在NN、 TS模糊模型的參數辨識過程中，主要考慮如何最小化模型的預測輸出與實際輸出之間的偏差，其中L2-范數的經驗風險最小化準則[23-24]以及卡爾曼濾波的參數的估計方法[25]用得較多。僅從建模精度來看，經驗風險最小化準則確實可以以任意的精度逼近任意的非線性系統，但容易陷入局部最優，導致模型結構復雜[26]。因此，有必要引入對模型結構復雜性的控制，文獻[27]從模型稀疏角度出發，在前饋NN中引入稀疏描述概念，對模型的初始結構進行優化，用于正確選取最小化輸出殘差的重要隱神經元，權值及偏差項的調整仍然采用最小二乘標準。為了解決模型精度以及泛化性能之間的平衡，文獻[28]引入了結構風險最小化準則作為目標優化，極大提高了模型的泛化性能。

考慮到結構風險由經驗風險和控制模型結構的Vapnik-Chervonenkis(VC)維組成，其中VC維對模型結構起著至關重要的影響。隨著ε不敏感域損失函數的引入，支持向量機(SVM)被擴展到回歸問題，即支持向量回歸(SVR)[29]，已成功應用于最優控制、TS模型的初始結構選取、時間序列預測以及非線性系統建模等。因此，本文將基于SVR的結構風險最小化原理與逼近誤差的L1范數相結合，建立了一種新的保建模精度-稀疏特性的核回歸模型辨識方法。首先，建立輸出與核回歸模型預測之間的逼近誤差，采用逼近誤差的L∞范數最小化保證模型的辨識精度；其次，將結構風險的L2范數轉化為簡單的L1范數優化問題，并將回歸模型與實際測量數據之間的逼近誤差的L∞范數最小化融合到結構風險的L1范數優化問題，再應用較簡單的線性規劃對雙范數的優化問題進行求解獲取模型的稀疏解。所提出方法的最優性體現在：①核回歸模型的建模精度通過逼近誤差的范數得到保證；②模型結構復雜性在結構風險的范數優化條件下得到有效控制，進而提高其泛化性能。

1 L1范數結構風險下的核回歸模型

考慮離散時間過程在某時刻tn狀態下，帶m個輸入u1,u2,…,um，以及對應單輸出yn的非線性動態系統，其對應向量可表示為

因此可將時刻tn的回歸向量構造為

(1)

p和m分別表示為輸出和輸入向量的維數，通常情況下p和m選取足夠大，以致預測輸出行為可以被完全捕捉。然而，較大維數會引起較大的計算成本，文獻[30]通過對回歸量zn的劃分，在保證辨識精度的條件下，改善了算法的復雜性。為了辨識如下描述的非線性動態系統：

yn=f(yn-1,un)

(2)

將采用基于SVR的核回歸線性展開方法辨識。

從理論上來講，基于二次規劃的SVR(QP-SVR)和線性規劃的SVR(LP-SVR)有一些相似之處，兩者的理論算法都采用了ε不敏感損失函數，在高維特征空間都使用了核函數。對于SVR問題，可采用如下回歸模型[26]：

f(x)=wTφ(x)+b

(3)

{(x1,y1),(x2,y2),…,(x,y)}為給定的訓練數據；表示總訓練數據的樣本數；xi∈Rn為訓練數據輸入；yi∈R對應目標輸出數據；φ為低維空間到高維空間的非線性映射，即φ:Rn→Rm(m>n)，w∈Rm，b∈R。為了找到最優函數f(x)，在ε-SVR中須完成如下兩個目標：①f(x)的預測輸出與所有目標輸出yi之間的偏差不能超過ε；②與此同時，所建立的f(x)要盡可能平坦，體現出模型f(x)的稀疏特性。對于傳統的SVR方法，在目標函數中最小化經驗風險的同時，也能對模型結構的參數進行控制[21]：

s.t. yi-[w,φ(xi)]-b≤ε+ξi

(4)

(5)

因此，優化問題式(4)可等價于如下正則化問題：

(6)

(7)

式(7)中：k(xi,x)為核函數，且k(xi,xi)=1。定義向量β=(β1,β2,…,β)T，則式(4)可變成如下LP-SVR優化問題[32]，

(8)

式(8)中：f(x)以式(3)描述；β1表示被求解系數空間的1范數。該正則化問題又等價于如下約束優化問題：

(9)

ξi≥0

(10)

為了將上述優化問題轉化為線性規劃問題，可將βj與|βj|分解如下：

(11)

按照式(11)的分解，參數向量β的1范數可寫成如式(12)向量形式：

(12)

(13)

式(13)中：核矩陣K的元素為kij=k(xj,xi)；ξ=(ξ1,ξ2,…,ξ)T；I為×的單位矩陣。因此，約束優化問題式(10)的參數變量α+，α-以及ξ可應用如式(14)線性規劃問題求解：

α+,α-≥0,ξ≥0

(14)

線性規劃問題式(14)可通過單純型算法或原-對偶內點算法進行求解[34]。對于QP-SVR，在ε域之外的所有數據點將被選擇為支持向量(SVs)；而對于LP-SVR，即便ε域選擇為0時，由于軟約束在優化問題中的使用，LP-SVR仍然能夠獲取稀疏解。通常情況下，稀疏解往往通過設定非零的ε域來獲取。

2 逼近誤差L∞范數的核回歸模型辨識

回歸模型辨識實際上是對模型參數的求解，包括最小二乘方法、極大似然估計、卡爾曼濾波方法等。然而，為了能將參數求解方法融合于結構風險最小化問題對模型結構復雜性進行有效控制。這部分將討論模型參數求解的另一種方法，即使用L∞范數作為建模誤差的評判標準，其核心思想是從模型逼近精度出發，確定所有逼近誤差的和達到最小。假設通過傳感器或數據獲取設備獲取一組帶有噪聲的測量數據{(x1,y1),(x2,y2),…,(xN,yN)}，其中{x1,x2,…,xN}描述輸入測量數據，對應的輸出定義為{y1,y2,…,yN}。設測量滿足如式(15)非線性系統模型

yk=g(xk), k=1,2,…,N

(15)

根據統計學理論理可知[26]，存在以式(15)描述的非線性回歸模型f對測量模型g的任意逼近，當逼近精度越小時，需要的支持向量越少；反之，逼近精度越高，則支持向量越多。因此，對任意給定的實連續函數g及η>0，存在如下回歸模型f滿足：

(16)

對于N個測量數據所對應的模型逼近誤差可定義為

(17)

式(17)中：g(xk)表示由實際測量數據所對應的真實模型；f(xk)-g(xk)表示實際輸出與由式(5)定義的SVR模型輸出f(xk)之間的偏差；λk表示第k個測量輸出的最大逼近誤差的上界。

為了滿足基于式(16)的條件，對應式(17)的所有逼近誤差的上界應盡可能小。因此，SVR模型的最優參數求解，可考慮如下所有逼近誤差的L∞范數最小化，即：

min:λ=max(λ1,λ2,…,λN),

(18)

因此，可得如下定理。

定理1設回歸模型與實際測量數據之間的上界逼近誤差為λk，式(7)的參數求解可通過最小化所有上界逼近誤差項最大值，即逼近誤差的L∞范數最小化，同時滿足如下約束的線性規劃求解：

k=1,2,…,N

(19)

式(19)中：β=(β1,β2,…,βN)T和b為被求解參數；λ表示最大逼近誤差。

證明定義λk如下：

(20)

令：

λ=max(λ1,λ2,…,λN)

(21)

可知式(19)的約束條件成立。

從式(19)的目標函數以及約束條件可知，僅從模型建模精度出發，獲取被求解參數，可能會導致式(5)描述的回歸模型出現過擬合問題。

3 保精度-稀疏特性的核回歸模型辨識

在完成SVR的優化問題從L2范數到L1范數轉化以及保精度的核回歸模型辨識之后，接下來將從保精度以及保稀疏特性的角度出發建立最優核回歸模型，如圖1所示，提出的方法將從兩個重要指標來辨識核回歸模型，其中保模型辨識精度通過引入最小化所有模型輸出與實際輸出之間的逼近誤差最大值來實現，即逼近誤差的L∞范數優化問題；另一方面，辨識精度太高，會導致模型結構復雜，出現模型過擬合問題，例如在文獻[12]提到，通過對噪聲干擾過的15個樣本進行逼近，結果如圖2所示。顯然，從圖2中可以發現圖2(a)的逼近精度較差，但有著較好的泛化性能，能正確從噪聲干擾的測量數據中將正弦信號提取出來；而圖2(b)的逼近進度很高，其逼近誤差甚至接近0，但從噪聲干擾的數據中擬合的曲線(信號)是一個無意義的信號。因此有必要引入結構風險最小化對模型結構復雜性進行控制，即保模型的稀疏特性。

圖1 保泛化性能的核回歸模型辨識方法流程Fig.1 Flow of the proposed method for the kernel regression model guaranteed-generalization performance

圖2 受噪聲干擾的正弦函數擬合問題Fig.2 Fitting problem with noise for sine function

假定不確定非線性函數或非線性系統屬于函數簇Γ由名義函數gnom(x)和不確定性Δg(x)兩部分組成，

Γ={g:S→R|g(x)=gnom(x)+Δg(x),

x∈S}

(22)

|f(xk)-g(xk)|≤λ， ?xk∈S

(23)

由式(5)，給出核回歸模型的表達式：

(24)

從上述回歸模型辨識的思想來看，僅考慮模型輸出與實際輸出之間的逼近誤差，而回歸模型本身的結構復雜性卻沒有被考慮，這樣一來，通過上述優化問題獲取的參數解有可能出現不全為零的情況，不具有稀疏特性，對應N個樣本數據可能都是支持向量，導致模型結構復雜。為了解決模型稀疏解的問題，在求解核回歸模型的優化問題中，有必要將結構風險最小化的思想融合其中，在保證回歸模型逼近精度的同時，盡可能讓模型結構復雜性得到有效控制。基于此，將核回歸模型優化問題[式(19)]，融合到基于結構風險最小化的優化問題[式(10)]。因此，對于帶有稀疏特性的核回歸模型f(x)的優化問題，有

ξk≥0,λ≥0,k=1,2,…,N

(25)

從優化問題[式(25)]可知，為典型的線性規劃問題，可應用內點法或單純性方法可以求解優化問題[式(25)]。由于在SVR方法中，其核函數的使用包括高斯核函數(Gaussian radial basis function，GRBF)、多項式核函數、Sigmoid核函數、可逆多二次核函數(inverse multi-quadric kernel)等。 然而，通過大量的實驗研究表明，高斯核函數相對于其他核函數在實際應用中易于實現且具有較強的映射能力。因此在回歸模型辨識中采用高斯核函數，基于式(7)進而得到上界回歸模型f(x)：

(26)

從應用提出方法來建立核回歸模型的整個過程來看，優化問題既包括了對模型結構復雜性控制的目標函數，又包括了如何獲取較好的模型精度所對應的逼近誤差作為目標函數，而且模型結構復雜性控制和模型精度之間的權衡可以通過規則化參數進行調整。總而言之，提出方法在保證獲取下界模型建模精度的同時，而且還對模型結構復雜性進行有效控制，從而提高下界回歸模型的泛化性能。

4 實驗分析

為了論證提出方法的合理性與優越性，將從保精度和保模型稀疏特性兩方面展開提出方法的保泛化性能實驗分析，其中保精度是通過均方根誤差(root mean squares error, RMSE)指標進行評估，定義如下：

(27)

式(27)中：N表示所獲取測量數據的總數；y(k)為第k個實際測量數據；f(xk)對應核回歸模型預測輸出，如式(24)定義。f(xk)與y(k)之間的偏差越小越好，即通過RMSE指標進行評估，若RMSE越小，核回歸模型建模精度越高，反之較低。顯然，通常情況下，較高的建模精度會引起式(26)的結構更復雜，喪失模型結構的稀疏特性，泛化性能變差。為了對模型結構的稀疏特性進行有效評估，將采用在所有N個測量數據中，對模型結構本質上其貢獻作用的測量數據，即支持向量(support vector, SV)所占百分比(SVs),用于評估模型的稀疏特性，其定義如下，

(28)

圖3 提出方法在無噪聲情況下的輸出(σ=3.5)Fig.3 Output of the proposed method without noise (σ=3.5)

圖4 提出方法求解的參數δ(δ=10-8)Fig.4 Parameters are solved by applying the proposed

圖5 核回歸模型的逼近誤差Fig.5 Approximation error for kernel regression model

表1 不同方法在無噪聲情況下的RMSE和SVs比較結果

表2 建立模型所對應的SV和值

圖7 核回歸模型的逼近誤差Fig.7 Approximation error for kernel regression model

圖6 提出方法在噪聲情況下的輸出(σ=4.0)Fig.6 Output of the proposed method with noise(σ=4.0)

(29)

第二個實驗仿真采用如下傳遞函數描述的線性動態系統：

(30)

采樣時間取為ts=0.01s，樣本數N=200，構造輸入輸出向量分別如下:

k=3,4,…,N

(31)

當選擇超參數集(ε,γ,σ)為(0.000 1, 10 000, 20.0)，時，如圖8所示，意味著建立模型只用了200個樣本中的11個數據，對應稀疏特性的SVs=0.055 6，RMSE=1.598 8×10-4。從這兩個指標可知，提出的方法從建模精度何稀疏特性進行了很好的權衡，模型泛化性能得到提高，對應逼近誤差如圖9所示。如果核寬度選取為30時，稀疏特性進一步得到顯著提高，對應SVs=0.035 4，RMSE=0.023 1，相比于1.598 8×10-4，精度出現了明顯下降，如圖10所示。

圖8 無噪聲時的模型辨識輸出(σ=20)Fig.8 Output of the kernel regression model without noise (σ=20)

圖9 核回歸模型的逼近誤差(σ=20)Fig.9 Approximation error for kernel regression model (σ=20)

圖10 帶噪聲時的模型辨識輸出(σ=30)Fig.10 Output of the kernel regression model with noise (σ=30)

繼線性動態系統的模型辨識之后，接著考慮如下的非線性動態系統辨識：

(32)

圖11 核參數為4.5、0.1、20時的模型辨識輸出(無噪聲)Fig.11 Output of the kernel regression model when the kernel parameter is selected as 4.5，0.1，20 (no noise)

緊接著，考慮從受噪聲影響后的式(29)獲取201個測量數據建立模型。當超參數集(ε,γ,σ)為(0.000 1,10 000,15)時，建立的模型輸出如圖12所示，逼近誤差如圖13所示，對應的SVs和RMSE分別為0.069 7和0.321 2，如表3所示；圖14為相應的支持向量。當核參數σ=20時，模型辨識輸出如圖15所示，SVs和RMSE分別為0.044 8和0.464 1，顯然，模型的稀疏特性較好，僅用了9個數據(SVs)建立模型，但建模精度相比于圖12有所下降。表3給出了在不同核寬度σ下的SVs和RMSE，可以發現，隨核寬度σ的增加，SVs在逐漸減小，表明建立模型所用到的SVs減小，模型結構簡單，對應較好的稀疏特性；相反，用于反映模型辨識精度的RMSE增加，表明模型的辨識精度降低。因此，反映稀疏特性的SVs和反映模型辨識精度的RMSE之間是一對矛盾體，在核寬度σ的選取上，應從建模的需要從兩者之間取其平衡，不能一味地去追求某個指標。通過上述實驗仿真可知，對提出的方法在模型辨識精度和稀疏特性兩個方面進行了詳細分析，可從中取其平衡來保證模型的泛化性能。為了進一步論證提出方法的優越性，表4給出了提出方法與文獻[35-36]在稀疏特性指標SVs和模型辨識精度RMSE的比較，顯然提出方法具有較好的泛化性能。

圖12 核參數為15時的模型辨識輸出(噪聲)Fig.12 Output of the kernel regression model when the kernel parameter is selected as 15(noise)

圖13 核參數為15時的模型逼近誤差(噪聲)Fig.13 Approximation error of the kernel regression model when the kernel parameter is selected as 15(noise)

圖14 提出方法求解的參數δ(δ=10-8)Fig.14 Parameters are solved by applying the proposed

圖15 核參數為20時的模型辨識輸出(噪聲)Fig.15 Output of the kernel regression model when the kernel parameter is selected as 20(noise)

表3 當超參數ε=0.000 1，γ=10 000時，在不同核寬度σ情況下的SVs和RMSETable 3 Comparison results between SVs and RMSE of the selected different kernel width σ for ε=0.000 1 and γ=10 000

表4 不同方法在無噪聲情況下的RMSE和SVs比較結果

5 結論

從保模型辨識精度以及稀疏特性出發，通過將結構風險最小化理論與逼近誤差最小化思想相結合，提出了保精度-稀疏特性的核回歸模型用于辨識非線性動態系統。該方法將逼近誤差的L∞范數思想與結構風險最小化理論相結合，建立求解非線性動態系統所對應的核回歸模型優化問題，再應用較簡單的線性規劃對其求解，其中L1范數是在結構風險最小化框架下對模型稀疏特性的控制；L∞范數的引入是基于模型逼近誤差對模型辨識精度的控制，將兩者融合到一個優化問題，可實現模型的保精度-保稀疏特性之間的平衡。