帶稀疏特性的最優區間回歸模型辨識方法

劉小雍，方華京，楊 航，張 強，張南慶

(1.遵義師范學院工學院，貴州 遵義 563006； 2 華中科技大學自動化學院，湖北 武漢 430074)

0 引言

建立被控或研究對象的準確數學模型是高級控制、故障診斷、過程仿真以及在線監測等應用的成功保證[1]。近年來，隨著科技的發展，眾多的實際工程系統呈現出復雜的非線性及變量間的耦合關系等因素，導致很難建立準確的數學模型；此外，對來自控制系統中的過程參數變化、外部干擾或傳感器失效也對控制系統的設計增加了諸多不確定性[2]。這些現象的存在更需要探索一種更有效的建模方法，能夠實現復雜的輸入-輸出映射及非線性函數逼近。因此，出現了基于數據或數據驅動的建模方法[3-4]，即通過傳感器或其他數據獲取設備獲取被控對象的輸入-輸出數據，采用神經網絡[5]、T-S模糊模型[6]、自回歸滑動平均模型[7]等方法建立復雜系統的數學模型，這些方法的共同特點是建立的數學模型一般是確定的，不受系統參數變化、測量噪聲或其他不確定性等因素的影響，具有一定的局限性：1)確定的數學模型不能自適應系統的變化，易受外界干擾；2)基于訓練數據建立的數學模型結構較復雜、泛化性能差等。譬如在NN、 TS模型的參數辨識過程中，主要考慮如何最小化模型的預測輸出與實際輸出之間的偏差，其中2-范數的經驗風險最小化準則[9-12]以及卡爾曼濾波的參數的估計方法[13-14]用得較多。如果僅從建模精度來看，經驗風險最小化準則確實可以以任意的的精度逼近任意的非線性系統，但容易陷入局部最優，導致模型結構復雜[15]。因此，有必要引入對模型結構復雜性的控制，文獻[16]從模型稀疏角度出發，在前饋NN中引入稀疏描述概念，對模型的初始結構進行優化，用于正確選取最小化輸出殘差的重要隱神經元，權值及偏差項的調整仍然采用最小二乘標準。為了解決模型精度以及泛化性能之間的平衡，文獻 [17]引入了結構風險最小化準則做為目標優化，極大提高了模型的泛化性能。

結構風險由經驗風險和控制模型結構的Vapnik-Chervonenkis(VC)維組成，其中VC維對模型結構起著至關重要的影響。隨著ε不敏感域損失函數的引入，支持向量機(SVM)被擴展到回歸問題，即支持向量回歸(SVR)[18]已成功應用于最優控制[19]、TS模型的初始結構選取[20]、時間序列預測以及非線性系統建模[21]等。 鑒于SVR中的結構風險最小化原理在各種應用中的優越性，文獻[22—23]將Hammerstein系統的動態線性部分與靜態非線性部分辨識構造為最小二乘-SVR(LSSVR)架構，并對動態部分采用LSSVR辨識。在TS 模型的后件參數辨識中，為了克服傳統的經驗風險最小化所帶來的缺陷，文獻[21]基于LSSVR分解建立了新的代價函數求解后件參數。上述基于數據的建模方法主要集中在確定性建模方法的研究，即獲取到的數學模型是確定的點輸出，其模型結構保持不變，同時也不受系統參數變化、測量噪聲以及其他不確定性因素的影響。然而，在眾多的實際應用中， 獲取的信息往往呈現出不確定、不準確以及不完整等特征，對于這一類特征的信息描述，若仍采用傳統的確定性數學模型建模，顯然不能更好的去捕捉這一類不確定性復雜系統的特征變化。

1 支持向量回歸的優化問題轉化

(1)

(2)

(3)

式(3)中，f(x)以式(2)形式描述，‖β‖1表示系數空間的1-范數。因此，新的約束優化問題為：

(4)

(5)

為了轉化上述優化問題為線性規劃問題，將βk和|βk|進行如下分解：

(6)

基于式(6)，優化式(5)進一步變成：

(7)

(8)

2 逼近誤差的1范數最小化的最優區間回歸模型辨識

2.1 逼近誤差的1范數最小化的回歸模型辨識

繼上一章介紹的SVR優化問題轉化，該部分將討論模型參數估計的另一種方法，即使用1范數作為建模誤差的評判標準。假設通過傳感器或數據獲取設備獲取一組測量數據{(x1,y1),(x2,y2),…,(xN,yN)}，其中{x1,x2,…,xN}描述輸入測量數據，對應的輸出定義為{y1,y2,…,yN}。設測量滿足如下非線性系統模型；

yk=g(xk),k=1,2,…,N

(9)

根據統計學理論理可知[18]，存在以式(2)描述的非線性回歸模型f對測量模型g的任意逼近，當逼近精度越小時，需要的支持向量越少；反之，逼近精度越高，則支持向量越多。因此，對任意給定的實連續函數g及η>0，存在如下回歸模型f滿足:

(10)

值得指出的是，較小的η值，對應式(2)較多的支持向量。現討論回歸模型，式(2)的另一種參數求解方法。在非線性系統模型的逼近情況下，定義實際輸出與由式(2)定義的SVR模型輸出之間的偏差ek：

ek=yk-f(xk) ?k

(11)

為了估計SVR模型的最優參數，考慮如下所有逼近誤差的最小化問題：

(12)

式(12)中，Z表示整個輸入數據集。顯然，這是關于逼近誤差的1范數優化問題。在式(2)描述的回歸模型情況下，式(12)的最小化可通過如下兩個階段完成：1) 核函數中的核寬度σ的參數尋優，通常采用經典的交叉驗證或其他方法來實現，其詳細過程在本文中不再討論; 2) 式(2)的參數確定可通過如下優化問題求解：

(13)

因此，可得如下定理：

(14)

證明：定義λk如下，

(15)

則有，

(16)

根據去絕對值運算，

(17)

(18)

可知優化問題(14)的約束條件成立。

圖1 最優區間回歸模型建模方法流程圖Fig.1 Flow chart of identifying the optimal interval regression mode

2.2 基于逼近誤差的1范數最優區間回歸模型辨識

假定不確定非線性函數或非線性系統屬于函數簇Γ：

Γ={g:S→1|g(x)=gnom(x)+Δg(x),x∈S}

(19)

fL(xk)≤f(xk)≤fU(xk) ?xk∈S

(20)

在上式約束的意義下，來自函數簇的任一成員函數總能在區間[fL(xk),fU(xk)]中找到。顯然，這樣的區間帶有無窮多個，本文的目的就是根據提出的約束，確定盡可能窄的區間帶。 該對于問題的研究，文獻[28]采用了連續分段線性函數的逼近方法來實現。在本文，是通過提出的方法給出回歸模型更好的逼近，或尋找一個更緊湊的逼近帶。由式(2)，可給出對應上、下邊回歸模型的表達式：

(21)

(22)

上、下邊回歸模型fL(xk),fU(xk)可通過線性規劃對如下優化問題進行求解：

(23)

(24)

(25)

式(25)中，λk表示第k個測量數據的逼近誤差。

(26)

式(26)中，λk表示第k個測量數據的逼近誤差。

證明：對于下邊回歸模型fL(x)，必滿足優化問題(25)的約束條件， 即yk-fL(xk)≥0，再結合定理1，可推知定理2成立；同理對于上邊回歸模型fU(x)， 必滿足優化問題(26)的約束條件yk-fU(xk)≤0， 再結合定理1， 可推知定理3成立。

雖然，基于定理2和定理3，可辨識出滿足各自約束條件的、由fU(x)和fL(x)構成的任意區間輸出，但從上述區間回歸模型辨識的思想來看， 僅考慮了上、 下邊模型輸出與實際輸出之間的逼近誤差，而回歸模型本身的結構復雜性卻沒有被考慮， 這樣一來， 通過上述優化問題獲取的參數解有可能出現不全為零的情況，導致模型結構較復雜，不具有稀疏性，對應N個樣本數據可能對區間模型的建立都在起作用。 為了提高模型的泛化性能，解決模型稀疏解的問題，在求解區間回歸模型的優化問題中，有必要將結構風險最小化的思想融合其中, 在保證回歸模型逼近精度的同時，盡可能讓模型結構復雜性得到有效控制。 基于此， 將區間回歸模型所對應的上、下邊回歸模型優化問題(25)和(26)，融合到基于結構風險最小化的優化問題(7)。 因此， 在采用高斯核函數條件下，基于式(2)所對應下邊回歸模型新的優化問題則變成：

(27)

(28)

(29)

以及對于fU(x)有：

(30)

式中，

y=(y1,y2,…,yN)T，λ=(λ1,λ2,…,λN)T

ξ=(ξ1,ξ2,…,ξN)T，Z=0N×N，I為N×N的單位矩陣，E=1N×1，核矩陣K的元素定義為:

(31)

(32)

從提出的優化問題中來建立fU(x)和fL(x)的整個過程來看，優化問題既包括了對模型結構復雜性控制的目標函數，又包括了如何獲取較好的模型精度所對應的逼近誤差作為目標函數，而且模型結構復雜性控制和模型精度之間的權衡可以通過規則化參數進行調整。 總之，提出方法在保證獲取區間模型盡可能窄的區間帶的同時，而且還對模型結構復雜性進行有效控制，從而提高區間回歸模型的泛化性能。所建立的區間回歸模型可以實現系統的故障檢測，當系統運行在健康狀態時，獲取所對應的無故障數據，應用提出的方法對無故障數據進行建模，得到無故障的區間回歸模型，從而獲取系統健康狀態下的區間帶。在系統運行期間，檢測某個測量參數輸出是否包含于區間帶，若實際輸出在對應的區間帶內，則判斷系統運行正常，否則故障發生; 此外提出的區間回歸模型也可用于魯棒控制設計、信息壓縮等方面。

3 實驗驗證

這部分內容將通過如下實驗分析，論證所提出方法的最優性與稀疏性； 同時為了更直觀的去評判提出的方法， 將考慮如下兩個性能指標，即均方根誤差(RMSE， Root Mean Square Error)和支持向量占整個樣本數據的百分比SVs%。 對于RMSE指標定義如下:

(33)

(34)

顯然，在保證下界模型建模精度的同時，指標SVs%越小越好，越小則表示求解的下界回歸模型有稀疏解，模型結構簡單，說明具有較好的泛化性能。

接下來本文將對提出的方法從區間模型的辨識精度以及稀疏特性展開實驗分析，論證其合理性與優越性，其中sinc(x)=sin(x)/x是支持向量回歸(SVR)理論[17]產生以來以及用于論證其他方法[7，29]最常采用的仿真。首先考慮基于sinc(x)在區間[-10, 10]無噪聲干擾的情況， 當選取超參數集(ε,γ,σ)為(0.25, 1 000, 2.3)時，建立的區間模型如圖2所示，描述URM和LRM稀疏特性指標SVs%都為10%，模型辨識精度RMSE分別為0.003 9和0.003 6，從圖2進一步發現，在無噪聲情況下，應用提出的方法所建立的fU(x)和fL(x)無限逼近，構成的區間寬度趨于0。 因此，可認為無噪聲情況下的傳統辨識方法是本文區間輸出研究的特殊情況，RMSE反映了在滿足各自約束條件下，URM和LRM與實際輸出的逼近情況。

圖2 提出方法在無噪聲情況下的區間輸出Fig.2 Interval output in the absence of noise for our method

如圖3所示，給出了URM與LRM與實際輸出的逼近誤差。 表1從RMSE和SVs%兩個指標分別給出了提出方法與支持向量機[17]、 相關向量機(RVM)[7]以及文獻[29]的比較結果。考慮到本文提出的方法旨在解決測量數據以及系統參數不確定性的區間模型辨識問題，但從圖2和表1可知，提出的方法也可用于無噪聲情況下的確定性模型辨識，而且無論是從辨識精度還是模型稀疏特性來看，提出方法有著較好的優越性。

圖3 區間輸出的逼近誤差，滿足 fU(x)-y(x)≥0和fL(x)-y(x)≤0Fig.3 Approximation error of the interval output subject to fU(x)-y(x)≥0 and fL(x)-y(x)≤0

表1 不同方法在無噪聲情況下的RMSE和SVs%比較結果
Tab.1 Comparison results between RMSE and SVs% in the absence of noise

方法比較RMSESVs%URMLRMURMLRM提出方法0.00480.00690.12000.1200SVR[17]0.01000.3900RVM[7]0.00870.0900文獻[27]0.0100—

然而，當非線性系統受噪聲干擾時，傳統方法不能提供區間輸出。 接下來仍然考慮從sinc(x)獲取100個帶均勻分布噪聲為[-0.2, 0.2]的等間隔無噪聲樣本的最優區間模型辨識。 當超參數集(ε,γ,σ)為(0.005, 100, 2.5),則帶噪聲的sinc(x)區間輸出逼近如圖4所示，紅色實心圓和黑色實心圓分別對應URM和LRM 的支持向量，藍色實心圓則為兩者所共有的支持向量，亦即指標SVs% 分別為12% 和10%， 反映了提出方法所建立區間模型的稀疏特性，從100個數據中，用于建立區間模型的URM和LRM 僅用了12和10個數據；RMSE為0.209 9 和0.216 2 反映了建立區間模型的建模精度，圖5給出了滿足各自約束條件下的逼近誤差。

圖4 提出方法受噪聲干擾下的區間輸出Fig.4 Interval output with noise for our method

圖5 區間模型的逼近誤差Fig.5 Approximation error for interval model

繼上述來自測量數據的不確定性實驗分析后，下面考慮來自模型參數不確定性的最優區間模型辨識。對來自帶有不確定性參數的非線性函數類Γ，其成員函數為f(x)，由名義函數fnom(x)和不確定性Δf(x)構成， 即

f(x)=fnom(x)+Δf(x)

(35)

fnom(x)=cos(x)·sin(x)

(36)

Δf(x)=λcos(8x), 0≤λ≤1

(37)

設該函數類的定義域為-1≤x≤1， 為獲取建立模型所需要的樣本數據， 不妨xk=0.021k，k=-47,-46,…,46,47， 圖6給出了由不確定性參數λ引起的不確定性輸出。 接下來用提出的區間回歸模型包絡由不確定性參數λ值所引起的測量輸出。當超參數集(ε,γ,σ)選取為(2.5, 10 000, 4.5)時，由上邊、下邊模型構成的區間回歸模型如圖7所示，其稀疏特性指標SVs%分別為23.16%和22.11%，模型辨識精度RMSE分別為0.008 2和0.007 7， 其中點線屬于Γ，圖8對應滿足上邊、下邊模型約束的逼近誤差。 當選取超參數集(ε,γ,σ)為(2.5, 10 000, 10.5) 時，獲取的區間模型如圖9所示，圖10給出了相應的逼近誤差；建立區間模型的URM與LRM所對應的稀疏特性指標SVs%分別為7.37%和8.32%，相比于核寬度σ=4.5時的稀疏特性較好，曲線越平坦， 但辨識精度變差，其RMSE分別為0.041 4 和0.050 2。 為了更清晰的論證提出方法在辨識精度和稀疏特性之間的平衡， 表2和圖11給出了在不同核參數情況下的兩個指標RMSE和SVs%， 分別反映了模型辨識精度及模型的稀疏特性. 換言之，圖9所對應區間模型的稀疏特性比圖7好， 但辨識精度卻比圖7差。

圖 6 由參數不確定性λ引起的非線性函數簇輸出Fig.6 A family of nonlinear output caused by uncertain parameter

圖 7 提出方法的區間輸出Fig.7 Interval output by the proposed method

圖8 區間模型的逼近誤差Fig.8 Approximation error for interval mode

圖9 提出方法的區間輸出Fig.9 Interval output for our method

圖10 區間模型的逼近誤差Fig.10 Approximation error for interval model

表2 RMSE,SVs%在不同核參數值下的變化情況Tab.2 The effects between RMSE and SVs% in the different kernel parameters

4 結論

本文提出了最優區間回歸模型辨識的方法，該方法將逼近誤差的1范數思想與結構風險最小化理論相結合，建立求解區間模型的最優化問題， 應用線性規劃獨立求解區間模型的上界和下界模型。該方法在保證模型辨識精度的同時，其泛化性能進一步得到提高。實驗分析表明，提出的方法對來自噪聲以及參數不確定性的數據，可以從區間模型的辨識精度和泛化性能之間取其平衡。