PLS在狀態(tài)檢測多元線性回歸中的應(yīng)用

摘 要：系統(tǒng)的狀態(tài)檢測過程中，各影響因子之間往往存在著多重相關(guān)性，給回歸建模分析帶來許多負(fù)面影響，采用偏最小二乘(PLS)回歸建模分析可以很好地解決這個問題。在簡述 P LS原理的基礎(chǔ)上，結(jié)合系統(tǒng)狀態(tài)檢測仿真數(shù)據(jù)， 建立系統(tǒng)的狀態(tài)檢測的PLS模型，分別驗證PLS回歸預(yù)測模型用于多個自變量對單個因變量和多個自變量對多個因變量的回歸模型的用于系統(tǒng)狀態(tài)檢測的可行性。

關(guān)鍵詞：偏最小二乘；回歸分析；狀態(tài)檢測

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

The Model of Multivariate and Linear Regress in State Detection Based on PLS

SHANG Wei1， LIANG Yuying1， BA Ning2

（1.Ordnance Engineering College，Shijiazhuang 050003，China;

2.Wuhan Ordnance Noncommissioned Officers Academy，Wuhan 430075，China）

Abstract:Multiple correlations often exist among the different impact factors in systematic state detection course. And will bring about a series of negative effects on regression modeling and analysis. However，the partial least—squares regression method can solve this problem in a reasonable manner. Based on the principle of PLS，and also combined with system State detection emulation data，a partial least—squares regression model are established．validate of these two models include more to one and more to more model ware made，and good results was achieved.

Key words:partial least—squares(PLS)；regression analysis；state detection

1 引 言

對系統(tǒng)進(jìn)行安全檢測，整理歸納所測數(shù)據(jù)資料并進(jìn)行建模分析，掌握系統(tǒng)的工作情況，評估其安全程度，是十分重要的。在狀態(tài)檢測技術(shù)的分析、預(yù)測研究中，多元線性回歸分析是一種很常用的技術(shù)方法，然而在實際應(yīng)用中卻受到很多限制，主要表現(xiàn)為：①實際情況中普遍存在變量之間的多重相關(guān)性問題，他能嚴(yán)重影響多元線性回歸模型的參數(shù)估計，擴大誤差；②多元線性回歸對樣本容量要求較高，在許多問題的實際應(yīng)用中很難達(dá)到。偏最小二乘（PLS）回歸分析能有效解決以上問題。PLS回歸提供一種多對多線性回歸建模的方法，特別當(dāng)兩組變量的個數(shù)很多，且都存在多重相關(guān)性，而觀測數(shù)據(jù)的樣本量又較少時，用偏最小二乘回歸建立的模型具有傳統(tǒng)的經(jīng)典回歸分析等方法所沒有的優(yōu)點。

2 PLS分析原理

PLS回歸方法與普通最小二乘回歸在思路上的最主要的區(qū)別是它在回歸建模過程中采用了信息綜合與篩選技術(shù)。它不是直接考慮因變量和自變量集合的回歸建模，而是在變量系統(tǒng)中提取若干對系統(tǒng)具有最佳解釋能力的新綜合變量，然后利用它們進(jìn)行回歸建模。

偏最小二乘回歸分析在建模過程中集中了主成分分析， 典型相關(guān)分析和線性回歸分析方法的特點，因此在分析結(jié)果中，除了可以提供一個更為合理的回歸模型外，還可以同時完成一些類似于主成分分析和典型相關(guān)分析的研究內(nèi)容，提供更豐富、深入的一些信息。

2.1 建模步驟

考慮p個因變量y1，y2，…，yp與m個自變量x1，x2，…，xm的建模問題。建模步驟一般包括：

1）標(biāo)準(zhǔn)化處理。因變量組和自變量組的n次標(biāo)準(zhǔn)化觀測數(shù)據(jù)陣分別記為E0和F0。

E0=x*11x*n1……x*1mx*nm，F0=y*11y*n1……y*1py*np

x*ij=xij－jsj，i=1，2，…，n，j=1，2，…，m （1）

y*ij=yij－jsy，i=1，2，…，n，j=1，2，…，p （2）

式中，j、j表示均值，sj、sy表示標(biāo)準(zhǔn)差。為了方便表示，先假定 p個因變量y1，y2，…，yp與m個自變量x1，x2，…，xm均為標(biāo)準(zhǔn)化變量，即xij=x*ij。

計算技術(shù)與自動化2011年3月

第30卷第1期尚 偉等：PLS在狀態(tài)檢測多元線性回歸中的應(yīng)用

2）分別提取兩變量組的第一對成分，并使之相關(guān)性達(dá)最大。

從E0中抽取一個成分t1=E0w1，w1=ET0F0‖ET0F0‖且‖w1‖=1，實施E0和F0在t1上的回歸。

E0=t1pT1+E1（3）

F0=t1r1+F1（4）

式中，pT1、r1是回歸系數(shù)，即

p1=ET0t1‖t1‖2，r1=FT0t1‖t1‖2

檢查收斂性，若y對t1的回歸方程達(dá)到滿意的精度，則進(jìn)行下一步；否則，E0=E1，F0=F1，回到第2）步。

3）在方程滿足精度要求后，得到q個成分t1，t2，…，tq，實施F0在t1，t2，…，tq上的回歸，得到

F0=r1t1+r2t2+…+rqtq（5）

由于t1，t2，…，tq是E0的線性組合，所以可得

F0=r1E0w*1+r2E0w*2+…+rqE0w*q（6）

其中，

w*h(huán)=Πh－1j=1(I－wjpTj)ωh(huán)，（ωh(huán)是w*h(huán)的分量，下同）。

4）由于第1）步中假設(shè)x、y都是標(biāo)準(zhǔn)量，而實際上是經(jīng)過標(biāo)準(zhǔn)化處理后得到的，所以，按照標(biāo)準(zhǔn)化的逆過程，F0的回歸方程還原為y對x的回歸方程，最后得到

y=a1x1+…+apxp（7）

2.2 交叉有效性分析

一般情況下，偏最小二乘法并不需要選用存在的r個成分t1，t2，…，tr來建立回歸式，而像主成分分析一樣，只選用前l(fā)個成分(l

SymbolcB@ r)，即可得到預(yù)測能力較好的回歸模型。對于建模所需提取的主成分個數(shù)l，可以通過交叉有效性檢驗來確定。通過考察增加一個新的成分后，能否對預(yù)測模型的預(yù)測功能有明顯的改進(jìn)來考慮。

每次舍去第i個觀測，用余下的n－1個觀測值按偏最小二乘回歸方法建模，并考慮抽取h個成分后擬合的回歸式，然后把舍去的第i個觀測點代入所擬合的回歸方程式，得到y(tǒng)j(j=1，2，…，p)在第i個觀測點上的預(yù)測值(i)j(h)。對i=1，2，…，n重復(fù)以上的驗證，即得抽取h個成分時第 j個因變量yj的預(yù)測誤差平方和為

PRESSj(h)=∑ni=1(yij－(i)j(h))2（8）

Y的預(yù)測誤差平方和為

PRESS(h)=∑pi=1PRESSj(h)（9）

另外，再采用所有的樣本點，擬合含h個成分的回歸方程。這時，記第i個樣本點的預(yù)測值為ij(h)，則可以定義yj的誤差平方和為

SSj(h)=∑ni=1(yij－ij(h))2 （10）

定義Y的誤差平方和為

SS(h)=∑pi=1SSj(h) （11）

PRESS(h)的值達(dá)到最小時，對應(yīng)的h即為所求的成分個數(shù)。在提取成分時，總希望比值PRESS(h)SS(h－1)越小越好。一般可設(shè)定限制值為0.05，即PRESS(h)SS(h－1)≤0.952時，增加成分th(huán)有利于模型精度的提高。

為此，定義交叉有效性為

Q2h(huán)=1－PRESS(h)SS(h－1)（12）

這樣，在建模的每一步計算結(jié)束前，均進(jìn)行交叉有效性檢驗，如果在第h步有Q2h(huán)＜1－0.952，則模型達(dá)到精度要求，可停止提取成分。

3 案例分析

PLS回歸模型可以實現(xiàn)多因變量對多自變量的回歸建模。本文分別對多對一、多對多模型進(jìn)行實例分析。其中因為多對一模型比較簡單，只是進(jìn)行了簡單的驗證，而把重點放在了多對多模型分析驗證上。

圖1 三階低通濾波器

3.1 單因變量的回歸模型

單因變量的回歸模型，本文采用某三階低通濾波器為模型，如圖1所示，共設(shè)5個檢測點，以檢測點2的數(shù)據(jù)為因變量，其余檢測點為自變量。回歸結(jié)果為

v(2)=0.1757v(1)－1.2529v(3)－1.5349v(4)－0.1757v(5)

得出，檢測點2的值是其他檢測點值的線性組合。

3.2 單因變量的回歸模型

采用某電路功率的仿真數(shù)據(jù)為例，X1、X2、X3為檢測點電壓，作為自變量，Y1、Y2為兩個檢測點功率，用做因變量。

以上數(shù)據(jù)中，取前十組數(shù)據(jù)用做回歸分析，后三組數(shù)據(jù)用做預(yù)測檢驗。把數(shù)據(jù)代入功能程序分析后可得：提出的成分個數(shù) r=2

回歸系數(shù)為

251.5877 -33.5541

-2.674612.3638

-6.685516.7355

-0.7671 1.8699

其中，第一行為常數(shù)項，第i列對應(yīng)第i個因變量。對應(yīng)的回歸方程為

y1=251.6－2.675x1－6.686x2－0.767x3

y2=－33.554+12.36x1+16.74x2+1.870x3

下圖為回歸與預(yù)測絕對誤差曲線圖，用‘o’號表示的為y1誤差曲線，用‘+’號表示的為y1誤差曲線。

圖2 回歸與預(yù)測絕對誤差曲線

可以看到，PLS回歸模型可以很好的完成線性系統(tǒng)的回歸分析，對短期預(yù)測達(dá)到較高的精度。由于仿真數(shù)據(jù)比真實數(shù)據(jù)中夾雜的噪聲信號要小，所以回歸與預(yù)測精度較高。

4 結(jié)束語

通過對偏最小二乘回歸分析的原理以及建模步驟的分析，提出將PLS應(yīng)用于系統(tǒng)的狀態(tài)檢測的多元線性回歸，并通過實例驗證了該方法的可行性。仿真實例計算表明，PLS方法可以很好的克服多重相關(guān)性在系統(tǒng)回歸建模中的不良影響，所建模型不論是擬合效果還是預(yù)測精度都取得令人滿意的結(jié)果。模型具有了多元線性回歸分析、主成分分析和典型相關(guān)分析的優(yōu)點，對系統(tǒng)狀態(tài)檢測數(shù)據(jù)的整體性分析能力強。然而，PLS僅僅對線性回歸具有較好的解釋能力，而且還有很多可以發(fā)展和完善的地方，需要繼續(xù)深入地研究。

參考文獻(xiàn)

［1］ 張恒喜，郭基聯(lián)，朱家元，等．小樣本多元數(shù)據(jù)分析方法及應(yīng)用［M］ ．西安：西北工業(yè)大學(xué)出版社，2002．

［2］ 李紅祥，岳東杰．偏最小二乘回歸在大壩位移監(jiān)控中的應(yīng)用［J］ ．水電自動化與大壩監(jiān)測，2010，34（2）：42-45．

［3］ 鄒永杰，端木京順，高海龍．基于核偏最小二乘的支持向量機回歸算法研究［J］ ．計算機工程與設(shè)計，2010，31（10），2290-2293．

［4］ 樓順天，劉小東，李博菡．基于MATLAB 7.x的系統(tǒng)分析與設(shè)計—信號處理［M］．西安：西安電子科技大學(xué)出版社，1998．

［5］ 谷松林，秦志明．基于稀疏核偏最小二乘法的短期負(fù)荷預(yù)測研究［J］ ．華北電力大學(xué)學(xué)報，2010 37（2）：24-28．

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文