改進偏最小二乘回歸在電力負荷預測中的應用

季澤宇，袁 越，鄒文仲

（河海大學 能源與電氣學院，南京 210098）

中長期電力負荷預測通常通過以往的數據找出負荷的變化規律，從而分析負荷未來的變化趨勢［1—3］。這類方法主要有：回歸分析法、時間序列法、灰色預測法以及組合預測方法等［4—7］。其中，應用最小二乘法的一般多元線性回歸方法簡單有效，被廣泛采用。但是在實際電力負荷分析過程中，由于自變量往往存在多重相關性且有時樣本容量較小，可能會造成回歸分析式不合實際而使預測誤差偏大，為此，偏最小二乘法得到了應用［8］。

在一般的偏最小二乘法中，所有自變量都被保留，可以反映各個變量間的關系，但是，這一性質并不一定能提高負荷預測結果的準確度，無用的自變量反而可能會引入誤差。由于傳統最小二乘的參數篩選方法往往基于數據總體符合線性正態分布誤差的模型假設，在更為復雜的偏最小二乘中無法應用，所以，可以用非參數統計方法Bootstrap來解決此類問題。Bootstrap是一種基于數據模擬的統計方法，由美國斯坦福大學教授Efron于1979年提出［9—10］，應用在偏最小二乘法的變量檢驗中可以去除非顯著變量因素，使模型更為簡潔、變量作用關系更為明確，同時預測精度得到提高。

本文使用偏最小二乘回歸預測中長期電力負荷，并針對其不足采用Bootstrap方法對回歸表達式中變量做出篩選。結果表明，經過這種改進后，電力負荷預測結果更加準確，同時回歸表達式中負荷數據與其影響因素之間的關系也更為清晰。

1 偏最小二乘回歸模型及Bootstrap檢驗方法

1.1 偏最小二乘算法

電力負荷預測中，因變量只有電力負荷，只需采用多自變量與單因變量的偏最小二乘簡化算法［11—12］。設自變量x數目為m，因變量y數目為1，統計的樣本數（年數）為n，由此構成統計數據表X=（x1，x2，…，xm）n×m，Y=（y）n×1。

從X中提取主成分th，h=1，2，…，k，使之能夠滿足：①th包含原數據X變異信息盡可能最大；②th對Y有很好的解釋能力；③th加入后方程的預測能力有明顯改善。

提取的主成分之間相互獨立，且與因變量Y存在明顯的相關關系。分別作X、Y對th的回歸，而Y則可以表示為X的回歸形式，由此得出自變量與因變量之間的關系。從X中連續提取k個主成分th，直到回歸方程達到一個滿意的精度，同時保證樣本擾動誤差盡量小。這樣計算可以有效解決自變量的多重線性關系，得到比較準確的偏最小二乘回歸表達式。

1.2 偏最小二乘法計算過程

（1）數據標準化處理

（2）提取主成分th

式中：wh是Eh的一個軸，為單位向量，且有‖wh‖2=1。

為使t1能盡量多的代表E0中的變異信息，根據優化方法，求解得

然后實施Eh以及Fh在th上的回歸

式中：Eh、Fh為殘差矩陣；ph、rh為回歸系數，并且滿足

由式（4）可以得到提取主成分后的殘差

由式（8）、式（2）可以將th改寫為E0的線性組合

（3）交叉有效性檢驗

每次新成分th都需檢驗其是否對方程的預測能力有明顯改進，以決定到底是否引入該成分。

設h個成分擬合后，第i個值y*i的擬合值為設去除樣本i，利用剩余的樣本提取h個成分回歸計算得到的表達式，預測出y*i的值為?y*h（-i） 。定義

當Q2h≥0.097 5時，則認為成分th對于預測能力的貢獻是顯著的，在表達式中引入這個成分，否則認為其帶來過多樣本點的擾動誤差，th被舍棄，同時停止主成分的提取。

（4）建立回歸表達式

重復步驟（2）、（3）連續提取成分th，并且每次對其進行交叉有效性檢驗，直到th不滿足檢驗條件，進入下一步驟。

若此時共提取k個主成分，則F0的回歸方程

根據式（1）進行變量標準化逆過程，得到原始值的回歸方程

1.3 Bootstrap原理

由于式（15）中模型參數的估計量具有非常復雜的非線性性質，很難得到其在原假設下的精確分布，無法確定其參數的臨界值［13］。Bootstrap可以有效解決這個問題，它通過原始數據中有放回地隨機抽取一定數量的觀測值，組成一個新樣本，計算出相應參數值。經過這樣的反復抽樣，在大量實驗下就可以得到反映這個數據集合的參數總體分布了。根據參數的這種分布可以得到在一定檢驗標準下參數的臨界值，對參數作檢驗，進而進行取舍。

1.4 Bootstrap參數檢驗過程

通過偏最小二乘計算得到式（15）后，對各個自變量參數進行檢驗，去除影響不顯著的因素。具體步驟如下：

（1）建立Bootstrap樣本

在初始數據中用蒙特卡洛方法隨機產生一個與原始樣本類似的樣本。抽樣時，每次記錄一組數值后都再放回數據表。如此記錄nB（nB＜n）組數據，得到的新樣本即為Bootstrap樣本，樣本容量為nB。

（2）樣本回歸

以得到的Bootstrap樣本做偏最小二乘回歸，成分數取原始數據回歸所用成分數k，得到

（3）重復取樣

重復步驟（1）、（2）共B次（B取一個較大的數），得到B組系數

（4）計算臨界值

（5）參數檢驗判斷

如果|βi|＞ δi，則認為變量xi作用顯著，否則認為xi作用不顯著，未通過檢驗。

（6）重新進行回歸計算

若自變量不顯著，去掉此變量后更新原始數據，重新進行偏最小二乘回歸計算，否則，結束回歸分析，根據式（16）得到原始值回歸方程。

2 算例分析一

2.1 原始數據

以江蘇省2000—2009年農村用電量及相關因素的統計量為例［14］，分別運用一般最小二乘法、帶變量篩選的逐步回歸法、偏最小二乘法以及帶變量篩選的Bootstrap檢驗偏最小二乘法對2000—2007年的數據進行分析，以2008、2009年的數據比較各種方法的預測精度。

表1為原始數據（此處只顯示2位小數），其中：因變量為農村用電總量y；自變量為農村人口x1、農村家庭人均收入x2、第一產業總值x3、第二產業總值x4、第三產業總值x5、農林牧漁總產值x6、農作物播種面積x7。

表1 江蘇省2000—2009年農村用電量及其因素統計

對原始數據進行相關性分析，結果如表2所示?？梢园l現，各自變量間存在明顯的相關性。本算例中，分析的樣本數只有8個，而自變量多達7個，同時多重相關性嚴重，一般方法難以得到可靠的回歸結果。下面通過偏最小二乘回歸進行分析，計算在C++環境下實現。

2.2 偏最小二乘法分析

（1）提取成分t1，得

表2 各變量相關系數表

進行交叉有效性檢驗得Q2=0.908＞0.097 5，繼續運算。

（2）提取成分t2，得

可決系數R2=0.984。

進行交叉有效性檢驗得Q2=0.114＞0.097 5，繼續運算。

（3）提取成分t3，得

進行交叉有效性檢驗得Q2=-0.055＜0.097 5，停止運算。

（4）得出回歸方程

由上述分析可知，提取2個成分已經足夠，如式（17）所示。

經標準化逆過程，得到原始值回歸方程

這個表達式就是一般偏最小二乘法的結果，式中各項系數都為正，基本反映了變量的現實關系。

2.3 基于Bootstrap篩選變量的偏最小二乘分析

分析式（18）中的參數是否作用顯著：取Bootstrap樣本1 000個（B=1 000），樣本容量nB=7，按照檢驗水平α=0.1進行分析。計算相應系數集合｛?βbi｝，元素排序后取第100（B×α）個元素作為臨界值。每次實驗臨界值有一定變化，但不影響判斷。α=0.1時，7個自變量標準值參數的Bootstrap檢驗結果如表3所示。

表3 7個自變量標準值參數的Bootstrap檢驗

由表3可知x1和x7沒有通過檢驗。在原始數據中剔除x1、x7，用偏最小二乘法做y關于x2～x6的回歸。

提取主成分t1，進行交叉有效性檢驗得Q2=0.944＞0.097 5。

提取主成分t2，進行交叉有效性檢驗得Q2=-1.513＜0.097 5。

所以這里只需提取一個主成分，得到

對于新的表達式，再次進行Bootstrap參數檢驗，B、nB、α取值與前一步相同，經過試驗，得到臨界值如表4所示。

表4 5個自變量標準值參數的Bootstrap檢驗

所有參數都通過檢驗，化為原始值表達式

式（20）就是經過Bootstrap檢驗的偏最小二乘法最終結果。

2.4 算例結果

采用一般最小二乘法分析統計數據，得

式中：自變量x5（省第三產業總值）和x6（農林牧漁總產值）前的系數為負，顯然與事實不符。

采用逐步回歸法，篩選自變量，進行最小二乘回歸得

自變量只剩下x2（農村家庭人均收入）和x7（農作物播種面積），大量變量被去除，得不到變量間關系。

比較上述4種回歸分析方法，數據的擬合與預測結果如表5、表6所示，圖1為各方法對電量的擬合折線圖。

圖1 各方法擬合預測結果比較

表5 歷史數據擬合結果比較

表6 預測結果比較

綜合分析表5、表6以及圖1可以發現：一般最小二乘法的表達式實際意義不清晰，雖然在擬合階段誤差極小，但由于過分追求擬合，模型建立時大量吸收了各樣本的擾動誤差，在預測階段效果極差；逐步回歸法模型表達式變量比較少，實際變量的解釋能力較弱，擬合和預測效果都處于中等；偏最小二乘法的表達式物理意義清晰，但在本算例中，預測效果并沒有優于逐步回歸法；經過Bootstrap參數檢驗的偏最小二乘法，由于去除了部分不顯著的自變量，導致運算中可以從自變量中提取的主成份信息減少，致使擬合優度下降，但是，減少的不顯著自變量同時也帶走大量噪聲，可提高數據間相關關系表述的準確性，使表達式物理意義更為清晰，有效提高預測準確度。

3 算例分析二

根據文獻［12］中的算例（具體數據見文獻），采用基于Bootstrap法的偏最小二乘法進行負荷預測分析，得到α=0.1時10個自變量標準值參數的Bootstrap檢驗結果，如表7所示。

表7 10個自變量標準值參數的Bootstrap檢驗

自變量x5和x10未能通過檢驗，去除這2個變量，得到新的偏最小二乘回歸表達式

與原有方法的擬合、預測結果進行比較，如表8所示。

表8 擬合預測結果比較

從此算例可以看出：經過Bootstrap篩選后，回歸計算結果無論在擬合程度還是預測準確度上都得到了提高。實際上，當采用多元回歸方法進行負荷預測時，自變量越多，需要采集的數據也就越多。偏最小二乘法雖然在樣本數量很少時仍能夠得到較好的回歸表達式，但是它并不能有效糾正采集大量數據時的統計錯誤，從而引入大量噪聲。Boot-strap篩選自變量，可以把偏離較嚴重的自變量刪除，進而得到更合理的結果。

4 結束語

電力負荷預測問題中，各變量經常存在多重線性關系。當存在數個自變量時，樣本數量往往顯得不夠充足。偏最小二乘法吸收所有自變量，可以很好地反映實際物理意義，能夠有效解決以上問題。然而，某些關系不顯著或者數據存在問題的自變量會使表達式精度下降。

針對偏最小二乘回歸方法在中長期電力負荷預測中的不足，提出基于Bootstrap篩選變量的改進算法，通過對2個算例的分析，驗證了該改進算法的可行性，結果表明該改進算法得到的預測結果更加精確，具有一定的應用價值。

［1］ 康重慶，夏清，張伯明.電力系統負荷預測研究綜述與發展方向的探討［J］.電力系統自動化，2004，28（17）：1-11.

［2］ 羅治強，張焰，朱杰，等.中壓配電網中長期負荷預測實踐［J］.電力自動化設備，2003，23（3）：27-29.

［3］ Jia N X，Yokoyam R，Zhou Y C.A flexible long-term load forecasting approach based on new dynamic simulation theory — GSIM［J］.International Journal of Electrical Powerand Energy Systems，2001，23（7）：549-556.

［4］ 韋鋼，賀靜，張一塵.中長期電力負荷預測的盲數回歸方法［J］.高電壓技術，2005，31（2）：73-75.

［5］ 張慶寶，程浩忠，劉青山.基于最大熵原理的中長期負荷預測綜合模型的研究［J］.繼電器，2006，34（3），24-27.

［6］ 李翔，陳昊.基于時變參數模型的中長期負荷預測［J］.電力需求側管理，2009，11（2）：32-34.

［7］ 吳耀華.基于GM-GRNN的電力系統長期負荷預測［J］.繼電器，2007，35（6）：45-53.

［8］ 張恒喜，郭基聯，朱家元，等.小樣本多元數據分析方法及應用［M］.西安：西北工業大學出版社，2002.

［9］ Bradley Efron，TibshiraniR J.An introduction to the boot-strap［M］.BocaRaton ：Chapman and Hall/CRC，1994.

［10］ 王惠文，吳載斌，孟潔.偏最小二乘回歸的線性與非線性方法［M］.北京：國防工業出版社，2006.

［11］ 王文圣，丁晶，趙玉龍，等.基于偏最小二乘回歸的年用電量預測研究［J］.中國電機工程學報，2003，23（10）：17-21.

［12］ 毛李帆，江岳春，龍瑞華，等.基于偏最小二乘回歸分析的中長期電力負荷預測［J］.電網技術，2008，32（19）：71-77.

［13］ 朱力行，許王莉.非參數蒙特卡洛檢驗及其應用［M］.北京：科學出版社，2008.

［14］ 中華人民共和國國家統計局.中國統計年鑒2009［M］.北京：中國統計出版社，2009.

［15］ 費宇，潘建新.線性混合效應模型影響分析［M］.北京：科學出版社，2005.

［16］ L沃塞曼.現代非參數統計［M］.北京：科學出版社，2008.