嶺回歸分析中廣義嶺估計的一種改進方法

趙東波

【摘要】對于多重共線性條件下線性回歸模型系數的有偏估計，統計學家提出了嶺回歸估計，Hoerl和Kennard提出了廣義嶺估計[1].本文主要討論廣義嶺估計的進一步推廣，基于均方誤差和均方殘差的比較，給出一種解決問題的新方法.

【關鍵詞】線性回歸模型；廣義嶺估計；均方誤差；均方殘差

一、引言

為消除或減弱設計陣的復共線性對參數估計的不良影響，國內外學者提出了各種有偏估計，如，嶺估計[2]、主成分估計等等，這些估計在均方誤差意義下可以優于LS估計[3].但是，在某種情況下還有一定的缺陷.

定義1[4]我們引進線性回歸模型的典則形式：

Y=Zα+ε，E（ε）=0，Cov（ε）=σ2In，（1）

這里，Z=XΦ稱為典則變量，α=Φ′β稱為典則參數，其中Φ=（φ1，φ2，…，φp），且φ1，φ2，…，φp為X′X的對應特征根λ1≥λ2≥…≥λp>0的標準化特征向量.所以Z′Z=Λ=diag（λ1，λ2，…，λp）.則α的LS估計為=（Z′Z）-1Z′Y=Λ-1Z′Y.其狹義嶺估計為（k）=（Λ+kI）-1Z′Y=（Λ+kI）-1Φ′X′Y.在嶺回歸估計法的基礎上，有學者提出了廣義嶺回歸估計法，定義為β（k）=（X′X+ΦKΦ′）-1X′Y，其中K=diag（k1，k2，…，kp）>0.

本文主要是在前人提出的廣義嶺估計的基礎上，對其中的一部分做了進一步的探討與研究，并加以改進.首先，討論廣義嶺估計的主要缺陷.

第一，只有在較小特征根所對應的特征向量的方向上估計才是不精確的，而在大的特征根所對應的特征向量的方向上估計是準確的.因此，我們只需要修正X′X全部對角元的一部分就可以，也就是只對X′X的接近于0的特征根進行修正.廣義嶺估計其實是對β進行了過分的壓縮.

第二，廣義嶺估計的殘差平方和為

RSS（K）=（Y-Xβ（K））′（Y-Xβ）

=（Y-Xβ）′（Y-Xβ）+（β（K）-β）′X′X（β（K）-β）

=RSSmin+ΔRSS.

這說明廣義嶺估計在降低均方誤差的同時，又使得殘差平方和增大.為了得到良好的擬合效果，我們當然要降低均方誤差以使估計更接近真值，但又不能不顧及殘差平方和的增大.

定義2[5]對于線性回顧模型，定義1-k型廣義嶺估計β1-k（K）=（X′X+ΦK0Φ′）-1X′Y.

其中，K0=11ki+1kp，k>0，i=t，t+1，…，p.

設X′X的較大的特征根有t個，t為正整數，且0≤t≤p，則需要修正的小特征根有（p-t）個.在多重共線性的情況下，X′X的特征根發生兩極分化的結果可以人為地確定該對哪些特征根進行修正.由定義可以看出，β1-k（K）是廣義嶺估計類β（K）的一種估計.當ki=0，i=1，2，…，p時，β1-k（K）即化為LS估計.對于線性回歸方程典則形式（1），定義1-k型廣義嶺估計α1-k（K）=（Λ+K0）-1Z′Y式中，Z=XΦ，α=Φ′β，其中Φ=（φ1，φ2，…，φp），且φ1，φ2，…，φp為X′X的對應特征根λ1≥λ2≥…≥λp>0的標準化特征向量.所以Z′Z=Λ=diag（λ1，λ2，…，λp）.K0定義同上.

二、對β1-k（K）與β（K）的均方誤差（MSE）進行比較分析

因為β1-k（K）是β（K）的一種特殊情況，先來看β（K）的MSE.

MSE（β（K））=σ2∑pi=1λi（λi+ki）2+∑pi=1k2iα2i（λi+ki）2 .

其中，K=diag（k1，k2，…，kp）>0，對ki（i=1，2，…，p）求偏導數，并令其偏導數為0，得MSE（β（K））ki=2α2ikiλi（λi+ki）3-2σ2λi（λi+ki）3=0.解出，當ki=σ2α2i（i=1，2，…，p）時，MSE（β（K））達到最小.

將上式中正定對角陣K用本文提出的K0替換，即得

MSE（β1-k（K0））=E‖β1-k（K0）-β‖2

=tr[Cov（β1-k（K0））+（Eβ1-k（K0））-β（E（β1-k（K0））-β）′]

=σ2tr（（Λ+K0）-1Λ（Λ+K0）-1Φ′Φ）+tr[Φ（（Λ+K0）-1Λ-I）αα′（（Λ+K0）-1Λ-I）Φ′]

=σ2∑ti=1λi（λi+1）2+σ2∑pi=t+1λi（λi+ki）2+∑pi=t+1k2iα2i（λi+ki）2 .

同理，當ki=σ2α2i（i=t+1，t+2，…，p）時，MSE（β1-k（K0））達到最小.此時，將ki=σ2α2i（i=1，2，…，t）代入，得

MSE（β（K））-MSE（β1-k（K0））

=σ2∑ti=1λi（λi+ki）2+∑ti=1k2iα2i（λi+ki）2-σ2∑ti=1λi（λi+1）2

=∑ti=11+2λi-kiλi（1+λi）2（λi+ki）.（2）

另外，當ki→0（i=1，2，…，p）時，MSE（β（K））ki=2α2ikiλi（λi+ki）3-2σ2λi（λi+ki）3<0.MSE（β（K））ki在ki≥0是連續函數，于是當ki充分小，MSE（β（K））

由此可以得到結論，改進后減小了多重共線性對參數估計的危害.在理論上MSE（β1-k（K））的最小值要大于MSE（β（K））的最小值.雖然前者比后者的對于LS估計β的改進小，但是這種改進還是合理的.后者改進偏大，超過了應該壓縮的程度.

三、對β1-k（K）與β（K）的均方殘差（MSR）進行比較分析

由上可知

MSE（β（K））=E（RSS（β（K）））

=E（Y-Xβ（K））′（Y-Xβ（K））

=E[（Y-Xβ）′（Y-Xβ）+（β（K）-β）′X′X（β（K）-β）]

=MSR（β）+ΔMSR（β（K））.

其中，MSR（β）=（n-p）σ2為參數β所有估計的均方殘差的最小值.ΔMSR為廣義嶺估計對LS估計的修正所造成的MSR的增量，下面我們來考慮ΔMSR項.

ΔMSR（β（K））=E‖Xβ（K）-Xβ‖2

=E‖Zα（K）-Zα‖2

=E[Z（Λ+K）-1Λα+Z（Λ+K）-1Z′ε-Zα-ZΛ-1Z′ε]·[Z（Λ+K）-1Λα+Z（Λ+K）-1Z′ε-Zα-ZΛ-1Z′ε]

=α′（（Λ+K）-1Λ-I）Λ（（Λ+K）-1Λ-I）α+σ2tr（Λ-1（（Λ+K）-1Λ-I）Λ（（Λ+K）-1Λ-I））

=∑pi=1λiα2ik2i（λi+ki）2+σ2∑pi=1k2i（λi+ki）2，

式中的K陣同上定義.將上式中正定對角陣用本文提出的K0替換，即得

ΔMSE（β1-k（K0））=E‖Xβ1-k（K0）-Xβ‖2

=E‖Zα1-k（K0）-Zα‖2

=α′（（Λ+K0）-1Λ-I）Λ（（Λ+K0）-1Λ-I）α+σ2tr（Λ-1（（Λ+K0）-1Λ-I）Λ（（Λ+K0）-1Λ-I））

=∑ti=1λiα2i+σ2（1+λi）2+∑pi=t+1（σ2+λiσ2i）k2i（λi+ki）2，

MSR（β（K））-MSR（β1-k（K0））

=∑ti=1（σ2+λiα2i）k2i（λi+ki）2-∑ti=1λiα2i+σ2（1+λi）2

=∑ti=1（σ2+λiα2i）[k2i（1+λi）2-（λi+ki）2]（λi+ki）2（1+λi）2

=∑ti=1（σ2+λiα2i）λ2i（k2i-1）（λi+ki）2（1+λi）2.

若想得到MSR（β（K））>MSR（β1-k（K0）），則需要k2i>1.

綜上所述，當1

MSE（β（K0））

MSR（β）

當ki>1λi+2時，

MSE（β（K））

MSR（β）

四、結束語

以上對廣義嶺估計參數的改進是有效的，此時減小了廣義嶺估計過度膨脹的殘差平方和.廣義嶺估計在降低均方誤差的同時使得殘差平方和增大，對數據的擬合變壞.以上對廣義嶺估計的嘗試性改進有其合理性，但是其使用范圍還是有限的.

【參考文獻】

[1]Hoerl A E，Kennard R W.Ridge Regression，Biased Estimation for Nonorthogonal Problems[J].Technometrics，1970（12）：55-67

[2]何秀麗.多元線性模型與嶺回歸分析[D].武漢：華中科技大學，2005.

[3]戴儉華，等.嶺估計優于最小二乘估計的條件[J].數理統計與應用概率，1994（2）：53-58.

[4]何良材.嶺回歸估計β^（k）的一個特性及其應用[J].重慶大學學報，1990（13）：127-133.

[5]李兵.線性回歸模型參數有偏估計的進一步探討[D].桂林：桂林電子科技大學，2007.