M（s）準則下Stein型根方估計的優良性

梁澤群

【摘要】本文對Stein型根方估計[1]進行了進一步的討論，計算出其均方誤差和均方殘差，并給出了M（s）[2]準則，然后計算出了在M（s）準則Stein型根方估計的s與c的關系，找出了Stein型根方估計的最優估計.

【關鍵詞】Stein型根方估計；均方誤差；均方殘差M（s）準則

對于線性回歸模型Y=Xβ+ε，E（ε）=0，Cov（ε）=σ2In.本文討論當模型的設計陣病態時，因為X′X的某些特征根λi幾乎為零，這時最小二乘估計的均方誤差MSE（β^）=σ2∑pi=11λi變得很大，這說明最小二乘估計值與真值之間有很大的偏差，所以那些小于1的特征根對MSE（β^）值的影響很大，根方估計[3]就是通過將這些小于1的特征根進行k-1次方（01），自然也能達到減小均方誤差MSE（β^）目的.將這兩種估計綜合一下進行研究，就給出了一種新的估計.

一、敘述模型及估計量

對于線性回歸模型：

Y=Xβ+ε，E（ε）=0，Cov（ε）=σ2In，（1.1）

其中，Y是n維觀測向量，β是p維未知參數向量，X是n×p設計陣，ε是n維隨機誤差向量，In為單位陣，Rank（X）=p.

定義1.1[1]對于線性回歸模型（1.1），稱

β^（k）（c）=c-1（X′X）k-1X′Y，0≤k<1，c≥1（1.2）

為參數β的Stein型根方估計，其中（X′X）k-1定義為[1]

（X′X）k-1=Qλk-11λk-12λk-1p Q′，（1.3）

其中，λ1≥λ2≥…≥λp>0是X′X的特征根，Q是X′X的特征向量矩陣，并且QQ′=1.

很容易得到Stein型根方估計（1.2）有以下特殊情況：

（1）當c=1，k=0時，β^（k）（c）=（X′X）-1X′Y，就是最小二乘估計；

（2）當c=1，0

（3）當c>1，k=0時，β^（k）（c）=（cX′X）-1X′Y，就是Stein估計.

對于線性模型（1.1）里面的X為可知的列滿秩矩陣，y是n×1維觀察向量，β是p×1維未知參數向量，rk（X）=p≤n，σ2≥0是未知的參數，ε是n×1隨機誤差向量，In是n階的單位矩陣.E（ε）表示ε的數學期望，Cov表示協方差矩陣.在線性模型（1.1）中引入變量Z=XQ，α=Q′β，其中Q′為p階的正交矩陣，它的列向量是X′X的特征向量，Λ=diag（λ1，…，λp），λj≥0是X′X的特征根，這樣模型可以得到（1.1）的典則形式

y=Zα+ε，E（ε）=0，Cov（ε）=σ2In.（1.4）

這時Z′Z=Q′X′XQ=Λ.那么典則參數α的最小二乘估計是=Λ-1Z′y，并且MSE（α）=σ2∑pi=11λi.

我們可以得出模型（1.4）中α的Stein型根方估計[1]

α（k）（c）=c-1Λk-1Z′y=Q′β（k）（c）.

性質1.1Stein根方估計β^（k）（c）是β的線性有偏估計.

證明定義1.1

β^（k）（c）=c-1（X′X）k-1X′Y=c-1（X′X）kβ^，

有E（β^（k）（c））=c-1（X′X）β≠β，0≤k<1，c≥1.

性質1.2在模型（1.1）下，記M（c，k）=MSE（β^（k）（c）），Stein型根方估計的均方誤差為

M（c，k）=σ2c-2∑pi=1λ2k-1i+∑pi=1（c-1λki-1）2α2i，（1.5）

其中，α=Q′β，λ1≥λ2≥…≥λn>0，0≤k<1，c≥1.

性質1.3在模型（1.1）下，記ΔMSR（β^（k）（c））是Stein型根方估計的均方殘差[2]為

ΔMSR（β^（k）（c））=∑pi=1（σ2+α2λ）（λk-c）2c2.（1.6）

證明ΔMSR（β^（k）（c））=E‖Zα（k）（c）-Z‖2

=E‖Z[c-1Λk-1-Λ-1]Z′y‖2

=σ2tr[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]+

（Ey）′[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]Ey

=σ2tr[Λ2（c-1Λk-1-Λ-1）2]+α′Λ3（c-1Λk-1-Λ-1）2α

=∑pi=1（σ2+α2λ）（λk-c）2c2.

二、M（s）準則

定義2.2在Stein型根方估計中，我們稱

M（s）=sMSE（β～（k）（c））+（1-s）ΔMSR（β～（k）（c））（2.1）

為M（s）準則.這里s∈[0，1]是給定的常數.選出c令M（s）最小，從而找出β（k）（c）的最優估計.

三、β（k）（c）在M（s）準則下的優良性

把（1.5）和（1.6）代入到（2.1）中，我們得到

M（s）=s（σ2c-2λ2k-1i+（c-1λki-1）2）α2+（1-s）（c-2（σ2+α2λi）（λki-c）2）.（3.1）

然后我們對（2.2）中的c求偏導數

M（s）c=-2sσ2c-3λ2k-1i-2sα2c-3λ2ki+2sα2c-2λki+

（1-s）[-2c-3λ2ki（σ2+α2λi）+2c-2λki（σ2+α2λi）]

=2sc-2λki[α2-c-1λki（σ2λ-1-α2）]+

（1-s）[（2c-2λki-2c-3λ2ki）（σ2+α2λ）]

令上式等于零，得出結果c（s），這時的β（k）（c）為Stein型根方估計中M（s）準則下的最優估計.

四、結語

通過計算我們得出，只有當c和s的關系滿足c（s），我們才能得出Stein型根方估計中M（s）準則下的最優估計.

【參考文獻】

[1]申潔麗.線性回歸模型參數的Stein型根方估計[D].長沙：湖南大學，2012.

[2]王志福.嶺估計中參數選擇的一種新方法[J].錦州師范學院學報，2003（1）：51-53.

[3]夏結來.回歸系數的根方有偏估計及其應用[J].數理統計與應用概率，1988（1）：21-29.

[4]Stein C.Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution[J].Proc Third Berkeley Symp.Math.Statist.Prob.，1956（1）：197-206.

[5]王松桂.線性模型參數估計的新進展[J].數學進展，1985（14）：193-204.