線性模型的一種新的幾乎無偏兩參數估計

左衛兵，胡梅

0 引言

在線性模型的參數估計中，當回歸自變量間存在復共線性時，最小二乘估計不再是良好的估計，對此，統計學家們提出了有偏估計，如壓縮估計、嶺估計、Liu估計、主成分估計、兩參數估計等[1-5]，文獻[6]通過選取最優線性算子提出了一種新的有偏估計，文獻[7]提出的Liu型估計通過構造嶺函數得到了嶺估計、Liu估計、兩參數估計的一般形式。另一方面，一些統計學家從降低有偏估計離差的角度進行改進，從而引入了幾乎無偏的概念，文獻[8]給出了幾乎無偏估計的定義和一類幾乎無偏壓縮估計，在此基礎上，文獻[9]提出了幾乎無偏嶺估計和廣義幾乎無偏嶺估計,文獻[10]提出了幾乎無偏Liu估計和廣義幾乎無偏Liu估計，文獻[11]提出了一種幾乎無偏兩參數估計，文獻[12，13]對受約束條件下的幾乎無偏估計做了大量研究。

本文在文獻[14]提出的兩參數估計的基礎上，運用幾乎無偏估計的思想，提出了一種新的幾乎無偏兩參數估計，新的估計是最小二乘估計、幾乎無偏嶺估計、幾乎無偏Liu估計的推廣，并在均方誤差矩陣準則下，給出了新的估計優于最小二乘估計、幾乎無偏嶺估計、幾乎無偏Liu估計以及文獻[11]提出的幾乎無偏兩參數估計的充分條件。

1 新估計的提出

線性模型的一般形式為：

其中，Y是n×1可觀測向量；X是n×p列滿秩已知設計矩陣；β是 p×1未知參數向量；ε是n×1隨機誤差向量；In是n階單位陣。

文獻[14]提出了線性模型參數的一種兩參數估計，其定義為：

其中，參數 k＞d＞0，β?是模型（1）下的最小二乘估計。

結合文獻[8]中幾乎無偏估計的思想，本文對式（2）進行改進從而得到了一種新的幾乎無偏兩參數估計：

為了研究方便，引入模型（1）的典則形式：

其中 Z=XT ，α=T′β 。對于式（3），有 Z′Z=T′X′XT=Λ=diag(λ1，…，λp)。

令B1=(Λ+kI)-1(Λ+dI)，則 在 式（3）下 ，β?、β?T(k，d )、β?N(k，d )的典則形式分別為：為模型（1）中 β 的新的幾乎無偏兩參數估計，

從新估計 α?N(k，d )的定義可以看到：

2 新估計的優良性

引理1[4]：設 M 為半正定矩陣，則存在向量α，有M-αα′＞0?α′M-1α＜1。

引理2[5]：設 β?j=Ajy，j=1，2 是 β 的兩個齊次線性估示估計 β?j的協方差矩陣。則有Δ()=MSEM(β?1)-其中MSEM(β?j) 和 dj分別表示 β?j的均方誤差矩陣和偏差。

根據新估計α?N(k，d )的定義，可得其偏差，協方差和均方誤差矩陣分別為：

定 理1：如 果k＞d＞0，有Bias(α ?N(k，d ) )＜Bias(α ?T(k，d ) )。

證明：令Sk-1=(Λ+kI)-1，Sd=(Λ+dI) ，則

由于 k＞d＞0，λ＞0，顯然 || Bias(α ? (k，d ) )||-|Bias

iNi(α ? (k，d ) )||＜0，也就是說幾乎無偏兩參數估計α?(k，d )相

TiN對于兩參數估計α?T(k，d )偏差有所改進。

定理2：如果k＞d＞0，幾乎無偏兩參數估計 α?N(k，d)在均方誤差矩陣準則下優于最小二乘估計α?的充分必要證明：易知最小二乘估計α?的均方誤差矩陣為：

由式（9）和式（10）得估計 α?與估計 α?N(k，d )的均方誤差矩陣之差為：

于是D1＞0當且僅當

由于k＞d＞0，k-2(λi+k )＜0 ，故 λi-λi(1-)2＞0

因此D1＞0

根據引理1，定理2得證。

定理3：如果k＞d＞0，k＞1，新估計α?N(k，d )在均方誤差矩陣準則下優于估計α?A(d ) 的充分必要條件是b′

證明：令B2=[I + (1-d) S-1]S-1Sd，S-1=(Λ+I)-1，則α?A(d ) =B2α?

易得 α?A(d)的均方誤差矩陣為：

由式（9）和式（11）得估計 α?A(d )與估計 α?N(k，d )的均方誤差矩陣之差為：

經計算得：

而：

因此D2＞0

根據引理2，定理3得證。

定理4：如果 k＞d＞0，k＞1，新估計 α?N(k，d )在均方誤差矩陣準則下優于估計α?A(k)的一個充分條件是

證明：由于 α?(k)=Bα?，其中 B=I-k2S-2，則 α?(k)

A33kA的均方誤差矩陣為：

其中b3=Bias(α ?A(k))

由式（9）和式（12）得估計 α?A(k )與估計 α?N(k，d )的均方誤差矩陣之差為：

其中D3=Cov(α?A(k) )-Cov(α?N(k，d) )，b3=Bias(α?A(k) )。

令γ=σ2/α2，則MSEM(α? (k) )-MSEM(α?

iiAUTPNAUTP

當k＞d＞0，k＞1時，有2k2+d2-2kd＞1，2kd-d2＞0。

而得上式成立的一個充分條件：

定理得證。

為了方便比較，把文獻[11]提出的幾乎無偏兩參數估計記為β?A(k，d)，典則形式為α?A(k，d)。

定理5：如果k＞d＞0，k＞1，新估計α?N(k，d)在均方誤差矩陣準則下優于估計α?A(k，d) 的充分必要條件是

計算得：

于是，D4＞0當且僅當

因此D4＞0。

根據引理2，定理5得證。

3 數值模擬

為了闡述上面的理論成果，說明新的幾乎無偏兩參數估計在均方誤差矩陣準則下的優良性，這里進行如下數據模擬，數據來源于文獻[15]，該數據在多篇文獻中被廣泛引用：

計算可知矩陣的條件數為3.66793e+007，因此設計陣是病態的。對數據進行線性回歸，可以得到X′X特征值為λ1=44676.21，λ2=5965.42，λ3=809.95，λ4=105.42，λ5=0.00123。經過簡單計算，可得參數向量β、σ2的最小二乘估計分別為:

在實際應用中，參數k和d的選取是一個重要的問題。這里采用文獻[16]中參數的選取方法得k?GM=28.9913，d=0.95，計算得估計β?，β?A(d)，β?A(k)，β?A(k，d)和β?N(k，d)的均方誤差值見表1。

表1 各估計值及其均方誤差值（k?GM=28.9913、d=0.95）

從表1可以看到，新的幾乎無偏兩參數估計β?N(k，d)的均方誤差要小于β?，β?A(d)，β?A(k)，β?A(k，d)的均方誤差，符合本文得到的結果，因此，本文提出的估計在實際應用中有很好的表現，為應用工作者提供了新的選擇。

[1]Hoerl A E,Kennard R W.Ridge Regresssion:Biased Estimation for Nonorthogonal Problems[J].Technometrics,1970,12(1).

[2]Liu K.A New Class of Biased Estimate in Linear Regression[J].Commun Stat Theory Methods,1993,22(2).

[3]?zkale M R,Ka?iranlar S.The Restricted and Unrestricted Two-parameter Estimators[J].Commun Stat Theory Methods,2007,36(10).

[4]Farebrother R W.Further Results on the Mean Square Error of Ridge Regression[J].Journal of the Royal Statistical Society,1976,38(3).

[5]Trenkler G,Toutenburg H.Mean Squared Error Matrix Comparisons Between Biased Estimators—An Overview of Recent Results[J].Statistical Papers,1990,31(1).

[6]Arumairajan S,Wijekoon P.Optimal Generalized Biased Estimator in Linear Regression Model[J].Open Journal of Statistics,2015,5(5).

[7]Kurnaz F S,Akay K U.A New Liu-type Estimator[J].Statistical Papers,2015,56(2).

[8]Kadiyala K.A Class of Almost Unbiased and Efficient Estimators of Regression Coefficients[J].Economics Letters,1984,(16).

[9]Singh B,Dwivedi T D.An Almost Unbiased Ridge Estimator[J].Sankhya,1986,48(396).

[10]Akdeniz F,Ka?iranlar S.On the Almost Unbiased Generalized Liu Estimator and Unbiased Estimation of the Bias and Mse[J].Communication in Statistics-Theory and Methods,1995,24(7).

[11]常新鋒.均方誤差意義下幾乎無偏兩參數估計的優良性[J].統計與決策,2014,(19).

[12]Wu J B,Yang H.On the Stochastic Restricted Almost Unbiased Estimators in Linear Regression Model[J].Journal of Applied Statistics,2013,38(3).

[13]Wu J B.Modified Restricted Almost Unbiased Liu Estimator in Linear Regression Model[J].Communications in Statistics-Simulation and Computation,2016,45(2).

[14]薛美玉,梁飛豹.線性模型的新的兩參數估計[J].福州大學學報:自然科學版,2015,43(2).

[15]Woods H,Steninour H H,Starke H R.Effect of Composition of Portland Cement on Heat Evolved During Hardening[J].Ind Eng Chem,1932,(24).

[16]Yang H,Chang X F.A New Two-parameter Estimator in Linear Regression[J].Commun Stat Theory Methods,2010,39(6).