對線性回歸模型新有偏估計 β?= （K， c）的進一步討論

隋丹陽鄂英力遼寧裝備制造職業技術學院 （沈陽 06）高明實驗學校 （沈陽 0000）

?

對線性回歸模型新有偏估計 β?= （K， c）的進一步討論

隋丹陽1鄂英力2
1遼寧裝備制造職業技術學院 （沈陽 110161）2高明實驗學校 （沈陽 110000）

摘 要在線性回歸模型 Y= X β+ ε；E（ε） = 0；cov = σ2Σ； Σ ＞0下給出了有偏估計β?（K，c）= c（ XTΣˉ1X + K）ˉ1（XTΣˉ1Y +β?），其中 K ＞ 0，c＞ 0為參數，β?表示線性回歸模型的廣義最小二乘估計，討論了這種有偏估計的優良性質，得出了主要結論。

關鍵詞有偏估計；廣義最小二乘；嶺估計

1 考慮線性回歸模型

X為已知列滿秩矩陣， Y = n×1為可觀測的隨即向量，β為 p×1未知參數向量， r（ X ）= p ≤ n，σ2＞0為未知參數，ε為 n×1隨機誤差向量。 In為n階單位矩陣， E（ε）表示ε的均值向量，cov（ε）表示ε的協方差矩陣。在模型（1）中給出典則交換Z = XQ，典則參數α = QTβ，其中Q為p階正交矩陣，其列向量為 XTX的特征向量，Λ = diag （λ1， λ2，"，λp），λj≥0（j =1，2，"，p）為XTX的特征根。則模型（1）化為典則形式：

2 β?（K， c）的提出

本文將模型推廣到奇異線性模型中：

考慮模型（6）的典則形式：設λ≥ λ ≥ " ≥λ為

12pXTX = XTΣˉ1X的特征根，t1， t2，" ，tp為相應的標準正交化特征向量。記 T = （t1，"，tp），Λ =diag（λ1， " ，λp），則有Y = Zα+。這里 Z = XT ，α = TTβ.因為ZTZ = TTXTXT =Λ，所以 α?= TTβ?=Λˉ1ZTY.

我們將對廣義嶺估計做進一步改進，給出模型（5）的一個新估計：

3 β?（K， c）的均方誤差和均方殘差

通過計算我們發現當MSE逐漸減少的同時，對模型擬合的均方殘差（MSR）卻在增大，這與我們期望的相反。下面通過計算來討論MSE和MSR的變化情形［1］。考慮估計：

顯然 MSEβ?（K， c）是（ki， c）的二元連續函數，且滿足隱函數定理［2］的一切條件。

這說明c與 λi+ ki之間有線性關系。令上述兩個偏導數分別等于零，得

可以判斷 MSEβ?（K， c）在（c?， ki?）處取得最小值，且

當c→∞或 k→∞時，

其中 MSR（β?）為β?的均方殘差， ΔMSRβ?（K， c）為 β?（K， c）對β?修正后產生的平均增量，對于MSR（β?）已熟知，故只討論 ΔMSRβ?（K， c）。

4 β?（K， c）的可容許性

引理［3］：模型（5）中，在二次損失（d ˉβ）T（d ˉβ）下，LY在線性估計類中是β的可容許估計的充分必要條件是：

不成立。

定理：模型（5）在均方誤差意義下在線性估計類中，當r（ X ）= p， Σ＞ 0，β?（K， c） = c（ XTΣˉ1X + K ）ˉ1（XTΣˉ1Y + β?）是β的可容許估計的充要條件為0 < ki

證明：充分性在文獻［4］中已證，下面主要證明必要性。

因為LY為可容許估計，所以 ?b ∈ （0，1），g（ b， L）不是半正定陣，T為正交陣，即 ?b ∈ （0，1），TTg（ b， L） T 不是半正定陣，令

因為 ?b ∈ （0，1），TTg（ b， L） T 不是半正定陣，

所以， ?b ∈（0，1），min ｛y1（ b） ，y2（ b） ，"，yp（b） ｝<0

則0

min ｛y1（ b ），y2（ b） ，"，yp（b ）｝= y1（ b）＞0

則 ?b ∈ （0，1），TTg（ b， L） T 半正定，矛盾。

所以， β?（K， c） =c（ XTΣˉ1X + K ）ˉ1（XTΣˉ1Y +β?）是β的可容許估計的充要條件為0 < ki

參考文獻

［1］騰素珍，王志福.對泛嶺古跡的最優準則的進一步討論［J］.大連理工大學學報，1994，9（2），42-47.

［2］華東師范大學數學系編.隱函數定理及其應用（數學分析下冊）第三版［M］.北京：高等教育出版，2001.

［3］王松佳.線性模型的理論及應用［M］.合肥：安徽教育出版社.1987.

［4］張瑋，劉祿勤.線性回歸模型的一種有偏估計［J］.武漢大學學報（理學報），2006，6（3）：281-281

（責任編輯：文婷）

中圖分類號：O1-0

文獻標識碼：A

文章編號：1003-3319（2016）01-00013-02