典型有偏估計方法均方誤差極小值一致性分析

岳元龍 張彩虹 趙曉磊 韓云峰 左 信

（1.中國石油大學（北京）信息科學與工程學院；2.海洋石油工程股份有限公司；3.中海油研究總院有限責任公司）

在自動化等領域，y=Hx+w是一個重要的線性模型，廣泛用于估計未知參數x，其中又以Gauss和Legendre在18世紀初提出的最小二乘估計最為經典。1900年，Markov提出Gauss-Markov定理和高斯最小二乘估計，并且證明了高斯最小二乘估計在線性無偏估計中具有最小的估計方差。

均方誤差是衡量不同估計方法優劣程度的重要指標，估計均方誤差越小，表示這種估計方法越好。 均方誤差等于估計方差與估計偏差平方的代數和。 經典的高斯最小二乘估計是一種無偏估計，即偏差平方等于零，所以高斯最小二乘估計的均方誤差就等于它的估計方差。 當數據出現復共線性時，此時最小二乘估計的均方誤差會大幅增加，它不再是最優的估計方法。 為了解決這種問題，得到較小的估計均方誤差，科研工作者提出了很多方法，其中，線性有偏估計是最直接有效的方法。 線性有偏估計通過引入較小的偏差，在均方誤差準則［1～3］條件下，達到減小最小二乘估計方差的目的。 有偏估計不僅需要考慮方差大小，還要考慮偏差大小。 有偏估計優于最小二乘估計表現為有偏估計的均方誤差小于最小二乘估計的均方誤差。

線性有偏估計在近半個世紀以來發展迅速，科研工作者提出了不同結構形式的有偏估計。STEIN C針對Stein現象［4］提出James-Stein估計［5］。SCLOVE S L于1968年完善了James-Stein估計并提 出 壓 縮 最 小 二 乘 估 計［6］。 HOERL A E 和KENNARD R W在研究回歸問題中的嶺分析及其應用的基礎上［7］，在設計矩陣中加入了一個偏參數， 提出最常用的有偏估計方法——嶺估計［8，9］。LIU K J結合Stein壓縮估計和嶺估計的優點，對嶺估計進行修正和改進，分別于1993年和2003年提出了兩種新的較為常用的有偏估計方法——Liu估 計 和Liu 型 估 計［10，11］。 ?ZKALE M R 和KA?IRANLAR S結合嶺估計和Liu估計提出兩參數估計［12，13］，并在均方誤差準則下證明，當觀測矩陣存在復共線性時，它的估計效果是優于最小二乘估計的。 BATAH F S M等提出刀切廣義嶺估計和修正刀切廣義嶺估計，并在均方誤差準則下得出 它 優 于 廣 義 嶺 估 計 的 條 件［14］。 2008 年，SAKALLIOLU S和KA?IRANLAR S綜合嶺估計和帶有先驗信息的Liu估計，提出k-d估計類，并與Liu估計、 嶺估計和兩種特殊的Liu型估計進行比較， 得到新的有偏估計在均方誤差準則下優于普通最小二乘估計、 普通嶺回歸估計和Liu估計［15］。DURAN E A和AKDENIZ F于2012年提出修正刀切廣義Liu估計， 它是廣義Liu估計和刀切廣義Liu估計的組合估計， 并在均方誤差準則條件下與廣義Liu估計和刀切廣義Liu估計進行比較，在均方誤差準則下證明了修正刀切廣義Liu估計優于廣義Liu估計的一個充要條件［16，17］。 由于不同的估計方法有著不同的形式， 這給研究有偏估計的共同特性增加了難度，為此，岳元龍于2013年提出線性統一有偏估計，將不同的有偏估計方法用一種形式表示［18］。 2016年，劉佳瑞在嶺估計的基礎上考慮了齊次等式約束，提出綜合條件c-K嶺估計的方法，證明這種方法的有偏性［19］。 LIU G和YIN H于2020年在加權平衡損失下證明了橢球約束下的Gauss-Markov模型的可容許性［20］。 2021年，WANG L Y和CHEN T提出最小二乘估計的一種迭代算法，并基于嶺估計原理推導出了嶺參數的U曲線法［21］。

在工業研究中，更關注選擇哪種有偏估計方法能更好地改善最小二乘估計。 因此，研究不同的典型有偏估計方法改善最小二乘估計方法的均方誤差極小值的能力是否相同就顯得尤為重要，如果相同，說明選用任何一種有偏估計方法改善最小二乘估計都是可行的；如果不同，則可選擇具有最小均方誤差極小值的有偏估計方法改善最小二乘估計。

在多種有偏估計方法中，廣義嶺估計（Generalized Ridge Estimation，GRE） 和 廣 義Liu 估 計（Generalized Liu Estimation，GLE） 是對嶺估計和Liu估計的推廣，是兩種應用比較廣泛的典型有偏估計， 修正廣義嶺估計 （Modified Generalized Ridge Estimation，MGRE） 和 刀 切 廣 義Liu 估 計（Jackknifing Generalized Liu Estimation，JGLE）則是先驗信息估計類和刀切估計類中具有代表性的估計方法，線性統一有偏估計方法是現有的有偏估計方法 （Linear Unified Biased Estimation，LUBE）的統一表示形式。 因此，筆者選取這5種典型有偏估計方法進行研究。

1 線性估計模型及復共線性判斷

1.1 線性估計模型

線性估計模型中估計未知參數的一般形式為y=Hx+w，其中，y是m×1維的觀測矩陣，H是m×n維的觀測矩陣，x是n×1維的未知參數矢量，w是與未 知 參 數x 無 關 且 滿 足E（wTx）=0 和Var（w）=σ2I的相同分布的高斯噪聲。 若HTH非奇異，此時最小二乘估計=（HTH）-1HTy。

1.2 矩陣復共線性判斷

判斷矩陣復共線性的方法有： 特征根分析法、條件數法、方差擴大因子法和行列式法。 本研究中判斷矩陣的復共線性時選擇的是條件數法。

2 有偏估計的一致性分析

本節選取GRE、GLE、MGRE、JGLE和LUBE共5種典型的有偏估計方法， 利用矩陣的分量形式進行典型有偏估計方法的均方誤差極小值的一致性分析的理論推導。

2.1 GRE的極小值分析

GRE是在設計矩陣時通過引入偏參數矩陣KGRE來改善最小二乘的方差， 是應用最廣泛的有偏估計方法。 GRE的典則形式表示為：

GRE的方差表示為：

將式（1）用矩陣分量形式表示為：

GRE的偏差表示為：

將式（3）用矩陣分量形式表示為：

GRE的均方誤差用矩陣的分量形式表示為：

通過對式（5）進行求導，得到：

2.2 GLE的極小值分析

將式（7）用矩陣分量形式表示為：

GLE的偏差為：

將式（9）用矩陣分量形式表示為：

GLE的均方誤差用矩陣的分量形式表示為：

GLE的均方誤差取得極小值，表示為：

2.3 MGRE的極小值分析

MGRE是在GRE的基礎上添加了未知參數的先驗信息b所產生的一種新的有偏估計方法。 假設先驗信息b=，T=diag（ti），0

其中，KMGRE為偏參數矩陣。

MGRE的方差為：

將式（13）用矩陣分量表示為：

MGRE的偏差表示為：

將式（15）用矩陣分量表示為：

MGRE的均方誤差用矩陣分量表示為：

2.4 JGLE的極小值分析

JGLE是一種綜合了刀切估計和廣義Liu估計的優點的有偏估計方法。 偏參數矩陣FD=diag（fi）=（Λ+I）-1（Λ+D），i=1，2，…，n，JGLE的典則形式表示為：

JGLE的方差為：

將式（19）用矩陣分量表示為：

JGLE的偏差表示為：

將式（21）用矩陣分量表示為：

JGLE的均方誤差用矩陣分量形式表示為：

2.5 LUBE的極小值分析

LUBE是在綜合了多種有偏估計方法的基礎上提出的估計方法。 最小二乘估計=（ZTZ）-1ZTy是針對ZTy進行的線性變換矩陣，其中ZTZ=Λ是一個變換算子。 所以，LUBE通過直接調整變換矩陣，也就是對角矩陣，提高最小二乘估計（LSE）的估計準確度。 LUBE的典則形式為（T）=。

LUBE的方差表示為：

將式（25）用矩陣分量表示為：

線性統一有偏估計的偏差表示為：

將式（27）用矩陣分量表示為：

LUBE的均方誤差用矩陣分量形式表示為：

3 實例分析

在5種典型有偏估計方法的均方誤差極小值一致性的理論分析的基礎上，采用經典數據集進行數據分析，以更好地說明典型有偏估計的一致性。

1932年，WOODS H等在波蘭進行水泥實驗時產生的一組數據［22］，是有偏估計研究應用最廣泛的工程數據，1999年，KACIRANLAR S等在研究中再次使用該數據［23］，這組數據是應用最廣泛的工程數據。 本節也采用這組經典的數據集例子進行數據分析。 x1，x2，x3，x4分別代表水泥的4種化學成分，y0代表每1 g水泥所釋放出的熱量，h1，h2，h3，h4分別為熱量與4種成分含量之間的關系，詳見表1。

表1 波蘭水泥熱量與4種成分含量的關系

首先對數據處理如下：

參數向量x0的最小二乘估計為：

表2 數據的特征值及特征向量平方

表3 不同有偏估計方法的數據分析

圖1a～e 分別是5 種典型有偏估計的方差（Var）、偏差（Bias2）和均方誤差（MSE）的曲線。 可以看出，在偏參數為零時，有偏估計退化為最小二乘估計， 此時5種典型有偏估計方法的均方誤差是相等的。 隨著偏參數的增加，5種典型有偏估計曲線呈現相同的變化趨勢，即偏差逐漸增加，方差逐漸減小，均方誤差先減小后增加，但均方誤差曲線都會出現一個極小值。 盡管5種典型有偏估計取得均方誤差極小值時的偏參數不同，但它們的均方誤差極小值是相同的。 說明不同的有偏估計方法改善最小二乘方差的能力是相同的，即典型有偏估計方法的極小值一致。

圖1 5種典型有偏估計的指標曲線

4 結束語

由于每種有偏估計方法的均方誤差與最小二乘方差的差代表它們改善最小二乘方差的能力， 雖然每種有偏估計方法呈現不同的結構形式，但每種有偏估計方法的均方誤差都存在相同的極小值，即均方誤差極小值與最小二乘方差的差是一個常數，這個常數不依賴于有偏估計方法的選擇，這說明它們改善最小二乘的方差能力是相同的。 如果把最小均方誤差作為有偏估計方法改善方差的能力指標，那么先驗信息估計類的先驗信息并不影響改善最小二乘方差的能力。 無論哪種有偏估計方法， 總能找到在某個偏參數時，均方誤差取得極小值，此時有偏估計方法具有最優的改善最小二乘方差的能力。 因為典型有偏估計方法的最優估計效果是相同的，那么在實際參數估計問題的研究中， 若需達到最優估計效果，可以根據實際情況選取任意一種有偏估計方法進行參數估計。