病態加權最小二乘混合模型的k-Liu估計解法

陳 麗，王 巖，邵德盛，2

（1.云南省地震局 信息中心，昆明 650201；2.昆明理工大學 國土資源與工程學院，昆明 650093）

0 引言

多源數據相比單一數據源，能獲得更全面、更可靠的信息，而其參數估計值就是不同觀測值的加權統計量，在等觀測條件下為等權觀測量，在不等觀測條件下則具有不同的權重[1]。多源數據融合會出現函數模型和隨機模型的先驗信息，如參數間的固定幾何關系和先驗隨機信息構成等式和隨機約束條件[2]。在進行參數估計時，當變量個數大于2 且系數矩陣列滿秩時，最小二乘法（Least Squares，LS）擬合效果較差，對法方程系數矩陣求凱利逆時，在對角線元素中添加kI可得到嶺估計解[3]，其結果是LS 估計的線性表達式，具有削弱病態性的作用，嶺參數的選取直接影響解值精度。而同樣為了克服病態性而提出的Liu 估計[4]，通過添加修正因子，適用于參數估計值不理想時進行的二次估計，是對嶺估計的擴展。當修正因子為1時，Liu估計退化成初始估計，與嶺估計不同的是，Liu估計為初始估計值的線性表達和拓展形式，可采用LS 估計或嶺估計作為初始估計，因此Liu估計優于LS估計和嶺估計。已有研究顯示，結合兩種估計方法得到的新估計值，在解算精度上高于其單一估計值，如主成分嶺型估計[5]、改進得到的主成分嶺型估計以及基于主成分嶺型估計拓展得到的廣義嶺型主成分估計[6]；結合穩健估計原理，已有研究已證明他們比LS估計和嶺估計有更好的抗干擾性和抗差性[7]。

隨著測量數據種類越來越多樣化，可以通過確定各類數據的有效相對權比來達到調整觀測數據對參數估計值的貢獻率的目的，這是解決混合平差問題的主要方法之一。現有的混合模型解算方法大多是基于LS 原理展開的。基于此，考慮到病態性在混合LS模型中的影響，參考嶺估計和Liu估計各自的優點，本文定義出一種相對權比下的新解法——k-Liu估計解法。該解法包含了有無約束條件下LS 估計、嶺估計和Liu 估計的典則參數表達式，同樣適用于同類觀測數據的LS解算。本文利用參數解式推導出典則參數的均方誤差矩陣式及修正因子的計算式，給出確定嶺參數的廣義交叉檢核法（Generalized Cross-Validation，GCV）[8]，最后通過算例進行驗證。

1 病態加權混合最小二乘模型的k-Liu估計

1.1 加權混合最小二乘模型

測量數據處理中的病態問題是不適定問題之一，復共線性診斷結果可直接判定是否具有病態性，病態問題的常用解算方法有嶺估計、Stein估計、Liu估計等，其中，嶺估計方法適用性更強。病態問題的研究主要集中于建立有效診斷方法和尋求更好的解法。設定帶有如下隨機約束的線性模型[9]:

式（1）中：L1?Rn1×1為第Ι 類觀測向量，B1?Rn1×m為第Ι 類觀測方程列滿秩系數矩陣，e1?Rn1×1為觀測向量的隨機誤差；L2?Rn2×1為第Ⅱ類觀測向量，B2?Rn2×m為第Ⅱ類觀測方程列滿秩系數矩陣，e2?Rn2×1為觀測向量的隨機誤差；X=[X1,X2,…,Xm]Τ是未知參數向量。

混合LS估計的隨機模型為：

混合LS平差準則為最小化式（3）。

式（3）中，λ為相對權比，且滿足0<λ<1。根據LS平差準則構建目標函數，通過利用偏導數求極值的方法得到LS解：

文獻[9]中關于整體LS 混合平差的解算與式（4）相比增加了迭代計算過程，更加具體和全面。同理，可將兩類觀測數據推廣至t類觀測數據下的混合平差LS解：

由于參數典則形式的性質等同于參數自身的性質，且在加權情形下可以進行標準化，形成等權形式，因此，為了推導的便捷性，將模型（1）轉換成典則形式，當P1和P2為單位矩陣時，得到其典則參數的估計值為：

1.2 k-Liu估計

對于線性回歸模型的解算來說，Liu估計[4]可用于削弱復共線性產生的影響。將嶺估計和Liu 估計結合可得到k-Liu 型估計，在模型（1）的典則形式中添加如下目標函數：

通過對回歸系數添加2-范數[11]，在式（8）中添加，其中，k為嶺參數，d為修正因子。結合式（7）的結果建立如下目標函數：

對式（9）進行拉格朗日目標函數最小化求解，可得到典則參數的k-Liu估計解：

同理，轉成參數的k-Liu估計為：

式（11）為兩類觀測數據下LS估計、嶺估計、Liu估計、k-Liu估計的通用解式，可以通過k、d的取值判定不同估計的參數解式。

單位權方差為：

式（12）中，rank(*)為矩陣的秩。

參數向量的均方誤差（MSEM）定義為：

其中，Cov( )* 表示協方差，bias(*)表示偏差。X?k-Liu的期望值E(*)、偏差值、協方差值和參數均方誤差分別為：

式（16）中，X?可以是LS估計、嶺估計和Liu估計中的任一估計值。

2 修正因子的確定及嶺參數的選取

2.1 修正因子的確定

若式（11）中k=0，則式（11）為LS 混合平差的Liu 估計解。從式（16）中的均方誤差矩陣可知：

由于k≥0，因此當d=k時，有：

為使得f(d)取極（小）值，令f'(d)=0，則修正因子的解為：

式（20）中，Xi（i=1,2,…,m）可以用LS 混合平差估計法得到，βi和γi（i=1,2,…,m）分別是B1ΤB1和BΤ2B2的特征值。

2.2 廣義交叉驗證法（Generalized Cross Validation method，GCV）

GCV是一種基于驗后估計信息的直觀法，不依賴任何先驗信息和假設，不需要準確確定觀測信息的方差因子，只從實際觀測中提取信息。一個好的估計方法應該能取遍所有的觀測值，而求得的差值均值應盡可能小，GCV便是以差值均值最小為準則求得嶺參數[12]。目前關于嶺參數的求解大多將其限制于第I類觀測數據，因此將第Ⅱ類觀測數據視為隨機約束條件，不參與嶺參數的計算。基于該準則的嶺參數計算式為:

式（21）中：H(k)滿足B1X?=H(k)L1，H(k)=B1(B1ΤB1+kI)-1B1Τ；n為觀測值的個數，tr(*)為矩陣的跡。式（21）取最小值時的k值即為最優值，也是GCV 所確定的嶺參數[12]。

3 算例與分析

3.1 二次曲面算例

本文采用二次曲面f(x,y)=-2.735x+1.543y+3.648x2-2.741y2-2.681xy來模擬兩類觀測值，第I 類帶有協方差為σ12P1-1的觀測噪聲，第Ⅱ類帶有協方差為σ22P2-1的觀測噪聲，如表1和表2所示。單位權方差分別為σ12=0.81,σ22=1，P1-1=diag{1.6168,1.9886,1.5621,1.7036,1.3212,0.5442,0.4817} ，P2-1=diag{2.4373,1.2098,1.9802,0.8582,2.8842,1.7297,2.8999,1.5418,2.5927}。條件數cond(B1ΤP1B1)=1.592×104，嚴重病態，采用驗前單位權方差法計算得到λ=0.448。GCV得到嶺參數k=0.0105，單一Liu估計中的修正因子d=0.95。不同估計方法的計算結果如表3 所示。為了進一步驗證k-Liu估計的優劣，排除一次計算的隨機性，在權矩陣為單位矩陣的條件下，對兩類觀測值分別添加服從正態分布的隨機誤差，對表3中的6種方法進行1000次計算得到對應的偏差平方和以及均方誤差矩陣的跡，如圖1和下頁圖2所示。

圖1 偏差平方和變化圖

圖2 均方誤差矩陣的跡

表1 第I類觀測向量和設計矩陣

表2 第Ⅱ類觀測向量和設計矩陣

表3 不同方案參數估計結果

根據以上計算結果可知，奇異值數值分布差異直接影響嶺估計的擬合效果，對于奇異值分布范圍廣的可采用廣義嶺估計。從表3可以看出，LS估計、嶺估計和Liu估計的均方誤差矩陣的跡分別是0.0348、0.0376 和0.0376。原因在于，有偏估計導致偏差量增加，因此均方誤差矩陣的跡在增加；但是有偏估計引入參數變量可以有效削弱模型病態性，提升估計精度。嶺估計可以滿足在精度要求一定情況下的參數估計，而Liu 估計是LS 估計的線性形式，可以用直接解式進行迭代計算，文獻[13]就發現Liu 估計的參數估計值在修正因子滿足-1 ≤d≤1 時迭代收斂，具有唯一解，算例中的修正因子接近數值1，因此只進行一次計算的結果較接近LS估計值，但是與LS估計相比有明顯的提升，因此表3中的數值都是在迭代有限次數后計算得到的。在滿足閾值的條件下迭代次數較少就能收斂，迭代步驟簡單且估計值快速收斂，因此計算時間并不會增加太多，表3中本文方法的偏方平方和是0.1686。

在該算例中，kLiu 估計的偏差平方和是0.4951，優于單一的嶺估計和Liu 估計解算，更優于LS 估計解算，符合文獻[14]中以典則參數的均方誤差進行對比驗證時得到的結論，表明嶺估計和Liu的組合估計能處理病態LS模型并削弱隨機誤差的相關影響。當在同類觀測值的基礎上添加約束條件（混合估計）時，約束條件的約束程度在參數解算中的影響程度高于參數估計方法。算例中混合估計的偏差平方和是0.3435，算例的約束條件都比較完善，結合式（11）與混合估計的數值可以看出，約束條件在一定程度上甚至可以降低參數估計精度，因此合理的約束條件尤為重要，否則估值精度將不升反降。

3.2 測邊網算例

病態測邊網如圖3所示，其中P1,P2,…,P9為已知點，已知點坐標到兩個未知點P10、P11的觀測距離的測算方法參考文獻[14]。表4 為已知點坐標及到未知點的距離，兩個未知點的真值分別是（0,0,0）和（7,10,-5），兩點之間的觀測距離為D10,11=13.1078m，各距離為等精度觀測，方差為0.1，求兩個未知點的坐標。條件數為4.5851×103，嚴重病態。未知點的近似坐標取為（0.01，-0.01，0.02）和（7.01，9.99，-5.01）。對約束條件添加方差為0.15 的標準正態分布隨機誤差，采用驗前單位權方差法計算得到λ=0.400，GCV 得到嶺參數k=0.051，單一Liu 估計中的修正因子為d=0.938。不同估計方法計算結果如表5所示，等式約束條件為：

圖3 空間測邊網的平面分布圖

表4 真實坐標與近似坐標

表5 不同方案參數估計結果

從表5 可以看出，算例中LS 估計、嶺估計和Liu 估計的均方誤差矩陣的跡分別為0.4363、0.6374和0.5935；本文方法的偏方平方和是0.0301，混合估計的偏差平方和是0.0868。從圖1 和圖2 的1000 次模擬計算的結果可以看出，多次計算結果排除了隨機性，嶺估計和Liu估計的組合——k-Liu 估計可以適用于混合估計解算，其偏方平方和是本文中最小的。排除隨機性，圖1 和圖2 中的k-Liu 估計結果也進一步印證了文獻[15]的結論。由于本文中的Liu估計都是以LS估計作為初始估計，式（20）中修正因子是嶺參數的函數表達，因此嶺參數的選取很大程度上決定了Liu 估計結果。所以圖1和圖2中的嶺估計、Liu估計以及kLiu估計的精度評定變化結果大致相近，且隨著約束條件的加入，與原有估計方法相比，合理的約束條件更能提升估計結果的精度，同時約束條件自身優劣也制約了估計值的精度。若混合估計結果劣于kLiu估計結果，則不必采用本文方法，直接以kLiu估計結果為準即可。

4 結束語

混合平差模型類似于多元線性模型的回歸分析。針對加權混合平差模型，通過嶺估計和Liu估計定義出k-Liu估計法，既能削弱病態性的影響，也可以提升參數估計精度。本文針對加權最小二乘混合模型，利用k-Liu估計進行解算，得到與之對應的參數直接解式和精度評定結果。嶺估計的關鍵在于嶺參數的選取，GCV是較為可靠的一種嶺參數求解方法；而Liu估計常用于非線性模型線性化后的迭代計算，因此本文的k-Liu估計解法在直接解式解算精度不滿足要求時可以進行迭代求解，進而可以將k-Liu估計擴展至整體LS 模型的解算，也同樣適用于帶約束的整體LS模型的參數解算。