姜家慶*
(天津市市政工程設計研究院,天津 300202)
在數據處理中,最小二乘法(Least Squares,LS)是最基本的數據處理方法,從18世紀高斯提出后發展至今成為數據處理領域應用最廣泛的方法。最小二乘法是以只存在觀測向量誤差為前提的。然而,在測量數據處理過程中,由于采樣誤差和建模誤差,觀測向量誤差和系數矩陣偏差往往是同時存在的。在這種情況下,用最小二乘法求得的參數估值就不再是最優無偏估計了。針對這種情況,在20世紀80年代有學者對最小二乘方法進行擴展,提出了總體最小二乘方法,該方法在計算觀測值誤差的同時還能顧及模型系數矩陣誤差,在系數矩陣存在誤差時,總體最小二乘解比最小二乘解更為真實可靠。
在本章節中,作者首先以一個直線擬合模型介紹最小二乘方法的基本思想及原理;然后以一個系數矩陣存在誤差的問題引出總體最小二乘方法并闡述了其原理;最后給出了兩種最為常見的總體最小二乘問題的解法及其詳細的推導過程。
經典的高斯-馬爾柯夫模型假設函數模型是已知且非隨機的,并且只考慮觀測向量含隨機誤差,假設系數矩陣不存在誤差或者不考慮系數矩陣誤差。但是在很多實際問題中,比如大地測量反演、邊坡監測、空間數據分析和坐標轉換等數學模型中,函數模型的系數矩陣也是由觀測數據組成。因此,不僅觀測向量存在誤差,系數矩陣也有可能出現隨機誤差。此時,再用最小二乘原理做數據處理的話,計算結果就不能再保證其最優無偏性。而總體最小二乘方法就能很好地解決這一問題,該方法在計算觀測值誤差的同時還能顧及模型系數矩陣誤差。
設線性函數模型為:L=AX-V (1)
上式中,L為 n×1觀測向量,A為 n×t系數矩陣,X為 t×1未知參數,V為觀測向量誤差。總體最小二乘方法是不僅考慮觀測向量含有誤差V,而且還顧及系數矩陣誤差EA,那么上式應改寫為
對應的誤差方程可寫為

誤差的期望和方差為

式中,In和 It分別為 n和 t階單位矩陣,vec(EA)是將 矩 陣 EA按列拉直得到的列向 量化函 數,vec(EA)∈R(n×t)×1;表示克羅內克(Kronecker)積。(2-10)式的矩陣形式為

求解上述方程的總體最小二乘方法可以表示為一個約束化問題:
求解‖(EA,V)‖F最小的問題即為總體最小二乘問題,當n<t+1即方程個數小于未知參數個數時,存在無數多個解X,用總體最小二乘解可以給出其最小范數解。而總體最小二乘問題主要是研究當n>t即線性方程超定時的總體最小二乘解。下面就介紹一下超定方程的兩種常用的總體最小二乘解法。
奇異值分解是線性代數中一種非常重要的矩陣分解方法,最早由Golub和Van Loan引入求解總體最小二乘問題。
一般情況下,求解線性方程L=AX,當n≥t+1時,NTN的階數小于或等于 NNT,此時,由矩陣 NTN求出來的最小特征值對應的特征向量就是對應于最小奇異∑t+1值的右奇異向量Wt+1。將

代入式(2-24),該式可變換為

則有



1)列觀測方程,建立函數模型 L+V=(A+EA)X;
2)構建增廣矩陣 N=[A L],并對增廣矩陣進行奇異值分解;
3)求解矩陣 NTN的特征值,并得出最小特征值 σt+1;
Schaffrin和魯鐵定等對總體最小二乘平差模型和推到方法進行了改進后[97、98],得出總體最小二乘平差準則為
以式(2-10)為條件,按拉格朗日乘數法求解,構成目標函數為


由式(12)和(13)分別可得

將式(16)代入上式,可得

將(20)式化為

同時

將(21)和(22)寫成矩陣形式


上式即為參數的總體最小二乘解,采用迭代求解。
總體最小二乘的奇異值分解法是基于數值逼近理論的總體最小二乘解,該解法沒有顧忌變量誤差(EIV)的隨機模型,因此總體最小二乘的奇異值分解法求得的參數估值并不是真正統計意義上的TLS解。奇異值分解法無法獲得相關情況下的平差模型以及觀測數據不等精度的統計意義上的最佳估值,而這種情況在大地測量領域又是普遍存在的。因此,盡管奇異值分解法算法簡單,其在大地測量領域的應用也受到了很多的限制。
總體最小二乘的迭代解法是Schaffrin等人基于拉格朗日求極值并且結合測量數據處理的特點,從測量平差的角度,顧及系數矩陣含有誤差的情況下,構建拉格朗日條件極值的目標函數,并推導出來的總體最小二乘解法。
從理論上來講,在觀測量獨立等精度的情況下,兩種解法是等價的。然而在測量數據處理過程中,往往是出現觀測量精度不等的情況。總體最小二乘的迭代解法是從測量平差的角度推導而來的,因此該算法更適用于測量數據處理。
最小二乘法是測繪數據處理領域中最基本的數據處理方法,但是最小二乘方法有很大局限性,即最小二乘只考慮觀測向量的誤差而不考慮系數矩陣的誤差或者是假設系數矩陣不存在誤差。然而,在實際的數據處理過程中發現,觀測方程系數矩陣往往會存在一定的偏差。如果直接忽略觀測系數矩陣偏差的影響,求得的參數估值必然不是最優無偏估計。總體最小二乘方法的提出則很好的解決了這一問題,該方法在考慮觀測向量誤差的同時也顧及了觀測方程系數矩陣偏差。當觀測方程系數矩陣存在偏差時,總體最小二乘解比最小二乘解更為真實可靠。在求解總體最小二乘問題時,最常用的方法有奇異值分解法和迭代解法。由于在測量數據處理過程中,觀測向量往往是精度不相等的,總體最小二乘的迭代解法更適用于測量數據處理。
【參考文獻】
[1]陶武勇,魯鐵定.基于奇異值分解法的抗差總體最小二乘[J].江 西 科 學 ,2015,33(01):101-105.
[2]魯鐵定,周世健.總體最小二乘的迭代解法[J].武漢大學學 報 (信 息 科 學 版 ),2010,35(11):1351-1354.
[3]王樂洋.測邊網坐標的總體最小二乘平差方法[J].大地測量與地球動力學,2012,32(06):81-85.
[4]李思達.總體最小二乘平差方法及若干測繪應用研究[D].中國礦業大學,2017.
[5]趙英文.總體最小二乘精度評定方法研究[D].東華理工大學,2017.