整體最小二乘線性回歸模型與算法

丁士俊，姜衛平，楊顏梅

(1．武漢大學測繪學院，湖北武漢430079;2．國家測繪地理信息局精密工程測量與工業測量重點實驗室，湖北武漢430079;3．武漢大學衛星導航定位系統技術研究中心，湖北武漢430079;4．陜西測繪地理信息局，陜西西安710000)

一、引 言

整體最小二乘問題首先由G．H．Golub和L．C．F．Van 提出[1]，十多年來，人們對整體最小二乘TLS(total least squares)的算法、解的條件，以及整體最小二乘與最小二乘之間的關系作了許多理論研究[2]。對于一些實際應用問題而言，如信號處理、統計計算、回歸分析等都可以歸結為對整體最小二乘問題的處理。在勘察測繪科學技術領域中，回歸分析方法是一種處理測量數據常用的方法，回歸分析模型的傳統解法是認為自變量x沒有誤差，因變量y為具有偶然誤差的觀測量，應用最小二乘原理，得到回歸參數的最佳估值[3]。對于一組測量數據(xi，yi)，i=1，2，…，n，如果在同時考慮觀測數據 xi與yi的誤差的前提下，求解回歸參數的方法屬于整體最小二乘回歸分析問題。文獻[4-8]對該問題進行一些相應的研究;文獻[4]與文獻[5]分別從兩種不同的平差方法進行了討論;文獻[7]對文獻[4-5]存在問題進行了分析比較，但對文獻[4-5]中存在的問題沒有給出合理的解釋，得出結論有點偏頗;文獻[8]證明了整體最小二乘線性回歸條件平差法與間接平差法解的等價性問題，沒有就精度估計等價性給出理論上的證明?？紤]到上述這些因素，本文采用測量平差中處理數據建模的方法，對整體最小二乘線性回歸參數的求解進行較為深入的研究，旨在為整體最小二乘理論在測量數據處理中的應用奠定研究基礎。

二、自變量無誤差的線性回歸模型

為了討論問題方便起見，以一元線性回歸為例，設觀測點坐標為(xi，yi)，則一元線性回歸模型為

式中，a、b為回歸參數;Δi為觀測量yi的真誤差。

如果自變量xi沒有誤差，設未知參數a、b的近似值為a0、b0，其改正數為 d a，d b。按間接平差求解，其誤差方程式為

假設 Pyy為觀測量 y的權陣，在最小二乘準則VTPyyV=min下，則回歸參數改正數的估值為

三、顧及自變量誤差的線性回歸模型

1．顧及自變量誤差的條件平差模型

如果考慮自變量x誤差，并假設x與y相互獨立，則其回歸模型觀測方程為

式中，vxi、vyi為觀測量的改正數。式(5)是含參數與觀測量改正數的二次項，將未知參數a、b的近似值a0、b0代入式(5)，線性化后約去參數與觀測量改正數的二次項，則觀測方程可表示為

其矩陣表達式為

式(7)表示包含殘差及未知參數改正數組成的約束方程，每一個觀測數據點組成一個方程，共n個方程，式中待定量共2n+2個(其中，包括兩個參數，2n個Vx與Vy)，故需最小二乘準則進行解算。

考慮到自變量x與因變量y的獨立性且不等精度，其隨機模型為

由最小二乘估計準則VTPV=min，構造極值函數φ=VTPV-2KT(EV+A d B-L)，K為聯系數向量矩陣。由極值函數對V、d B分別求偏導數，可得

聯立式(7)、式(9)、式(10)可得到 K、V、d B 的唯一解

則回歸參數的估值為

2．顧及自變量誤差的間接平差

取xi0=xi，將未知數的近似值代入上述平差方程，將觀測方程線性化，約去參數改正數的二次項，則誤差方程為

其矩陣表達式為

式中

按間接平差原理，組成法方程可得

由式(18)第一個方程可得

將式(19)代入式(18)第二式可得

3．顧及自變量誤差的兩種平差方法的等價性

為了證明上述兩種平差方法的等價性，比較式(20)與式(14)，只需證明式(21)成立

將式(22)代入下式整理得

即式(21)得證，由此可見參數的解式(14)與式(20)等價。

同樣可以證明兩種平差方法所得到的觀測量改正數相等的結論，將式(19)代入式(17)得到

對式(23)進一步整理得

由矩陣的恒等性質可知，如果矩陣A與B是正則方陣，則矩陣恒等式成立，利用該矩陣恒等性質，則式(24)中矩陣的第一式改化為

由矩陣的反演公式，將式(25)中矩陣的第二式改為

將式(25)和式(26)代入式(24)整理得

比較式(27)與式(14)，即結論成立。

4．顧及自變量誤差線性回歸解的精度估計

觀測量的標準差按下式估計

式中，n為觀量數據點數;t為回歸參數的個數，對于一元線性回歸而言t=2。

就參數的方差與協方差的計算，按方差傳播定律，由式(20)可得到參數的方差為

式中，DL為L的方差。由于其向量形式為

式中e=[1 1 …1]T。由式(30)可得L的方差陣為

將式(31)代入式(29)得

四、結束語

回歸分析方法是一種處理測量數據常用的方法，本文在同時考慮觀測數據xi與yi的誤差的前提下，應用整體最小二乘原理，導出了整體最小二乘線性回歸模型的解。按照間接平差與條件平差的原理，證明了整體最小二乘線性回歸模型參數的解以及標準差的等價性。

[1]GOLUBG H，VAN L C F．An Anlysis of the Total Least Squares Problem[J]．SIAM J．Nuner．Anal，1980，17：883-893．

[2]愈錦成．關于整體最小二乘問題的可解性[J]．南京師大學報：自然科學版，1996(1)：12-16．

[3]武漢大學測繪學院測量平差學科組．誤差理論與測量平差基礎[M]．武漢：武漢大學出版社，2003．

[4]劉大杰，史文中，童小華，等．GIS空間數據處理的精度分析與控制[M]．上海：上?？茖W技術文獻出版社，1999．

[5]王安怡，陶本藻．顧及自變量誤差的回歸分析理論和方法[J]．勘察科學技術，2005(3)：29-32．

[6]李雄軍．對 X和 Y方向最小二乘線性回歸的討論[J]．計量技術，2005(1)：50-52．

[7]魯鐵定，陶本藻，周世鍵．基于整體最小二乘法的線性回歸建模和解法[J]．武漢大學學報：信息科學版，2008(5)：504-507．

[8]周世鍵，魯鐵定．雙變量線性回歸解算方法的等價性[J]．江西科學，2009(6)：867-870．

[9]孔建，姚宜斌，許雙安．整體最小二乘求取坐標轉換參數[J]．大地測量與地球動力學，2010(3)：74-78．