線性回歸總體最小二乘平差模型及解算

汪奇生 楊德宏 楊騰飛

1 湖南軟件職業學院，湘潭市寶馬西路，411100

2 昆明理工大學國土資源工程學院，昆明市文昌路68號，650093

求解線性回歸參數的估值，一般都是基于高斯－馬爾科夫模型，采用最小二乘法計算。但在實際中，通過測量獲取的坐標數據有可能含有隨機誤差，需要考慮線性回歸模型中自變量的誤差，即平差模型中系數矩陣的誤差。對于此類問題，文獻［1－2］提出以正交距離殘差平方和極小為準則的正交最小二乘法來進行擬合。實質上，同時考慮觀測誤差和平差模型中系數矩陣的誤差，就是一個總體最小二乘估計問題，通常需要建立相應的EIV（errors－in－variables）模型，采用總體最小二乘來對回歸參數進行估計［3］。鑒于總體最小二乘常規的矩陣分解過程復雜，測量學者提出一些迭代算法［4－8］，但這些算法大都不能直接解算線性回歸模型。對于線性回歸模型的總體最小二乘解算，一般采用混合總體最小二乘法［9－10］。由于混合總體最小二乘法同樣不利于測量人員理解，因此也有一些關于線性回歸模型的總體最小二乘解算研究［11－12］。但文獻［11－12］的研究并沒有達到預定的目的，所述的平差解算方法有偏頗［13］。考慮到線性回歸函數模型的特點，本文對其函數模型進行變換，提出了針對線性回歸問題的總體最小二乘模型，并推導其迭代算法。通過實例對比，驗證了模型和算法的可行性。

1 常規EIV模型

線性回歸函數模型為：

其總體最小二乘平差模型（EIV 模型）和相應的誤差期望和方差為：

式中，Y為m×1階觀測向量，e為Y的誤差向量，B為m×n階系數矩陣，EB為B的誤差矩陣，β為n×1 階待估參數。其中，?為矩陣的克羅內克積，vec（EB）是將矩陣EB按列從左到右拉直得到的列向量化矩陣。Im為m階單位矩陣，In為n階單位矩陣。

若系數矩陣同時含有常數列和誤差項，一般采用混合總體最小二乘矩陣分解法［9－10］或迭代算法［13］進行解算。鑒于混合總體最小二乘矩陣分解過程復雜，本文提出針對線性回歸的總體最小二乘平差模型和算法。

2 線性回歸總體最小二乘平差模型

可將式（1）進行等價轉換，得：

式（4）即為線性回歸總體最小二乘平差模型。其中，A為m×n系數矩陣，EA為A的誤差矩陣，W為m×1元素全為1的常數向量，X為n×1的待估參數。通過等價變換，將原平差模型系數矩陣的常數列分離出來。在模型中誤差項全部集中在矩陣A中，而W為常數列向量。考慮自變量與因變量獨立等精度，根據總體最小二乘原理，其誤差期望和方差為：

式中，vec（EA）是將矩陣EA按列從左到右拉直得到的列向量化矩陣，Imn為mn階單位矩陣，V是平差模型中mn×1階誤差向量，V＝vec（EA）。

總體最小二乘的估計準則為：

以式（6）為條件，按照拉格朗日乘數求解，構造目標函數為：

式中，K為m×1拉格朗日乘數，EAX＝（XT?Im）V。為求φ的極小值，將其分別對V、X求偏導，并令其等于0：

由式（8）可得：

V＝（XT?Im）TK＝（X?Im）K或EA＝KXT代入式（4）可得：

由式（9）可得：

將式（10）和式（11）代入式（12），則：

化簡整理，可得參數X的表達式：

式中，v＝（W－AX）T（W－AX）／XTX。由上述推導可知：

則單位權中誤差評定公式為：

3 解算步驟

參數求解采用迭代方法，步驟如下：

1）由式（1）根據最小二乘原理求得回歸參數估值a0、a1…an，再根據式（3）將其變換為b0、b1…bn，并組成回歸參數的初值X（0）＝［b0b1…bn］T。

2）按式（17）計算新的回歸參數值：

4）輸出參數估值，按式（16）求得單位權中誤差。

4 實例分析

算例采用文獻［13］中的數據，即運用MATLAB模擬一個一元線性回歸方程。設其方程為y＝1.5＋2.1x，在x和y的值上加上均值為0、方差為0.3的隨機誤差，構成觀測數據，見表1。分別采用最小二乘法、EIV 模型下的混合總體最小二乘法、文獻［13］所述方法以及本文方法對參數進行估計。迭代終止條件為相鄰兩次迭代的估值的歐氏距離為ε＝10－10，參數估計的結果和單位權中誤差以及兩種迭代算法的迭代次數見表2。

表1 觀測值Tab.1 Observation values

從表2看出，采用本文方法、混合總體最小二乘法和文獻［13］所述方法得到的結果相同，且與真值較接近，而采用最小二乘法求得的回歸參數估值明顯與真值相差較大，且精度較低。從解算的迭代次數可以看出，文獻［13］所述方法需要65次，而本文方法只需28次。此外，本文算法適合多元線性回歸的總體最小二乘問題，而文獻［13］所述方法只是針對一元線性回歸的總體最小二乘問題。這進一步說明了本文方法的優越性。

表2 平差結果Tab.2 Results estimated by different methods

從解算結果可以得出，本文提出的模型針對線性回歸模型的總體最小二乘解算是合理的。并且本文在平差模型的基礎上推導的迭代算法，過程簡單易懂，迭代格式簡捷易于程序實現。相比常規的混合總體最小二乘矩陣分解法，更利于測量人員理解和實現。

［1］丁克良，歐吉坤，趙春梅.正交最小二乘曲線擬合法［J］.測繪科學，2007，32（3）：18－19（Ding Keliang，Ou Jikun，Zhao Chunmei.Methods of the Least－Squares Orthogonal Distance Fitting［J］.Science of Surveying and Mapping，2007，32（3）：18－19）

［2］丁克良，劉全利，陳翔.正交距離圓曲線擬合方法［J］.測繪科學，2008，33（10）：72－73（Ding Keliang，Liu Quanli，Chen Xiang.Fitting of Circles Based on Orthogonal Distance［J］.Science of Surveying and Mapping，2008，33（10）：72－73）

［3］Golub G H，Vanl C F.An Analysis of the Total Least Squares Problem［J］.SIAM J Numer Anal，1980，17：883－893

［4］魯鐵定，周世健.總體最小二乘的迭代解法［J］.武漢大學學報：信息科學版，2010，35（11）：1 351－1 354（Lu Tieding，Zhou Shijian.An Iteration for the Total Least Squares Estimation［J］.Geomatics and Information Science of Wuhan University，2010，35（11）：1 351－1 354）

［5］孔建，姚宜斌，吳寒.整體最小二乘的迭代解法［J］.武漢大學學報：信息科學版，2010，35（6）：711 －714（Kong Jian，Yao Yibin，Wu Han.Iterative Method for Total Least－Squares［J］.Geomatics and Information Science of Wuhan University，2010，35（6）：711－714）

［6］許超鈐，姚宜斌，張豹，等.基于整體最小二乘的參數估計新方法及精度評定［J］.測繪通報，2011（10）：1－4（Xu Chaoqian，Yao Yibin，Zhang Bao，et al.New Method of Parameters Estimation and Accuracy Evaluation Based on TLS［J］.Bulletin of Surveying and Mapping，2011（10）：1－4）

［7］Schaffrin B，Wieser A.On Weighted Total Least－Squares Adjustment for Linear Regression［J］.Journal of Geodesy，2008，82（7）：415－421

［8］Shen Y Z，Li B F，Chen Y.An Iterative Solution of Weighted Total Least－Squares Adjustment［J］.Journal of Geodesy，2010，85（4）：229－238

［9］丁克良，沈云中，歐吉坤.整體最小二乘法直線擬合［J］.遼寧工程技術大學學報：自然科學版，2010，29（1）：44－47（Ding Keliang，Shen Yunzhon，Ou Jikun.Methods of Line—Fitting Based on Total Least－Squares［J］.Journal of Liaoning Technical University：Natural Science，2010，29（1）：44－47）

［10］孫同賀，羅志才.數字化曲線的整體最小二乘平差［J］.工程勘察，2013（8）：71－73（Sun Tonghe，Luo Zhicai.Total Least Squares Method for Digitized Curve Fitting［J］.Geotechnical Investigation ＆Surveying，2013（8）：71－73）

［11］丁士俊，姜衛平，楊顏梅.整體最小二乘線性回歸模型與算法［J］.測繪通報，2012（12）：8－10（Ding Shijun，Jiang Weiping，Yang Yanmei.Model and Algorithm for Total Least Squares Linear Regression［J］.Bulletin of Surveying and Mapping，2012（12）：8－10）

［12］魯鐵定，陶本藻，周世健.基于整體最小二乘法的線性回歸建模和解法［J］.武漢大學學報：信息科學版，2008，33（5）：504－507（Lu Tieding，Tao Benzao，Zhou Shijian.Modeling and Algorithm of Linear Regression Based on Total Least Squares［J］.Geomatics and Information Scienceof Wuhan University，2008，33（5）：504－507）

［13］汪奇生，楊德宏，楊建文.基于總體最小二乘的線性回歸迭代算法［J］.大地測量與地球動力學，2013，33（6）：112－114（Wang Qisheng，Yang Dehong，Yang Jianwen.An Iteration Algorithm of Linear Regression Based on Total least Squares［J］.Journal of Geodesy and Geodynamics，2013，33（6）：112－114）