粗差探測與識別統計檢驗量的比較分析

郭建鋒，趙 俊

1.信息工程大學理學院，河南鄭州450001；2.中國科學院測量與地球物理研究所，湖北武漢430077

1 引 言

為保證測量成果達到設計要求，在完成實測任務后，必須進行測量數據的質量分析。大量研究表明，粗差僅僅占到觀測量總數的1%至10%左右。粗差的存在往往對最小二乘（least－squares，LS）估計造成不良的影響，即LS估計的抗差性（robustness，又譯為穩健性）非常差［1－12］。

對于工程技術與應用領域而言［2］，抗差性可以理解為統計推斷中的敏感度分析理論（或者稱為擾動分析、穩定性分析理論）。換言之，抗差性，即估計量抵御粗差影響的能力，表現為平差結果對觀測異常的敏感程度［5］。擬合優度檢驗［5－7］是檢驗平差成果的一項重要指標。因此，通過對擬合優度檢驗量進行敏感度分析構造探測與識別觀測異常的統計量，具有顯著的物理意義。

在粗差探測法中，假定隨機模型能夠客觀反映觀測量之間的（相對）精度及統計相關性，把粗差問題歸結為函數模型與實際模型的偏離。如果擬合優度檢驗結果不顯著，說明在一定顯著性水平上，平差成果達到了要求，可以采納；否則就表明當前的函數模型不能準確描述觀測量之間或觀測量與未知參數之間的物理或者幾何關系［6，13］。需要指出的是，擬合優度檢驗雖然能夠檢驗出粗差的存在與否，但卻不能探測和準確定位有幾個觀測量以及具體是哪幾個觀測量受到了多大量級的粗差污染［13，15］。

在粗差的探測與識別中，通常采用正態檢驗、學生氏t檢驗以及τ檢驗等，而構造相應的統計檢驗量既可基于局部敏感度指標，亦可基于LS殘差。本文對實施粗差探測與識別的統計檢驗量進行了比較分析，得到如下結論：① 相關觀測情形，局部敏感度指標比LS殘差的檢驗功效大，若單位權中誤差精確已知，宜采用基于標準化局部敏感度指標的正態檢驗；② 單位權中誤差未知時，τ檢驗理論本身存在固有缺陷，而學生氏t檢驗或將造成“納偽”錯誤的增加，較為穩妥的方案是仍然采用正態檢驗，但將標準化局部敏感度指標中的單位權中誤差以其抗差LMS（least median of squares）估計代替。

2 模型描述

考慮如下線性Gauss－Markov模型［5－7］

式中，A為n×u（n－u＞1）列滿秩設計陣；X為u×1未知參數向量；L為n×1觀測向量；e為相應的誤差（噪聲）向量，其方差－協方差陣為這里對稱正定陣P為觀測量的先驗權陣，而通常稱為單位權方差因子。

基于LS原理，可得到模型（1）中未知參數的LS估計為［5－7］

相應的殘差向量為

式中，R＝I－A（ATPA）－1ATP以矩陣形式反映平差結構，是質量的全面度量，稱為平差因子陣［12］。

容易驗證平差因子陣R冪等，并具以下有用性質

基于此，LS殘差的加權平方和Ω＝VTPV亦可表示為［13－16］

3 基于敏感度分析的統計量

3.1 標準化局部敏感度指標

將LS殘差的加權平方和對第i個觀測量li進行微分，得到［13－14］

式中，hi表示第i個分量為1，其余分量皆為0的n維單位向量。

顯然，?Ω／?li衡量的是Ω對第i個觀測值的擾動的敏感程度。注意到

因此統計量

可用于檢驗Ω對第i個觀測量的擾動是否“敏感”。

根據已知數據可以計算出w統計檢驗量的取值，其絕對值越大，表明Ω對第i個觀測量的擾動越“敏感”，故而li受到粗差污染的可能性就越大。因此，稱為第i個觀測量的標準化局部敏感度指標［13－14］。

應該指出的是，這里的wi即為可靠性理論中Baarda［17］導出的w統計檢驗量。

3.2 外部學生化局部敏感度指標

通過對局部敏感度指標進行標準化，可以有效消除量綱的影響，這對于多源數據融合的質量控制問題意義尤為重要。然而，得到標準化局部敏感度指標的前提是先驗單位權中誤差精確已知，否則就無法利用w統計量進行假設檢驗。

在測量實踐中，先驗單位權中誤差往往未知［5－7，12］。為此，本文提出如下服從自由度為nu－1的學生氏分布的統計檢驗量

當存在多個粗差時，LS殘差的加權平方和Ω往往偏大。由定義不難知道，這或將導致外部學生化局部敏感度指標普遍偏小，進而造成“納偽”錯誤的增加。因此，基于外部學生化局部敏感度指標探測和識別粗差潛在一定的風險。

3.3 內部學生化局部敏感度指標

單位權中誤差未知時，還可通過構造統計量進行粗差的探測與識別，這里為平差模型式（1）中的驗后單位權方差因子。稱為內部學生化局部敏感度指標。

統計量式（10）亦可表達為服從學生氏分布的統計量ti的函數，即

Thompson將統計量τi服從的分布稱為自由度為n－u的τ分布［18］。在測量質量控制中，τ檢驗是應用最為廣泛的統計量之一［5，18－24］。

Beta分布的一個顯著特點是其僅僅在單位區間（0，1）內取值［5］，于是得到

注意到關系式

有

式（15）表明，服從τ分布的統計量之絕對值存在上界，而且該上界僅取決于該統計量的自由度。

4 基于殘差的統計量

在經典測量平差中僅涉及獨立等權觀測數據，這種情況下，線性最小二乘平差理論中最基本的關系式ATPV＝O退化為

因此，在傳統的粗差探測與識別中，均以殘差作為對象研究問題。

4.1 標準化殘差

若先驗單位權中誤差精確已知，可構造如下稱為標準化殘差的統計量［17］

探測和識別粗差。

及

式中，ri表平差因子陣R的第i個對角元。

依據Cauchy－Schwarz不等式，有

由此得到

一個統計檢驗量的檢驗功效是顯著性水平和非中心化參數的單調增函數［25］，因此統計量wi比標準化殘差的檢驗功效要大，或者等價的，比統計量的檢驗功效要大。

事實上，統計量Ti為一致最大檢驗功效統計量［24］。也就是，在給定的顯著性水平上，利用Ti（或wi）進行假設檢驗犯“納偽”錯誤的概率比使用任何其他的統計量都要小。

相反，若事先指定顯著性水平和檢驗功效，統計量所對應的非中心化參數將唯一確定，由式（21）立即可知：一致最大檢驗功效統計量Ti（或wi）對應的最小可探測粗差指標［16－17，25］不會超過統計量（或標準化殘差），換言之，一致最大檢驗功效統計量Ti（或wi）較統計量（或）對粗差更敏感。

由于相關觀測情形下統計量wi比標準化殘差的檢驗功效要大，而在獨立觀測情形二者則完全一致，因此建議采用統計檢驗量wi進行粗差的探測和識別。

4.2 外部學生化殘差

先驗單位權中誤差未知時，可構造如下統計檢驗量

這稱為外部學生化殘差［4］。

根據關系式RP－1＝RP－1RT，容易驗證矩陣

為冪等陣，注意到

綜合上款，二次型

服從自由度為n－u－1的χ2分布［5］。

由于

依據正態隨機向量的線性組合與其二次型相互獨立的判定定理［5］可知，標準化殘差與相互統計獨立，因而，外部學生化殘差服從自由度為n－u－1的學生氏分布。

與外部學生化局部敏感度指標類似，當存在多個粗差時，統計量或潛在一定的風險。

4.3 內部學生化殘差

若單位權中誤差未知，還可構造如下稱之為內部學生化殘差的統計量［26］

進行粗差的探測與識別。

由于

根據正態隨機向量的兩個二次型相互獨立的判定定理［5］與相互統計獨立。因此，統計量

服從自由度分別為1／2、（n－u－1）／2的Beta分布。進而，內部學生化殘差統計量~τi服從自由度為n－u的τ分布［18］。

及

于是，當擾動量δi趨于無窮大時，第i個內部學生化殘差的絕對值之極限為

這個結果由Baselga［20］給出。

若顧及不等式（20），還可以進一步求出上述極限值的上界

式（29）再次驗證了這樣一個事實，即τ檢驗理論本身確乎存在缺陷。因而，使用τ統計量探測和識別粗差存在一定風險。

5 結論與建議

（1）若單位權中誤差精確已知，可采用正態檢驗。w統計量反映的是χ2擬合優度檢驗量對觀測值擾動的敏感程度，因而具有明確的物理意義；作為一致最大檢驗功效統計量，對于給定的顯著性水平和檢驗功效，Ti＝（或wi）能夠探測出量級最小的粗差。

因此，進行正態檢驗時，w統計量為首選，標準化殘差次之。

（2）若σ未知，可采用τ檢驗或t檢驗。τ檢驗理論本身固有缺陷；而存在多個粗差時，t檢驗或將造成“納偽”錯誤的增加，亦存在一定的風險。

從檢驗功效的角度考慮，無論進行τ檢驗抑或t檢驗，均建議采用基于局部敏感度指標的檢驗量。

（3）Robust正態檢驗。由于τ檢驗和t檢驗均存在一定缺陷，因此尚需對單位權方差因子未知時的粗差探測與識別作進一步的討論。

一種較為穩妥的解決方案是，采用具有明確物理意義的w統計量，而統計量中的未知參數σ則以其抗差LMS估計代替之［1－3，12－15］。即以

代替統計量wi中的先驗單位權中誤差σ。

將基于修正的w統計量的檢驗稱為Robust正態檢驗。從數學上說，修正的w統計量并不嚴格服從正態分布。然而經驗表明，該統計量具有較強的抗差性，當冗余觀測較多時尤為如此［1－3，12－15］。

［1］ HUBER P J，RONCHETTI E M.Robust Statistics［M］.2nd ed.New York：Wiley，2009.

［2］ HAMPEL F R，RONCHETTI E M，ROUSSEEUW P J，et al.Robust Statistics：The Approach Based on Influence Functions［M］.New York：Wiley，1986.

［3］ ROUSSEEUW P J，LEROY A M.Robust Regression and Outlier Detection［M］.New York：Wiley，1987.

［4］ CHATTERJEE S，HADI A S.Sensitivity Analysis in Linear Regression［M］.New York：Wiley，1988.

［5］ KOCH K R.Parameter Estimation and Hypothesis Testing in Linear Models［M］.2nd ed.Berlin：Springer－Verlag，1999.

［6］ LEICK A.GPS Satellite Surveying［M］.3rd ed.New York：Wiley，2004.

［7］ WOLF P R，GHILANI C D.Adjustment Computations：Statistics and Least Squares in Surveying and GIS［M］.3rd ed.New York：Wiley，1997.

［8］ ZHOU Jiangwen.Classical Theory of Errors and Robust Estimation［J］.Acta Geodaetica et Cartograghica Sinica，1989，18（2）：115－120.（周江文.經典誤差理論與抗差估計［J］.測繪學報，1989，18（2）：115－120.）

［9］ OU Jikun.Quasi－accurate Detection of Gross Errors（QUAD）［J］.Acta Geodaetica et Cartograghica Sinica，1999，28（1）：15－20.（歐吉坤.粗差的擬準檢定法（QUAD法）［J］.測繪學報，1999，28（1）：15－20.）

［10］ SONG Lijie，YANG Yuanxi.Comparison between Data Snooping and LEGE［J］.Acta Geodaetica et Cartograghica Sinica，1999，28（4）：295－300.（宋力杰，楊元喜.均值漂移模型粗差探測法與LEGE法的比較［J］.測繪學報，1999，28（4）：295－300.）

［11］ LI Xinna，GUI Qingming，XU Apei.Besian Method for Detection of Gross Errors Based on Classification Variables［J］.Acta Geodaetica et Cartograghica Sinica，2008，37（3）：355－360.（李新娜，歸慶明，許阿裴.基于識別變量的粗差探測的Bayes方法［J］.測繪學報，2008，37（3）：355－360.）

［12］ ZHOU Jiangwen，HUANG Youcai，YANG Yuanxi，et al.Robust Least Squares Method［M］.Wuhan：Huazhong University of Science and Technology Press，1997.（周江文，黃幼才，楊元喜，等.抗差最小二乘法［M］.武漢：華中理工大學出版社，1997.）

［13］ GUO Jianfeng.Theory of Model Errors and its Applications in GPS Data Processing［D］.Wuhan：Institute of Geodesy and Geophysics of Chinese Academy of Sciences，2007.（郭建鋒.模型誤差理論若干問題研究及其在GPS數據處理中的應用［D］.武漢：中科院測量與地球物理研究所，2007.）

［14］ GUO J F，OU J K，WANG H T.Quasi－accurate Detec－tion of Outliers for Correlated Observations［J］.Journal of Surveying Engineering，2007，133（3）：129－133.

［15］ GUO J K，OU J K，WANG H T.Robust Estimation for Correlated Observations：Two Local Sensitivity－based Downweighting Strategies［J］.Journal of Geodesy，2010，84（4）：243－250.

［16］ GUO J K，OU J K.Variation Characteristics of MDBs in Robust Estimation［J］.AllgVerm－Nachr，2010，117（2）：49－52.

［17］ BAARDA W.A Testing Procedure for Use in Geodetic Networks［J］.Netherlands Geod Comm Publ on Geod，1968，2（5）：1－97.

［18］ POPE A J.The Statistics of Residuals and the Detection of Outliers［R］.Rockville：NOAA Technical Report，Nos 65，NGS 1，1976.

［19］ KOK J J.On Data Snooping and Multiple Outlier Testing［R］.Rockville：NOAA Technical Report，Nos NGS 30，1984.

［20］ BASELGA S.Critical Limitation in Use ofτTest for Gross Error Detection［J］.Journal of Geodesy，2007，133（2）：52－55.

［21］ CROSS P A，PRICE D R.A Strategy for the Distinction between Single and Multiple Gross Errors in Geodetic Networks［J］.Manuscr Geod，1985，10（3）：172－178.

［22］ DING X，COLEMAN R.Multiple Outlier Detection by Evaluating Redundancy Contributions of Observations［J］.Journal of Geodesy，1996，70（8）：489－498.

［23］ SNOW K B，SCHAFFRIN B.Three－dimensional Outlier Detection for GPS Networks and Their Densification via the BLIMPBE Approach［J］.GPS Solutions，2003，7（2）：130－139.

［24］ KARGOLL B.On the Theory and Application of Model Misspecification Tests in Geodesy［D］.Bonn：University of Bonn，2007.

［25］ TEUNISSEN P J G.Quality Control in Integrated Navigation Systems［C］∥Proceedings of the IEEE PLANS90，Nevada：IEEE，1990：158－165.

［26］ COOK R D.Detection of Influential Observations in Linear Regression［J］.Technometrics，1977，19（1）：15－18.