基于穩(wěn)健主成分回歸的統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估方法

李孝財(cái)

穩(wěn)健主成分回歸評(píng)估方式，屬于一種新型的統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估方法，這種方式具備較強(qiáng)的應(yīng)用優(yōu)勢(shì)，已被逐漸應(yīng)用于較多的統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估中。本文重點(diǎn)對(duì)基于穩(wěn)健主成分回歸的統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估方法進(jìn)行探究，從統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估中文件統(tǒng)計(jì)方法應(yīng)用的可行性入手，分析了穩(wěn)健主成分回歸的統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估方法，提出提高統(tǒng)計(jì)數(shù)據(jù)可靠性的措施，希望為相關(guān)人員提供參考借鑒，促進(jìn)我國(guó)統(tǒng)計(jì)工作的良好開展。

只有保證統(tǒng)計(jì)數(shù)據(jù)具備較好的可靠性及準(zhǔn)確性，才會(huì)發(fā)揮出統(tǒng)計(jì)工作的作用，為相應(yīng)決策的制定提供準(zhǔn)確的數(shù)據(jù)支撐。我國(guó)對(duì)于統(tǒng)計(jì)數(shù)據(jù)關(guān)注力度逐漸增加，對(duì)統(tǒng)計(jì)工作提出了更高的要求，如何通過有效的方式對(duì)統(tǒng)計(jì)數(shù)據(jù)可靠性進(jìn)行評(píng)估，保證統(tǒng)計(jì)數(shù)據(jù)的準(zhǔn)確性以及可靠性，是需要重點(diǎn)探究的問題。本文就穩(wěn)健主成分回歸的統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估方法進(jìn)行探討。

一、統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估中文件統(tǒng)計(jì)方法應(yīng)用的可行性

保證統(tǒng)計(jì)數(shù)據(jù)的準(zhǔn)確性尤為重要，數(shù)據(jù)越準(zhǔn)確，則說明越接近真實(shí)情況，不過因?yàn)槎喾矫嬗绊懀谡鎸?shí)統(tǒng)計(jì)數(shù)據(jù)的獲取上存在較大的難度，因此需要通過一些間接的方式，判斷統(tǒng)計(jì)數(shù)據(jù)的準(zhǔn)確性，例如在對(duì)某個(gè)數(shù)據(jù)的可靠性進(jìn)行研究時(shí)，可以通過這個(gè)數(shù)據(jù)與其他相關(guān)經(jīng)濟(jì)數(shù)據(jù)是否一致來表現(xiàn)出來，通過分析該指標(biāo)與其他相關(guān)指標(biāo)是否相匹配來判斷。若良好匹配，說明數(shù)據(jù)具備一定的可信度。基于異常值的評(píng)估方法屬于統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估方法中的一種類型，這種方法的思路是利用統(tǒng)計(jì)分析方法，將統(tǒng)計(jì)數(shù)據(jù)中存在的異常點(diǎn)識(shí)別出來，與異常值產(chǎn)生的具體情況結(jié)合，對(duì)統(tǒng)計(jì)數(shù)據(jù)的可靠性進(jìn)行判斷，不過這種統(tǒng)計(jì)方法應(yīng)用過程中，數(shù)據(jù)中存在的異常值會(huì)對(duì)其產(chǎn)生相應(yīng)影響，使估計(jì)結(jié)果不夠準(zhǔn)確，同時(shí)，擬合獲得的模型殘差，不能對(duì)所有異常值進(jìn)行識(shí)別。這種情況下，則無法根據(jù)這些異常值，對(duì)統(tǒng)計(jì)數(shù)據(jù)可靠性進(jìn)行有效判斷，由此可見，異常值診斷下的統(tǒng)計(jì)數(shù)據(jù)評(píng)估方法具備一定的不足。而穩(wěn)健統(tǒng)計(jì)方法，會(huì)對(duì)異常值存在較強(qiáng)的抵抗性，因此，會(huì)獲得更加準(zhǔn)確的估計(jì)結(jié)果，最為重要的是擬合得到的殘差，給出的異常值信息會(huì)更為準(zhǔn)確，在異常值識(shí)別上具備較大的優(yōu)勢(shì)，進(jìn)而能更好地判斷這些異常值是否由于統(tǒng)計(jì)數(shù)據(jù)的可靠性存在問題。

二、基于穩(wěn)健主成分回歸的統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估方法

（一）穩(wěn)健主成分回歸

對(duì)于穩(wěn)健主成分分析方法而言，其屬于兩種思想結(jié)合形成的一種方法，一種是MCD估計(jì)下的穩(wěn)健協(xié)方差矩陣方法，另一種是投影尋蹤法，其中投影尋蹤法屬于統(tǒng)計(jì)學(xué)中較為新穎的處理方法，主要處理的是多因素且相對(duì)復(fù)雜的問題。該方法是將高維數(shù)據(jù)投影到低維空間，根據(jù)低維投影特征信息，對(duì)高維數(shù)據(jù)結(jié)構(gòu)特征進(jìn)行研究。穩(wěn)健主成分回歸分析方法的第二階段穩(wěn)健回歸是一種基于最小截尾平方和估計(jì)下的穩(wěn)健回歸模式，同最小二乘估計(jì)比較而言，具備更強(qiáng)的穩(wěn)健性。這種方式下的目標(biāo)函數(shù)，能夠按照從小到大的方式，排列樣本點(diǎn)的殘差平方和，隨后，計(jì)算出這一排列中前一半的殘差平方和最小值對(duì)應(yīng)的估計(jì)值，將其作為最優(yōu)估計(jì)值，因?yàn)闅埐钇椒胶褪歉鶕?jù)升序進(jìn)行排列，雖然后一半的殘差平方較大，不過卻不會(huì)對(duì)估計(jì)結(jié)果產(chǎn)生影響。該方法穩(wěn)健性較高，破壞點(diǎn)BP=50%，即便樣本點(diǎn)中存在一半的異常值，也不會(huì)對(duì)估計(jì)結(jié)果產(chǎn)生較大的影響，獲得的估計(jì)值會(huì)更加準(zhǔn)確。

基于最小截尾平方和估計(jì)下的穩(wěn)健回歸模式，主要是對(duì)因變量y進(jìn)行分析，獲得主成分ti，再將其進(jìn)行回歸擬合，得到如下回歸函數(shù)矩陣形式：

yi=θ0+θ1ti+εi，其中（i=1，2，……，n）

為對(duì)上式中的參數(shù)進(jìn)行估計(jì)，選擇基于最小截尾平方和估計(jì)下的穩(wěn)健回歸模式，主要是由于該模式的BP=50%，具備較強(qiáng)的穩(wěn)健性。模型參數(shù)定義為：

r2表示的是根據(jù)升序排列的殘差平方，h在0.5～n范圍內(nèi)，通過n-h+1，對(duì)其可以抵抗的異常數(shù)據(jù)點(diǎn)個(gè)數(shù)便捷進(jìn)行衡量，當(dāng)h在0.5～n范圍內(nèi)時(shí)，會(huì)得到正確的分析結(jié)果，默認(rèn)為0.75n。h的大小，決定著可以抵抗異常數(shù)據(jù)點(diǎn)的多少，越小則可抵抗的點(diǎn)數(shù)就會(huì)越多，直至50%。該方法的殘差公式為， ri=yi-θ0-θti，是擬合獲得的殘差，ch表示的是修正因子，殘差具備較高的穩(wěn)健性，能夠進(jìn)行異常值的識(shí)別。

（二）主成分?jǐn)?shù)目選擇

對(duì)于穩(wěn)健主成分分析而言，給定的主成分?jǐn)?shù)目r_0表示的是原始數(shù)目，進(jìn)行穩(wěn)健主成分回歸時(shí)，應(yīng)利用模型的擬合能力以及預(yù)測(cè)能力，對(duì)主成分?jǐn)?shù)目r進(jìn)行科學(xué)選擇。通過穩(wěn)健均方根誤差度量模型的擬合能力，通過穩(wěn)健交叉核實(shí)均方誤差度量模型的預(yù)測(cè)能力，公式如下：

其中，，r=1，…，rmax，，表示的是i點(diǎn)的擬合值，表示的是i點(diǎn)的預(yù)測(cè)值。RMSE值越小，則說明模型的擬合效果越好;而RMSECV值越小，則說明模型預(yù)測(cè)效果越好。結(jié)合這兩項(xiàng)指標(biāo)，進(jìn)行穩(wěn)健主成分選擇統(tǒng)計(jì)量（RCS）的構(gòu)建，如下所示：

其中，γ∈[0，1]表示調(diào)節(jié)參數(shù)，在γ的選擇上，可以從以下兩方面入手：第一，如果想要突顯出模型的擬合能力，可以選擇較小的γ;第二，若想要突顯出模型的預(yù)測(cè)能力，可以選擇較大的γ。提出的穩(wěn)健主成分選擇統(tǒng)計(jì)量（RCS），是模型預(yù)測(cè)能力與擬合能力的綜合，能夠按照這一指標(biāo)，確定出主成分?jǐn)?shù)目r。與RCS曲線圖相結(jié)合，選擇RCS值較小時(shí)對(duì)應(yīng)的r，則屬于主成分?jǐn)?shù)目的最優(yōu)值。

（三）異常點(diǎn)檢驗(yàn)

進(jìn)行平差測(cè)量時(shí)，通常情況下會(huì)存在一些異常點(diǎn)，這些異常點(diǎn)的存在會(huì)大大影響到計(jì)算結(jié)果，嚴(yán)重偏離給定的模型，為進(jìn)一步對(duì)這些點(diǎn)進(jìn)行研究，應(yīng)進(jìn)行實(shí)際檢測(cè)，在對(duì)異常點(diǎn)進(jìn)行檢驗(yàn)時(shí)，可以選擇以下方式：

第一，得分距離法（SD）。

其中，通過穩(wěn)健主成分分析，得到λj。

第二，正交距離法（OD）

其中，;zi∈Z，φ屬于穩(wěn)健特征向量，主要通過穩(wěn)健主成分分析中獲得。

第三，標(biāo)準(zhǔn)化殘差法（SR）

其中，νi表示的是擬合殘差。

以上提出的幾種檢驗(yàn)方式，得分距離法的應(yīng)用下，會(huì)了解到觀測(cè)值對(duì)主成分產(chǎn)生的影響;正交距離法的應(yīng)用下，能夠了解觀測(cè)值與主成分空間的距離;標(biāo)準(zhǔn)化殘差法，反映出了擬合的優(yōu)度。對(duì)于主成分而言，若觀測(cè)值沒有對(duì)主成分產(chǎn)生較大的影響，同時(shí)，與主成分子空間存在較近的距離，可以認(rèn)為這一觀測(cè)點(diǎn)屬于正常的觀測(cè)點(diǎn)，否則即屬于異常點(diǎn)。對(duì)于回歸部分而言，若觀測(cè)值沒有對(duì)主成分產(chǎn)生較大的影響，同時(shí)存在良好的擬合效果，可以認(rèn)為這一觀測(cè)點(diǎn)屬于正常的觀測(cè)點(diǎn)，不然則屬于異常點(diǎn)。利用以上方式進(jìn)行統(tǒng)計(jì)量檢驗(yàn)時(shí)，分別進(jìn)行主成分與回歸部分觀測(cè)值的檢驗(yàn)，如果觀測(cè)值通過了檢驗(yàn)，說明其屬于正常觀測(cè)點(diǎn)，若未通過檢驗(yàn)，則屬于異常點(diǎn)。給定顯著性水平a，對(duì)于主成分部分而言，如果，同時(shí)ODi<SDi，說明i點(diǎn)屬于正常的觀測(cè)點(diǎn)，如果不滿足這一條件，則說明該點(diǎn)為異常點(diǎn)。對(duì)于回歸部分而言，如果，同時(shí)，說明i點(diǎn)屬于正常的觀測(cè)點(diǎn)，如果不滿足這一條件，說明該點(diǎn)屬于異常點(diǎn)。

（四）異常點(diǎn)及粗差探測(cè)

為更加直觀的探測(cè)異常點(diǎn)，選擇異常點(diǎn)診斷圖的方式具體探測(cè)步驟為：第一，通過具體計(jì)算，獲得各觀測(cè)點(diǎn)的得分距離，還應(yīng)計(jì)算出各觀測(cè)點(diǎn)的正交距離以及標(biāo)準(zhǔn)化殘差。第二，進(jìn)行主成分異常點(diǎn)診斷圖構(gòu)造。將SD作為橫軸，將OD作為縱軸，畫出主成分異常點(diǎn)診斷圖，完成以上工作后，給定出顯著性水平a ，分別以以及作為臨界線，處于臨界線之外的點(diǎn)，則屬于主成分異常點(diǎn)。第三，進(jìn)行回歸異常點(diǎn)診斷圖構(gòu)造。將SD作為橫軸，將SR作為縱軸，畫出回歸異常點(diǎn)診斷圖，分別將以及作為臨界線，處于臨界線之外的點(diǎn)，則屬于回歸異常點(diǎn)。需要注意的是，如果探測(cè)出異常點(diǎn)，則表示此觀測(cè)點(diǎn)會(huì)對(duì)結(jié)果產(chǎn)生較大的影響，或者嚴(yán)重偏離模型，不一定存在粗差。應(yīng)與穩(wěn)健主成分回歸殘差圖相結(jié)合，進(jìn)行粗差的探測(cè)。

三、提高統(tǒng)計(jì)數(shù)據(jù)可靠性的措施

（一）提升思想認(rèn)識(shí)

各地區(qū)統(tǒng)計(jì)工作人員，應(yīng)提升思想認(rèn)識(shí)，了解統(tǒng)計(jì)調(diào)查及測(cè)算工作的重要性，例如在經(jīng)濟(jì)增長(zhǎng)數(shù)據(jù)調(diào)查及測(cè)算中，會(huì)獲得準(zhǔn)確的經(jīng)濟(jì)增長(zhǎng)數(shù)據(jù)，能夠?qū)⒋俗鳛榈貐^(qū)經(jīng)濟(jì)發(fā)展的數(shù)據(jù)支撐，促進(jìn)國(guó)計(jì)民生發(fā)展，并且，在準(zhǔn)確的數(shù)據(jù)支撐下，會(huì)使領(lǐng)導(dǎo)人員作出更加正確的決策。因此，我國(guó)相關(guān)部門應(yīng)做好統(tǒng)計(jì)工作重要性的宣傳工作，使人員了解到統(tǒng)計(jì)數(shù)據(jù)調(diào)查的重要價(jià)值。

（二）改革統(tǒng)計(jì)方法制度

基于統(tǒng)計(jì)力量上而言，需要增加基層統(tǒng)計(jì)投入，基層統(tǒng)計(jì)部門工作較為瑣碎，并且存在較大的任務(wù)量，應(yīng)有大量的統(tǒng)計(jì)人員。基于統(tǒng)計(jì)功能而言，應(yīng)對(duì)統(tǒng)計(jì)指標(biāo)體系進(jìn)行完善，構(gòu)建符合經(jīng)濟(jì)發(fā)展的統(tǒng)計(jì)指標(biāo)體系，對(duì)于經(jīng)濟(jì)統(tǒng)計(jì)數(shù)據(jù)的調(diào)查及統(tǒng)計(jì)工作而言，主要是獲得準(zhǔn)確的經(jīng)濟(jì)信息，供廣大群眾與政府使用，使其對(duì)經(jīng)濟(jì)發(fā)展情況進(jìn)行詳細(xì)的了解，掌握當(dāng)前經(jīng)濟(jì)發(fā)展形勢(shì)，在此基礎(chǔ)上，制定出針對(duì)性的發(fā)展決策，并非用于政府業(yè)績(jī)?cè)u(píng)價(jià)。還存在較多對(duì)政府業(yè)績(jī)進(jìn)行評(píng)價(jià)的指標(biāo)，如當(dāng)?shù)匚飪r(jià)指數(shù)以及居民幸福指數(shù)等。進(jìn)行政府業(yè)績(jī)經(jīng)濟(jì)增長(zhǎng)數(shù)據(jù)不是唯一的渠道，若可以有效將統(tǒng)計(jì)數(shù)據(jù)結(jié)果與政府考核分開，會(huì)大大降低人為因素對(duì)數(shù)據(jù)可靠性的影響，進(jìn)而有效提升統(tǒng)計(jì)數(shù)據(jù)的可靠性，此外，為有效提升數(shù)據(jù)統(tǒng)計(jì)的可靠性，還應(yīng)對(duì)抽樣調(diào)查方案設(shè)計(jì)與統(tǒng)計(jì)調(diào)查登記時(shí)間加以完善。

（三）提高統(tǒng)計(jì)隊(duì)伍素質(zhì)

統(tǒng)計(jì)工作開展過程中，需要統(tǒng)計(jì)人員執(zhí)行各項(xiàng)工作，其素質(zhì)水平會(huì)對(duì)統(tǒng)計(jì)數(shù)據(jù)的準(zhǔn)確性以及可信度產(chǎn)生直接的影響。當(dāng)前，一些基層統(tǒng)計(jì)人員不具備較強(qiáng)的綜合素質(zhì)，因此，統(tǒng)計(jì)部門應(yīng)將重點(diǎn)放在統(tǒng)計(jì)隊(duì)伍素質(zhì)的提升上，通過定期培訓(xùn)，使統(tǒng)計(jì)工作人員具備較強(qiáng)的統(tǒng)計(jì)能力以及正確的思想認(rèn)識(shí)，提升統(tǒng)計(jì)數(shù)據(jù)質(zhì)量以及準(zhǔn)確性。從數(shù)據(jù)源頭入手，對(duì)各種統(tǒng)計(jì)調(diào)查進(jìn)行完善，獲得準(zhǔn)確、可靠的原始數(shù)據(jù)資料，強(qiáng)化基層單位統(tǒng)計(jì)力量，確保基層統(tǒng)計(jì)數(shù)據(jù)更為真實(shí)、準(zhǔn)確，并且，還應(yīng)定期評(píng)估基層統(tǒng)計(jì)數(shù)據(jù)。對(duì)于統(tǒng)計(jì)工作人員而言，應(yīng)具備愛崗敬業(yè)精神，及時(shí)掌握國(guó)家的各種方針政策，掌握統(tǒng)計(jì)工作方法，在多樣化的培訓(xùn)中，開闊統(tǒng)計(jì)人員視野，提升統(tǒng)計(jì)隊(duì)伍的綜合素質(zhì)。

（四）構(gòu)建安全暢通、便捷高效的聯(lián)網(wǎng)直報(bào)系統(tǒng)

當(dāng)前環(huán)境下，信息化技術(shù)得以不斷發(fā)展，需要做好數(shù)據(jù)庫、數(shù)據(jù)采集處理系統(tǒng)以及信息化硬件設(shè)施的建設(shè)工作，加快實(shí)現(xiàn)調(diào)查對(duì)象和調(diào)查人員通過互聯(lián)網(wǎng)直接向全國(guó)數(shù)據(jù)處理中心報(bào)送原始數(shù)據(jù)、各級(jí)統(tǒng)計(jì)機(jī)構(gòu)在線共享的工作模式，轉(zhuǎn)變基層統(tǒng)計(jì)隊(duì)伍的工作重點(diǎn)，從過去繁重的數(shù)據(jù)收集匯總、報(bào)表填報(bào)轉(zhuǎn)向?qū)υ紨?shù)據(jù)的核查和基礎(chǔ)統(tǒng)計(jì)工作的督導(dǎo)，有效消除可能存在的中間環(huán)節(jié)對(duì)統(tǒng)計(jì)數(shù)據(jù)的干擾，提高數(shù)據(jù)匯總效率和數(shù)據(jù)生產(chǎn)過程中的透明度和可控性。

結(jié) 語

綜上所述，同傳統(tǒng)的統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估方法相比，穩(wěn)健主成分回歸的方式具備更高的優(yōu)勢(shì)，可以更好地進(jìn)行異常值識(shí)別，能夠獲得更加準(zhǔn)確的判斷結(jié)果，在統(tǒng)計(jì)數(shù)據(jù)可靠性評(píng)估工作中應(yīng)深入進(jìn)行該評(píng)估方法的研究，保證穩(wěn)健主成分回歸評(píng)估方法作用的充分發(fā)揮。并且，為保證數(shù)據(jù)可靠性的進(jìn)一步提升，還應(yīng)從提升思想認(rèn)識(shí);改革統(tǒng)計(jì)方法制度;提高統(tǒng)計(jì)隊(duì)伍素質(zhì);構(gòu)建安全暢通、便捷高效的聯(lián)網(wǎng)直報(bào)系統(tǒng)等方面入手，獲得良好的數(shù)據(jù)統(tǒng)計(jì)效果，促進(jìn)我國(guó)健康、可持續(xù)發(fā)展。

（作者單位：永安市統(tǒng)計(jì)局）