統計數據質量評價方法與誤差分布研究

孟祥蘭，李 瑋，耿 菲，郁婷婷，刑金余

（中南財經政法大學 統計與數學學院，武漢， 430073）

0 引言

統計數據質量的重要性在于它影響著人們對社會經濟現象的認識和判斷，以及以此為依據的決策正確性與科學性，而且還直接威脅著國家統計機構的形象和聲譽。隨著經濟全球化進程的加快，社會各界對統計信息的需求越來越廣泛，特別是信息網絡技術的推廣應用，一方面對統計數據質量提出更高的要求，賦予其更新的內涵；另一方面也為改進和提高統計信息的質量提供了更好的便利條件和手段。故而探究統計數據質量問題，診斷宏觀經濟統計數據質量的新方法，努力提高統計數據的質量，從而保證統計信息的準確、全面和有效有著重要的意義。

1 統計數據質量評價的國外研究成果綜述

國外有關統計數據質量的研究始于20世紀初。20世紀初至40年代，統計數據質量主要圍繞統計數據的準確性、樣本的代表性這兩條思路展開。1915年，英國統計學家鮑萊(A.L.Bowley)在進行關于就業和貧困問題的調查研究時，首次提出了非抽樣誤差這一概念。著名統計學家奈曼(C.J.Neyman)于1934年進行了關于分層抽樣最優分配及回歸、比率估計等方面的大量研究，對各種抽樣設計的抽樣誤差進行了有效估計，產生了今天具有里程碑意義的“可測設計”。上世紀50年代初至70年代，政府統計數據質量的研究主要圍繞基于統計調查誤差計量模型的建立以及相關的研究展開，突出研究成果為Hansen和Hurwitz(1946)[1]提出的無回答問題這一概念；其后Hansen，Hurwitz和Bershad(1961)[2]首次提出了完整的調查誤差模型；20世紀60年代，許多學者開始研究均方誤差的主要組成部分，并試圖減少這些成分，如Warner(1965)[3]提出了對敏感性問題調查的隨機化方法。20世紀70年代之后，統計數據質量的研究日趨成熟，開始研究如何建立有效的保證、控制和評估體系這一層面。1980年聯合國統計局出版的《統計組織手冊》[4]中，對官方統計資料提出了八項要求，其實質已經超出傳統的統計數據質量對準確性、及時性的要求，明確了政府統計數據質量的綜合涵義。Dalenius(1983)[5]提出統計數據質量的“測量向量”，包括統計數據的準確性、經濟性、保密性、相關性、時效性和詳細程度等。Brackstone(1999，2000)[6]提出統計數據質量的六個維度——相關性、準確性、及時性、可取得性、可解釋性和一致性，并進一步描述了統計機構對每一個維度的進行管理的具體方法。Fr?schl和Grossman(2000)[7]提出了全面的統計數據質量管理的統計、執行框架，將統計數據的各個維度與統計數據生產過程一一配對。此外，20世紀90年代中期國際貨幣基金組織(IMF)分別建立了數據公布特殊標準(SDDS)和數據公布通用系統(GDDS)以及數據質量評估框架(DQAF)等國際標準，對統計數據的產生、公布以及數據質量定性評估提供了標準的指導方法。

2 統計數據質量評價的國內研究成果綜述

2.1 統計數據質量的邏輯性評估方法

邏輯性評估方法根據所基于的評估依據可分為基于規則、相關性、非結構化模型的三種邏輯性評估方法。基于規則是指將專業審核后的統計數據資料集中，從總體上檢驗數據相互間是否平衡和是否符合邏輯。葉長法、岑國榮(1997)[8]歸納了4種基本的邏輯平衡審核評估的方法：差額平衡法、同項相等的方法、相關平衡方法、運用生產和使用的平衡關系進行評估的方法。基于相關性是指根據相關性較高的指標間關系，利用已知的正確指標評估其他指標，若指標間關系出現較大的波動，則初步判定被評估指標存在一定的質量問題。基于非結構化模型是指利用所建立的相關模型對數據進行評估，例如楊海山、許啟發（2001）[9]選取某市1978～1995年的生產總值(GDP)和社會消費品零售總額這兩個相關性很強的統計指標作為評估對象，利用向量自回歸模型（VAR）對對該市1996～1998年的GDP進行評估。

2.2 從異常值的角度對數據質量進行評估

異常值評估分為基于統計分布和基于系統分析兩種方法。前者假定給定的統計數據服從一個隨機分布，并用不一致性檢驗來識別異常點。成邦文等（2000、2003）[10][11]在研究中發現：一維數據與多維數據的社會經濟規模指標近似服從對數正態分布，故而提出統計數據質量檢查和異常點識別的對數正態分布置信區間檢驗法。李竹渝（2001）[12]假定誤差分布無定型，使用非參數回歸估計方法得到誤差密度函數的核密度估計，并指出其服從漸進正態分布。后者則從系統分析的觀點出發，分別用確定性模型和ARMA模型描述序列中確定性因素及隨機因素的變動規律，建立確定性與隨機性的組合模型。繼而采用誤差控制法、估計區間判斷法和異常數據檢驗法對統計指標數據質量進行評估。劉洪、黃燕(2009)在文中采用學生化殘差、Cook統計量、W-K統計量作為異常值的檢測統計量對我國相關數據進行了實證分析。

2.3 從誤差的角度對數據質量進行評估

統計數據質量問題意味著所提供的統計數據與客觀的社會經濟現象實際的數量特征之間存在差距，本質上是即為誤差問題。一般將統計調查的誤差分為抽樣誤差和非抽樣誤差。抽樣誤差是在樣本推斷總體過程中不可避免的誤差，它本身并不是錯誤的結果。目前對抽樣誤差的研究已經非常成熟，只要能設計出樣本估計量，便可得出相應的估計量誤差公式。楊清(2000)提出充分認識系統性誤差的結構和特點來判斷原始資料中是否存在系統性誤差，即判斷原始資料是否存在質量問題，若存在系統性誤差，則設法修正或剔除這部分有問題的原始資料，以不存在系統性誤差（即不存在質量問題）的原始資料估計總體，進而保證統計數據的質量。

屈耀輝、曾五一(2004)[13]借助Cochran(1977)提出的計量誤差數學模型，分析了計量誤差的來源及其對總誤差的影響，并以甄別調查員效應為例，運用效應比較甄別法和貝葉斯估計3σ圖甄別法對調查數據中可能存在的計量誤差進行實證演示。

王華、金勇進(2009)參照了社會調查領域的計量誤差效應評估技術，構造針對宏觀統計數據的誤差效應模型，通過識別估計模型中的重要參數，實現傳統的統計偏差評估并揭示因操作因素、制度因素、基層單元屬性特征等對統計數據準確性造成的影響。

2.4 其他方法

王珊珊、蔡永生(2008)[14]利用Bayes統計決策方法對統計數據的誤差進行檢驗，引入試驗費用與參數性能損失相結合的損失函數以鑒定統計數據精度，得到先驗分布公式，Bayes決策不等式及Bayes風險的計算在理論上給出了一種測定數據精度的可靠方法。

周潮(2008)[15]使用季節時間序列模型(Seasonal ARIMA Model，SARIMA)，根據統計指標歷史數據的變化特點建模，在模型通過各種檢驗、具有良好統計預測功能的基礎上，比較模型擬合出的預測值與實際值，找出離群數據，從而對該統計指標的數據質量進行有效評估。

3 我國統計數據質量評價的實證分析

在我國社會主義市場經濟建設中，統計數據質量的好壞顯得尤為重要。我國統計人員在指標體系、統計標準、調查方法、技術手段及數據報送與處理方式等方面辛勤實踐、大膽探索，宏觀統計數據基本可靠，能夠比較客觀地反映了經濟運行的趨勢和變化，并沒有發生趨勢性誤差。然而，鑒于浮夸現象以及統計調查工作中的不完善仍然存在，各種原因交織在一起使得統計數據質量參差不齊，不同程度地存在一些問題。

3.1 統計數據失真

統計數據質量失真主要有虛假數據、拼湊的數據及指標數值背離指標等幾種情況。數據虛假是最常見的統計數據質量問題，也是危害最為嚴重的數據質量問題。這類統計數據完全是杜撰的、虛構的，毫無事實根據。有意虛報、瞞報、據報統計數據資料，統計制度不完善，指標制定不嚴密等各種因素造成了統計數據虛假的問題。

3.2 統計數據不完整

統計數據的不完整是指收集數據的相關單位在收集數據的過程中出現遺漏，所列項目的資料沒有搜集齊全，不符合統計資料完整性的要求。

3.3 統計數據的時效性差

統計數據的時效性差是指統計信息滯后，統計數據局限于單純的事后統計，統計調查和統計分析乏力。最常見的現象是部分政府統計部門網站上的統計數據更新較慢。另一方面，現行統計調查體系的統計報表繁瑣笨重，很難滿足“準確、及時、全面、方便”的要求。主要采取以手工為主的采集、存儲、加工、處理、傳遞統計資料的方式及方法制約了統計信息的開發及利用。與此同時，普遍存在的遲報現象，致使一些極為重要的統計數據一般要等到次年4月或5月份才能得到最后確定，從而失去了指導地方經濟發展的意義。

3.4 統計數據的適用性不強

目前，政府統計機構還未將統計數據看作公共產品，開發及生產過程中沒有配合用戶的要求。本質上講，統計數據的適用性不強就是統計數據的過剩和數據的不足同時并存的一種矛盾現象。

3.5 統計數據的非同一性

統計數據的非同一性是指同一個指標在不同時期的統計范圍、口徑、內容、方法、單位及價格等方面有差別而造成的數據不可比性。統計數據的非同一性主要體現在數據的口徑不統一。

3.6 統計手段和統計方法落后

造成統計數據質量不理想的另一原因就是統計手段和統計方法落后。目前來說，很多公司企業統計工作仍處于手工狀態。在處理數據方面，采用計算機僅僅是減少工作量去做一些匯總以及指標計算。從本質上來講，并沒有真正引用先進的計算機技術和網絡技術，所做的統計分析也局限于事后分析，也就是對統計數據進行單純的講解說明，沒有很好的利用計算機及網絡技術實行信息共享等方式進行事前分析和預測。也就是說“統計預測”這一職能并沒有發揮真正的作用。

3.7 邏輯分析不合理

從宏觀上對統計數據進行邏輯分析或者建立計量經濟模型并進行檢驗也存在問題。孟連、王小魯通過對價格指數與經濟增長速度的相互關系進行分析，發現1996～1998年在各種價格指數顯著低于1979～1981年和1989～1990年兩次經濟緊縮時期的情況下，GDP指數分別高于前兩個時期4至5個和2個百分點左右，很大地偏離了正常可能的范圍。由此可以估計到1996～1998年GDP指數會有較大虛增成分。并且通過工業增加值與能源、運輸、產品產量的關系分析，得出了結論：1991～1998年我國工業增加值年均增長率的統計誤差約為4.5個百分點。再如，由于統計制度方法缺陷，2005年我國居民消費支出中未把自住房虛擬房租部分計入，導致居民住房消費占居民日常消費支出的比重偏低，大約低估了6個百分點，從而導致CPI約被低估0.5個百分點，消費率約被低估近2個百分點。

4 我國統計數據的誤差來源分析

我國的統計數據質量問題一直存在，廣為社會各界關注，同時始終作為熱點受到統計界的理論研究探討。本文考慮到統計數據質量問題本質上反映為統計數據與社會經濟現象實際數量特征之間存在的差距問題，即可從誤差的角度以一種新的思路來探討我國統計數據質量問題。

4.1 我國統計數據誤差來源與分解

在統計工作過程中，統計調查中的誤差主要有兩個方面的來源。一方面，實際工作程序中的虛報、瞞報行為使得統計數據失真，來源于制度因素的誤差需要通過制度的不斷演進在較長時間才能有效降低，這是在制度與組織的宏觀層面來改善統計數據采集環境，從而有效提高統計數據質量。另一方面，基礎數據或原始資料存在質量問題，最終導致統計數據失真。作為微觀層面從誤差的觀點看，統計調查中的誤差本質上可以分為系統性誤差（即非隨機誤差）和隨機誤差。抽樣調查中的誤差理論便是將調查中的全部誤差分解為隨機誤差和系統性誤差兩部分。由于有概率論與數理統計的基礎和抽樣技術的發展，對隨機誤差的處理技術已經非常成熟，只要能設計出樣本估計量就能給出相應的估計量的誤差公式。而實際統計工作中常常同時存在隨機誤差與系統誤差，因而統計數據質量問題最終歸結到系統誤差的認識與技術處理層面上。系統性誤差是指在調查或抽樣技術運用過程中，受主觀因素影響而形成的誤差，從而導致調查結果的失真和估計結果的不準確，產生統計數據質量問題。

4.2 系統性誤差的成因及來源分析

在對系統性誤差進行研究時發現，系統性誤差貫穿在調查的全過程中，并且受主觀因素影響，能夠產生系統性誤差的原因很多，可能產生于調查的任意環節，從而使得研究以及控制難以把握。鑒于系統性誤差可能產生于統計調查工作的任何一個階段，此處分階段闡述構成系統性誤差的各個具體因素以及相應的誤差來源。

4.2.1 設計階段

在統計調查工作的設計階段形成的系統性誤差統稱為設計誤差，即由于抽樣調查方案設計不完善、不科學等錯誤而導致的誤差。抽樣方案的設計是為了保證統計調查工作能夠選擇具有良好代表性的樣本，采用合理科學的估計方法進行調查獲取數據。在抽樣方案的設計中，涉及統計總體定義、抽樣框編制、目標量和估計量設計，樣本量確定以及抽樣方法選擇等問題，抽樣方案的設計直接影響了調查工作能否遵循隨機性原則，因而必然可能導致系統性誤差的產生。

4.2.2 實施階段

統計工作的調查實施階段，在樣本資料搜集過程中產生的系統性誤差稱之為調查誤差。這部分誤差通常與調查者、回答者、資料搜集方式以及問卷測具等因素有關，因而調查誤差往往是整個調查過程中最難避免、最為復雜的部分。調查誤差通常來源于調查過程中出現的無回答或有意、無意的回答偏誤以及測具不良等因素。實施階段導致誤差的因素眾多，因而只能盡力改進，控制調查誤差的產生。

4.2.3 計量階段

在對目標量進行估計時，如果不存在其他系統性誤差，目標量的估計量期望與真值存在偏誤。這種偏誤的產生來源于有偏估計量的使用或者是客觀條件變化，使無偏設計出現有偏的情況，從而形成這部分系統性誤差。對于有偏倚的估計量，在實際統計估量中可以選擇接受擁有較小方差的估計量，或者重新設計無偏的估計量或偏差較小的估計量，從而降低可能產生的系統性誤差。

4.2.4 整合階段

統計調查的整合階段是指在對樣本單位進行計量之后，對原始資料進行編碼、分類、匯總，通過編輯、整理等改變資料的形式過程。在此過程中形成的誤差可稱之為編輯誤差。這類系統性誤差是各種混合因素的結果，主要來源于不同的編碼者或編輯人員對樣本資料進行匯總、計算、編碼、傳輸、儲存等數據處理過程，并且還涵蓋了出于政治或經濟利益考慮，將統計數據結果的篡改、虛夸、隱瞞等造成統計數據失真的現象。

每個階段都具有其特殊的工作程序與特點，相應也會產生對應的系統性誤差，并且上一環節工作的失誤引起系統性誤差后對于下一階段的統計調查工作有著至關重要的影響，甚至可能產生連鎖誤差，導致調查工作無法繼續開展，或是所獲得的調查結果中統計數據存在較大偏誤。統計質量較低達不到應用水平時，調查工作進程中將蒙受前期投入的損失，倘若調查過程中的誤差未能及時發現便投入使用，可能還會造成不可預計的后果。

因而，結合我國統計數據質量存在的問題從統計調查工作的各個階段深入分析數據誤差來源有著重要的意義，只有先從源頭了解數據誤差產生的原因，才能在此基礎上進一步來測定、實證檢驗我國數據質量問題，進而從檢驗的結果分析探討適合我國具體統計現狀的改進方案和誤差控制方法。

[1]Hansen,M.H.，W.N.Hurwitz.The Problem of Nonresponse in Sample Surveys[J].Journal of the American Stiatistical Association,1946,(41).

[2]Hansen,M.H.,W.N.Hurwitz，Bershad,M.Measurement Errors in Censuses and Surveys[J].Bulletin of the ISI,1961,(38).

[3]Warner,S.L.Randomized Response A Survey Technique for Eliminating Evasive Answer Bias[J].Journal of the American Statistical Association,1965,(60).

[4]United Nations.Handbook of Statistical Organization[Z].Newyork，1980.

[5]Dalenius.Errors and Other Limitataions of Survey，Statistical Methods and the Improvement of Data Quality[M].London:Academic Press Inc，1983.

[6]Brackstone,G.Managing Data Quality at Statistics Agency[J].Survey Methodology,2000,(25).

[7]Fr?schl,K.A.，Grossmann W.The Role of Metadata in Using Administrative Sources[J].Research in Official Statistics,2000,(3).

[8]葉長法,岑國榮.統計數據質量評估方法探討[J].浙江統計，1997,(4).

[9]楊海山,許啟發.統計數據質量的邏輯評估方法研究[J].上海統計，2001,(7).

[10]成邦文,王婭莉,石林芬,師漢民.科技規模指標的對數正態分布規律[J].科學學與科學技術管理,2000,(9).

[11]成邦文,師漢民,王齊莊.多維統計數據質量檢驗與異常點識別的模型與方法[J].數學的實踐與認識,2003,(4).

[12]李竹渝.非參數統計方法對收入分布的解釋[J].預測,2001,(4).

[13]屈耀輝,曾五一.農產量抽樣調查中計量誤差來源分析及其事后甄別[J].財經理論與實踐,2004,(3).

[14]王珊珊,蔡永生.基于Bayes統計決策的誤差測定方法[J].統計與決策,2008,(4).

[15]周潮.基于SARIMA模型涉農貸款專項統計數據質量評估[J].甘肅金融,2008,(7).