瑞典CPI 編制中掃描數據的使用與價格采集研究

胡雪梅 李文博

(東北財經大學研究生學院，遼寧大連116025)

一、前言

隨著各種掃描設備在商貿場所的普及使用，許多國家的統計部門開始著手考察掃描數據在指數編制中的有效性，以食物或日常消費類項目入手，大量資源被投入到銷售網點的價格采集上。

2009年，瑞典統計局發現在整理掃描數據的過程中，價格采集的失誤以及貨架、包裝中頻繁變化的價格信息會致使測量偏差頻發。因此，如何有效使用掃描數據并降低待估價格的標準誤、提高統計質量并符合歐盟和國內的統計制度，是當今掃描數據有效性研究的重點。

二、掃描數據概述

(一)數據簡介及其產生流程

掃描設備輸出的數據通常用EAN碼系統表示，EAN碼是一種用于給銷售網點中賣出商品標號的國際編碼系統。開始的2～3位數字確定了生產商注冊的國家，接下來的4～5個數字指明該公司編號，末位數字則用于說明該產品的類別。但是EAN碼并不包含產品本身的信息，像品牌、重量、標簽等信息是由銷售的收銀系統存儲的。每個掃描出售并貼有EAN條碼的商品，都會在此銷售網點的收銀系統儲存其全部信息。然后這些數據(掃描數據)就會定期地傳送給該銷售連鎖機構的總公司，并作為原始數據匯報給國家統計研究所(NSI)，滿足統計需要。

瑞典統計局研究發現，每個商業連鎖都有特定的數據格式，也即每個連鎖商店都需要根據自己編輯的程序量體裁衣。如與EAN碼不同，打折優惠券擁有一套獨特的條形碼，當顧客給出優惠券時，條形碼作為獨立項目會在收銀系統中登記，而價格的優惠部分會在收據上單獨打印。

調查結果表明，若一種商品永久退出生產線，其EAN碼可以在一段時期后再次利用在其他商品上。這個過程需要一年以上的時間，所以理論上不會引起混淆。

(二)研究背景

瑞典統計局的Dalén在1997年一次實驗中率先研究了掃描數據。該研究設計了4×4的實驗，分別將固定權數與單位值進行比較，單元值與月度單位值進行比較，直接指數與月度鏈式指數進行比較，拉氏指數與費希爾指數進行比較。比較四個條目組(油脂、洗滌劑、早餐麥片和速凍魚)時使用的是尼爾森公司瑞典數據庫的掃描數據。盡管瑞典第一份關于“用于CPI計算的掃描數據使用”的報告描繪了進一步工作和拓寬實驗的前景，但是卻沒有后期跟進。Donmyer等(1991)指出，與此類似的是1972年俄亥俄州辛辛那提市的一家克羅格商店首次把掃描生成的銷售記錄與人工審計數據作出的比較，結果表明對于諸多條目和商品來說，掃描出的銷售業績相比之下更勝一籌。

Leaver、Larson(2001)發現，在使用尼爾森價格信息的紐約大都會區，美國勞工統計局給每個單獨的項目計算了一個以掃描數據為基礎的幾何價格指數作為實驗用檢驗指標。Richardson(2003)認為，這種檢驗指標“把初級掃描指標(只用掃描數據)和CPI數據中非掃描總體構建的指標聯系在了一起”。這種實驗用途的CPI是一種額外的指數，并且不會代替官方的CPI。

追求指標編制領先水平的荷蘭統計局在2002年直接使用通過匹配項目得到掃描數據的方法來計算指標;2010年后，其CPI系統大規模并定期地推廣這種理論。

澳大利亞統計局(ABS)為改善官方統計，一直致力于研究掃描數據，尤其是CPI體系，他們使用來自A．C尼爾森數據庫的信息來構建掃描指標(Alcausin等，2002)。

Rodriguez、Haraldsen(2006)的研究表明，為了計算出CPI中食物和軟飲料分類指數，自2005年8月起，挪威統計局開始使用全面的掃描數據信息。計算過程涵蓋14000多個條目的價格信息，相比之下早年的非掃描數據系統只有250個項目。每月價格浮動在新系統中表現更明顯，尤其是對那些隨著季節變化營業額和價格波動很大的商品。

英國國家統計局(ONS，2006)申明其“一直以來都在探索電子掃描數據采集價格的可能性”。然而使用從商店直接得到的掃描數據已讓其意識到按月凈化這種數據會成為一項巨大而耗資的工程，而且問題數據極可能存在風險。因此該局正在調查其他方法，如價格指標的計算以及從大量家庭中收集的掃描數據的權重。

Muller等(2006)研究發現，在市場研究機構獲得各種條目的價格信息后，瑞士聯邦統計局也在力求研究直接應用掃描數據計算指數。2008年該局首次推廣CPI編制中應用掃描數據，2010年則將該方法繼續推薦給更多零售商。問題可能影響指標計算中掃描數據的應用，即:(1)超市連鎖規模的大小會影響掃描數據的質量并且統計局不得不依賴于超市每月回饋數據的意愿;(2)對數據結構以及超市網絡IT系統具體特點的了解不夠充分;(3)盡管備有軟件，但需及時更新與超市網絡連接的補丁程序。

三、掃描數據的應用方法簡介

(一)使用掃描數據代替人工價格采集

計算該指標等同于將此法用于全國CPI的計算過程，即原集中的杰文斯指數(Jevons index)。采集零售商店的普通樣本時，零售商店和產品的樣本可以遠大于目前的實際容量(瑞典統計局擁有50個采價網點和3×400個采價產品)，較大標準差可在小成本的條件下降低(如果掃描數據是免費得到的)。

(二)將掃描數據作為輔助信息使用

人工收集的小樣本會產生待估價格標準誤波動過大，對大樣本或者總體來說，將掃描數據作為輔助信息可以減少這個標準誤。步驟如下:

1.使用掃描數據計算出一個價格指數;

2.在有高品質測量方法的零售網點的一個小樣本中手工收集價格;

3.使用手工收集的價格和掃描數據價格的平均比率來調整掃描數據價格指數。

(三)通過產品普查的掃描數據記錄計算指標

瑞典統計局承認通過產品普查的掃描數據記錄計算指標也許會存在一些問題。首先該局并不確定NSI工作人員是否擁有足夠的知識，將超過一萬種產品按其消耗用途正確分類。其次是瓶裝水的儲備、軟飲料和啤酒并沒有從價格體系中撤出，也即存款成本在指數計算上的估算發生變化，這與法規不符。第三，代替品不能被自動處理，比如說，一整包餐巾紙的數量減少而價格維持不變時，必須做出數量上的調整。

(四)在審計與質量控制中使用掃描數據

NSI可以使用掃描數審查手工價格采集。手動采集價格過程存在測量誤差，其出現的頻率與教育、人工操作、測量儀器、監督等因素的運作有關。

四、CPI體系中掃描數據與人工采集數據的比較

從2008年開始，作為研究對象的瑞典零售連鎖商店約提供了49600個產品樣本，這些連鎖商店是通過掃描數據中的EAN碼來識別的。這意味著手工價格采集的目標樣本中的39%是為食品設計的，其他的日用品樣本則要根據特定的總體來確定。

表1顯示了掃描數據與普通價格采集數據中匹配成套項目的最終結果。不等的價格類別(10.7%)包含著不同程度的差異。

表12009 年1月—11月掃描數據(SD)與手工采集價格(MCP)的對比 %

手工采集中有10%的產品不包含在掃描數據中。這個類別至少由因兩個原因不出售的產品組成。其一，如果條目描述是模糊的，一些價格采集者就會決定收集那種他們無意中得到而其他人卻熱衷收集的產品的價格。其二，即使商店中還有存貨，商品在一周的銷量也為零。當產品銷量較小并且產品供給價格顯著提升時，后一種情況可能發生。

現存問題是一些零售商店中手工收集時沒有出現卻在掃描數據中出現的產品的大部分信息在整個月份當中是“缺失”的，而這些信息在其他商店中卻唾手可得。沒有及時更新產品的EAN碼是對這種差異的一個合理解釋。瑞典統計局使用兩年期樣本來生成產品樣本并在當年使用的做法會導致一部分EAN條形碼滯后。NSI若想得到較準確的對比結果，就要定期更新EAN碼。

食品和日常消費品價格指數是在每年1—11月計算出來的。一個指數可以根據手工收集的126300種產品組成的體系計算而成，也可以通過使用掃描數據代替49600個產品的方法來計算這個指數。

表2 2009年大部分日常用品的每月價格指數 %

注:基期為2008年12月

掃描數據指標與普通CPI之間的不同顯示出了一個非常重要的差異:在0.1～0.2之間的掃描數據比普通指數要低一些。必須強調，掃描指數基礎僅來自一個連鎖商店，這意味著當掃描數據代替人工價格采集的數據時，其他銷售網點的這個差異也許會更大。2010年3月，瑞典統計局對選定的采價網點進行了審計考核，通過把手工價格采集數據與掃描數據進行對比發現這個網點中有20種產品存在價格差異。

五、結論

(一)歐盟理事會關于消費價格指數統一的規定

歐盟內部的CPI計算指南是從理事會條例(EC)中總結出來的。委員會條例(EC)No 2602/2000第三段規定:“用于HICP的價格必須是在貨幣交易中由家庭實際支付的、用于購買個人商品和服務用途的購買價格，在標準價格和收費的折扣或非購買高峰期減少之后，包括產品的稅費及補貼，并且在信貸合約及非購買行為發生期限內付款的情況下，扣除利息和附加服務費。”對于瑞典手工采集指南來說，價格采集者必須檢查那些排除了任何制造商或支持優惠的零售商、折扣、會員優惠、攻擊者或者退款的價格。

文件No 2602/2000的一個基本要點就是:統計局可以把掃描數據的使用作為一種采集方法，并進行下一步研究。對于其在國民賬戶中的使用來說，交易價格必須是注冊過的;對提供的產品而言，掃描數據衡量了交易價格，這說明其比手工價格采集更有優勢。

(二)掃描數據在瑞典CPI編制中現存問題的解釋

日常消費品價格浮動的統計質量是根據抽樣框的缺陷性、產品與商店類型的權重、抽樣誤差、測量誤差等因素進行評價的。瑞典統計局使用的是商店和產品的抽樣概率。因為在大多數統計中，抽樣誤差可以估計，其他來源的誤差則不能，并且不能把它們簡單地假設為隨機生成的誤差。如果目標參數是每月平均價格，那么為期一周或三周的平均價格優于每月價格，因為抽樣時間點不同而產生的誤差減小了。

來自連鎖零售商店的數據并不包括會員優惠或者組合優惠，掃描數據也要刨除上述項目。我們必須假設手工采集的價格中存在測量誤差。為了減少誤差，瑞典統計局在價格采集者的教育、指導手冊、測量儀器以及審計上投入更多的精力。

兩個原因造成了手工價格采集中出現的產品中的10%沒有在掃描數據中出現:其一，出售量較小的產品在一周內可能“隨機地”滯留了;其二，一種產品的價格明顯上漲使得消費者選擇了另外的代替品或者另一家商店。這樣從掃描數據中得出的價格觀測值可能與指標的參數相關。這種缺失值不可忽視并具有一定風險，可能與一些統計推論相違背。沒有證據表明掃描數據存在這樣的影響。但假設這種影響存在，它在基期和報告期很有可能具有相同的規模，并且二者在一定程度上可能抵消。

作為質量保證的一部分，瑞典統計局將一直致力于發展將價格采集誤差最小化的工作，因為CPI是一個重要的經濟指標，必須在準確而可靠的價格基礎上計算得出。

［1］Alcausin，G．，Anderson，M．，Khoo，J．and Tallis，K．(2002)．Scanner Data in CPI Research and Compilation．Australian Bureau of Statistics．International Association of Official Statistics．Official Statistics and the New Economy．London．

［2］Dalén，J．(1997)．Experiments with Swedish Scanner Data．International Working Group on Price Indices．Voorburg．

［3］ONS，Office for National Statistics．(2006)．The consumer prices methodological programme:progress in 2005 and prospects for 2006.Economic Trends 627.

［4］Rodriguez，J．and Haraldsen，F．(2006)．The use of scanner data in the Norwegian CPI:The”new”index for food and non － alcoholic beverages．Economic Survey，4/2006