商業(yè)調查中非抽樣誤差來源及控制研究

王愛珍 時 濤

[摘 要] 商業(yè)調查大部分都是抽樣調查,調查過程中天然存在的抽樣誤差和調查執(zhí)行中的非抽樣誤差是影響數據質量的兩大誤差類型。確定合理的抽樣方案后,調查數據質量控制的重點就放在了減少非抽樣誤差上。本文即針對抽樣調查兩大誤差類型展開分析討論,重點分析非抽樣誤差來源,并發(fā)掘其有效控制的可行性方法。

[關鍵詞] 商業(yè)調查 非抽樣誤差 質量控制

一、引子

隨著世界經濟的快速發(fā)展,調查行業(yè)異軍突起,調查企業(yè)不斷壯大,調查營業(yè)額連年攀升。面對日益復雜的國內外環(huán)境,企業(yè)對調查數據的質量要求在不斷提高。而商業(yè)調查大部分都是抽樣調查,調查過程中天然存在的抽樣誤差和調查執(zhí)行中的非抽樣誤差是影響數據質量的兩大誤差類型。

在商業(yè)調查的質量管理實踐中,通過組織專家評審會的方式不斷完善抽樣方案,盡可能地減少抽樣誤差。其抽樣方案經過專家的評價審核,確定了合理的抽樣方案后,其質量控制的重點就放在了減少非抽樣誤差上。本文即針對抽樣調查兩大誤差類型展開分析討論,重點分析非抽樣誤差來源,并發(fā)掘其有效控制的可行性方法。

二、商業(yè)調查誤差分類

由于商業(yè)調查大部分是抽樣調查,而抽樣調查一定存在抽樣誤差。因此,要商業(yè)調查的誤差,必須了解誤差的分類。調查誤差分為兩種類型:抽樣誤差(Sampling Error)和非抽樣誤差(Non-sampling Error。

1.抽樣誤差(Sampling Error)

抽樣誤差是由于用樣本估計總體而產生的誤差,它可以通過增大樣本量來減小誤差,但不可避免。樣本只是總體的一部分,用局部數據來估計總體不可能完全正確。對任何一種抽樣方案,可能的樣本會很多,而實際抽到的只是一個樣本,因此抽到那一個樣本完全是隨機的、偶然的。抽樣誤差是一種系統(tǒng)誤差,其大小依賴于抽樣方案,任何一種抽樣方案一旦確定,由抽樣方法本身導致的誤差就已經確定了。在電視收視率調查的質量管理實踐中,通過組織專家評審會的方式不斷完善抽樣方案,盡可能地減少抽樣誤差。其抽樣方案經過專家的評價審核,確定了合理的抽樣方案后,其質量控制的重點就放在了減少非抽樣誤差上。

2.非抽樣誤差(Non-sampling Error)

非抽樣誤差包括了除抽樣誤差外,引起調查誤差的所有其他因素,不可以通過增大樣本量來控制,它可以避免。非抽樣誤差包括:抽樣框誤差;無回答誤差;計量誤差。

通常認為非抽樣誤差的發(fā)生完全是由于調查程序設計和執(zhí)行中的錯誤和不足引起的。因此,從理論上說,完美的設計和完美的執(zhí)行將完全避免非抽樣誤差。但從實踐看,我們永遠也不可能完全消除設計和執(zhí)行過程中的問題。這種理論上的完美可能性和實際情況之間的差異,決定了我們在控制非抽樣誤差上的努力永遠沒有止步的一天。

三、商業(yè)調查中非抽樣誤差來源例解分析

商業(yè)調查中的非抽樣誤差按其產生的原因可分為以下三類:抽樣框誤差、無回答誤差、計量誤差。

1.抽樣框誤差

抽樣框誤差是指目標總體(Target Population)和抽樣總體(Sampling Population)不一致而產生的誤差。理想的抽樣框應是所有的抽樣單位必須覆蓋目標總體,即抽樣總體與目標總體一致。對于較為簡單的單階段抽樣,抽樣框要唯一地與目標總體相連接。如果目標總體與抽樣總體不一致就會產生抽樣框誤差。多階段的分層抽樣更是如此,如果每個分層抽樣的抽樣框是正確的,其精度會高于簡單的單階段抽樣;反之,則誤差會更大。

一般來說,抽樣框誤差有以下幾種類型:

(1)不能覆蓋目標總體單位。不能覆蓋目標總體單位,指目標總體單位全部或部分沒有出現在抽樣總體中,導致部分目標總體被抽中的概率為零,數據丟失。例如:在某城市的抽樣方案,目標總體同上。由于該城市進行行政區(qū)劃的改變,原來的四個城區(qū)與近郊區(qū)重新規(guī)劃,整合為五個新的城區(qū)。在收集抽樣框資料時,如果收集的資料僅為四個城區(qū)的資料,未包括后列入的近郊區(qū),就會形成抽樣框的不完整,造成數據的偏差和丟失。

(2)抽樣總體包括了非目標總體單位或抽樣框部分重復。這與第一種情況恰恰相反,是指有一部分不應被收集入抽樣框的資料,被錯誤地列入被抽樣之列,導致目標總體被夸大,或者抽樣框中有一部分以不同形式出現然而實際是重復的樣框,導致這部分樣框被抽中的概率增大,引起數據偏差。例如:一個城市中地域相鄰的幾個城區(qū)各自辟出工業(yè)相對發(fā)達的一部分來成立一個新的經濟技術開發(fā)區(qū),在收集資料時將原有的城區(qū)與新的經濟開發(fā)區(qū)的資料一起收集并列抽樣,則會引起包含在經濟技術開發(fā)區(qū)中的居(村)委會的重復抽選,樣本在這部分工業(yè)相對發(fā)達的居(村)委會的比例嚴重擴大,這必然引起最終收視率數據的偏差。

(3)抽樣框老化。統(tǒng)計數據調查具有很強的時效性,隨著時間的推移,抽樣框必須更新,否則就會老化,不符合實際情況而使抽樣不準確。最典型的例子,就是隨著城市建設的大規(guī)模展開,許多地區(qū)已經被改造。例如:目前隨著商品房的成片開發(fā),大批的商品化住宅小區(qū)出現,許多家庭不只有一處住房,出現了大量諸如人員住在本小區(qū),戶籍卻在其他地方,或戶籍在本小區(qū),人員居住卻在其他小區(qū)的情況。

(4)分層抽樣時各層的輔助信息不正確。這種情況在簡單隨機抽樣中不存在,但在分層抽樣中卻是出現抽樣框誤差的一種重要來源。由于我國各地區(qū)政治、經濟和文化的發(fā)展不平衡,各地電視觀眾的構成和收視偏好差異巨大。影響觀眾收視行為的因素既有宏觀因素,也有微觀因素。因此,在進行基礎研究階段抽樣方案設計時我們既要綜合考慮人口、社會、經濟、地理等宏觀因素,又要關注收視設備擁有及頻道接收情況、家庭特征、觀眾個人特征等微觀因素。

總之,建立一個準確、及時的抽樣框,是減少非抽樣誤差的一個重要方面。在實踐中,完美的抽樣框幾乎無法達到,有缺陷的抽樣框并非不能使用,關鍵看造成抽樣精度的損失和彌補樣框的成本之間的比較和權衡。

2.無回答誤差

所謂的無回答誤差是指數據的丟失,其原因有兩種:一是有意不回答,即被訪者拒絕就某一問題給予回答;二是無意不回答,即可能是被訪者不在家或是訪問員疏忽,導致數據遺漏。無回答誤差最常見的有以下幾種:

(1)抽樣遺漏。抽樣遺漏是指抽樣過程中沒有抽到一些本應調查的抽樣單位。這種誤差的產生來源不同于前述的抽樣框誤差,但產生的結果類似,甚至更為嚴重。因為抽樣過程中產生的遺漏最可能是因為漏掉了某一類特征群,而這類特征群的缺失會使調查結果出現無法調整的偏差。例如:在基礎研究階段,訪問員如果只固定在晚間某個時段拜訪被抽中的樣戶,很可能就無法與一些工作時間主要在晚間該時段的家庭戶取得聯(lián)系。數次拜訪不成后,該樣戶可能被放棄,而另選其他替代樣戶。這樣就有可能在無意間缺失了該類特征群的收視調查數據。

(2)無法查找或聯(lián)系不上

一般情況下,這種誤差來源主要是由于抽樣框中的地址不確切、發(fā)生了變化或者被訪者家中無人(如外出旅游、生病住院等特殊情況)造成的無法接觸的情況。如果這種誤差是隨機地、均勻地發(fā)生的,盡管增大了誤差范圍,但對最終結果的威脅并不大。但如果這種情況集中發(fā)生在某一類特征群中,就會產生嚴重的系統(tǒng)性偏差。

(3)被訪者拒訪

這是最容易理解的一種無回答誤差,也是最能體現訪問員個人技巧和調查公司現場業(yè)務能力的方面。據訪率高,響應率就低,抽取樣本的誤差就會增大。因此這種類型的無回答誤差是調查公司在現場質量控制方面致力提高的關鍵點。在我國的市場調查活動中,產生這種無回答誤差的最主要原因與其他國家還有著顯著的不同——調查組織者的身份會在很大程度上左右被調查者的回答意愿。對于國家正式統(tǒng)計部門組織的調查,如居民住戶、人口情況等調查,很少有無回答的問題。這與我們國家計劃經濟改為市場經濟的時間較短有莫大關系,也與統(tǒng)計部門組織調查的權威性有密切關系。而在一些非官方的民間調查中,無回答情況則頻繁出現。

3.計量誤差

計量誤差是所有非抽樣誤差中可能出現的環(huán)節(jié)最多,也最難以避免的一種誤差形式。按其產生原因可大致分為三類:調查方式設計產生的計量誤差,調查執(zhí)行過程中產生的計量誤差,其他計量誤差。

(1)調查方式設計產生的計量誤差,主要有以下兩種:①問卷設計產生的誤差:主要是由于不同措辭的不同表達造成了不同的理解。例如文字當中使用了帶有傾向性或誘導性的詞匯,本身使人產生歧義;或者問卷當中問題的排列順序不科學;或者問卷過長導致訪問疲勞產生等原因造成的誤差。②數據收集方式設計產生的誤差:例如媒介調研數據采集方法中的日記卡法,以15分鐘為一個計量時段,在向樣戶發(fā)放的日記卡中,一個時段由19∶00標志,時間是連續(xù)不斷的,這個標志既是上一個時段的結束又是下一個時段的開始。事實上這個時間標示的是19∶00∶00—19∶14∶59。這樣的標志有些含糊,如果不在日記卡中作相應的解釋性說明,并由訪問員專門向樣戶著重強調,很可能導致樣戶理解錯誤,從而造成計量誤差。

(2)調查執(zhí)行過程產生的誤差,是計量誤差的一個重要組成部分,主要來自于兩個方面:①是訪問員有意或無意導致數據失真。②是被訪者有意或無意導致數據失真。產生這個問題的主要原因是理解錯誤或記憶錯誤,這個問題也是任何一個從事市場調研公司致力解決的重要問題,在AGB質量管理實踐中,主要通過連續(xù)、全面的培訓和復核工作加以控制。

(3)其他計量誤差:常見的類型有隨機數表的編制和使用不當造成的誤差;數據處理過程中(包括編碼、錄入)發(fā)生的誤差,等等。這些誤差都可以通過比較有效的質量控制加以限制,相關管理措施將在本文的第四章加以詳細論述。

總之,商業(yè)調查作為一種市場數據調查,其產品的無形性、不可追溯性和差異性,決定了對其實施的質量控制本質上就是對調查誤差的控制。

三、結束語

在科技不斷快速發(fā)展的今天,作為商業(yè)調查分析人員,我們應不斷適應社會發(fā)展,發(fā)展調查的新技術新手段,不斷商業(yè)調查數據質量,不斷深化對基礎研究資料的分析和利用,對調研數據的具有針對性地解釋說明,更充分地滿足市場的需求。

參考文獻:

[1]馮士雍等編著:抽樣調查理論與方法.中國統(tǒng)計出版社,1998年

[2]劉燕南編著:電視收視率解析—調查、分析與應用.中國傳媒大學出版社,2000年

[3]AGB媒介調研訪問員培訓手冊,2007年