多源數(shù)據(jù)融合方法及其在市場(chǎng)調(diào)查中的應(yīng)用

王霄 王小寧 柴青慧 蘇磊 付曉東

（1.央視市場(chǎng)研究股份有限公司，北京 100032；2.中國(guó)傳媒大學(xué)數(shù)據(jù)科學(xué)與智能媒體學(xué)院，北京 100024）

一、引言

市場(chǎng)調(diào)查設(shè)計(jì)一般要實(shí)現(xiàn)三個(gè)相互制約的目標(biāo)：數(shù)據(jù)質(zhì)量、實(shí)施效率和花費(fèi)成本。市場(chǎng)調(diào)查設(shè)計(jì)的現(xiàn)實(shí)發(fā)展趨勢(shì)是追求三個(gè)目標(biāo)間的最優(yōu)路徑規(guī)劃和可持續(xù)發(fā)展平衡。當(dāng)前，市場(chǎng)研究利用的調(diào)查方式均面臨著一些難以突破的瓶頸與痛點(diǎn)。譬如，基于樣本招募的在線可訪問(wèn)樣組（Web Access Panel），以及基于微信群、公眾號(hào)、調(diào)研類App等社會(huì)化媒體（SocialMedia）的抽樣調(diào)查，能夠較為快速、高效、低成本地獲取大量、多樣性的樣本，但面臨樣本逐漸固化、職業(yè)化，問(wèn)卷數(shù)據(jù)質(zhì)量下降，以及非概率樣本實(shí)質(zhì)上難以進(jìn)行統(tǒng)計(jì)推斷的挑戰(zhàn)。互聯(lián)網(wǎng)大數(shù)據(jù)的抽樣調(diào)查，是基于覆蓋人群更廣泛、更豐富的運(yùn)營(yíng)商數(shù)據(jù)的概率抽樣調(diào)查，調(diào)查數(shù)據(jù)能夠?qū)崿F(xiàn)對(duì)目標(biāo)總體特征較為精準(zhǔn)的推斷，包括可以實(shí)現(xiàn)下沉城市、高低年齡段、低滲透率消費(fèi)品等目標(biāo)人群的抽樣，但其通過(guò)大數(shù)據(jù)推送問(wèn)卷調(diào)查的單位成本高，答題存在一定隨意性，有不可忽視的短板。

為了充分發(fā)揮概率抽樣對(duì)目標(biāo)總體的代表性優(yōu)勢(shì)和非概率樣本網(wǎng)絡(luò)調(diào)查便捷、低成本的優(yōu)勢(shì)，市場(chǎng)研究行業(yè)越來(lái)越普遍的運(yùn)用混合調(diào)查模式進(jìn)行數(shù)據(jù)采集和研究。探尋一種能夠帶來(lái)成本和效率相互平衡、相互彌補(bǔ)、更高數(shù)據(jù)質(zhì)量的調(diào)查模式成為整個(gè)行業(yè)關(guān)注的焦點(diǎn)。本文針對(duì)在線可訪問(wèn)樣組，微信群、調(diào)研社區(qū)等社會(huì)化媒體的非概率樣本，以及運(yùn)營(yíng)商大數(shù)據(jù)抽樣框的概率樣本等多種來(lái)源數(shù)據(jù)進(jìn)行混合抽樣調(diào)查的模式進(jìn)行較為深入地探索和研究，包括多重抽樣框的編制、具體抽樣方案設(shè)計(jì)，以及通過(guò)傾向得分匹配、校準(zhǔn)估計(jì)等問(wèn)卷數(shù)據(jù)融合算法，實(shí)現(xiàn)概率-非概率樣本融合推斷目標(biāo)總體特征，提升調(diào)查數(shù)據(jù)使用效率和數(shù)據(jù)質(zhì)量。

同時(shí)，在理論研究的基礎(chǔ)上積極進(jìn)行產(chǎn)品化實(shí)踐，綜合數(shù)據(jù)質(zhì)量、實(shí)施效率和花費(fèi)成本等關(guān)鍵因素，基于機(jī)器學(xué)習(xí)的多目標(biāo)規(guī)劃算法搭建“全域用戶調(diào)研智能引擎”產(chǎn)品，實(shí)現(xiàn)多源數(shù)據(jù)資源最優(yōu)組合和執(zhí)行策略的智能化推薦，利用數(shù)字化手段重構(gòu)調(diào)研流程，在確保數(shù)據(jù)質(zhì)量的基礎(chǔ)上達(dá)到降本增效目的，為混合調(diào)查模式的實(shí)際應(yīng)用和行業(yè)內(nèi)推廣積累了較為豐富的經(jīng)驗(yàn)。

二、多源數(shù)據(jù)融合數(shù)據(jù)采集方法

目前，大量的在線調(diào)查仍是基于傳統(tǒng)的非概率抽樣調(diào)查，利用其對(duì)目標(biāo)總體特征進(jìn)行統(tǒng)計(jì)推斷通常會(huì)出現(xiàn)涵蓋誤差、樣本選擇性偏差等問(wèn)題。因此，基于網(wǎng)民總體數(shù)據(jù)構(gòu)建一個(gè)完善的抽樣框是在線調(diào)查抽樣的重要基石。互聯(lián)網(wǎng)及大數(shù)據(jù)背景下，數(shù)據(jù)信息更新速度快，調(diào)查對(duì)象變化頻繁，僅僅依靠單一數(shù)據(jù)來(lái)源建立完善、實(shí)時(shí)的抽樣框成本較高，難度較大，而且很難涵蓋目標(biāo)總體。多重抽樣框則可以通過(guò)融合多個(gè)單一抽樣框來(lái)提高對(duì)目標(biāo)總體的覆蓋度，從而實(shí)現(xiàn)概率抽樣、節(jié)約成本、提高效率。在具體的抽樣過(guò)程中，對(duì)多個(gè)抽樣框的融合可以完善數(shù)據(jù)的多樣性，增加樣本，在解決樣本動(dòng)態(tài)變化問(wèn)題的同時(shí)讓新增加的樣本進(jìn)入抽樣框，從而大大降低更新數(shù)據(jù)帶來(lái)的成本。

基于此，本文嘗試探索和研究在大數(shù)據(jù)背景下通過(guò)融合在線可訪問(wèn)樣組、社會(huì)化媒體和運(yùn)營(yíng)商大數(shù)據(jù)源等構(gòu)建多重抽樣框，依據(jù)多重抽樣框的估計(jì)方法對(duì)抽取樣本數(shù)據(jù)的因果關(guān)系進(jìn)行分析，探索調(diào)研數(shù)據(jù)背后隱含的變量間深層因果關(guān)系，剖析大數(shù)據(jù)時(shí)代抽樣技術(shù)的必要性和重要應(yīng)用價(jià)值。

圖1 多重抽樣框設(shè)計(jì)及應(yīng)用

（一）概率抽樣框編制

大數(shù)據(jù)背景下，電信運(yùn)營(yíng)商掌握的海量數(shù)據(jù)資源幾乎100%覆蓋總體網(wǎng)民，基于運(yùn)營(yíng)商數(shù)據(jù)的抽樣調(diào)查本質(zhì)上屬于概率抽樣。直接對(duì)全量數(shù)據(jù)的大規(guī)模挖掘和分析會(huì)耗費(fèi)巨大的人力、物力，因此，引入編制大規(guī)模概率抽樣框的方法可以提升處理效率、降低成本。探索如何利用這些數(shù)據(jù)構(gòu)建科學(xué)的抽樣設(shè)計(jì)進(jìn)行網(wǎng)絡(luò)調(diào)查和總體信息推斷，以及如何分析挖掘消費(fèi)者潛在的行為模式尤為必要。

國(guó)家統(tǒng)計(jì)局每5年進(jìn)行一次1%抽樣調(diào)查，對(duì)應(yīng)抽樣誤差為0.26‰，獲得了精確度非常高的人口、經(jīng)濟(jì)等指標(biāo)的估算結(jié)果。在市場(chǎng)研究中，考慮滿足各類網(wǎng)絡(luò)抽樣調(diào)查和數(shù)據(jù)挖掘項(xiàng)目的樣本量需求，本文大數(shù)據(jù)概率抽樣框的編制規(guī)模約為1000萬(wàn)，約占目前全國(guó)總網(wǎng)民的1%，對(duì)1000萬(wàn)樣本的抽樣調(diào)查本質(zhì)上可以實(shí)現(xiàn)概率抽樣和推斷目標(biāo)總體。

對(duì)于全國(guó)各個(gè)城市抽樣框樣本的分配方案，在確定抽樣框規(guī)模（總樣本量m）的基礎(chǔ)上，計(jì)算各個(gè)城市分配的比例。按照等概率抽樣的原理，通常根據(jù)城市人口比例形式分配樣本量，但是考慮到經(jīng)濟(jì)因素，確定樣本量比例時(shí)須同時(shí)考慮城市總?cè)丝凇DP、人均GDP，最終采用多指標(biāo)加權(quán)方案計(jì)算抽樣框城市分配人數(shù)占比，部分城市最終分配結(jié)果見(jiàn)表1。

表1 部分城市樣本分配占比

抽樣框在基本屬性特征如性別、年齡上的樣本分配方案，需要先進(jìn)行假設(shè)檢驗(yàn)，判斷運(yùn)營(yíng)商數(shù)據(jù)與實(shí)際網(wǎng)民結(jié)構(gòu)之間是否存在顯著性差異。然后根據(jù)檢驗(yàn)結(jié)果，從數(shù)據(jù)源中抽取性別、年齡等具有代表性的樣本構(gòu)建抽樣框，同時(shí)考慮參數(shù)估計(jì)時(shí)的權(quán)數(shù)問(wèn)題。

（二）非概率抽樣框編制

在線可訪問(wèn)樣組是在線調(diào)查最為依賴的樣本來(lái)源，受訪者均是通過(guò)招募來(lái)自愿參與各類市場(chǎng)調(diào)查項(xiàng)目的人群，大致規(guī)模在幾十萬(wàn)到幾百萬(wàn)不等。為了激勵(lì)樣本加入在線可訪問(wèn)樣組，常常會(huì)采取一些激勵(lì)措施，比如提供一定的現(xiàn)金、禮品兌換券、抽獎(jiǎng)機(jī)會(huì)等。

社會(huì)化媒體經(jīng)歷了近幾年的高速發(fā)展，目前已在市場(chǎng)調(diào)查領(lǐng)域展現(xiàn)出了潛在應(yīng)用價(jià)值，其社會(huì)化特性能夠以更低的成本吸引更多外部效度更高的受訪者。而某些平臺(tái)的實(shí)名制特性也能夠增強(qiáng)受訪者的信任水平，使其更用心地進(jìn)行作答。目前社會(huì)化媒體調(diào)查方式包括微信群、公眾號(hào)、手機(jī)App等。上述兩類市場(chǎng)調(diào)查的數(shù)據(jù)來(lái)源本質(zhì)上均為非概率樣本集合，我們?cè)诰幹瞥闃涌驎r(shí)通常需要嚴(yán)格參照網(wǎng)民總體在屬性結(jié)構(gòu)上的比例分布情況，盡可能地接近網(wǎng)民總體的各類特征分布。

抽樣過(guò)程中，要充分利用輔助信息，例如常見(jiàn)的人口普查數(shù)據(jù)、行政區(qū)劃數(shù)據(jù)等。基于多重抽樣框的抽樣設(shè)計(jì)是借助多源數(shù)據(jù)增進(jìn)抽樣方案的探索，使抽樣更為科學(xué)和有代表性。針對(duì)多重抽樣框，除概率與規(guī)模成比例抽樣、非概率配額抽樣、多階段分層抽樣等常規(guī)的抽樣方法外，目前較為前沿的抽樣設(shè)計(jì)方法包括鏈接跟蹤取樣、適應(yīng)性集群抽樣、響應(yīng)式調(diào)查設(shè)計(jì)等，在實(shí)際抽樣調(diào)查中均具有探索和嘗試價(jià)值。

三、多源調(diào)研數(shù)據(jù)的融合算法及實(shí)證研究

（一）基于模型和加權(quán)的目標(biāo)總體推斷算法

傳統(tǒng)的抽樣推斷理論是依據(jù)隨機(jī)原則抽取樣本，樣本單元入樣概率的倒數(shù)是其權(quán)數(shù)，將觀測(cè)結(jié)果與樣本單元的權(quán)數(shù)結(jié)合實(shí)現(xiàn)對(duì)總體目標(biāo)量的估計(jì)。從在線可訪問(wèn)樣組、社會(huì)化媒體中抽取樣本單元的入樣概率本質(zhì)上是非概率樣本，無(wú)法使用傳統(tǒng)的抽樣推斷理論進(jìn)行統(tǒng)計(jì)推斷。目前基于概率-非概率多源數(shù)據(jù)融合推斷的方法主要包括傾向得分加權(quán)、校準(zhǔn)加權(quán)、大規(guī)模插補(bǔ)和雙重穩(wěn)健估計(jì)。

（二）模擬分析

為了評(píng)估雙重穩(wěn)健估計(jì)的性能，同時(shí)比較不同方法的優(yōu)劣，將基于邏輯斯蒂回歸構(gòu)建傾向得分并得到逆概率加權(quán)估計(jì)量和大規(guī)模插補(bǔ)進(jìn)行比較。本文中分別考慮兩個(gè)因素：一是樣本量的大小，二是生成有限總體的超參數(shù)模型。非概率樣本B的樣本量分別定義為500和1000，有限總體N=100000，輔助變量xi—N（2，1），同時(shí)誤差項(xiàng)ei—N（0，1），且分別是獨(dú)立同分布的。

目標(biāo)變量y分別通過(guò)兩個(gè)不同的模型實(shí)現(xiàn)：

模型1：yi=2xi+1+ei

模型2：yi=2xi2+3+ei

通過(guò)使用隨機(jī)抽樣獲得樣本量為nA=500的概率樣本A，各抽取A、B樣本的50%進(jìn)行融合，分別計(jì)算其簡(jiǎn)單樣本、校準(zhǔn)加權(quán)（Cal）、大規(guī)模插補(bǔ)（M）、雙重穩(wěn)健估計(jì)（DR）的樣本估計(jì)偏差（Bias）及其方差（Var）和相對(duì)均方誤差（ReMSE），其定義為：

偏差及其方差具體結(jié)果通過(guò)1000次Bootstrap重復(fù)抽樣得到，相對(duì)均方誤差（ReMSE）越小表明估計(jì)的精度越高，其結(jié)果見(jiàn)表2。

表2 偏差、方差和相對(duì)均方誤差估計(jì)結(jié)果

從表2可看出，本文提出的方法在不同樣本量基礎(chǔ)上均表現(xiàn)出較好的性能，相對(duì)均方誤差（ReMSE）較概率樣本稍增加，較非概率樣本大幅下降，并且在非概率樣本量較大時(shí)得到的估計(jì)精度更好。

（三）實(shí)證研究案例

下面結(jié)合具體數(shù)據(jù)對(duì)多源數(shù)據(jù)融合進(jìn)行估計(jì)。某電信運(yùn)營(yíng)商對(duì)受訪者進(jìn)行包括傳統(tǒng)電視媒體、廣播、互聯(lián)網(wǎng)（PC端、移動(dòng)端）、智能電視終端（電視盒子）等不同媒體類型接觸習(xí)慣的調(diào)查，采用基于運(yùn)營(yíng)商大數(shù)據(jù)抽樣獲得的概率樣本是380個(gè)，采用在線可訪問(wèn)樣組和微信群共同抽樣獲得的非概率樣本是378個(gè)，2個(gè)目標(biāo)變量分別是：

Y1：過(guò)去一周您是否看過(guò)陜西衛(wèi)視？

Y2：過(guò)去一年，您的家庭收入在高端消費(fèi)（教育培訓(xùn)、旅游文化、休閑娛樂(lè)、奢侈品消費(fèi)等）中所占的比例是多少？

第一個(gè)變量是二元變量，用來(lái)估計(jì)比例值，第二個(gè)變量是連續(xù)變量。首先，將概率和非概率樣本各自隨機(jī)抽樣50%的樣本進(jìn)行融合，融合后總樣本量為379個(gè)，結(jié)合原始數(shù)據(jù)對(duì)兩個(gè)目標(biāo)變量進(jìn)行估計(jì)，結(jié)果見(jiàn)表3。

表3 目標(biāo)變量的估計(jì)

多源數(shù)據(jù)估計(jì)的目的是為了盡可能多的利用輔助信息對(duì)目標(biāo)變量進(jìn)行更加精準(zhǔn)的估計(jì)，因此本文考慮三種不同的融合方法并進(jìn)行比較，采用的輔助信息（X）包括受訪者家庭年收入、最高受教育程度、是否本市常住三個(gè)月以上以及實(shí)際年齡。得到三種不同方法的估計(jì)結(jié)果如表4所示。

表4 三種不同融合方法的估計(jì)值比較

通過(guò)表4可看出，兩個(gè)目標(biāo)變量的融合估計(jì)方法相對(duì)單一數(shù)據(jù)源的估計(jì)精度均有較大提升，尤其是結(jié)合了加權(quán)和插補(bǔ)的穩(wěn)健估計(jì)方法，這為后續(xù)的多源數(shù)據(jù)融合估計(jì)提供了新的思路。

迄今為止，針對(duì)多源數(shù)據(jù)融合技術(shù)完成了各類場(chǎng)景下抽樣調(diào)查和數(shù)據(jù)挖掘的若干項(xiàng)目實(shí)踐。通過(guò)產(chǎn)品滿意度調(diào)查、消費(fèi)者態(tài)度和行為研究、新產(chǎn)品上市研究等若干抽樣調(diào)查項(xiàng)目的模擬和實(shí)際測(cè)試，有效驗(yàn)證了基于多源數(shù)據(jù)融合技術(shù)的抽樣調(diào)查相較于傳統(tǒng)網(wǎng)絡(luò)調(diào)查方式能夠提升目標(biāo)總體推斷的準(zhǔn)確性。這樣不僅提升了抽樣調(diào)查的數(shù)據(jù)質(zhì)量，而且綜合了成本、效率因素，在實(shí)際的市場(chǎng)研究中可以表現(xiàn)出明顯的優(yōu)勢(shì)。

四、多源數(shù)據(jù)融合技術(shù)產(chǎn)品設(shè)計(jì)

（一）全域用戶調(diào)研智能引擎的產(chǎn)品設(shè)計(jì)

以上述多源調(diào)研數(shù)據(jù)融合方法為理論支撐，以實(shí)現(xiàn)全域用戶調(diào)研資源最優(yōu)化、智能化為導(dǎo)向，將問(wèn)卷調(diào)研轉(zhuǎn)化為多渠道樣本資源立體化分配的解決方案。綜合數(shù)據(jù)質(zhì)量、執(zhí)行效率和成本費(fèi)用等因素，利用智能優(yōu)化算法自動(dòng)為調(diào)研項(xiàng)目匹配最優(yōu)資源組合和最佳執(zhí)行策略。大體講，首先根據(jù)項(xiàng)目需求通過(guò)智能引擎產(chǎn)品進(jìn)行多渠道抽樣問(wèn)卷投放，其次完成多渠道樣本數(shù)據(jù)采集和數(shù)據(jù)融合，最終實(shí)現(xiàn)調(diào)研目標(biāo)總體的精確推斷。基于數(shù)據(jù)融合技術(shù)的智能化產(chǎn)品顛覆以往依靠人工、固有經(jīng)驗(yàn)的傳統(tǒng)調(diào)研模式，通過(guò)數(shù)字化手段重構(gòu)調(diào)研執(zhí)行的全流程，實(shí)現(xiàn)樣本渠道資源的最優(yōu)組合和合理調(diào)度，在確保數(shù)據(jù)質(zhì)量的基礎(chǔ)上達(dá)到降本增效的目的（見(jiàn)圖2）。

圖2 全域用戶調(diào)研智能引擎

（二）多目標(biāo)規(guī)劃算法推薦策略優(yōu)化生成

全域用戶調(diào)研智能引擎底層集成的算法本質(zhì)上屬于多目標(biāo)規(guī)劃算法的范疇。多目標(biāo)規(guī)劃通常記為MOP（Multi-objective Programming），指在一定約束下希望使多個(gè)目標(biāo)都能達(dá)到最優(yōu)，或者是妥協(xié)最好，就像是在多目標(biāo)函數(shù)構(gòu)成的多維曲面數(shù)不清的“山峰”中利用全局搜索能力，尋找海拔最高的“山峰”的過(guò)程。多目標(biāo)規(guī)劃在資源分配、生產(chǎn)調(diào)度、計(jì)劃編制等問(wèn)題上均有廣泛應(yīng)用。例如，買車，要便宜，又要省油，還要速度快，那么對(duì)應(yīng)市場(chǎng)研究領(lǐng)域則應(yīng)是執(zhí)行速度快、成本費(fèi)用低，而且確保數(shù)據(jù)質(zhì)量不打折扣。

實(shí)際上，智能推薦算法在追求實(shí)現(xiàn)多目標(biāo)最優(yōu)或妥協(xié)最優(yōu)的過(guò)程中，需要考慮的影響因素和限制條件非常復(fù)雜而繁多，譬如各樣本渠道具有不同的問(wèn)卷響應(yīng)率、回答率和非抽樣誤差；對(duì)應(yīng)到具體調(diào)研項(xiàng)目，各渠道能夠觸達(dá)調(diào)研目標(biāo)人群的能力不同，例如不同城市級(jí)別人群、母嬰人群、汽車人群等垂直類人群。智能推薦模型最終要輸出的是考慮各類影響因素、滿足各類限制條件的約束下，具體某個(gè)調(diào)研項(xiàng)目個(gè)性化的最優(yōu)執(zhí)行推薦策略。算法的具體實(shí)現(xiàn)過(guò)程主要通過(guò)基于精英策略的快速非支配排序遺傳算法（NSGA-II）實(shí)現(xiàn)。

五、總結(jié)和展望

目前，國(guó)內(nèi)學(xué)者關(guān)于多源數(shù)據(jù)融合在市場(chǎng)研究中的應(yīng)用理論化、系統(tǒng)化的研究尚少，更未形成抽樣調(diào)查的標(biāo)準(zhǔn)化流程。本文提出在綜合考慮調(diào)研成本、效率、質(zhì)量基礎(chǔ)上的數(shù)據(jù)融合技術(shù)，通過(guò)構(gòu)建多重抽樣框和設(shè)計(jì)抽樣方法獲取混合隨機(jī)樣本進(jìn)行問(wèn)卷調(diào)查，借助校準(zhǔn)估計(jì)、大規(guī)模插補(bǔ)、雙重穩(wěn)健估計(jì)等專業(yè)數(shù)據(jù)融合算法實(shí)現(xiàn)目標(biāo)總體特征的精確推斷。事實(shí)證明，多源數(shù)據(jù)融合方法的樣本代表性和總體推斷的準(zhǔn)確性均優(yōu)于近似樣本量的非概率數(shù)據(jù)來(lái)源，并且具有降本增效等多方面的優(yōu)越性。

數(shù)據(jù)融合技術(shù)覆蓋了問(wèn)卷調(diào)查從抽樣設(shè)計(jì)到最終推及總體的全流程，是理論研究的前沿課題，具有重要的應(yīng)用價(jià)值。本文創(chuàng)新性地將相關(guān)研究成果落地為“全域用戶調(diào)研智能引擎”最優(yōu)執(zhí)行策略推薦類產(chǎn)品，利用多目標(biāo)規(guī)劃算法為調(diào)研項(xiàng)目自動(dòng)化匹配最優(yōu)資源組合和合理調(diào)度策略，完成了理論方法到實(shí)踐應(yīng)用的轉(zhuǎn)化。現(xiàn)階段有越來(lái)越多的市場(chǎng)研究公司與企業(yè)傾向于依賴多種來(lái)源數(shù)據(jù)進(jìn)行內(nèi)部或外部調(diào)查，本文研究成果能夠?yàn)槠鋵?shí)踐調(diào)查提供借鑒與參考。

未來(lái)，我們將會(huì)更多關(guān)注和掌握不同調(diào)查方式間的數(shù)據(jù)差異，憑借類似隨機(jī)對(duì)照研究的方法來(lái)測(cè)量在線可訪問(wèn)樣組、各類App、微信群等不同調(diào)研模式之間的異同。通過(guò)計(jì)算選項(xiàng)無(wú)差異程度、答題規(guī)范程度等指標(biāo)來(lái)衡量，從而充分了解混合調(diào)查模式中運(yùn)用不同類型調(diào)查方式產(chǎn)生的問(wèn)題與偏差，考慮融合混合模式數(shù)據(jù)時(shí)所面臨的潛在風(fēng)險(xiǎn)，以獲取同質(zhì)性更高水平的調(diào)查數(shù)據(jù)，提升數(shù)據(jù)利用效率，保證調(diào)研數(shù)據(jù)質(zhì)量。◆