大數(shù)據(jù)下的統(tǒng)計思維變化

丁潔

互聯(lián)網(wǎng)科技的發(fā)展使得數(shù)據(jù)量的急劇增加，在數(shù)據(jù)科技的大力發(fā)展下，人們所能儲存、處理的數(shù)據(jù)已經(jīng)達(dá)到前所未有有的量級，并且以超過摩爾定律的速度迅猛增加。數(shù)據(jù)的作用也在人們的生產(chǎn)生活中產(chǎn)生極大的影響，改變了生產(chǎn)生活的方式，成為了一種新的生產(chǎn)資料，根據(jù)馬克思主義哲學(xué)的時代觀，我們可以知道一個新的時代——大數(shù)據(jù)時代正沖著我們呼嘯而來，它正在悄悄地改變著人們的行為與思維。

一、大數(shù)據(jù)的概念

與傳統(tǒng)意義上的數(shù)據(jù)相比，大數(shù)據(jù)的“大”與“數(shù)據(jù)”都有了新的含義，絕不僅僅是體量的問題，更重要的是數(shù)據(jù)的內(nèi)涵問題。大數(shù)據(jù)不是基于人工設(shè)計、借助傳統(tǒng)方法而獲得的有限、固定、不連續(xù)、不可擴充的結(jié)構(gòu)型數(shù)據(jù)，而是基于現(xiàn)代信息技本與工具可以自動記錄、儲存和連續(xù)擴充的、大大超出傳統(tǒng)統(tǒng)計記錄與儲存能力的一切類型的數(shù)據(jù)。通俗地說，大數(shù)據(jù)就是一切可記錄信號的集合。

如果說，傳統(tǒng)統(tǒng)計研究的數(shù)據(jù)是有意收集的結(jié)構(gòu)化的樣本數(shù)據(jù)，那么現(xiàn)在我們面對的數(shù)據(jù)則是一切可以記錄和存儲、源源不斷擴充、超大容量的各種類型的數(shù)據(jù)。樣本數(shù)據(jù)是按照特定研究目的、依據(jù)抽樣方案獲得的格式化的數(shù)據(jù)，不僅數(shù)據(jù)量有限，而且如果過程偏離方案，數(shù)據(jù)就不能滿足要求。基干樣本數(shù)據(jù)所進(jìn)行的分析，其空間十分有限——通常無法滿足多層次、多角度的需要，若遇到抽樣方案事先未曾考慮到的問題，數(shù)據(jù)的不可擴充性缺點就暴露無疑。而大數(shù)據(jù)是一切可以通過現(xiàn)代信息技術(shù)記錄和量化的數(shù)據(jù)，不僅所蘊含的信息量巨大，而且不受各種框框的限制——任何種類的數(shù)據(jù)都來者不拒、也無法抵拒。不難發(fā)現(xiàn)，大數(shù)據(jù)相比于樣本數(shù)據(jù)的最大優(yōu)點是，具有巨大的數(shù)據(jù)選擇空間，可以進(jìn)行多維、多角度的數(shù)據(jù)分析。

二、統(tǒng)計思維的變化

統(tǒng)計學(xué)是關(guān)于數(shù)據(jù)的科學(xué)，即研究如何收集、整理和分析數(shù)據(jù)的科學(xué)。數(shù)據(jù)是依據(jù)，是根本，是一個分析結(jié)果的靈魂，是統(tǒng)計方法生命力的根源所在，大數(shù)據(jù)時代的統(tǒng)計首先要適應(yīng)兩個重大的思維轉(zhuǎn)變。

（一）認(rèn)識數(shù)據(jù)的思維要變化。

首先，從來源上看，傳統(tǒng)的數(shù)據(jù)收集因為具有很強的針對性，因此數(shù)據(jù)的提供者大多是確定的，身份特征是可識別的，有的還可以進(jìn)行事后核對。但大數(shù)據(jù)通常來源于物聯(lián)網(wǎng)，不是為了特定的數(shù)據(jù)收集目的而產(chǎn)生，而是人們一切可記錄的信號凸然，并且身份識別十分困難。從某種意義上講，大數(shù)據(jù)來源的微觀基礎(chǔ)是很難追溯的。

其次，從類型上看，傳統(tǒng)數(shù)據(jù)基本上是結(jié)構(gòu)型數(shù)據(jù)，即定量數(shù)據(jù)加上少量專門設(shè)計的定性數(shù)據(jù)，格式化、有標(biāo)準(zhǔn)，可以用常規(guī)的統(tǒng)計指標(biāo)或統(tǒng)計圖表加以表現(xiàn)。但大數(shù)據(jù)很多的是非結(jié)構(gòu)型數(shù)據(jù)、半結(jié)構(gòu)型數(shù)據(jù)或異構(gòu)數(shù)據(jù)，包括了一切可記錄、可存儲的信號，多樣化、無標(biāo)準(zhǔn)、難以用傳統(tǒng)的統(tǒng)計指標(biāo)或統(tǒng)計圖表加以表現(xiàn)。同時，不同的網(wǎng)絡(luò)信息系統(tǒng)有不同的數(shù)據(jù)識別方式，相互之間也沒用統(tǒng)一的數(shù)據(jù)分類標(biāo)準(zhǔn)。再者，現(xiàn)在有的數(shù)據(jù)庫是非關(guān)系型的數(shù)據(jù)庫，不需要預(yù)先設(shè)定記錄結(jié)構(gòu)即可自動包容大量各種各樣的數(shù)據(jù)。

（二）收集數(shù)據(jù)的思維要變化。

由于大數(shù)據(jù)來源與種類的多樣性，以及數(shù)據(jù)增加的快速性，我們在享受數(shù)據(jù)的豐富性的同時也不得不面臨這樣一些困境;這樣一來，電子存儲能力能否跟得上數(shù)據(jù)增加的速度就成為首要的問題。如果讓數(shù)據(jù)庫自動更新就有可能失去一些寶貴的數(shù)據(jù)信息，而到了一定級別以后擴充存儲容量或?qū)?shù)據(jù)進(jìn)行拷貝，其代價是十分巨大的，因此我們了得了對數(shù)據(jù)進(jìn)行分類、篩選，有針對地刪除那些垃圾數(shù)據(jù)、不重要或次重要的數(shù)據(jù)。

并不是任何數(shù)據(jù)都可以從現(xiàn)成的大數(shù)據(jù)中獲得，這里存在一個針對性、安全性和成本比較問題。因此，我們既要繼續(xù)采用傳統(tǒng)的方式方法去收集特定需要的數(shù)據(jù)，又要善于利用現(xiàn)代網(wǎng)絡(luò)信息技術(shù)和各種數(shù)據(jù)源去收集一切相關(guān)的數(shù)據(jù)，并善于從大數(shù)據(jù)中進(jìn)行再過濾、再選擇。

三、應(yīng)對大數(shù)據(jù)的措施

（一）需要改變總體、個體乃至樣本的定義方式。

傳統(tǒng)的統(tǒng)計分析，是先有總體，再有數(shù)據(jù)，即必須先確定總體范圍和個體單位，再收集個體數(shù)據(jù)，分析總體。但對大數(shù)據(jù)來說，情況完全不同了，是先有數(shù)據(jù)，再有總體。從某種意義上說，大數(shù)據(jù)的產(chǎn)生系統(tǒng)多數(shù)是非總體式的，即無事先定義的目標(biāo)總體，只有與各個時點相對應(yīng)的事后總體，原因就在于個體是不確定的，是變化著的，是無法事先編制名錄庫的，這與傳統(tǒng)的總體與個體有很大的不同。

（二）需要改變對不確定性的認(rèn)識。

眾所周知，統(tǒng)計學(xué)是為了認(rèn)識和研究事物的不確定性而產(chǎn)生的，因為無論是自然現(xiàn)象還是社會經(jīng)濟現(xiàn)象，都時時處處充滿著因個體的差異性而引起的不確定性，因為在大多數(shù)情況下我們?nèi)狈ψ銐虻男畔⒒蛉狈ψ銐虻闹R去利用有效信息，而人們總是期望通過量化事物的不確定性去發(fā)現(xiàn)規(guī)律、揭示真相，認(rèn)識不確定性背后的必然性。要研究不確定性就需要收集數(shù)據(jù)，在只能進(jìn)行抽樣觀測的情況下，這種不確定性就表現(xiàn)為如何獲得樣本、如何推斷總體和如何構(gòu)建模型等方面。

（三）需要建立新的數(shù)據(jù)梳理與分類方法。

大數(shù)據(jù)的多樣性與混雜性，以及先有數(shù)據(jù)、后有總體的特點，原有的數(shù)據(jù)梳理與分類方法將受到諸多的限制。傳統(tǒng)的數(shù)據(jù)梳理與分類是按照預(yù)先設(shè)定的方案進(jìn)行的，標(biāo)志與指標(biāo)的關(guān)系、分類標(biāo)識與分組規(guī)則等都是結(jié)構(gòu)化的，既是對有針對性地收集的數(shù)據(jù)的加工，也是統(tǒng)計分析的組成部分。但對于大數(shù)據(jù)，由于新的網(wǎng)絡(luò)語言、新的信息內(nèi)容、新的數(shù)據(jù)表現(xiàn)形式下斷出現(xiàn)，使得會產(chǎn)生哪些種類的信息、有哪些可以利用的分類標(biāo)識、不同標(biāo)識之間是什么關(guān)系、類與類之間的識別度有多大、信息與個體之間的對應(yīng)關(guān)系如何等，都無發(fā)事先加以嚴(yán)格設(shè)定或控制，住往需要事后進(jìn)行補充或完善。

（四）需要統(tǒng)計技術(shù)與云計算技術(shù)融合。

盡管用于收集和分析數(shù)據(jù)的統(tǒng)計技術(shù)已相對成熟、自成體系，但其所能處理的數(shù)據(jù)量是有限的，面對不可同日而語的大數(shù)據(jù)、特別是其中大量的非結(jié)構(gòu)化數(shù)據(jù)恐怕是難以勝任的。首失遇到的問題就是計算能力問題，這就要求我們在不斷創(chuàng)新與發(fā)展統(tǒng)計技術(shù)的同時，還要緊緊依靠現(xiàn)代信息技術(shù)、特別是云計算技術(shù)。借助云計算技求可以將網(wǎng)絡(luò)計算、分布式計算、并行計算、效用計算、網(wǎng)絡(luò)存儲、虛擬化、負(fù)載均衡等傳統(tǒng)計算機技術(shù)與現(xiàn)代網(wǎng)絡(luò)技術(shù)融合起來，把多個計算實體整合成一個具有強大計算能力的系統(tǒng)。