大數據思維與傳統統計思維方式的差異分析

鄭 磊

(河南煤礦安全監察局,河南 鄭州 450003)

大數據思維與傳統統計思維方式的差異分析

鄭 磊

(河南煤礦安全監察局,河南 鄭州 450003)

隨著信息技術的不斷發展,現階段網絡數據的信息量越來越龐大,大數據時代的到來對傳統領域造成了相當大的沖擊作用,必定會產生一些相應的變化.文章對大數據思維與傳統統計思維方式的差異進行分析,以使傳統統計思維能夠盡快適應大數據時代的變化,開闊視野,從多個角度解決問題,并使二者有機融合,推動統計工作再上新臺階.

大數據;統計思維;差異

當今信息科技高速發展,大數據已經成為一種新的生產力,驅動傳統行業發生重大變革.由于大數據具有4V(Volume,Variety,Velocity和Veracity)特性[1],傳統統計思維方法已不能完全滿足時代需求,大數據思維方式亦應運而生.大數據思維與傳統統計思維類似,都是對現實世界的數據和現象進行科學分析和判斷,從而揭示事物的內在本質,判斷其發展變化規律.然而,由于這兩種思維方式各有其自身特點,其研究重點和應用領域也各自不同,所有我們就需要對這兩種思維方式進行研究,從而開闊視野,從多個角度以多種方法解決問題.

1 大數據思維與傳統統計思維方式的區別

1.1 研究對象不同

總體性和樣本性,是大數據思維和傳統統計思維研究對象的根本區別.在傳統統計思維中,受傳統分析方法的限制,抽樣分析是最常用的統計方法,即按隨機性原則,從總體單位中隨機抽取部分單位作為樣本進行統計分析,并以其結果推斷總體有關指標的一種統計方法.實踐證明:抽樣分析精確性受抽樣隨機性影響較大,增加隨機性,精確度將大幅提高;增加樣本數量,精確度影響不大,因此樣本選擇的隨機性比樣本數量更為重要.用樣本數據去推斷全部樣本的情況,是傳統統計方法分析數據的常用方法,但在現實中,這種方法可能無法展示事物的全貌,其抽樣的代表性有存在偏差的可能,其推斷的結果需要驗證.

在大數據背景下,所有海量數據都可以存儲在云存儲上,大數據思維不再采用傳統的隨機抽樣方式,而是采用"樣本即總體"的全數據思維方式,采用大數據特殊算法,利用云計算強大的計算能力,計算分析全部數據,從而發現傳統統計方法無法揭示的細節信息,找出深藏在數據中不易被發現的秘密[2].

1.2 研究方法不同

在傳統統計工作中,統計方法一般是基于事務間的相關性、先驗信息,根據收集的統計樣本,采用傳統統計學的推斷方法進行因果關系的推斷.而大數據是建立在總體數據之上,排除人為假設,通過大數據算法,挖掘出數據深處的意義,發現深層次的因果關系,從而進行科學的預測和判斷.傳統統計方法由于統計樣本的不完整性,或者某個統計樣本的錯誤,可能將會導致統計結果發生嚴重偏離,而且后期仍需大量的工作進行因果關系的驗證和偏離值的修正.大數據思維方法并不需要了解事物的因果關系,而是立足于全部數據,采用特殊算法,通過云計算強大的運算能力去分析、歸納、比對,從而發現以往傳統統計方法不能發現的內部聯系和復雜現象.

1.3 獲取數據的方式不同

傳統統計方法常用的獲取數據方式有:普查、抽樣調查和統計報表,其中抽樣調查是最常用的統計方法.統計人員通過設計調查表進行數據收集,然后再進行歸集整理、分析判斷.在抽樣調查之前,調查人員往往更加關心如何能更好地收集數據,因此傳統數據收集有很強的針對性,抽樣調查的對象往往是特定對象,身份特征是可識別的.而大數據時代以實時產生的各種信息為主,既對信息的提供者和產生者無特別要求,也不為特定的目的而產生.大數據時代以云計算、物聯網和人工智能為背景,事物之間通過物聯網互聯互通,數據實時產生、定向匯集且可以被共享,這些數據可以分布于全球多個服務器上,且體量巨大,大數據思維模式即基于此類實時、多源數據,通過特定算法對其進行歸納分析,尋找并發現其內在規律.例如,電子購物網站實時收集所有用戶的查詢記錄和采購記錄并進行分析判斷,從而得知用戶喜好,當用戶再次登錄購物網站時,網站會自動推送用戶喜好的商品類別,達到廣告精準投放的目的,同時也提高了用戶體驗.

1.4 數據性質不同

傳統統計數據具有樣本量小、針對性強、格式統一、信息量豐富、精確度高等性質.傳統統計思維模式下,統計人員對數據的準確性要求較高,數據是由經抽樣調查而獲得的局部數據,數據量小,格式相對統一.因需要分析的數據少,所以必須保證數據的精確性才能避免可能出現的偏差.在收集樣本時,或者在進行統計分析時,統計工作者都會采用一整套策略來保證樣本數據的精確性,減少錯誤的發生.在統計結果出來以后,也會設計一整套方法來檢驗統計結果的正確性.

而大數據則不同,主要有以下兩個方面特性:

(1)數據量大、精確度低,格式繁雜、錯誤率高.大數據思維采用全數據處理方式,處理的樣本就是全部數據,因此數據體量很大.這些海量數據,不僅無針對性,而且垃圾信息、錯誤信息很多,我們所處的真實世界恰恰是到處充斥著垃圾信息和錯誤信息,這就是我們真實世界的體現.大數據正是因為這種高度容錯機制而大大提高了其預測結果的真實性和準確性.

(2)半結構化數據、非結構化占主流.大數據是真實世界的反應,本質上整個世界都是由信息構成,它既包括如數據、文本、表格等結構化數據,還包括視頻、音頻、圖片、方位、通話記錄等半結構化或非結構化數據,這些數據結構混雜,內容龐大、格式不一,是我們真實世界的映射,其中蘊含著巨大的價值有待挖掘.

1.5 分析思路不同

傳統統計思維的分析思路是,首先假設世界是如何運行的,然后通過收集和分析樣本數據來驗證這種假想.因此,傳統統計思維的分析思路是"假設-驗證-決策".

在大數據背景下,人們不再受限制于傳統的思維模式和特定領域里隱含的固定思維,對事物的研究始于數據,并可以發現以前不曾發現的聯系.大數據思維以數據清洗、挖掘及智能算法為主要研究方法,對數據進行挖掘分析前既沒有預定目標,也沒有現成的理論模型,更無需預先假設,而是通過特定的算法,對海量的數據進行清洗、歸納、分析和比對,從中找出內在的特征和關系,從而發現隱藏其中的規律,供人們進行判斷和決策.因此,大數據思維下的分析思路是"數據收集-數據分析-判斷決策"[3].

2 大數據時代背景下做好統計工作的措施

2.1 積極轉變觀念,樹立大數據思維意識

當前的大數據時代,是社會發展到一定階段之后的必然產物,不以人的意志為轉移.統計工作者要積極主動適應時代發展,樹立大數據思維意識,要有危機感、緊迫感,明確當前工作和時代的差距,積極轉變工作思路,使自己的工作適應時代需要.同時,大數據意識的樹立還可以明確工作方向,增強部門凝聚力,有助于更好地了解統計工作的特性,更有效地完成統計工作.

2.2 加強對統計人員業務素質的培養,適應大數據時代需求

大數據時代對統計工作提出了更高的要求,統計工作要發展進步,首先就是要提高統計工作者的素質,加強人員的業務培訓和交流.一方面培養他們對統計專業知識的進一步掌握,另一方面要培養他們對新興科技的認識和了解,特別是要加強對大數據相關知識的學習和培訓,使統計人員早日形成大數據思維方式.在招收統計人員時,要提高門檻,系統培訓,合格以后才能轉入到實際工作中.在日常工作中,要間隔性地考核統計人員的業務能力,對于不合格的人員要再進行培訓,優秀的員工給予獎勵,鼓勵統計工作創新,積極將大數據技術應用于統計工作中,以更高的標準、更快的工作效率做好統計工作[4].

3 結語

大數據思維把人們從傳統的思維方式和價值觀中解放出來,在各行各業均有巨大的應用價值.傳統統計學思維助推大數據科學發展,而大數據為傳統統計學科的發展提供了捷徑.了解大數據思維和傳統統計思維的差異,有助于我們運用創新思維方式,使兩者取長補短,有機融合,推動統計工作再上新臺階.

[1]鄭磊.大數據在煤礦安全管理中的應用研究[J].無線互聯科技,2016(11):133-135.

[2]馮啟思.數據統治世界[M].北京:中國人民大學出版,2013.

[3]張弛援.大數據思維范疇探究[J].華中科技大學學報(社會科學版),2015(2):120-125.

[4]崔青云.論統計思維及培養[J].山西煤炭管理干部學院學報,2009(3):34-35.

Analysis on the difference between big data thinking and traditional statistical thinking mode

Zheng Lei
(Henan Administration of Coal Mine Safety, Zhengzhou 450003, China)

With the continuous development of the information technology, there is a growing number of information on the network data at this stage. The arrival of big data age has a big impact on traditional fields, where must arise some concerning changes. This paper analyzes the differences between big data thinking and traditional statistical thinking mode, in order to make traditional thinking soon adapt to the changes of the big data age, broaden the horizons, solve the problems from multi angles, and make an organic combination of big data thinking and traditional mode to promote our statistical work to a new level.

big data; statistical thinking; difference

鄭磊(1970- ),男,河南鄭州人,高級工程師,碩士;研究方向:煤礦安全監察信息系統開發,大數據應用.