大數據時代統計學面臨的機遇與挑戰探析

董安琪 對外經濟貿易大學統計學院在職人員高級課程研修班學員

引言：大數據技術是互聯網技術在科學技術體系優化變革之下衍生出的一種新興產業技術。大數據技術是為滿足互聯網背景下大量的數據的處理工作，一方面幫助互聯網解決數據庫的整合、分析等相關工作，為技術人員帶來一定的便利；另一方面數據的處理少不了統計學的專業知識，而大數據背景下，處理數據的工作需求太過龐大，刺激統計學專業的技術革新與發展，由此觀之，大數據時代的到來對統計學專業來講既是可遇不可求的發展機遇，也是難以解決的巨大挑戰。對統計學的相關技術如現用的統計與計算模式等創新優化迫在眉睫。本文筆者分別從機遇以及挑戰兩個角度對大數據下的統計學進行闡述，意在拋磚引玉，吸引各專業人才共同討論對統計學專業的未來展望。

一、有關大數據時代為統計學專業提供的機遇及其相關內容的相關闡述

（一）統計效率相關問題的簡單闡述

大數據時代不斷推進過程中，采集數據以及信息的工作相較傳統的統計學專業的相關知識更加節省成本，雖然采集的次數有所提高，但是大數據技術可以充分且全面的挖掘整體的潛在價值，而且能夠提升統計動態數據的收集數量，進而達到效率提高的目的。不僅如此大數據的技術還可以幫助統計能夠在應用中滿足不同需求的工作要求，甚至可以做到在滿足使用軟件進行多于原本次數的運行時，也不會造成成本的增加，反而會在應用方面降低成本。傳統方法下進行數據的統計不僅耗費時間與精力，還需要快速的進行整理否則將難以保證數據信息的時效性，甚至會因為快速工作，相關人員只保證快卻沒有保證質量，導致其統計出的結果誤差巨大難以使用，尤其在面對大量的數據之后，傳統統計更是難以適應，因此要結合互聯網技術以及計算機技術等最先進的技術手段，優化統計的技術以及模式，通過簡化計算的流程或者其他操作，以大數據技術完成記錄與整理等相關工作，簡化工作人員的工作流程。這樣不僅能夠賦予統計出的數據以較強的時效性以及精準性。還能夠在統計的時候提高統計數據的效率。由此可見多元化的基礎上保證及時性以及彌補傳統條件下的滯后性是統計學統計效率提升的關鍵點。

（二）簡單闡述統計單個體系的拓展相關

在傳統的統計體系中樣本是在整體數據中隨機選取并按照標準進行劃分的，傳統統計學下的樣本統計是在總體的概括中消除總數據收集時的難度，以實現本門學科體系構建時能夠通過有效的延申過程彌補學科數據采集不足的情況，朝著一個發展方向在龐大的數據上對該學科進行統籌發展。而在大數據背景下的樣本抽取并不同于傳統的樣本抽取，大數據的樣本并不需要立足于整體所有數據進行抽取，而是只要保證數據的凌亂程度足夠保證樣本抽取時所需要的隨機性即可。在大數據的時代數據流動的情況不僅快、多還很亂，在抽取樣本的時候要從源源不斷的數據流中不斷探索才能夠有可能抽取出具備精度以及滿足統計目的的有效樣本。因此大數據的統計需要更具適應性、序貫性的動態抽樣方式。針對頻繁出現的熱門數據主要是根據已經獲得的樣本進行不斷調整有關“可能感興趣”項目以及抽樣對象的調查與抽取，也是由感興趣的數據進入樣本并計入統計。動態調整根據數據流的緩沖區中記錄的新發生的數據的頻數調整非樣本的數據進入樣本的概率。簡單隨機抽樣很大幾率會抽到非案例的數據，極少會抽到罕見案例，大數據的案例應該基于事件進行研究有關抽樣的方法，首先應該設置信號強度的門檻值以此篩選超過門檻值有機會成為熱門的數據，再利用其他抽樣技術對數據進行再捕獲，不需要等待概率抽樣而是將注意力放在總體中最難以觀測的部分，對大數據進行捕獲并采用非隨機的抽樣方式滾雪球的方式，由小到大，從隨機種子開始不斷加入新的種子，并且通過研究對社會關系網絡和圖的抽樣方式伴隨著雪球逐步擴大樣本，從了解網絡性質和結構到研究發現的稀疏信號的方法以及壓縮感知的方法，都是需要相關人員進行的重要研究操作如成組檢測。

（三）闡述統計學科的應用范圍提升的相關問題

實踐的過程中需要以舊的理念為起點對以往的一個結果或者一個原因進行了解，結合統計學在數據時代背景下的具體應用過程展現慣有的研究問題以驅動收集數據，從功能來看是極具變化性的，從大數據時代背景來進行探究這種變化也不是很難理解因為在這樣的發展環境下統計學會進一步發展并擴大，但是在大數據的背景下展現更多的多元化不能只依靠傳統統計學的參考數據的方式，而是要在海量的用戶中開拓出更過的信息，進一步挖掘他們生活中所涉及的各個方面的相關需求，并依據這些需求不斷衍生出新的行業。傳統統計學的結構不僅在非結構和板結構的數據統計下具有局限性，目前無法實現數據化行業的進一步發展。針對傳統的統計學而言對相關數據進行整合和收集并做好相應的統計結果分析是其主要工作，這樣的工作模式能夠得到一定數額的樣本數據，但是這些收集而來的數據未必全都具有數據的使用價值。大數據的技術可以通過合理且科學的方式將大量的數據引入統計學，并積累一定量的數據建立數據信息庫，將數據背后的隱藏信息充分挖掘并將這些信息廣泛的落實到各個領域中，讓各個領域對大數據的各種信息進行把握，為行業的長遠發展做出積極有效的調整與改變，精準把握人們的需求以及市場動向。

（四）應用在市場營銷中的具體闡述

大數據統計的并不是市場經濟體制下的個體，而是在信息化高速發展的情況下能夠有效滲透在各個領域中的數據。在大數據時代中人們的消費賬單逐漸從線下轉移到線上，由大數據技術合理的統計，并對數據進行整理引進市場營銷以此種行為為市場營銷的弊端提供相應的解決辦法，有效幫助企業了解客戶所需，為企業提供科學有效的市場動向信息以及用戶的使用數據，這不僅僅是幫助企業做到大數據營銷，更是幫助企業利用統計在內部的大數據庫深度挖掘客戶的需求以實現企業的長遠規劃發展以及進一步提升盈利的能力等。由此觀之大數據技術的應用幫助企業更好的分析統計市場的供求關系，并在數據上將用戶的購買力、購買心理等內容展現出來，企業可以以此掌握消費者的消費心理，以推動企業經濟效益不斷進步為目的對用戶的需求持續挖掘利用，增加收益并實時調整營銷策略，以謀求更長遠的經濟效益。

二、有關大數據時代下統計學的挑戰列舉及其闡述

（一）樣本選取難度系數增加是第一個挑戰

在統計學種樣本的統計是不可缺少的內容，其樣本統計時的數據是后續研究統計得出結果能夠具有真實性以及實用性的重要保障，由此可見樣本的統計是數據具有有效性的關鍵性環節，在大數據時代的背景下，數據量的龐大以及流動性都給樣本的篩選帶來一定的難度，不僅會出現數據不集中、難收集、難確定樣本標準的問題，還會出現統計學無法進行結構化數據的研究，因為網絡數據并不像其他統計樣本過程中的數據屬于結構化數據的范疇，因此在統計的過程中如何將非結構化的數據精準轉化成為結構化的數據供人們篩選統計是第一件應該解決的挑戰。

（二）大數據時代統計學應用時的挑戰具體列舉

1.有關信息收集的困難闡述。

大數據的信息收集首先要具備的條件就是有價值，即判斷該數據是否具備“我所需要的”這一條件，如果有，則是有價值的數據。大數據的信息收集絕對不是隨意進行，如果不是有價值的數據將會在進行分析時得到無用的信息，并且統計時也會出現問題，其結果并不具備有效的信息傳遞能力。

2.有關數據評估的困難闡述。

適用性就是數據在經過信息收集篩選后評估時需要的條件，因為收集信息時篩選的標準是所需，并未把數據的質量當作篩選的標準之一，所以為滿足市場對信息、數據等的需要，需要對所收集的數據進行整合并且針對整合的信息進行評估。評估的結果會影響后續的結果分析，因此評估環節非常重要，需要具備一定工作經驗的人員進行評估。

3.有關數據分析的困難闡述。

數據分析的環節需要專業人員具備完善的知識體系，從數據的分析到優化都需要統計人員的職業素養以及業務能力作為支撐，因此對專業人員的要求較高，然而在這項工作進行的環節我國的企業并沒有正確的認識到其重要性，不僅沒有專業的人才隊伍還側重于企業的生產以及交接，一定程度上遏制了統計環節的落實工作進行，給市場營銷環節帶來巨大的挑戰。

三、結束語

綜上所述，大數據時代的到來不僅給統計學專業帶來了機遇還帶來了挑戰，二者不應該分開看待，機遇與挑戰本就具有不可分割的緊密聯系，相關工作人員應該在抓住機遇的同時，找到傳統統計學遺留下來并不適用于大數據時代的不足，改善不足做出創新以此準備直面挑戰迎接新時代的機遇。