大數據時代對統計學的影響

云南大學旅游文化學院 和志英

大數據時代對統計學的影響

云南大學旅游文化學院 和志英

數據時代已經到來，大數據的研究、開發和利用將對人們的生活、工作、思維、社會的產業發展和創新等方面帶來革命性的影響。統計學本身是大數據時代的一門重要科學，隨著大數據逐漸走進人們的視野和在越來越多的領域當中的應用，統計學也必然會迎來更多的廣泛關注。本文在大數據時代背景下，淺析統計學與大數據之間的區別和聯系，并闡述統計學在大數據時代將面臨哪些機遇和挑戰。

統計學 大數據 教學 影響

1　什么是大數據

對于“大數據”(Big data)研究機構Gartner給出了這樣的定義：“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產(百度百科)。

2　什么是統計學

統計學是一門基于數據的科學。研究數據搜集、整理、分析與應用的方式和方法。數據是嚴謹的、枯燥的、冷冰冰的，同時，數據又是豐富的、客觀的、忠實的、從不會欺騙人的。數據是數字，但不只是數據。統計學是“萬金油”，它在金融、經濟、醫學等領域的應用最廣，知名度最高。

3　大數據時代與統計學的關系

在當今信息時代，絕大部分的信息都是用數字表達出來的，從而數據是信息的載體，是統計學分析的對象。統計工作的過程本身就是數據的搜集、整理、分析、解釋這樣一個系統的過程。離開了數據，統計學就失去了研究的意義和價值。

同理，離開了統計學，數據就只是單純的數字而已，幾乎沒有價值。我們需要通過統計的方法和原理來整理和分析數據，這樣的數據在精確度和適用度方面才會有很高的提升，才會實現數據的真正價值。大數據與統計學既緊密聯系，也有區別。

3.1大數據與統計學的區別

第一，信息規模不同。大數據分析的是與某事物相關聯的所有數據，而不是依靠少量的數據樣本的分析。統計學是用樣本單位的分析來推斷總體的數量特征。由于以往的信息環境受限，我們只能取得有限的數據，故而追求和推崇樣本的重要性。但在大數據時代，人們可以通過各種途徑和方法取得幾乎全部的信息資料，從而在大數據基礎上可以完成很多小數據無法完成的事情。

第二，動靜標準不同。統計最基本、最重要的要求就是精確性，盡可能減少誤差，保證數據的質量，數據一旦完成搜集、整理、分析的過程和目的，就被認為已經沒有用處了。而大數據時代，數據不再是靜止和陳舊的，人們也不再擔心某個數據點會對整套數據的影響，人們不再致力追求數據的精確性，樂于接受數據的紛繁復雜并從中受益。

第三，數據搜集形式不同。統計數據搜集以往主要依賴于數據的抽樣調查，局限在一些無法揭示準確的細節信息的小范圍內。而在信息爆炸的大數據時代，特別是移動互聯網的發展使數據的級別和結構更加復雜，從而傳統數據搜集的方法存在很大的局限性。

第四，思維方式不同。傳統統計學人們追求的是事物之間的因果關系，而大數據轉變了人們的思維，人們不再探求事物之間難以捉摸的因果關系，轉而關注和探究事物之間的相關關系。

3.2大數據與統計學的相同點及相互關系

大數據與統計學都是關于數字的學科，它們之間的關系就像血緣關系，形象地講，就是直系血親關系，統計學為了大數據提供了一個舞臺，而大數據將統計學引向更遠的空間。

共性之一：社會+數據。幾乎所有的行業與大數據都有著直接或間接的聯系，大數據時代，人們通過數據分析獲得知識、商業機會和社會服務的能力。數據的研究和應用，由以往的少數教育領域擴大到普通機構、企業和政府部門，大數據、大社會構成大數據時代。

而統計學是以研究社會問題為目的，以大量的社會現象為研究對象，通過搜集、整理、分析來探究事物的內在本質和聯系，揭示事物的數量規律。大數據和統計學都是通過數據來研究社會問題，解決社會問題的。

共性之二：哲學+數學。統計學是哲學思想與數學思想融為一體的方法論科學，是定性分析與定量分析結合的過程。統計學以很多哲學思想為基礎，通過哲學思想來指導統計工作，研究事物的規律和本質。以此為基礎，大數據應運而生，以其扎實的數學基礎和哲學研究的方法應用于社會。

共性之三：數據+方法。統計學對事物的研究，是質變—量變—質變的過程，以定性分析為基礎，定量分析為主對數據進行分析。統計數據與統計方法相輔相成。而大數據時代，要求人們重視數據的復雜性，弱化精確性，采用全數據模式，利用所有數據，讓數據“發聲”，是發現和理解信息內容及信息與信息之間的關系。

總之，大數據與統計學之間具有千絲萬縷的關系。大數據時代將迎來技術的創新和變革，工作方式和思維模式的轉變，大數據時代也挑戰著傳統統計思維和研究模式。具體表現在如下幾個方面。

3.2.1大數據的總體思維

統計學研究社會現象總體的數量特征，以往獲取數據的方法主要以抽樣調查為主，這是由于以往由于各種條件的限制，信息比較匱乏，人們無法獲取總體的信息資料，才采取的無奈措施，抽樣調查只是在資源匱乏的情況下比較理想的一種方法而已。在大數據時代，人們應該關注數據的全面性，而不是抽樣型，也就是思維方式應該從樣本思維轉向總體思維，因為隨著收集、儲存、分析技術的突破性發展，人們有能力通過各種途徑獲得海量的數據，通過很多技術分析復雜的數據，甚至是與之相關的所有數據，而不再依賴于因諸多限制而采用的抽樣調查，用全數據思維方式思考問題、解決問題，從而可以帶來更全面的認識，可以更清楚地發現樣本無法揭示的細節信息，更加立體、全面、系統地認識總體狀況。

3.2.2 相關思維

傳統統計學重視的是事物之間的因果關系，得到一個結果，就要反推產生這個結果的原因，或者一定要找到一個原因來推出一個結果。而且由于樣本數據有限，無法反映出事物之間普遍性的相關關系。而在大數據時代，人們通過深入挖掘、解釋事物之間隱蔽的相關性，從而獲得更多的認知和洞見，運用這些認知來預見未來，這就是大數據的核心要義所在，也是人們嘗試著看待事物的全新角度。

3.2.3容錯思維

在大數據時代，要求人們重視數據的復雜性，弱化精確性。在信息和技術都相對匱乏的年代，人們依賴抽樣，追求以少博多的游戲。由于樣本信息量相對比較少，所以能夠確保記錄下來的信息盡可能都是精確化的、結構化的，否則，就不可能起到“四量撥千斤”的估計效果，因此，就必須十分注重精確性思維。然而，在大數據時代，每天、甚至每分每秒，數據都在不斷地更新變化，并且得益于大數據技術的突破，大量的非結構化、異構化的數據能夠得到及時的儲存和分析，海量的信息彌補了不精確的遺憾，讓人們可以弱化對精確的渴求。舍恩伯格指出，“執迷于精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用于傳統數據庫的。如果不接受混亂，剩下95%的非結構化數據都無法利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶。”(舍恩伯格《大數據時代》)也就是說，在大數據時代，要求人們重視數據的復雜性弱化精確性，也就是由精確性思維轉向容錯思維，當擁有海量即時數據時，絕對的精準不再是追求的主要目標，適當忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。

4　大數據時代下對統計學教學的影響

大數據時代并不會自動生成，總是需要不斷地提出和解決大數據發展所遇到的問題和矛盾，才會有切實的進步。事物發展的不同階段有不同的“時務”，需要不同的應對。統計數據的搜集方面，傳統的統計抽樣調查不再適用，這需要我們結合大數據的來源來搜集數據；數據整理方面，不再是傳統的計算機所能運行的，它需要更大的存儲以及計算機處理數據的能力；數據分析方面，很多傳統的統計方法不再有效，利用這些方法對數據進行分析，未必能得到我們想要的結果，這就需要我們對統計方法的創新與發展做進一步的努力。

4.1對教育內容的挑戰

傳統統計學教學的內容主要是概率論與數理統計，教學的重點在于統計工作過程所用的方法和理論，特別是對抽樣調查方式的推崇，以及研究事物之間的因果關系。分析的對象主要是結構性的數據。而在現代這樣一個移動互聯網時代，我們需要從很多非結構性或半結構性的數據提取有用的信息，那么就需要具備處理這些數據的技術和方法以及設備，從而在我們的教學內容中需要增加這方面的教學環節和資源，比如更新教學知識，增加大數據分析的方法和處理技術的課程，有效滿足市場對大學生的需求。

4.2對教育方法的挑戰

傳統統計學主要結合統計工作的四個基本工作過程(統計設計、統計調查、統計整理、統計分析)展開教學，主要是以教師講授為主，偏重理論，雖然也有案例引入教學，但是學生實際應用和管理的培養還遠遠不夠，注重方法方式的講解，技能培養不夠重視，教學方式單調，教學方法比較陳舊。所以在大數據時代，傳統的這些教學方法已經不再適應市場對數據全面性處理和分析的需求，從而需要根據形勢變化展開教學方法上的改革。

4.3對人才培養方式的挑戰

目前統計學教育以講授為主，在知識基礎上培養學生的邏輯思維和應用知識能力。另外大多數高校教師自身綜合素養不夠，對本專業或所授課程以外的知識知之甚少，以及基于理論知識的實際應用設備和實驗室更新速度落后，從而培養出的學生比較死板，偏重理論公式的推導和分析，往往生搬硬套，知識結構比較狹窄，對經濟學、管理學、計算機等領域的知識了解不夠，甚至片面了解，更不會綜合了解和應用，從而沒能很好地解決實際問題。大數據時代雖然也需要具有數據邏輯思維和分析應用能力的人才，但更需要的是具有敏銳的洞察力和數據分析能力的人才，能夠從海量復雜的數據中挖掘、分析、提煉有價值的信息，從而為所處行業提供可靠、有效的信息決策和預測的具有深遠戰略思想和眼光的人才。

5　結語

大數據和統計學兩者在本質、目標、數據處理和技能等方面，有聯系也有區別。大數據時代對于統計學來說是最好的時代，也是最壞的時代。統計學必須與時俱進，勇敢地接受大數據的挑戰和變革，才會走得更長遠，而大數據沒有了統計學思維的輔助、修正和補充，當熱潮退去，也只能在這個浮躁的時代中漸漸被人們遺忘。

[1] 李金昌.大數據與統計新思維[J].統計研究,2014(1).

[2] 邱東.大數據時代對統計學的挑戰[J].統計研究,2014(1).

[3] 朱建平.大數據時代下數據分析理念的辨析[J].統計研究,2014 (2).

[4] 黃永勤.國外大數據研究熱點及發展趨勢探析[J].情報雜志, 2014(6).

F062.5

A

2096-0298(2016)10(b)-153-02