大數(shù)據(jù)時代的統(tǒng)計學(xué)應(yīng)用

張澤圣

（云南大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院，云南昆明　650000）

大數(shù)據(jù)時代的統(tǒng)計學(xué)應(yīng)用

張澤圣

（云南大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院，云南昆明650000）

隨著信息技術(shù)的不斷發(fā)展，大數(shù)據(jù)的時代已然來臨，大數(shù)據(jù)對人們的生活生產(chǎn)都產(chǎn)生了巨大的影響。大數(shù)據(jù)給統(tǒng)計學(xué)的發(fā)展也帶來了許多挑戰(zhàn)與機遇，基于大數(shù)據(jù)背景下的統(tǒng)計學(xué)在當(dāng)前不斷地發(fā)展。本文對大數(shù)據(jù)和統(tǒng)計學(xué)的概念進行了分析，對大數(shù)據(jù)時代下的統(tǒng)計學(xué)進行了詳細的介紹，并提出了一些大數(shù)據(jù)時代下的統(tǒng)計學(xué)的未來的展望。

大數(shù)據(jù)統(tǒng)計學(xué)應(yīng)用

大數(shù)據(jù)，主要是指龐大的數(shù)據(jù)資訊，由于其數(shù)據(jù)之龐大，人們不能利用當(dāng)下主流的軟件在一定時間內(nèi)對其進行提取、分析從而幫助決策者決策的資訊；統(tǒng)計學(xué)，主要是對數(shù)據(jù)進行分析、整理，再以較為直觀的方式呈現(xiàn)出數(shù)據(jù)的特征，以供人們、參考、決策。隨著信息技術(shù)的不斷發(fā)展，當(dāng)今時代已是大數(shù)據(jù)的時代，大數(shù)據(jù)在全世界范圍內(nèi)都得到了不同程度的發(fā)展，傳統(tǒng)統(tǒng)計學(xué)由于自身具有的單調(diào)性，被人們將其與大數(shù)據(jù)緊密結(jié)合，并且在各個領(lǐng)域中加以利用。大數(shù)據(jù)時代下的統(tǒng)計學(xué)應(yīng)用已經(jīng)成為了一種發(fā)展的潮流。社會在不斷發(fā)展著，信息也在不斷地進步，許多人都開始注意到數(shù)據(jù)的重要性。就目前的情況而言，實用的數(shù)據(jù)很多，我們可以對其進行利用，從而提高生產(chǎn)力的發(fā)展水平，并且解決一些民生方面的問題。因此大數(shù)據(jù)時代的統(tǒng)計學(xué)應(yīng)用十分重要。

1　統(tǒng)計學(xué)與大數(shù)據(jù)的簡單概述

1.1統(tǒng)計學(xué)概述及其性質(zhì)

統(tǒng)計學(xué)是一門主要對數(shù)據(jù)進行收集并通過直觀的方式將其表現(xiàn)出來的一門科學(xué)。在傳統(tǒng)的統(tǒng)計學(xué)中有兩種主要的統(tǒng)計方法，即推斷統(tǒng)計和描述統(tǒng)計法。在推斷統(tǒng)計中，主要是通過對已知樣本進行推斷，推斷出總體參數(shù)，將推斷出的數(shù)據(jù)用概率的方式表示出來。描述統(tǒng)計則是對所收集的數(shù)據(jù)進行處理，將其結(jié)果用統(tǒng)計圖等圖表形式直觀地表現(xiàn)出來。

統(tǒng)計學(xué)有包含如下幾個基本性質(zhì)：

統(tǒng)計學(xué)的主要目的是對數(shù)據(jù)進行研究。統(tǒng)計學(xué)所研究的數(shù)據(jù)并不是抽象的，而是客觀真實存在的數(shù)據(jù)。這些數(shù)據(jù)有大有小，可以是微觀的粒子，也可是廣闊無垠的宇宙；甚至可以追溯至遠古時期的人類發(fā)展以及未來的發(fā)展。

統(tǒng)計學(xué)的主要研究方法是歸納與推斷。統(tǒng)計學(xué)主要通過對樣本數(shù)據(jù)進行延伸，將其上升至整體，從而得出一般結(jié)論。也就是我們所說的通過現(xiàn)象對其本質(zhì)進行研究。這個方法主要是有小到大，由個體到整體。

統(tǒng)計學(xué)的研究結(jié)論往往是不確定的。在統(tǒng)計學(xué)中對數(shù)據(jù)的提取主要是通過抽樣進行的，抽樣數(shù)據(jù)并不是整體數(shù)據(jù)，它只能代表整體數(shù)據(jù)的一部分。因此，不可避免的，統(tǒng)計學(xué)研究結(jié)論會帶有不確定性，這也是傳統(tǒng)統(tǒng)計學(xué)中不可避免的缺點。

統(tǒng)計學(xué)最重要的特點是其聯(lián)系范圍的廣闊性。在大部分學(xué)科中，以及人們的生產(chǎn)生活中，脫離不了數(shù)據(jù)，而數(shù)據(jù)必須要通過統(tǒng)計才能發(fā)揮其作用，因此，統(tǒng)計學(xué)與各個學(xué)科聯(lián)系緊密，也與人們生產(chǎn)生活息息相關(guān)。

1.2大數(shù)據(jù)的產(chǎn)生與發(fā)展

當(dāng)今時代是互聯(lián)網(wǎng)高速發(fā)展的時代，也屬于信息發(fā)展的時代。由于信息量的龐大，不可避免地會出現(xiàn)各種各樣的數(shù)據(jù)。大數(shù)據(jù)就是信息高速發(fā)展的產(chǎn)物，它包括了各種各樣數(shù)據(jù)的交匯，它不是傳統(tǒng)意義上單一的數(shù)據(jù)。我們可以將大數(shù)據(jù)看成是各種數(shù)據(jù)的集合，通過對各類數(shù)據(jù)進行整合、交叉運用，在云計算基礎(chǔ)上對數(shù)據(jù)進行處理和運用，并且形成一種可供我們利用的智力資源和強大的知識服務(wù)能力。

大數(shù)據(jù)雖然數(shù)據(jù)量大，但是價值密度低，數(shù)據(jù)類型多且復(fù)雜，但是處理的速度快，這也是大數(shù)據(jù)的四大特點。從中我們不難看出大數(shù)據(jù)十分注重對海量數(shù)據(jù)的處理，在預(yù)測方面具有十分的優(yōu)勢。與目前擁有的其他技術(shù)相比，大數(shù)據(jù)所具有的“速度”“廉價”“優(yōu)化”這三個方面所綜合起來的成本是最低的。在我們的生產(chǎn)生活中，大數(shù)據(jù)給我們提供的可量化維度是以前所不具有的，它對我們的生活生產(chǎn)帶來了許多方便，在新發(fā)明和新服務(wù)方面起到了不可替代的作用。

大數(shù)據(jù)不僅給我們帶來了機遇也帶來了挑戰(zhàn)。大數(shù)據(jù)的數(shù)據(jù)量之龐大，有更多的數(shù)據(jù)需要我們分析，傳統(tǒng)的抽樣方法已不再適用。在大數(shù)據(jù)面前，對數(shù)據(jù)精度的要求有所減少，進而更加注重對整體信息的獲??；我們也由之前注重事務(wù)之間的因果關(guān)系轉(zhuǎn)而注重事務(wù)之間的相互聯(lián)系，從中獲取對我們更具價值的信息。

目前，在我國許多企業(yè)中對大數(shù)據(jù)利用的能力還不足，產(chǎn)生了效率低、成本高、耗能高等問題。如何對大數(shù)據(jù)進行利用并推動企業(yè)發(fā)展是我們當(dāng)下所面臨的問題，在大數(shù)據(jù)背景下，對海量數(shù)據(jù)進行高效合理的利用對未來大數(shù)據(jù)的發(fā)展十分重要。

1.3大數(shù)據(jù)的研究動向與信息問題

1.3.1大數(shù)據(jù)的研究動向

當(dāng)前，國外一些機構(gòu)對大數(shù)據(jù)環(huán)境下的發(fā)展提出了一些極具挑戰(zhàn)性的問題。比如如何對高度分布的數(shù)據(jù)資源進行處理，對數(shù)據(jù)來源的追蹤，對樣本的核實等等。他們在大數(shù)據(jù)的處理方法上進行了改進，開發(fā)了一系列的算法。在我國，也十分重視對大數(shù)據(jù)的研究。對大數(shù)據(jù)的研究還專門召開了會議進行討論，國家設(shè)立了專項的研究計劃，設(shè)立了專項的研究基金。而大數(shù)據(jù)最終的服務(wù)對象是廣大的企業(yè)，因此，在企業(yè)方面也開展了合作計劃。大數(shù)據(jù)的研究并不能只依靠單一的統(tǒng)計學(xué)，其他學(xué)科也應(yīng)該重視大數(shù)據(jù)對自身學(xué)科發(fā)展的影響。在計算機領(lǐng)域，相關(guān)的計算機人才除了掌握扎實計算機技能，也應(yīng)該對大數(shù)據(jù)有所掌握。計算機與統(tǒng)計學(xué)關(guān)系緊密，因此，計算機領(lǐng)域在大數(shù)據(jù)與統(tǒng)計學(xué)中也扮演了重要的角色。

1.3.2大數(shù)據(jù)的信息問題

當(dāng)今時代是數(shù)據(jù)信息的時代，大數(shù)據(jù)所包含的數(shù)據(jù)量十分龐大，人們需要對這些數(shù)據(jù)研究就必須將這些數(shù)據(jù)相互融合起來。將數(shù)據(jù)融合就需要清楚數(shù)據(jù)的來源以及如何對這些數(shù)據(jù)進行獲取的。在獲取數(shù)據(jù)的過程中，數(shù)據(jù)的來源復(fù)雜并且數(shù)量龐大，不可避免地就會出現(xiàn)一些問題。比如原始數(shù)據(jù)遭到破壞，因為大數(shù)據(jù)主要注重對數(shù)據(jù)整體的獲取，因此，在某些數(shù)據(jù)上出現(xiàn)問題在所難免，甚至所取得的數(shù)據(jù)不是原始數(shù)據(jù)，而是經(jīng)過分析推斷后的預(yù)測數(shù)據(jù)。因此，我們要引起足夠的重視，重視數(shù)據(jù)的獲取，避免取得一些遭到破壞的數(shù)據(jù)。

另一方面，在大數(shù)據(jù)的獲取過程中也很容易造成數(shù)據(jù)的缺失。而數(shù)據(jù)缺失的最直接的結(jié)果就是影響數(shù)據(jù)的分析。有些不同領(lǐng)域的研究卻需要相同的數(shù)據(jù)，這就造成了數(shù)據(jù)的重疊，比如經(jīng)濟和保險，兩者分屬于不同的領(lǐng)域，但是在具體的研究過程中某些數(shù)據(jù)的利用是相同的。在我們對數(shù)據(jù)進行分析時，要特別注意兩個方面的數(shù)據(jù)。一方面是觀察得到的數(shù)據(jù)，另一方面是實驗得到的數(shù)據(jù)。這兩個數(shù)據(jù)所包含的具體信息是不同的，但是卻仍然會使得一些人對數(shù)據(jù)產(chǎn)生錯誤的認知。這是因為數(shù)據(jù)本身是具有特定的范圍的，我們對數(shù)據(jù)進行收集的同時，實際上也就確定了這一屬性，所以當(dāng)我們需要一些超出這個范圍的含義就需要我們對這些數(shù)據(jù)進行推斷。

2　大數(shù)據(jù)時代的統(tǒng)計學(xué)的具體應(yīng)用

2.1大數(shù)據(jù)時代的統(tǒng)計學(xué)在企業(yè)中的應(yīng)用

在企業(yè)的生產(chǎn)、經(jīng)濟活動中，統(tǒng)計學(xué)都占據(jù)著十分重要的地位。企業(yè)通過對統(tǒng)計方法的利用，建立了風(fēng)險監(jiān)測體系。但是單純運用傳統(tǒng)的統(tǒng)計方法是遠遠不夠的，企業(yè)往往會將大數(shù)據(jù)與統(tǒng)計學(xué)相互結(jié)合，從而對公司進行實時的監(jiān)管。在企業(yè)的生產(chǎn)活動中，涉及了許多方面的數(shù)據(jù)，包括各個月份、各個季度的總體收入，各個具體項的收入情況，整體支出情況、具體項的支出情況等等，這就包含了十分龐大的數(shù)據(jù)量。因此，在企業(yè)中往往利用大數(shù)據(jù)對整體的數(shù)據(jù)進行把握，在根據(jù)統(tǒng)計方法進行分析、總結(jié)，以此對企業(yè)進行實時的監(jiān)管，并建立了相對完整的風(fēng)險監(jiān)測體系。

2.2大數(shù)據(jù)時代的統(tǒng)計學(xué)在農(nóng)業(yè)中的應(yīng)用

農(nóng)業(yè)的生產(chǎn)與我們息息相關(guān)，我們可以以水稻為例，對其進行具體的分析。影響水稻產(chǎn)量的原因有許多，氣候、土壤、環(huán)境、營養(yǎng)等都是影響水稻產(chǎn)量的重要因素。但是由于技術(shù)的發(fā)展，水稻在全國范圍內(nèi)十分廣闊地種植，利用傳統(tǒng)的統(tǒng)計學(xué)方法勢必不能對影響水稻產(chǎn)量的因素進行很好的分析。但是將統(tǒng)計學(xué)與大數(shù)據(jù)相結(jié)合，卻能夠?qū)τ绊懫洚a(chǎn)量的原因進行很好的把握。當(dāng)前，由于科學(xué)技術(shù)的發(fā)展，我們可以對水稻的種植環(huán)境進行各個方面的監(jiān)測，比如土壤、水分、養(yǎng)料等，從而得到一系列的數(shù)據(jù)，這些數(shù)據(jù)數(shù)量龐大并且數(shù)據(jù)種類繁多，傳統(tǒng)的抽樣方法不能夠?qū)ζ溥M行整體的把握，只有對整體數(shù)據(jù)進行分析，將其原因進行統(tǒng)計才能真正得出影響水稻產(chǎn)量的因素。這是大數(shù)據(jù)時代的統(tǒng)計學(xué)在農(nóng)業(yè)方面的典型應(yīng)用，通過對整體數(shù)據(jù)的把握，并對其進行統(tǒng)計分析，從而得出我們想要的結(jié)果。

2.3大數(shù)據(jù)時代的統(tǒng)計學(xué)在其他學(xué)科方面的應(yīng)用

大數(shù)據(jù)給人們的生產(chǎn)生活都帶來了影響，各行各業(yè)的勞動者也紛紛通過對數(shù)據(jù)的利用來帶動行業(yè)的發(fā)展，通過對數(shù)據(jù)的利用達到解決問題的目的。隨著科技的發(fā)展，我們在出行之前會習(xí)慣性地對交通、天氣等狀況進行查詢。事實上，我們所利用的這些軟件都與大數(shù)據(jù)和統(tǒng)計學(xué)息息相關(guān)。交通狀況主要是對該路況進行實時的監(jiān)測，比如人流量、車流量等，通過對這些數(shù)據(jù)的實時監(jiān)測，再將其進行統(tǒng)計分析，得到具體的交通狀況，并且以直觀的圖表方式呈現(xiàn)給我們。還有我們都十分熟悉的翻譯軟件，我們?nèi)粘５膶W(xué)習(xí)中，會使用到一些翻譯軟件，實際上這些翻譯軟件也和大數(shù)據(jù)、統(tǒng)計學(xué)息息相關(guān)。在這些軟件當(dāng)中，儲存了十分龐大的詞匯量，當(dāng)我們使用翻譯功能是，會統(tǒng)計出最常用的句子，并且按檢索次數(shù)呈現(xiàn)出來。這些都是大數(shù)據(jù)下背景下的統(tǒng)計學(xué)的應(yīng)用，這些應(yīng)用都給我們的生活帶來了便利。

3　統(tǒng)計學(xué)在大數(shù)據(jù)時代下的機遇與挑戰(zhàn)

3.1統(tǒng)計學(xué)與大數(shù)據(jù)的聯(lián)系十分緊密

統(tǒng)計學(xué)主要是對數(shù)據(jù)進行研究，通過對數(shù)據(jù)的研究分析進而得出結(jié)論。在統(tǒng)計學(xué)中，研究的數(shù)據(jù)范疇十分廣，包括定量數(shù)據(jù)、定性數(shù)據(jù)、截面數(shù)據(jù)、實驗數(shù)據(jù)等等，都是統(tǒng)計學(xué)所要研究的數(shù)據(jù)對象。而大數(shù)據(jù)就是各種數(shù)據(jù)的集合，它包含了各式各樣的數(shù)據(jù)類型，簡單的、復(fù)雜的。統(tǒng)計學(xué)與大數(shù)據(jù)都主要是圍繞數(shù)據(jù)進行展開的，這是統(tǒng)計學(xué)與大數(shù)據(jù)之間的一種內(nèi)在聯(lián)系。因此，我們可以將統(tǒng)計學(xué)與大數(shù)據(jù)相結(jié)合，改變傳統(tǒng)統(tǒng)計學(xué)中對數(shù)據(jù)抽樣研究的方法，轉(zhuǎn)變成對整體的數(shù)據(jù)進行研究，從而得出更能為我們所利用的研究結(jié)果。

3.2大數(shù)據(jù)使傳統(tǒng)統(tǒng)計學(xué)得到改進和補充

傳統(tǒng)的統(tǒng)計學(xué)中，在對數(shù)據(jù)量大的數(shù)據(jù)處理中存在著明顯的不足，其數(shù)據(jù)處理過程中，往往存在滯后性和低頻性等問題。我們以經(jīng)濟學(xué)里的消費物價指數(shù)，也就是CPI為例。我們所得到的CPI報表中，往往在時間上存在著一定的滯后性，本月的CPI數(shù)據(jù)只能在下個月才能得到相關(guān)的數(shù)據(jù)報表。由于時間上存在著滯后性，許多政策的制定都會受到影響，不能根據(jù)情況及時的做出調(diào)整。而大數(shù)據(jù)就隨時提供當(dāng)前階段的“價格指數(shù)”，對市場進行實時的監(jiān)測，它的時間頻率甚至甚至可以小到以天為單位，提供每天的價格指數(shù)。借助大數(shù)據(jù)，可以對市場價格進行實時的監(jiān)測，我們可以對市場價格作出合理的調(diào)節(jié)，從而減少出現(xiàn)通貨膨脹和通貨緊縮的情況發(fā)生。我們可以利用大數(shù)據(jù)對信息全面掌控和對總體覆蓋的優(yōu)勢，對數(shù)據(jù)進行全面地分析，從而補充傳統(tǒng)統(tǒng)計學(xué)中的不足。

3.3統(tǒng)計學(xué)思想在大數(shù)據(jù)時代中的轉(zhuǎn)變

在當(dāng)前的統(tǒng)計學(xué)中，由于整體數(shù)據(jù)量龐大，我們往往會通過樣本對整體進行分析。在這一過程中，往往十分重視樣本數(shù)據(jù)的精確程度，傳統(tǒng)統(tǒng)計學(xué)重視樣本的數(shù)據(jù)的精確程度。而大數(shù)據(jù)往往相反，大數(shù)據(jù)呈現(xiàn)的是一個整體，由于整體數(shù)據(jù)十分龐大，對于其數(shù)據(jù)的精確程度勢必不能很好的把握，因此，大數(shù)據(jù)重視整體數(shù)據(jù)的情況，對于其樣本精確程度并沒有做很高的要求。在大數(shù)據(jù)中，我們的立足點是整體數(shù)據(jù)而不拘泥于某個樣本，看中的也是整體數(shù)據(jù)所呈現(xiàn)出來的價值，大數(shù)據(jù)中“樣本即是整體”的概念與傳統(tǒng)統(tǒng)計學(xué)重視樣本的概念不同，大數(shù)據(jù)的這一整體概念對統(tǒng)計學(xué)的思想有著十分重要的影響。

3.4統(tǒng)計學(xué)與大數(shù)據(jù)互相促進，共同發(fā)展

當(dāng)前所處的時代是大數(shù)據(jù)發(fā)展的時代，大數(shù)據(jù)的發(fā)展十分迅猛，這給統(tǒng)計學(xué)的發(fā)展帶來重大的影響，使統(tǒng)計學(xué)的發(fā)展具有劃時代的意義。傳統(tǒng)的統(tǒng)計學(xué)通過樣本對整體進行把握，大數(shù)據(jù)對其進行突破，通過對整體數(shù)據(jù)的把握，得出一系列更具效益的結(jié)論。而在統(tǒng)計學(xué)中，其對數(shù)據(jù)的細致分析，準確推斷，對統(tǒng)計理論的應(yīng)用和掌握也十分值得借鑒。只有將二者進行結(jié)合，才能發(fā)揮更大的作用。我們應(yīng)該充分利用大數(shù)據(jù)所帶來的巨大信息量，運用統(tǒng)計的方法對其進行整體感知，在大數(shù)據(jù)時代的發(fā)展中，迎接它所帶來的機遇和挑戰(zhàn)。只有將大數(shù)據(jù)和統(tǒng)計學(xué)進行有效的結(jié)合，才能給我們的生活生產(chǎn)的發(fā)展做出貢獻。

4　結(jié)語

一個新事物的到來，必然會對傳統(tǒng)的事物產(chǎn)生影響。大數(shù)據(jù)時代的到來也對統(tǒng)計學(xué)產(chǎn)生了深刻的影響，大數(shù)據(jù)給統(tǒng)計學(xué)帶來了新的生命力。目前很多學(xué)科的發(fā)展都融入了大數(shù)據(jù)的潮流之中，作為與大數(shù)據(jù)聯(lián)系緊密的統(tǒng)計學(xué)如果不進行改革創(chuàng)新，那么終將會被邊緣化，阻礙自身的發(fā)展。大數(shù)據(jù)給統(tǒng)計學(xué)帶來了挑戰(zhàn)，但是不可否認的是大數(shù)據(jù)也給統(tǒng)計學(xué)的發(fā)展帶來了機遇，我們在抓住機遇的同時還應(yīng)該意識到傳統(tǒng)的統(tǒng)計學(xué)中，一些方法已經(jīng)不能滿足當(dāng)今數(shù)據(jù)的分析?；谶@一現(xiàn)狀，統(tǒng)計學(xué)家不能盲目將傳統(tǒng)的數(shù)據(jù)環(huán)境當(dāng)成研究的目的，而是應(yīng)該積極融入到新事物當(dāng)中，迎接挑戰(zhàn)，使大數(shù)據(jù)時代下的統(tǒng)計學(xué)能夠得到更好的應(yīng)用和發(fā)展。

［1］田茂再.大數(shù)據(jù)時代統(tǒng)計學(xué)重構(gòu)研究中的幾個熱點問題［J］.統(tǒng)計研究，2015，05：3-12.

［2］耿直.大數(shù)據(jù)時代統(tǒng)計學(xué)面臨的機遇與挑戰(zhàn)［J］.統(tǒng)計研究，2014，01：5-9.

［3］邱東.大數(shù)據(jù)時代對統(tǒng)計學(xué)的挑戰(zhàn)［J］.統(tǒng)計研究，2014，01：16-22.

［4］朱懷慶.大數(shù)據(jù)時代對本科經(jīng)管類統(tǒng)計學(xué)教學(xué)的影響及對策［J］.高等教育研究（成都），2014，03：35-37.