大數據的前世、今生和未來

薛一波

摘要： 分析了大數據產生的原因，闡述了大數據的作用、價值以及所面臨的問題。認為大數據開啟了一次重大的時代轉型，其科學價值和社會價值主要體現在兩個方面：一方面，大數據不僅可以發現事物的顯式規律，而且可以挖掘事物的隱式規律和潛在價值；另一方面，大數據可以轉化為經濟價值的源泉，撼動世界的各個方面。

關鍵詞： 大數據；關聯分析；數據科學

Abstract： This paper analyzes the reasons that big data is generated. It then describes big data in terms of effects， value， and issues. Now， big data is opening a new era of development and presents good opportunities. The science and social values of big data focus on two aspects. On the one hand， big data can discover explicit laws and also dig up implicit laws and potential value. On the other hand， big data can be changed into the fountain of economic value and shake all aspects of the world.

Key words： big data； correlation analysis； data science

1 大數據的前世

大數據沒有“前世”，只有“今生”和“未來”。

2 大數據的今生

Google每個月要處理900億次的Web搜索，數據量高達600 PB；百度擁有數千億的網頁，同時數據總量接近1 000 PB；Facebook是全球最大的在線社交網絡，用戶人數達12.3億，日活躍人數達7.57億，日均消息量達10億條；Twitter用戶數突破5億，日活躍人數2.4億，日均消息量2.3億條；騰訊QQ目前擁有8億互聯網用戶、4億移動用戶，數據量經壓縮處理后約100 PB，并且這一數據還在以日新增200 TB到300 TB、月增加10%的數據量不斷增長。

2013年中國產生的數據總量超過0.8 ZB，是2012年中國產生的數據總量的2倍，相當于2009年全球的數據總量。預計到2020年，中國產生的數據總量將是2013年的10倍，超過8.5 ZB[1]。

2.1大數據的起因

（1）數字化。由于計算機的出現，使得人類可以用數字化的“眼睛”來觀測和處理整個世界，數字化意味著可以從大千世界的一切事物中汲取信息。數字化是大數據的手段。

（2）移動化。隨著智能手機、移動終端、便攜設備的快速普及，推動了移動互聯網的迅猛發展，使得人們可以快速、實時、便捷地產生、分享和獲取數據。移動化是大數據產生的原因之一，主要是人在產生數據。

（3）物聯化。隨著物聯網的快速發展，世上萬物皆有生命，既能被感知（傳感網），又能感知“它”（物聯網），還能共分享（網絡化）；隨著物聯網技術的進一步發展，感知的廣度和深度都將會逐步地加大，不可避免地會產生數據的“海洋”。物聯網是大數據產生的原因之二，主要是物在產生數據。

（4）社會化。好奇、求知和交流是人類永恒的渴求，社會網絡的出現滿足了人們實時交流、分享信息、抒發情感、尋求朋友的愿望，因而得到了迅猛的發展，社會網絡每時、每刻、每地產生數據。社會化是大數據產生的原因之三，主要是人和人、人和物的交流在產生數據。

（5）網絡化。隨著網絡用戶的增加、帶寬的增大以及新應用的不斷出現，信息的產生和傳播更快、更廣、更深。網絡化是大數據產生的原因之四，主要是傳播在產生數據。

當然產生大數據的原因還有很多，如精度的提升可能使數據量指數不斷增長，原來一張照片的數據量不到1 MB，現在可能超過10 MB；再如視頻監控的普及、多媒體應用的增多，都產生了大數據。

總之，大數據是一種“現象”，是眾多新技術和新應用產生的結果。

2.2 大數據的特點

大數據不僅是指其數據量大，而且還有很多特點，目前公認的至少有4個特點：體量大、形式多、時效強、價值大 [2]。

·體量大主要指范圍廣、規模大、容量大，通常可以達到PB級，甚至達到EB、ZB級，其中以非結構化數據居多，占總數據量的80%～90%，其增長的速度比結構化數據還要快10～50倍。

·形式多主要指數據類型，具有異構性和多樣性，很多不同形式（文本、音頻、圖像、視頻）的數據共存，數據沒有特征模式或者特征模式不明顯，缺乏語法和語義，具有很強的混雜性和模糊性。

·時效強主要指時效性強，要求實時分析，希望立竿見影而非事后見效，因此需要強大的計算處理能力和及時的數據服務。

·價值大主要指知識的聚合、產生的價值大，大數據具有大量的不相關信息，價值密度相對較低，需要復雜的統計、關聯、挖掘和深度分析，來對顯式規律、隱式規律、未知規律、發展趨勢等進行分析和預測。

2.3大數據的作用

對于大數據，你信與不信，它已存在；你喜不喜歡，它迅猛而來。

對于大數據，你用它就會有用，就會產生價值；你不用它就是垃圾，而且不只是垃圾。

（1）大數據的負面影響

任何事物都有兩面性，大數據亦如此！

·信息垃圾。大數據的規模大、冗余多、類型復雜，如果不能加以利用，它就是信息垃圾。另外還需要大量的存儲資源、計算資源和人力資源來維護和處理，需要消耗大量的能源，不利于可持續發展。因此我們需要倡導健康的信息觀念，不要隨意產生和傳播信息垃圾。

·隱私威脅。互聯網已經對用戶的隱私產生很大的影響，在大數據時代隱私威脅會更加嚴重。通過大數據可以獲得一個用戶更多的信息，并且通過關聯分析，可以獲取其行為軌跡、興趣愛好、社會關系、買賣信息等，對用戶的隱私安全造成了極大的威脅。

·數據濫用。大數據的價值不再單純來源于它的基本用途，而更多源于它的二次或多次利用，會產生許多不可預見的影響，這些影響會有意或無意地威脅到用戶的切身利益和隱私安全。如果被用于惡意濫用，甚至會嚴重侵犯用戶的人身和財產等安全。

（2）大數據的正面作用

垃圾也可變廢為寶，大數據亦是如此！

·發現規律。以前人類只能“以一斑而窺全局”，經常是“瞎子摸象”，只知其一不知其二。有了大數據，我們就有了感知世界和認識世界的能力和手段，不僅通過簡單的統計分析就可以發現事物的顯式規律，而且通過深入的挖掘可以發現事物的隱式規律，可以做到全面、實時、準確地認識世界和感知世界。

·關聯分析。一個數據可能沒有意義或價值，但數據多了，不僅可以探測數據之間的因果關系（縱向，解決事出有因的問題），而且可以分析數據之間的關聯關系（橫向，解決相互作用的問題），通過幾個維度可以更加清晰和準確地分析一個事物的全貌。

當數據以數量級方式增長的時候，可以觀察到許多似是而非的關聯關系，通過大數據的關聯性分析可以更準確、更快捷地獲得全貌信息和潛在價值，并且不受偏見的影響。關聯性分析通過探求“是什么”，而不是“為什么”，可以更好地了解世界，掌握以前無法理解的復雜技術和社會動態。

·輔助決策。通過大數據的分析，可以建立和刻畫事物的行為軌跡和生命周期，繼而可以輔助用戶做出決策。例如，商業追蹤和交易分析等報告形式的輔助決策；故障分析、異常檢測等診斷形式的輔助決策；產品評測、廣告投放等評估形式的輔助決策等。大數據有價值的一個很重要原因就是它能夠幫助我們做出決策。

·趨勢預測。通過大數據，不僅可以分析和掌握事物的發展規律，而且可以預測未來的發展趨勢，進行態勢感知，做到未雨綢繆。大數據是人們獲得新認知、創造新價值的源泉。

大數據正如火如荼地在業界展開應用，典型的代表就是互聯網巨頭：Google、Amazon、Facebook等。隨著大數據的演進，不僅越來越多的互聯網企業會進入大數據的產業，而且更多的傳統企業也會進軍大數據。

3 大數據的未來

大數據即將引發第3次科技浪潮和技術變革，既是我們的機遇，也是面臨的挑戰。

（1）“數據科學”的出現。任何事物都會由量變引發質變，大數據也是如此！大數據不斷的快速膨脹，可能很快就會超出我們的認知和處理能力，需要新的科學理論，去引發新的學科——數據科學；需要新的數學理論、計算模型和處理方法，去引發多元創新。

（2）思維理念的轉變。大數據不是一個概念，而是一個思維理念，需要對傳統的思維理念進行5個方面的轉變。第1個轉變是：在大數據時代，我們可以分析更多的數據，甚至是某個事物的全集數據，并且“樣本”可以等于“總體”，因此我們可以洞察全局、整體和所有，而不是需要隨機抽樣和多級抽樣；第2個轉變是：在大數據時代，因為數據量非常龐大，我們可以不再熱衷于追求精確性，而是可以適當忽略微觀層面的精確性而專注于宏觀層面的洞察力，偏重于用概率說話，接受混亂和不精確性，我們可能會因此打開一扇新的窗戶，寬容錯誤可能會帶來更多價值；第3個轉變是：在大數據時代，尋找因果關系不再是長久以來的習慣，我們將更側重于尋找事物之間的關聯關系，這會讓我們發現新的潛在價值，這正是大數據的關鍵；第4個轉變是：大數據時代的簡單算法比小數據時代的復雜算法更有效，所以我們要尋找更為有效的簡單算法；第5個轉變是：數據的價值從基本用途轉變為潛在用途，數據的價值不會隨著它的使用而減少，而是可以不斷地被處理和利用，并不斷地產生價值，即數據可以被無限利用，而不是一次性消費[3]。

（3）全面數據的掌握。大數據的核心是數據，誰擁有數據，誰就有話語權，誰就能搶占制高點。因此，一是要花大氣力全面、實時、準確地獲取數據，這是“本”；二是要對大數據進行科學的分析、規范、整理，洞察數據的豐富特性，這對數據的分析和利用可以起到事半功倍的效果！

（4）潛在價值的挖掘。有了大數據，掌握了多個數據源，就可以從多個角度把握事物。更為重要的是，大數據之間存在著相互聯系，通過關聯性分析可以獲得潛在價值，可以創造新的發現，并預測未來。大數據的精髓就是挖掘出龐大數據中一些獨有的價值！

（5）核心技術的研發。有了數據，有了需求，就要研究和提出合適的統計、分析、挖掘、關聯和預測模型，設計高效的處理方法和手段，構建精細的處理流程，設計精美的可視化界面和工具，做出一個好的大數據分析系統和產品，從而發現規律、產生價值，為客戶乃至世界帶來新的價值增長。

4 結束語

大數據開啟了一次重大的時代轉型，大數據的科學價值和社會價值主要體現在兩個方面：一方面大數據可以轉化為經濟價值的源泉；另一方面，大數據已經開始撼動世界的各個方面。

大數據蘊藏著巨大的寶藏，就像傳統的石油、天然氣、金礦等一樣，就看你是否有能力挖到？能挖到多少？大數據的時代洶涌而來，我們要迎頭而上，避免錯失良機！

參考文獻

[1] 大數據史記2013：盤點中國2013行業數據量[EB/OL]. http：//www.36dsj.com/archives/6285

[2] 城田真琴.大數據的沖擊[M].周自恒，譯.北京：人民郵電出版社， 2013.

[3] 維克托.邁爾-舍恩伯格， 肯尼恩.庫克， 大數據時代-生活、工作與思維的大變革[M].盛楊燕、周濤，譯. 杭州： 浙江人民出版社， 2013.