如何理解“大數(shù)據(jù)時代”？

問：編輯同志，您好。繼“物聯(lián)網(wǎng)”、“云計算”之后，“大數(shù)據(jù)”一詞被越來越多地提及。大家都在談論“大數(shù)據(jù)”，誰都想用好“大數(shù)據(jù)”，儼然進入了“大數(shù)據(jù)時代”。請問如何理解“大數(shù)據(jù)時代”？

北京讀者：唐洪濤

唐洪濤同志：

您好！“大數(shù)據(jù)”只是一種提法，其形態(tài)本身是數(shù)據(jù)云。人們用它來描述、定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關的技術發(fā)展與創(chuàng)新。讓我們看網(wǎng)上的一組數(shù)據(jù)，就能夠對“大數(shù)據(jù)”有一個生動的認識：平均每1秒鐘，會有60張照片上傳到網(wǎng)絡；每1分鐘，會有60小時視頻上傳到視頻網(wǎng)站youtube；每1天里，在臉譜（facebook）有40億的信息擴散；每個智能手機用戶平均會安裝65個應用；每一天里，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1.68億張DVD；每一天發(fā)出的郵件有2940億封之多（相當于美國兩年的紙質(zhì)信件數(shù)量），發(fā)出的社區(qū)帖子達200萬個（相當于《時代》雜志770年的文字量）。在“大數(shù)據(jù)”中，存儲在數(shù)據(jù)庫中的結構化數(shù)據(jù)僅占10%，郵件、視頻、微博、帖子、頁面點擊等大量非結構化數(shù)據(jù)占據(jù)了另外90%。

“大數(shù)據(jù)”有幾個明顯特征。一是數(shù)據(jù)量大?！按髷?shù)據(jù)”的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。二是數(shù)據(jù)類型繁多。包括網(wǎng)絡日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。三是數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”，是“大數(shù)據(jù)時代”亟待解決的難題。四是處理速度快，時效性要求高。這是“大數(shù)據(jù)”區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。

最早提出“大數(shù)據(jù)時代”到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。

如今，互聯(lián)網(wǎng)和大數(shù)據(jù)已經(jīng)開始深刻影響公司的傳統(tǒng)業(yè)務。比如，大家都熟悉的耐克公司，它的數(shù)字運動平臺Nike+至今已經(jīng)擁有了超過1000萬的注冊用戶，它所收集到的用戶運動數(shù)據(jù)已經(jīng)成為耐克在產(chǎn)品設計時的重要參考。Nike+收集到的數(shù)據(jù)顯示，大量的用戶是在夜間進行跑步鍛煉的。當了解這點之后研發(fā)人員開始思考，在光線昏暗的條件下跑步，人們需要什么？毫無疑問，是可見度和安全性。因此，在設計鞋的時候加上了反光材料，在設計衣服時也加上了反光材料。這只是互聯(lián)網(wǎng)和“大數(shù)據(jù)”對耐克影響的一個縮影。

毫不夸張地說，互聯(lián)網(wǎng)上每天產(chǎn)生的龐大數(shù)字在一定意義上就意味著財富，意味著政治。美國華爾街根據(jù)民眾情緒拋售股票；對沖基金依據(jù)購物網(wǎng)站的顧客評論，分析企業(yè)產(chǎn)品銷售狀況；銀行根據(jù)求職網(wǎng)站的崗位數(shù)量，推斷就業(yè)率；投資機構搜集并分析上市企業(yè)聲明，從中尋找破產(chǎn)的蛛絲馬跡；美國疾病控制和預防中心依據(jù)網(wǎng)民搜索，分析全球范圍內(nèi)流感等病疫的傳播狀況；美國總統(tǒng)奧巴馬的競選團隊依據(jù)選民的微博，實時分析選民對總統(tǒng)競選人的喜好。

“大數(shù)據(jù)時代”為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。與此同時，也對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，尤其讓互聯(lián)網(wǎng)公司如臨大敵，有些美國公司甚至認為“大數(shù)據(jù)時代”就如同“外星人”和“世界末日”一樣，某種程度上是虛構的。但不管怎樣，海量數(shù)據(jù)已然擺在面前，是機遇必然伴隨挑戰(zhàn)，關鍵在于如何應對。