起底大數(shù)據(jù)：一篇文章告訴你大數(shù)據(jù)的前世今生

由于云計算所代表的美好網(wǎng)絡(luò)應(yīng)用模式，它被Google提出來以后便不斷走熱。近幾年，云計算在IT界的流行程度超乎想象，大家各取所需地不斷創(chuàng)造出各種形式的云概念，一時間凡是與IT有點聯(lián)系的公司幾乎都扯上了云。在云尚未聚雨帶來甘甜之時，大數(shù)據(jù)的概念也正在被熱炒起來。數(shù)據(jù)是公司經(jīng)營決策的重要參考早已是人們的共識，那為什么大數(shù)據(jù)會突然聚焦了如此多的目光？大數(shù)據(jù)和云計算又是什么樣的關(guān)系？

火紅的大數(shù)據(jù)

2011年5月，麥肯錫全球研究院發(fā)布了名為《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》的研究報告，報告中指出大數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)，對大數(shù)據(jù)的分析將成為競爭的關(guān)鍵，并會引發(fā)新一輪生產(chǎn)力的增長與創(chuàng)新，對海量數(shù)據(jù)的有效利用將成為企業(yè)在競爭中取勝的最有利武器。麥肯錫還預(yù)測通過對大數(shù)據(jù)的合理使用可以使零售業(yè)的經(jīng)營利潤提高60%以上。

麥肯錫的報告發(fā)出后，大數(shù)據(jù)的概念迅速得到了IT界的熱捧。事實上，全球互聯(lián)網(wǎng)巨頭早就意識到了大數(shù)據(jù)下隱藏的金礦，紛紛針對大數(shù)據(jù)領(lǐng)域進行布局。例如亞馬遜一直非常強調(diào)數(shù)據(jù)驅(qū)動的管理思想，其早在2009年就推出了亞馬遜彈性MapReduce（Amazon Elastic MapReduce），這是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。據(jù)公開資料顯示，自2009年開始互聯(lián)網(wǎng)巨頭針對大數(shù)據(jù)領(lǐng)域的收購兼并至少有13起，涉及的企業(yè)包括EMC、IBM、Oracle和HP。其中最為活躍的當屬EMC，先后收購了7家數(shù)據(jù)領(lǐng)域的創(chuàng)新企業(yè)。此外，2011年EMC還宣布在原EMC中國實驗室和EMC首席技術(shù)官辦公室技術(shù)創(chuàng)投組的基礎(chǔ)上，組建EMC中國研究院。EMC中國研究院下設(shè)三個實驗室：大數(shù)據(jù)實驗室，云基礎(chǔ)構(gòu)建實驗室，云平臺與應(yīng)用實驗室。

在美國，對大數(shù)據(jù)的關(guān)注很快上升到了國家競爭的戰(zhàn)略層面。去年3月29日，奧巴馬政府發(fā)布了《大數(shù)據(jù)研究與發(fā)展計劃倡議》，宣布啟動對大數(shù)據(jù)的研發(fā)計劃，6個聯(lián)邦部門和機構(gòu)將新投入超過2億美金推動大數(shù)據(jù)提取、存儲、分析、發(fā)現(xiàn)等領(lǐng)域技術(shù)與工具的發(fā)展。同時奧巴馬政府號召面臨挑戰(zhàn)的行業(yè)、科研院所與非營利機構(gòu)和政府攜手，共同迎接大數(shù)據(jù)所創(chuàng)造的機會。

大數(shù)據(jù)是個噱頭嗎

其實數(shù)據(jù)的重要性早已是一個無需多加證明的命題，許多領(lǐng)域都有使用數(shù)據(jù)提升生產(chǎn)力的經(jīng)典案例。那么為何今日大數(shù)據(jù)突然走紅？這會是又一個噱頭嗎？

通常情況下我們在數(shù)據(jù)分析中運用的大多是以表格形式存儲于關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，主要涉及的也僅僅是一些企業(yè)的經(jīng)營信息。事實上，由于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等行業(yè)的不斷發(fā)展，產(chǎn)生了大量的半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。我們在網(wǎng)絡(luò)上的任何一次登陸、點擊、評論和轉(zhuǎn)發(fā)等都可以被完整的記錄和保存下來，這構(gòu)成了我們網(wǎng)絡(luò)化的行為路徑。這些數(shù)據(jù)里面包含了我們的消費行為、消費心理、消費關(guān)聯(lián)等太多對企業(yè)決策有價值的信息，而這些數(shù)據(jù)源尚沒有被大多數(shù)企業(yè)采用。Forrester估計，在一般情況下企業(yè)僅僅使用了他們所能獲得數(shù)據(jù)中的不到5%。考慮到大多數(shù)尚沒有被采集到的大數(shù)據(jù)，實際應(yīng)用比例會更低。

毫無疑問，企業(yè)在數(shù)據(jù)分析的過程中，采用的數(shù)據(jù)越全面，分析的結(jié)果越接近于真實。大數(shù)據(jù)受到熱捧的原因在于大家看到了企業(yè)能夠從這些海量的數(shù)據(jù)中獲取某些洞見，從而更大程度的發(fā)揮企業(yè)現(xiàn)有業(yè)務(wù)的能量。數(shù)據(jù)資產(chǎn)可以作為企業(yè)業(yè)務(wù)的潤滑劑，對數(shù)據(jù)資產(chǎn)的盤活是未來提升企業(yè)競爭力的關(guān)鍵。

大數(shù)據(jù)的威力

網(wǎng)上一篇瘋傳的帖子《互聯(lián)網(wǎng)的一天》中指出，“每天互聯(lián)網(wǎng)上要發(fā)出2940億封郵件，200萬篇博客，1288個新應(yīng)用可供下載，數(shù)據(jù)流量可以刻1.68億張DVD光盤。”這使我們對互聯(lián)網(wǎng)上產(chǎn)生的數(shù)據(jù)量之大有了直觀的認識。IDC在其發(fā)布的報告中也指出，2011年產(chǎn)生了1.8ZB（也就是1.8萬億GB）的大數(shù)據(jù)，這相當于每位美國人每分鐘寫3條Tweet，而且還是不停地寫2.6976萬年，未來十年全球大數(shù)據(jù)將增加50倍，管理數(shù)據(jù)倉庫的服務(wù)器的數(shù)量也將相應(yīng)增加10倍以滿足需求。

隨著人們對大數(shù)據(jù)的重視以及數(shù)據(jù)量的不斷增多，動輒以PB或者EB計量的大數(shù)據(jù)，將遠遠超出傳統(tǒng)數(shù)據(jù)庫軟件工具采集、存儲以及組織和分析的能力，這將給企業(yè)的存儲架構(gòu)以及數(shù)據(jù)中心的基礎(chǔ)設(shè)施帶來巨大的挑戰(zhàn)和改變，由此也會帶來云計算、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘等技術(shù)和應(yīng)用的提升或者根本性改變。

大數(shù)據(jù)的出現(xiàn)雖然帶來了很多挑戰(zhàn)，但是其所能帶來的商業(yè)價值也無可估量。IDC在其關(guān)于大數(shù)據(jù)的報告中，闡述了利用大數(shù)據(jù)的商業(yè)價值：領(lǐng)軍企業(yè)與其他企業(yè)之間最大的顯著性差別在于新數(shù)據(jù)類型的引入。那些沒有引入新的分析技術(shù)和新的數(shù)據(jù)類型的企業(yè)，不太可能成為其行業(yè)的領(lǐng)軍者。

源于對大數(shù)據(jù)的重視和對消費行為等非結(jié)構(gòu)化數(shù)據(jù)的分析，沃爾瑪“啤酒與尿布”的故事早就成為了人們傳頌的經(jīng)典商業(yè)案例。阿里巴巴建立在對用戶行為分析的基礎(chǔ)上，準確的預(yù)言了2008年的金融危機，并采取措施幫助中小制造商準備過冬的糧食，這為其贏得了不少聲譽。美國國家海洋和大氣管理局（NOAA）每年的IT預(yù)算高達10億美元，主要用于大數(shù)據(jù)中心的建設(shè)。2011年3月11日，日本大地震發(fā)生后僅9分鐘，NOAA就發(fā)布了詳細的海嘯預(yù)警。

大數(shù)據(jù)對于企業(yè)價值的核心在于從海量數(shù)據(jù)中獲取的某些洞見，從而使其更加了解消費者的需求，貼近消費者，高效的分析信息并做出預(yù)判，從而在競爭中贏得先機。

在中國，目前大數(shù)據(jù)在很大程度還僅是一個被金融機構(gòu)熱炒的概念。但是預(yù)期在不久的將來，大數(shù)據(jù)必然會被互聯(lián)網(wǎng)公司、金融企業(yè)、電信企業(yè)、零售企業(yè)等各行各業(yè)所重視和推動，最終提升到國家競爭的戰(zhàn)略層面，掀起一股大數(shù)據(jù)浪潮，并逐漸形成以數(shù)據(jù)資產(chǎn)為核心的新型競爭業(yè)態(tài)。

大數(shù)據(jù)與云計算

大數(shù)據(jù)的概念并不僅僅局限于數(shù)據(jù)分析技術(shù)。任何數(shù)據(jù)都會形成產(chǎn)生、存儲、組織、分析、消耗等一個完整的生命流程。伴隨著大數(shù)據(jù)的不斷產(chǎn)生，無論是數(shù)據(jù)的收集、存儲、組織、分析、檢索、共享等都存在不同的商業(yè)需求，也給現(xiàn)有計算機和互聯(lián)網(wǎng)技術(shù)帶來了巨大的挑戰(zhàn)，需要進行不同程度和深度的技術(shù)創(chuàng)新。

在大數(shù)據(jù)之前，云計算已經(jīng)被吹捧了好幾年。盡管云計算的安全性、可用性以及成本等方面仍存在諸多的疑慮，但是各大互聯(lián)網(wǎng)巨頭紛紛加快了對這一領(lǐng)域的跑馬圈地。本質(zhì)上來說，云計算并不新鮮，它是融合諸如網(wǎng)格計算、分布式計算、并行計算、虛擬化等傳統(tǒng)計算機和網(wǎng)絡(luò)技術(shù)發(fā)展起來的產(chǎn)物，通過將計算任務(wù)分布在大量的分布式計算機上，形成類網(wǎng)狀的服務(wù)器集群。云計算的核心價值在于具有很強的彈性，可以實現(xiàn)根據(jù)任務(wù)自由的分配資源，用戶按照需求訪問存儲空間和服務(wù)器集群，從而大大地提高了計算能力，并降低了用戶對客戶端的要求。

從表面上看，大數(shù)據(jù)和云計算是兩個完全不同的概念，但事實上二者存在很多的交集，相互依賴。大數(shù)據(jù)的指數(shù)級增長使得數(shù)據(jù)的存儲、管理以及分析具有很高的復(fù)雜性，因此大數(shù)據(jù)對云環(huán)境有著很高的依賴，云計算不僅大大提高了企業(yè)處理大數(shù)據(jù)的計算能力，而且不需要投入和管理過多的硬件設(shè)備，按照需要進行付費，有效地優(yōu)化現(xiàn)有的資源。從這一層意義上來說，云計算為大數(shù)據(jù)提供了保管的場所和暢通的訪問渠道。大數(shù)據(jù)作為企業(yè)的核心資產(chǎn)，對其進行有效的盤活，發(fā)掘出其在商業(yè)決策中的巨大價值是云計算的內(nèi)在靈魂和必然的升級方向。

近幾年云計算作為一個時髦的名詞，商界、學(xué)術(shù)界甚至政府界都拼命的在各自的產(chǎn)品、技術(shù)、報告和文件中與之關(guān)聯(lián)。一時間，云存儲、云手機、云電腦等概念甚囂塵上，但始終有種云里霧里的感覺。大數(shù)據(jù)的出現(xiàn)，為云計算提供了釋放能量的空間，也指明了云計算真正有價值的方向。云計算和大數(shù)據(jù)作為一體兩翼，將會是衡量企業(yè)未來技術(shù)能力的最重要依據(jù)。如果二者能夠協(xié)同發(fā)揮能量，將會給企業(yè)帶來精準分析、精準打擊，形成企業(yè)在未來商戰(zhàn)中的核心武器。大數(shù)據(jù)是寶藏，云計算是開礦的利器。沒有大數(shù)據(jù)的云計算，定是英雄無用武之地；沒有云計算的大數(shù)據(jù)，終會是鏡中花、水中月。

亞馬遜從創(chuàng)立之初就非常強調(diào)底層的技術(shù)實力、數(shù)據(jù)運營與在線零售的充分嫁接，其很多業(yè)務(wù)都是由數(shù)據(jù)驅(qū)動的。在大數(shù)據(jù)領(lǐng)域，亞馬遜也具有先知之名。上面提到，亞馬遜早在2009年就推出了大規(guī)模數(shù)據(jù)集并行計算的技術(shù)——亞馬遜彈性MapReduce。現(xiàn)在，這項技術(shù)運行在亞馬遜的彈性計算云（Amazon EC2）和亞馬遜簡單存儲服務(wù)（Amazon S3）上，真正實現(xiàn)了云與大數(shù)據(jù)的結(jié)合，凸顯了云計算的價值。部署在云端的彈性MapReduce可以根據(jù)需求實時的按需配置和訪問服務(wù)器集群，實現(xiàn)對大量和密集型數(shù)據(jù)任務(wù)的處理，比如日志文件分析、數(shù)據(jù)挖掘、機器學(xué)習(xí)、科學(xué)模擬等。毫無疑問，這種云與大數(shù)據(jù)的結(jié)合在亞馬遜銷售擴張和成本控制方面發(fā)揮著巨大的能量，也是亞馬遜帝國得以塑造的關(guān)鍵驅(qū)動。

大數(shù)據(jù)浪潮

木桶理論指出，企業(yè)要保持均衡發(fā)展，不能有明顯的短板，這是成就一家優(yōu)秀企業(yè)的必要前提。但是從優(yōu)秀到卓越要求企業(yè)在保持均衡的前提下具有無往而不勝的利器。雖然目前大多數(shù)企業(yè)對結(jié)構(gòu)化和標準化的數(shù)據(jù)處理能力尚十分有限，但是站在企業(yè)發(fā)展的戰(zhàn)略高度，未來企業(yè)之間的競爭必將上升到數(shù)據(jù)層面，巨頭之間的對決尤為如此。擁有更多的數(shù)據(jù)，具備更強的數(shù)據(jù)分析能力，并能將數(shù)據(jù)分析結(jié)果應(yīng)用到經(jīng)營中的企業(yè)將會具備更大和更長遠的價值。

大數(shù)據(jù)概念的提出給企業(yè)的數(shù)據(jù)采集、存儲、整理以及分析都帶來了很多的啟示，也給云計算的發(fā)展提供了可參考的方向。大數(shù)據(jù)與云計算好比一體兩翼，如果二者能形成合力，必將成為企業(yè)在商戰(zhàn)中的尖刀，敏銳的捕捉信息，直刺要害。

吳軍先生在《浪潮之巔》一書中寫道：“近一百多年來，總有一些公司很幸運地、有意識或無意識地站在技術(shù)革命的浪尖之上。一旦處在了那個位置，即使不做任何事，也可以隨著波浪順順當當?shù)叵蚯捌辏踔粮L的時間。”

大數(shù)據(jù)的浪潮已經(jīng)到來，唯一的疑問是這次你是處在浪潮的中心，還是窗外看風(fēng)景的人。