云上的大數(shù)據(jù)

當(dāng)云計(jì)算遭遇大數(shù)據(jù)，并一股腦向企業(yè)涌進(jìn)的時(shí)候，企業(yè)能否駕馭呢？

作為2012年最熱的技術(shù)名詞，“云計(jì)算”與“大數(shù)據(jù)”似乎具有相似的隱喻性，而一旦與“計(jì)算”搭上邊，“云計(jì)算”涵蓋的內(nèi)容似乎就更多，邊界也更加模糊。有IT解決方案提供商將云計(jì)算與過去的“效用計(jì)算（Utility Computing）”聯(lián)系起來，稱云計(jì)算是其的升級(jí)版，即通過互聯(lián)網(wǎng)實(shí)現(xiàn)虛擬服務(wù)器效用，使用戶的所有活動(dòng)、應(yīng)用、消費(fèi)等需求的滿足都可以在“云端”實(shí)現(xiàn)。一旦與用戶需求相關(guān)，云計(jì)算的輪廓似乎馬上就清晰起來，這時(shí)候會(huì)有人告訴用戶，“云”是一種在不增加對(duì)新IT基礎(chǔ)設(shè)施、員工培訓(xùn)、軟件授權(quán)等投資的前提下，拓展IT能力的方法。

厘清邊界

更多的人容易把云計(jì)算與上世紀(jì)八九十年代SUN和甲骨文等廠商力推的網(wǎng)格計(jì)算混為一談，但其中自有道理。云與網(wǎng)格都擁有龐大的、靈活的多層體系架構(gòu)以及多任務(wù)的并行處理能力，云的計(jì)算能力則是集中“輸送”的，用戶可以隨時(shí)隨地享受到云端的各種服務(wù)和應(yīng)用；而網(wǎng)格則是網(wǎng)狀式分配，即把大任務(wù)分割成不同的小任務(wù)，再將各個(gè)小任務(wù)交給底層不同的處理單元。

把應(yīng)用、信息、數(shù)據(jù)的管理和提供作為一種服務(wù)模式進(jìn)行兜售，這讓大大小小的IT廠商樂于向用戶“兜售”自己基于云的服務(wù)。從以SaaS為代表的軟件服務(wù)到PaaS的平臺(tái)服務(wù)，再到諸如存儲(chǔ)、數(shù)據(jù)中心之類的基礎(chǔ)架構(gòu)服務(wù)，不一而足。

從“網(wǎng)絡(luò)就是計(jì)算機(jī)”到“網(wǎng)格計(jì)算”，從“分布式計(jì)算”到“互聯(lián)網(wǎng)計(jì)算”，長(zhǎng)期以來，與“云計(jì)算”相類似的理念被學(xué)術(shù)界和不同的企業(yè)各自表述——雖然各個(gè)理念的內(nèi)涵有些細(xì)微的差別，但大多基于充分利用網(wǎng)絡(luò)化計(jì)算與存儲(chǔ)資源、達(dá)成高效率低成本計(jì)算目標(biāo)的考慮，希望能更好地整合互聯(lián)網(wǎng)和不同設(shè)備上的信息和應(yīng)用，把所有的計(jì)算、存儲(chǔ)資源連結(jié)在一起，實(shí)現(xiàn)最大范圍的協(xié)作與資源分享。

“大數(shù)據(jù)”的公認(rèn)看法是歸納為4個(gè)V：海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類型（variety）和巨大的數(shù)據(jù)價(jià)值（value）。在IDC發(fā)布的關(guān)于中國(guó)大數(shù)據(jù)技術(shù)和服務(wù)市場(chǎng)2012～2016年預(yù)測(cè)與分析報(bào)告中顯示，大數(shù)據(jù)技術(shù)與服務(wù)市場(chǎng)的規(guī)模將會(huì)從2011年的7760萬美元增長(zhǎng)到2016年的6.17億美元，未來5年的復(fù)合增長(zhǎng)率達(dá)51.4%，市場(chǎng)規(guī)模增長(zhǎng)近7倍。

大數(shù)據(jù)首先要考慮的應(yīng)該是“大”——海量的數(shù)據(jù)規(guī)模。谷歌首席執(zhí)行官Eric Schmidt曾說，現(xiàn)在全球每?jī)擅┪輧r(jià)值天所創(chuàng)造的數(shù)據(jù)量等同于從人類文明至2003年間產(chǎn)生的數(shù)據(jù)量的總和。而具體到企業(yè)應(yīng)用領(lǐng)域，漫無邊際、浩如煙海的數(shù)據(jù)對(duì)企業(yè)并無意義，日立數(shù)據(jù)系統(tǒng)公司（HDS）副總裁兼CTO Hubert Yoshida表示，數(shù)據(jù)量的“大”是相對(duì)而言的概念，對(duì)于像SAP的HANA那樣的“內(nèi)存數(shù)據(jù)庫”來說，能把2TB的數(shù)據(jù)用好就是勝利；而對(duì)于像Google這樣的搜索引擎，EB（1024×1024 TB）的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)。

然而，海量數(shù)據(jù)的危機(jī)并不單純是數(shù)據(jù)量的爆炸性增長(zhǎng)，它還牽涉到數(shù)據(jù)類型的改變。原來的數(shù)據(jù)都可以用二維表結(jié)構(gòu)存儲(chǔ)在數(shù)據(jù)庫中，如常用的Excel軟件所處理的數(shù)據(jù)，稱之為結(jié)構(gòu)化數(shù)據(jù)。但是現(xiàn)在更多互聯(lián)網(wǎng)多媒體應(yīng)用的出現(xiàn)，使諸如圖片、聲音和視頻等非結(jié)構(gòu)化數(shù)據(jù)占到了很大比重。有統(tǒng)計(jì)顯示，全世界結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)率大概是32%，而非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)則是63%。2012年，非結(jié)構(gòu)化數(shù)據(jù)占有比例已經(jīng)達(dá)到互聯(lián)網(wǎng)整個(gè)數(shù)據(jù)量的75%以上。產(chǎn)生智慧的大數(shù)據(jù)，往往是這些非結(jié)構(gòu)化數(shù)據(jù)。

“互聯(lián)網(wǎng)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)占比越來越大，約為大數(shù)據(jù)總?cè)萘康?5%，傳統(tǒng)行業(yè)的數(shù)據(jù)大概只有15%。”對(duì)于百度這樣的互聯(lián)網(wǎng)公司，建立數(shù)據(jù)體系、研發(fā)消費(fèi)者畫像、品牌探針等基于大數(shù)據(jù)的多個(gè)應(yīng)用簡(jiǎn)直是天經(jīng)地義。百度副總裁王湛將百度的大數(shù)據(jù)策略描述為“數(shù)據(jù)+工具+應(yīng)用”，包括百度指數(shù)、司南、統(tǒng)計(jì)、搜索風(fēng)云榜和研究中心在內(nèi)的5大平臺(tái)數(shù)據(jù)已經(jīng)形成了一個(gè)數(shù)據(jù)集合體，全程記錄消費(fèi)者從需求、搜索、購(gòu)買，到使用和分享的整個(gè)心路歷程，對(duì)客戶進(jìn)行精準(zhǔn)營(yíng)銷。“通過5億消費(fèi)者的千億級(jí)行為數(shù)據(jù)，百度構(gòu)建了搜索營(yíng)銷、無線推廣、聯(lián)盟受眾引擎、社交化營(yíng)銷、品牌洞察等多維度體系的百度商業(yè)產(chǎn)品藍(lán)圖。”

大數(shù)據(jù)帶來的挑戰(zhàn)還在于它的實(shí)時(shí)處理。在數(shù)據(jù)倉(cāng)庫誕生的第一天，一直就有一個(gè)話題——要把大查詢分解成小任務(wù)，這些小任務(wù)由一臺(tái)臺(tái)的機(jī)器來完成。“我們的要求在于，上億條數(shù)據(jù)的分析能夠在5秒鐘內(nèi)完成。”中國(guó)民族證券信息技術(shù)部總經(jīng)理顏陽表示。因?yàn)檫^往關(guān)聯(lián)性數(shù)據(jù)庫產(chǎn)品處理大量數(shù)據(jù)時(shí)的運(yùn)算速度都不快，Hadoop等加速數(shù)據(jù)查詢的分布式開源數(shù)據(jù)庫從邊緣走向主流；另外，數(shù)據(jù)存儲(chǔ)的廠商也不再拘泥于用傳統(tǒng)硬盤來存儲(chǔ)數(shù)據(jù)，而嘗試使用快速閃存。

所以，所謂的“大數(shù)據(jù)”并不是單一技術(shù)，而是眾多技術(shù)的集合體，它們的共同目的，都是在一定時(shí)間內(nèi)處理完大量的結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)掘金

根據(jù)Gartner預(yù)測(cè)，結(jié)構(gòu)化數(shù)據(jù)庫（Column Store-DBMS）以及與此相關(guān)的數(shù)據(jù)分析技術(shù)仍將呈現(xiàn)高速發(fā)展的趨勢(shì)，遠(yuǎn)高于目前大熱的社交媒體監(jiān)控、Web分析等技術(shù)。

為什么古老的關(guān)系型數(shù)據(jù)庫依然吃香？其實(shí)不難理解，因?yàn)閷?duì)于數(shù)據(jù)采集、保存、使用、分享與分析等用途而言，數(shù)據(jù)庫都是最關(guān)鍵的基礎(chǔ)。面對(duì)大數(shù)據(jù)的讀寫效率以及準(zhǔn)實(shí)時(shí)（Near Real-Time）運(yùn)算能力的要求，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫無法承受，然而隨著Hadoop的大行其道，連帶使得諸如BigTable、HBase或Cassandra等非關(guān)系型數(shù)據(jù)庫（NoSQL）開始抬頭。

事實(shí)上，NoSQL另一層涵義是“Not Only SQL”——補(bǔ)充關(guān)系型數(shù)據(jù)庫的不足之處，而非取代之。因此，企業(yè)可以從自身數(shù)據(jù)庫的I/O需求、單一數(shù)據(jù)表的儲(chǔ)存需求等不同層面，審視處理大數(shù)據(jù)的過程中，會(huì)面臨哪些難題？而這些難題，哪些是SQL可以解決的、哪些又是SQL所不能解決的。如此說來，關(guān)系型數(shù)據(jù)庫的應(yīng)用空間尚十分寬廣，最起碼，它對(duì)于數(shù)據(jù)的讀取效率肯定比非關(guān)系型數(shù)據(jù)庫強(qiáng)大許多。

云計(jì)算對(duì)于大數(shù)據(jù)處理與分析的重要性勿庸置疑。從私有云角度看，想在企業(yè)內(nèi)部進(jìn)行大數(shù)據(jù)的分布式計(jì)算，都要基于計(jì)算、儲(chǔ)存以及網(wǎng)絡(luò)資源的靈活調(diào)度，值此時(shí)刻，如果不采用云計(jì)算方式，似乎只有部署超級(jí)計(jì)算機(jī)這一條道了。

再談到公有云。盡管各行各業(yè)都在談?wù)搹拇髷?shù)據(jù)分析中獲益，但實(shí)際情況下多數(shù)應(yīng)用領(lǐng)域，并不需要隨時(shí)進(jìn)行分析。這種情況下，企業(yè)可以采用彈性付費(fèi)的方式，向云計(jì)算服務(wù)提供商租賃大數(shù)據(jù)分析所需要的計(jì)算資源。微軟就在自己的Windows Azure公有云端平臺(tái)上提供Hadoop租用服務(wù)，甚至標(biāo)榜能將Windows與SQL Server方便管理的特性帶到Hadoop環(huán)境，成為典型的云端大數(shù)據(jù)服務(wù)。

在商業(yè)社會(huì)中，“從數(shù)據(jù)中得到價(jià)值”一直都不是什么新鮮的東西，但是當(dāng)大數(shù)據(jù)時(shí)代到來，經(jīng)濟(jì)的新增量逐漸顯露出來。盡管數(shù)據(jù)挖掘從“啤酒與尿布”開始做了幾十年，但是“大數(shù)據(jù)”與我們通常所說的“數(shù)據(jù)”還是有顯著的不同。

如果善于運(yùn)用海量數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，那些看似不著邊際的數(shù)據(jù)，立即就能蛻變?yōu)楦邇r(jià)值的資產(chǎn)，造就巨大商機(jī)，難怪奧巴馬政府也趨之若鶩，決定未來在政府層面投入2億美元的大數(shù)據(jù)研究與開發(fā)經(jīng)費(fèi)。

花旗集團(tuán)今年聘請(qǐng)了一位名叫沃森的天才顧問，幫助其增強(qiáng)數(shù)字銀行業(yè)務(wù)。這位沃森還同時(shí)為包括WellPoint在內(nèi)的醫(yī)療服務(wù)公司提供咨詢，去年，他還在工作之余獲得了電視智力競(jìng)賽節(jié)目《危險(xiǎn)邊緣》的頭獎(jiǎng)。據(jù)沃森的朋友講，他還有其他不愿透露的企業(yè)職務(wù)，年收入很快就會(huì)超過10億美元。這一天文數(shù)字的收入使他成為美國(guó)打工者中的超級(jí)精英……只不過，沃森是一臺(tái)機(jī)器。

對(duì)數(shù)據(jù)進(jìn)行挖掘分析正在顛覆每一種類型的企業(yè)。位于紐約長(zhǎng)島的文藝復(fù)興科技公司（Renaissance Technologies）所管理的對(duì)沖基金，目前管理著150億美元的資產(chǎn)。這家公司或許是20年來業(yè)績(jī)最佳的對(duì)沖基金，而領(lǐng)導(dǎo)這家公司的是兩名來自IBM人工智能實(shí)驗(yàn)室的科學(xué)家，他們開發(fā)了許多數(shù)學(xué)模型用來進(jìn)行分析和交易，這些模型都是建立在海量數(shù)據(jù)基礎(chǔ)上的，具有可靠性并可進(jìn)行實(shí)際預(yù)測(cè)，而最后的結(jié)果往往與他們預(yù)想的一樣。

蒸汽機(jī)的發(fā)明實(shí)際上并沒有引起第一次工業(yè)革命的爆發(fā)，人類主要經(jīng)濟(jì)模式開始從傳統(tǒng)農(nóng)業(yè)向工業(yè)變遷的真正起始點(diǎn)來自于鐵路等交通網(wǎng)絡(luò)的大規(guī)模鋪設(shè)；同樣的，第二次工業(yè)革命的爆發(fā)也并未源于愛迪生發(fā)明神奇的電燈泡，而是源于穩(wěn)定的電網(wǎng)系統(tǒng)成為社會(huì)公用的基礎(chǔ)設(shè)施。

起源于上世紀(jì)90年代的第三次信息技術(shù)革命，提供了與鐵路和電網(wǎng)近似的基礎(chǔ)設(shè)施名叫Internet——互聯(lián)網(wǎng)，這為云計(jì)算在企業(yè)級(jí)領(lǐng)域的大規(guī)模部署提供了硬件條件，各種終端、傳感器的使用為大數(shù)據(jù)的積累提供了基礎(chǔ)。麻省理工斯隆商學(xué)院數(shù)字業(yè)務(wù)中心研究員Michael Schrage認(rèn)為，IBM、甲骨文、微軟等傳統(tǒng)系統(tǒng)提供商的一大共性就是擁有要求越來越高的巨型客戶，比如沃爾瑪、波音這樣的巨型客戶往往極力避免和專有解決方案供應(yīng)商產(chǎn)生聯(lián)系，而是希望自己的系統(tǒng)是標(biāo)準(zhǔn)、開放并且可擴(kuò)展性更強(qiáng)。

曾經(jīng)是媒體記者M(jìn)ichael認(rèn)為，如果在開放或者互操作性的環(huán)境中TCO更低，客戶一定會(huì)放棄專有，而追逐開放。“客戶可不管埃里森（甲骨文公司CEO）多有魅力，也不會(huì)管史蒂夫·鮑爾默（微軟公司CEO）多有魅力，而只看解決方案是否滿足了我的需求。”Michael開玩笑說，就像當(dāng)初沃爾瑪在實(shí)際操作上強(qiáng)迫供應(yīng)商之間進(jìn)入?yún)f(xié)作，巨型客戶會(huì)推動(dòng)解決方案供應(yīng)商向云計(jì)算與大數(shù)據(jù)邁進(jìn)。