智慧的大數(shù)據(jù)洞察新價(jià)值

◎ 本刊記者 汪莉莉

隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)也吸引了越來(lái)越多的關(guān)注。大數(shù)據(jù)正在成為改變?nèi)藗兩畹闹匾蛩兀瑥纳钣盟匠鲂校瑥馁?gòu)物習(xí)慣到流感監(jiān)測(cè)，其中都有大數(shù)據(jù)的蹤影。而對(duì)于許多企業(yè)而言，數(shù)據(jù)也逐漸成為企業(yè)在商戰(zhàn)中取勝的決定性要素，美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng)50%，每?jī)赡瓯銓⒎环壳笆澜缟?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。

實(shí)際上，大數(shù)據(jù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，就在于如何提高對(duì)數(shù)據(jù)的“加工能力”，同時(shí)，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。大數(shù)據(jù)意味著非常多的事情，但是被援引的次數(shù)太多了，幾乎失去了其本來(lái)的定義。大數(shù)據(jù)的定義通常和速率(數(shù)據(jù)移動(dòng)得快)，體積(數(shù)據(jù)規(guī)模龐大)，和種類(非結(jié)構(gòu)化和結(jié)構(gòu)化的信息)三點(diǎn)有關(guān)。

智慧的大數(shù)據(jù)

《著云臺(tái)》的分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢。著名研究機(jī)構(gòu)Gartner對(duì)大數(shù)據(jù)給出了這樣的定義。大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

從某種程度上說(shuō)，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)，就是從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，這就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等領(lǐng)域，目前人們談?wù)撟疃嗟氖谴髷?shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)技術(shù)是指從各種各樣類型的海量數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)，解決大數(shù)據(jù)問(wèn)題的核心是大數(shù)據(jù)技術(shù)。目前所說(shuō)的“大數(shù)據(jù)”不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺(tái)和數(shù)據(jù)分析系統(tǒng)。

進(jìn)入2012年，大數(shù)據(jù)被越來(lái)越多地提及，人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的全球知名咨詢公司麥肯錫認(rèn)為，數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。

大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)顯示，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國(guó)兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè)（相當(dāng)于《時(shí)代》雜志770年的文字量）；賣出的手機(jī)為37.8萬(wàn)臺(tái)，高于全球每天出生的嬰兒數(shù)量37.1萬(wàn)。

同時(shí)，資料顯示截止到2012年，數(shù)據(jù)量已經(jīng)從TB（1024GB=1TB）級(jí)別躍升到 PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)級(jí)別。國(guó)際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長(zhǎng)為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。IBM的研究調(diào)查也顯示，整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過(guò)去兩年內(nèi)產(chǎn)生的。

此外，IDC 預(yù)計(jì)大量新數(shù)據(jù)將不斷涌現(xiàn)，它們將以每年 50% 的速度在增長(zhǎng)，或者說(shuō)每?jī)赡昃鸵环唷２⒉粌H僅是數(shù)據(jù)的洪流越來(lái)越大，而且全新的支流也會(huì)越來(lái)越多。比方說(shuō)，現(xiàn)在全球就有無(wú)數(shù)的數(shù)字傳感器依附在工業(yè)設(shè)備、汽車、電表和板條箱上。它們能夠測(cè)定方位、運(yùn)動(dòng)、振動(dòng)、溫度、濕度、甚至大氣中的化學(xué)變化，并可以通信。

數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來(lái)發(fā)展，雖然現(xiàn)在企業(yè)可能并沒(méi)有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來(lái)問(wèn)題的隱患，但是隨著時(shí)間的推移，人們將越來(lái)越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。大數(shù)據(jù)研發(fā)就是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過(guò)解決巨量數(shù)據(jù)處理問(wèn)題促進(jìn)其突破性發(fā)展。大數(shù)據(jù)時(shí)代對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

大數(shù)據(jù)藍(lán)海

IDC最近的報(bào)告預(yù)測(cè)稱，到2020年，全球數(shù)據(jù)量將擴(kuò)大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個(gè)不斷變化的指標(biāo)，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡(jiǎn)而言之，存儲(chǔ)1PB數(shù)據(jù)將需要兩萬(wàn)臺(tái)配備50GB硬盤的個(gè)人電腦。此外，各種意想不到的來(lái)源都能產(chǎn)生數(shù)據(jù)。

在高速網(wǎng)絡(luò)時(shí)代，通過(guò)基于實(shí)現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實(shí)時(shí)數(shù)據(jù)流已成為流行趨勢(shì)。普遍觀點(diǎn)認(rèn)為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機(jī)上，每個(gè)傳感器都增加了數(shù)據(jù)的多樣性。數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度是高速的，因此，企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實(shí)時(shí)需求。

大數(shù)據(jù)具有多層結(jié)構(gòu)，這意味著大數(shù)據(jù)會(huì)呈現(xiàn)出多變的形式和類型。相較傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無(wú)法使用傳統(tǒng)的應(yīng)用軟件進(jìn)行分析。傳統(tǒng)業(yè)務(wù)數(shù)據(jù)隨時(shí)間演變已擁有標(biāo)準(zhǔn)的格式，能夠被標(biāo)準(zhǔn)的商務(wù)智能軟件識(shí)別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復(fù)雜數(shù)據(jù)中挖掘價(jià)值。

對(duì)于大數(shù)據(jù)的特點(diǎn)，業(yè)界通常用 Volume、Variety、Value、Velocity這4個(gè)V來(lái)概括。大數(shù)據(jù)的特點(diǎn)包括：首先，數(shù)據(jù)體量巨大。從TB級(jí)別躍升到PB乃至EB級(jí)別。要知道目前的數(shù)據(jù)量有多大，可以通過(guò)一組公式表示：1024GB=1TB；1024TB=1PB；1024PB=1EB；1024 EB=1ZB；1024ZB=YB。到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，而歷史上全人類說(shuō)過(guò)的所有的話的數(shù)據(jù)量大約是5EB。

其次，數(shù)據(jù)類型繁多。這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對(duì)于以往便于存儲(chǔ)的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生給所有廠商都提出了挑戰(zhàn)。拜互聯(lián)網(wǎng)和通信技術(shù)近年來(lái)迅猛發(fā)展所賜，如今的數(shù)據(jù)類型早已不是單一的文本形式，除了網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。

此外，價(jià)值密度低。價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。

大數(shù)據(jù)的處理速度快。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。根據(jù)IDC的一份名為“數(shù)字宇宙”的報(bào)告，預(yù)計(jì)到2020年全球數(shù)據(jù)使用量將會(huì)達(dá)到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。

掘金大數(shù)據(jù)需戰(zhàn)略支持

在剛剛結(jié)束不久的兩會(huì)上，來(lái)自全國(guó)各地的政府領(lǐng)導(dǎo)、企業(yè)高層、專家學(xué)者等紛紛對(duì)IT產(chǎn)業(yè)建言獻(xiàn)策，以云計(jì)算、大數(shù)據(jù)為驅(qū)動(dòng)的技術(shù)變革成為兩會(huì)IT業(yè)關(guān)注的熱點(diǎn)。其中，全國(guó)人大代表、安徽移動(dòng)總經(jīng)理鄭杰在提案中建議：“大數(shù)據(jù)應(yīng)該上升為國(guó)家戰(zhàn)略。”這個(gè)提案不僅代表了通信業(yè)，同樣也代表了整個(gè)IT產(chǎn)業(yè)的呼聲。鄭杰指出，大數(shù)據(jù)將從經(jīng)濟(jì)發(fā)展、教育、科研、民生等方面給整個(gè)社會(huì)帶來(lái)深刻的影響，他建議，大數(shù)據(jù)應(yīng)該上升為國(guó)家戰(zhàn)略，用數(shù)據(jù)來(lái)決策、管理和創(chuàng)新，實(shí)現(xiàn)數(shù)據(jù)治國(guó)，將會(huì)對(duì)政務(wù)、商業(yè)、交通、旅游、醫(yī)療、食品衛(wèi)生、農(nóng)業(yè)、生產(chǎn)制造各領(lǐng)域發(fā)揮重大的效用。除此之外，全國(guó)政協(xié)委員、中國(guó)工程院常務(wù)副院長(zhǎng)潘云鶴在接受媒體采訪時(shí)也表示，“大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，建議國(guó)家要及時(shí)把握大數(shù)據(jù)科技變革的重大機(jī)遇。”

就在不久前，中國(guó)電機(jī)工程學(xué)會(huì)電力信息化專委會(huì)擬編制發(fā)布《中國(guó)電力大數(shù)據(jù)發(fā)展白皮書（2013）》，這將是我國(guó)首次就電力大數(shù)據(jù)問(wèn)題發(fā)布白皮書。電力工業(yè)積極應(yīng)用大數(shù)據(jù)技術(shù)，推動(dòng)中國(guó)電力大數(shù)據(jù)事業(yè)發(fā)展，對(duì)實(shí)現(xiàn)中國(guó)電力工業(yè)科學(xué)發(fā)展具有極大的現(xiàn)實(shí)意義。白皮書第一次提出了電力大數(shù)據(jù)的定義，并同時(shí)指出重塑電力核心價(jià)值和轉(zhuǎn)變電力發(fā)展方式是中國(guó)電力大數(shù)據(jù)的兩條核心主線。白皮書還第一次提出了電力大數(shù)據(jù)的特征即3V、3E，“3V”是指體量大（Volume）、類型多（Variety）和速度快（Velocity），“3E”指數(shù)據(jù)即能量（Energy）、數(shù)據(jù)即交互（Exchange）、數(shù)據(jù)即共情（Empathy）。由此可見(jiàn)，大數(shù)據(jù)不僅是一種技術(shù)變革更是一場(chǎng)商業(yè)變革乃至社會(huì)變革。

更加值得關(guān)注的是，奧巴馬政府已經(jīng)把“大數(shù)據(jù)”上升到了國(guó)家戰(zhàn)略的層面。根據(jù)美國(guó)白宮2012年3月29日新聞，奧巴馬政府宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”。希望增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。

在大數(shù)據(jù)時(shí)代，企業(yè)就如同飄浮在數(shù)據(jù)海洋上的巨輪，作為商業(yè)世界中的個(gè)體，企業(yè)要想做到游刃有余就必須如熟悉水性一般熟悉和用好海量的數(shù)據(jù)。這些能夠被企業(yè)隨時(shí)獲取的數(shù)據(jù)，可以幫助和指導(dǎo)企業(yè)全業(yè)務(wù)流程的任何一個(gè)環(huán)節(jié)進(jìn)行有效運(yùn)營(yíng)和優(yōu)化，并幫助企業(yè)做出最明智的決策。大數(shù)據(jù)在重新定義企業(yè)智商的同時(shí)，對(duì)企業(yè)核心資產(chǎn)也進(jìn)行了重塑。在過(guò)去，衡量企業(yè)最重要的資產(chǎn)無(wú)外乎土地、流動(dòng)資金和人才等幾個(gè)要素，如今，數(shù)據(jù)作為企業(yè)一項(xiàng)更加重要的資產(chǎn)將直接關(guān)系到企業(yè)的發(fā)展?jié)摿ΑＨ欢F(xiàn)階段國(guó)內(nèi)企業(yè)的大數(shù)據(jù)時(shí)代正處于探索階段。

因此，我國(guó)大數(shù)據(jù)研發(fā)建設(shè)已從四個(gè)方面著力。一是建立一套運(yùn)行機(jī)制。大數(shù)據(jù)建設(shè)是一項(xiàng)有序的、動(dòng)態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，必須建立良好的運(yùn)行機(jī)制，以促進(jìn)建設(shè)過(guò)程中各個(gè)環(huán)節(jié)的正規(guī)有序，實(shí)現(xiàn)統(tǒng)一，搞好頂層設(shè)計(jì)。二是規(guī)范一套建設(shè)標(biāo)準(zhǔn)。沒(méi)有標(biāo)準(zhǔn)就沒(méi)有系統(tǒng)，應(yīng)建立面向不同主題、覆蓋各個(gè)領(lǐng)域、不斷動(dòng)態(tài)更新的大數(shù)據(jù)建設(shè)標(biāo)準(zhǔn)，為實(shí)現(xiàn)各級(jí)各類信息系統(tǒng)的網(wǎng)絡(luò)互連、信息互通、資源共享奠定基礎(chǔ)。三是搭建一個(gè)共享平臺(tái)。數(shù)據(jù)只有不斷流動(dòng)和充分共享，才有生命力。應(yīng)在各專用數(shù)據(jù)庫(kù)建設(shè)的基礎(chǔ)上，通過(guò)數(shù)據(jù)集成，實(shí)現(xiàn)各級(jí)各類指揮信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。四是培養(yǎng)一支專業(yè)隊(duì)伍。大數(shù)據(jù)建設(shè)的每個(gè)環(huán)節(jié)都需要依靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支懂指揮、懂技術(shù)、懂管理的大數(shù)據(jù)建設(shè)專業(yè)隊(duì)伍。