文|閆城榛 宋迪
我們現在全球數據量到底有多大?答案或許會令不少人感到吃驚。有機構預計,到2020年,全球數據使用量將暴增44倍,達到35.2ZB(1ZB≈10億TB)。
繼物聯網、云計算、移動互聯網之后,“大數據”(Big Data)正成為全球IT業界最受矚目的詞匯。然而,對于不少人而言,“大數據”似乎還是一個相對陌生的概念。事實上,目前在醫療衛生、地理信息、電子商務、影視娛樂等領域,每天都會有大量數據產生?!按髷祿闭趶氐赘淖僆T世界?!按髷祿睂⑦M一步挑戰企業的傳統存儲架構、數據中心等基礎設施,也會引發數據倉庫、數據挖掘、商業智能、云計算等新應用的連鎖反應與快速崛起。
而需要指出的是,傳統的計算機設計與軟件都是以解決“結構性”數據為主。例如你到銀行去取存款,銀行的計算機系統記錄著你的名字,在名字之后列有存取款的數量、時間、類型等信息。這些數據之間的邏輯性很強,每個“因”都產生“果”,每個“果”也都有“因”與之相對應。前半個世紀信息技術的發展,主要解決的是云計算中“結構性”數據的存儲、處理與應用。
然而在現實社會中,大量數據事實上沒有這樣顯著的因果關系,例如一個城市某個時刻的交通狀況、天氣情況、人的心理狀態,又或者一個社會實際在互聯網中引起的信息爆炸,這些信息是海量、即時又具有彈性的,我們稱之為“非結構性”數據。這一類新型的“非結構性”數據與傳統意義上的“結構性”數據相比有很多不同。而據統計,“非結構性”每年都按60%增速增長,并將占到未來全球數據總量的80%。
社會化媒體的出現和發展為大數據時代的到來提供了強大的推動力。當社會化媒體,尤其是facebook,微博這類的社交媒體出現之后,每一個人都在利用它們進行各種各樣的信息處理和傳遞。從此,每個信息都有與之相對應的人,一個人的情感、愛好、生活習慣、品牌傾向都能從中得到體現?!皬婈P系產生信任,弱關系產生信息?!敝袊鴤髅酱髮W電視與新聞學院教授沈浩這樣說到。
每個信息之間都具有關系,這種關系被完完整整地呈現在網絡上,形成一個非常龐大同時也非常寶貴的非結構化的數據庫。通過對這些數據的分析,我們甚至能夠捕捉每個人的社會生活和社會關系,從中發掘可觀的商業價值和社會價值??梢哉f,因為有了社會化媒體,產生了大量的社會化信息,對社會的計算才產生了現在這種大數據的趨勢,大數據從而真正地開始跟社會發生關系。“這些數據如何才能為我所用?”人們這樣思索著、行動著,不知不覺間正式邁入了“大數據”時代。
而互聯網時代——尤其是社會化媒體、電子商務與移動通訊——把人類社會帶入一個以PB為單位的“結構性”與“非結構性”數據并行存在的新“大數據”時代。
正如IBM總結的那樣:“大量化(Volume)、多樣化(Variety)和快速化(Velocity)”就是“大數據”的顯著特征。面對這些“大數據“,有些人嘆息抱怨,害怕數據量的劇增對于現有IT架構的沖擊;有些人積極主動,探尋應對海量數據的應對與解決之道;還有一些人,則是順勢而為,抓住時代發展的商業機會,成為富有活力的創新者。如何管理和利用這些數據,控制隱私和公共空間的邊界,并最大化它們的價值,成為問題的關鍵。
對“大數據”加以正確的利用和管理,可以豐富人們對世界的認識,轉變人們的認識方式,使人們得以了解真實信息,提高決策水平。當社會對數據有較為完善分析能力時,人們對事件的把握及預測能力就會增強。以云計算為基礎的信息存儲、分享和挖掘手段為知識生產提供了工具,通過對大數據分析、預測會使得決策更為精準,這對現階段的中國尤其重要。
云計算就是在這樣的背景下出現的,它也勢必成為在“大數據”時代解決新的整合問題的重要手段。
互聯網的信息大爆炸,網絡中需要處理的信息量越來越龐大。有人也許有這樣的疑問:“難道不能用一臺超級計算機來解決所有的來自互聯網的所有數據請求么?”超級計算機的造價過于昂貴并不是每個企業、每個網站都能夠承擔的。而且,到目前為止還沒有出現一臺超級計算機可以解決所有的處理系統請求。
既然集中式不可以解決問題,我們可以換個角度,把所有的資源調動起來形成一個統一的資源池,然后把所有的數據處理請求看作是一個個問題,把這些問題按照一定的規則分解成一個個小的子任務,把這些子任務再交給不同的機器去同步處理,最后把所有機器運算的結果進行整合,統一輸出給用戶。在這種方式下,每臺機器需要處理的任務都是各自的子任務,計算量降低,對于計算機的硬件性能要求也同步降低。對于管理人員來說,由于現在需要管理的是統一的資源池而不再是資源池里具體的、數量龐大的機器設備,管理與安全的問題從而也大大減少。在這樣的一種解決方式里,資源池以及分解任務的方式其實就是云計算的基礎概念。
“大數據”和云計算雖然是兩個不同的概念,但兩者之間有很多交集。面對“大數據”時代的來臨,新的產業格局中充滿了機會和挑戰,也會出現一批新的互聯網英雄,引領未來產業的發展。
“大數據”時代的來臨已經毋庸置疑,這種趨勢已經讓很多相信數據的力量的企業做出改變。DCCI互聯網數據中心創始人胡延平曾說過:“‘大數據’是提法,數據云是形態,以實時感知、分析、對話、服務能力為基礎,讓數據流成為商業、營銷活動的核心才是關鍵。不僅互聯網企業,各行各業企業都需要逐步建立真正的數字商業神經系統?!?/p>
在“大數據”時代,龐大的數據資源應當如何合理的保存,如何通過有效的管理提高數據的利用效率,在人們需要使用這些數據時,能夠非常方便地進行調用,同時盡量不增加企業的成本?面對這些問題,“大數據”時代給IT服務提供商們提出了新的挑戰,同時也給人們的生活帶來了新的可能。“大數據”相關技術提供商,包括EMC、IBM、Oracle、SAP等都已經在積極布局,一方面通過并購整合增強其在這一領域的競爭力,另一方面加快研發創新推出數據分析解決方案。
IBM系統與科技部中國主機產品部新興市場總經理唐多說:“在‘大數據’時代,確保企業大數據成功應用的重要開端,是具有支持靈活擴展、異構環境、高效性能和運行穩定的基礎架構。”同時,他還闡述了ELS在“大數據”時代的全新策略,將ELS打造成為全面的企業級數據平臺。
隨著三網融合政策推進,傳媒集團跨領域、行業的整合與全方位發展已漸成趨勢。“大數據”處理的規?;?、自動化、自愈性等特點使不同用戶終端之間資源共享成為可能。終端用戶不必攜帶專用的設備,在任何一個聯接數據中心核心系統平臺的客戶端設備,如機頂盒、PC、智能手機等,都可以通過瀏覽器進行登錄,延續看了一部分的電影或者寫了一半的文章。大數據時代的到來,推進了三網融合背后的深度業務推廣,使跨網絡業務運營成為了可能。
如今,“大數據”已經顯露其作為行業發展趨勢與顛覆性力量的本質,它帶來的變化是不可抗拒并可以預見的,“大數據”對包括傳媒行業在內的各行業的基礎IT架構甚至整個社會生活都將產生巨大和深遠的影響。“大數據”時代,新的產業格局中將會產生怎樣的機會和挑戰,人們的生活方式會發生什么改變,行業巨擘之間將上演怎樣的博弈戰?著實令人期待。