◎ 本刊記者 于巧稚

全球經濟形勢尚不明朗,對于新技術的投入,企業會越來越謹慎。那么,大數據是新技術嗎?Forrester Research研究機構認為大數據是某些技術或者能力能夠幫助企業迅速、敏捷地處理海量數據。大數據并不是一個全新的技術,大數據最主要是幫助企業能夠在企業現有的數據、已經產生的數據做一些整合,相應地做少量的投入得到更大的回報。他們認為,從技術的投入角度來說,雖然全球對IT投入持有更加謹慎的態度,但是這并不會影響業界對大數據的投資。
大數據(Big data)最早出現于1980年代,美國有人提出了“大數據”的概念。“大數據”中的“大”,更多的意義在于:人類可以“分析和使用”的數據在大量增加。
全球知名的咨詢公司麥肯錫最早提出“大數據”時代已經到來。在其研究報告中指出,數據已經滲透到每一個行業和業務職能領域,逐漸成為重要的生產因素;而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。
隨著云時代的來臨,大數據也吸引了越來越多的關注。有分析師團隊認為,大數據通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起,因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。
為適應新技術的發展趨勢,促進大數據研究的學術交流,2012年10月,中國通信學會大數據專家委員會在北京成立。成立這一學術組織旨在跟蹤大數據的最新進展,探討大數據發展與應用的重點問題,搭建學術性、行業性高端平臺,促進國內外通信企業、監管部門、研究機構、學術機構的交流與合作,推動中國大數據的科研與發展。
IDC定義了大數據的四大特征——海量的數據規模(volume)、快速的數據流轉和動態的數據體系(velocity)、多樣的數據類型(variety)和巨大的數據價值(value)。
一、大數據不僅僅是要求其容量大,一般來說,專家們普遍認為PB級的數據為大數據的起點,盡管這一指標仍然是一個變化中的目標。雖然容量這一因素是非常重要的,除此之外種類和速度也是非常必要的。種類是指許多不同的數據和文件類型,對于管理和更深入的分析數據是至關重要的。這方面的例子包括各種聲音和電影文件、圖像、文檔、地理定位數據、網絡日志和文本字符串。速度是有關數據的變化率,以及其必須如何快速的被使用,以創造真正的價值。響應速度越快,越有利于人們從大數據分析中獲取更多的機會。

二、大數據中主要應用Hadoop、NoSQL和MPP(大規模并行處理)技術。Hadoop是Apache為大數據工作的開源軟件框架。是來自于Google的技術加上雅虎的理念和其他理論,并付諸實踐得出的。Hadoop是一個軟件框架,這意味著它包括若干專門設計的組件,是專門設計來解決大規模分布式數據存儲,分析和檢索任務的。不是所有的Hadoop組件都是必要的,對于一個大的數據解決方案,其中一些組件可取代其他技術,更好地配合用戶的需求。一個例子是MapR的Hadoop,其中包括NFS作為HDFS的替代,并提供了一個完整的隨機存取,讀/寫文件系統。
三、大數據是多層結構。大數據更可能是被稱為“多層結構”,因為它可以包含文本字符串、所有類型的文件、音頻和視頻文件、元數據、網頁、電子郵件、社交媒體供稿、表格數據等等。這些不同數據類型一致的特點是不知道其數據架構或不知道在這些數據被捕獲和存儲時如何定義。相反,一個數據模型經常在數據被使用時進行應用。
四、產生巨大的數據價值。曾經一段時間,人們陷入一定的誤區,認為大數據只是分析社會媒體內容和訪客情感分析。現在,由于迅速增長的計算機電源(通常是基于云計算的)、開源軟件(例如Apache的Hadoop發行版),以及如果利用得當現代化對于數據可以產生經濟價值的沖擊,大數據源源不斷地產生新的用途和應用。大數據帶來了普通技術所無法實現的商業機會,也帶來了很多讓人欣喜的成果,其中包含了一些令人深思的用途,這在2013年年初曾經在“福布斯”上的相關文章中報道過。
有報道稱,大數據的迅速增長及相關技術的發展正在帶來全新的商業機遇。據《麻省理工學院斯隆管理評論》和IBM商業價值研究院聯合舉行的2011年新智能企業全球高管調查和研究項目指出,絕大多數企業都已抓住了這些機遇。2011年,58%的企業已經將分析技術用于在市場或行業內創造競爭優勢,而2010年這一比例僅為37%。值得注意的是,采用分析技術的企業持續超越同行的可能性要高兩倍。
中國石化股份有限公司副總工程師吳正宏在接受采訪時表示,大數據要想在企業中得到應用,目前需要做三件事:找到適合的領域,形成可用的能力,在新技術條件下找到創新的業務模式。確定大數據這個技術要是否適用自身企業,能否保證安全,不同行業、不同企業對安全的要求不同,有些企業受一定限制,需要看政策法規是否允許實施云計算,這也是企業在進行云計算、大數據時候要考慮的。CIO還要考慮自己的內外部資源,一個新技術要想成功在企業中獲得應用,CIO個人的能力也是非常重要的。新技術環境下,CIO要和業務部門共同探討如何才能讓新技術更好的推動業務發展。CIO也要及時的將新技術介紹給業務部門,才能讓新技術健康發展,才能探討得出新的業務發展模式。
對于大多數企業來說,數據都是其商業皇冠上最為耀眼奪目的那顆寶石。伴隨著傳統的商業智能系統向縱深應用的拓展,商業決策已經越來越依賴于數據。然而,傳統的商業智能系統中用以分析的數據,大都是企業自身信息系統中產生的運營數據,這些數據大都是標準化、結構化的。事實上,這些數據只占到了企業所能獲取的數據中很小的一部分—不到15%。

中國氣象局國家氣象信息中心副總工程師沈文海認為,氣象行業是一個標準的信息企業,從來都是以信息采集和信息處理、信息發布作為它的主要業務。改革開放以來氣象行業發展的非常迅速,所有的主要建設投資是在信息設備采集以及信息使用方面,效果非常明顯。但是到了21世紀,信息化慢慢開始發生變化。當企業的基本設施都已經建完,信息化進入了溫飽狀態,信息化主管就應該考慮新技術在本行業的適用問題。大數據能夠降低用戶的使用門檻,大幅度提高效率,但是這些并不是氣象部門工作的重點,但是經過對大數據的深入研究發現,目前自然災害多發,各地氣象部門需要加強數據的采集,分析,增強業務能力。而各地建設水平參差不齊,如縣級和北、上、廣相比,差距太大,但是氣象災害與經濟發展水平又不成正比。最后,用“云”的方式,把系統和設備分開,讓系統在云端運行,縣局的預報員只要有終端設備,就能進行氣象產品的制作。氣象部門采用服務化的方式把公共系統聚集在云端,讓功能普及的更加簡化有條理。
大數據技術起源于互聯網、發展于互聯網。更多的CIO考慮的不是它是一種什么技術,而更關注大數據能解決什么問題。未來CIO肯定要走在業務部門的前面,因為當業務部門找CIO的時候,很可能在競爭中已經落后了。
近日,IBM在京發布了白皮書《分析:大數據在現實世界中的應用》,解析了最新的對大數據的“4V”定義理論,數量(Volume)、多樣性(Variety)、速度(Velocity)和真實性(Veracity),并為企業逐步開展大數據舉措并從大數據中獲取最大商業價值提供了五項關鍵建議,包括:(1)以客戶為中心推動初始舉措;(2)制定整個企業的大數據藍圖;(3)從現有數據開始,實現近期目標;(4)根據業務優先級逐步建立分析能力;(5)基于可衡量的指標制定投資回報分析。白皮書在實踐“大數據”的驅動因素的調查中,除了“以客戶為中心”(49%的受訪者將其列為首要任務)之外,“大數據”在早期階段還用于實現其他的職能性目標。近五分之一(18%)的受訪者把優化運營列為首要目標。“大數據”的其它應用則主要集中在風險和財務管理(15%)、實現新業務模式(14%)以及員工協作(4%)方面。由此可見,大數據正在走進企業。

業務模式的發展歷史并不是一個存在于人們頭腦中虛無縹緲的概念,相反,它是一個不斷演變和進化的生態系統。縱觀歷史上和現在的那些百年企業,他們的共同特點就是在于面對持續發生變化的環境,他們在成長的過程中比其他企業擁有更為強大的進化能力,能夠及時調整自己的戰略布局以適應不斷變化著的商業生態。IBM的業務轉型已經編撰成書,暢銷全球。因此,大數據在發展過程中,隨之帶來的企業業務模式的變化,正在悄然發生。
全球范圍來看,大數據體現的巨大經濟價值,成功地獲得了金融界和政界的親睞。據麥肯錫報道,大數據為美國的醫療服務業每年節省3000億美元,為歐洲的公共部門管理每年節省2500億歐元,為全球個人位置數據服務提供商貢獻1000億美元,幫助美國零售業凈利潤增長60%,幫助制造業在產品開發、組裝等環節節省50%的成本。
此外,全新的、更具競爭力的商業智能服務,這也是大數據最為吸引人的地方之一。傳統數據倉庫的性能已無法應付龐大的信息,但是大數據(Big Data)技術使我們能夠訪問和使用這些寶貴的、大規模數據集以應對越來越復雜的數據分析和更好的商業決策。制定大數據將改變商業智能 (BI)的布局,并能為企業提供一種有價值的數據源,這在當下已經成為了一種趨勢。
“大數據”所能帶來的巨大商業價值,將引領一場足以匹敵20世紀計算機革命的巨大變革這個結論并沒得到所有人的認可,但似乎沒人否認,大數據時代已經“降臨”。