大數據掘金

　　大數據自身蘊藏著巨大的商業價值，其開發、利用和分析等一整套運作也將催生更多的行業機會，并帶動相關產業的發展。
　　
　　盡管一面頻繁降價促銷、一面廣告攻勢凌厲，但一家零售企業最近仍頂不住競爭對手頻頻擴大市場份額，連連丟城失地。通過深入研究，企業發現原來對手通過微博等社交網絡以及智能手機的定位數據掌握消費者的喜好，加之從門店收集的各類數據，進行整合和分析，從而第一時間捕捉到了最全面的市場情緒。同時，他們將這些信息通過云計算平臺與供應商和物流商的數據庫聯網，實時調整價格、自動補貨、跟蹤物流，輕松在各門店之間調配產品，實現了生產到終端消費者的無縫連接，大幅提升了對市場的反應速度。
　　一家地產企業通過各種渠道獲取盡可能多的信息，更為全面了解自身的運營情況和外部的運營環境，從而準確地判斷出應該何時融資、何時買地、何時批量上項目，從以往在各個經濟不均衡之地圈地蓋樓的“空間掙錢”方式轉換至“時間掙錢”的方式，“快人一步”成為行業領先。
　　這些都是大數據應用的尋常景象。如同上世紀80年代的個人電腦，眼下，大數據還處于早期發展階段，但它已成為新時代的關鍵生產要素和產品形態，具有廣闊的應用前景及改變世界經濟的力量。大數據的開發和應用不僅能為企業帶來更出色的商業效益，同時也將催生更多的行業機會，孕育出色的解決方案提供商，并帶動相關產業的共同發展。正因為如此，根據 IDC的測算，到2020 年，僅企業對大數據的支出一項就將超過2000 億美元。
　　
　　大數據的商業價值
　　IDC 在報告中提及，領軍企業與其他企業之間最大的顯著差別在于新數據類型的引入，這無疑是對大數據商業價值的充分肯定。傳統的商業智能系統中用以分析的數據，大都是企業自身信息系統所產生的標準化和結構化的運營數據，只占到企業所能獲取數據的不到15%。另外85%的非結構性和半結構性數據廣泛存在于社交網絡、物聯網、移動計算、傳感器和電子商務等媒介之中。企業如果能將這些新的數據與業務融合，決策的依據會更全面準確。電信咨詢公司Ovum的最新調查顯示，在北美、歐洲和亞太地區將近有半數以上的企業IT部門在不久的將來投資大數據分析。
　　早在2007年，沃爾瑪就建立了一個存儲能力高達4PB以上的超大數據中心，其數據量在2010年時已達到美國國會圖書館的167倍。通過對消費者的購物行為等非結構化數據進行分析，沃爾瑪成為最了解顧客購物習慣的零售商。中國移動通過對社交媒體等各種來源的大數據分析，第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負責人，使他在最短時間內獲知市場行情。
　　電子商務企業作為大數據時代的“吃螃蟹者”，也已經初品其甘甜。早在2006年，eBay就成立了大數據分析平臺，為了準確分析用戶的購物行為，eBay定義了超過500種類型的數據，對顧客的行為進行跟蹤分析。通過對關鍵字廣告的投入產出進行衡量，公司精確計算出每一個關鍵字為eBay帶來的投資回報，優化過后，自 2007 年以來，eBay 產品銷售的廣告費降低了99%，頂級賣家占總銷售額的百分比卻上升至32%。
　　國金證券TMT分析師趙國棟認為，企業應用大數據分為三步：第一是要融合企業內外的海量信息；第二要具備行業建模及分析的能力；第三要與企業的決策和業務流程深度整合。前兩步是技術推動，第三步將引起企業組織、流程甚至是文化方面的變革。
　　催生新一代IT領袖
　　正因為其中所蘊藏的巨大價值，大數據成為了眾多企業淘金的“圣地”。
　　IBM架構師史蒂夫·沃特（Stephen Watt）曾在《Deriving New Business Insights with Big Data》一文中簡單闡述過大數據的生態系統。簡而言之，大數據的生態系統，就是數據的生存周期。數據從產生，到處理，再到價值提取，最后被消費掉，這整個過程就構成了大數據的生態系統（圖1）。每個步驟中都存在著不同的商業需求，已有不少成熟和初創公司深耕各自所在的領域，以期盡早占據優勢地位。以投資Facebook而聞名的風險投資機構AccelPartners認為，大數據是信息技術未來發展的戰略走向，將催生下一代價值數萬億美元的軟件企業。
　　源自雅虎的大數據系統Hadoop，主要面向存儲和處理成百上千TB直至PB級別的結構化、半結構化或非結構化的大數據。Hadoop能將大數據分解成多個子問題，將它們分配到成百上千個處理節點之上，再將結果匯集到一個小數據集當中，從而更容易分析得出最后的結果。
　　相比傳統的數據存儲系統，Hadoop成本更低。傳統數據存儲的費用是每GB 5美元，而在同樣容量下，Hadoop的成本僅為0.25美元。此外，Hadoop具有更強的可擴展性，幫助企業用較低的成本為此前購買的設備添加額外的存儲空間（圖2）。僅這一性能就可在未來五年內使50%以上的數據都存儲在Hadoop環境中。
　　如今，Hadoop已經成為AOL、
　　Facebook和Twitter這些公司大數據分析解決方案的主要提供商。類似Facebook這樣的互聯網企業，一天產生的數據要比許多大公司一年的數據還要多，它們通過Hadoop收集和存儲這些數據，再使用開源數據倉庫工具集中對其進行分析。
　　此外，各種新型大數據公司都呈現喜人的增長態勢。Opera Solutions的客戶將數據上傳到Opera平臺，Opera根據每個客戶的個性化需求，雇傭各行業的專家來幫助他們進行數據分析，公司年營業額已經超過1億美元。另一大數據服務商Teradata，公司2011年第1季度的營收比2010年同期增長了18%。在其總裁兼首席執行官看來，大數據需求市場的強勁表現，是營收增長的重要原因。
　　傳統IT巨頭也紛紛圍攻搶食大數據盛宴。IBM憑借在硬件與軟件方面的優勢，提供端到端、整體的大數據解決方案。此外，在數據存儲、分析等領域有著傳統優勢的廠商，如惠普、甲骨文等公司，在大數據領域也有著明顯的優勢。2011年10月，甲骨文發布了新版NoSQL數據庫企業版，這是運行于Hadoop之上的大數據軟件之一。除了花大力氣開發自有技術，更多的企業希望通過合作與并購的方式來迅速彌補技術鏈條上的不足。微軟宣布與Hortonwork公司建立新的合作伙伴關系，后者致力于Hadoop開發。為了增強非傳統數據分析的能力，Teradata收購了Aster Data公司。照此情形來看，一些提供單一技術方案的IT公司，很可能難逃被收購的命運。
　　對于國內市場，國金證券分析師易歡歡表示，在電信、金融等重要行業，現在最大的投資建設就是數據中心的相應擴容，這幾年還停留在儲存部分信息階段，未形成對海量信息的檢索、分析、識別以及對未來業務的預測，提升的空間相當大。對地理信息系統進行相關研究的超圖軟件（300036）以及擁有非結構化數據的相應處理業務的拓而思（300229）以技術手段創新為依托，都已經開始向自己擅長的大數據方向衍生。用友軟件（600588）則憑借IT系統重構的機會有望在大數據浪潮中分得一杯羹。對于電商來說，大數據不僅能助其準確決策，為企業自身業務提供支撐，如果拆分出來，也可以作為獨立收入來源。淘寶第一個成熟的商業數據產品“數據魔方”計劃將于2012年開放數據給第三方應用，屆時有望成為淘寶另一項收入來源。
　　
　　攜手云計算
　　根據IDC的報告，未來十年全球大數據將增加50倍。僅在2011年，就有1.8萬億GB的大數據創建產生，相當于每位美國人每分鐘寫3條Tweet，而且還是不停地寫2.6976萬年。海量的數據需要足夠空間來存儲，大數據為云計算大規模與分布式的計算能力提供了應用的空間。
　　最近一年多來，谷歌、Facebook、Rackspace等公司紛紛投建新一代數據中心，大部分都采用更高效、節能、定制化的云服務器。根據IDC預測，80%的商業企業應用程序將被部署在云平臺中。Gartner則預計到2016年底，1000家全球大型企業中將有半數以上會把與客戶相關的敏感數據存儲在公共云中。這對于一些空置的云計算數據中心無疑是一大利好。IBM中國開發中心信息管理部大數據開發部門經理王洪遠更預測，大數據會引發數據倉庫、數據挖掘、商業智能、云計算等應用的連鎖反應。IBM 中國開發中心首席技術官（CTO）毛新生表示，電信、銀行、保險等行業都特別希望利用互聯網搜集海量信息，與原來交易系統中的數據結合起來，分析用戶行為，過去做這些比較麻煩，現在云計算可以將上百萬臺機器轉化成一臺超大型計算機，使企業獲得新的競爭力。
　　雖然炙手可熱，但大數據時代的到來，對企業來說也存在著一些風險，包括企業網絡和計算機系統是否跟得上海量數據的處理、數據能否及時更新、是否會丟失核心信息、如何處理格式繁雜的各種數據等。IDC預測，要充分發揮“大數據”額外的競爭優勢，需要“大管道”和超高速的網絡連接，這將使得網絡的作用比以往更為關鍵。