大數據 ：《少數派報告》

當顧客剛剛跨進百貨商場，門口的電腦會自動打招呼，然后根據顧客過去的購物經歷推送商品；如果有犯罪企圖的人進來，商場安裝的能偵察人腦電波的“聰明”的機器人——“先知”可以自動報警……這是在湯姆·克魯斯主演的科幻片《少數派報告》中的一幕。

雖然這是一部科幻片，但其中描述的場景正在一步步變成現實，而背后的技術原動力就是大數據。實際上，不少行業已經從大數據中受益。比如，不少電商網站開始采用基于Hadoop的商品推薦系統或商品推薦服務。它根據訪客的歷史交易數據、訪客在該網站的瀏覽數據、在其他合作伙伴網站的瀏覽信息，以及用戶的評論行為來綜合評估推薦訪客可能感興趣的產品。這樣的場景還有很多，正是有了大數據的分析，我們可以更全面、更準確地了解這個世界，做出更為精準的決策。為此，不少業內人士預言，大數據將引發全球范圍內深刻的社會與商業變革。

IT廠商早就注意到了大數據市場的興起，IBM、Oracle、微軟等IT巨頭都是大數據市場的積極推動者，它們不僅推出了自己的Hadoop版本，同時，還推出了各種接口和工具來打通自己的傳統數據庫、數據倉庫與Hadoop之間的聯系。而BI廠商更是不敢輕視，如數據倉庫的技術供應商Teradata甚至專門收購一家從事大數據業務的公司。在大數據市場，存儲廠商也是一支非常活躍的生力軍，如EMC、HDS等都有大數據解決方案推出，其中EMC走得更遠，已經超過數據的存儲而把業務延伸到數據的分析領域。值得一提的是，一些廠商還推出了大數據的一體機，作為搶占市場制高點的有力武器。剛剛過去的2012年，我們看到IBM、Oracle都有大數據一體機推出。

展望2013年，隨著大數據的應用不斷涌現，大數據熱仍將持續，更多的企業將會關注甚至使用各種大數據解決方案，市場上也會出現更多的相關產品和方案。不過，從技術發展階段而言，大數據仍將處于在市場培育期。

這其中最大的挑戰包括Hadoop生態系統有待逐步完善，以及大數據人才的缺乏。眾多周知，Hadoop并不是一個商業化的產品，而是一個開源軟件。它的產品規劃以及軟件更新都有很大隨意性，產品本身也有待于完善。雖然已經有公司（如Cloudera）能提供Hadoop的技術支持，但用戶主要的技術支持仍然來自社區。2013年里，技術支持的問題如果不解決，用戶對于使用Hadoop仍然會顧慮重重。

另一個問題是大數據相關的人才緊缺。在國外已經有企業開始嘗試設立類似“數據科學家”的職位（有的稱其為“數據分析師”或者“數據工程師”），與一般商業智能分析師不同，這些專家不僅能找到和提供數據，他們還要使用它進行大量預測。其理想的候選人對分析和市場營銷都非常熟悉，此外，最好還能懂數據挖掘、統計甚至人工智能。

當然，無論如何，技術總是不斷進步的，我們對技術的掌握也是在不斷進步，既然大量的數據已經從互聯網、移動設備等各個源頭中產生，我們終究會有能力從這座數據金礦中找到有價值的信息。這就是技術的魅力。