淺談大數據及其應用

李迪

摘 要 大數據，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據進行分析處理。

關鍵詞 大數據 應用

中圖分類號：TG335 文獻標識碼：A

似乎一夜之間，大數據（BigData）變成了IT行業中非常時髦的一個詞語。其實大數據并不完全是一個新事物，例如google的搜索服務就是一個非常典型的大數據的應用，它會根據你的需求，實現實時從全球的海量信息中快速的尋找出最可能的答案，然后呈現給你，這 就是一個非常典型的關于大數據的服務。

大數據的意義是由人類日益普及的網絡行為所伴生的，受到相關部門、企業采集的，蘊含數據生產者真實意圖、喜好的，非傳統結構和意義的數據 。2013年5月10日，阿里巴巴集團董事局主席馬云在淘寶十周年晚會上，將卸任阿里集團CEO的職位，并在晚會上做卸任前的演講，馬云說，大家還沒搞清PC時代的時候，移動互聯網來了，還沒搞清移動互聯網的時候，大數據時代來了。

從海量數據中“提純”出有用的信息，這對網絡架構和數據處理能力而言也是巨大的挑戰。在經歷了幾年的批判、質疑、討論、炒作之后，大數據終于迎來了屬于它的時代。2012年3月22日，奧巴馬政府宣布投資2億美元拉動大數據相關產業發展，將“大數據戰略”上升為國家戰略。奧巴馬政府甚至將大數據定義為“未來的新石油”。

大數據就是互聯網發展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。

大多數傳統BI工具都受到以下兩個方面的局限：

首先，它們都是“預設-抓取”工具，由分析師預先確定收集什么數據用于分析。

其次，它們都專注于報告“已知的未知”（Known unknowns），也就是我們知道問題是什么，然后去找答案。（而大數據會給而大數據會給出一些未知的未知，也就是你沒有想到的一些問題的結果）。傳統BI工具主要用于企業運營，側重于成本控制和計劃執行報告。而大數據技術最主要的功能/應用是ETL（Extract、Transform、Load）。將近80%的Hadoop應用都與ETL有關，例如在導入Vertica這樣的分析數據庫之前對日志文件或傳感器數據的處理。

今天計算和存儲硬件變得非常便宜，配合大量的開源大數據工具，人們可以非常“奢侈”地先抓取大量數據再考慮分析命題。可以說，低廉的計算資源正在改變我們使用數據的方式。

此外，處理性能的大幅提高（例如內存計算）使得實時互動分析更加容易實現，而“實時”和“預測”將BI帶到了一個新的境界——未知的未知。這也是大數據分析與傳統BI之間最大的區別。

今天的大數據技術還處于戰國時期，未來幾年，隨著企業間的兼并和新產品的不斷推出，BI廠商們將能推出完善的，讓CEO感到滿意的“大數據套件”，但這并不意味著企業IT經理們的工作將受到威脅。因為正如云計算在理想和現實間達成妥協一樣，大數據也會經歷類似的發展過程。傳統的BI工具將與大數據分析并存。公共服務大數據另外一個重大的應用領域是社會和政府。如今，數據挖掘已經能夠預測疾病暴發、理解交通模型并改善教育。

今天，城市正面臨預算超支、基礎設施難題以及從農村和郊區涌入的大量人口。這些都是非常緊迫的問題，而城市，也正是大數據計劃的絕佳實驗室。

以紐約這樣的大都市為例，政府公共數據公開化、以及市民生活的高度數字化（購物、交通、醫療等）等都是大數據分析的理想對象。

客觀的市政數據，是消除爭端，維系公民社會的最佳紐帶。當然，前提是讓公民能夠訪問這些數據。蘋果的Siri和谷歌的Google Now都具備成為個人化助理的潛力。當然，我們還需要更多的產品和技術讓數據分析結果更容易被公眾理解和接受（數據可視化）。此外，IBM的Watson以及Wolfram Alpha這樣的人工智能技術還能實現與用戶的互動。

今天，智能手機（以及Twitter等社交網絡）的普及讓人類社會首次實現了公民的聯網。應用程序商店實時上已經打通了政府和公民之間的應用層面的通道。（例如奧運期間倫敦警察廳發布的iphone通緝程序）。伴隨著各國政務的數字化進程，以及政務數據的透明化，公民將能準確了解政府的運作效率。這是不可逆轉的歷史潮流，同時也是大數據最具潛力的應用領域之一。

大數據已經與在線營銷交織在一起，其應用可以分為兩大類：

首先，從線上到線下。配備了NFC近場通訊技術的智能手機和基于位置的簽到正在成為營銷人員的最新利器。他們將能跟蹤商場人流，把在線零售的分析優化應用于線下。

其次，數據分析工具將更加容易使用（面向中小企業應用的大數據創業非常火爆），中小企業也許沒有BI平臺，但他們都有平板電腦和智能手機，移動版客戶智能分析將會改變企業使用營銷工具的方式。

大數據時代已經來臨，它將在眾多領域掀起變革的巨浪。但我們要冷靜的看到，大數據的核心在于為客戶挖掘數據中蘊藏的價值，而不是軟硬件的堆砌。因此，針對不同領域的大數據應用模式、商業模式研究將是大數據產業健康發展的關鍵。我們相信，在國家的統籌規劃與支持下，通過各地方政府因地制宜制定大數據產業發展策略，通過國內外IT龍頭企業以及眾多創新企業的積極參與，大數據產業未來發展前景十分廣闊。