摘 要:在信息爆炸時代的背景下,興起大數據概念對于各種傳統IT行業產生了巨大的沖擊。本文研究大數據對于商業智能(BI)行業的影響,新的挑戰促進了BI(商業模式)的發展。
關鍵詞:大數據;BI;發展
中圖分類號:TP311.13 文獻標識碼:A 文章編號:1674-7712 (2014) 12-0000-01
近些年大數據(big data)一詞被提及的頻率越來越高。原本只是用來形容海量信息的含義,在信息時代又賦予了它新的含義-新信息時代的風向標。
如今是信息爆炸的時代,數據正在迅速膨脹變大,原本傳統電信金融行業是信息產生的大戶,隨著互聯網行業的異軍突起,立刻成為了大數據軍團中的絕對主力。互聯網公司在日常運營中生成、累積的用戶網絡行為數據。這些數據的規模是如此龐大,以至于不能用G或T來衡量。
隨著越來越多的行業對數據越來越重視,帶來了BI的巨大市場商機和快速發展。隨著大數據的興起,IBM、Oracle、SAP、微軟等廠商像是尋到了新的金礦,開始極力推崇大數據理念。于是眾廠商蜂擁而至,搶奪大數據市場,以SAP的HANA和ORACLE的Exalytitcs為代表。也有部分推BI的廠商還達不到大數據的層次,固守在報表分析的陣地上。
大數據具有4個特征(4V):
(一)數據量大(Volume)
第一個特征是數據量大。大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。
(二)類型繁多(Variety)
第二個特征是數據類型繁多。包括網絡日志、音頻、視頻、圖片、地理位置信息等等,多類型的數據對數據的處理能力提出了更高的要求。
(三)價值密度低(Value)
第三個特征是數據價值密度相對較低。如隨著物聯網的廣泛應用,信息感知無處不在,信息海量,但價值密度較低,如何通過強大的機器算法更迅速地完成數據的價值“提純”,是大數據時代亟待解決的難題。
(四)速度快時效高(Velocity)
第四個特征是處理速度快,時效性要求高。這是大數據區分于傳統數據挖掘最顯著的特征。
基于大數據以上特性,對于傳統BI來說是一個重大的挑戰和沖擊。
以RTB(實時競價廣告)模式為例,這種面向網民的廣告實時推送方式需呀以毫秒級的速度分析海量數據,進而實現互聯網廣告的精準推送。RTB模式主要需解決“人的認知”和“價值幾何”,前者需要對每個用戶實施消費行為進行分析,意味著需要解讀萬億量級的數據;后者則需依托復雜算法計算ROI(投資回報率),告訴決策并顯現交易結果,而每筆競價只有50毫秒乃至更少的決策時間。收納并瞬間解構如此龐大的數據,也只有大數據工具才能做到。
傳統BI采集的數據主要來自于ERP、CRM等,具有格式化的數據,而大數據采集的數據種類則多種多樣,既有結構化的數據,更多的是非結構化的數據。這就要求數據處理技術在分析、算法上相對傳統BI來說有極大的改變,已經無法依賴傳統的BI工具。類似RTB這類新興商業模式不斷涌現,對于營銷反應速度提出極高的要求,傳統BI能支持小時級的決策已經很了不起了,無法應對如此幾乎是實時決策分析的要求,處理如此海量的數據分析及計算。數量和速度就是大數據帶給傳統BI的挑戰。
大數據和BI都需要構建數據倉庫、分析系統,再進行數據挖掘、實現數據呈現,運用機理和技術結構其實是一致的。與BI不同,大數據處理的數據是雜亂的、非結構化的數據,因此大數據有它獨特的數據分析工具,其建模也要比BI復雜得多,數據呈現方式也不僅僅是報表方式。從這方面來看大數據能力要比傳統BI強大得多。幾年前還只有大型網絡公司應用大數據技術,而如今,零售業、銀行業、公共事業、智能社區等領域,幾乎所有擁有海量數據的企業都在使用或開始嘗試使用大數據技術,這些技術在部分項目中也起到了關鍵的作用,這些將擠壓傳統BI工具的生存空間。
大數據的出現對BI行業來說是一個挑戰也是巨大的商機。也正是大數據的出現促進了BI加速發展,不斷升級。
大數據分析缺乏成熟的實踐經驗,其方式方法與傳統的數據倉庫與BI系統有著一定的區別。在實施大數據分析項目之前,企業不僅應該知道使用何種技術,還應該知道在什么時候、什么地方使用。各數據之間有哪些關聯性?哪個數據是可信的?如何從海量的數據中挖掘出有價值的、易用的客戶信息?
要回答這些問題,企業需要一個單一、完整、可信的客戶數據視圖,而創建一個單一、完整、可信的客戶數據視圖,數據集成是關鍵。沒有集成的數據,其商業價值為零。數據集成讓組織機構能夠將傳統的交易數據與全新的交互數據組合起來,從而獲得在其他情況下無法達成的洞察力和價值。
在大數據概念面世之前,商業智能(BI)幾乎是我們進入‘智慧世界’的不二選擇,然而,價格不菲的數據庫、數據倉庫、ETL等工具共同構筑的高門檻擋住了很多企業一探究竟的腳步,而數據規模爆炸式的增長更是加高了這個門檻,讓很多企業對于獲取‘智慧’的投入成本望而怯步。
盡管隨著技術不斷進步,商業智能日益平民化,如今基于EXCL表也能在一定程度上實現傳統商業智能的部分功能。但是商業智能最經典的架構還是基于數據倉庫為基礎,利用ETL工具進行數據抽取、轉化、建模,然后通過報表等形式展現結果。整個過程每個環節都投資不菲且耗時,因此很長時間以來,商業智能被認為大企業的專有。相對而言,大數據主要用于互聯網企業,采用通用硬件設備加上開源軟件實現,成本相對低廉得多。入門門檻低,也是大數據能夠迅速興起的重要原因。
隨著互聯網技術的發展,未來的大數據時代,一定是各種信息呈現規模快速增長的狀態,如何更快獲取有用的信息是關鍵,智能分析工具會變得越來越重要,可以凌駕于多個管理系統、數據庫之上,如何通過更靈活、可控的BI工具,真正挖掘出大數據時代的價值,是大數據和BI面臨的共同挑戰。
參考文獻:
[1]維克托·邁爾-舍恩伯格.大數據時代:生活?工作與思維的大變革[M].杭州:浙江人民出版社,2013.
[作者簡介]林毅鋼(1982-),男,浙江象山人,就職于上海漢乾信息科技發展有限公司,高級數據庫工程師,研究方向:軟件工程。