基于傳統BI系統的大數據分析平臺建設

齊偉東

[摘 要] 分析了大數據的發展和應用狀況、鋼鐵貿易發展和貿易模式的變化、運用大數據輔助企業運營及應用大數據對目前BI系統架構的要求后，提出了在企業目前BI系統基礎上實現大數據和傳統數據分析的新架構，并對未來基于大數據BI的新應用場景和新的業務模式進行了探索研究。

[關鍵詞] 大數據；電子商務；鋼鐵貿易；數據挖掘；商業智能

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 21. 028

[中圖分類號] TP311.13；TP311.52 [文獻標識碼] A [文章編號] 1673 - 0194（2017）21- 0059- 03

0 引 言

通過信息化手段對企業實現精細化的管理，是提高企業核心競爭力的重要手段。目前大多數企業都建立了自己的BI系統，是否擁有一套精準的數據分析、快速的數據挖掘系統已成為衡量傳統企業與現代企業的重要標準。

隨著大數據、云計算、電子商務、移動社交媒體等新一代IT技術的飛速發展，企業傳統BI系統的功能和架構已經不能完全適應大數據量、數據類型、分析需求等方面的要求，迫切需要實施滿足大數據分析的新的平臺架構。

1 大數據及鋼鐵電商發展狀況

大數據是信息技術產業持續增長的新動力，大數據的運用將成為提高企業核心競爭力的關鍵因素，各行業的戰略決策正在從“業務驅動”轉變為“數據驅動”。

近年來，鋼鐵行業面臨的形勢日益嚴峻，產能過剩、資金緊張、虧損嚴重等問題成為行業頑疾。在這樣的大背景下，鋼鐵產業鏈中生產廠、經銷商、流通商都先后開始參與互聯網應用，通過互聯網拓展市場。鋼鐵電商正在改變著鋼材貿易領域，并最終影響整個鋼鐵產業鏈的格局。這種大勢所趨無法改變，鋼鐵電商對傳統鋼鐵行業帶來了革命性改變。

2 企業鋼鐵貿易需要大數據的支持

鋼鐵電商的發展為企業大數據的應用提供了更充分的條件，通過電子商務平臺設置采購組織與物料、在線交易、服務中心和網上超市等板塊，不僅可以密切關注產品的交易情況，還可以收集用戶瀏覽網頁的信息。此外還可以通過微信、微博等平臺收集用戶評論數據，從而為決策或營銷提供精確服務。如果說，互聯網是企業之車的左輪，那么在互聯網時代，大數據將成為企業之車的右輪，兩者共同構成推動企業持續前進的核心競爭力，缺一不可。

對于大多數鋼鐵企業而言，運營領域是大數據最核心的應用領域。在過去，鋼鐵企業主要使用來自生產經營中的各種報表數據及BI系統分析，但隨著大數據時代的到來，來自于互聯網、物聯網、各種傳感器的海量數據撲面而至。于是，越來越多的鋼鐵企業開始挖掘和利用這些數據，來推動運營效率的提升。大數據營銷主要應用在渠道優化、精準營銷信息推送、線上與線下營銷的連接、幫助企業領導者做出決策這4個方面。

3 大數據對企業傳統BI 體系的影響

企業當前的分析平臺是基于Oracle BIEE建立的商務智能系統。作為面向集團多個管理層級的經營分析系統，以集團管控和專業化管理作為靈魂，對企業管理信息進行數字化、形象化、直觀化、具體化的展示，輔助企業高層進行管理決策。

目前公司的BI 體系一直作為支撐系統的核心要素，為企業的決策層、管理層和操作層提供了重要的數據。然而大數據時代的到來，急切地需要一種技術使其能夠訪問和使用這些寶貴的、大規模數據集以應對越來越復雜的數據分析和更好的商業決策制定。

大數據與傳統BI 有很多不同，具體區別表現在數據量、信息特征、信息來源和涉及的關鍵技術上。傳統BI的數據量不太大，常為TB 量級，而大數據的信息量常為PB量級，甚至為ZB 量級。從信息特征上看，大數據能夠基于BI工具對非機構化數據進行處理，與傳統基于事務的數據倉庫系統相比較，大數據分析不僅關注結構化的歷史數據，更傾向于對Web、社交網絡、RFID 傳感器等非結構化海量數據進行分析。從信息來源看，傳統BI 主要取自業務運營支撐系統、企業管理系統等，比如采購、銷售、庫存、財務等企業數據。大數據主要來源于互聯網、移動互聯網等，比如微博、電子商務等交互數據。在處理技術上，大數據相對傳統BI有更完善、更成熟的軟硬件技術。例如，基于開源的分布式并行計算技術，使用廉價的計算設備解決海量數據，集高并發行、高可用性、高擴展性等技術難題于一體；采用軟硬件一體化設計技術提高數據處理效率；采用大型機X86 虛擬化技術在兼容現有系統的同時，降低主機運營維護管理成本；采用Flash 盤等新型存儲技術提升I/O 吞吐量等。

大數據無疑是對公司BI系統的一個有益的補充，它并不是要取代傳統BI 工具，而是讓BI 更有價值和更有利于企業業務發展，我們需要考慮的是如何通過大數據強化原有的BI 體系。

4 基于傳統數據BI 體系的大數據應用設計

大數據時代的到來，對企業傳統BI 架構的數據處理能力、數據存儲能力以及更高的實時性分析能力和對非結構化數據等復雜數據源的分析能力等諸多方面都提出了更高的要求。如何充分發揮目前系統架構的功能將大數據和傳統數據綜合利用，是目前企業數據架構平臺設計的關鍵因素。在分析傳統數據與大數據的不同本質，包括數據源、數據的采集方式、數據的存儲模式、處理技術和應用方式等因素后，企業設計了數據架構平臺設計方案，如圖2 所示。endprint