開放自主，東方金信打造哈行數(shù)據(jù)倉庫

夏添

哈爾濱銀行成立于1997年，總部位于中國黑龍江省哈爾濱市，目前科技部總部設(shè)立在北京。該行現(xiàn)已在17個省市設(shè)立分行，同時設(shè)立了24家村鎮(zhèn)銀行，并作為戰(zhàn)略投資者投資重組廣東華興銀行，發(fā)起設(shè)立哈銀金融租賃有限責任公司。資產(chǎn)總額人民幣4449億元，客戶存款總額人民幣3068億元。

隨著哈爾濱銀行業(yè)務(wù)的不斷擴大，哈行擁有的客戶數(shù)量超過1000萬，每天交易量超過一億筆；同時各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)又相對孤立，因此根據(jù)業(yè)務(wù)發(fā)展的需要，哈行需要建設(shè)一個統(tǒng)一的大數(shù)據(jù)平臺，幫助行內(nèi)完成跨系統(tǒng)，跨部門和跨領(lǐng)域的大數(shù)據(jù)分析。由于數(shù)據(jù)量太大，傳統(tǒng)的數(shù)據(jù)存儲計算很難滿足行內(nèi)今后的發(fā)展。最終，哈行決定選用現(xiàn)在可以支持EB級的大數(shù)據(jù)平臺作為行內(nèi)統(tǒng)一管理平臺。

哈爾濱銀行采用東方金信海盒大數(shù)據(jù)平臺作為數(shù)據(jù)倉庫，替代了傳統(tǒng)數(shù)據(jù)架構(gòu)，實現(xiàn)了分布式大數(shù)據(jù)平臺應(yīng)用的突破。

哈爾濱銀行大數(shù)據(jù)倉庫采用的北京東方金信科技有限公司的海盒大數(shù)據(jù)平臺產(chǎn)品包括海盒大數(shù)據(jù)平臺、海盒大數(shù)據(jù)采集平臺、海盒大數(shù)據(jù)分析平臺和海盒大數(shù)據(jù)展現(xiàn)平臺。

海盒大數(shù)據(jù)平臺是東方金信核心產(chǎn)品，采用Google分布式架構(gòu)研發(fā)。主要包括物理平臺層，數(shù)據(jù)平臺層，技術(shù)支撐層，應(yīng)用服務(wù)層和數(shù)據(jù)管控模塊。其中，物理平臺層為集群的硬件配置層，根據(jù)業(yè)務(wù)需求提供最優(yōu)的硬件配置信息，當業(yè)務(wù)需求量增加時可以增加節(jié)點來適應(yīng)新的業(yè)務(wù)需求。提升平臺的可用性；數(shù)據(jù)平臺層可以采取HDFS分布式文件存儲，Hbase分布式列存儲，Hive數(shù)據(jù)倉庫的應(yīng)用；技術(shù)支撐層使用SparkR、SAS等方式，對平臺內(nèi)數(shù)據(jù)進行分析，挖掘等處理；應(yīng)用服務(wù)層可以將處理好的數(shù)據(jù)用于運營管理，風險管理，市場營銷，財務(wù)績效，監(jiān)管合規(guī)等業(yè)務(wù)場景；數(shù)據(jù)管控模塊則為整個集群提供圖形化監(jiān)視界面，實時有效的對集群的即時狀態(tài)進行監(jiān)控。

哈爾濱銀行項目采用了東方金信的實時數(shù)據(jù)導(dǎo)入工具和批量ETL工具完成多業(yè)務(wù)系統(tǒng)數(shù)據(jù)收集，通過大數(shù)據(jù)的流技術(shù)+實時日志分析工具，實現(xiàn)部分業(yè)務(wù)數(shù)據(jù)的實時展示。同時依靠傳統(tǒng)的ETL方式，實現(xiàn)每天T+1報表需求和業(yè)務(wù)需求。

數(shù)據(jù)存儲平臺采用了東方金信的海盒大數(shù)據(jù)平臺，將海量數(shù)據(jù)的存儲和計算都在大數(shù)據(jù)平臺上實現(xiàn)，在大數(shù)據(jù)平臺下分為三個大的區(qū)域：結(jié)構(gòu)化的數(shù)據(jù)倉庫區(qū)域、非結(jié)構(gòu)化的數(shù)據(jù)存儲區(qū)域和大數(shù)據(jù)探索平臺。

大數(shù)據(jù)平臺在數(shù)據(jù)方面承擔了兩個重要的功能，一是每天晚上要整合前端大量業(yè)務(wù)系統(tǒng)數(shù)據(jù)，并按照行內(nèi)各個業(yè)務(wù)需求，整合報表功能。二是按照業(yè)務(wù)需求，將來自多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合后，給業(yè)務(wù)部門提供數(shù)據(jù)分析的數(shù)據(jù)支持，包括風險管控、精準營銷、客戶管理、資產(chǎn)管理、信息管理和特別服務(wù)等。

通過完成大數(shù)據(jù)平臺建設(shè)，數(shù)據(jù)平臺支持行內(nèi)部分可視化業(yè)務(wù)，除了實現(xiàn)傳統(tǒng)的報表報送業(yè)務(wù)外，還實現(xiàn)了很多大數(shù)據(jù)特有的數(shù)據(jù)分析業(yè)務(wù)。整個大數(shù)據(jù)平臺全部采用了一鍵式部署和運維，產(chǎn)品界面友好，穩(wěn)定性高，運維方便。

“哈爾濱銀行大數(shù)據(jù)倉庫項目是金融行業(yè)用大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)倉庫項目的中國第一個案例，是大數(shù)據(jù)時代替代傳統(tǒng)并行數(shù)據(jù)時代的一個重要轉(zhuǎn)折點。”東方金信董事長、總經(jīng)理王偉哲表示。他介紹，基于大數(shù)據(jù)的金融主題模型和數(shù)據(jù)管控。主題模型和數(shù)據(jù)管控是傳統(tǒng)數(shù)據(jù)倉庫的核心，也是建立數(shù)據(jù)倉庫的總體框架圖。通過建立模型和管控，能夠?qū)崿F(xiàn)數(shù)據(jù)倉庫的核心價值。東方金信通過多年積累和對新技術(shù)的不斷追求，總結(jié)出一套基于大數(shù)據(jù)平臺的主題模型和數(shù)據(jù)管控系統(tǒng)，并成功落地應(yīng)用于哈爾濱銀行項目中，并得到客戶的認可。

通過建立一個安全、穩(wěn)固、快速的大數(shù)據(jù)平臺體系，東方金信將哈爾濱銀行各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合到大數(shù)據(jù)平臺中，在大數(shù)據(jù)平臺內(nèi)部進行分布存儲、分布式計算，用于應(yīng)對日益增長的數(shù)據(jù)量對當前數(shù)據(jù)分析所造成的問題，最終能夠滿足各業(yè)務(wù)部門以及管理決策人員及時、準確地了解業(yè)務(wù)運營狀況的需要，為哈爾濱銀行經(jīng)營管理、風險管控、決策分析提供有力支持。

哈爾濱銀行基于大數(shù)據(jù)平臺的數(shù)據(jù)倉庫項目采用完全自主開發(fā)，擁有完全自主知識產(chǎn)權(quán)的東方金信海盒大數(shù)據(jù)產(chǎn)品，不僅將數(shù)據(jù)倉庫的硬件采購價格降低為原來傳統(tǒng)模式的十分之一，而且運算速度卻提升了數(shù)十倍，實現(xiàn)了傳統(tǒng)模式向平臺倉庫跨越式的飛躍。