基于Hadoop技術的銀行大數據平臺架構設計

中國民生銀行總行 韓 健

基于Hadoop技術的銀行大數據平臺架構設計

中國民生銀行總行 韓 健

基于Hadoop技術完善銀行大數據平臺架構的設計，有利于提升一行大數據平臺的安全性，有利于減少外界因素對銀行大數據的沖擊，對促進銀行的更好發展，具有重要作用。本文在對完善銀行大數據平臺架構設計的必要性進行綜合闡述的基礎上，論述了基于Hadoop技術的銀行大數據平臺架構的設計方案，并分析了銀行分布式大數據平臺架構實現方案，以期為相關人士提供借鑒和參考。

Hadoop技術；大數據；平臺架構

一、引言

隨著社會經濟的不斷發展和社會生產力水平的進一步提升，商業銀行呈現了迅猛的發展勢頭，基于大數據時代背景下，完善銀行的大數據平臺建設，顯得尤為重要。現階段，我國商業銀行的大數據平臺架構設計不能充分滿足銀行對數據處理的需求，對銀行的進一步發展形成阻礙。因此，基于Hadoop技術完善銀行大數據平臺架構的設計，具有十分重要的現實意義。

二、完善銀行大數據平臺架構設計的必要性

隨著在線銀行、移動銀行、電子金融市場的迅速發展，我國銀行業已進入大數據時代，現有的聯機分析處理技術已不能充分滿足銀行業務拓展對數據資源的海量需求，不利于促進國家級數據中心的順利建設和大數據技術的進一步發展。銀行對大數據的處理面臨著嚴峻的挑戰，數據處理的軟件和硬件成本均不能達到相關標準，大數據系統的擴展性能也不能達到最佳狀態。隨著大數據平臺由數據庫平臺向云計算平臺轉化，我國商業銀行的數據分析系統處于商業智能向大數據平臺轉化的風口浪尖，不斷提升大數據平臺架構設計的科學性與合理性，成為廣大設計人員亟需探討的問題[1]。

因此，基于銀行對數據處理需求量巨大的條件下完善銀行大數據平臺架構設計，具有十分重要的意義。目前，學術界已經研發出較為成熟的大數據平臺系統，其中，分布式系統基礎架構Hadoop就是成功的案例，分布式系統基礎架構通過利用多臺廉價的PC機協同提供服務，具有穩定的性能和高速的數據處理能力，受到廣大電商企業和銀行的追捧。隨著時間的發展，分布式系統基礎架構設計技術不斷完善，并在大數據存儲和處理方面得到了廣泛應用，如亞馬遜、Yahoo、阿里巴巴等[2]。

三、分布式大數據平臺的總體架構設計

（一）數據源層

基于Hadoop技術的數據源層設計能夠多種渠道獲得數據源，并能夠通過對數據源的深入分析，促進數據的有效整合，形成后續使用的良好基礎。同時，數據源層對數據的采集能夠通過半結構化、結構化和非結構化的方式進行。其中，結構化的數據采集由銀行總行的數據中心系統、外圍系統和分行的特色業務系統產生的業務數據組成。非結構化和半結構化數據采集由監管機構和第三方機構以及互聯網文字、音頻和視頻等數據信息構成[3]。

（二）數據傳輸轉換層

基于Hadoop技術的數據轉換層主要將數據源層的源數據利用ETL工具導入到數據存儲層中，數據轉換層的主要功能如下：（1）存量遷移：能夠實現對存量數據的同步導入；（2）增量遷移：能夠破解增量數據文件的密碼，并實現轉碼，促進所有數據信息的整合；（3）生命周期管理：能夠實現對舊表數據的清理和新表導入，同時能夠對增量數據存儲進行周期管理；（4）元數據管理：能夠通過后臺管理，形成表結構、聯合主鍵、分區信息加載管理的良好基礎；（5）調用、監控、告警：能夠針對日常數據的加載異常，監控整個加載流程，及時對加載異常報警，確保數據傳輸和轉換能夠持續穩定運行。同時，還能夠促進Hadoop數據資源的合理分配，管理正在執行的任務列表，優先運算任務等級較高的數據[4]。

（三）數據存儲計算層

基于Hadoop技術的數據存儲計算層充分利用HDFS分布式存儲和自身分布式計算的特點，實現了文件分塊和計算機的有機結合，通過將數據計算任務劃分為不同的文件塊，并分派至不同計算機，能夠有效提升數據運算的效率，然后將計算結果匯總，實現對大數據平臺計算能力的拓展，同時，分布式計算適用于大量數據的離線處理過程中。本次基于Hadoop技術的數據轉換層利用Spark技術，能夠通過較小的硬盤資源和網絡資源的占用量，實現對大量數據新系的實時分析，能夠形成科學決策的良好基礎。流處理技術負責處理銀行業務流中產生的數據，實現對生命周期較短數據價值的有效挖掘，促進銀行業務的更好開展[5]。

（四）數據服務層

基于Hadoop技術的數據服務層通過運用強大的數據儲存能力和數據計算能力，實現對大數據平臺結構化數據和非結構化數據的有機整合整合，并能夠發揮數據挖掘功能的價值，應用于以下場景：（1）詐騙偵測：通過對提取異常行為的實時監測，能夠有效降低銀行信用卡丟失和盜刷事件的發生概率，為銀行爭取凍結異常賬戶的時間。（2）風險管理：能夠通過對交易數據的深入分析，構建模擬的市場交易模型，實現對潛在風險的有效評估。（3）客戶分類優化產品：能夠從微觀角度深入了解客戶的實際需求，為客戶提供針對性的產品，提升客戶對銀行產品服務的滿意度，進而為銀行累積更多的客戶和業務量。（4）客戶流失分析：能夠通過對客戶流失原因的深入分析，制定吸引客戶的科學對策，增加銀行的業務辦理數量。（5）情感分析：能夠利用先進的分析工具，通過對客戶的社會交往對象和行為進行分析，了解客戶的實際需求，開發具有個性化的產品。（6）客戶體驗分析：利用客戶的投資組合管理，客戶關系管理，貸款系統，呼叫中心等數據信息，能夠為銀行發展提供更好的前提條件，預測發展前景，構建長期的客戶合作關系。

（五）應用服務層

應用服務層的主要服務內容包含以下幾個方面：（1）數據查詢：能夠實現對日常數據提取和查詢；（2）交互式報表：能夠方便外部應用系統導入導出數據，并為其查詢數據提供方便，同時也具有批量處理報表的功能；（3）指標統計分析：能夠通過定期對指標數據的分析，制定科學的指標數據。

（六）數據管控層

基于Hadoop技術的數據管控層能夠通過對數據管控功能的充分利用，實現數據處理、數據標準化管理、元數據管理、數據生命周期管理和任務調度管理等內容，并將數據監控作為管理數據資源的有效手段，全面提升了數據管理的質量，形成了數據統計的良好基礎。同時，通過建立嚴格的安全管理手段，于不同視角實現了對硬件、軟件和網絡數據訪問的有效防控。

（七）安全管理層

基于Hadoop技術的安全管理層通過在大數據平臺底部設計物理存儲冗余裝置和網絡訪問控制，加強了對大數據平臺的準入管理，有效提升了大數據平臺設計的安全性，避免了數據信息的泄露，促進了大數據平臺的安全運行。

四、銀行分布式大數據平臺架構的實現方案

基于Hadoop技術的大數據平臺架構設計借鑒了分層次設計的理論，依據大數據平臺的服務項目，將平臺合理劃分為不同的模層次，每一層次只能通過層次邊界的接口與上層和下層進行交互，有效避免了跨層交互現象的產生。通過設計分層次的大數據平臺架構，使得各模塊的內部呈現高內聚的現象，模塊之間呈現松耦合的現象，有效提升了大數據平臺的可靠性，拓展了大數據平臺的業務范圍，便于系統的維護。例如：當大數據平臺需要擴容Hadoop集群時，只需在原有數據平臺的基礎上，添加一臺新的Hadoop節點服務器，無需對其他系統模塊做任何變動，具有方便快捷的特點，便于工作人員維護。

本次分布式大數據平臺依據具體職能將數據平臺劃分為五個層次，分別為：（1）運行環境層：運行環境層由操作系統和運行時環境兩部分構成，負責為基礎設施層提供運行時環境；（2）基礎設施層：基礎設施層由Zookeeper集群和Hadoop集群兩部分構成，負責為基礎平臺層提供服務，其中命名服務、分布式文件系統、MapReduce是該模塊的主要工作內容；（3）基礎平臺層：基礎平臺層由HBase、任務調度控制臺和Hive構成，主要負責為用戶網關層提供服務。（4）任務調度控制臺：任務調度控制臺是所有數據調度任務的中心，能夠合理安排數據處理任務的次序和等級，用戶利用任務調度控制臺提交業務，大數據平臺通過Hadoop客戶端反饋數據處理任務的執行結果。為了提升任務調度控制臺的Hadoop集群功能，銀行應自行開發該模塊，從而提升任務調度控制臺的靈活性。HBase是基于Hadoop的列數據庫，能夠為用戶提供數據訪問功能。Hive能夠實現數據查詢功能，用戶能夠利用Hive客戶端提交數據查詢請求，并通過客戶端的UI接口查詢反饋結果。（5）用戶網關層：能夠為客戶提供調用接口并對用戶的身份進行認證，通過利用用戶網關層實現與數據平臺的交互。（6）客戶應用層：通過設計不同的終端應用程序，實現對客戶的優質服務。

五、結語

通過以上研究發現，在基于Hadoop技術設計銀行大數據平臺架構的過程中，通過搭建基于Hadoop技術的分布式大數據平臺，能夠實現數據資源的有效整合。在此基礎上，根據不同的數據應用場景，針對性的優化大數據平臺各模塊的設計，有利于充分發揮大數據平臺的價值。因此，在基于Hadoop技術設計銀行大數據平臺架構的過程中可以應用上述方法。

[1]李平,李強．互聯網金融的發展與研究綜述[J]．電子科技大學學報,2015,44(2)：245-253．

[2]代紅．基于Hadoop的金融智能云平臺分布式架構[J]．遼寧科技大學學報,2016,39(2)：70-90．

[3]劉智慧,張泉靈．大數據技術研究綜述[J]．浙江大學學報：工業版,2014,48(6)：957-972．

[4]孟小峰,周龍驤．數據庫技術發展趨勢[J]．軟件學報,2004,15(12)：1822-1836．

[5]李德有,解晨光．Hadoop構建的銀行海量數據存儲系統研究[J]．哈爾濱理工大學學報,2015,20(4)：60-65．

韓健（1982—），男，北京人，碩士研究生，研究方向：大數據與數據挖掘。