孫建平
農業銀行緊跟時代發展的方向,以建設“讓數據說話、用數據治行”的生態環境為目標,依托大數據平臺整合全行數據,持續完善數據管控機制,逐步開創出一條農業銀行的數據共享服務之路。
創新共享 特色大數據平臺
農業銀行自2013年啟動大數據平臺建設以來,遵循“統籌規劃、頂層設計、共享復用、分步實施”的建設思路,搭建了強大、穩定、可擴展的基礎運行環境,入庫了海量數據,為數據融合共享提供了數據基礎。
第一,搭建了自主可控的大數據平臺。在信息技術“自主可控”的戰略背景下,農業銀行在國內首次實現了大型金融商業公司大數據平臺基礎軟硬件的全部國產化,在同業中率先采用開放式PC Server集群為硬件基礎,以“MPP數據庫+Hadoop平臺”混搭結構的方式構建了企業級大數據平臺。
依托近千節點的MPP+Hadoop集群環境,農業銀行已經具備了PB級結構化數據處理、EB級非結構化數據處理以及實時流數據處理的能力,在業界處于領先地位;基于MPP數據庫大規模分布式并行計算的優勢,1000億行以上的大數據量表做復雜分析運算達到了分鐘級響應;在每日1TB數據增量、月末2TB數據增量的壓力下,大數據平臺可以穩定保持T+1的批量處理能力,為大數據的共享應用提供了強大系統保障。
第二,入倉、整合了海量數據。銀行的數據主要來自于核心業務系統、賬務核算系統、渠道交易、客戶營銷和流程審批等系統,但單獨一個系統的數據稱不上數據資產,必須再整合所有的數據,形成統一的業務和客戶視圖才可稱之為資產,其整體才能構成大數據。……