基于Greenplum的金融數據倉庫模型設計與實現

楊銳 張榮榮

摘 ?要：21世紀以來，企業管理日趨現代化、國際化，財務公司作為集團企業的非銀行金融性企業，把握著集團生存的命脈，資金管理水平及效率將直接影響集團企業發展的穩定性。基于此背景，為集團企業的財務公司建立一套完善的金融數據倉庫顯得至關重要，數據倉庫在面對海量的業務數據時，有著安全化、實時化、規范化、智能分析以及預測等諸多優勢。而數據模型在數據倉庫管理工作中發揮交流和分析作用，且能夠確保數據的一致性，實現商務智能的目標。

關鍵詞：財務公司;數據倉庫;數據模型;商務智能

中圖分類號：TP311.13 ? ? 文獻標識碼：A 文章編號：2096-4706（2020）21-0113-07

Design and Implementation of Financial Data Warehouse Model Based on Greenplum

YANG Rui1，ZHANG Rongrong2

（1.Hainan Branch of China Southern Power Grid Co.，Ltd.，Haikou ?570203，China;

2.China Southern Power Grid Digital Grid Research Institute Co.，Ltd.，Guangzhou ?510663，China）

Abstract：Since the 21st century，enterprise management has become more and more modernized and internationalized. As a non-bank financial enterprise of group enterprises，financial companies grasp the lifeblood of the groups survival. The level and efficiency of fund management will directly affect the stability of the groups development. Based on this background，it is very important to establish a set of perfect financial data warehouse for financial companies of group enterprises. In the face of massive business data，data warehouse has many advantages，such as security，real-time，standardization，intelligent analysis and prediction. The data model plays a role of communication and analysis in data warehouse management，and can ensure the consistency of data and achieve the goal of business intelligence.

Keywords：financial company;data warehouse;data model;business intelligence

0 ?引 ?言

隨著近些年的高速發展，南方電網財務有限公司業務趨于繁雜，傳統業務系統已無法滿足日益增長的業務需求，伴隨著企業數據暴增的大數據時代的到來，建立一套完善的大數據分析平臺成為一種必然的趨勢，因此南網金融業務系統應運而生，建立該系統能極大地彌補財務公司各業務系統相互獨立而導致的數據口徑不一致、商業智能化分析難度大、數據報表展示不易、商業化決策難以預測等諸多難題。

本文針對金融數據倉庫做了系統的闡述及架構設計案例分析，適合數倉架構師、數倉模型設計師、ETL開發人員等專業人員閱讀，文中主要對數據倉庫基礎架構、主題域劃分、模型主題釋義、源數據入倉規范、ETL事務處理、模型開發方式方法等進行了專業性的講解。

1 ?研究現狀

1.1 ?財務公司業務現狀

隨著財務公司業務的快速發展，由原來業務單一的核心、信貸等業務系統發展至涵蓋投資理財、資金結算、綜合網銀、外匯、風險預警、商業報表等諸多業務系統，企業數據呈井噴式增漲。

1.2 ?財務公司系統現狀

基于財務公司開展的業務種類，現行系統共分為核心系統、信貸管理系統、客戶管理系統、票據系統、投資管理系統、資金結算系統、業務支撐平臺、外匯業務系統、財務管理系統、風險管控系統，各業務系統相互獨立而又整體統一，共同組成了財務公司的企業數據資源池。

經過長期的業務體系調研與研討，南方電網財務有限公司業務主要劃分為6大域，分別為：A.客戶服務域，B.產品運營域，C.業務支持域，D.風險管控域，E.經營決策域，F.產品管理域，各個域之間相互獨立而又整體統一。南網金融業務系統總體業務框架如圖1所示。

基于以上總體業務框架，該項目總體應用架構設計如圖2所示。

其中的需求重點數據集成平臺采用基于MPP數據庫理論的Greenplum來搭建。

金融數據倉庫模型建模，提前對以銀行業業務為基礎的金融數據倉庫模型和數據標準進行研究，為下一步拓展金融類公司的數據分析與數字化轉型打下良好基礎。模型差異化分析和裁剪：基于數據倉庫基礎模型版本，結合財務公司的業務特征、未來發展方向等因素，完成模型差異化分析和裁剪工作。

2 ?金融數據倉庫實現方法

2.1 ?數據倉庫基礎架構

金融數據集成平臺采用行業通用開源解決方案，基于OGG＼Kafka＼FLink的技術棧，構建基于實時數據及離線數據兩條數據通道，包括數據采集、清洗、加工、緩存、傳輸、回流等功能，為統計分析等系統提供數據支撐服務，同時包括財務公司對數據資產的統一管理相關功能。金融數據集成平臺總體架構如圖3所示。

其中實時數據緩沖處理模塊，數據基本走向如圖4所示。

數據集成平臺通過進行上游不同的系統數據的對接，通過ETL抽取工具進行數據統計，并實現了數據的標準化，數據接入貼源層，通過設計的模型Mapping文檔將貼源層數據接入各個模型表中，形成模型層主題分類。

2.2 ?數據倉庫模型設計規范

2.2.1 ?源表源字段入倉篩選規范

2.2.1.1 ?表級

表級規則如下：

（1）盡量保留粒度比較細的數據;

（2）不保留僅用于流程控制的數據;

（3）不保留中間數據、臨時數據和備份數據;

（4）對于無法識別和對應的數據應盡量完整保留;

（5）原則上不保留冗余數據。

一般不考慮入倉的表：系統控制表、業務流程控制表、為未來業務拓展預留的表、冗余數據表、中間表和臨時表、備份表。

2.2.1.2 ?字段級

以下類型字段，不入整合層：

（1）無分析意義的字段，如加載時間戳、密碼等信息;

（2）業務系統操作流程相關字段，如當前頁號等信息;

（3）計算結果字段，如積數等信息;

（4）未啟用字段;

（5）冗余字段，如賬戶表中的客戶名稱等信息;

（6）非結構化字段，如圖片、語音等信息。

2.2.2 ?主題模型命名規范

主題模型的命名規范包括對邏輯數據模型（LDM）的命名規范和物理數據模型（PDM）的命名規范。主題命名規范如表1所示。

主題命名舉例：協議的分類子主題“T03協議.分類”。

2.3 ?數據倉庫模型設計描述

2.3.1 ?模型概要設計思路

2.3.1.1 ?涉及范圍

本項目納入LDM設計范圍的源系統共10個，源系統清單列表如表2所示。

2.3.1.2 ?設計目標

基礎層設計目標為：

（1）共享性：在基礎層設計時，可實現南方電網財務有限公司業務范圍的涵蓋，以滿足金融機構未來業務發展需求;

（2）可擴展性：實現歷史數據的存放，能夠有效地擴展業務，滿足“上復雜情況，下業務發展”的需求;

（3）穩定性：能夠長時間確保數據模型穩定性，能夠有效解決各種業務問題。當新增源系統入倉或是大量新增源系統表，主題模型依然保持穩定，不會對模型進行大幅度的重構操作;

（4）規范性：在模型設計時，應當使用業務語言，這樣能夠方便業務人員的理解，使得業務人員與IT溝通更加方便。

2.3.1.3 ?設計步驟

在主題模型概要設計時，主要分為以下幾個步驟，以優化形成概要設計說明書：

（1）數據準入：對源系統數據入各主題的原則和范圍進行確定;

（2）劃分數據：對各主題主實體的標準及方法進行確定，并劃分主實體的建設數據類型，確保分類標準統一，以方便理解;

（3）ID生成：對編號的生成規則進行制定，并根據源系統生成相應的字段、預留出足夠長度;

（4）數據整合：收集各源系統的主數據，包括機構、產品和當事人等數據。同時，掌握業務數據（包括當事人、協議）之間的關系;

（5）數據處理：對主題歷史信息進行確定，以便人們進行歷史追蹤;

（6）例外處理原則：當各主題有需要特殊處理說明時，可以在此原則中標識出來。

2.3.2 ?模型主題描述

主題是業務某一方面信息的反映，并概括業務數據（包括產品信息、客戶信息、協議信息）等等方面的需求。本項目的主題采用神州數碼FS-LDM的10個主題，并根據信息調研的情況對主題進行裁減，主題域和主題域的關系如圖5所示。

2.3.2.1 ?當事人

此當事人主要是指金融機構所服務的一個人或者一組人，包括個人或公司客戶、代理機構、部門等。一個當事人可扮演許多角色，且他們之間關系密切，如南方電網財務有限公司機構與管理機構、上下級之間和企業之間、企業與個人、在模型中可體現這些信息。

2.3.2.2 ?產品

產品是南方電網財務有限公司及其關聯的當事人提供給市場、能單獨銷售并滿足客戶的某種需求，可以從中賺取各種實際或潛在收入的有形商品或無形服務。

2.3.2.3 ?協議

此協議是金融機構結合客戶的需求而簽訂特定產品或服務的契約，雙方就相應的條款和條件達成了協議，此協議由卡賬戶、貸款合同、存款和貸款賬戶等部分組成。

2.3.2.4 ?資產

此當事人資產主要是對南方電網財務有限公司的客戶資產進行描述。客戶在申請購買某項服務時，機構要先掌握客戶的資產負債情況，并優選相應的資產作為擔保，為南方電網財務有限公司實現擔保與風險管理。

2.3.2.5 ?內部機構

內部機構作為金融機構或者法人機構的內部組織機構。此概念較為寬泛，它也是機構的重要組成部分，分為不同的機構和部門和功能團隊。

2.3.2.6 ?渠道

渠道是對事件發生時，南方電網財務有限公司和客戶進行交互的方法進行描述。作為接觸點，雙方通過各種接觸，如購買產品、使用服務進行交流。并且，可進行渠道信息的保存，方便金融機構與客戶之間的交易，實現各種成本的計算，以提高溝通效率。

2.3.2.7 ?事件

事件主要描述了南方電網財務有限公司與客戶之間的交易活動，它記錄了詳細的行為和交易數據。可能涉及賬戶、資金，也可能與這些無關。通過事件主題，掌握好客戶的使用渠道和交易類型、金額、事件及服務員工等。

2.3.2.8 ?地理區域

地理位置是對金融機構的地址信息和地理區域進行描述，包括國家、省份、城市、縣、鄉等。地理區域主題包含不同層次的信息，如“地理位置”“具體地址”和“地區”等。該主題關系以內部組織機構、營銷活動等內容為主題，且地址多樣，一個當事人可擁有多個地址。

2.3.2.9 ?營銷活動

營銷活動是為樹立財務公司形象、擴大市場份額而開展的活動。營銷主題主要由制定營銷策略、實施營銷活動、反饋營銷活動，并做出相應評估等部分組成。

2.3.2.10 ?財務

財務主題與財務公司的總賬系統相對應，是對南方電網財務有限公司的科目組成、賬務、余額變動進行描述，且也包括了預算管理內容，以滿足不同科目組織體系的需求。

2.4 ?模型工作開展

本項目模型開發工作主要涉及源系統數據收集、表級分析、字段級分析、模型設計等相關工作，詳細步驟如圖6所示。

本項目模型中涉及的表級調研工作主要以數據驅動的方法來確定表是否入倉，入倉和不入倉的原則如圖7所示。

本項目模型涉及字段級分析是否入倉部分，主要從7部分來考慮，如圖8所示。

本項目數據模型設計步驟主要涉及前期準備，交流研討，信息調研，統一設計規范和模型設計五部分，各個流程關系如圖9所示。

2.5 ?金融數據倉庫的系統實現

通過對各個上游業務系統數據，進行ETL標準化之后，統一進行模型的設計，按照不同主題來劃分協議、當事人、產品、時間、內部機構等相關主題。根據上述模型主題，分別建立相應的邏輯數據倉庫模型，并通過模型設計工具對各個模型主題涵蓋的內容進行報表定義，開發人員只需要對接模型層表即可開發報表。簡化了報表開發流程，并提高了報表開發的工作效率及質量。

2.6 ?數據倉庫實現方法

2.6.1 ?報表開發的底層數據支持

為報表開發提供數據支持，降低報表開發難度，為業務人員分析業務數據及領導層進行經營決策提供動態數據支持。

2.6.2 ?業務系統數據共通與口徑統一

將各業務系統所產生的業務數據通過金融數據倉庫緊密聯合在了一起，打破了數據壁壘，提高了數據利用率并降低了業務數據使用困難度，為財務公司大數據價值提取提供了基礎。

3 ?優點

金融數據倉庫模型體系具備行業的先進性，可在本項目的實踐驗證。

3.1 ?全面性

根據財務公司業務現狀，結合財務公司未來業務發展，數據倉庫模型可滿足以下指標：

（1）上游業務系統對接：完成包括核心、票據、資金、結算、信貸等業務系統的源表和模型的映射工作;

（2）下游數據應用覆蓋：滿足下游報表、管理駕駛艙、監管報送所需要的接口數據需求;

（3）數據倉庫模型業務主題全面，包括十大主題內容。

3.2 ?整體性

數據倉庫模型體系設計項目過程，具備規劃、調研、客戶化裁剪、培訓的完整過程為：

（1）完整的數據倉庫模型設計方法論;

（2）完整的分析資本體系設計方法論。

3.3 ?可操作性

數據倉庫模型體系設計的方法和成果，具備可操作性主要體現在：

（1）結合金融數據倉庫模型進行操作，以確保數據模型的先進性;

（2）包括數據倉庫模型的規劃、模型設計方法論、模型落地方法論等內容。

3.4 ?可落地性

數據倉庫模型體系設計階段參考金融同業的成功經驗，匹配財務公司業務特征，保證數據倉庫模型的可落地性。

3.5 ?擴展性

數據倉庫模型在設計層面，考慮擴展性要求，包括以下幾點：

（1）數據倉庫主題邏輯模型和物理模型，支持按照實際業務需求調整模型內容;

（2）數據倉庫模型支持在上游業務系統、下游數據需求發生變化的時候有必要的調整機制，做出模型的適應性修改。

4 ?結 ?論

數據倉庫模型體系是數據類項目的一個重要組成部分，新建設的數據倉庫模型體系可提升南方電網財務有限公司的業務創新能力、內部管理能力、風險控制水平、以及經營管理水平。

參考文獻：

[1] 李妍.數據倉庫的數據建模技術 [J].科技和產業，2005（11）：21-23.

[2] 莊琴生.以E-R模型為基礎構造數據倉庫的概念模型 [J].計算機工程與應用，2004（10）：195-197+200.

[3] 王珊.數據倉庫技術與聯機分析處理 [M].北京：科學出版社，1999.

[4] INMON W H，HACKATHORN R D.Using the Data Warehouse [M].Hoboken：Wiley，1994.

作者簡介：楊銳（1982—），男，漢族，海南文昌人，綜合部經

理，經濟師，政工師，本科，研究方向：經濟、金融、數字金融;張榮榮（1984—），女，漢族，湖南常德人，財金應用產品高級工程師，信息系統項目管理師，本科，研究方向：IT項目管理、需求分析。