證券公司經營管理數據倉庫建設

[摘 要] 本文分析了證券公司經營管理數據的特點，構建了證券公司數據倉庫體系結構模型，具體介紹了證券公司數據倉庫的建設步驟，從分析主題確定、維度邏輯模型設計、物理模型設計、ETL設計等幾個方面詳細闡述了該系統的設計過程。

[關鍵詞] 證券公司;經營分析;數據倉庫

doi : 10 . 3969 / j . issn . 1673 - 0194 . 2010 . 06 . 036

[中圖分類號]F270.7;TP311.132 [文獻標識碼]A [文章編號]1673 - 0194(2010)06 - 0088 - 03

數據倉庫技術是當今業界流行的數據庫技術，能夠幫助用戶對數據進行加工處理，發現其內在的規律性，幫助決策者指導企業決策和發掘企業的競爭優勢。證券公司目前已建成證券柜臺集中交易系統、證券行情系統、證券清算系統、客戶管理系統等眾多信息系統，這些系統在證券公司的日常運營管理中發揮了重要的作用。但是這些系統都是面向底層的業務處理，不能對中高層的決策支持提供幫助。因此有必要采用數據倉庫技術對數據進行整合，搭建集OLAP、數據挖掘于一體的數據分析環境，充分利用這些信息，為證券公司的經營管理層提供直觀、高效的決策依據，促進企業的發展。

1 證券公司數據倉庫結構模型

通過對證券公司經營模式的深入調研，我們得出證券公司經營情況數據倉庫的體系結構模型，如圖1所示。整個體系結構共分4層:數據層、數據轉換層、數據倉庫(數據集市)層、應用層。

數據層主要包括各種業務系統的數據，主要業務系統有:柜臺交易系統、證券清算系統、證券行情系統、客戶營銷系統等。

數據轉換(ETL)層主要實現從數據層抽取(Extraction)、數據清洗(Cleaning)、數據轉換(Transformation)、數據加載(Loading)。正是通過數據轉換層，實現了從細節級、輕度綜合、中度綜合直至高度綜合的企業級全局數據倉庫。

最終用戶通過OLAP(聯機分析)和數據挖掘等的分析引擎，可以圍繞某個主題進行不同角度、不同層次的OLAP分析，從而得到各類分析報告，解決決策支持需要;還可以通過數據挖掘的各種功能實現經營業績預測、客戶交易行為預測、客戶關系分析等。

我們選擇SQL Server 2005作為數據庫平臺，ETL在DTS的基礎進行二次開發，多維分析引擎選擇SQL Server Analysis Service。

2 設計數據倉庫

證券經營數據倉庫是在現有的各業務信息系統的基礎上進行開發的，它著眼于有效地提取、綜合、集成和挖掘已有的數據庫資源，服務于決策分析的需要。數據倉庫系統的開發是一個不斷循環、反饋而使系統不斷完善的過程，在整個開發過程中自始至終都需要業務人員、分析人員、技術人員的共同參與和密切合作。根據證券公司的特點，本數據倉庫的開發包括以下幾個步驟:

2.1 分析主題的確定

數據倉庫是面向分析主題進行數據組織的。每個主題對應著某一個宏觀分析領域所設計的分析對象，是針對某一決策問題而設置的。

在對證券公司經營決策需求進行充分調研的基礎上，本數據倉庫確定了交易傭金收入、客戶組成情況、客戶開發情況、客戶交易量分析、客戶保證金情況等幾個分析主題。

2.2 維度模型設計

在確定分析主題之后，需要對主題包含的信息進行詳細的定義。利用維度建模的方法進行數據建模，選擇一種數據模型對相關主題的事實表和維度表的關系詳細定義，使其能夠有效地組織數據倉庫中的數據。

維度模型一般有兩種不同性質的表:事實表和維度表。事實表是維度模型的基本表，存放業務性能的度量值;維度表是進入事實表的入口，提供觀察度量值的角度。基于證券公司數據倉庫系統的響應速度、復雜性和系統的維護工作量等方面的考慮，在實施數據倉庫系統的建設時，采用星型模式來表達事實表和維度表之間的邏輯關系。

確定模式之后，必須確定系統的分析粒度。粒度是維度劃分的單位，體現數據單元的詳細程度和級別。數據越詳細，粒度越小，級別越低，數據量越大;數據綜合程度越高，粒度越大，級別越高，數據量越小。

證券公司經營情況數據倉庫的維度模型(部分)如圖2所示。

2.3 物理模型設計

物理數據模型主要解決如何組織和存儲數據，以滿足系統處理的要求。建立物理模型是一個從邏輯模型向更加具體的、依賴于系統和數據庫平臺的物理形式轉化的過程，主要包括事實表設計、維度表設計、數據分區、索引排序設計、完整性約束設計、視圖設計等方面。

由于證券客戶交易數據量龐大，所以我們采用按照時間進行分區存儲。為了加快系統的響應速度，對于訪問頻繁而記錄少的維度表(比如時間維表、客戶類型等各種代碼表)設計為高速緩存表，讓數據在首次讀取時駐留在系統內存中。

2.4 ETL系統設計

ETL是構建數據倉庫的重要環節。ETL子系統由5個模塊組成:系統調度模塊、元數據管理模塊、數據抽取模塊、數據轉換模塊和數據裝載模塊。其中，數據抽取模塊負責將業務系統的原始數據進行抽取并保存到臨時數據庫中;數據轉換模塊負責對抽取出來的數據進行清洗、轉換和計算匯總;數據裝載模塊負責將經過清洗、轉換的、符合目標數據模型的數據裝載到目標數據庫中。以上3個模塊的活動由系統調度模塊統一調度，結合元數據管理模塊對整個ETL過程進行統一控制，用以實現ETL各步驟的定時觸發、正常執行和異常控制等過程。

3 總 結

證券公司經營數據倉庫提供了綜合的、面向分析的環境，為證券公司各個部門經營決策者的科學決策提供了信息基礎。在本數據倉庫的基礎上，可以運用OLAP聯機分析處理工具支持用戶進行多維的分析，提供多角度的查詢分析、預測和制作動態圖表，從而達到幫助用戶輕松、有效完成信息分析的目的。同時依托本數據倉庫，通過數據挖掘，還可以構建決策支持系統，為決策者提供準確、完備的信息支持。

主要參考文獻

[1] W H Inmon. Building the Data Warehouse[M]. 3rd Edition. New York:John Wiley Sons Inc，2002.

[2] 王駿. 構建數據倉庫實例[J]. 計算機工程與設計，2006(10).

[3] 王海峰. 一個數據倉庫建模工具的設計與事項[J]. 計算機工程，2005(13).

[4] 袁然，王誠梅. SQL Server 2005 中文版經典實例教程[M]. 北京:電子工業出版社，2006.

[5] 張嫻. 數據挖掘技術及其在金融領域的應用[J].金融教學與研究，2003(4).