證券公司的數據中心建設研究

背景:隨著全球經濟一體化市場環境的逐步形成，面對國際、國內的競爭環境，如何利用信息技術手段強化業務管理水平，控制經營風險已是證券行業所面臨的一個重大課題。另一方面，2007年5月的中美經濟戰略對話會議中，我國將允許外資證券業投資者和從業人員通過合資等方式從事我國的證券經紀，自營和資產管理等業務。對于我國證券公司來說，如何有效的利用現有資源應對國內外復雜環境下的競爭成為當前緊迫的任務之一。

我國證券公司的現狀分析:我國各個證券公司經過十余年的信息化建設，先后建立了OA系統、集中交易系統和風險控制等信息系統，各個業務部門也分別建立了一批與本部門業務相關的信息系統，如計劃財務部的財務系統、登記結算中心的法人清算系統、資產管理部的集合理財管理系統以及經紀業務部的CRM系統等。這些信息系統的建設大大提高了工作效率，實現了公司內部主要業務的自動化、規范化管理，為提高管理水平和公司運作效率起到了重要的推動作用。

然而，隨著信息系統的運行而積累了大量的歷史數據，目前的各類信息系統中，對于該類數據資源的利用明顯不足，信息孤島現象十分明顯。主要表現有：

數據資源不能共享，給數據挖掘和決策分析帶來一定的難度。各部門之間的數據資源不能互通，造成各個業務系統相對孤立和無序。歷史數據不能充分利用，大量數據資源處于閑置和浪費的狀態。如何有效的利用它們，使之能夠為企業創造直接或間接效益值得深入探討。本文認為，通過建設切合實際而有效的證券公司企業級數據中心將能有效的解決這一問題。

一、證券公司中的數據中心

1.數據中心的定義和特點。在企業管理集約化、精細化的需求下，企業為了優化業務和管理流程而進行信息系統的數據集中。數據中心是企業數據集中的載體和的支持平臺，是實現數據集中的必要手段。數據中心在企業中根據其發展成熟程度的不同主要分為以下四個階段。首先是企業的存儲中心，以單服務器存儲企業總體數據為其特點，隨著企業管理復雜程度的發展逐步演變成為企業數據處理中心。當簡單的計算不能滿足企業要求時，數據中心必須面向業務，面向應用即企業業務和應用中心。最高一級的數據中心是企業的運營中心。根據相關IT咨詢機構的調查和統計，目前國內企業的數據中心建設主要還處在數據應用中心為主這一階段，但是像運營服務中心和提供服務的需求呈明顯上升的態勢。

2.證券公司數據中心的設計思想。數據中心建設的目的是能夠容納證券公司所有的業務數據和管理數據，并且對其實施管理，搭建起各信息孤島之間的橋梁，實現證券公司業務數據的大集中。從而解決數據整合問題和實現知識共享。通過數據共享，打破部門邊界，支持公司級決策，為企業級管理應用系統、PORTAL等應用提供數據支持，并可方便地作為數據倉庫等再開發項目的數據源。

證券公司數據中心的最終目標是有效地支持證券公司現有的以及未來的管理和決策應用。要建立一個有效的，符合企業實際情況的數據中心需要做到以下一些原則：實用性和先進性相結合的原則：數據中心本身是一種先進的，嶄新的管理哲學，而企業實施數據中心是作為一個項目展開的，需要取得實效和投資回報。

重點突出、分步實施的原則：數據中心的建設應該有明確詳細的規劃作為指導，需要注重時效，突出重點需求。應該優先解決證券公司中關鍵部門和關鍵業務對數據中心的需求。可靠性和安全性原則：作為金融行業企業，證券公司對于信息系統的可靠性和安全性有著較高的要求。信息系統可能存在的風險是證券公司風險控制的一個重點。另一方面，數據中心由于承擔全企業數據處理的重任，維系著整個企業各個業務系統的正常運轉，因此數據中心系統的可靠性和安全性建設是重中之重的問題。

二、數據中心系統設計方案框架

根據前文中所描述的證券公司數據中心的設計特點和設計原則，結合證券公司實際的系統架構和業務情況，得到如下的總體設計框架。數據中心系統主要由四大模塊組成：采集中心、處理中心、數據網關和控制中心。

圖 數據中心設計架構圖

1.采集中心。數據采集部分主要完成從數據源采集數據，傳輸并存入數據中心的主數據庫。在證券公司業務系統框架下，它主要采集各個業務子系統數據源中的原始數據，并完成數據傳輸和記錄等任務。考慮到證券行業的數據特點，數據采集系統應考慮以下幾點：

數據采集不能影響業務系統的正常運行。采集得到的數據是公司的關鍵數據，必須保證數據采集、傳輸的安全性。需要有保證數據完整性及可靠性的手段。隨著公司業務的擴展及信息技術的更新，數據采集量和數據源種類將會不斷增加，需要充分考慮維護人員的工作量，提供簡單易用的擴展手段及日常維護工具。

2.處理中心。處理中心部分完成數據的規整、轉換以及一些數據預處理功能。包括文件接收、數據入庫、轉換、清洗和裝載等過程，其核心部分就是ETL。處理中心同時也是整個數據中心體系中的核心部分。

ETL是指數據抽取、轉換、清洗和裝載的過程。它是構建數據中心的重要一環，數據中心從原始層抽取數據，按照預先設計好的規則將抽取的數據進行轉換、清洗，以及處理一些冗余的、歧義的數據，使本來異構的數據格式能統一起來；最后把這些轉換完的數據按增量或全部的導入到數據中心的核心層中。ETL通常采用以下步驟實現：

數據提取：捕獲源數據的過程。有完全復制和增量復制兩種主要方法：數據清理：清理有效數據，使之更精確更有意義的過程。數據清理包括下列任務：

（1)合并數據源中相關的數據；（2)數據轉換和同步；（3)數據類型和格式的轉換；（4）用于不同目標表的數據分離或從完整的流水數據中分離出異常的數據。

數據集成：數據集成是將多個數據源聯合成一個統一數據接口來進行數據分析的過程。對于證券公司來說，數據分布在多個系統中，因此，數據集成的規則可能相當復雜，數據轉換邏輯和算法必須要切合實際的業務規則。集成結果通常生成新的數據實體或屬性，使數據變得易于終端用戶進行訪問和理解。

數據聚集：收集并以總結形式表達信息的過程。數據聚集通常是以業務報表的形式出現的。

數據裝載：是 ETL 過程的最后步驟，即將數據移入目標表。

3.數據網關。數據網關是應用系統和數據中心之間的封裝層，其目的就是為應用系統提供數據支持，應用系統必須通過數據網關才能獲取數據中心中存儲的數據。它的核心功能包括：

封裝隔離功能、數據服務功能、安全認證功能。

4.控制中心。控制中心主要用來對數據中心內部各模塊的正常運行提供支持。主要包括任務管理、日志管理、認證服務、數據庫密碼服務器、消息管理、系統監控和系統維護等功能。控制中心時應該能夠做到以下幾個方面：

獨立性：控制中心的運行狀態不應受被監控模塊的運行狀況的影響，也不應受數據庫運行狀況的影響；及時性：系統應及時處理各種監控信息，實時報告各系統的運行情況；可恢復性：因系統異常，如機器掉電而出現系統重啟后，系統應能恢復退出時的狀態，并繼續處理尚未處理的工作，因此要求系統有一定的序列化的功能。

三、結論

在證券公司中引入數據中心建設，可以對證券公司的業務數據進行集中，在此基礎上全面整合這些數據，為總部各應用系統提供統一而清潔的數據支持。通過數據中心可以提高證券公司總部各應用系統的處理效率，還可以加強對各分支機構的集中管理，節約證券公司行政管理和風險控制的管理成本，提高證券公司的創新能力，為證券公司的發展保駕護航。

參考文獻:

[1]孫九林黃鼎成:我國科技數據管理和共享服務的新進展. 世紀會計研究與發展，2005，Vol. 24 No. 5，15～19

[2]雷朋才:省級國土資源數據中心的建立與應用.地礦測繪，2005，21（2）:4～7

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。