張杰
摘 要 商業銀行的數據是商業銀行寶貴的財富,這些未經加工的數據并不能滿足商業銀行的需要。因此,通過數據倉庫技術對商業銀行的數據進行有效的整合是一項重大的系統工程。本文以作者參與的中國建設銀行數據倉庫系統為依據,探討了數據倉庫的實施流程、模型,總結了實施時要注意的問題,積累了倉庫建設的一些經驗。利用數據倉庫技術成功整合商業銀行數據成功的關鍵是要做好基礎數據的準備工作。基礎數據的質量好壞直接決定了數據倉庫系統工程的成敗。另外還要做好后續的管理工作。
關鍵詞 商業銀行 數據倉庫 數據模型
中圖分類號:TP311.13 文獻標識碼:A
1實施策略
2003年中國建設銀行制定了《中國建設銀行科技應用總體規劃》,確定了項目群實施規劃、數據倉庫和管理信息系統實施規劃。規劃中明確了建設銀行的目標應用體系架構、技術架構以及項目實施路徑等,規劃出未來5-10年建設銀行信息化發展戰略。規劃旨在為建設銀行業務新一輪改革發展提供有力支撐,不斷提高建設銀行的盈利能力。
為實現這一戰略目標,建設銀行以數據集中為前提,通過數據倉庫為基礎,通過信息管理平臺持續開發客戶分析管理、資產負債管理等應用,使建設銀行信息化水平和內部管理水平走上新臺階。其中數據集中和數據倉庫的建設是關鍵步驟。
2Teradata FSLDM客戶化
2.1 FSLDM簡介
Teradata FSLDM是預先構建的邏輯數據模型,利用它可以直接開始數據倉庫模型設計。它是一個純粹的邏輯數據模型,可以運行在任何數據庫和平臺上,與Teradata數據庫無關。
2.2客戶化策略
客戶化方法論可以概括為自底向上、從頂至下以及自底向上和從頂至下的聯合使用。下面我們簡要對這幾種方法進行一下對比和分析,主要從策略、過程等方面的特點來決定到底采用何種方法進行開發。
首先,自底向上法是指先從較下層設計開始,也就是說去解決問題的各個不同的小部分,然后把這些部分組合成為完整的應用。這種設計方法主要是要根據系統功能要求,從具體的邏輯部件或者相似系統開始,憑借設計者熟練的技巧和豐富的經驗,通過對其進行相互連接、修改和擴大,構成所要求的系統并保證系統功能的實現。從設計成本和開發周期來講,自底向上法一般優于自頂向下法,但是由于其設計是從最底層開始的,所以也存在難以保證總體設計的最佳性的問題,一般適用于探索性的開發項目。在銀行建設數據倉庫,自底向上策略一般是從某個數據倉庫原型開始,選擇一些特定的為企業管理人員所熟知的管理問題作為數據倉庫建設目標。該策略的主要優點在于能夠以較小的投入在短時間內取得局部成果。
結合銀行業務特點,一般來講,按照數據倉庫的思路建設信息決策系統已經有一定的先例和成功經驗可以借鑒,不應該算作探索性嘗試,而是目標明確、長期規劃的建設過程,所以應該采用從頂至下的方法進行。也就是說,在開發前就已經具備數據倉庫的系統定位、實現目標、應用范圍等內容,這種策略對開發人員的開發經驗要求和管理層、建設者的預期目標明確程度都有非常高的要求。
實際上,在許多數據倉庫設計過程中,是混合使用從頂至下法和自底向上法的,因為這樣可能會取得更好的效果。從銀行來講,主體策略采用從頂至下法,在一些局部的、不熟悉的領域,采用自底向上的方法進行一些探索性的嘗試,以積累經驗、規避風險,這樣的組合應該是理想而明智的選擇。
2.3 FS-LDM主體結構
Teradata FS-LDM在某銀行客戶化改造覆蓋了11大主題區域,包括團隊、資產、財務、營銷活動、協議、渠道、事件、內部結構、產品和地域等。
3具體實施策略
在某銀行Teradata FS-LDM客戶化的具體實施過程中,采取的是分重點設計主題、自主設計主題、簡化設計主題等不同類別,根據每種類別的特點和目標來分別制定有針對性實施策略的原則。
4在某銀行的BANK-LDM 管理界面
某銀行建立了專門的平臺管理LDM,在這個平臺界面上可以對LDM進行詞法分析、關聯實體分析、父子實體分析等操作,LDM的開發和維護人員可以通過IE瀏覽器改元數據管理平臺,對自己負責的相關模型進行查詢和分析。
數據倉庫在初期建設時還沒有到考慮模式優化問題的時候,因為此時不僅數據量少,而且加載的應用也少。但是,隨著應用的推廣,數據量不斷加大,應用不斷增多,不斷會爆出空間效率等問題,必須后期進行調整優化,可以優化邏輯模型,也可以針對物理模型優化。在實踐中,我們發現充分事前的設計和實施中的不斷改進,邏輯模型在項目完成時可優化的范圍小,通常集中于協議、事件等主體。后期我們已物理模型優化為主。
物理模型優化的原則主要是一要結構層次一致性、二要結合具體運行環境、三要針對Teradata的特點。
邏輯模型設計是基于三范式的分層結構,這樣可以保證模型的靈活性和穩定性,但與此同時可能產生大量關聯表,優化時需要考慮精簡。另外通過腳本相關算法的優化以及調度機制的優化,提高運行效率,從整體上縮短倉庫運行的時間窗口。
據上述目標原則,物理模型優化主要通過數據冗余和數據清理、拆分以及針對Teradata性能優化來實現。在進行腳本優化時要先優化關鍵腳本,腳本優化要注意與物理表結合。優化完成后需要進行測試工作,保證優化不改變應用正常應用,也可以驗證優化效果。優化盡量選擇在倉庫的非主要運行日進行,避免資源緊張對正常運行造成干擾。
參考文獻
[1] 鄭承滿.數據倉庫技術在商業銀行中的應用與發展趨勢[J].中國金融電腦, 2012(07).
[2] 馮健文,林璇.基于ODS的數據倉庫模型研究[J]. 微計算機應用,2012(04).
[3] 楊俊生.淺議商業銀行數據倉庫的邏輯數據模型設計[J].華南金融電腦,2011 (06).
[4] 宋衛林,徐惠民.數據倉庫的樣本模型[J]. 計算機工程與設計,2012(02).