現(xiàn)代商業(yè)銀行數(shù)據(jù)管理與應(yīng)用綜合規(guī)劃

摘要：在當前的商業(yè)環(huán)境中，IT的重要性與需求隨著經(jīng)濟全球化的發(fā)展與日俱增，越來越多的關(guān)聯(lián)商業(yè)應(yīng)用都部署在各種在線的IT系統(tǒng)中，維系這些應(yīng)用的IT基礎(chǔ)資源架構(gòu)也在不斷地膨脹和增長。對于商業(yè)銀行來說數(shù)據(jù)量大，數(shù)據(jù)要求嚴格，數(shù)據(jù)應(yīng)用頻繁，數(shù)據(jù)存儲時間長等是其對數(shù)據(jù)的主要要求。因此，嚴格的數(shù)據(jù)管理，安全的數(shù)據(jù)完整性和可用性，所承載的是金融企業(yè)的外在形象，公眾信心，法律合規(guī)等內(nèi)，外的一系列艱巨的任務(wù)。為了適應(yīng)商業(yè)銀行海量數(shù)據(jù)的應(yīng)用和存儲需求，本文提出了一種將數(shù)據(jù)倉庫與數(shù)據(jù)歸檔相結(jié)合的綜合型系統(tǒng)規(guī)劃方案。該方案目的在于綜合倉庫和歸檔系統(tǒng)的優(yōu)勢，解決倉庫單純橫向規(guī)劃系統(tǒng)而不能將海量數(shù)據(jù)作為歸檔數(shù)據(jù)使用的不足，以及歸檔系統(tǒng)單純以數(shù)據(jù)的生命周期存儲為目的不能及時為商業(yè)分析提供綜合數(shù)據(jù)的不足。

關(guān)鍵詞：數(shù)據(jù)倉庫；數(shù)據(jù)歸檔；數(shù)據(jù)生命周期；系統(tǒng)架構(gòu)

隨著全國城市商業(yè)銀行的進一步改組，城市商業(yè)銀行已經(jīng)突破區(qū)域經(jīng)營的局限性，逐漸淡化地方城市銀行色彩，這就造成企業(yè)規(guī)模和交易數(shù)量的急劇膨脹，相應(yīng)地，在這樣的機遇之下，也為銀行的數(shù)據(jù)管理和應(yīng)用帶來了一定的壓力。從數(shù)據(jù)的應(yīng)用角度來講，為了滿足海量數(shù)據(jù)的數(shù)據(jù)分析，市場挖掘等應(yīng)用需求，各家商業(yè)銀行普遍上線使用了數(shù)據(jù)倉庫系統(tǒng)，通過從銀行的各個業(yè)務(wù)系統(tǒng)中進行數(shù)據(jù)的抽取，清洗，轉(zhuǎn)換，形成統(tǒng)一的存儲格式，為業(yè)務(wù)的進行提供統(tǒng)一的，綜合性的決策性統(tǒng)計數(shù)據(jù)。而從于數(shù)據(jù)的管理角度來看，不斷增加的業(yè)務(wù)數(shù)量和業(yè)務(wù)種類，大大增加了銀行交易系統(tǒng)的運行負擔。為了保持生產(chǎn)系統(tǒng)的穩(wěn)定性，需要定期對生產(chǎn)數(shù)據(jù)進行轉(zhuǎn)移清理，在轉(zhuǎn)移生產(chǎn)數(shù)據(jù)的同時，即保證數(shù)據(jù)的可還原性和安全性，又要求在數(shù)據(jù)轉(zhuǎn)移的同時不影響交易的正常進行，多數(shù)銀行選擇對生產(chǎn)數(shù)據(jù)進行轉(zhuǎn)移備份，或者以數(shù)據(jù)倉庫當做歸檔系統(tǒng)，歷史數(shù)據(jù)全部導入倉庫之中。由此我們提出三點疑問：1，數(shù)據(jù)倉庫是否能夠替代歸檔系統(tǒng)，既突出數(shù)據(jù)的統(tǒng)一性，又保持數(shù)據(jù)的原樣性。2，數(shù)據(jù)備份是否能滿足歷史數(shù)據(jù)的可用性，能否使用自動化歸檔系統(tǒng)加以改善。3，在第二點的基礎(chǔ)上，數(shù)據(jù)倉庫和歸檔系統(tǒng)兩者雖然都是針對數(shù)據(jù)進行操作的，但只能分別進行部署，數(shù)據(jù)冗余大，資源浪費嚴重。如果能夠?qū)?shù)據(jù)的應(yīng)用與管理進行綜合規(guī)劃，那就既滿足了數(shù)據(jù)的應(yīng)用要求，又滿足了數(shù)據(jù)的管理要求，使二者進行有機結(jié)合，是符合商業(yè)銀行長遠發(fā)展要求的。

1數(shù)據(jù)倉庫

作為銀行決策分析的重要數(shù)據(jù)綜合分析系統(tǒng)，數(shù)據(jù)倉庫為商業(yè)銀行提供了一個面向主題的，集成的，穩(wěn)定的，隨時間變化的數(shù)據(jù)集合。其特點包括：1，數(shù)據(jù)存儲量大。為了對商業(yè)銀行的整體經(jīng)營情況進行分析，倉庫中存放了大量來源于各個交易系統(tǒng)中的數(shù)據(jù)，包括核心系統(tǒng)，信貸系統(tǒng)，中間業(yè)務(wù)系統(tǒng)等主要業(yè)務(wù)系統(tǒng)，對這些源數(shù)據(jù)進行加工整合得到經(jīng)營者所需的業(yè)務(wù)數(shù)據(jù)。2，面向主題。面向主題的數(shù)據(jù)組織方式，就是在較高層次上對分析對象的數(shù)據(jù)進行完整，統(tǒng)一，一致的描述，能夠刻畫各個分析對象所涉及的各項數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系。3，集成性強。倉庫中儲存的數(shù)據(jù)是從原來分散的各個子系統(tǒng)中提取出來的，而不是單純的拷貝。數(shù)據(jù)在進入數(shù)據(jù)倉庫之前必須經(jīng)過綜合，計算，分析處理。倉庫的每一個主題所對應(yīng)的源數(shù)據(jù)必須轉(zhuǎn)換成全局統(tǒng)一的定義，消除不一致和錯誤的地方。

對于數(shù)據(jù)倉庫，我們所關(guān)心的是：通過什么樣的源數(shù)據(jù)能夠提供我們希望得到的分析數(shù)據(jù)。從這個角度上來講，數(shù)據(jù)倉庫的基本架構(gòu)流程可以看成是數(shù)據(jù)流入，流出的過程，由此它的架構(gòu)就可分為三個主要的層次：源數(shù)據(jù)的抽取，數(shù)據(jù)倉庫的處理，以及數(shù)據(jù)的應(yīng)用。從而，數(shù)據(jù)倉庫的基本架構(gòu)如圖1-1所示。

通過以上對數(shù)據(jù)倉庫的特點和架構(gòu)圖進行分析，我們可以看出，數(shù)據(jù)倉庫作為綜合分析型平臺勢必會對數(shù)據(jù)進行加工整合，無法保證數(shù)據(jù)的原樣性和安全性，所以它是不適合充當數(shù)據(jù)的歸檔系統(tǒng)使用的。

2數(shù)據(jù)歸檔

數(shù)據(jù)歸檔在銀行業(yè)中被逐漸的重視起來，其原因在于：由于銀行業(yè)務(wù)種類的多樣化，涉及領(lǐng)域的廣泛性，其各個系統(tǒng)彼此獨立卻又密不可分，不同廠商的存儲設(shè)備和數(shù)據(jù)庫彼此不兼容，造成管理上的更為復雜甚至混亂。然而真正做到數(shù)據(jù)的統(tǒng)一管理，無縫式應(yīng)用，靠原有的管理方式進行管理無疑消耗了大量的物理設(shè)備和人力資源，并且隨著業(yè)務(wù)的進一步擴大，這樣原始的管理方式不但不能推動業(yè)務(wù)的發(fā)展，反而會嚴重的影響業(yè)務(wù)進度和業(yè)務(wù)質(zhì)量。圖2-1將數(shù)據(jù)備份系統(tǒng)，數(shù)據(jù)倉庫平臺系統(tǒng)，數(shù)據(jù)歸檔系統(tǒng)進行了對比。從對比中我們不難看出，各個系統(tǒng)的側(cè)重點是不一樣的，從便于數(shù)據(jù)管理的角度上來講，數(shù)據(jù)歸檔系統(tǒng)對數(shù)據(jù)的完整性，安全性，可用性也是最高的。

所謂數(shù)據(jù)歸檔，即根據(jù)數(shù)據(jù)的價值不同，將其存儲在不同的介質(zhì)之上，而這一過程則通過統(tǒng)一的調(diào)度程序來自動完成。除了數(shù)據(jù)管理歸檔方面的功能外還添加更多的接口應(yīng)用既保證了數(shù)據(jù)的安全性又增加了數(shù)據(jù)的可用性。數(shù)據(jù)歸檔系統(tǒng)根據(jù)數(shù)據(jù)的生命周期特征，對數(shù)據(jù)實行分段管理。在管理的過程中，我們重視的數(shù)據(jù)的原樣行，數(shù)據(jù)的可用性，以及數(shù)據(jù)的安全性。由此，一般歸檔系統(tǒng)的架構(gòu)圖2-2所示。

數(shù)據(jù)歸檔系統(tǒng)的優(yōu)勢在于：1， 實現(xiàn)銀行歷史數(shù)據(jù)按時間，業(yè)務(wù)模塊或按照其他自定條件進行歸檔；實現(xiàn)數(shù)據(jù)全生命周期管理的安全，分級存儲；具備流程化與自動化能力。2，能夠安全的將已歸檔的在線數(shù)據(jù)庫中的數(shù)據(jù)進行安全刪除。3，能夠方便的實現(xiàn)對歸檔數(shù)據(jù)和元數(shù)據(jù)的管理。4，能夠方便的恢復和調(diào)閱歷史數(shù)據(jù)，滿足司法部門和業(yè)務(wù)部門查詢需要，并且能夠快速安全的建立審計數(shù)據(jù)庫而不用從備份數(shù)據(jù)庫中進行數(shù)據(jù)恢復，方便合規(guī)性檢查5，確立商業(yè)銀行統(tǒng)一的歷史數(shù)據(jù)管理與分級存儲規(guī)范。

至此，我們解決了第二個問題：使用自動化的歸檔系統(tǒng)對數(shù)據(jù)進行管理是完全可行的。

3數(shù)據(jù)管理綜合規(guī)劃方案

根據(jù)以上分析，我們發(fā)現(xiàn)，商業(yè)銀行的數(shù)據(jù)在管理與應(yīng)用上是可以進行統(tǒng)一規(guī)劃的：數(shù)據(jù)倉庫為數(shù)據(jù)面向主題的綜合應(yīng)用部分；歸檔為數(shù)據(jù)的原樣保存部分。二者可以在數(shù)據(jù)源和數(shù)據(jù)應(yīng)上進行合理的整合，適當?shù)姆至鳌Ｊ紫龋瑢υ磾?shù)據(jù)進行統(tǒng)一的抽取和分流工作：根據(jù)需求從源業(yè)務(wù)系統(tǒng)中進行數(shù)據(jù)抽取，以文件形式統(tǒng)一存放在ODS中間平臺中，這部分數(shù)據(jù)存在時間較短，為近三個月的數(shù)據(jù)。對于生產(chǎn)系統(tǒng)來講，它可以獨立完成一部分的細節(jié)數(shù)據(jù)提取工作，以減輕生產(chǎn)系統(tǒng)的壓力；對于數(shù)據(jù)倉庫而言，它可以對數(shù)據(jù)進行簡單處理，以減輕ETL的時間；對于歸檔系統(tǒng)來說，它可以有效地隔離生產(chǎn)系統(tǒng)和歸檔系統(tǒng)，防止歸檔的同時對生產(chǎn)的誤刪除操作。其次，分流出的數(shù)據(jù)被歸檔系統(tǒng)和倉庫系統(tǒng)抽取出去，分別完成數(shù)據(jù)的不同作用，有助于細化系統(tǒng)分工，提高系統(tǒng)效率。例如，審計數(shù)據(jù)和歷史數(shù)據(jù)的調(diào)閱可以從歸檔系統(tǒng)中讀取，而報表數(shù)據(jù)可以從倉庫系統(tǒng)中提取。改方案的架構(gòu)圖如圖3-1所示：

通過對架構(gòu)圖的分析可見：如果在源數(shù)據(jù)與倉庫和數(shù)據(jù)歸檔系統(tǒng)之間架構(gòu)一個類似于ODS的中間平臺，源數(shù)據(jù)以文件形式落地在ODS中那么將使源數(shù)據(jù)的抽取時間減小一半。除了生產(chǎn)系統(tǒng)中數(shù)據(jù)的合理保存，數(shù)據(jù)倉庫中的重要業(yè)務(wù)報表也可以以歸檔方式進行保存。可以將數(shù)據(jù)倉庫和歸檔系統(tǒng)中的部分業(yè)務(wù)系統(tǒng)細節(jié)查詢功能進行轉(zhuǎn)移，一方面減輕生產(chǎn)系統(tǒng)的壓力，另一方面減輕數(shù)據(jù)倉庫的大量數(shù)據(jù)查詢壓力。

4結(jié)論

本文介紹了數(shù)據(jù)歸檔與數(shù)據(jù)倉庫的綜合規(guī)劃方案。在本方案中，分別從數(shù)據(jù)的管理，數(shù)據(jù)的應(yīng)用兩個方面進行分析，找出共同和差異之處，將二者進行有機結(jié)合，并且在結(jié)合的過程中簡化流程，節(jié)約成本，增強功能。主要體現(xiàn)在：1實現(xiàn)了歸檔和應(yīng)用的統(tǒng)一架構(gòu)。2，縮短了數(shù)據(jù)的抽取時間，減少生產(chǎn)成本。3，減輕了生產(chǎn)系統(tǒng)，倉庫系統(tǒng)，以及歸檔系統(tǒng)的數(shù)據(jù)查詢壓力。