基于ETL技術在ODS系統中的應用

摘要:當今，越來越多的企業正在構建ODS運營數據倉儲系統來滿足其戰略決策需要。利用ETL工具可以對異構數據源中的業務數據抽取和轉換，并將其裝載到ODS中，為基于企業統一數據之上的決策分析應用提供高質量的數據。因此，搭建一個高效的ETL平臺，在整個ODS系統中具有非常重要的意義。

關鍵詞:ODS;ETL

中圖分類號:TP311文獻標識碼:A 文章編號:1009-3044(2009)26-7330-03

ETL Technology in the ODS-based System

CHEN Shuo

(Fuzhou Vocational and Technical College， Fuzhou 350108， China)

Abstract: Nowadays， more and more companies are building a ODS operational data storage system to meet the needs of its strategic decision-making. ETL tools can make use of heterogeneous data sources in the data extraction and conversion operations， and its load to the ODS， the data based on the enterprise， the uniform application of decision analysis to provide high-quality data. Therefore， to build an efficient ETL platform， in the ODS system has very important significance.

Key words: ODS; ETL

近年來，為了適應電信業務的多元發展，各電信運營商建設了大量的業務系統，將原先集中的幾套大系統分拆成了不同專業、不同用戶的獨立系統，但是隨之而來問題也出現了，就是人們突然發覺原先相對簡單的數據變得很復雜。它們分散分布在不同的業務系統、不同的網絡硬件平臺上，這時候電信企業的業務運營就需要一個先進、合理的IT系統架構進行支撐，電信ODS運營數據倉儲系統孕育而生。

為了保證獲得高質量的數據，靈活運用ETL技術，可以對異構數據源中的業務數據抽取和轉換，然后經過對各類業務數據的清理、標準化和匯總的過程，將其裝載到ODS中，為基于企業統一數據之上的決策分析應用提供保證。所以ETL模塊是電信ODS運營數據倉儲系統中的重要一環。本文就是以電信ODS系統為背景，著重介紹其中ETL模塊在ODS系統中的應用。

1 ETL技術介紹

1.1 ETL(Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載)過程

也就是數據集成的過程，而ETL工具也叫做數據集成平臺。和ETL過程關系最為緊密的子過程有:數據遷移、數據管理、數據清洗、數據同步和數據集成。在一個組織中進行ETL過程的最主要目的是從源事務處理系統中遷移和轉換數據來為數據倉儲服務以最終形成數據集市。

1.2 ETL平臺特點

1) 強大的功能

適配器:數據庫、文本等;

清洗能力:空值、規則配置、異常數據檢查等;

靈活的轉換處理:字段級映射、自定義腳本轉換;

多樣的數據更新方式:追加(insert)、復制(copy)、更新(update/merge)、刪除(delete)。

2) 統一元數據，易于維護

公用配置:數據庫、數據庫用戶、表空間等

數據字典配置:源表、目標表、表索引、表關系等

ETL模塊配置:轉換目標表和轉換源表配置、表更新方式配置、數據轉換、清洗規則配置

關聯任務調度

3) 無需編碼或少量編碼，開發效率高

1.3 ETL實現目標

1)ETL模塊實現數據庫之間或者數據庫內的數據轉換。可以應用于數據抽取、數據清洗、數據整理、數據統計等不同應用。

2)ETL應支持異構數據庫間的數據轉換，通過接口適配器把外部異構數據源導入ODS數據庫，再通過ETL模塊實現數據轉換。

3)ETL模塊強調數據轉換可配置、可追溯，支持數據復雜計算、類型轉換、數據清洗等，實現數據的高效、精確的轉換。

2 電信ODS系統的總體設計概述

ODS(Operational Data Store，操作型數據存儲)運營數據倉儲系統在企業信息化系統中的定位在于，數據整合(承載客戶統一視圖)、數據共享、跨系統數據應用和數據質量檢查;隨著CRM、計費、服務開通、資源等核心IT系統建設的逐步開展，尤其是CRM、計費省集中系統的逐步到位以及客戶品牌統領市場經營工作對IT固化生產流程的迫切要求，使得ODS成為承載企業數據模型及數據標準，并據此整合各系統數據以實現企業跨系統數據共享，提供跨系統數據應用，提升數據質量的最好承載平臺。

電信ODS系統遵循CTG-MBOSS功能層次的劃分標準，從系統服務對象和支撐對象的角度，將ODS劃分為五大功能域:數據整合域、數據共享域、數據應用域、數據質量管理域、公共管理域。基于ODS五大功能域，在ODS上實現數據門戶與營銷支撐。

3 ODS系統中ETL模塊的實現

3.1 ETL模塊功能

由圖1可知，ETL模塊屬于數據整合域中的一塊，它的主要功能是實現從源系統中抽取數據進行整合，根據不同的數據源，匹配預先定義的規則流程，在任務引擎的調度下，按照定義好的流程經過數據抽取、數據整理、數據轉換、數據加載幾個關鍵環節最終存儲到ODS系統中。

3.2 使用工具和方法

ETL模塊的實現有很多種方法，其中常用的有兩種:第一種是借助借助專用的ETL工具，可定制數據處理流程，簡化數據開發，縮短ETL方案實施周期，但其處理效率較低。常用的ETL工具有Oracle公司的Warehouse Builder軟件，IBM公司的Warehouse Manager軟件，Informatica軟件等。第二種是自行開發ETL工具方式實現;本系統采用第二種方法，基于ORACLE數據庫平臺的PL/SQL語言開發而成，這樣可以最大限度的發揮ORACLE數據庫的性能效用，并且相比商業ETL工具平臺更加靈活、實用。

3.3 ETL模塊總體設計與應用

ETL模塊，由若干功能單一的數據處理單元組成，各處理單元根據不同ETL過程的需要進行組合和連接，形成數據處理的流水線，完成ETL過程。并通過統一的任務調度引擎進行復雜的多進程完成異步數據抽取、轉換、清洗、加載的過程。

3.3.1任務調度單元

1) 功能:用于描述關系，控制任務運行，任務運行狀態監控等。

2) 特點:實現接口區、中間表、集市匯總事實表之間的統一調度;支持多進程同步處理;支持相關JOB之間的依賴順序關系的控制，支持多對多的關系;建立錯誤自動處理機制;支持監控模塊的任務調度;實現數據抽取、過濾、轉換;

實現取數自動化;實現周期計算自動化。

3) 任務調度與ETL之間關系:

任務調度控制ETL轉換鏈和ETL轉換單元的運行，并描述ETL運行情況、結果等信息。

3.3.2 數據轉換單元

實現數據庫之間或者數據庫內的數據轉換。可以應用于數據抽取、數據清洗、數據整理、數據統計等不同應用。數據源為外部文件的，首先通過接口程序把外部文件數據導入數據庫表，再通過ETL模塊實現數據轉換。ETL模塊強調數據轉換可配置、可追溯，支持數據復雜計算，實現數據的高效轉換。

轉換單元是ETL可執行的最小單位也是整個ETL過程最核心的部分。轉換單元也稱為ETL轉換。它是在目標表和數據源之間建立的一個橋梁，用于定義數據轉換過程規則、數據計算公式等信息。ETL轉換的最根本目的就是生成ETL轉換腳本。ETL轉換單元的執行是ETL模塊的核心。

1)ETL轉換類型

字段映射和直接SQL兩種。

字段映射:依賴數據配置生成ETL轉換腳本。

直接SQL:根據用戶自定義SQL生成轉換腳本。

2)數據更新模式

ETL轉換的更新模式指明了ETL轉換對目標表進行何種數據更新操作。更新模式有以下幾種:

追加記錄:在將數據源的數據全部插入到目標表中。

復制(先清空再復制):首先清空目標表的所有數據，并將源數據全部插入到目標表中。復制模式與追加的區別:復制模式允許在插入數據前進行額外處理。

更新相同的記錄:在目標表中，查找到與數據源中對應目標表的主鍵的數據，與目標表的主鍵數據相同記錄，用數據源的記錄替換目標表中找到的記錄。

追加更新:在目標表中，如果找到與數據源相同的記錄，則用數據源的記錄更新當前記錄，如果沒有找到，則插入到目標表中。

刪除相同的記錄:在目標表中，查找到與數據源中對應目標表的主鍵的數據，與目標表的主鍵數據相同記錄，則刪除此記錄。

以上不同的更新模式有不同應用場景。

3.3.3 周期計算單元

1)功能:用于計算任務取數周期，支持ETL轉換單元、統一層、集市層表等更新對象的周期記錄、計算和控制;

2)ODS系統中周期計算的幾種情況:

①CRM檔案數據每半小時更新一次，每次取上次未取的數據進來。它的特點是連續滾動、基本不重疊(目前為了考慮主機的系統時間不一致，回取2分鐘)

②統一層取數，每天根據存儲層的日期字段，獲取上次未獲取的數據，考慮多表關聯需要的數據同步要求，開始時間統一為凌晨0點，以保證取到完整的數據。

③集市層中間表取數，類似于統一層取數，

④集市層維表以及部分實例小表，每日全量取數，則開始周期、結束周期為0。

⑤集市層按天存儲匯總表，當前周期(實時為當天，非實時為昨天)作為結束周期，下次周期作為開始周期(如下次周期多過結束周期，取結束周期)，成功運行后計算出下次周期(實時為明天，非實時為當天)給配置表。

⑥開始周期根據實際獲取的數據決定，如每3小時獲取增量訂單數據，根據創建時間和竣工時間來判斷最小的統計日，作為開始周期，當前周期(當天)作為結束周期，提取報表統計數據。

3)增量取數存在的情況:

按小時或實時增量;連續滾動:每次運行取最后周期時間點作為開始時間，當前系統時間作為結束時間，取數成功則將結束時間記錄在成功時間點。整點分段:每次運行取下個周期作為開始時間，當前周期作為結束時間，取數成功則將當前周期記錄為最后成功周期，并計算出下個周期寫入配置表。

按天;每次運行取上次成功日+1天的凌晨0秒，作為開始時間，當前周期日的最后一秒作為結束時間。取數成功則將當前周期日記錄在成功時間點。

3.3.4開關表單元

1)ODS機器上運行系統狀態監控函數，按設定周期掃描開關狀態表和任務調度表，對于“開關狀態表”中“ACTIVE_JOB”字段(是否激活任務)配置為’Y’ 的任務進行監控。如果對象配置為被動模式，當監控掃描到有新數據時，自動更新任務調度中對應的任務的狀態為等待運行，使之通過任務調度系統開始運行后續任務。如果對象配置為主動模式，當監控掃描到任務調度中對應的任務的狀態為10G，則打開開關，對外圍系統開放數據共享。

2)給外圍提供系統狀態監控函數過程調用，當外圍給ODS系統送數結束后用這個過程打開開關，ODS開關監控將自動掃描開關狀態，并根據以上邏輯進行處理。

3)給外圍提供系統狀態監控函數過程調用，使外圍系統了解ODS目前相應的開關狀態。

4 結束語

隨著企業信息化建設的迅速發展，ODS作為企業運營數據共享平臺，從客戶的需求和利益出發，運用最新技術和概念，收斂企業各業務系統中的運營數據，按照企業數據模型進行數據整合，提供運營數據共享，支撐跨系統數據的應用，提升數據質量。而本文介紹的ETL技術作為ODS的核心技術，能夠準實時或實時地從各業務系統中抽取企業運營數據，進行轉換、加載、映射等工作形成ODS的核心數據，為用戶提供企業級的統一數據視圖。所以，ETL技術是電信ODS運營數據倉儲系統項目數據分析成敗的關鍵。

參考文獻:

[1] 黃少華，陳翠娥.SQL語法范例大全(SQL Server、Oracle通解)[M].北京:電子工業出版社，2008.

[2] 中國電信集團.中國電信[2005]156號CTG-MBOSS1.0規范[S].

[3] 羅小稱.基于元數據的ETL工具設計和實現[D].華東師范大學，2007.

[4] 汪南，劉萍.銀行數據倉庫項目中ETL的設計與實現[D].華南科技大學，2005.