社保數據集成系統ETL研究與開發

李宏智

摘 要：該文主要通過研究社保系統數據集成中使用的ETL方法，并結合同煤集團社會保險管理信息系統的現狀，提出了采用數據倉庫法實現同煤集團社保系統的數據集成。重點介紹了社保系統數據集成中ETL的開發。經過驗證能夠建立統一的、完整的、高質量的社保系統數據倉庫。

關鍵詞：數據倉庫；數據集成；ETL；社會保險

1 ETL技術

1.1 ETL技術介紹

ETL即數據抽取（Extract）、轉換（Transform）、裝載（Load）的過程，它是用來構建數據倉庫，用戶首先抽取數據，然后經過清洗和轉換，最后加載到數據倉庫中去。在技術上，ETL主要涉及到關聯、轉換、增量、調度和監控等幾個方面。

1.2 ETL技術過程

1.2.1數據抽取

首先，做好準備工作。弄清同煤集團社會保險系統包含多少業務管理信息系統，各個管理系統的DBMS類型。然后，可以用數據庫鏈接或ODBC的方式建立鏈接。從數據庫中抽取數據一般有全量抽取和增量抽取。

1.2.2 數據轉換

這個過程包括了數據清洗和數據轉換兩個步驟。數據清洗包括檢查數據一致性，處理無效值和缺失值等。對于過濾掉的數據，寫入Excel文件或者將過濾數據寫入數據表，發給用 戶，修改以后再進行數據轉換。數據轉換將不同業務系統的相同類型的數據統一，用一個相同的編碼表示。

1.2.3 數據裝載

數據裝載是指將數據放到數據倉庫中去。數據裝載有四種裝載模式：完全刷新，鏡像增量，事件增量，鏡像比較。

2 ETL工具介紹

2.1 Kettle

Kettle是國外開源的ETL工具，可以在Window、Unix等系統下運行，目前包括4個產品：Spoon、Pan、CHEF、Kitchen。SPOON 允許你通過圖形界面來設計轉換過程，PAN 允許你批量運行轉換，CHEF 允許你創建任務，KITCHEN 允許你批量設計的任務 。

2.2 DataStage

DataStage能自動對多種數據源的數據抽取、轉換和維護，并將數據倉庫集成的工具。是一個基于C/S的軟件，必須安裝服務器和客戶端軟件，它的所有開發工作都是在一個工程中。在DataStage工具面板上有很多組件。Datastage包含四大部件：Administrator、Manager、Designer、Director。

2.3 PowerCenter

PowerCenter 是Informatica公司開發的ETL工具。此產品可以提供企業部門如XML、網站日志、關系型數據集成。PowerCenter在內存中執行所有的數據抽取轉換、整合、裝載的功能。

2.4 OWB和ODI

OWB是Oracle 的一個綜合工具，它提供對 ETL、數據質量、數據審計，以及數據和元數據的整個生命周期的管理，適用于 Oracle 數據庫的 ETL工具，OWB 11g 版包含在每個 Oracle 數據庫 11g 版安裝中。ODI和OWB一樣，都是ETL工具，和OWB相比，它支持異構數據，可以和SOA集成。

2.5 SSIS

SSIS是Microsoft SQL Server 2012 Integration Services的簡稱。SSIS 的體系結構主要由四部分組成：Integration Services 服務、Integration Services 對象模型、Integration Services 運行時和運行時可執行文件以及封裝數據流引擎和數據流組件的數據流任務。

2.6 BeeLoad

Beeload是由北京靈蜂縱橫軟件有限公司研發的一款ETL工具，可以通過簡單直觀的圖形操作界面，幫助使用者快速定義ETL規則，使數據處理工作變得簡單方便。

3實現方法

3.1同構沖突的解決

主要完成SQL server2012數據庫和oracle10g中各自所存儲的社保相關數據的初步清理和轉換，解決數據的冗余、各表之間字段命名沖突，如同名異義、異名同義等，為最終數據倉庫的建立提供初始數據源。

3.1.1數據清理

1）冗余數據的清理：SELECT DISTINCT * INTO新的分析表名FROM有重復行數據的原始表名例如：select distinct * into基本信息倉庫from基本信息表

2）無用字段的清理：ALTER TABLE表名DROP COLUMN無用列名1，無用列名2，…

例如：alter table個人基本信息表drop column BCC016（體重），BCC017（身高）

3）空值的清理：UPDATE表名SET列名=0 WHERE列名IS NULL

UPDATE表名SET列名=WHERE列名IS NULL

4）不規則數據的清理：在操作時數據錄入人員在錄入數據時，不小心在實際數據之前輸入了一個或多個空格，這些不起眼的空格很有可能影響數據的集成的準確性。在構建數據倉庫時應消除數據前無用的空格：

UPDATE表名SET列名=LTRIM（列名）。

3.1.2數據初步轉換

1）數據類型的轉換：

直接轉換的數據類型：ALTER TABLE表名ALTER COLUMN列名新數據類型。

間接轉換的數據類型：主要針對將非日期類型的數據轉換為日期類型。

2）對象名的轉換：將英文字母或拼音縮寫來表示的表名字段名轉換為易于理解的中文。EXEC sp_rename原表名，新表名

EXEC sp_rename表名.原列名，新列名，COLUMN

3）數據編碼的轉換：UPDATE表名SET編碼列名=CASE編碼列名WHEN編碼值1 THEN中文含義字符串1 WHEN編碼值2 THEN中文含義字符串2 WHEN編碼值3 THEN中文含義字符串3…END

4）表結構的轉換：構建一些新的字段以滿足新的需求。

語法：ALTER TABLE表名ADD新列名數據類型UPDATE表名SET新列名=值

3.2異構沖突的解決

本文的XML技術主要提供異構數據的轉換規則（各字段間的對應關系）和映射文件，主要解決異構沖突。

這一階段主要完成平臺異構的轉化，針對上面的一系列的操作，利用XML技術將初始得到的數據轉化為統一的格式存儲于oracle10g所設計的數據倉庫中。

具體采用以下方法，通過定義適當的DTD將從源數據庫中查詢出的數據轉換成相應的XML文檔，然后使用DOM技術來解析XML文檔，這樣就可以將XML文檔中的數據存入目標數據庫oracle10g中，從而實現了SQL server2012和oracle10g這兩種異構數據源的數據統一存儲。在實現過程中主要利用JDBC中操作XML強大的類庫和oracle10g數據庫對XML存儲的支持。

總結

本文主要針對同煤集團社保信息系統中存在的問題，提出了利用數據倉庫的方法實現社保數據庫、待遇發放數據庫、資格認證數據庫和OA辦公等數據庫的集成。通過完成ETL工具的設計和實現，實現了將異構數據進行集成的目的，提供了統一的訪問接口，建成了同煤集團社保數據倉庫，為以后進一步的系統開發提供數據源。

參考文獻：

[1]馮豫華，彭明.數據倉庫技術在社保DSS中的應用[J].計算機與現代化，2004（10）.