基于ＳＯＡ的數據集成研究

摘要：基于SOA的數據集成是一種非常有效的信息處理技術。其目的是為了解決在信息化的深層次發展過程中，企業出現大量的新建軟件系統，數據源的分散，異構數據庫訪問困難，數據接口變得復雜起來的問題。通過采用SOA的架構風格對企業數據集成做一些探討和研究，并提出了基于SOA架構風格的數據集成模型框架。

關鍵詞：數據集成；信息系統集成；SOA

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1009-3044(2009)05-1044-03

Research into Data Integration Based on SOA

YANG Zheng-he

(School ofComputer Science，LeShan Normal University ，Sichuan 61400，China)

Abstract: Data integration based on SOA technology is an effective kind of technology in information processing.With the aim of solving problems when many enterprises have been builded their new systems with the deep-seated development of informationization that lead to the data source dispersed，isomerous database accessed more difficultly and the data interface also become more complexly.This article will discuss and study how to integrat the enterprise data by using SOA architecture style，meanwhile，a data integration model based SOA architecture style is proposed.

Key words:Data Integration; Informatin System Integration; SOA

1 引言

在日新月異的商業環境中，企業為了能更好地生存下去，就會加緊發展自身的業務，產品的生命周期變得越來越短，客戶的需求也在隨時變化，企業原有的信息系統已經不能滿足現有的業務，如果只是對原有的系統進行升級常常達不到預期的效果，企業更多的是采用新建系統的辦法來解決新增業務的需求 。企業為了提高整體效益，需要開展更多的合作，而這種合作不僅僅是在同一個垂直的部門內部，還有對跨部門或其它企業間的合作。同時，企業也希望對自己的客戶有一個全面的了解，以便能識別出新的市場機遇，從而為企業在產品的多元化發展提供依據，吸引更多新的客戶群體以及維系原有的老客戶。企業在新建的軟件系統時，會根據業務及項目選型的需要，選擇最適合項目的數據庫產品，這往往不可避免地導致了數據庫之間的異構性 。在項目執行的過程中由手工生成的統計報表及分析報告等大量有價值的信息仍然以像Office文檔、Excel文檔、PDF文檔、E-Mail等非結構化方式保存著。數據庫之間的異構性及信息格式的多樣，使得數據不能方便地在用戶面前統一展現出來。企業要解決這些問題就必須對原有的信息資產進行數據集成以便能訪問所有分散的數據。以下該文將用SOA中的SDO進行數據整合，并提出數據集成模型框架。

2 數據集成系統結構

各個“數據孤島”中的數據往往遵守的不是同一套規則，在集成時須要分析各自的差異，研究一套完整的數據轉換方法，設計一致的、全面的數據視圖，構建集成數據源監視、數據提取與轉換、數據質量分析、集成與綜合為一體的數據集成系統。

2.1 數據集成原型系統

數據集成原型系統體系結構中有數據源層、集成層、表現層(如圖1)。

其中數據集成是系統的核心，主要功能有異構數據源集成、模式集成、元數據集成、面向主題的數據組織和面向分析的多維模型整合等。具體功能為：

1)異構數據源集成

利用面向對象的思想設計一種對異構數據源的通用數據模型——半結構化描述的數據模型，表示所有異構數據源的數據，通過在數據源上捆綁式數據抽取器抽取出格式統一的多源數據，放入數據集成緩存區，并向集成器報告；抽取器執行集成器的抽取命令，完成實體化視圖的初始化和增量式維護。集成器是數據倉庫中的一個管理模塊，本質上是一個擴充的ETL工具，它根據元數據獲取數據倉庫中實體化視圖的定義和結構，并對所有集成緩存區傳來的數據進行過濾和篩選，提取出與數據倉庫相關的數據向上傳送給數據倉庫。當數據源是異質結構時，集成器的實現是一個相當復雜的困難的過程。它不僅要依照數據倉庫中的數據模式對數據源傳來的各種數據進行模式或格式的轉換，還要消除這些數據之間存在的各種不一致性。這些數據的進入，將引起數據倉庫中實體化視圖的重新計算。在這個過程中，數據倉庫可能需要發送大量維護查詢請求信息到集成緩存區，由集成緩存區經過計算后再將結果返回給數據倉庫，從而完成實體化視圖的聯機維護。

2)模式提取與集成

采用逆向工程從結構化的業務數據庫中提取模式。文檔等半結構化雖然沒有事先固定的數據模式，但可以從數據中歸納出反映當前狀態的結構模式，從定義對象屬性的等價著手，研究不同數據源成員對象虛擬模式特性部的相互關系，并提出相應的集成方式，將從各異構數據源獲取的模式信息進行了集成，屏蔽了模式之間的差異。

3)元數據知識庫

根據元數據的全局方案和概念視圖，構建元數據知識庫系統，對各種元數據及其關系進行系統的、有效的管理，確保元數據具有一致性和協同工作的能力。抽取、收集的元數據存儲在知識庫中，這是一個結構化的存儲和檢索系統，通常在數據庫系統的基礎上實現的。

4)元數據的交換與集成

在整個系統中，涉及到多個工具和元數據知識庫，為了在這些工具和知識庫中有效地進行了元數據的共享、交換和集成，系統提供了動態與靜態交換集成方式。其中動態交換與集成為應用提供全面的基于組件的接口，作為數據集成的系統的一個組件，便于將元數據無縫地嵌入到各種數據管理進程中去，部分地實現數據管理的自動化。而在靜態交換與集成中，元數據在局部工具和知識庫之間以XML格式進行傳輸。交換的數據源和目的地及傳輸格式都使用相同的元數據元素描述，不同的元數據模型之間不需要進行語義轉換。

5)面向主題的數據組織

數據倉庫中的數據是面向主題進行組織的。主題是一個抽象的概念，是較高層次上將業務信息系統中的數據綜合、歸類并進行分析利用的抽象。在邏輯意義上，它是對應業務中某一宏觀分析領域所涉及的分析對象。面向主題的數據組歌方式，就是在較高層次上對分析對象的數據的一個一致性、完整性的描述，能統一地刻畫各個分析對象所涉及的各項數據，以及數據之間的聯系。

6)面向分析的多維數據模型整合

多維數據模型整合采用軟件利用的思想，運用逆向工程的方法，從已經在運行的局部數據集市中抽取出局部多維數據模型，再使用多維數據模型整合工具，對這些局部多維數據模型進行整合，充分發揮這些局部數據模型的優點，得出準確高效的全局多維數據模型。

2.2 數據集成系統的層次結構

數據集成系統可分為四個層次：概念層、邏輯層、物理層、元級導。概念層包含了集成系統所關注的概念、概念間的關系和其他信息需求的形式化描述。這個層次信息的主要特征就在于它一般不是針對某個特定應用的，它主要關注的是對應用中信息語義關系的一種描述。概念層主要包括領域模型的查詢模型。而領域模型中包括全局模型、源模型和模型間關系描述。全局模型包括應用系統感興趣的所有全局概念關系的概念級表示。源模型則提供了對源數據的概念級表示，模型間關系則主要描述不同源模型，以及源模型與全局模型中元素部的依賴關系。查詢模型同提供了種類信息需求的概念表示。邏輯層主要包括系統數據模式和查詢模式的描述，描述方式主要采用種類DBMS提供的典型的邏輯結構。源模型主要描述了數據源的邏輯內容，全局視圖模式描述了系統維護的物化視圖邏輯內容。物化視圖只有在物化集成數據的時候才有效，在虛擬存儲方式的時候是沒有意義的。查詢模式主要描述了邏輯層的數據需求，例如SQL形式等。物理層主要功能涉及的是系統實際數據的管理。其中不但包括數據源以及物化視圖的實際數據的存儲，還包括wrapper和mediator兩個部件。Wrapper用來存取數據源的實際數據，對數據源進行封裝，并以邏輯層的表示形式來提供數據，mediator用來對多個wrapper或其他mediator提供的數據集成進行處理，解決數據間結構、語義等方面的不一致性，并以數據集的形式輸出結果。Mediator通常聯系著邏輯層的查詢，而且其結果可以物化存儲，也可傳送給界面輸出或傳送給其他mediator。元級層主要包括元模型，它提供了系統不同組件的所有元信息，供用戶或設計者使用。

3 SDO模型

SDO(Service Data Object)專注于數據的標準化，為服務和應用提供一個簡單統一的數據模型，達到統一數據訪問和處理模式。

3.1 基本架構

SDO的結構中包含有數據圖、數據對象、屬性與類型、序列、變更摘要和數據訪問服務部分。其中數據圖(如圖2所示) 。

是一組樹型或者圖型的數據對象，主要用來當作數據對象的容器，但并非必需的，就是一個根數據對象，而且這個根數據對象擁有一個數據對象樹；數據對象是SDO的基本數據元素，也是業務數據的容器，由一系列命名屬性構成，并提供了靜態和動態的數據訪問API，同時，它可以擁有自己的變更摘要，可以被序列化；業務數據是作為屬性保存到數據對象中的，每一個屬性符合SDO類型定義，SDO類型可以是簡單數據類型（和Java與XML的簡單類型兼容），也可以是一個數據對象類型；序列是一個特殊的屬性組，每一個序列中的屬性都有索引，即對同一屬性的不同操作。序列可以用于表現半結構化的XML數據；變更摘要是實現離線數據訪問的一個重要組件，隸屬于數據圖或者數據對象。變更摘要初始是空的，隨著數據圖和數據對象的變化而填充數據，從而保證數據可以被增量地更新到后臺數據庫中去；數據訪問服務可以從后臺數據源建立數據圖和數據對象，并且將其存回到相應的數據源。

SDO采用的是離線數據圖設計理念。離線的訪問方式指，客戶端從所需的數據源中提取并構建數據圖，然后在應用中操作數據圖并記錄下相應的操作，在動作結束后由數據訪問服務（Data Access Service，簡稱DAS）批量地將相應措施的改變反映回原來的數據源中。SDO的離線數據訪問架構如圖3。

SDO支持靜態(強類型)和動態(弱類型，loosely typed)編程模式。SDO本身是語言中立的，能被用于各種編程語言，同時，SDO有相應的元數據模型，并且這一模型與后端的數據源無關，可以為異構數據源提供一個系統的數據模型。

3.2 SDO設計理念

SOA設計思想力求與IT業務對齊，從而需要在服務之間用統一的數據模型來交換數據，而SDO在數據建模領域就是為了滿足這一設計思想，讓需求更貼近業務人員的視野，能夠直接轉化為一個技術模型。

SDO的設計理念是關注于應用研究數據和服務數據的表現、操作和傳輸，建構數據模型的方式也更加多元化，不僅僅是關系數據庫，也包括基于XML技術的數據。離線數據模型使服務組合將成為可能，使數據操作變得簡單，能夠批量更新到數據源成為可能，同時也使得事務(transaction)處理變得更加容易。在MVC模式中，SDO不只是用于后端數據源，而且可以很自然地被用到Model層面。對于業務人員數據的直接表示形式是樹型層次結構，可以從第一個根對象開始展開看到相關的數據。SDO可以被看成是一個抽象的數據對象，可以根據業務需要遞歸地建立數據對象。并且，SDO可以用XSD進行建模，可以很容易地與XML相互轉換。因此，SDO可以很方便地用于應用開發的各個層面。

3.3 DAS和對象與關系的映射

在SDO的體系結構中，DAS（Data Access Service）用來處理對象與關系之間的映射，因為后端數據源通常是關系數據。DAS負責將后端數據源中的數據加載到數據圖中，并將一個數據圖存回到后端數據源中去。比如，XML文件DAS可以從XML文件中讀取和存儲數據圖，而JDBC DAS則從關系數據庫中讀取和存儲數據圖。另外，由于DAS也是離線的數據架構，只有客戶端要存取數據結構時才會真正連接到后端數據源。從而使得應用研究中的業務邏輯可以根據其需要對業務數據進行相應的操作，而無須關心數據源連接和頻繁讀寫操作帶來的性能問題。DAS的基本功能包括了：定義一個數據圖模型；創建一個數據圖；獲取變更歷史信息；根據這一信息更新后端數據源。在基本功能中，DAS會在從客戶端到數據圖時檢查數據圖是否正確，從而保證了離線數據的有效性和完整性。

在SDO中，是用Type和Property來描述數據模型的。Type提供了對DataObject或者某種簡單數據類型的類型描述，而Property則描述Type的某個屬性。對于一個非簡單數據類型的Type，它會包含一系列Property。SDO模型與Java，C++，UML或者EMOF中的類映射關系：類可以對應SDO中的Type；類的field對應于SDO中的Property。SDO模型與關系數據庫模型的映射：表對應于SDO中的Type；表的字段對應于SDO中的Property；SDO模型與XSD模型的映射：復雜類型和簡單類型的對應于SDO中的Type；元素和屬性對應于SDO中的Property。其中SDO模型與XSD映射關系最和諧 。它們遵循如表1的原則。

4 應用流程

接下來，我們對SDO架構模型通過企業數據集成流程來說明它的使用方法（假設業務分析人員已經理順了某一業務需求）：

客戶端發送一個請求，要求DAS載入數據圖；DAS發起一個事務，連接持久化數據源，創建一個數據圖來表現數據，然后結束相應的事務；DAS返回數據圖給客戶端；客戶處理相應的數據圖；客戶端將修改后的數據圖傳給DAS；DAS開始一個新的事務用以將客戶端的數據改變更新到持久化各數據源中去。

5 結束語

數據集成重點要關注的是，在數據流動的過程中解決復雜的數據轉換和數據清洗問題，同時，還要提供對海量數據處理的質量保證的措施。統一的企業數據集成平臺應該是SAO的一部分，為IT應用提供信息服務支持。文章提出的以SDO來整合數據的模型，是企業在應用系統集成中數據集成的重要實現方式，而且在現實工作中表現出不錯的效果。需要強調的是，數據集成是一個持續性的項目，企業需要在不斷變化的環境中建立清晰的技術實現圖景，用更長遠的目光來審視技術的發展。

參考文獻：

[1] 劉飛.國企業數據集成與數據質量市場白皮書[R]，北京IDC中國，2008.

[2] 鄧蘇，張維明，黃宏斌.信息系統集成技術[M]，北京電子工業出版社.2004.

[3] 王紫瑤，南俊杰，段紫輝等.SOA核心技術及應用[M]，北京電子工業出版社.2008.