一種面向異構系統的集成中間件平臺

嵇可可

（江蘇食品職業技術學院 計算機應用技術系 江蘇 223003）

0 引言

隨著經濟和IT技術的發展，企業/政府內部、各單位之間的聯系日趨緊密，經常需要在網絡上進行數據的交換和互訪，如何能使不同地域、不同單位、不同類型的數據可以進行方便的互訪，是目前IT技術里的重要研究問題之一[1][2]。為提高異構數據轉換的的效率，促進企業、政府數據管理工作的規范化和信息化，必須建立起統一的數據交換平臺[3]，通過統一的數據服務層實現異構系統的數據共享及同步，從而對交換數據進行一致性控制[4]。

集成中間件平臺（Integration Middleware Platform,IMP），是包括一整套服務系統的集成，為不同的應用提供基于數據同步要求的轉換與壓縮功能，以及智能發送數據到需要該數據的系統。

IMP平臺采用交換節點、交換代理的方式設計，通過簡單的節點規劃、安裝、部署，為各類數據交換應用提供技術方案。同時，提供完善的系統管理工具，系統管理員通過瀏覽器即可完成所有的系統監控、管理工作。平臺集JAVA、XML、中間件、工作流等技術于大成，融合了模型驅動、交換網絡、數據倉庫等先進思想，具有至強的系統適用性、擴展性，能夠適應Windows、Unix/Linux等平臺環境，能夠滿足Oracle、Sybase、MS SQL Server、MySql等異構數據庫環境，能夠使用各類用戶自主開發的各類企業級數據庫應用系統，能夠跨越包括防火墻、VPN、物理隔離在內的復雜網絡環境，同時，提供靈活的數據建模支持和二次開發能力。

1 系統設計目標

IMP平臺重點解決目前軟件系統之間由于數據標準和規范不統一，很難進行有效的信息傳遞和數據共享的問題，具體目標如下：

（1）實現數據的統一性和關聯的有機性，確保系統間具有交錯關系的信息保持一致。

（2）通過異構數據的交換和格式處理以及跨系統和跨數據庫的數據協同，實現系統內外間的信息及時互通。

（3）實現及時獲取各個不同應用系統的信息變動狀況并按統計匯總口徑集結所需要的各種初級信息，綜合反映各業務系統整體協作過程的狀態指標。

2 系統架構與功能設計

IMP平臺是在多年積累成熟的電子政務、電子商務及EDI軟件開發包、數據模型驅動及數據軟總線技術的基礎上構建而成的。以中間件技術、工作流技術為核心，采用多層體系結構，包括核心服務層、數據處理層、數據總線等三個層次和開發工具、管理工具等兩大工具集，具有功能全面、接口靈活、信息共享、標準規范、安全高效的特點。系統架構如圖1所示。

圖1 系統架構圖

3 核心服務層

3.1 交換服務

通過SQL和XML標準，對各類數據源中的數據進行自動轉換，由此可以支持數據清洗和元數據交換等功能的實現。

定義了需要進行傳輸的數據庫表字段與標準管理中定義好的相應標準元素描述信息之間的映射關系，即以標準管理為“橋梁”，在多個不同數據庫的相應表之間建立起數據交換的傳輸規則。最后生成一份XML文件作為數據交換的規則文件。

數據交換報文接口規范：采用XML報文格式，解決業務系統數據交換。

3.2 流程服務

該服務對各個集成組件進行聚合組織，使其組裝成一個新的業務功能。

（1）業務流程編排（Choreography）：用編排的方式來將各個集成組件組合成一個個業務流程，并使其能夠用來建立更為復雜的組合流程；

（2）事務處理（Transactions）：用來支持兩類事務的執行，一是 ACID（Atomicity,Consistency,Isolation,Durability）事務型行為，同時也支持補償性流程的事務型行為；

（3）人機交互（Staff）：支持在業務流程中集成以“人”為導向的任務管理，提供對任務分配、任務授權等人機交互功能的支持，同時通過與“用戶交互服務”的集成，可以方便管理與工作流相關的各個業務接觸點。

3.3 路由服務

用來定義數據交換與傳輸的路由信息。路由管理本身關聯的也是一個XML文件，此文件與用戶管理中的用戶文件相關聯。路由包括TCP模塊、FTP模塊、數據導出模塊、數據導入模塊和Excel導出模塊，要根據網絡的具體情況來設置數據交換的路由。定義完成后，數據交換引擎將根據用戶的路由信息進行數據交換。

3.4 消息服務

通過消息，可以將一些公共信息發布到全部或者指定的部分集成客戶端，以在集成客戶端觸發相應的業務流程；也可以將產生相關性的操作信息以消息的方式傳遞到相關聯集成客戶端的模塊觸發操作，以指示操作步驟、方便進行相應的操作。

3.5 數據處理層

該服務層提供對已有應用及其數據進行訪問和操作的接口，支持事務型服務、數據庫連接服務、消息系統連接服務以及與其他數據源的連接服務。包括事務處理服務、格式轉換服務、異構匹配服務、業務規則服務等四大功能。

3.6 數據總線

數據總線定義了一個虛擬化的層面，該層面使得構建在其之上的業務集成架構能夠運行在任何包含了安全、目錄服務、存儲管理等底層的硬件平臺之上。

數據總線提供了以下支持：

(1)保證在一個異構的環境中實現信息穩定、可靠的傳輸，屏蔽掉硬件層、操作系統層、網絡層等相對復雜、煩瑣的界面，為用戶提供一個統一、標準的信息通道，保證用戶的邏輯應用和這些底層平臺沒有任何關系，最大限度地提高財政業務應用的可移植性、可擴充性和可靠性；

(2)提供一個基于企業服務總線（Enterprise Services Bus）的先進應用整合理念，最大限度地減少應用系統互聯所面臨的復雜性。系統的實現維護都相對簡單，保證每一個應用系統的更新和修改都能夠實時地實現；同時當新的應用系統出現時能夠簡便的納入到整個IT環境當中，與其它的應用系統相互協作，共同為用戶提供服務。

(3)提供全面的整合服務能力，為用戶提供完整的整合服務功能，可以涵蓋到整合的各個層面。

4 管理工具

管理工具包括元數據配置、系統監控、定時服務、系統日志等管理配置工具。

(1)元數據配置：提供數據映射模板配置，傳輸服務監控。

(2)系統監控：提供系統連接池、系統運行情況的監控。

(3)定時服務：對系統定時執行任務相關屬性進行配置定義，系統定時服務引擎根據相關參數進行定時任務執行。

(4)系統日志：提供對系統日志、數據交換日志查詢、分析、統計功能。

5 開發工具

為了實現源數據元格式與目的數據元格式的映射關系定義，我們定制開發了一個基于圖形的操作界面來完成數據轉換，它內嵌大量常用功能函數，同時提供強大的二次開發功能。如圖2所示。

而對于目標數據元為數據庫的映射，我們同時也提供了一個基于圖形的數據表模式操作模塊，它可以支持多種數據庫操作，包括 Oracle，MSsql，Sybase，DB2，Mysql，MSacess。它可以圖形映射數據對象和圖形定義數據操作。如圖3所示。

圖2 數據轉換工具

圖3 O/R Mapping工具

系統關鍵技術

6 數據適配器技術

采用XML為核心的數據處理機制，提供系統數據的異構性。對于不同的數據源，采用統一的數據調用接口。數據交換基于 XML和 OMG EAI規范。

數據接口具備的功能：特定數據源參數的設置；數據源——》XML；XML——》數據源。

圖4 數據映射邏輯圖

對于連接(Connectivity)，其目標就是將源應用系統的數據傳送到目的應用系統。我們在建立模型時，設立了兩種應用適配器(Application Adapter)： SourceAdapter和TargetAdapter，SourceAdapter負責從源應用系統讀取特定格式的數據，并轉換成IMP消息，然后發送到集成代理(Integration Broker)；集成代理再把消息傳送到TargetAdapter；TargetAdapter收到消息后，把消息再轉換成目的應用系統特定格式的數據，寫給目的應用系統，完成數據從源到目的的傳輸。

圖5 基于連接的集成模式

7 構件技術

系統核心采用以構件為基礎的集成平臺的建立和運行。

（1）構件容器(Component Container)：構件的運行平臺。

（2）協同引擎(Collaboration Engine)：協同構件之間的工作。

（3）構件組裝器(Component Fittingshop)：負責對構件協同編排創建模型，即XM文檔，進行解釋，并加載相關的構件到構件容器中。

（4）模型映射 (Model Mapping)：EAI元模型到IMP模型的映射。

（5）XML解釋器(XML Parser)：將 XML文檔解釋成IMP消息格式，或反過來的解釋操作。

8 消息驅動技術

在分布式應用，消息是常用的一個概念。在分布式應用中，不同的應用進程之間傳遞、交換的信息統稱為消息。消息由消息的內容及消息的接收者名單組成。消息的內容及格式由該消息的提供者及接收者協商而定。在形式上，消息可表現為一個小的數據包，亦可表現為一個很大的文件。

消息的提供者：是指產生該消息的實體，如應用程序。

消息的接收者：是指某消息的指定接收實體。消息的接收者并不一定接收到該消息，它只是該消息的原定接收者。

消息的傳送者：是指負責從消息的提供者獲取消息，并將消息的內容傳送到消息接收者的實體。消息的傳送者有時不只是一個實體，而是特定實體的集合。它們共同扮演消息傳送者角色。

9 系統應用實踐

在某大型物流公司信息系統建設中，采用了IMP平臺作為各個業務系統的數據采集及協同的工具。IMP平臺把多個系統中的數據進行無縫集成，例如貨運委托、業務接單、費用結算、統計分析、信息采集發布等，它可以針對不同的系統之間的異構數據元進行采集與識別，通過后臺制定的規則進行數據映射。它通過采用系統標準接口，實現了對委托書信息、發票和裝箱單等異構數據的自動導入、整理和分析。同時，該平臺具備與多類傳輸平臺系統的接口，可進行多種方式的數據傳輸，例如MQ、XIB等平臺都可以進行結合，為實現物流系統的快速實施以及安全穩定的運行奠定了良好的基礎。

在系統綜合考慮多個業務子系統之間數據整合的共性需求的同時，整個物流公司業務系統還借助IMP平臺實現了信息整合方面共性需求功能，如數據采集、數據傳輸、數據整合和運行監控等，這些功能實現了從基礎數據整合、到數據控制和統計分析。本文提出的系統對異構數據處理的實時性、正確性和有效性在項目中得到很好的驗證。

10 結束語

異構系統的數據共享及實時同步是一個很復雜的處理過程，要考慮的因素較多、模塊也較復雜，因此，在系統架構方面要處理的內容相當多。IMP平臺實現了為不同的應用提供基于數據同步要求的轉換與壓縮功能，智能發送數據到相應系統；實現數據的統一性和關聯的有機性；實現了高效率和易管理；并在某大型物流公司信息系統建設中得到很好的驗證。

[1]申利民，李衛東.面向協同系統集成的數據同步模型[J].計算機應用研究，2012，29(4)：1384-1386.

[2]邢華.異構數據轉換系統的設計與實現[D].大連理工大學，2009.

[3]蔣溢，丁優，熊安萍.基于EAI消息平臺的異構系統數據同步[J].計算機工程，2011，37(21)：52-54.

[4]王博，李臘元，馮美來.基于數據同步的增值業務的開發[J].計算機工程，2009，35(3)：115-117.