Web服務異構數據集成在石油行業中的研究

李昌武

摘要：針對石油行業信息系統數據異構分布、形成信息孤島等問題，設計了Web服務異構數據集成框架。在此基礎上，對Web服務異構數據集成算法展開了研究，該算法對運行時的Web服務進行評估，考慮了性能、可靠性等指標，選取最優的Web服務作為數據集成服務，以提高數據集成的效率和效果。模擬實驗對數據集成的效果進行了驗證，實驗結果表明本數據集成框架和算法能高效、可靠地解決石油行業異構數據集成問題。

關鍵詞：石油行業;數據集成;Web 服務;可靠性;異構

中圖分類號：TP311? ? ? ? 文獻標識碼：A? ? ? ? 文章編號：1009-3044（2019）03-0012-02

1 研究背景

信息的深化應用是XX石油公司在日益激烈的市場競爭中處于優勢地位的關鍵。在信息化建設過程中，由于信息系統在不同的時期內建設，XX石油公司無法做到對核心數據庫和應用進行規劃和分析，沒有形成圍繞核心數據庫進行信息系統開發的理念，由于內容標準驗證滯后，各個應用系統之間的數據定義和數據模型互為不同，應用接口和數據交換沒有標準;系統運行在不同的軟硬件平臺上，數據不能相互共享，歷盡艱辛建設的一個個IT支持系統變成了信息孤島。

因此，尋找一種對運行在不同操作系統、分布在不同網絡位置、不同廠商的數據庫的數據進行集成的方法刻不容緩。另一方面，數據集成系統部署在動態多變的網絡環境中，其面臨的環境變得更加復雜和不確定，因此數據集成系統的性能和可靠性保障也是需要解決的關鍵問題。

2 研究現狀

為了實現企業數據資源的共享集成，已有學者在數據集成方面做了大量的工作。文獻[1]提出了數據倉庫的概念，即建立一個數據庫，由ETL（Extract， Transform and Load）工具定期從數據源過濾數據然后裝載到數據倉庫，供用戶查詢，但是該方法投入的費用昂貴，開發周期長，而且很難做到與數據源保持實時同步。為了實現異構平臺上的數據集成，各大廠商紛紛推出了自己的集成平臺，如IBM在2003年7月推出了DB2信息集成軟件[2]，目的是整合異構環境中的網絡信息;ODI（Oracle Data Integrator）是Oracle公司針對Oracle數據庫推出的數據集成平臺[3]，它能滿足用戶一般需求，支持高性能審批等優點;微軟公司推出的MSSIS（Microsoft SQL server2005 integration services） 是利用數據倉原理實現的[4]，是一種性能較高的集成平臺。這些解決方案存在的主要問題是他們都是基于自己的產品進行的數據集成，對其他廠家的數據庫兼容性不高。

XX石油公司的關鍵業務系統運行在不同的軟硬件平臺上，現有的解決方案無法滿足其數據集成的要求。因此，研究如何對XX石油公司的系統數據進行全面的集成，對提升XX石油公司的信息化能力、提高員工和客戶的滿意度具有深遠的意義。

3 Web服務異構數據集成框架及算法

3.1 Web服務異構數據集成框架

XX石油公司關鍵業務系統的數據具有明顯的異構性和分布性，其平臺、數據格式和語義等方面存在較大差異。為了解決以上異構數據的集成問題，本文采用Web 服務作為異構數據集成平臺關鍵技術。Web服務是使用SOAP進行通訊 、使用UDDI進行發布和使用WSDL進行描述的一種新型的分布式計算模型[5]。Web服務是一項新型技術，它最大的優點是使分布在網絡上運行在不同操作系統、使用不同編程語言的應用程序無須借助第三方軟件或硬件，通過標準的XML消息傳遞機制，可實現數據集成、數據交換等操作，因此本文采用Web服務關鍵技術對異構數據進行集成是可行的。

本文采用的是虛擬化視圖法中的中介系統（Mediated? System）體系結構進行數據集成[6]，其工作方式是用戶只需訪問中介系統的地址，無須了解各數據源的訪問方法、模式和位置。圖1是本文的基于中介系統的數據集成框架。在整個框架中主要模塊有Web服務數據集成中介（Web Services data integration medium），Web服務應用服務器群（Web service application server）和UDDI。

數據集成中介平臺的主要功能是攔截用戶的消息，解釋消息的內容、調用相應遠端的Web服務進行數據抽取并實現相應的業務邏輯，最后把結果返回給用戶。同時為了提高數據集成的可靠性和性能，在企業廣域網內同時發布多個功能相同的Web服務，并對Web服務的存活情況、性能等狀態進行實時監測，以便挑選出性能、可靠性最高的服務對異構數據進行抽取和組合。具體包括：1）SOAP消息攔截器（Message Interceptor，MI），其功能是對用戶請求消息進行攔截，并把數據集成后的處理結果返回給用戶; 2）情境感知器（Context Detector，CD）負責探測遠端Web服務的運行時狀態，如執行時間、性能、可靠性等指標;3）業務邏輯執行器（Business Logic Actuator， BLA），數據集成業務通過Web服務組合來完成，BLA負責把用戶請求分解，調用相關的Web服務進行數據抽取，并根據業務邏輯對數據進行計算和集成;4）集成數據庫（Integrated? Database，ID）主要的作用是保存數據抽取的中間結果、運算后的最終結果和Web服務評價結果，同時還保存集成業務系統的重要數據;5）失效檢測器（Failure Detector，FD）負責定期向遠端Web服務發送SOAP消息，以獲取其存活狀態。

Web服務應用服務器群部署核心數據抽取Web 服務，負責對數據庫服務器（Database server）上的數據進行抽取。為了提高數據集成的性能和可靠性，Web服務采用冗余的方式進行部署，即在多臺服務器中部署功能相同的Web服務。圖1中的WS1表示數據庫1（Data Server 1）的數據抽取Web服務，WS2表示數據庫2的數據抽取Web服務，依此類推……核心Web服務發布到企業私有的UDDI服務器上，并以服務組（Service Group）的方式對功能相同的Web服務進行管理，數據集成中介平臺與UDDI交換獲取服務組成員。

3.2 服務選擇算法和集成算法

關鍵業務系統進行數據集成后所面臨的環境更加復雜、應用動態變化，為了提高數據集成的可靠性，在眾多功能相同的Web服務中尋找一個負載率、可靠性、集成速度最優Web服務作為數據抽取服務是關鍵的，以下是Web服務選擇算法描述：

綜上數據集成框架和運行時因素評估的Web服務選擇算法，提出了本文的基于多因素運行時評估的異構數據集成算法HDIRE（HeterogeneousData Integration algorithm based on Runtime factors Evaluation），其核心思想是在中介系統中記錄每個服務執行任務所需的時間、可靠性等要素，并對這些要素進行計算，最終選擇最優的服務作為數據集成服務，算法的執行過程是：1）用戶首先訪問Web服務數據集成中介，集成中介的攔截器（MI）攔截用戶消息，業務邏輯執行器（BLA）解釋用戶消息，對用戶消息進行分解，分解后得到相應所需的數據源;2）根據CD對運行時Web服務的評估情況，選取性能、可靠性最高服務作為數據的抽取服務;3）數據抽取完畢后BLA對業務邏輯進行處理，并把處理結果返回給用戶。

4 異構數據集成在石油行業中的應用驗證

我們把設計好的原型系統部署在石油企業的廣域網中進行驗證，選取兩個運行環境差別很大的業務系統進行異構數據集成。中介系統部署在8核CPU、64G內存、操作系統是Windows2008上;UDDI服務部署在另一個服務器上。本實驗是對業務系統A的數據和業務系統B的數據進行集成，自動集成這兩個業務系統的銷售數據。業務系統A的數據庫是Sybase，運行在AIX操作系統中;業務系統B的數據庫Oracle，操作系統是LINUX。每個系統的數據集成功能對應一個Web服務，為提高Web服務的可靠性，每個Web服務部署2個副本，通過UDII進行發布供中介系統調用，中介系統實時對這兩個副本進行失效檢測和對其性能、負載、執行時間等指標進行實時評估，選擇存活并且性能較好的Web服務作為數據集成服務。當用戶點擊數據集成界面的銷售數據集成按鈕時，A業務系統和B業務系統的銷量便能顯示出來，達到了數據集成預期的效果。

為了測試本文HDIRE算法的性能，本文采用Loadrunner性能測試軟件模擬1000個用戶同時訪問數據集成平臺，在實驗中將統計用戶請求平均響應時間，分別進行兩種情形測試：1）不考慮運行時因素的數據集成算法（標記為Normal-DI）;2）本文的HDIRE算法。測試結果如圖2所示：

從實驗結果看出，一方面，本文的數據集成研究可以對運行在不同操作系統的異構數據集進行集成;另一方面，由于本文考慮了對運行時的性能和可靠性進行評估，即在服務組中挑選出一個可靠性、性能最高的Web服務進行數據集成，所以減少了用戶請求的平均響應時間。

5 結論

本文從XX石油公司的信息系統實際出發，研究現有系統的數據集成、共享等問題。在研究過程中我們結合目前比較流行的Web服務技術和虛擬化視圖，提出了Web服務數據集成框架，在此框架基礎上給出了數據集成算法，該算法考慮了Web服務的可靠性、執行時間和性能，目標是提高數據集成的性能和可靠性。模擬實驗表明，本文的解決方案一方面可對異構數據進行集成，另一面在數據集成質量保障方面獲得較好的優化效果。

參考文獻：

[1] Ab1teboul，Agrawal，Bernstein P， Carey M， Ceri S， Croft B. The Lowell Database Research Self-Assessment Meeting[C]. Lowell Massachusetts，2003.

[2]劉軍.IBM DB2 簡介[EB/OL].http：//soft.chinabyte.com/23/8288023.shtml，2008-09-01/2010-3-10.

[3]Mark Rittman.實時數據集成簡介[EB/OL].

http：//www.oracle.com/technology/global/cn/artieles/rittman-odi.html，2010-03-10/2010-3-10.

[4]Microsoft.概述（Integration Services）[EB/OL]. http：//msdn.microsoft.com/zh-cn/library/ms14126.aspx，2009-07/2010-3-10.

[5] 范小芹，蔣昌俊，王俊麗，等.隨機QoS感知的可靠Web服務組合[J].軟件學報，2009，20（3）：546-556.

[6] Wu W，Yu C，Doan A，Meng W.An Interactive Clustering-based Approach to Integrating Source Query Interfaces on the Deep Web. Porc. Of the ACM SIGMOD Intl Conf.on Management of Data（SIGMOD 2004）[C].ACM Press，2004：95-106.

【通聯編輯：代影】