基于XML映射規則的油氣管道數據動態遷移系統設計

高建章 吳志鋒 孫嘯 劉昊 李怡

摘 ?要： 針對傳統油氣管道數據動態遷移系統數據映射性能較差的問題，提出一種基于XML映射規則的油氣管道數據動態遷移系統。系統硬件配置為調度模塊，由FIFO調度器、計算能力調度器、公平調度器、I/O調度器、TaskTracker、JobTracker構成。系統軟件包括數據轉換模塊、數據動態遷移模塊，其中，數據轉換模塊主要利用XML映射規則獲取XML映射數據，并將其嫁接在目的數據庫與源數據庫之間，以實現油氣管道數據的數據類型轉換與數據備份;數據動態遷移模塊主要通過數據遷移程序發出的數據遷移命令來遷移XML 配置文件。該系統通過硬件與軟件相結合實現了油氣管道數據的動態遷移。為了驗證該系統的數據映射性能，將該系統與幾種傳統油氣管道數據動態遷移系統對比，共同進行油氣管道數據動態遷移的對比實驗。實驗結果證明，基于XML映射規則的油氣管道數據動態遷移系統的數據映射性能更強并且更穩定，說明該系統更適用于油氣管道數據的動態遷移。

關鍵詞： 油氣管道; 數據動態遷移; XML映射規則; 數據嫁接; 數據類型轉換; 任務調度

中圖分類號： TN02?34; TP311 ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）07?0155?04

Design of oil?gas pipeline data dynamic migration system based on XML mapping rules

GAO Jianzhang1， 2， WU Zhifeng2， SUN Xiao2， LIU Hao2， LI Yi3

（1. Beijing University of Posts and Telecommunications， Beijing 100876， China; 2. PetroChina Southwest Pipeline Company， Chengdu 610037， China;

3. Chengdu Aerospace Science & Industry Big Data Institute Ltd.， Chengdu 610000， China）

Abstract： An oil?gas pipeline data dynamic migration system based on XML mapping rules is proposed to improve the performance of data mapping in traditional oil?gas pipeline data dynamic migration system. The hardware configuration of the system includes a scheduling module， which consists of FIFO dispatcher， computing power dispatcher， fair dispatcher， I/O dispatcher， TaskTracker and JobTracker. The system software includes data conversion module and data dynamic migration module. The data conversion module is used to obtain XML mapping data mainly by means of XML mapping rules， and graft it between the target database and the source database in order to realize data type transformation and data backup of oil?gas pipeline data. The data dynamic migration module is used to migrate XML configuration file according to the data migration command issued by the data migration program. The dynamic migration of oil?gas pipeline data is realized by the combination of hardware and software in the system. In order to verify the data mapping performance of the system， the system is compared with several traditional oil?gas pipeline data dynamic migration systems， and a contrast experiment of oil?gas pipeline data dynamic migration was carried out. The experimental results prove that the oil?gas pipeline data dynamic migration system based on XML mapping rules has stronger data mapping performance and is more stable， which shows that the system is more suitable for the dynamic migration of oil?gas pipeline data.

Keywords： oil?gas pipeline; data dynamic migration; XML mapping rule; data grafting; data type transformation; task scheduling

0 ?引 ?言

在轉移存儲的電子文獻、升級網絡、更換存儲設備、遷移分系統數據至新建的綜合數據管理中心時，都需要解決數據更新問題與數據遷移問題，特別是處于異構環境下時，數據的高度復雜使遷移數據時面臨著巨大的壓力[1]。對于油氣企業，油氣管道數據多種數據庫、多種方式的數據存儲問題已經成為企業數據應用中難以解決的問題。非結構化文檔和圖形、結構化數據、數據體大型文件等，石油行業不同于其他行業，具備海量數據并且數據結構十分復雜，由于多個數據庫存在存儲方式等方面的差異，使用戶在訪問數據庫時非常不便[2]。

在數據庫的開發與管理中，最常用的功能就是數據遷移。數據遷移指的是對數據進行數據環境轉移，從而實現精確而徹底的數據轉換，適用于將數據從原本的舊系統轉移至新系統中，從多個舊系統統一轉移至一個新系統中，從多個小系統統一融匯至一個大系統中，需要將分系統中結構各異的數據與舊系統中各種歷史數據轉移至新系統、新環境中[3]。遷移不同數據庫中的數據時，需要遵循下列步驟：源數據識別、數據集成轉換具體規則確定以及轉換規則代碼開發。目前，數據遷移是數據管理領域、勘探數據采集領域的核心工作[4]。由于石油行業整體業務的復雜性，對油氣管道數據遷移系統提出了越來越高的要求，因此，基于XML映射規則開發了一套高性能、高穩定性并且滿足目前石油行業數據勘探、管理現狀的油氣管道數據動態遷移系統。

1 ?設計基于XML映射規則的油氣管道數據動態遷移系統

1.1 ?硬件設計

基于XML映射規則的油氣管道數據動態遷移系統的硬件配置為調度模塊，調度模塊中包含多種調度器，包括FIFO調度器、計算能力調度器、公平調度器以及I/O調度器[5]。各個調度器的具體調度配置如表1所示。

在調度模塊中，通過JobTracker來采集、管理油氣管道數據，TaskTracker與JobTracker會定期交互信息，每隔一段時間，TaskTracker會利用心跳信息向FIFO調度器、計算能力調度器、公平調度器以及I/O調度器進行數據匯報，包括系統剩余內存空間、內存使用狀況、運行任務數量、slot數量等[6]。而各個調度器則根據Heartbeat信息進行油氣管道數據調度與任務調度，以確保系統能夠進行油氣管道數據動態遷移[7]。各個調度器還會根據TaskTracker的網絡、磁盤使用狀況來判斷系統的資源使用狀況以合理分配遷移作業[8]。分配遷移作業時，需要通過I/O調度器判斷各個模塊的I/O負載情況，當I/O負載過重時，則停止對該模塊的作業分配，這樣遷移油氣管道數據的過程中能夠整體遷移效率[9]。

1.2 ?設計軟件

基于XML映射規則的油氣管道數據動態遷移系統的軟件包括數據轉換模塊、數據動態遷移模塊[10]。

1.2.1 ?設計數據轉換模塊

基于XML映射規則設計數據轉換模塊，數據轉換模塊主要利用XML映射規則獲取XML映射數據，并將其嫁接在目的數據庫與源數據庫之間，以實現油氣管道數據的數據類型轉換與數據備份，具體映射原理如圖2所示[11]。

通過XML映射規則獲取的XML映射數據包括日期類型、大對象類型、字符類型、數值類型，具體如表2～表5所示[12]。

1.2.2 ?設計數據動態遷移模塊

數據動態遷移模塊主要通過數據遷移程序發出的數據遷移命令來遷移XML 配置文件，具體動態遷移流程如圖3所示[13]。

圖3中，Transformer指的是傳輸對象包;Permanence指的是持久化包;DBAccess指的是數據訪問包;DataReader指的是數據對象包;Tansform指的是數據傳輸處理包;QC指的是質量控制包[14]。

在油氣管道數據的動態遷移過程中，數據遷移率的計算公式如下：

[T=QWi=1le2i] （1）

式中：[T]代表油氣管道數據的遷移率;[Q]代表油氣管道數據的形式轉換速率;[W]代表油氣管道數據加工時間;[ei]代表目標信息對比速率[15]。

2 ?實驗分析

2.1 ?實驗方法

為了檢測本文設計的基于XML映射規則的油氣管道數據動態遷移系統的性能，通過對比實驗驗證。隨機選取一些油氣管道數據，基于XML映射規則轉換其數據形式，將其轉換成XML映射數據。利用基于XML映射規則的油氣管道數據動態遷移系統對XML映射數據進行動態遷移，將油氣管道數據遷移至新系統中。首先需要部署基于XML映射規則的油氣管道數據動態遷移系統的運行環境，包括硬件環境與軟件環境，具體如表6所示。

完成系統運行環境的部署后，利用系統進行油氣管道數據的動態遷移。為了保證本次實驗的有效性，使用基于數據總體優化策略的油氣管道數據動態遷移系統、基于源數據清洗的油氣管道數據動態遷移系統、基于增量數據處理的油氣管道數據動態遷移系統、基于源數據整合的油氣管道數據動態遷移系統與本文提出的基于XML映射規則的油氣管道數據動態遷移系統進行比較。觀察實驗結果，比較各個油氣管道數據動態遷移系統的數據映射性能，也就是系統的數據轉換能力，通常數據映射性能可以分為1～8級，級數越高代表系統的數據轉換能力越強、數據轉換速率越高。

2.2 ?實驗結果

利用基于數據總體優化策略的油氣管道數據動態遷移系統、基于源數據清洗的油氣管道數據動態遷移系統、基于增量數據處理的油氣管道數據動態遷移系統、基于源數據整合的油氣管道數據動態遷移系統、基于XML映射規則的油氣管道數據動態遷移系統進行選取油氣管道數據的動態遷移，其數據映射性能對比如圖4所示。

根據圖4的數據映射性能對比結果可知：基于數據總體優化策略的油氣管道數據動態遷移系統、基于源數據清洗的油氣管道數據動態遷移系統、基于增量數據處理的油氣管道數據動態遷移系統、基于源數據整合的油氣管道數據動態遷移系統等傳統系統在數據遷移次數成倍增加的狀態下，均存在數據映射性能級別不斷降低的現象;而基于XML映射規則的油氣管道數據動態遷移系統則不同于傳統油氣管道數據動態遷移系統，在數據遷移次數成倍增加的狀態下仍然可以將數據映射性能保持在7級，即基于XML映射規則的油氣管道數據動態遷移系統的數據映射性能優于其余幾種傳統油氣管道數據動態遷移系統。

3 ?結 ?語

基于XML映射規則的油氣管道數據動態遷移系統在實現油氣管道數據安全遷移的同時，也實現了數據映射性能的提升，并且相對于傳統油氣管道數據動態遷移系統，對于未上線系統而言，該系統的兼容性更強，對石油行業的數據共享具有重要意義。

參考文獻

[1] 朱杰，游雄，夏青.基于任務驅動的戰場環境分析數據映射模型設計與實現[J].地理信息世界，2017，24（4）：80?85.

[2] 趙軍富，譚躍生，王猛.基于Active XML動態自適應工作流引擎的設計與實現[J].現代電子技術，2017，40（22）：75?77.

[3] 王美琴.基于.NET的通用數據庫轉換系統的設計與實現[J].中國非金屬礦工業導刊，2017，21（4）：50?53.

[4] 吳玥，王建強，夏開建.基于動態密鑰分發機制的XML電子病歷共享方案研究與設計[J].中國數字醫學，2017，12（10）：26?28.

[5] 臧昊，趙強，卞水榮.基于XML的電子病歷隱私數據脫敏技術的研究與設計[J].信息技術與信息化，2017，22（3）：111?114.

[6] 王義，于書媛，李亞龍，等.基于XML和ASP技術Flash地震圖文動態展示[J].網絡安全技術與應用，2017，11（2）：68?69.

[7] 陳明.分布式網絡數據包優先級傳輸模型研究仿真[J].電子設計工程，2016，24（12）：5?8.

[8] 丁小勇.基于ASP+FLASH+XML架構的珍珠電子相冊的設計與實現[J].通訊世界，2018，17（8）：242?243.

[9] 趙軍富，李禹睿，彭亞云，等.基于Active XML動態自適應工作流任務分配研究[J].內蒙古科技大學學報，2017，36（1）：55?58.

[10] 王忠波，羅喜伶，齊鳴，等.基于UML和XSD的航班信息交換模型研究與實現[J].計算機技術與發展，2017，27（4）：139?144.

[11] 杜震洪，黃祥志，姜斌之，等.一種動態實時的遙感專題應用系統定制框架[J].浙江大學學報（理學版），2018，45（6）：758?764.

[12] 朱勇，徐中偉，萬勇兵.CBTC仿真測試系統線路數據可視化生成的設計與實現[J].鐵路計算機應用，2018，27（4）：54?58.

[13] 劉東洪，鄢萍.基于插件和優先級FCFS的機床數據采集方案設計[J].現代制造工程，2017，21（3）：51?56.

[14] HUANG S T， HUANG C C， HUANG W L， et al. Tanshinone IIA induces intrinsic apoptosis in osteosarcoma cells both in vivo and in vitro associated with mitochondrial dysfunction [J]. Scientific reports， 2017， 27（31）： 40382?40398.

[15] SINGH L P， ISSENMANN B， CAUPIN F. Pressure dependence of viscosity in supercooled water and a unified approach for thermodynamic and dynamic anomalies of water [J]. Proceedings of the national academy of sciences， 2017， 114（117）： 4312?4317.