一種基于統一監控的數據交換平臺的設計與實現

黃愛國，周 云

0 引言

隨著政府信息化建設的逐步推進，信息系統內部和外部的信息交互也將越來越密切。目前我國電子政務系統已經從早期政府辦公自動化系統向外延伸，從內部辦公延伸到對外服務，從內部網完全貫通到電子政務系統3個網絡：政府機關內部的辦公業務網（政務內網），中央和地方政府及部門的辦公業務資源網（政務外網）、以因特網為依托的的政府公眾信息網（即公網）[1]。由于時間跨度較長，采用的交換技術也不盡相同，并且這類信息交換往往都是分散在各個不同的信息系統中，缺乏一個統一的管理，常常需要耗費大量的人力去管理和維護，處理交換業務的失敗與恢復費時費力，更為嚴重的是對數據的進出缺乏一個全面的、整體的監管，導致數據的非法泄露等現象，為此而造成嚴重的影響。

1 民政部門的電子政務平臺

民政作為一個直接面向社會的政府部門，其業務涉及領域廣泛，與外部信息交互頻繁。一般來說，由于信息系統建設跨度很長，使用的技術也各不相同，因此對應的數據交換實現也五花八門，這些交換常常分散在不同的項目中，維護和管理人員在進行日常管理維護時既耗時耗力不說，經常還會掛一漏萬，而且信息管理部門的人員也缺乏一個能快速全面了解數據交換最新情況的管理工具。大量自成體系的政務系統，在很大程度上降低了信息交換的自動化和網絡化的工作效率[2]。

因此，如何管理好這些數據交換任務，使之能夠方便地進行管理、維護、監控，在民政部門看來，已經與數據交換工作本身顯得同等重要。然而由于現有市面上成熟的數據交換軟件雖然有統一的管理工具，以及基于企業標準的數據接口。但是，這些數據交換系統的開發，一般均采用組件化、模塊化的軟件開發方式，系統各模塊間的耦合程度非常高，致使數據交換系統的維護和修改比較困難[3]。面向民政這樣已經有成熟系統且歷史跨度較大的情況下，是難以全部按照新的標準接口規范，進行重新改造來適應新的交換軟件的。

為此，本文通過對民政各類數據交換需求和系統現狀進行了梳理和分析，設計了一套適合民政業務特點的統一監控的數據交換平臺。通過數據交換平臺的建設，制定了民政相關數據標準規范，實現了跨部門數據共享和業務協同，整合了民政原有數據交換系統，實現了統一管理、統一監控和統一調度，同時為其他交換系統準備了接口；并進一步提供了各類業務信息實時查詢要求功能及各類業務應用系統拓展。

2 業務需求分析

2.1 數據交換現狀

民政的業務領域很廣，包括救助、救災、婚姻、養老、居民經濟狀況核對（收入核對）業務等十幾類領域，除此以外，還有一些信息化綜合業務，比如GIS系統、網上辦事、辦公自動化、分析決策業務等等。其中關鍵且數據交換量比較大的業務有：救助業務、婚姻業務、收入核對業務、以及統計分析數據庫和業務數據庫同步等。

2.2 交換場景分析

根據交換場景的不同，民政的數據交換場景主要分為：民政內外網數據的同步及監控、GIS/統計分析數據的同步監控、下級部門數據導出、同外部委辦單位數據交換、以及臨時突發需求等。

實現方式也是多種多樣，有文件、有數據流，有sql，有webservice等等，交換頻率也不盡相同。

2.3 數據交換平臺的建設要求

通過對以上實際情況的了解，總結了業務對交換平臺信息系統的建設要求，主要包括：

（1）具備統一完善的監控管理機制：必須將所有的交換業務統一納入到交換監控管理平臺上來，這是一個最核心的要求。

（2）提供完善的日志查詢統計：為了便于管理和事后跟蹤，所有業務交換的同時必須提供完善的日志信息，供查詢分析。

（3）平臺適應靈活的業務需求：平臺應提供良好的架構，以適應靈活的業務需求，比如適合二次開發，可以對抽取、交換規則進行定義；對于數據變量可以方便轉換、寫庫等等

（4）平臺的可管理性、可配置：為了適應靈活的變化需求，平臺可以設置成可管理、可配置的，比如在新增、修改一些普通的交換項目時，可以簡單配置即可。

（5）提供可靠的交換質量保證：具備失敗重傳、恢復機制。

（6）提供并發流量控制排隊機制：確保在大數據量交換時可以穩定、快速的完成事務。

3 系統設計概述

3.1 技術路線設計和關鍵技術實現

為了達到業務對系統的建設要求，選擇一個能夠提供一個先進、可靠的應用系統技術體系，保證系統的順利建設和穩定運行是非常重要的，在本項目中采用了：

（1）基于SOA的體系架構設計。面向服務的體系結構（Service-Oriented Architecture, SOA）是一個組件模型，它將應用程序中的不同功能單位稱為服務，并通過對這些服務之間定義良好的接口而將其聯系起來。接口是采用中立的方式進行定義，也就是說它獨立于實現服務的硬件平臺、操作系統和編程語言，這使得構建在各種各樣的系統中的服務可以以一種統一和通用的方式進行交互[3]。由于采用了這種架構，加上可以支持除傳統web services[4-5]，HTTP，socket接口模式外，還支持數據庫接口的模式，這樣就能滿足民政業務的各種實際需求。

（2）基于統一消息元標準、多樣化接口實現設計。經過對業務的詳細分析，設計了一套統一的消息元標準，該消息元包含了常用的消息指令，如運行狀態消息、控制命令信息、異常突發消息等等。同時針對多樣化的交換業務，封裝并實現了多種嵌入方式，確保各類業務需求都能滿足。這是本系統的設計靈魂，通過該設計，既滿足了對信息交換的統一監控和管理，又滿足了民政復雜多樣的交換方式需求，也是目前市面其他通用軟件所無法提供的。

（3）可擴展的適配層設計。需要交換的數據來源是異構的，由于采用了不同的體系，不同的廠商軟件，加上有的投產時間很久，無法用現有的標準接口來一一滿足。通過在交換系統之間增加適配器層后，有利于方便的與業務系統接入，同時也有助于系統監控中心的統一監控管理。適配器采用組件化設計，主要由數據源組件、中間處理組件、和數據發送接收組件構成，實現數據的提取、轉換、傳輸、監控記錄等功能，并且該適配器可以根據標準自行擴展增加，以適應未來需求。

3.2 系統總體設計與實現

民政數據交換業務系統的總體結構，如圖1所示：

圖1 系統的總體結構

針對上述系統總體結構圖，對各項任務的設計說明如下：

3.3 數據交換中心系統

數據交換中心系統是本系統的建設核心，它主要通過一系列的組件和接口以服務的形式提供給各個系統和維護人員。其中包括用于底層的一些服務，如（1）橋接服務：主要是指由數據交換中心系統通過 webService的方式，來遠程調用或控制數據交換相關業務系統的特定業務交換功能。（2）監控服務：實現對一個完整的數據交換過程的各個環節的統一監控。（3）傳輸服務：在一定的傳輸協議的基礎上（FTP/SMTP/HTTP），將交換數據或監控結果數據在數據源業務系統與數據交換中心之間傳輸。（4）加載服務：交換數據從源業務系統傳輸到數據交換中心之后，通過配置的數據整合規則，先對數據進行校驗或改造，然后，存入數據交換中心的數據庫中。（5）任務服務：通過任務的方式提供一系列完整的功能。

另外包含一些面向應用的功能，包括（1）用戶管理；（2）交換接入點管理：（3）服務配置管理；（4）監視控制平臺等等。

3.4 關鍵數據指標描述

以下對交換平臺比較重要的幾個數據類別的指標進行了描述：

（1）交換接入點信息元

關鍵指標包括：數據指標名稱、接入點 ID、接入點名稱、接入點IP地址、創建者、創建時間、更新時間、是否有效、交換用戶、接入點類型等。

（2）接口適配器信息元

關鍵指標包括：數據指標名稱、適配器 ID、適配器名稱、接入點Id、適配器類型、適配器描述、創建者、創建時間、更新時間、是否有效。

（3）交換服務配置信息元

關鍵指標包括：數據指標名稱、任務 ID、服務名稱、服務描述、服務類型、創建者、創建時間、更新時間、服務順序號、超時間隔、最大重試次數。其中服務類型有數據采集、數據傳輸、數據監控等。

（3）交換任務信息元

關鍵指標包括：數據指標名稱、任務 ID、任務名稱、啟動方式、協議編號、創建者、創建時間、更新時間，當前狀態等。

3.5 系統主要功能概述

雖然系統的內部實現比較復雜，但最終展現給用戶使用的功能很簡單，主要包括管理功能和監控功能。其中管理功包括即交換系統的接入配置管理、接口適配器管理，用于增加、修改、刪除一個交換任務，或者擴充一個新的接口適配器。監控功能包括日常的交換監控，以及管理日志查詢統計等。此外還包含了系統所必須的用戶權限管理等等，這里不再詳述。以下僅對交換監控功能做一描述。

通過交換監控功能可以查看數據交換各類監控信息，包含：交換流程的名稱、交換啟動方式、上次交換時間、交換流程狀態（正常/異常）；如果交換流程狀態異常，可以看到異常信息，包含異常描述；異常代碼、可能原因、可能解決辦法等。

管理監控中心實現對所有數據交換服務的創建、維護和監控，同時還負責所有交換接入端接入身份的認證和安全管理[6]。數據交換平臺管理員使用該功能監控所有的交換流程任務，查看數據交換業務的執行情況。

4 典型場景部署示例

以下列舉了幾類典型的場景和部署方式示例。

（1）內部核心業務系統的實時交換

此場景常用于業務系統甲需要業務系統乙的某些特殊數據，比如收入核對實時查詢婚姻狀況，其接入方式，如圖2所示：

圖2 內部核心業務系統的實時交換

遵循規范：為了方便交換業務系統的接入，交換系統為每一個需要加入監控的交換業務提供統一的模板實現類，該模板的功能是接收交換請求，調用實際的交換業務，將交換結果（成功，失敗等）遞交到交換中心，之后再將交換結果和響應數據返回給交換服務調用者。

需要監控的交換業務只需要實現調用實際交換業務這一個方法接口，按照接口的要求返回交換結果即可，原來的交換服務調用者的接口(Client 端)可以保持不變。

（2）內部業務系統與外部部門數據交換

此場景常用于核心業務系統甲與委辦業務系統乙之間的數據交換，其接入方式，如圖3所示：

圖3 內部業務系統與外部部門數據交換

遵循規范：該方式通過統一交換監控平臺實現定期自動數據交換，對端可以是符合交換標準的webservice服務，也可以是約定的ftp服務甚至http web服務等多種方式，內部系統甲則是標準的webservice服務。

5 結束語

本文主要從民政數據交換的實際現狀分析出發，設計并實現了一套以集中統一監控管理為核心、靈活多變的接入方式為基礎的數據交換平臺，通過利用基于J2EE的基礎框架體系，構建了一個包含不同情況和支持多層次服務的統一監控數據交換平臺，同時使用SOA組件設計理念，結合自定義多樣化適配器的支持，使得系統具備更好的集成性和靈活性。本文所提出的可統一監控的交換平臺已成功應用于本人所在單位的生產系統中，經過了實際運行實踐表明，具有很好的穩定性和靈活性，具有很好的應用和推廣價值。

[1]向真,吳秋云,陳葷.電子政務三網模式下的數據交換[J].計算機工程與科學,2004,26(8):11-13

[2]何國輝.基于 XML的電子政務系統設計[J].微計算機信息,2006,22(3):151-154

[3]梅立軍,付小龍,劉啟新,沈錫臣.基于 SOA的數據交換平臺研究與實現[J].計算機工程與設計,2006,27(19)

[4]W3C Working Group [OL]Web services architecture 2004

[5]HEATHER K; IBM Software Group [OL]Web services conceptual architecture 2001

[6]徐璨，蘇厚勤.一種信息資源集成平臺的研究與實踐[J].計算機應用與軟件,2012,29(4):196