基于ESB的礦政業(yè)務(wù)數(shù)據(jù)服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

胡容波，曾建鷹，周 桅，李海明

(1.國土資源部信息中心，北京 100812；2.萬達(dá)信息股份有限公司，上海 201112)

基于ESB的礦政業(yè)務(wù)數(shù)據(jù)服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

胡容波1，曾建鷹1，周 桅1，李海明2

(1.國土資源部信息中心，北京 100812；2.萬達(dá)信息股份有限公司，上海 201112)

針對(duì)需要將國土資源部掌握的礦政業(yè)務(wù)數(shù)據(jù)按所在政區(qū)提供給省級(jí)部門的業(yè)務(wù)需求，基于ESB和SOA設(shè)計(jì)并實(shí)現(xiàn)了礦政業(yè)務(wù)數(shù)據(jù)服務(wù)系統(tǒng)。在系統(tǒng)設(shè)計(jì)部分，說明了該系統(tǒng)的需求分析、基本方案設(shè)計(jì)、總體架構(gòu)設(shè)計(jì)以及系統(tǒng)功能設(shè)計(jì)。在系統(tǒng)實(shí)現(xiàn)部分，論述了基于SOA和數(shù)據(jù)映射模版的服務(wù)開發(fā)、基于ESB的服務(wù)注冊(cè)以及基于代理的服務(wù)調(diào)用等核心流程。之后介紹了已經(jīng)上線的非油氣礦業(yè)權(quán)、油氣勘查開采礦業(yè)權(quán)等6類礦政業(yè)務(wù)數(shù)據(jù)服務(wù)實(shí)例的實(shí)際運(yùn)行情況。該系統(tǒng)的建立為部省數(shù)據(jù)共享提供了一個(gè)新的通道，探索了一種實(shí)用的數(shù)據(jù)共享模式。

數(shù)據(jù)共享；ESB；信息系統(tǒng)；國土資源；礦政

近年來，國土資源部通過開展“一張圖”核心數(shù)據(jù)庫建設(shè)和綜合監(jiān)管平臺(tái)建設(shè)，實(shí)時(shí)采集匯總了大量地政、礦政業(yè)務(wù)數(shù)據(jù)。在國土資源部層面，這些數(shù)據(jù)已成為日常管理、業(yè)務(wù)審批、綜合統(tǒng)計(jì)、形勢(shì)分析、監(jiān)測(cè)預(yù)警、調(diào)控決策的依據(jù)[1]。為了避免重復(fù)建設(shè)，對(duì)于部級(jí)通過統(tǒng)一渠道直接從各級(jí)監(jiān)測(cè)和采集的數(shù)據(jù)，需要按行政區(qū)劃提供給省級(jí)國土資源行政主管部門，以協(xié)助各省級(jí)部門建立覆蓋本轄區(qū)的“一張圖”核心數(shù)據(jù)庫，進(jìn)而提升全國國土資源管理與服務(wù)水平[2]。

最簡(jiǎn)單的方式是各省級(jí)國土資源行政主管部門定期到國土資源部拷貝所需業(yè)務(wù)數(shù)據(jù)，但這種方式顯然效率不高，而且難以保證數(shù)據(jù)的時(shí)效性。如果直接由采集系統(tǒng)導(dǎo)出數(shù)據(jù)也面臨一些困難：①部分采集系統(tǒng)雖然依托互聯(lián)網(wǎng)運(yùn)行，但是所采集的數(shù)據(jù)都交換進(jìn)了內(nèi)部局域網(wǎng)，不能直接從采集系統(tǒng)導(dǎo)出完整數(shù)據(jù)；②部分采集系統(tǒng)僅在部級(jí)應(yīng)用，如油氣勘查開采登記系統(tǒng)，省級(jí)并沒有對(duì)應(yīng)的采集系統(tǒng)；③采集系統(tǒng)較為分散，需要分別登錄和授權(quán)才能獲取數(shù)據(jù)，且經(jīng)常大批量導(dǎo)出數(shù)據(jù)也影響系統(tǒng)正常應(yīng)用性能。

為了探索比較簡(jiǎn)便和實(shí)用的部省之間業(yè)務(wù)數(shù)據(jù)共享模式，本文以礦政業(yè)務(wù)數(shù)據(jù)為例，論述基于企業(yè)服務(wù)總線(enterprise service bus，ESB)的礦政業(yè)務(wù)數(shù)據(jù)服務(wù)系統(tǒng)(以下簡(jiǎn)稱服務(wù)系統(tǒng))的設(shè)計(jì)與實(shí)現(xiàn)。

1 需求分析

服務(wù)系統(tǒng)的建設(shè)目標(biāo)是將國土資源部所掌握的主要礦政業(yè)務(wù)數(shù)據(jù)，以行政區(qū)劃為單元提供給省級(jí)國土資源行政主管部門，實(shí)現(xiàn)信息共享，形成常態(tài)化機(jī)制。基本需求如下所述。

1)部級(jí)管理員通過服務(wù)系統(tǒng)發(fā)布礦政業(yè)務(wù)數(shù)據(jù)，按需授權(quán)給省級(jí)管理員或省級(jí)應(yīng)用系統(tǒng)開發(fā)人員使用。

2)省級(jí)管理員通過服務(wù)系統(tǒng)查詢已經(jīng)上線發(fā)布的礦政業(yè)務(wù)數(shù)據(jù)，根據(jù)授權(quán)獲取數(shù)據(jù)。

3)省級(jí)應(yīng)用系統(tǒng)開發(fā)人員通過服務(wù)系統(tǒng)查詢已經(jīng)開放的數(shù)據(jù)接口，根據(jù)授權(quán)在省級(jí)應(yīng)用系統(tǒng)中直接調(diào)用接口，實(shí)時(shí)獲取業(yè)務(wù)信息。

此外，服務(wù)系統(tǒng)要求易擴(kuò)展、易部署、易維護(hù)。易擴(kuò)展包括兩個(gè)方面：一是便于擴(kuò)展業(yè)務(wù)數(shù)據(jù)內(nèi)容，可方便地增加礦政其他業(yè)務(wù)數(shù)據(jù)，乃至全部國土資源業(yè)務(wù)數(shù)據(jù)；二是便于擴(kuò)展應(yīng)用節(jié)點(diǎn)，可從省級(jí)國土資源行政主管部門方便地?cái)U(kuò)展到市、縣級(jí)部門。為便于部署和維護(hù)，要求服務(wù)系統(tǒng)只在部級(jí)節(jié)點(diǎn)部署。

2 系統(tǒng)設(shè)計(jì)

2.1 基本方案設(shè)計(jì)

結(jié)合需求分析以及已有軟硬件環(huán)境，采用基于ESB和面向服務(wù)的架構(gòu)(service-oriented architecture，SOA)建立服務(wù)系統(tǒng)。

SOA的核心是服務(wù)，它使用自治的、平臺(tái)獨(dú)立的、松散耦合且可重用的服務(wù)作為基本元素來快速低成本地構(gòu)建可互操作的、可進(jìn)化的分布式軟件應(yīng)用，能夠靈活快速地應(yīng)對(duì)業(yè)務(wù)的頻繁變化[3]。服務(wù)系統(tǒng)的核心是業(yè)務(wù)數(shù)據(jù)，可以分別將各業(yè)務(wù)數(shù)據(jù)封裝為標(biāo)準(zhǔn)數(shù)據(jù)服務(wù)，進(jìn)而構(gòu)建SOA模式的應(yīng)用系統(tǒng)，充分發(fā)揮SOA中建立和使用服務(wù)的優(yōu)勢(shì)。

采用ESB主要是為了實(shí)現(xiàn)對(duì)服務(wù)的統(tǒng)一注冊(cè)、監(jiān)控與管理，簡(jiǎn)化系統(tǒng)開發(fā)，便于系統(tǒng)擴(kuò)展。ESB可廣泛應(yīng)用于系統(tǒng)應(yīng)用集成和數(shù)據(jù)共享交換平臺(tái)[4-7]。ESB作為服務(wù)間的連接框架，其核心功能包括消息轉(zhuǎn)換、消息機(jī)制、基于內(nèi)容的路由和服務(wù)容器四部分[8]。ESB消除了服務(wù)消費(fèi)者與服務(wù)提供者之間的直接連接，使得服務(wù)消費(fèi)者與服務(wù)提供者之間進(jìn)一步解耦，實(shí)現(xiàn)了服務(wù)地址和傳輸協(xié)議的透明化，便于增加新服務(wù)或改變已有服務(wù)，使開發(fā)人員從底層技術(shù)中解脫出來，更加關(guān)注于核心業(yè)務(wù)[4，9]。ESB也可以將數(shù)據(jù)資源直接發(fā)布為標(biāo)準(zhǔn)服務(wù)供服務(wù)請(qǐng)求者訪問[10]，不過為了實(shí)現(xiàn)較復(fù)雜的業(yè)務(wù)數(shù)據(jù)服務(wù)功能，還是需要進(jìn)行服務(wù)開發(fā)。

2.2 總體架構(gòu)設(shè)計(jì)

服務(wù)系統(tǒng)總體架構(gòu)分為5層，見圖1。其中，IT基礎(chǔ)設(shè)施層提供服務(wù)系統(tǒng)運(yùn)行所需的軟硬件及網(wǎng)絡(luò)環(huán)境；數(shù)據(jù)層提供各業(yè)務(wù)數(shù)據(jù)服務(wù)的數(shù)據(jù)來源(中間庫)；服務(wù)層實(shí)現(xiàn)各業(yè)務(wù)數(shù)據(jù)服務(wù)，接入ESB；應(yīng)用層在服務(wù)層的基礎(chǔ)上，為用戶提供各類應(yīng)用功能，包括用于人工操作的功能和供第三方系統(tǒng)調(diào)用服務(wù)的功能；表現(xiàn)層為面向各類用戶的服務(wù)系統(tǒng)操作界面。

2.3 系統(tǒng)功能設(shè)計(jì)

服務(wù)系統(tǒng)主要功能模塊見圖2。

1)服務(wù)導(dǎo)航模塊。部級(jí)管理員在服務(wù)導(dǎo)航模塊進(jìn)行服務(wù)注冊(cè)、授權(quán)、配置、測(cè)試等。省級(jí)管理員和省級(jí)應(yīng)用系統(tǒng)開發(fā)人員在服務(wù)導(dǎo)航模塊查詢部已經(jīng)上線的數(shù)據(jù)服務(wù)，對(duì)需要的數(shù)據(jù)服務(wù)提出應(yīng)用申請(qǐng)，經(jīng)審核通過后按需使用服務(wù)。

2)數(shù)據(jù)中心模塊。主要用于人工操作模式下省級(jí)管理員下載數(shù)據(jù)服務(wù)生成的數(shù)據(jù)，列表顯示服務(wù)名稱、提交人、提交時(shí)間、完成時(shí)間等。數(shù)據(jù)中心也可為省級(jí)管理員向部發(fā)送數(shù)據(jù)提供上傳通道。

3)用戶管理模塊。對(duì)用戶、角色以及第三方應(yīng)用系統(tǒng)進(jìn)行管理，包括審核用戶、審核第三方應(yīng)用系統(tǒng)、服務(wù)授權(quán)等。角色分為系統(tǒng)管理員、部級(jí)管理員、省級(jí)管理員，根據(jù)需要可擴(kuò)展到市級(jí)管理員、縣級(jí)管理員，以及按業(yè)務(wù)進(jìn)行細(xì)分。

4)服務(wù)監(jiān)控模塊。對(duì)服務(wù)運(yùn)行進(jìn)行監(jiān)控，查看服務(wù)名稱、在線情況、運(yùn)行狀態(tài)、調(diào)用者、調(diào)用時(shí)間以及更詳細(xì)的日志信息。

5)統(tǒng)計(jì)分析模塊。分類統(tǒng)計(jì)服務(wù)名稱、調(diào)用次數(shù)、成功次數(shù)、失敗次數(shù)、執(zhí)行頻度、累計(jì)執(zhí)行時(shí)間、累計(jì)提供數(shù)據(jù)量等。

6)應(yīng)用交流模塊。用于提示操作，發(fā)布和查看系統(tǒng)通知，查詢常見問題解答和進(jìn)行在線交流。

7)系統(tǒng)管理模塊。系統(tǒng)管理員進(jìn)行各類參數(shù)設(shè)置，對(duì)數(shù)據(jù)庫映射文件模板進(jìn)行編輯管理等。

圖1 服務(wù)系統(tǒng)總體架構(gòu)

圖2 服務(wù)系統(tǒng)主要功能模塊

3 系統(tǒng)實(shí)現(xiàn)

服務(wù)系統(tǒng)基于國產(chǎn)ESB產(chǎn)品，采用Java語言開發(fā)。前臺(tái)頁面的實(shí)現(xiàn)使用了jQuery庫、AJAX技術(shù)和DWZ富客戶端框架。后臺(tái)基于Spring框架和Nutz框架開發(fā)，采用ActiveMQ作為消息總線，通過FTP實(shí)現(xiàn)文件上傳下載。為了不影響生產(chǎn)數(shù)據(jù)庫，建立了中間庫作為數(shù)據(jù)服務(wù)的數(shù)據(jù)源，通過內(nèi)外網(wǎng)人工擺渡和基于Kettle的數(shù)據(jù)庫同步工具進(jìn)行數(shù)據(jù)同步。

3.1 服務(wù)開發(fā)

各業(yè)務(wù)數(shù)據(jù)服務(wù)均采用Web Service實(shí)現(xiàn)。具體技術(shù)可選擇基于SOAP消息模式或REST模式進(jìn)行開發(fā)[11]。業(yè)務(wù)數(shù)據(jù)服務(wù)處理流程見圖4。

為了解決存儲(chǔ)業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)(Oracle、SQL Server等)與業(yè)務(wù)數(shù)據(jù)交換文件格式(MDB、XML、XLS)不一致問題，引入數(shù)據(jù)模板作為生成交換數(shù)據(jù)的媒介，在數(shù)據(jù)模板中指定需要交換的數(shù)據(jù)項(xiàng)及映射關(guān)系。數(shù)據(jù)模板可以在服務(wù)系統(tǒng)中進(jìn)行配置管理，以靈活應(yīng)對(duì)業(yè)務(wù)數(shù)據(jù)庫結(jié)構(gòu)變化或交換文件需求變化。

3.2 服務(wù)注冊(cè)

業(yè)務(wù)數(shù)據(jù)服務(wù)可由不同開發(fā)單位按照服務(wù)規(guī)范開發(fā)實(shí)現(xiàn)，通過服務(wù)系統(tǒng)注冊(cè)在ESB上進(jìn)行統(tǒng)一管理。ESB通過服務(wù)代理為服務(wù)請(qǐng)求者提供服務(wù)，實(shí)現(xiàn)服務(wù)請(qǐng)求者與服務(wù)提供者的解耦[12]。業(yè)務(wù)數(shù)據(jù)服務(wù)注冊(cè)流程見圖4。

圖4 業(yè)務(wù)數(shù)據(jù)服務(wù)注冊(cè)流程

3.3 服務(wù)調(diào)用

提供兩類服務(wù)調(diào)用場(chǎng)景：一是用戶登錄服務(wù)系統(tǒng)進(jìn)行人工操作，由服務(wù)系統(tǒng)調(diào)用對(duì)應(yīng)的數(shù)據(jù)服務(wù)，調(diào)用結(jié)束后用戶在數(shù)據(jù)中心下載數(shù)據(jù)結(jié)果；二是第三方應(yīng)用系統(tǒng)調(diào)用服務(wù)接口自動(dòng)獲取數(shù)據(jù)。第一種方式支持異步調(diào)用，可以解決獲取大量數(shù)據(jù)的等待時(shí)長(zhǎng)問題，但頻繁操作會(huì)使服務(wù)器端的性能成為瓶頸。第二種方式支持同步調(diào)用，可以實(shí)現(xiàn)少量數(shù)據(jù)的即時(shí)獲取，但受到網(wǎng)絡(luò)連接狀況的限制。業(yè)務(wù)數(shù)據(jù)服務(wù)調(diào)用流程見圖5。

圖3 業(yè)務(wù)數(shù)據(jù)服務(wù)處理流程

為了確保數(shù)據(jù)準(zhǔn)確與安全，在服務(wù)調(diào)用前需要進(jìn)行權(quán)限驗(yàn)證，服務(wù)調(diào)用結(jié)束后再次進(jìn)行數(shù)據(jù)驗(yàn)證。礦政業(yè)務(wù)數(shù)據(jù)存儲(chǔ)了項(xiàng)目的所在政區(qū)信息，因而比較容易進(jìn)行權(quán)限控制，即項(xiàng)目所在政區(qū)應(yīng)與管理機(jī)關(guān)對(duì)應(yīng)的行政區(qū)劃相匹配。如果服務(wù)系統(tǒng)應(yīng)用節(jié)點(diǎn)擴(kuò)展至市、縣級(jí)，可通過建立對(duì)照表解決部分新舊行政區(qū)劃代碼共存的問題。

圖5 業(yè)務(wù)數(shù)據(jù)服務(wù)調(diào)用流程

3.4 服務(wù)實(shí)例應(yīng)用

服務(wù)系統(tǒng)部署在國土資源主干網(wǎng)上， 2015年8月投入實(shí)際應(yīng)用，已上線6類礦政業(yè)務(wù)數(shù)據(jù)服務(wù)：非油氣探礦權(quán)/采礦權(quán)登記數(shù)據(jù)服務(wù)、油氣勘查開采登記數(shù)據(jù)服務(wù)、非油氣礦業(yè)權(quán)年檢數(shù)據(jù)服務(wù)、非油氣礦山開發(fā)利用統(tǒng)計(jì)數(shù)據(jù)服務(wù)、地勘資質(zhì)登記數(shù)據(jù)服務(wù)、地勘單位執(zhí)業(yè)信息數(shù)據(jù)服務(wù)，見圖6。

圖6 服務(wù)導(dǎo)航

以非油氣采礦登記數(shù)據(jù)服務(wù)為例，提供5類常用服務(wù)：按所在政區(qū)獲取數(shù)據(jù)、按發(fā)證機(jī)關(guān)獲取數(shù)據(jù)、按許可證號(hào)獲取數(shù)據(jù)、獲取省市縣三級(jí)發(fā)證數(shù)據(jù)以及獲取部在本省發(fā)證數(shù)據(jù)。其中，前3類服務(wù)可以輸入具體的查詢參數(shù)。

對(duì)系統(tǒng)運(yùn)行情況進(jìn)行統(tǒng)計(jì)，生成100M的數(shù)據(jù)平均需要10min。經(jīng)分析，耗時(shí)較多的兩個(gè)操作分別為使用數(shù)據(jù)模板進(jìn)行數(shù)據(jù)映射和生成交換數(shù)據(jù)文件。采用文件緩存機(jī)制進(jìn)行優(yōu)化后，對(duì)于數(shù)據(jù)無變化的服務(wù)僅生成一次數(shù)據(jù)，服務(wù)性能得到較大提升。

4 結(jié)語

服務(wù)系統(tǒng)的建立為部省業(yè)務(wù)數(shù)據(jù)共享提供了一個(gè)新通道，省級(jí)國土資源行政主管部門通過該系統(tǒng)已及時(shí)獲取了大量業(yè)務(wù)數(shù)據(jù)，充實(shí)了省級(jí)國土資源“一張圖”核心數(shù)據(jù)庫，更大限度地發(fā)揮了數(shù)據(jù)在管理與服務(wù)中的作用。服務(wù)系統(tǒng)的實(shí)用性、擴(kuò)展性、簡(jiǎn)便性以及經(jīng)濟(jì)性特點(diǎn)突出：作為常規(guī)應(yīng)用系統(tǒng)，一般業(yè)務(wù)人員可以熟練操作，系統(tǒng)開發(fā)人員也可以靈活應(yīng)用；業(yè)務(wù)數(shù)據(jù)服務(wù)可以分別開發(fā)，以模塊化方式進(jìn)行擴(kuò)展；服務(wù)系統(tǒng)只需在部級(jí)節(jié)點(diǎn)部署，相對(duì)于多級(jí)節(jié)點(diǎn)分布式部署的方案實(shí)現(xiàn)起來更為簡(jiǎn)便，更好維護(hù)，也更為經(jīng)濟(jì)。

[1] 國土資源部信息化工作辦公室. 2013年度全國國土資源信息化建設(shè)情況暨《國土資源信息化“十二五”規(guī)劃》中期評(píng)估結(jié)果[EB/OL].(2014-05-21)[2016-05-15]. http://www.mlr.gov.cn/zwgk/zytz/201405/t20140521_1317745.htm.

[2] 國土資源部. 國土資源部辦公廳關(guān)于加快推進(jìn)國土資源遙感監(jiān)測(cè)“一張圖”和綜合監(jiān)管平臺(tái)建設(shè)與應(yīng)用的通知[EB]. 2012-07-10.

[3] 朱志良, 苑海濤, 宋杰, 等. SOA與云計(jì)算：競(jìng)爭(zhēng)還是融合[J]. 計(jì)算機(jī)科學(xué), 2011, 38(12): 6-11.

[4] 黃安安, 王麗芳, 蔣澤軍, 等. 基于ESB的企業(yè)應(yīng)用集成研究[J]. 微計(jì)算機(jī)應(yīng)用, 2007, 28(9): 965-970.

[5] 李曉東, 楊揚(yáng), 郭文彩. 基于企業(yè)服務(wù)總線的數(shù)據(jù)共享與交換平臺(tái)[J]. 計(jì)算機(jī)工程, 2006, 32( 21): 217-223.

[6] 林懷恭, 聶瑞華, 羅輝瓊, 等. 基于ESB的共享數(shù)據(jù)中心的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2010, 27(5): 185-187.

[7] 范菁, 熊麗榮, 徐聰, 等. 分布式企業(yè)服務(wù)總線平臺(tái)數(shù)據(jù)集成研究及應(yīng)用[J]. 計(jì)算機(jī)科學(xué), 2014, 41( 2): 206-214.

[8] 謝繼暉 ,白曉穎, 陳斌, 等. 企業(yè)服務(wù)總線研究綜述[J]. 計(jì)算機(jī)科學(xué), 2007,34(11): 13-18.

[9] 梁愛虎. 精通SOA: 基于服務(wù)總線的Struts+EJB+Web Service整合應(yīng)用開發(fā)[M]. 北京: 電子工業(yè)出版社, 2007.

[10] 毛新生. SOA原理·方法·實(shí)踐 [M]. 北京: 電子工業(yè)出版社, 2007.

[11] 余浩, 朱成, 丁鵬.SOA實(shí)踐: 構(gòu)建基于Java Web服務(wù)和BPEL的企業(yè)級(jí)應(yīng)用 [M]. 北京: 電子工業(yè)出版社, 2009.

[12] 曾文英, 趙躍龍, 齊德昱.ESB 原理、構(gòu)架、實(shí)現(xiàn)及應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2008, 44(25): 225-228.

Design and realization of mining administration data sharing system based on ESB

HU Rongbo1，ZENG Jianying1，ZHOU Wei1，LI Haiming2

(1. Information Center，Ministry of Land and Resources，Beijing 100812，China; 2. Wonders Information Co., Ltd.，Shanghai 201112，China)

The Ministry of Land and Resources needs to provide administration data to provincial departments according to administrative division code in order to improve provincial information level.This paper designs and realizes a mining administration data service system(MADSS) based on ESB and SOA. Firstly, it describes the MADSS’s requirements analysis, outline design, architecture design and function design. Secondly, it describes some core processes of MADSS, such as data service development based on SOA and data mapping templates, data service registration based on ESB, data service calling based on service broker. At last, it introduces the actual operation of six kinds of mining administration data service instances, for example mining rights data service, which are already running online. The MADSS provides a new channel for data sharing between the Ministry and provincial departments, and develops a practical model of data sharing.

data sharing; ESB; information system; land and resources; mineral resources management

2016-08-10

中國地質(zhì)調(diào)查局地質(zhì)調(diào)查項(xiàng)目“地質(zhì)礦產(chǎn)信息系統(tǒng)整合集成與應(yīng)用”資助 (編號(hào)：1212011120415)

胡容波(1979-)，男，碩士，高級(jí)工程師，主要從事國土資源信息化建設(shè)與研究工作，E-mail：rbhu@infomail.mlr.gov.cn。

TP319

A

1004-4051(2017)01-0161-05