基于SOA架構的地質資料在線服務系統設計與實現

樊旭東, 鞠紅艷, 王 冕, 劉莉茗

(1.湖北省地質調查院,湖北 武漢 430034; 2.湖北省國土資源資料館,湖北 武漢 430071)

地質資料是地質工作者用勞動和智慧淀積下來的寶貴社會財富,是經濟建設的重要依據。地質資料服務是基于海量地質資料積累和數字化產品的科學組織與服務[1],是地質工作成果和價值的體現。在網絡化、大數據、云計算的新時代背景下,新技術、新方法、新理念不斷涌現,地質資料的管理以及社會化服務也將發生變化。如何利用現代計算機技術,提高資料服務現代化水平,使地質資料服務融入當今信息社會,已經成為館藏機構、地質科技人員和社會公眾比較關注的問題。

首先對地質資料的數據特點進行分析,以湖北省國土資源資料館的信息化需求和地質資料管理技術的應用現狀和發展趨勢為研究背景,在對地質資料數據關鍵應用技術研究的基礎上,通過分析SOA的實現技術和業務場景,明確系統的基本組成功能,整合組件及中間件，構建出基于SOA架構的地質資料服務接口,并對服務接口的架構及開發框架和技術進行設計,最后通過開發實例服務說明該服務接口實現了SOA的業務流程。

1 面向服務的架構SOA

面向服務的架構SOA(Service Oriented Architecture)是一種新的軟件系統架構模型,將應用程序的不同功能單元(稱為服務)通過這些服務之間定義良好的接口和契約聯系起來,利用服務接口將不同的業務功能模塊進行封裝與發布[2]。SOA是實現云計算開放架構的基礎理念之一,是構造分布式計算程序的方法,適用于大型復雜業務系統的數據共享和交換。SOA使用開放標準和協議,不受硬件平臺、操作系統和編程語言的限制,將應用程序功能作為服務發送給最終用戶或者其他服務,實現系統及信息的互聯互通和互操作[3]。

2 地質資料數據分析與處理

地質資料按照專業類型分為區調、海洋地質調查、礦產勘查、物化遙勘查、地質科學研究、技術方法研究、其他等7個大類,29個小類;根據內容和形式的不同,地質資料分為正文報告、附圖、附表、附件、審批件、多媒體、數據庫、軟件、其他等9種數據類型。

由于地質資料數據結構復雜,要想實現統一存貯和數據集成比較困難。經過數據結構分析,將地質資料數據分為案卷級數據和文件級數據兩大類,其中案卷級數據包括地質資料的檔號、題名、形成單位和時間、工作方法、勘查礦種、工作行政區、專業類型、工作程度等信息,這些數據信息大都具有特定的格式,或經過數據轉換,可以使用關系型數據庫進行存貯,一般稱之為結構化數據;而文件級數據包括地質資料的正文報告、各式圖件、審批掃描件、各類附表等,無法通過關系型數據庫進行存貯,稱之為非結構化數據。

2.1 結構化數據處理

對于結構化數據,基于SQL Server建立關系型數據庫,經過數據規范整理和格式轉換,這類數據具有統一的編碼、代碼和數據類型,可以完整地存貯在數據表中,并通過關鍵字段建立其間的聯系。

2.2 非結構化數據處理

對于非結構化的數據,首先建立各類文件級資料的元數據,元數據是文件級資料的描述類信息,內容包括:文件級資料名稱、類型、數據格式、實體文件名、比例尺、密級等,然后將元數據字段內容存貯在關系數據庫中,而具體的文件實體則存貯在文件服務器上。通過元數據,使結構化數據與非結構化數據之間建立關聯,實現了地質資料數據快速和低成本的統一存貯和數據集成。

3 系統設計

3.1 總體設計

目前多數地質資料館藏機構使用的地質資料服務系統開發年代較早,部分館藏機構仍然使用ASP+ACCESS數據庫的方式提供服務,功能上僅能進行簡單的地質資料目錄查詢,無法滿足社會公眾對地質資料的服務需求。

基于SOA架構設計的地質資料在線服務系統框架主要由數據訪問層、業務邏輯層、集成服務層和前端用戶界面表現層4部分組成(圖1)。通過對現有已建成地質資料數據庫和文件服務器的資源共享利用,達到以業務為核心,選擇適用技術服務業務的目的。基于此框架,系統可以同時在廣域網和局域網環境下部署,開發的系統更加便于功能擴展和維護。

圖1 SOA架構的地質資料在線服務系統框架Fig.1 On-line geological data service system framework based on SOA architecture

基于SOA架構的地質資料在線服務系統具有以下技術特點:

(1) 任意系統在Web用戶界面層都可以調用集成服務層提供的功能,系統功能易于拓展,部署比較靈活。

(2) 由于SOA具有優良的擴展性以及其組件性特征,系統可以根據不同的需求,直接利用現有的資源,按照需求進行重新組合和構造。

(3) 簡化了提供、尋找和使用服務的過程,使系統的升級、分布和維護有更多的優化與擴展。

(4) 通過對現有的資源共享利用,可以迅速創建新的業務流程,減少了軟件和硬件開支成本,縮短應用系統開發和部署周期。

3.2 數據訪問層設計

數據訪問層主要用來存儲持久化數據到數據庫中,具體就是實現對地質資料數據庫的Select,Insert,Update,Delete的操作。數據訪問層通過數據訪問組件對數據庫進行地質資料數據的讀取和寫入,其職責包括選擇數據源、調用存儲過程、返回數據集等。在進行系統設計時,數據訪問層除了訪問數據庫系統外,還可以訪問地質資料文件服務器中的柵格圖形文件、文本文檔、PDF文檔和XML文檔等非結構化數據。

3.3 業務邏輯層設計

業務邏輯層主要針對具體的問題的操作,處理業務邏輯和存儲管理數據,是數據訪問層和服務層之間的橋梁。業務邏輯具體包含:驗證、計算、業務規則等,對輸入數據的正確性及有效性校驗,負責邏輯性數據的生成、處理及轉換。在系統設計中,主要需要實現的業務邏輯有:

(1) 地質資料目錄查詢。根據接收的檔號、題名、工作程度、工作方法、空間位置等參數信息,在進行有效性驗證后,調用數據訪問層的接口,獲取地質資料目錄數據,并將數據轉換成JSON或者XML格式傳送給上層服務。

(2) 文件級地質資料編碼。根據接收的文件級資料參數信息,調用數據訪問接口,對文件服務器中的實體文件進行轉換和編碼,使用Base64編碼傳送結果數據。

(3) 資料借閱。主要提供資料預約、查詢、續借的資料管理業務流程。

(4) 用戶服務。提供用戶登錄、登出、修改密碼、更新個人資料、找回密碼等用戶服務業務流程。

3.4 集成服務層設計

集成服務層是整個系統功能的核心,采用SOA架構、Web Services技術,并以Web服務接口的形式提供服務。在設計中,集成服務層用來簡化外部操作,同時達到解耦的目的。集成服務層定義了應用的邊界和客戶端所能看到的可操作集,它封裝了系統的業務邏輯、事務控制及操作協調,簡單的理解就是服務層隱藏了業務邏輯層的細節,將業務層的服務類或非服務類封裝,向客戶端提供簡潔的服務接口,實現遠程服務開發。

3.5 用戶界面表現層設計

用戶界面表現層用來處理用戶和系統之間的交互,是整個系統的最外層,直接和用戶交互,用于顯示數據和接收用戶輸入的數據。用戶界面層基于HTML和網頁瀏覽器的Web程序,在設計用戶Web界面時,為了符合用戶的操作習慣,采用WebGIS的顯示界面,使用OpenLayers技術調用國家地理信息公共服務平臺天地圖的全球矢量地圖WMTS服務作為地理底圖,在Web地圖上實現地質資料的位置空間展示和操作。通過WebGIS方式,提高搜索資料的命中率,加快資料的利用過程。

4 系統服務與接口設計

4.1 系統服務流程

客戶端首先對用戶發送的數據請求進行解析和預處理后,通過集成服務層調用相應的服務接口,向業務邏輯層發送服務請求,業務邏輯層將參數轉換生成SQL語句發送至數據訪問層;數據訪問層調用相應的存儲過程,在數據庫中進行數據篩選生成數據集,業務邏輯層從返回的數據集中獲取數據進行處理并重新組織,將數據以XML或者JSON格式進行封裝,集成服務層對返回的數據重新解析和構建為實體對象,最后通過界面表現層向用戶展示所需的數據,從而形成完整的系統服務流程。地質資料在線服務系統的核心服務流程如圖2所示。

4.2 服務接口設計

系統服務設計中通過綁定具體實現服務的組件進行封裝,并通過接口遠程調用服務,實現了服務的透明化。服務接口能夠與支持HTTP協議的主機和服務器建立通信和交互,由于任何編程語言都支持XML和JSON文本解析,從而通過服務接口實現不同應用系統間的信息交換和互操作。

系統服務提供了資料目錄查詢服務、資料數據編碼服務、資料數據查詢服務、搜索詞服務、資料借閱服務以及借閱用戶服務的接口。其中資料目錄查詢服務和文件級資料數據查詢服務是系統中調用頻率最多的兩個服務,分別用于地質資料案卷級目錄信息查詢和地質資料文件數據瀏覽,是整個地質資料服務系統的核心服務。

圖2 系統服務流程Fig.2 System service flow

(1) 資料目錄查詢服務接口。資料目錄查詢服務接口根據用戶輸入的參數,返回地質資料的案卷級目錄信息,內容包括:檔號、資料題名、編著者、專業分類、工作程度、工作方法、工作區的行政區和起止經緯度、主要次要礦產以及形成時間和單位等信息。為了提高響應時間和減少網絡的傳輸量,返回的信息較多時會將信息進行分頁傳送。資料目錄查詢服務接口的請求參數、響應參數見表1。

(2) 文件級資料數據查詢服務接口。資料數據查詢服務接口主要返回地質資料文件級目錄的有關信息以及文件實體內容數據。資料數據查詢服務提供地質資料數據的最小單元,包括地質資料的文件實體內容,是數據服務的基本數據,在地質資料系統的開發中具有重要的作用。地質資料文件級數據包括正文報告、附圖、附表、附件、審批件等,數據以Base64編碼方式返回文件內容。資料數據查詢服務接口的請求參數、響應參數見表2。

5 系統開發關鍵技術

通過分析地質資料數據特點和功能需求,結合云計算、大數據的發展應用,在系統設計與開發中使用到了一些關鍵性技術,這些技術成為實現系統設計的支撐體系,為系統的功能實現和穩定運行以及良好的用戶體驗提供了保障。

5.1 Web Services技術

系統服務接口采用了Web Services技術開發。Web Services通過HTTP協議傳輸數據,能夠在不同系統之間進行數據交換,最適合實現SOA架構。使用Web Services技術開發的系統服務接口提供以下功能:

表1 資料目錄查詢服務接口參數Table 1 Parameters of service interface of data directory query

表2 資料數據查詢服務接口參數Table 2 Parameters of data query service interface

(1) 支持數據交換。使用XML和JSON數據格式進行信息交換。

(2) 支持文檔交換。支持大型非XML文檔的交換,例如PDF文件、JPG文件和二進制文件。

(3) 支持同步和異步客戶端。系統服務支持與客戶端進行同步和異步通信。

5.2 OpenLayers技術

OpenLayers是一個用于開發WebGIS應用的地圖引擎,可在Web客戶端提供強大的地圖展示功能[4-5]。借助WebGIS技術,在前端Web頁面使用了最新OpenLayers框架,實現地質資料地理信息化的定位和可視化功能[6],改變傳統的地質資料檢索模式,將地質資料檢索從文本查詢轉變為GIS空間查詢,增強地質資料檢索的便捷性和易用性,提高地質資料檢索的命中率和地質資料的利用率。

5.3 柵格圖形文件數據處理

地質資料中的附圖、附件、審批件的文件級數據以JPG、TIFF、BMP等柵格圖形格式存儲在文件服務器中。為實現地質資料的在線預覽,需要對柵格圖形實時處理,包括改變分辨率以適合網絡傳輸,添加館藏機構水印實現版權保護等。

柵格圖形文件數據處理流程是:首先通過Drawing.Size對象取得原始柵格圖形的尺寸,并根據預設的參數使用Drawing.Graphics對象對柵格圖形進行變換,然后使用DrawString和DrawImage方法在柵格圖形上添加版權保護水印文字,最后將處理后的柵格圖形文件進行Base64編碼,從而實現地質資料中圖形文件在Web客戶端的預覽和遠程地質資料文件數據服務。

5.4 PDF文件處理與瀏覽

地質資料中的報告正文、附表以PDF格式保存在文件服務器中。由于PDF文件具有多頁屬性,開發時使用iTextSharp的pdfStamper.GetOverContent方法在PDF文件的所有頁面添加了版權水印文字。為方便在Web客戶端瀏覽PDF文檔,開發了PDF Viewer組件,用戶在瀏覽器中不需要使用Flash、Adobe PDF Reader等插件即可實現報告正文等地質資料文檔的在線查看,提高了地質資料在線服務的易用性和通用性。

6 系統實現

地質資料在線服務系統包括資料查詢與預約服務和資料業務數據管理兩大功能模塊,資料查詢與預約服務實現了成果地質資料的檢索、地質圖件和正文報告即時瀏覽、資料預約借閱、續借等在線服務功能,資料業務數據管理實現了成果地質資料數據管理與系統配置、借閱用戶管理和資料借閱歸還等管理功能。

6.1 資料信息查詢

在進行資料信息查詢時,可以指定條件進行精確搜索,也可輸入部分條件進行模糊搜索,搜索的結果系統會以列表和WebGIS地圖兩種方式進行顯示(圖3)。搜索結果列表展示位于窗口左側,在WebGIS展示方式中,每個搜索結果會以圖標的形式將資料的空間位置標注在地圖上,點擊搜索結果列表或者標注,會彈出汽泡小窗口顯示該資料的簡要信息和地質資料的工作區覆蓋范圍。

圖3 地質資料查詢與展示Fig.3 Inquiry and display of geological data

6.2 文件級資料在線瀏覽

地質資料在線服務系統用戶界面采用最新的HTML5、jQuery等技術開發,用戶使用主流瀏覽器,無需安裝各類插件即可實時查詢、瀏覽地質資料的各類正文報告文檔(圖4)和地質圖件(圖5)。

6.3 資料預約與借閱

地質資料在線服務系統借鑒了O2O(Online To Offline,線上/線下)的商業服務模式,將線下的資料借閱服務與互聯網結合,讓互聯網成為線下服務的前臺,將傳統資料借閱的業務流程網絡化。資料借閱用戶可以不受時間和空間的限制,通過網絡實現資料在線借閱流程。在方便資料借閱的同時,將資料管理人員的工作從接待資料借閱用戶的服務當中解放出來,根據預約信息對待借資料提前做好復制和光盤刻錄,提高工作效率(圖6)。

7 結論

基于SOA架構的地質資料在線服務系統以業務為中心,通過把完成地質資料服務流程中所需的資源組織為一系列松散耦合的服務來實現,這些服務可以根據需求組合、重用,從而保護前期的信息化投資和資產積累,節省軟件開發周期和維護成本。

圖4 地質正文報告在線瀏覽Fig.4 Online browse of geological text report

地質資料信息化服務應當依據互聯網技術來加強各級館藏機構的聯系,從縱向與橫向兩方面來開展地質資料社會化服務。基于SOA架構的地質資料在線服務系統的設計和實現,通過互聯網實現湖北省國土資源資料館與全國地質資料館之間的數據交換與共享,為館藏機構之間的地質資料數據融合提供有效的技術方案,更好地展現整體館藏機構的作用,讓整個地質資料社會化服務充分展現科技化、網絡化的優勢。地質資料在線服務系統對提高地質資料的利用率,實現從地質資料服務到地質數據服務的業務模式轉變,對提升地質資料服務水平和增強地質資料數據共享性等方面都具有積極的意義。

圖5 地質圖件在線瀏覽Fig.5 Online browsing of geological maps

圖6 地質資料借閱預約Fig.6 Borrowing and reservation of geological data