最新空間數據集成研究綜述

徐強

摘 要：GIS領域空間數據具有多源性、異構性等特點，這些特點給數據共享與集成使用帶來不便，因此出現了一個熱點領域——空間數據集成領域。針對空間數據所具備的特征，從空間數據集成的3方面（異構方面、屬性與空間數據方面、語義集成方面）出發，探索空間數據集成的研究路線，并分析各條路線每種方法的優缺點，同時提出進一步研究的途徑，對后續研究有一定的指導意義。

關鍵詞：空間數據；語義集成；空間數據集成；GIS

DOI：10.11907/rjdk.171408

中圖分類號：TP301 文獻標識碼：A 文章編號：1672-7800（2017）009-0212-04

Abstract：Spatial data has the characteristic of multi-source，behaving the heterogeneous feature in the GIS domain. In Convenience these features bring about occurs when we need the data sharing or the integration，so there is a hot area - the field of spatial data integration.We analyzes the advantages and disadvantages of each method and puts forward some research methodswhich has guiding significance from three aspects（isomerism，attribute and spatial data， emantic integration）.

Key Words：attribute and spatial data； emantic integration； spatial data integration； GIS

0 引言

作為GIS核心的空間數據，在工程項目中具有核心地位。空間數據具有來源廣、格式復雜且相互之間不兼容的特點，人們很難直接使用這些空間數據。空間數據集成的出現旨在解決這一缺陷，使人們能夠透明地訪問空間數據。

空間數據集成是對數據形式特征（如格式、單位、分辨率、精度等）和內部特征（屬性、內容等）作全部或部分調整、轉化、合成、分解等操作，旨在提供數據分布式高效使用和數據共享的數據深加工范式[1]。

針對空間數據的多源異構性，GML、Web服務、網格、ETL、無縫集成等空間數據集成解決方案的出現，都旨在屏蔽多異構來源的差異性。應對空間數據所具備的區別于屬性數據的存儲，AarcGIS推出了針對多關系型數據庫的空間數據庫擴展版本，都旨在解決屬性數據與空間數據的統一存儲。針對空間數據集成中所存在的語義集成問題，基于地理本體的方案旨在解決這一問題，但各方案均存在優缺點及適用場景。本文著重分析各方案每種方法的優缺點、適用場景、工程實施難度，以及后續研究路徑。

1 空間數據集成相關研究

1.1 空間數據與屬性數據集成

由于空間數據區別于普通數據，包含地理空間數據和屬性數據兩部分，因此許多GIS廠商紛紛推出自己的空間數據庫引擎，比如ArcSDE、oracle spatial、postGIS等類似引擎組件。ArcSDE等空間數據引擎的出現，旨在打通關系型數據庫管理系統中存儲和管理多用戶空間數據庫的通路。它為了解決DBMS的多樣性和復雜性而存在，使得用戶可以自由選擇DBMS存儲空間數據。ArcSDE的優點在于：①鑒于其C/S的架構，引擎提供多用戶的編輯支持，直至DBMS的上限；②還具有支持豐富的地理信息數據類型、長工作流、長事務等優點；③省去了空間和屬性數據瑣碎的鏈接，空間數據存取速度快，也保證了空間數據和屬性數據的完整性[2]；④將具體實現細節完全封裝，方便用戶及專業人士直接使用。

對于空間數據集成引擎組件，類似于國外技術，國內supermap的sdx機制不但能夠讓程序員自由存取編輯數據庫格式空間數據，還能夠存取編輯文件型空間數據，比如shp文件，甚至能夠無限制調用Web地圖服務，很好地體現了無縫集成機制。通過對比分析ArcSDE及supermap sdx機制，supermap在技術和索引方面略優于ArcSDE，但鑒于ESRI在GIS行業的優勢及其系統解決方案的完美，ArcSDE的使用依然會成為主流。在技術方面，ArcSDE是基于dbms外的空間數據庫訪問中間件產品，對客戶端空間數據與分析請求需要兩層多次運算與信息傳輸，很容易成為海量空間數據管理在性能與安全方面的瓶頸，數據中轉層次過多、效率低，在客戶端和數據庫之間均增設服務器，安全性能降低，在客戶端和數據庫之間增設服務器，較難發揮數據庫服務器的群集計算能力。并且ArcSDE購買安裝復雜，需要復雜的配置和調優，對于用戶而言需要成本較高的培訓。另外，與ArcSDE相比較，SDX+更加支持Sybase和國產DM關系型數據庫。在空間數據索引方面，ArcSDE中采用的空間索引方法單一，通過多層級網格索引模式實現，這種索引模式在數據量密集時比較高效。其算法缺點是建立索引前必須預先知道各地理對象要素外接矩形的長和寬，并按其面積大小排序，若研究區域的范圍很大，地理對象比較復雜，則不太適用。索引建立后，查詢操作簡單高效，但進行插入或刪除操作時，涉及的地理對象的外接矩形面積若是不等于原先所有面積的大小，可能需要重新對面積進行排序并建立分區號，效率反而有所下降。SuperMap SDX+則針對不同數據類型提供了多種數據索引方式，包括四叉樹索引、R樹索引、動態索引（又稱為多級格網索引）和圖庫索引，在使用時有更多選擇，使用更加靈活。endprint

對于空間數據屬性、數據存儲乃至效率方面，潘俊輝[3]通過研究空間數據組織結構，采用一種層次性結構化文件系統，結合文件索引和數據字典技術對空間數據和屬性數據進行統一管理，通過將文件分為文件頭、實體模板信息、圖層索引信息、各圖層具體信息、文件結尾信息5層分層分段處理。針對于數字詞典，例如實體模板信息，對于同一圖層上的同一類實體都是存放在連續的地址空間里，因而可以按定長記錄式文件進行讀取，通過實體模板信息可以很明確地得到各類實體有多少屬性及各屬性的類型，進而可知道各屬性所占的字節數，這樣就可知每個實體的屬性數據有多少項，可將各數據項看作是數據庫中的一個字段，因而起到了一個數據字典的作用。針對于索引，通過各圖層的索引可以很快地定位到各圖層上，而通過各類實體的索引及圖元索引可以很快地定位到屬性數據和空間數據上，這起到了索引的快速定位作用。該方法的優點是對各實體盡量結構化表示，加快了大數據量的存取速度，缺點在于文件存儲組織層次結構較復雜，構造結構需要謹慎以免出錯。

1.2 多源異構數據集成

地理信息行業，單就市面上幾個大公司的數據，如國內的mapGIS、supermap，國際的ArcGIS、mapinfo來看，類型就眾多，并且具有異構的特點。開放性地理信息協會提出的GML通用標記語言提供了新思路，GML通過數據模型結構分析、對象讀寫操作分析、轉換關系分析，編寫特定模型實現數據轉換來完成空間數據的GML存儲。GML能夠表示地理空間對象的空間數據和非空間屬性數據。它旨在提供適用于Internet環境的空間信息編碼方式，用于數據傳輸和存儲，為后續的WebGIS開發建立良好的基礎。GML優點在于：①GML是OGC提出的開放式標準，是一個非盈利組織，因此GML不受特有的硬件和軟件商家所限制；②GML實現了空間和非空間內容及表現形式的分離，也即gml負責集成傳輸，最終的展示要進行后續操作，這樣用戶可以專心處理數據的存儲和訪問；②GML采用XML Schema來定義GML中標簽的空間信息含義，這樣不僅方便信息集成，而且保證信息的正確性；④GML使用XLink和XPointer技術，具有更強的鏈接和查詢能力[4]。GML的缺點在于不同的空間數據模型，其數據結構也不盡相同，集成過程中分析與GML對象的轉換關系就變得復雜，進一步改進模式匹配算法從而簡化集成過程也將面臨挑戰。

針對GML存儲方式中數據含有大量的冗余和海量性等特點，李文全[5]提出將GML文檔和數據分離，分別采用字典壓縮算法和去精度的增量壓縮集成這種更高效的集成方案，大大節省了集成時間，提高了集成效率。具體來講，通過對比分析發現，在一個GML文檔中地理實體所采用的標簽以及標簽的嵌套深度基本相同，存在較大的冗余；另外，在同一標簽下的屬性名一般是相同的，但屬性值間卻存在較大差異，不存在相關性。因此對標簽數據采用基于詞組的字典壓縮算法進行壓縮，屬性數據由于其不規律性，壓縮算法不一定會達到壓縮目的，直接原始輸出。對于坐標數據，由于在GML文檔中，表示某個空間對象位置需要多維坐標數據實現，并且同一維相鄰坐標之間一般差異很小，長度和精度也相同，故采用去精度的增量壓縮方法進行壓縮。

WebService的最大優點在于跨平臺性，因此將其應用于異構數據集成得到了越來越多的關注。WebService將多源異構數據進行封裝，統一為Web服務的形式，從而很好地實現了數據互操作。GIS多源數據集成模型主要分為4個部分：Web子系統層、服務注冊層、統一管理層、編碼部分。分析整個集成模型，最終Web服務管理數據的格式還是GML格式。就流程來講，客戶端發送請求到應用中間層，通過UDDI查找對應的服務WSDL后進而通過SOAP調用子系統服務返回GML文檔，供瀏覽器解析轉換為SVG圖像顯示。比如，施展等[6]就基于WebService和SVG的電網GIS實現了電網系統的空間數據集成。WebGIS是一個分布式的、擴展性強、全球化的系統，Web Service集成方式就是為解決Internet環境下，使松散耦合的Web Service之間進行互相調用、互相集成而設計的技術框架。然而隨著地理信息大數據的盛行，GML冗余多、數據量大等弊端限制了GML文檔在Web上的傳輸速度及效率，是否引入比GML更輕量級的文檔格式將成為研究熱點，比如json、geojson等。

網格技術的出現為空間數據集成提供了新的方案，陳曉斌[7]基于OGSA-DAI擴展成WSRF-SDAI，從空間數據資源的擴展、功能模塊Activity的編寫部署、服務表達層的擴展3個方面探索了中間件對空間數據的集成支持，很好地實現了wfs數據服務的集成。但缺點在于：擴展的3步開源參考資源較少、步驟復雜、操作比較困難，該方法只是探索了一種數據服務，其它并未涉及，需作進一步研究。

ETL技術是建立數據倉庫的必要步驟，而數據倉庫的建立是為了滿足大多數遺留下來的異構系統、應用、商務流程以及數據源構成的應用環境需求，以實現“數據集中化、業務綜合化、管理扁平化、決策科學化”目的[8]。為此，ETL技術主要應用于商業智能方面，其數據來自于各部門的人文數據、經濟數據或業務數據等。劉文軍[9]嘗試將ETL技術和GIS技術相結合，在對不同來源、尺度、類型、組織方式及軟件支撐平臺的基礎地理空間數的抽取規則和轉換規則基礎上，通過數據的抽取、清洗、轉換，最后裝載到框架數據庫。該方式能夠簡單地通過3步成功地將多源異構數據一鍵抽取形成框架數據，但是內部處理過程只進行了簡單的空間數據坐標轉換，數據的精度調整、去噪處理、拉伸平移、保密性未作考慮，另外數據抽取和入庫的效率未曾考慮。FME作為最好的ETL解決方案，真正體現了ETL的優勢，優勢如下：FME具有強大的數據轉換功能，能夠實現200多種空間數據格式的轉換，并且在持續增加；具有超強的數據兼容能力，能夠獨立瀏覽數據圖形、屬性信息；采用流式數據處理方式；具有開放的接口，用戶可根據需求，實現新數據類型的擴展。FME還支持海量數據的處理[10]，但需要根據具體需求制定轉換規則。另外，FME轉換器眾多，如何協調各轉換器完成作業流是其難點。endprint

1.3 語義集成問題

以上方案都沒有提到語義集成問題，針對這一問題，提出了基于地理本體的空間數據集成方法。該方法采用局部本體向標準本體集成的策略，在構建具有公共內涵屬性模板的前提下，通過地理概念語義關系集合運算構建局部本體概念與標準本體概念間的語義映射關系，實現地理本體集成，并以這種語義映射關系與對象類的關聯關系為媒介，通過空間數據語義細化和空間對象融合、分割等過程完成空間數據集成。結果能夠集成不同語義的空間數據集。例如，趙彥慶[11]等利用支持雙向映射的混合本體模式來解決全局本體與各應用本體之間的沖突，實現數據的語義集成。

基于地理本體的語義集成難點有兩個：一是建立地理信息領域本體描述，對概念知識進行本體表示；二是建立本體之間、本體與數據源之間的映射，之前有些地方未統一原則，存在一些缺陷。例如在數據層面上，源數據類的實例歸屬到不同的目標類所引出的語義細化問題，各種案例對此處理方式均不相同。不過在此中間，通過地理本體公理的自動化推理進行細化因其自動化、智能化特征而具有潛在發展優勢。另外，鑒于本體的語義集成成為語義集成方面唯一的方法，探索新的領域方法成為必要。

2 分析與總結

綜上所述，結合外文官網資料[12-14]，從各種集成方法的優缺點、適用場景及GIS數據處理工程師操作難度幾個方面總結分析如下：空間數據與屬性數據的集成方面，國際空間數據引擎如ArcSDE，其優點在于多用戶編輯、長工作流長事務支持，擅長解決空間數據屬性數據瑣碎鏈接問題；缺點在于企業需要ArcGIS平臺及數據庫平臺軟硬件的購買安裝，成本較高，適用場景為大企業的空間屬性數據一體化存儲，多工作流GIS系統、GIS數據處理，工程師操作難度較低，具體細節封裝，且調用簡單，僅僅需要設置不同數據源的相關參數調整即可。國內空間數據引擎如supermap sdx，幾乎具備ArcSDE的以上優點，亮點在于還具備文件型引擎；缺點是同樣需要各平臺軟硬件的購買，成本較高，即使是學習使用也沒有永久免費版。適用場景除了ArcSDE的場景，同樣支持多源矢量柵格文件直接存取，進而為Web、移動端開發做數據準備。GIS工程師操作難度與ArcSDE大體相同，文件型數據操作最容易，無需設置任何參數，只需要關注后續數據的糾偏、投影及屬性數據編輯等方面的操作。文件索引及數據詞典主張實體盡量結構化表示，加大了數據存取速度，缺點在于文件存儲組織層次較復雜，構造及理解難度較高，適用于大數據量的空間信息存取速度急需提升的情況。從GIS數據處理工程師角度講，實體化結構分析困難且復雜，難度較大，不過一旦結構化完成，存取較為容易。

從多源異構數據集成方面講，基于GML的空間數據集成方法所使用的GML不受硬件軟件商家限制，成本低，實現空間和非空間數據內容及表現形式的分離，采用xml schema定義空間信息，保證數據準確性，使用Xlink和Xpointer技術，具有更強的鏈接和查詢能力。缺點在于空間數據結構不盡相同，集成過程中分析與GML對象的轉換關系變得復雜，并且轉換過程可能存在信息丟失情況。由于GML網絡傳輸的優勢，基于GML的空間數據集成適用于頻繁的空間數據交換及傳輸的GIS系統。GIS工程師最核心的處理步驟就是集成過程中分析與GML對象的轉換關系，難度中等；GML文檔和數據分離集成改進方法采用字典壓縮算法和去精度的增量壓縮集成，提高了集成速度，缺點在于字典壓縮算法實現難度大且不具備普適性，適用于較大的數據量集成，同樣適用于壓縮算法，適合分析能力強的GIS工作者。基于WebService的空間數據集成具備跨平臺的特性，數據被統一成Web服務的形式，方便實現互操作。缺點是存在數據丟失問題，并且大數據量的傳送對網絡是一種考驗，適用于需要互操作的分布式數據集以及需要集成的WebGIS系統，WebService的調用較為簡單，數據獲取服務注冊，統一管理較復雜，難度為一般。以FME為代表的ETL空間數據集成方案，在數據格式轉換方面具有強大優勢，主要優點在于類型支持多，對流式數據處理方式及各種數據類型可視化編輯和大數據轉換提供了支持。但復雜結構數據轉換需要定制，并且抽取轉換過程中存在信息丟失現象，它適用于數據類型多樣需要進行統一格式存取編輯分析的系統。對于GIS工程師而言，圖形界面操作、框線勾畫實現數據轉換較為簡單，但是數據轉換需要定義一些規則，另外數據轉換器較多，需要較多時間去熟悉。以OGSA-DAI擴展為代表的網格空間數據集成方案采用多計算機系統完成了集成任務，無論是從時間還是效率上都得到了提升，缺點在于功能模塊Activity的編寫部署和服務表達層的擴展以及Activity之間的工作流鏈接，適用于空間大數據的集成及有多系統條件的企業以及工作者。從GIS工程師角度講，空間數據資源的擴展編寫較為簡單，功能模塊Activity的編寫部署和服務表達層的擴展難度很大。

從語義集成方面講，實現方案極少，基于地理本體的空間數據集成是代表性的方案，但是方案中本體與數據源的映射之間有些地方未統一原則，該方案適用于需要語義集成的開發者。對于GIS工程師而言，構造本體以及建立本體之間，本體與數據源之間的映射存在規則模糊的情況，難度較大。總體而言，空間數據集成各方法優缺點、適用場景、GIS工程師實現難度如上所述，各方案關鍵的優缺點如表1所示。

3 結語

本文就目前空間數據集成在空間與屬性數據、異構數據、語義集成方法進行了優缺點、適用場景及GIS工程師處理難度方面的分析，并提出了一些前瞻性的后續研究路徑，具有一定的借鑒意義。

參考文獻：

[1] 李軍，費川云.地理空間數據集成研究概況[J].地理科學進展，2000，19（3）：203-211.

[2] 李德元，姚文龍，楊二龍，等.基于ArcSDE文件地理數據庫存儲和設計的應用研究[J].測繪與空間地理信息，2016，39（2）：82-84.

[3] 潘俊輝，相生昌.GIS空間數據與屬性數據的文件組織結構研究[J].重慶科技學院學報：自然科學版，2014，14（1）：128-130.

[4] 占美志，何政偉，李程.基于GML的空間數據集成技術研究[J].地理信息世界，2014，21（2）.29-32.

[5] 李文全，戴經國，段琢華，等.異構環境下的GML空間數據高效集成研究[J].計算機應用與軟件，2015，32（5）：42-45.

[6] 施展，笪惠群，張曉梅，等.基于WebService和SVG的電網GIS研究[J].電力系統及其自動化，2013，35（4）：60-62.

[7] 陳曉斌.基于網格中間件的空間數據訪問與集成技術[D].鄭州：解放軍信息工程大學，2012.

[8] 繆嘉嘉，鄧蘇，劉青寶.ETL綜述[J].計算機工程，2004，30（3）：4-6.

[9] 劉文軍，吳俐民，方源敏.基于ETL的多源異構空間數據集成技術研究[J].城市勘測，2014，2014（2）：55-59.

[10] 任俊儒.基于FME的GIS數據處理研究[D].北京：中國地質大學，2015：13-14.

[11] 趙彥慶，肖如林.基于本體的網絡地理空間數據集成[J].地理信息科學學報，2012，14（5）：584-591.

[12] Xalan XSL transformer user′s guide [EB/OL].http：//xalan.apache.org/.

[13] GML geography markup language[EB/OL] .http：//www.gdal.org/drv_gm l.html.

[14] Arc SDE10 developer help[EB/OL].http：//help.arcGIS.com/en/geodatabase/10.0/sdk/arcsde/welcome.html.

（責任編輯：孫 娟）endprint