第二次全國土地調查國家級數據庫管理系統關鍵技術研究

戴建旺，白曉飛

（1.中國地質大學信息工程學院，湖北 武漢 430074；2.中國土地勘測規劃院，北京 100035）

第二次全國土地調查國家級數據庫管理系統建設是第二次全國土地調查工程的重點工作，其目標是建設第二次全國土地調查國家級數據庫管理系統，實現國家對第二次全國土地調查成果的集中管理，為國土資源宏觀規劃和管理決策提供準確、翔實的土地調查成果數據，建立長效的數據上報和快速更新機制，保持土地調查數據庫的現勢性，實現國家、省、市、縣4級土地調查數據庫的互聯互通和同步更新。

第二次全國土地調查國家級數據庫管理系統主要存儲第二次全國土地調查形成的全國農村土地調查數據以及相關影像等數據，同時也包括第二次全國土地調查完成后每年的年度更新的土地調查矢量數據和影像數據等更新數據。主要數據內容包括：矢量數據、DOM數據、DEM數據、元數據和其他文檔類數據。

第二次全國土地調查產生的數據量十分巨大，據估算近100TB（DOM影像數據不小于55TB，DEM數據不小于10TB，土地調查矢量數據約2—5TB，文檔及其他數據約為0.5TB），加上備份數據約200TB，并且數據量將會逐年遞增。這些數據內容復雜，種類多樣，既有矢量數據也有柵格數據，涵蓋縣、市、省、國家多種尺度。目前的海量數據存儲和管理技術還不能適應這樣的需求，急需加強研究，確保第二次全國土地調查國家級數據庫管理系統建設項目的順利完成。

1 國內外海量空間數據存儲與管理技術應用現狀

國內外涉及海量數據存儲與管理的研究較多，但主要關注于存儲軟硬件設備，涉及海量空間數據存儲的較少。李圣偉［3］提出將大數據量的影像數據以BLOB的方式存儲在Oracle中，但沒有涉及空間數據的空間索引技術研究。汪超亮［4］等對基于文件系統的海量遙感數據目錄文件系統進行研究。陳建明［5］等對基于SQL Server的三維遙感影像數據庫影像數據存儲管理技術進行研究，探討了分層金字塔模型應用效果。

目前國內外海量影像數據存儲管理技術主要有三類：基于文件系統的存儲管理技術、基于基礎GIS平臺軟件的存儲管理技術和基于Oracle Spatial GeoRaster的存儲管理技術，但這些技術均離國家級數據庫管理系統的建設需求有一定的差距。基于文件系統和基于Oracle Spatial GeoRaster的存儲管理技術在數據安全、并發共享以及效率等方面不能滿足土地調查數據的管理和應用需求；基于基礎GIS平臺軟件的存儲管理技術是把影像數據以BLOB字段的方式存進商用數據庫軟件中，在應對海量數據管理等方面的效率不能滿足土地調查數據的管理和應用需求。海量矢量數據存儲管理技術主要有兩類：基于基礎GIS平臺軟件的存儲管理技術和基于Oracle Spatial的存儲管理技術，基于基礎GIS平臺軟件的矢量數據存儲管理技術是傳統、常用的技術，但面對海量矢量的并發查詢、檢索時，效率較慢，不能滿足應用需求；基于Oracle Spatial的矢量存儲管理技術的海量矢量并發查詢、檢索效率較高（可以利用Oracle的集群技術），但其空間應用工具又較少，也不能滿足應用需求。因此需要融合Oracle Spatial和基礎GIS平臺軟件的共同優勢，研究如何存儲組織海量矢量數據，以滿足國家級數據庫管理系統建設需求。

2 基于Oracle的海量影像數據存儲技術設計

2.1 ArcGIS和Oracle的影像數據存儲模式分析

2.1.1 ArcGIS影像存儲［2］地理數據庫Geodatabase是ArcGIS自帶的數據格式。ArcGIS 9.x版本包含三種地理數據庫：基于MicrosoftAccess的個人地理數據庫，文件地理數據庫和ArcSDE地理數據庫。

個人地理數據庫和文件地理數據庫是為個體用戶和小型項目設計的。ArcSDE地理數據庫具有可擴展性，專門為從中等級別到企業級應用這樣的較大規模應用設計的。

在企業級地理數據庫中，管理地理數據的任務由ArcGIS和所使用的RDBMS共同完成。在數據存儲層，RDBMS軟件提供了一個簡單而正規的數據模型來存儲和管理表格中的信息。在RDBMS中，企業級地理數據庫的圖表以ArcSDE Repositary這樣一種表集的形式得到了延續。與數據存儲和檢索相關的部分是由地理數據管理中的簡單表格和特定方面來實現的，比如基于磁盤的存儲、屬性類型的定義、查詢處理以及多用戶事務處理，這些都是由RDBMS來運行的。

ArcSDE技術提供了中間件，作為地理信息系統的客戶端與RDBM之間的網關，ArcSDE為空間數據服務，并確保了RDBMS對數據的訪問和管理。ArcSDE技術是由以下幾個組件聯合實現的：可執行文件的目錄，數據庫（即ArcSDE庫）中的一組表格和存儲程序，以及可選擇的服務。

2.1.2 Oracle影像存儲 Oracle影像存儲由Oracle Spatial模塊來實現。Oracle Spatial包括一個可以原生管理Oracle數據庫中的地理參照柵格數據的數據類型，這些柵格數據包括人造衛星圖像、遙感數據和網格化數據。Oracle Spatial的GeoRaster特性提供了圖像的地理參照，用于元數據管理的XML模式，以及如金字塔分層、分塊和交叉等基本操作。可以使用它來存儲、索引、查詢、分析和提供柵格圖像和網格化數據及其相關元數據。GeoRaster提供了Oracle空間數據類型和一個對象關系模式。可以使用這些數據類型和模式對象來存儲多維網格層和柵格圖像，這些網格層和柵格圖像可以對應到地球表面或本地坐標系統中的位置。GeoRaster還支持行業標準的壓縮技術，包括JPEG基線（有損）和DEFLATE（無損）。

GeoRaster數據在Oracle的文檔中定義為柵格影像（raster image）和網格數據（gridded data），以及與它們相關聯的元數據（metadata）。GeoRaster提供了Oracle Spatial的數據類型和實體—關系模式（object-relational schema）。用戶可以直接使用這些數據類型和模式對象來存儲帶有地理坐標的柵格數據。GeoRaster還提供了一系列豐富的配套函數以支持影像處理。

2.2 基于Oracle的海量影像數據存儲技術設計

從目前情況來看，ArcGIS和Oracle Spatial的存儲特點不能滿足第二次全國土地調查國家級數據庫管理系統的建設需求，即如何在3s之內讀取并顯示任意范圍內的影像數據。其技術原因是沒有很好地解決數據存塊的大小與數據瀏覽需求的關系，即：（1）在滿足瀏覽范圍需求的前提下盡可能減少數據獲取的冗余；（2）在既定的數據獲取容量下，盡可能地減少磁盤讀取次數；（3）取得前兩項要求的綜合均衡；（4）在不影響目視瀏覽效果的情況下進行數據壓縮，節省存儲空間。

2.2.1 總體設計 影像數據存儲訪問技術由Oracle數據存儲、影像數據服務程序、影像數據目錄服務程序、影像入庫工具、二維瀏覽組件、三維瀏覽組件組成一個完整的影像存儲與訪問解決方案。其中各個部分主要完成的功能為：（1）Oracle數據存儲，提供以瓦片為最小影像數據存儲單元的影像數據組織形式，以及高效、簡單、標準的數據提供；（2）影像數據服務程序，采用標準Http請求與訪問格式，將Oracle數據庫中存儲的海量影像數據對外發布；（3）影像數據目錄服務程序，為影像數據二維、三維瀏覽客戶端提供影像數據組織形式、影像元數據信息、居于角色的影像瀏覽控制等；（4）影像數據入庫工具。將原始影像數據按照既定的數據處理標準進行標準化處理，并存儲進Oracle數據庫中，保證不同數據源、格式、波段的影像數據無縫瀏覽；（5）影像數據二維瀏覽組件。提供影像數據的二維瀏覽模式；（6）影像數據三維瀏覽組件，提供影像數據的三維瀏覽模式。影像數據存儲訪問技術總體框架如圖1所示。

圖1 影像數據存儲訪問框架圖Fig.1 Framework of image data storage and access

2.2.2 存儲組織設計 （1）存儲組織。影像數據的存儲采用純Oracle表格的方式，與ArcGIS和Oracle Spatial沒有關系，采用這種方式存儲瓦片數據，可以有效簡化影像的存儲模型，提高數據檢索與訪問效率。這種存儲模式還可以使影像數據的備份、恢復與遷移更加容易操作，其基本存儲結構如表1。

對于多源、多尺度的影像數據，按波段、分辨率、區域的不同進行規劃，分表、分塊進行存儲，而且金字塔的每一級都被分塊存儲，默認推薦分塊大小：512×512像元，允許分塊訪問提高數據顯示效率，也允許局部構建和更新。

（2）金字塔構建。為了提高海量影像數據的實時縮放顯示速度，快速獲取不同分辨率的影像信息，需要對原始數據生成影像金字塔，并根據不同的顯示要求調用不同分辨率的影像，達到快速顯示漫游的目的。影像金字塔就是由原始影像開始，建立一系列影像級別，各級影像反映詳盡程度不同。影像金字塔結構的小同層具有不同分辨率的特點，在對影像數據瀏覽時，需要根據當前顯示的分辨率抽取相應金字塔層的數據，以實現影像數據的快速瀏覽。

表1 基本存儲結構表Tab.1 Basic storage structure

（3）壓縮與解壓縮。對影像數據進行壓縮，不僅可以有效減少磁盤存儲空間，還可以提高數據檢索的效率、大大縮短網絡傳輸的時間。影像的壓縮從數據的失真度分，一般有有損與無損壓縮兩大類。無損壓縮可以保持原始影像數據不會有任何丟失，而有損壓縮則會不同程度的丟失一些信息。無損壓縮的壓縮比一般很低，平均在2：1左右，而有損壓縮則可以在獲得很高的壓縮比的情況下保證盡量少的信息損失。

2.3 試驗分析

2.3.1 試驗方法 對新的存儲模式分B/S（WMS接口、Http接口）和C/S（ArcEngine接口、ArcMap）兩種，通過全圖、放大、縮小、漫游操作以及矢量圖層進行疊加等方法進行數據調用測試。

2.3.2 試驗小結（1）B/S接口集成測試。WMS接口能在分別在ArcCatalog、ArcMap，以及測試系統中正常使用，并且瀏覽效率基本能夠達到預期3s/屏的要求；Http接口能夠在信息中心的測試系統中正常使用，并且瀏覽效率基本能夠達到預期3s/屏的要求；獲取影像列表接口能夠正常返回指定范圍的全部影像瓦片數據的列表，以及各瓦片相應的Worldfile文件（注：Worldfile文件為ArcGIS系列中為每幅影像定義的用于描述影像坐標范圍和精度的文件）；瀏覽器返回的XML格式的影像文件列表包含了用于影像進一步拼接處理的必要信息；獲取指定影像接口能夠正常獲取影像列表中的各影像數據，及其相應的Worldfile文件。

（2）C/S接口集成測試。ArcEngine接口能夠通過當前瀏覽范圍正確的獲取負荷范圍要求和級別的影像數局部刷新平移工具能很好的實現影像的局部刷新瀏覽。接口的使用效果和效率滿足要求；ArcMap中能很好的實現對影像數據的瀏覽，局部刷新平移工具能正確的實現影像的平移局部刷新效果。影像加載及瀏覽效果滿足要求。

3 基于Oracle Spatial的海量矢量數據存儲技術研究

第二次全國土地調查國家級數據庫將存儲全國2859個縣的土地調查數據成果，數據量將達到3TB左右。如何將全國的土地調查數據統一管理，同時，達到數據瀏覽、查詢、制圖以及數據更新的性能要求，是急需攻克的技術難題之一。

第二次全國土地調查國家級數據庫將部署于中國土地勘測規劃院的數據中心，在滿足數據中心總體規劃框架下需要將數據管理和業務應用相分離，以便于數據為不同的應用提供服務。鑒于此，矢量數據采用開放的Oracle Spatial進行統一存儲。

通過對數據量以及數據庫存儲管理應用需求的分析，項目組提出了分區存儲和分縣存儲兩種模式可對數據進行存儲與管理，最終采用哪種存儲模式進行矢量數據的存儲，需要進一步的實驗和論證兩種存儲模式在數據存儲、業務應用等層面的技術可行性和優劣點，以實驗為基礎來最終確定國家級數據庫矢量數據的存儲模式。

3.1 基于Oracle Spatial的矢量數據存儲模式分析

3.1.1 分區存儲模式 分區存儲模式主要是采用數據庫的分區（Partition）技術，通過分區表對空間數據進行存儲和管理的一種存儲模式。針對于國家庫管理的矢量數據，每個圖層對應一個分區表，共有25個分區表（土地利用數據庫標準為29個圖層，除去4個柵格數據圖層）。每個分區表需要建立2859個分區（對應于2859個縣）以及一個默認（Default）分區。為了均衡磁盤的I/0，可以將不同的分區存放在不同的磁盤內，同時，為了提高數據的訪問性能，可以針對空間數據存儲字段建立全局索引或本地（分區）索引。建庫流程如圖2所示。

圖2 分區模式數據入庫流程Fig.2 Data loading process in partitioned mode

分區存儲模式的優勢為：將2859個縣的圖層在物理上統一成一套圖層，查詢、瀏覽、統計方便；分區表技術從Oracle 8i開始，得到較廣泛的應用，技術成熟穩定。但也存在一定劣勢：數據庫操作技術水平要求比較高，不易于維護；每次入庫需要進行數據導入（Trans）分區以及分區表索引的處理，存在大量的數據庫維護工作量，也比較耗時，如分區表索引若為全局索引，則每導入一次數據就需要重建全局索引，若為本地（分區）索引，也需要在導入數據時建立本區的索引；分區存儲模式要求數據必須是統一的空間參考；同一個分區表的各縣數據的圖層屬性結構、數據記錄的質量要求比較高，必須統一。

3.1.2 分縣存儲模式 分縣存儲模式是將矢量數據按分縣分圖層的方式進行管理的一種存儲模式。現有的分縣模式實際為分縣存儲+動態調度視圖，動態調度視圖主要解決了跨縣、跨區域組織問題。針對于國家庫管理的矢量數據，每個縣為25個圖層，共2859個縣，對應于Oracle數據庫來說共25×2859=71475張空間數據表格。入庫時即對空間數據存儲字段建立R-Tree索引。

采用分縣存儲模式，數據入庫后即可瀏覽、查詢、統計，具體優勢為：數據入庫后的維護工作量比較少；各縣獨立存儲，數據的獨立性相對較好；分縣+動態調度視圖可以很好的實現多縣（跨縣）瀏覽和單縣瀏覽。劣勢主要為：數據表比較多；海量數據存取效率有待驗證。

3.2 矢量數據存儲試驗

重點對兩種不同存儲模式下的數據瀏覽、查詢、數據更新以及數據庫維護等功能進行測試，確定最優方案。

3.2.1 試驗方法 對兩種不同模式下的不同范圍（分縣、多線、全國）試驗數據進行瀏覽、查詢和數據更新等分組測試（表2）。

3.2.2 試驗結果 試驗結果如表3、4、5所示。

表2 測試矢量數據說明Tab.2 Specification of testing vector data

3.2.3 試驗小結 從實驗結果來看，數據瀏覽、查詢、更新在性能上，分縣存儲模式略優于分區存儲模式：（1）數據瀏覽，分別在不同的顯示比例下，對縣內、跨縣（4縣）的多個圖層進行數據瀏覽，在數據瀏覽的效率上分縣模式要比分區模式快；（2）數據查詢，在兩種模式下分別對單縣和全國進行同一條件查詢，同時要求返回相同的記錄數，基于分區模式的圖層屬性查詢較基于分縣模式圖層屬性查詢約慢100％；（3）數據更新。①單圖層多用戶并發更新，在相同硬件環境、網絡環境、客戶端數量（10個）、更新包（10組）的環境下對地類圖斑層（DLTB）進行更新，分縣模式的更新所用時間（平均時間25.7min/縣）略優與分區模式的更新所用時間（平均時間26.96min/縣），②多圖層多用戶并發更新，在相同硬件環境、網絡環境、客戶端數量（10個）、更新包（10組）的環境下對（DLTB、JBNTBHPK、JBNTBHTB、XZDW、XZQ、XZQJX）進行更新，分縣模式比分區模式快2.43min/縣。

表3 多縣數據大范圍瀏覽測試結果表Tab.3 Testing results of large range data browsing in various counties

表4 不同模式查詢結果表Tab.4 Query results in differentmodes

表5 數據更新測試結果表Tab.5 Results of data updating test

針對第二次全國土地調查國家級數據庫的數據存儲模式，技術上兩者都可行，但在數據管理模式、數據訪問性能、數據庫維護工作量以及國家庫系統的功能開發工作量上，分縣存儲模式要優于分區存儲模式。因此，第二次全國土地調查國家級數據庫宜采用分縣模式進行矢量數據存儲。

4 結論

通過對海量空間數據存儲和管理關鍵技術的試驗研究，解決第二次全國土地調查國家級數據庫管理系統建設項目中的數據存儲及應用的技術瓶頸。（1）設計、開發并驗證了獨立于GIS和數據庫平臺軟件的、基于數據庫方式的海量影像數據存儲技術；（2）設計、開發并驗證了基于Oracle Spatial的海量矢量數據存儲技術解決方案。但在海量矢量數據三維瀏覽、三維交互式操作的效率和效果等方面仍需進一步研究。值得提出的是，隨著GIS和數據庫技術的發展，GIS和數據庫平臺軟件也將不斷完善和發展海量空間數據存儲技術，第二次全國土地調查國家級數據庫管理系統也會在此基礎上進一步完善數據存儲策略，更好地為全國“一張圖”工程提供數據和技術支撐。

（References）：

［1］Oracle中國公司.Oracle Spatial技術白皮書［Z］.

［2］ESRI中國公司.ARCGIS系列技術文檔［Z］.

［3］李圣偉，王偉，白亮.長江河道信息系統海量數據存取機制研究［J］.人民長江，2008，（7）：60-61，88.

［4］汪超亮，李傳榮，賈彬.新型遙感衛星數據目錄服務系統地研制［J］.遙感學報，2007，11（3）：385-389.

［5］陳建明，孫衛東.三維遙感影像數據庫系統的研究與實現［J］.新疆地質，2005，23（3）：308-310.