省級國土資源海量遙感影像數據管理技術研究

王履華， 孫在宏， 曾微波， 高權忠

（1.南京市地理信息應用工程技術研究中心， 江蘇 南京 210036；2.南京師范大學地理科學學院， 江蘇南京 210097；3.南京大學地理與海洋科學學院， 江蘇 南京 210046）

省級國土資源海量遙感影像數據管理技術研究

王履華1,2， 孫在宏1,2， 曾微波1,3， 高權忠1

（1.南京市地理信息應用工程技術研究中心， 江蘇 南京 210036；2.南京師范大學地理科學學院， 江蘇南京 210097；3.南京大學地理與海洋科學學院， 江蘇 南京 210046）

研究目的：研究海量遙感影像數據管理技術路線，解決省級國土資源部門影像數據管理與共享問題。研究方法：理論分析法， 對比試驗法，實例驗證法。研究結果：（1）采用數據庫和文件系統混合管理方式，顯著提高影像數據的存儲和檢索效率；（2）通過建立影像鑲嵌數據集，構建影像金字塔和概視圖，實現了TB級遙感影像數據的快速組織、更新和發布；（3）采用JPEG_YCbCr視覺無損壓縮方法，大幅度提升影像金字塔壓縮效率和壓縮比。研究結論：基于鑲嵌數據集的海量遙感影像數據管理技術，應用于江蘇省第二次土地調查省級數據中心系統建設，解決了技術瓶頸， 實驗證明該技術路線可行。

土地信息；遙感影像；鑲嵌數據集；金字塔；概視圖；視覺無損壓縮

遙感作為空間數據采集手段，已成為地理信息系統的主要信息源與數據更新途徑[1]。隨著對地觀測技術的快速發展，遙感影像數據以幾何級數般速度增長[2]。國土資源部門在第二次全國土地調查和每年土地變更調查與遙感監測工作中積累了大量的影像數據，根據區域面積和分辨率的差異，一個縣（區）的DOM數據量為20 GB到50 GB，市級的DOM數據量平均在200 GB左右，省級的DOM數據量達到了TB級[3]，國家級第二次全國土地調查本底數據庫一年的DOM數據不小于55 TB[4]，并且這些數據將逐年以相同的數量遞增。遙感影像數據是國土資源管理的基礎數據，并作為各級國土資源“一張圖”核心數據庫建設中的重要組成部分，如何將海量影像數據進行高效管理、更新和網絡發布，并能夠快速應用到各業務系統中，為構建國土資源綜合監管平臺提供數據支撐，成為目前迫切需要解決的問題。本文從數據存儲、管理和可視化等方面對海量遙感影像數據管理的關鍵技術進行研究，并以江蘇省第二次土地調查省級數據中心系統建立為例，提出利用分布式文件系統和數據庫混合存儲技術，通過建立影像鑲嵌數據集，構建影像金字塔和概視圖，實現海量遙感影像數據的高效管理。

1 影像數據存儲管理設計

海量遙感影像數據一方面是指影像數據量大，需要占用大量的存儲空間，另一方面是指影像文件數量多，需要產生龐大的編目管理信息。目前，海量遙感影像數據的高效存儲與管理技術已成為國內外研究的熱點，技術方法主要有：在地理數據庫中進行存儲和管理；存儲在文件系統中進行管理；數據庫和文件系統混合管理。

1.1 影像數據存儲管理模式分析

1.1.1 基于關系數據庫的存儲管理 （1）將影像數據文件以二進制流的形式存儲在關系數據庫BLOB字段中，實現對影像數據的存儲和管理。由于傳統數據庫未提供對遙感影像這類復雜數據類型的快速存取機制以及缺少空間索引技術，這種方法存在效率低下的問題。（2）基于空間數據引擎中間件進行影像數據管理，解決了空間索引問題，但該方法仍然以二進制的方式在數據庫中存儲數據文件，其性能受制于所依賴的DBMS能力，并且增加了購買第三方軟件的成本。（3）使用Oracle擴展的面向對象關系數據模型GeoRaster實現遙感數據組織和管理，GeoRaster是設計用于提升數據庫中柵格或網格數據性能的物理模式[5]，在GeoRaster引擎中定義了SDO_GEORASTER的原生數據類型，每個柵格或網格數據以SDO_GEORASTER類型進行存儲。基于關系數據庫存儲管理遙感影像數據的方式，可充分發揮關系數據庫的優勢，在數據安全性、多用戶并發控制和存儲擴展等方面具有優勢，但其弊端也非常明顯：需要大型關系型數據庫平臺的支持，影像數據入庫耗費大量時間和精力，建庫后影像數據將會占用較大的存儲空間，數據的局部更新和備份操作繁瑣。

1.1.2 基于文件系統的存儲管理 數據以文件的形式集中存儲在文件服務器中，通過文件的方式對影像數據進行組織和管理，具有易于維護管理和不需要建立影像數據庫的特點。當面臨海量數據以及多并發用戶時，其數據存儲的擴展性和高并發訪問的響應效率方面容易成為系統的瓶頸。

1.1.3 數據庫和文件系統混合管理 結合關系數據庫和文件系統存儲管理的特點，將遙感影像數據存儲在文件系統中，利用關系數據庫管理影像的元數據信息。由于數據文件并沒有存儲在數據庫中，數據庫只管理影像數據的索引信息，使得影像數據的存儲和檢索效率得到大幅提高。

1.2 基于鑲嵌數據集的影像數據存儲管理

鑲嵌數據集（Mosaic Dataset）是地理數據庫中的數據模型，采用柵格數據集和柵格目錄相結合的混合技術，管理一組以目錄形式存儲并以鑲嵌影像方式查看的柵格數據集（圖1，封二），用于存儲、管理、查詢和瀏覽各種類型的柵格和影像數據。在影像數據入庫時，只會在空間數據庫的鑲嵌數據集中建立影像索引，不會拷貝或改變原有的影像數據，原有影像文件仍然存儲在文件系統中。當訪問影像數據時，鑲嵌數據集將動態地執行鑲嵌，并提供實時處理功能。鑲嵌數據集充分發揮了文件存儲系統和數據庫系統的優勢，適用于管理和發布海量的多分辨率、多傳感器遙感影像數據。

圖2 影像數據存儲管理架構圖Fig.2 The architecture diagram for storage management of remote sensing image

1.3 影像數據存儲管理架構設計

影像數據的主要應用是查詢、瀏覽和分析，要求在高并發訪問的情況下，數據讀寫性能不能有明顯下降。為了有效保證系統在并發訪問增加情況下的數據讀寫性能，影像數據存儲管理架構設計如圖2所示，數據存儲在分布式的文件服務器中，利用關系數據庫管理影像的索引和元數據信息。在影像數據應用過程中，一般對最新獲取數據的使用頻率最高，其次是歷史數據和備份數據。因此，在數據存儲方面，根據使用頻率可將最新采集的數據視為熱數據，而其他數據視為冷數據，熱數據存儲在性能較好的文件服務器中。通過GIS服務器對影像數據進行組織管理和服務發布，并用于執行對 Web 服務的請求。GIS 服務器由一臺或多臺一起工作的計算機構成，可按集群的方式進行組織，根據需要增加或減少參與計算的服務器數量。Web 服務器用于托管 Web 應用程序，并為GIS服務器提供負載平衡。為提高應用并發訪問的響應效率和高可用性，Web服務器也可采用集群的方式進行部署，由多臺Web服務器協同提供應用服務。該架構能夠很好地適應各種復雜的影像數據結構，充分利用了集群中各個節點的存儲和計算能力，整個系統具備平滑的擴展能力、高吞吐量和高可用性。

2 影像數據可視化技術研究

影像數據可視化目前普遍采取瓦片金字塔的方法[8]。瓦片金字塔是一種多分辨率層次模型，從瓦片金字塔的底層到頂層，分辨率越來越低，但表示的地理范圍不變。其原理是按照設定地圖數據范圍、縮放級別及每個級別所對應地圖的顯示樣式，逐級將地圖按照配置樣式裁剪為固定尺寸和分辨率的圖片存儲在服務端，客戶端瀏覽調用時，獲取相應級別當前屏幕范圍內的圖片返回客戶端進行顯示。由于每次顯示僅僅是調取幾張固定的圖片，所以顯示速度快、并發訪問效率高、數據安全性較高，但其缺點也非常明顯：（1）只能按照預先設定的比例尺和內容進行顯示；（2）顯示的地圖瓦片是柵格圖像，丟失了影像數據的原始信息；（3）大范圍數據生成地圖瓦片耗時較長，且生成的數據量巨大；（4）數據更新后，需要重新生成地圖瓦片。針對以上問題，本文提出基于金字塔和概視圖的影像數據可視化技術，實現海量影像數據高效顯示，同時解決瓦片金字塔存在的不足。

2.1 基于金字塔和概視圖的影像數據可視化技術

影像金字塔（Pyramid）是在同一空間參照下，以不同分辨率存儲和顯示遙感影像數據，形成分辨率由粗到細、數據量由小到大的金字塔結構。影像金字塔用于圖像編碼和漸進式圖像傳輸，是一種典型的分 層數據結構形式。利用影像金字塔，可在繪制遙感影像數據時快速顯示較低分辨率的數據副本，隨著放大操作的進行，更精細的分辨率等級將逐漸得到繪制，從而改善了影像數據讀取和顯示的性能，但影像金字塔的構建是針對于單幅的影像數據文件，當鑲嵌數據集中影像文件數量較多，特別是要調取全市或全省甚至更大范圍的影像數據時，將會涉及大量影像金字塔數據的讀取，影像數據的顯示速度將會明顯降低。影像金字塔只能解決單幅或較小范圍內影像數據的顯示效率，對于海量遙感影像數據可采用影像金字塔和概視圖（Overview）相結合的數據管理技術。如圖3（封三）所示，在原始單幅影像金字塔的基礎上，逐層構建整個區域的概視圖。由于概視圖基于影像金字塔從底層向上構建，對比瓦片地圖技術，具有更高的執行效率和更少的存儲空間。同時，在數據縮放到較大比例尺時，直接調用和顯示原始影像數據，而不是瓦片金字塔的圖片。

2.2 影像金字塔和概視圖壓縮方法選擇

基于鑲嵌數據集的影像數據管理系統，在瀏覽大范圍遙感影像數據時，GIS服務器會根據用戶的顯示比例，自動選擇最適合的影像金字塔和概視圖等級，只有在放大到較大的比例時，才會讀取原始影像文件。因此，在數據查詢瀏覽時，影像金字塔和概視圖使用的頻率最高，其壓縮方式的選擇是提升整個系統性能的關鍵。

以下選擇6幅1∶5000分幅的正射影像圖為試驗對象，在構建影像金字塔時，采用最鄰近法（Nearest Neighbor）重采樣，分別使用無壓縮和LZ77、JPEG2000、JPEG_YCbCr的壓縮方式進行對比試驗。LZ77是一種無損壓縮算法，通過使用編碼器或者解碼器中已經出現過的相應匹配數據信息替換當前數據從而實現壓縮功能。JPEG2000作為JPEG的升級版，同時支持有損和無損壓縮，允許使用不同的壓縮比例對文件進行壓縮，支持多種壓縮級別。JPEG_YCbCr是使用亮度（Y）和色度（Cb和Cr）顏色空間的有損壓縮，該壓縮方式不直接存儲圖片的RGB數據，而是將圖像數據從RGB顏色空間轉換到YCbCr顏色空間后再進行存儲，以提高圖像的壓縮比。RGB轉換到YCbCr后，圖像各個像素的信息通過圖像亮度Y與色度CbCr表示，色度信息通常是一種變換比較緩慢的信息，根據人類視覺系統（HVS）的特點，人的肉跟對色度信息變化的敏感度遠遠小于強度信息的變化[12]，根據這種特性，對色度圖像進行降低分辨率的采樣，同時保持圖像強度信息Y不變，該壓縮方式雖然為有損壓縮，但壓縮后的圖片在視覺上沒有明顯差別，可視為視覺無損壓縮。

試驗結果如表1所示，原始單幅1∶5000比例尺分幅的DOM文件大小在85 M左右，在無壓縮的情況下影像金字塔大小為29.7 M，采用LZ77對影像金字塔進行無損壓縮，平均壓縮率為26%左右；使用JPEG2000質量為80%的有損壓縮方式，影像金字塔的壓縮比可提升為74%左右；使用JPEG_YCbCr質量為80%的壓縮方式，影像金字塔的壓縮比可提升到90%以上。從圖4（封三）可以看出，從左到右分別使用無壓縮和LZ77、JPEG2000、JPEG_YCbCr的壓縮方式對影像金字塔進行壓縮，其顯示效果在視覺上沒有明顯差異。因此，采用JPEG_YCbCr的影像金字塔壓縮方法，可較大幅度提升壓縮效率和壓縮比。

表1 不同金字塔壓縮方式下生成文件大小對比Tab.1 The fi les size of image pyram id w ith different com pression methods

3 實例系統

江蘇省第二次土地調查省級數據中心系統是根據全國第二次土地調查相關標準、規范的要求建立的省級數據庫管理系統，實現對全省第二次土地調查及每年土地變更調查與遙感監測形成成果的集中管理與共享。遙感影像數據是數據中心的主要組成部分，2009年江蘇省第二次土地調查形成的本底數據庫中，全省1∶5000和1∶2000分幅的DOM影像數據量為1.86 TB，每年新增變更調查和遙感監測形成的影像數據以3 TB左右遞增。原始分幅的遙感影像文件按照年度進行組織，存儲在分布式的文件系統中，每個年度的數據作為一個地圖服務進行發布。以2009年度的遙感影像數據管理為例，流程如下：（1）對提交的影像數據進行質量檢查，主要包括數據格式、文件命名、空間參考等。（2）按照不同的中央經線分別建立鑲嵌數據集。遙感影像數據統一采用西安80坐標系統，江蘇省橫跨117、120和123三個三度分帶，另外南京市采用了地方坐標系，中央經線為118.83°，按照不同的中央經線在ArcGIS軟件中建立4個鑲嵌數據集，分別將原始影像數據的目錄導入到相應的鑲嵌數據集中。（3）對鑲嵌數據集中的遙感影像文件建立影像金字塔，采用最鄰近法重采樣，使用JPEG_YCbCr壓縮方式，對2009年1.86 TB遙感影像數據生成的金字塔文件總大小約為52 G。（4）分別對鑲嵌數據集構建概視圖，采用雙線性插值法重采樣，使用JPEG_YCbCr壓縮方式，對2009年1.86 TB的遙感影像數據構建概視圖，生成文件的總大小約為4.2 G。（5）將不同中央經線的4個鑲嵌數據集加載到ArcMap軟件中，通過動態投影進行全省影像數據服務的發布。（6）在基于ArcGIS Server和Adobe Flex開發的江蘇省第二次土地調查省級數據中心數據服務系統（圖5，封三），采用面向服務架構（Service-Oriented Architecture）技術，實現海量影像數據的管理與服務共享。在實例web環境中，調用全省影像數據進行任意級別縮放瀏覽，系統達到亞秒級響應速度。

其他各年度的數據按照以上步驟制作地圖服務，每個年度的遙感影像數據作為一個獨立的服務進行發布。在對局部地區的影像數據進行更新時，只需要將影像文件替換后，重新對該區域的鑲嵌數據集進行局部概視圖重構。由于影像文件沒有建庫，數據備份時只需將原始的遙感影像數據文件進行備份。

4 結論

本文以江蘇省第二次土地調查省級數據中心系統建設為例，按照不同的中央經線，分別建立鑲嵌數據集，并進行影像金字塔和概視圖的構建，最后將各年份的數據進行影像數據服務發布。實踐證明，利用分布式文件系統和數據庫混合存儲技術，實現了TB級遙感影像數據的快速管理、更新和網絡發布，較好地滿足了海量遙感影像數據的管理和共享要求，為國土資源“一張圖”和綜合監管平臺建設提供數據和技術支撐。

（

）：

［1］鄔倫，劉瑜，張晶，等.地理信息系統原理方法和應用［M］.北京：科學出版社，2005：23-24.

［2］黃杰，劉仁義，劉南，等.海量遙感影像管理與可視化系統的研究與實現［J］.浙江大學學報（理學版），2008，35（6）：701-706.

［3］王履華，張雅奇.第二次土地調查影像數據網絡發布系統的研究與實現［J］.測繪與空間地理信息，2010，3（5）：83-85.

［4］戴建旺，白曉飛.第二次全國土地調查國家級數據庫管理系統關鍵技術研究［J］.中國土地科學，2010，24（6）：74-80.

［5］Jeffrey Xie, Jayant Sharma. Oracle Spatial 11g GeoRaster: An Oracle Technical White Paper ［EB/OL］. http://www.oracle.com/cn.

［6］李宗華，彭明軍.基于關系數據庫技術的遙感影像數據建庫研究［J］.武漢大學學報信息科學版，2005, 30（2）：166-169.

［7］劉偉，劉露，陳犖，等.海量遙感影像數據存儲技術研究［J］.計算機工程，2009，35（5）：236-239.

［8］劉升容，劉學鋒.全國第二次土地調查中海量遙感影像瓦片金字塔的建立與無縫組織［J］.測繪通報，2011,（5）：385-389.

［9］牛得學，崔苗苗，黃超.基于Oracl.Spatial的影像數據存儲技術研究［J］.安徽農業科學，2011，39（7）：4254-4255.

［10］陳能成，龔健雅，朱欣焰，等.多級緩沖提升海量影像數據在線服務質量［J］.測繪通報，2007，（6）：19-22.

［11］汪超亮，李傳榮，賈彬.新型遙感衛星數據目錄服務系統的研制［J］.遙感學報，2007，11（3）：385-389.

［12］楊進，劉建波.基于區域特征加權的JPEG改進算法［J］.計算機應用與軟件，2007，24（11）：25-28.

Research on the M anagement Technologies of M assive Remote Sensing Image of Provincial Land and Resources

WANG Lv-hua1,2, SUN Zai-hong1,2, ZENG Wei-bo1,3, GAO Quan-zhong1
（1. Nanjing Engineering Technology Research Center for Geographic Information Application, Nanjing 210036, China;2. School of Geography Science, Nanjing Normal University, Nanjing 210097, China; 3. School of Geographic and Oceanographic Sciences, Nanjing University, Nanjing 210046, China）

The purpose of this paper is to solve the management issues of massive remote sensing image for provincial land and resources. Methods of theoretical analysis, comparative experiment and case study were employed. The results indicate that 1) the efficiency of storage and retrieval for image data can be considerably improved by using the mixed management of database and file system; 2) the massive remote sensing image of TB level can be rapidly managed, updated and published by creating image pyramid and overview based on the method of mosaic dataset; 3) the compression efficiency and ratio of image pyramid can be dramatically increased by using the visual lossless compression of JPEG_YCbCr. It is concluded that the solution has solved the technical bottleneck in the data center information system for the second land survey in Jiangsu province, and the solution has also been proved to be practicable and effective.

land information; remote sensing image; mosaic dataset; pyramid; overview; visual lossless compression

TP751

A

1001-8158（2013）07-0069-05

2012-12-03

2013-03-20

國家自然科學基金資助項目（41101350）。

王履華（1981-），男，江蘇鹽城人，碩士。主要研究方向為地理信息應用工程技術。E-mail: wanglvhua@sina.com

（本文責編：仲濟香）