基于Hadoop的云GIS體系結構研究

范建永，龍 明，熊 偉

（信息工程大學地理空間信息學院，河南鄭州 450052）

一、引 言

云計算是IT產業繼PC、互聯網之后的第三次革新浪潮，自2008年以來發展迅速。國家“十二五”規劃把云計算作為新一代IT產業研發與應用的重要領域。

目前，一般的GIS和WebGIS已經不能適應管理海量空間數據存儲、分布式計算等特點，而云GIS作為云計算支持下的地理信息系統，因其在資源管理、數據共享、計算能力、產品成本和服務等方面獨特的優勢，已被廣泛應用到地理信息產業中。已有組織研究基于云計算的GIS，如NASA、FGDC、NOAA等；GIS 公 司例如 Google、Esri、GISCloud.com、SuperMap已推出自己的基于云計算的 GIS應用平臺。

Hadoop［1］是 Apache的一個可靠、高效、可伸縮的分布式系統基礎架構，并且是開源、跨平臺的，其出現大大推動了云技術和云存儲的研究。

本文在研究現有云的GIS基礎上，結合Hadoop的特點，提出了一種基于Hadoop的云 GIS體系結構。

二、國內外研究現狀

云計算是并行計算（parallel computing）、分布式計算（distributed computing）和網格計算（grid computing）的發展，或者說是這些計算科學概念的商業實現［2］。它是將“computing as a service”以“pay-asyou-go”提供給最終用戶的模式。云計算提供4種類型的服務:基礎設施即服務（IaaS），平臺即服務（PaaS），軟件即服務（SaaS）和數據即服務（DaaS）。前3種是美國國家技術與標準局（NIST）的定義，DaaS則是地理信息科學的本質。以上4種服務共稱為XaaS。

隨著云計算概念的出現，云GIS的概念也被提出。Esri在2010年最新推出的ArcGIS 10［3］中稱已經提供對云計算的支持，但從其發布的文檔、發布會及網絡報道來看，ArcGIS 10的云計算能力是與Amazon結合所提供的一種公有云產品（ArcGIS online），并不提供對建設企業級私有云的支持。Google提供了大量的空間數據的分布式存儲服務，也提供了針對衛星圖像數據操作服務，但是沒有具體的證據證明它有能力執行真正的GIS空間分析。GISCloud.com聲稱是一個基于云的GIS系統，用戶可以通過互聯網使用其所提供的服務上傳、編輯、轉換和可視化GIS數據，它還提供了一定的空間分析能力，如緩沖區分析；但是無證據證明其工作原理是基于云的系統，如分布式數據存儲和并行計算［4］。國內 SuperMap SGS 平臺是在 SuperMap iServer Java 2008的基礎上，與紅帽合作發布的基于開源的云計算平臺架構的GIS平臺解決方案，但筆者并未看到更深入的技術探討和對應報道。

關于對云GIS體系結構的理解，不同專家學者有著各自的看法。吳信才對云GIS的體系架構提出了自己的理解［5］，云GIS的體系架構所應具備以下兩個條件:一是功能與數據要分離，云GIS必須松耦合、可移動，使得云功能、云細胞可移動、可擴展，這樣部署才比較方便；二是功能可搭建，可根據需要重復。這種觀點并未從當前云計算發展的特點出發，并且服務與數據的分離等概念也不是云計算的產物，而是軟件設計的產物。

方雷在其博士論文［6］中也對云GIS的體系結構提出了自己的看法，將云GIS分為了6個層次，分別是物理層、虛擬層、數據資源層、云計算支持平臺及服務組件層、服務層和應用層。其提出的云GIS體系架構對本文研究有很大的參考價值。其研究采用的是微軟Dryad平臺，并在此基礎上討論了空間數據存儲的負載均衡，但并未使用Dryad已有的分布式系統來存儲和管理數據，并且文中只討論了柵格影像數據的發布相關技術，對于矢量數據及其他數據未作進一步的研究。

Muzafar Ahmad Bhat等［7］提出了一種通用的云GIS體系結構，將云GIS分為通信層、配置層、邏輯層、注冊管理層和公用層，并論述了云GIS的優點。但是其未對空間數據的分布式存儲、計算與發布技術作進一步研究和測試。

CHEN Qichang等［8］提出了高性能工作流系統MRGIS，這是一個高效率執行GIS應用程序的基于MapReduce集群的并行和分布式計算平臺，同樣MRGIS也是基于云計算技術的GIS平臺。MRGIS是利用Apache開源的云計算平臺Hadoop MapReduce技術所實現的云GIS運行架構，前端通過Python與Hadoop進行整合，將所要執行的工作傳送到Hadoop進行處理。他利用Hadoop進行衛星影像分類，將土地利用情況依據其影像特征分為森林、草地、灌木及沙漠4類類型，但未進一步研究空間數據的存儲和發布。

本文在現有開源云平臺Hadoop的基礎上，結合GIS尤其是海量空間數據的特點來設計云GIS的體系結構。

三、基于Hadoop的云GIS體系結構

1.設計目的

當前不同云平臺架構和功能相差很大，本文提出的基于Hadoop的云GIS體系結構主要目標為:

1）提供空間數據分布式存儲與管理能力，包括多分辨率影像數據、多比例尺的矢量數據、元數據及其他業務部門數據。

2）提供基于分布式存儲的高性能計算服務。

3）充分發揮每個節點的計算和存儲能力。

4）為不同的空間數據與業務部門數據應用提供計算與發布服務。

2.基于Hadoop的云GIS體系結構

基于Hadoop的云GIS的體系結構如圖1所示，共包括4層，自下而上分別為物理層、云平臺層、服務層、應用層，以及橫跨多個層次的服務聚合、服務監控、任務調度及計量、計費等。下面將對各層的功能進行簡單論述。

（1）物理層

如圖1所示，該層位于體系結構的最底層，由計算機、服務器和網絡資源構成。

（2）云平臺層

該層是體系結構的核心，可分為4層:操作系統層、云平臺環境層、數據層和管理層。

云平臺環境是基于Hadoop的分布式存儲、分布式計算環境，主要包括海量空間數據的分布式存儲、分布式管理和分布式處理等。在這一層中，分布式數據存儲和管理使用 Hadoop的 HBase和HDFS。基于HBase建立相應的空間數據表，存儲多分辨率影像數據、矢量數據、業務數據，其最終數據存放在HDFS中。HBase數據可以采用類SQL的語言進行訪問，如 Pig、Hive。Zookeeper負責協調服務［9］。

數據包括多分辨率影像數據、矢量數據、元數據及其他相關業務數據。多分辨率影像數據可以選擇不同的存儲方式，分辨率不同的影像瓦片數據存儲在HBase相應的表中，而未經分割的數據量較大的影像數據則直接存儲到HDFS中。矢量數據、業務數據直接存儲在HBase相應表中。元數據主要兩部分:一是矢量、柵格等影像數據的元數據，二是各種業務元數據，都存儲在HBase表中。這樣解決了 HDFS不便管理小文件的問題，同時利用HBase時間戳來實現數據的版本控制。

管理層是核心層，負責管理上述所有需要調度管理的內容，具體包括提供數據分布式存儲接口、高性能分布式計算管理接口及云平臺功能聚合接口。分布式存儲接口包括基于數據共享的透明存儲接口、基于多分辨率影像地圖服務的影像金字塔存儲接口、以高性能分布式計算為目的的多分辨率影像數據分布式存儲接口、矢量數據分布式存儲接口、元數據存儲接口，以及其他業務數據存儲接口。本研究的高性能計算是基于Hadoop MapReduce的高性能計算（如圖1所示），主要是運用MapReduce分布式并行計算架構，將空間數據的處理與分析任務分散到云中的各節點上處理，以降低數據運算時間。這種高性能計算適用于海量數據的處理工作和GIS的分析處理。

圖1 基于Hadoop的云GIS體系結構

（3）服務層

按照云計算的概念，云計算的資源都是以網絡服務的方式提供給用戶。云計算服務包括IaaS、PaaS、SaaS和DaaS，云GIS一般只提供PaaS、SaaS和DaaS層服務。

服務層為應用提供服務目錄，包括WMS、WFS、WCS、WPS等標準Web服務，還包括多分辨率影像數據多版本訪問服務、數據基準服務、元數據管理服務及各行業應用服務等。

（4）應用層

應用層直接面向用戶提供一站式服務，所有的資源和GIS功能都以服務的形式提供給用戶，包括基礎應用服務、專業應用服務和行業應用服務等。其主要利用Mashup的數據聚合和服務聚合，將服務層的不同服務進行組合，形成不同用途的應用服務，以滿足不同用戶的需求。

對于客戶端，云GIS可以提供不同的服務用于支持不同的客戶端系統，包括C/S架構桌面GIS、B/S架構下的WebGIS、移動GIS等。

3.設計特點

本文所提出的云GIS體系結構將開源云計算平臺Hadoop與多分辨率影像數據、矢量數據，以及其服務發布結合進行研究。在現有云平臺Hadoop的基礎上，針對不同分辨率影像數據、不同比例尺矢量數據及不同業務數據，設計與之對應的云計算環境下的影像存儲、管理模型，并發布服務。設計的特點如下:

1）基于Hadoop的多分辨率遙感影像數據、多比例尺矢量數據的存取管理。采用Hadoop的HDFS和HBase作為多分辨率影像數據、多比例尺矢量數據的分布式存儲系統，并基于 HDFS和HBase的存取接口設計多分辨率影像數據、矢量數據等的存取服務。

2）基于Hadoop的多部門業務數據存取管理。將不同部門的業務數據存儲在HBase表中，并設計存儲接口，以便于不同用戶的應用。

3）基于HBase的各種數據變更方法。HBase所有數據庫的更新都有一個時間戳標記，利用時間戳實現共享數據的版本控制。

4）Hadoop環境下的高性能計算。高性能計算的目的是充分發揮每個計算節點的性能，本文的高性能計算是采用MapReduce編程模型設計的分布式計算。

5）透明的分布式存儲、分布式計算接口。本文所提出的體系結構在充分利用已有云平臺Hadoop、HBase的基礎上，為用戶隱藏后臺分布式系統存儲、計算的復雜性，提供給用戶透明的分布式存儲、分布式計算接口。同時利用HBase存儲小文件，以解決小文件存儲的問題。

6）數據發布。提供 WMS、WFS、WCS、WPS等標準Web服務，元數據管理服務等，以便于數據的共享與應用。

四、試驗測試

為驗證本文所提出的云GIS體系結構的可行性，以影像和矢量數據的分布式存儲和服務發布為應用案例進行測試。測試環境利用兩臺計算機作為宿主機。一臺計算機安裝虛擬機虛擬出2臺計算機，其中一臺作為Web服務器，另一臺部署Hadoop和HBase作為MasterNode和HBase Master節點；另外一臺利用VMware虛擬出4臺計算機，其中3臺虛擬機部署 Hadoop和 HBase作為 SlaveNode和HResignServer節點，另一臺配置 Zookeeper來協調服務。其配置如圖2所示。主機 CPU為 Duo T7700，內存為4 GB；操作系統均為 Ubuntu Linux 10.1，Hadoop-1.0.0，HBase-0.92.0，Zookeeper-3.4.2，開發環境為Eclipse 3.6。

圖2 試驗環境配置圖

試驗用數據包括5 m分辨率航空數據（2.5 GB）、Google全球瓦片數據（1～9級）、浙江省1∶5 萬矢量圖（SHP 格式，2.13 GB）。

1.基于HBase的影像數據存儲與檢索

運用HBase基本API創建一個只包含一個列族Image的表Image_tb，編程實現將Google全球影像數據（1～9級）導入到表Image_tb中。將影像數據導入HBase之后，利用試驗平臺進行了影像數據檢索試驗。檢索時間包括影像塊索引計算時間和影像塊數據讀取寫入本地時間。利用客戶端分別從2個節點、3個節點和4個節點環境下讀取相同屏幕顯示范圍的影像塊（以64塊為例），不同級的影像數據所需時間（各運行4次的平均時間）見表1。

表1 影像數據檢索時間 s

2.矢量數據存儲

利用GeoTools-2.7.4開源項目讀取客戶端本地的SHP數據，將數據導入到相應的表中。

3.基于MapReduce的矢量數據空間索引并行構建

本試驗主要驗證運用MapReduce構建矢量數據中線狀要素的網格索引的效率。針對上節入庫的等高線層和交通層，利用DDA構建網格索引的方法分別在2個節點、3個節點和4個節點所組成的集群中并行構建索引，所耗時間見表2。

表2 矢量數據并行構建索引時間 s

從表2可以看出，節點的數量直接影響計算所需要的時間，隨著節點的增加，計算所需時間逐漸減少。

4.數據發布試驗

利用HBase REST接口開發GeoTools-2.7.4的數據訪問插件，對存儲的數據進行符合OGC標準的地圖服務發布（如WMS、WFS、WCS）。客戶端用戶可通過瀏覽器調用標準地圖服務進行地圖瀏覽，2～5級分辨率影像數據瀏覽效果如圖3所示。

通過試驗可知，本文設計的基于Hadoop的云GIS體系結構，將影像數據和矢量數據按照分辨率或比例尺分布式地存儲在HBase相應的表中，數據的存儲和訪問效率得到有效提高。通過擴充節點數，可方便地獲得較大的存儲空間和較高的空間分析計算效率。

圖3 2～5級分辨率影像數據瀏覽效果圖

五、結束語

云計算是信息產業重要的發展方向，云計算技術與GIS的結合可以實現資源共享，從而有效地節省服務器資源、數據資源、計算資源和人力資源等。本文提出的基于Hadoop的云GIS體系結構，通過利用HBase和HDFS解決海量空間數據的高效存儲檢索問題，利用MapReduce編程框架解決海量空間數據空間分析的分布式計算效率問題，并提供OGC標準Web服務，為空間資源的高效、便捷共享提供了良好的基礎。本文最后對所提出的體系結構通過試驗進行了驗證，試驗表明，該體系結構可有效提高海量空間數據的存儲檢索效率和空間分析分布式計算的效率。

［1］ Hadoop.Welcome to Apache Hadoop［EB/OL］.［2013-05-15］.http:∥hadoop.apache.org/.

［2］ 劉鵬.云計算［M］.北京:電子工業出版社，2010:1-2.

［3］ 中國經濟網.全球第一款支持云架構的GIS平臺發布［EB/OL］.［2010-08-03］.http:∥news.xinhuanet.com/world/2010-08/03/c_12404512.htm.

［4］ CAO Kang.Cloud Computing and Its Applications in GIS［D］.［S.l.］:Clark University，2011:26-27.

［5］ 中國軟件網.吳信才:云GIS帶來的最大影響是體系架構［EB/OL］.［2010-12-06］.http:∥www.edu.cn/zhuan_jia_ping_shu_1113/20101206/t20101206_549361.shtml.

［6］ 方雷.基于云計算的土地資源服務高效處理理論框架及其平臺關鍵技術研究［D］.杭州:浙江大學，2011:94-97.

［7］ MUZAFAR A B，RAZEEF M S，BASHIR A.Cloud Computing:a Solution to Geographical Information Systems（GIS）［J］.International Journal on Computer Science and Engineering，2011，3（2）:596-597.

［8］ 陸嘉恒.Hadoop實戰［M］.北京:機械工業出版社，2011:327-355.

［9］ CHEN Q C，WANG L Q ，SHANG Z B.MRGIS:A MapReduce-Enabled High Performance Workflow System for GIS［C］∥Proceedings of IEEE 4th International Conference on eScienc3.Indianapolis:［s.n.］，2008:646-651.