NoSQL空間數據管理在省級水利數據共享服務平臺中的應用

胡應龍，陳　杰

(江西省防汛信息中心，江西 南昌 330009)

Application of NoSQL Spatial Data Management in Provincial Water

Conservancy Data Sharing Service Platform

HU Yinglong，CHEN Jie

?

NoSQL空間數據管理在省級水利數據共享服務平臺中的應用

胡應龍，陳杰

(江西省防汛信息中心，江西 南昌 330009)

Application of NoSQL Spatial Data Management in Provincial Water

Conservancy Data Sharing Service Platform

HU Yinglong，CHEN Jie

摘要：近年來，大型空間信息系統用戶交互數據、業務監測數據、遙感影像數據等不斷增長。高效的海量空間數據存儲管理、迅速準確的檢索、簡便可靠快速的擴展已成為地學信息科學和水利業務應用領域日益關注的熱點問題。本文結合NoSQL和全文檢索技術，在江西省水利數據共享平臺建設實踐中基于MongoDB和Lucene開源軟件庫設計實現了OGC Web地圖服務瓦片數據的存儲管理、海量空間矢量數據和元數據的全文檢索。平臺建設完成后大幅提升了數據庫管理和檢索的效率，達到了100萬條記錄模糊檢索毫秒級響應的目標，較好地實現了海量水利數據的管理，具有良好聯通性和互動性、地理數據豐富的空間分析能力，期望能以此為基礎帶動江西省水利信息的交流融合，促進江西省水利現代化建設。

關鍵詞：NoSQL；數據管理；水利信息化；水利數據共享平臺；MongoDB；Lucene

一、引言

近年來隨著空間信息產業和技術的快速發展，空間信息數據源在不斷豐富，如調查資料、遙感影像數據、歷史和實時監測數據、用戶交互數據等，數據規模也在持續增長，有的系統數據記錄條數已超過1000萬條[1]。如何實現多類型海量數據的存儲、快速檢索、分析、統計展示、在線服務、擴展和遷移，已成為大型空間信息系統亟待解決的難題和地學信息科學領域日益關注的熱點問題[2]。

一般說來，海量數據管理要求空間信息系統具有高可擴展性、容錯性、伸縮性，并且支持實時的數據讀寫及高性能的查詢處理[3-4]。關系型數據庫峰值性能、伸縮性、容錯性等存在局限性，無法滿足海量數據的高效柔性管理需求[5]。

與傳統關系型數據庫相比，NoSQL(not only SQL)是一類云計算背景下蓬勃發展的分布式、非關系型數據庫系統[2]，支持鍵值、列、簇、文檔、圖等半結構化、結構化數據的高并發讀寫，具有良好的伸縮性和擴展性及云計算所提供的海量數據存儲管理、分布式并行計算能力。

1. 項目背景

江西省位于長江中下游南岸，境內水系發達、河流眾多， 水利工作的開展顯得尤為重要。地理信息數據是水利行業的重要基礎信息，其應用領域涉及防汛抗旱、水資源保護和開發、水土保持、水利工程管理等各個方面[6-8]。近年來地理信息數據在江西省水利行業的應用得到了不斷拓展和深化[6,9-12]，在許多方面發揮著重要作用[13-17]。但是在當前實際應用中也遇到了如數據分散、質量不高、整合難度大，以及基礎平臺性能不高、重復開發、決策分析能力弱等瓶頸。為實現數據資源的綜合管理和利用，提升數據資源的應用效益，避免重復建設，必然會產生數據資源整合的需求[12]。

基于上述問題，本文結合目前新提出的非關系型數據庫技術，采用關系型和非關系型數據庫協同應用，對江西省水利數據共享服務平臺數據庫進行了設計優化，旨在提高平臺空間數據存儲和查詢能力并有效地降低存儲消耗，建設一套集標準化、系列化基礎地理信息數據、遙感影像數據服務，以及海量數據管理和支撐各級水利部門業務應用的功能服務框架為一體的數據共享與服務系統平臺。

2. 總體設計

平臺采用結構化、模塊化、分層構架方式進行設計，分為基礎設施層、數據存儲層、平臺服務層、接口層和業務應用層共5層，每層詳細說明見表1，系統整體架構如圖1所示。

圖1　系統架構

基礎設施層包括平臺硬件設備,如數據庫服務器、Web應用服務器、GIS應用服務器、負載均衡系統、存儲服務系統。還包括路由器和交換機、PC終端及基礎GIS軟件等數據存儲層主要有衛星遙感數據、基礎地理數據、水利專題地圖數據、元數據、天地圖幾類數據,數據資源是共享平臺的核心內容數據訪問層負責對數據的訪問,即提供對空間數據和業務數據的訪問能力。提供插件機制來滿足對各種數據格式的支持采用SuperMapDesktop(.NET)平臺,它可以提供擴展的可編程對象、基本GIS功能,支持界面定制,可編程、可擴展平臺共享服務主要包括數據管理、數據交換、服務共享、運行維護4大方面的服務接口層接口層是指平臺提供的OpenAPI,通過OpenAPI的方式,系統提供對外接口業務應用層業務應用層包括Web客戶端、桌面客戶端、移動客戶端和其他業務系統。江西省水利地理信息共享服務平臺門戶為Web客戶端,數據管理系統為桌面客戶端。同時系統提供的接口可以支持其他業務應用系統

二、NoSQL的水利空間數據管理方案

1. 數據資源

平臺數據源包括不同分辨率的衛星遙感影像數據(2.5 m、0.6 m)、江西基礎地理數據(1∶5萬、1∶25萬、1∶1萬)、“天地圖·江西”數據、水利專題數據、元數據等，具體見表2。

表2　平臺數據資源項

2. NoSQL非關系型數據庫

NoSQL是分布式的、非關系型的數據庫，分為鍵值數據庫、文檔數據庫和圖數據庫3類[18-25]，遵循CAP理論和BASE原則[26-28]。CAP理論認為一個分布式系統不能同時滿足一致性(consistency)、可用性(availability)和分區容錯性(partition tolerance)。BASE為basically available(基本可用，可容忍系統的短期不可用)、soft state(柔性狀態，狀態可有一段時間不同步)和eventually consistent(最終一致，最終數據一致，而不是嚴格的時時一致)的縮寫。

目前，NoSQL數據庫多是針對應用場景設計，遵循BASE原則，強調數據高并發的讀寫、海量數據的存儲管理和快速訪問、系統可擴展性[1]。它不僅支持自由的模式定義方式，靈活的分布式體系結構，且對硬件的需求較低。傳統關系型數據庫和NoSQL數據庫優劣對比[27]，應根據項目實際應用場景制定技術路線和方案，見表3。

3. 數據管理方案技術路線

本文根據平臺數據資源、綜合在空間數據管理方面非關系型和關系型數據庫各自的特點和優勢，制定空間數據管理協同應用策略方案，如圖2所示。

NoSQL數據庫采用MongoDB。MongoDB存儲和查詢同樣數據量和數據范圍的空間數據較關系型數據庫的響應速度更為迅速[21,29-30]。MongoDB采用非結構化的Document，其字段長度和類型均不固定，可適應變化的元數據表。非關系型數據庫還可提升元數據庫的擴展能力。

表3　關系型數據庫與非關系型數據庫對比

圖2　技術路線

然而傳統關系型數據庫對空間分析支持較好，因此矢量數據的空間數據部分仍采用傳統關系型數據庫存儲管理。

(1) 遙感影像數據

在WebGIS中，為了減輕服務器端傳輸地圖圖形數據的壓力，應建立影像的金字塔式的地圖圖形瓦片[31]，并將地圖瓦片存儲在NoSQL中，建立服務器端緩存，客戶端只需從緩存中下載所需要的圖片。

① 影像金字塔技術

圖片集合結合空間索引能有效降低瀏覽影像數據傳輸和渲染壓力，提高影像瀏覽時的顯示速度。瀏覽時會根據用戶的顯示比例尺匹配最佳的分辨率等級來顯示影像，以實現與數據量、顯示區域無關的海量數據的組織管理和流暢漫游。

② 地圖緩存技術

江西省水利地理信息共享服務平臺涉及的水利數據，數據量大(TB級)、水利設施要素種類繁多(40種以上)，含有大量衛星遙感影像，需要配置大量水利專題地圖(包含各種要素符號、線型、面填充)，且在客戶端要能流暢地瀏覽地圖和輸出地圖。針對上述業務要求，為了加快出圖效率，應采用地圖緩存技術[32-34]。

③ 數據處理

首先對原始數據進行配準和坐標轉換，采用CGCS 2000坐標參考以匹配“天地圖·江西”等已有地圖。然后采用SuperMap iServer 6R軟件發布地圖服務并生成地圖緩存，緩存由256像素×256像素高寬的PNG地圖瓦片構成。

MongoDB搭建的持久化緩存層，在系統重啟之后，可以避免下層數據源過載。因此采用MongoDB存儲預生成的海量地圖瓦片，并在存儲過程中分別為每張圖片建立空間索引。

(2) 空間矢量數據和元數據

平臺數據源格式、字段、特點不同，來源廣泛，要快速準確地在海量數據中檢索到所需目標必須采用全文檢索技術。

① 全文檢索技術

平臺對所有矢量數據的屬性數據、元數據基于Lucene庫進行了全文檢索并建立了常見關鍵詞的索引。基于索引的檢索查詢功能也以Web Service接口的形式封裝提供調用。

② 空間數據引擎

GIS空間數據庫引擎提供并維護一套完整的數據模型，支持豐富的空間對象模型(點、線、面、文本等)和空間索引技術，具備存儲和高效管理海量數據的能力，支持影像壓縮等關鍵技術。本系統空間數據庫引擎分數據庫引擎、文件引擎和web引擎，分別對大型關系型數據庫、外部文件及影像數據和網絡上符合OGC標準的Web服務進行管理和操作。

③ 空間索引技術

索引技術直接影響到空間數據訪問查詢效率，是空間數據庫引擎的關鍵技術。單一索引不能滿足本平臺海量影像和矢量空間數據混合存儲時獲取數據的需求，需分別創建以下索引：

1) 基礎地理數據：更新頻率比較低的用作底圖的數據→R樹索引。

2) 水利基礎數據:標準比例尺分幅存儲→圖庫索引。

3) 水利專題數據:標準比例尺分幅存儲→圖庫索引。

④ 數據處理

數據經過抽取、分級和檢查后，建立全文索引，創建流程如圖3所示，流程詳細說明見表4[39-40]。

圖3　索引創建流程

步驟名處理結果分詞將文檔劃分成單獨的單詞去除標點符號去除無意義助詞等詞元語言處理變為小寫將單詞縮減為詞根形式,如“cars”到“car”等將單詞轉變為詞根形式,如“drove”到“drive”等詞索引根據得到的詞創建字典對字典按字母順序排序相同的詞合并,建立文檔倒排鏈表索引

三、結束語

本文分析了空間信息系統數據庫趨勢，比較了傳統關系型數據庫和新興非關系型數據庫的特點和優勢，認為僅憑傳統關系數據庫已經無法滿足高效的海量空間數據存儲、管理和在線服務的要求。新興的NoSQL非關系型數據庫和全文檢索等技術已成為大型空間信息管理系統數據庫優化的重要手段。

本文在江西省水利數據共享服務平臺建設實踐中結合以上技術，以MongoDB存儲管理OGC地圖服務的瓦片數據和矢量屬性數據和元數據，基于Lucene對矢量屬性數據和元數據進行了全文檢索并建立了常用關鍵詞的索引，建成后平臺用戶查詢瀏覽訪問的響應速度得到了極大提高，支持屬性和元數據的全文模糊檢索，已達到百萬條記錄檢索毫秒級響應的性能目標，較好地完成了平臺建設目標，大幅提升了用戶的滿意度。

當然，NoSQL并非是要取代傳統關系數據庫，而是指not only SQL。傳統關系數據庫在某些情境下優勢明顯，如對柵格影像的壓縮存儲和檢索優勢突出，可大幅降低存儲空間消耗。在實際應用中需綜合考慮項目需求，分析制訂合適的數據庫設計方案，以達到滿意的效果。

江西省水利共享服務平臺實現了江西省水利空間信息的共建共享，具備良好的海量水利數據管理能力，是具有良好聯通性和互動性的水利WebGIS，包含豐富、健壯、智能的地理數據空間分析模塊。平臺的建成和運行為全省各類水利業務應用系統提供了水利空間地理信息“一張圖”基礎服務，為后續在一個平臺內整合所需水利業務應用鏈，實現水利信息“一張圖”奠定了基礎，期望能以此為基礎帶動江西省水利信息的交流融合，促進江西省水利現代化建設。

參考文獻：

[1]胡澤林, 李淼, 張建. 基于Web的海量數據庫系統研究與應用[J]. 計算機應用, 2006(S1):70-72.

[2]陳崇成, 林劍峰, 吳小竹, 等. 基于NoSQL的海量空間數據云存儲與服務方法[J]. 地球信息科學學報, 2013(2):166-174.

[3]牛守明. 遙感海量數據管理系統研究與實現[D]. 濟南：山東科技大學, 2005.

[4]張和生, 張毅, 胡東成. 海量數據管理框架與方法研究[J]. 計算機工程與應用, 2004(11):26-29.

[5]申德榮, 于戈, 王習特, 等. 支持大數據管理的NoSQL系統研究綜述[J]. 軟件學報, 2013(8):1786-1803.

[6]朱來友, 李世勤. 水利信息化勢在必行——對江西水利信息化建設的認識[J]. 水利規劃與設計, 2004(1):50-54.

[7]蔡陽. 現代信息技術與水利信息化[J]. 水利水電技術, 2009(8):133-138.

[8]孫祥鵬, 廖華春, 肖堯軒. 珠江水利信息化頂層設計初探[J]. 人民珠江, 2011(1):49-51.

[9]許瑛. “十一五”以來江西水利科技主要成就[J]. 江西水利科技, 2010(2):112-116.

[10]劉政民. 21世紀初江西水利發展戰略思考[J]. 江西水利科技, 2001(3):129-137.

[11]孫曉. 江西水利:在開拓中前進在創新中發展[J]. 中國水利, 2008(24):112-114.

[12]謝敏, 謝元鑒. 江西省水利地理信息共享服務平臺建設的思考[J]. 水利信息化, 2013(2):25-28.

[13]王勇. 大型水利地理信息系統的建設研究——以江蘇省長江河道監測管理系統為例[D]. 南京：河海大學，2007.

[14]李澤建. 地理信息系統框架研究及其在水利行業中的應用[D]. 昆明：昆明理工大學, 2002.

[15]郭紅燕, 丁樹柏, 張友焱, 等. 分布式多源油氣勘探數據共享二三維一體化平臺研究[J]. 遙感信息, 2011(5):20-26.

[16]謝冬梅, 胡鋼, 沈波, 等. 基于Internet的水利地理信息系統研究[J]. 微處理機, 2007(1):49-52.

[17]蔡勇, 胡曉榮, 殷麗瓊, 等. 基于WebGIS的水利地理信息系統研究與實現[C]∥第十三屆華東六省一市測繪學會學術交流會.南京：[s.n.]，2011.

[18]李馮筱, 羅高松. NoSQL理論體系及應用[J]. 電信科學, 2012(12):23-30.

[19]范凱. NoSQL數據庫綜述[J]. 程序員, 2010(6):76-78.

[20]劉臣. 非關系數據庫CouchDB的應用[J]. 電腦知識與技術, 2013(14):3220-3222.

[21]郭匡宇. 基于MongoDB的傳感器數據分布式存儲的研究與應用[D]. 南京：南京郵電大學, 2013.

[22]唐李洋, 倪志偉, 李應. 基于Cassandra的可擴展分布式反向索引的構建[J]. 計算機科學, 2011(6):187-190.

[23]卓海藝. 基于HBase的海量數據實時查詢系統設計與實現[D]. 北京：北京郵電大學, 2013.

[24]張景云. 基于Redis的矢量數據組織研究[D]. 南京：南京師范大學, 2013.

[25]欒志高, 張吉. 內存數據庫Tokyo Cabinet在電子商務網站中的應用[J]. 信息與電腦：理論版, 2011(3):92-93.

[26]陳明. 分布系統設計的CAP理論[J]. 計算機教育, 2013(15):109-112.

[27]張華強. 關系型數據庫與NoSQL數據庫[J]. 電腦知識與技術, 2011(20):4802-4804.

[28]馬文杰. 基于CAP理論的海量數據存儲研究與應用[D].蘇州：蘇州大學, 2013.

[29]劉一夢. 基于 MongoDB的云數據管理技術的研究與應用[D]. 北京：北京交通大學, 2012.

[30]田帥. 一種基于MongoDB和HDFS的大規模遙感數據存儲系統的設計與實現[D]. 杭州：浙江大學, 2013.

[31]陳超, 王亮, 閆浩文, 等. 一種基于NoSQL的地圖瓦片數據存儲技術[J]. 測繪科學, 2013(1):142-143.

[32]魏祖寬, 胡娟, 金在弘. WEBGIS混合緩存的應用與研究[J]. 計算機系統應用, 2009(9):144-148.

[33]劉慧杰, 李英成, 靳海亮. 地圖緩存技術顯示模式的研究[J]. 地理信息世界, 2012(3):52-55.

[34]李林, 朱俊豐, 鄧仕虎. 跨平臺地圖緩存一體化的研究與應用[J]. 地理空間信息, 2013(2):74-77.

[35]王燕. 二三維一體化的WebGIS系統的研究與實現[J]. 現代測繪, 2011(5):46-47.

[36]謝紅, 贠建明. 二三維一體化的防汛指揮地理信息系統建設[J]. 地理空間信息, 2013(4):1-3.

[37]陳建忠, 饒長春. 國土資源二三維一體化GIS管理平臺研究[J]. 國土資源信息化, 2014(1):45-48.

[38]馬柳青. 三維GIS的發展與RealSpace技術[EB/OL]. [2015-03-06]. http:∥www.supermap.com.cn/magazine/page100.html.

[39]盧光華. 基于Lucene的全文檢索研究與應用[D]. 長春：吉林大學, 2009.

[40]陳洪猛. 全文檢索技術的研究與實現[D]. 北京：北京工業大學, 2008.

[41]孫海, 王乘, 吳棟, 等. 空間信息技術在水利信息管理中的應用[J]. 人民長江, 2007(10):122-125.

作者簡介：胡應龍(1964—)，男，高級工程師，主要研究方向為水利信息化應用。E-mail：251043046@qq.com

收稿日期：2015-04-20

中圖分類號：P208

文獻標識碼：B

文章編號：0494-0911(2015)12-0088-05