基于MongoDB的遙感規格化數據云平臺的設計與實現

馬駿+張飛龍

DOI：10.16644/j.cnki.cn33-1094/tp.2016.02.015

摘 ?要： 隨著遙感影像規格化數據的數據量以PB級別不斷增加，海量的遙感影像規格化數據就需要采用更加合適的云存儲平臺系統。基于傳統關系型數據庫的云平臺系統在高并發讀寫、擴展性等方面無法滿足當前大數據量的需求，因此研究了一種基于MongoDB的遙感規格化數據云平臺系統，與現有的云平臺系統相比，此平臺在性能、穩定性、擴展性方面都有很大提升。

關鍵詞： 遙感規格化數據; MongoDB; 海量; 云平臺

中圖分類號：TP399 ? ? ? ? ?文獻標志碼：A ? ? 文章編號：1006-8228（2016）02-49-04

Design and implementation of remote sensing normalized data cloud platform

Ma Jun1，2， Zhang Feilong1

（1. Department of Computer Science and Technology， Henan University， Kaifeng， Henan 475004， China;

2. Data and Knowledge Engineering Research Institute， Henan University）

Abstract： Along with the increase of the PB level of remote sensing normalized data， massive remote sensing normalized data needs to use a more suitable cloud storage platform system. Remote sensing normalized data cloud platform based on traditional relational database cannot meet the needs of the current large volume of data in high concurrent read write， scalability. Therefore， this paper studies the remote sensing normalized data cloud platform based on MongoDB， compared with the prior platform system this platform have greatly improved in performance， stability and scalability.

Key words： remote sensing normalized data; MongoDB; massive; cloud platform

0 引言

高分應用綜合數據庫系統是高分應用鏈條中的重要組成部分，是必需的基礎支撐條件。高分應用綜合數據庫系統主要負責收集、保管、維護和提供高分衛星信息產品研發、生產、驗證、服務所需的數據信息資源，是高分應用鏈條中不可或缺的數據支撐，也是高分應用示范系統建設和推廣應用的重要基礎。其中，規格化影像產品數據作為其主要的產品數據類型也是整個系統工作的重中之重。規格化影像產品，即對原始數據進行幾何、輻射等預處理后形成干凈準確的影像，在對其按照標準分辨率層級進行重采樣，最后為保證定量化處理精度按標準格網裁切成1000*1000的規格化影像。現有系統的規格化數據云平臺主要是采用了Sqlite數據庫作為底層索引[1-2]。

Sqlite具有很好的兼容性、跨平臺性和較小的規模等特點，但是在數量日益增大的今天，Sqlite的存儲大小限制、穩定性和對并發讀寫等方面的不足也開始影響規格化數據云平臺的整體性能[3-4]。為了提高規格化云平臺的數據的整體性能，本文設計了基于非關系型數據庫MongoDB的規格化云平臺系統，并通過對比現有的云平臺系統，證明本文方案的可行性。

MongoDB是10gen公司與2009年研發的一份開源的基于分布式文件存儲的NOSQL數據庫系統。MongoDB是一個介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的，他支持的數據結構非常松散，是類似json的bjson格式，因此可以存儲比較復雜的數據類型。MongoDB最大的特點是他支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現類似關系數據庫單表查詢的絕大部分功能，而且還支持對數據建立索引。它是一個面向集合的，模式自由的文檔型數據庫[5]。MongoDB采用主/從和復制集兩種復制冗余方式。MongoDB相較于傳統的關系型數據庫有著易于使用、易于擴展、豐富的功能和卓越的性能，在面對海量數據的挑戰時更加有優勢。

1 云平臺的總體部署

遙感規格化云平臺主要是實現對遙感瓦片數據的存儲、檢索和管理。數據采用虛擬分布式存儲技術散列的存放在各個數據存儲站點上，分布式存儲技術是通過一系列管理調度策略將靜態的虛擬磁盤空間單元映射到動態的物理存儲站點上，從而建立一個邏輯上靜態、物理上動態可擴展的分布式存儲空間。 數據所對應的元數據信息（包括瓦片數據名、衛星、傳感器、拍攝時間、層級、行號、列號、類型）則存放在分布式的云數據庫上。現有系統的云數據庫由Sqlite實現，Sqlite數據庫服務獨立分布于各個存儲節點，通過每個存儲節點上部署的站點服務操作數據庫以此實現分布式的信息存儲和檢索。在進行數據存儲的操作時，由數據存儲服務將數據存放到虛擬分布式磁盤上，然后調用每個存儲節點的站點服務進行元數據索引的建立，即站點服務將元數據信息索存放在各自節點所部署的Sqlite數據庫中。在查詢時，客戶端發送查詢請求，各個節點的站點服務查詢各自節點所部署的Sqlite數據庫中對應的元數據信息，然后將結果進行歸約，返回給客戶端。

基于MongoDB的云平臺系統在進行數據存儲操作時，由數據存儲服務將數據存放到虛擬分布式磁盤上，然后調用MongoDB路由在MongoDB集群上建立元數據的索引，利用MongoDB的分片、副本集等特性實現元數據信息的分布式存儲。在進行數據檢索時，客戶端直接向MongoDB路由發送數據查詢請求，MongoDB路由調用MongoDB集群的并發檢索，將查詢到的元數據信息返回給客戶端[6-7]。基于MongoDB的云平臺系統的架構如圖1所示。

2 MongoDB集群部署實現

在本次實驗部署中，采用配置相同的三臺機器作為測試機來構建MongoDB集群，具體的服務配置分配和物理部署圖如圖2所示。

MongoDB集群中的每臺MongoDB服務器開啟了MongoDB路由mongos服務、MongoDB配置config server服務、數據分片shard server服務（包括主分片、副本分片和仲裁分片）。其中ConfigSvr：配置服務器相當于集群的大腦，保存著集群和分片的元數據，即各分片包含哪些數據的信息。Mongos：是用戶和集群間的交互點，其職責是隱藏分片內部的復雜性并向用戶提供一個簡潔的單服務器接口，允許把集群當作一臺服務器。shard：即MongoDB主分片，用于存儲實際的數據塊。使得每臺服務器比較均衡的承擔一定的路由操作和I/O操作，數據能夠有效的散列的分布在各個MongoDB服務器上，提高服務器的資源利用率和實現集群的負載均衡，大大提高集群的整體性能表現。replica set：即MongoDB副本集，副本節點在主節點掛掉后通過心跳機制檢測到后，就會在集群內發起主節點的選舉機制，自動選舉一位新的主服務器，提高系統的可靠性和自動故障的回復。arbiter：即MongoDB仲裁，仲裁節點不存儲數據，只是負責故障轉移的群體投票，這樣就少了數據復制的壓力[8-9]。

3 實驗結果分析

3.1 開發的軟硬件環境

本次實驗MongoDB集群有三臺軟硬件配置相同的服務器級別的機器構成，服務器的配置為：

操作系統：Windows7旗艦版（64位）

數據庫：MongoDB 3.0.1，MySql 5.5

Cpu：Intel Core i7-2600

核數：4核8線程

內存：16g

3.2 測試方案設計以及結果

⑴ 規格化數據的批量存儲的性能對比測試。

從圖3可以看出，規格化數據的存儲MongoDB集群的效率整體上要高于基于傳統關系型數據庫Sqlite，大概是其2.8倍。在不斷增加實驗樣本插入大數據量瓦片數據的情況下，MongoDB集群與Sqlite的插入效率比依然維持在2.8左右。由此可見，基于MongoDB的規格化云平臺系I同相較于現有有著明顯的優勢，即使在大數據量的情況下，依然能保證相當的插入效率。

⑵ 在一定數據量基礎上查詢1000條特定條件的規格化數據性能對比測試，查詢的條件為規格化數據的層級、行列號信息。

從圖4可以看出，在數據量比較小的情況下，二者的性能差異不大，隨著數據量的增大，現有系統的查詢所需要的時間開始急劇上升，而基于MongoDB的規格化云平臺查詢所需時間上升的比較平緩。由此，在數據量不斷增大的情況下，基于MongoDB的 規格化云平臺系統具有查詢性能上的優勢。

3.3 遙感規格化數據云平臺對比分析

通過圖3、圖4的對比分析，在數據量不斷增加的情況下，基于MongoDB的規格化云平臺系統在數據存儲和檢索方面依然具有良好的性能表現，在性能上相比于現有的云平臺系統有著較大的優勢，能夠滿足數據量日益增長所帶來的壓力。

降低了客戶端、存儲服務與站點服務之間的耦合，基于MongoDB的云平臺系統不再是數據和數據庫信息一體化的結構，二者在邏輯上實現了分離，存儲服務和客戶端就不再依賴于原有的站點服務提供的并發存儲和檢索，而依賴于MongoDB集群提供的服務。

降低了站點服務的壓力：由于在本系統中站點服務同時承擔著大量的數據訂單處理和同時支持其他數據格式的服務，而其中規格化數據的服務將依賴于MongoDB集群，不再依賴于站點服務。

更好的擴展性和靈活性：現有的云平臺系統在擴展時需要同時進行存儲節點和Sqlite數據庫服務兩方面的擴展，而基于MongoDB的云平臺系統則是在存儲空間不足時只需要擴展存儲空間、在數據庫性能不足時適當的調整MongoDB集群。

更好的容錯性：利用MongoDB的副本集可以實現雙機熱備的功能，提高了系統的容錯性[10]。

4 結束語

針對規格化數據的海量性、離散性和不斷增長的特點，本文給出了基于MongoDB的規格化云平臺系統，通過構建MongoDB集群，代替現有的站點服務和Sqlite數據庫服務。實驗結果表明：相較于傳統數據庫，MongoDB集群在并發讀寫、快速檢索、負載均衡、容錯性和擴展性都有了很大的提升，在構建分布式系統上有著很大的優勢。適應于現在海量的不斷增長的遙感規格化影像數據。但是目前MongoDB對內存的要求比較高，不如傳統關系型數據庫成熟，其分片機制、內存管理機制和緩存機制還有待進一步的深入研究。

參考文獻（References）：

[1] 王棟，鄭逢斌，賴積保，余濤，李家國，郭珊.基于五層十五級遙

感數據結構的并行算法研究[J].微計算機信息，2012.1.

[2] 李朝奎，楊武，殷智慧，張強.MongoDB的遙感影像分布式存

儲策略研究[J].測繪通報，2014.5.

[3] 段龍方.面向遙感數據的云數據庫技術研究與應用[D].河南

大學，2014.

[4] 謝志偉.基于SQLite的遙感影像數據庫設計[D]. 遼寧工程技

術大學，2012.

[5] 潘凡.從MySQL到MongoDB——視覺中國的NoSQL之路[J].

程序員，2010.6.

[6] 王光磊.MongoDB數據庫的應用研究和方案優化[J].中國科

技信息，2011.20.

[7] 王振輝，王振鐸.MongoDB中數據分頁優化技術[J].計算機系

統應用，2015.6.

[8] 鄧志飛，應良佳，王軍威.基于IODA算法MongoDB負載均衡

的改進[J].現代電信科技，2013.7.

[9] 梁海.MongoDB數據庫中Sharding技術應用研究[J].計算機

技術與發展，2014.7：60-62，67

[10] 邱儒瓊，鄭麗娜，李兵.基于MongoDB的電子地圖瓦片數據

存儲和服務研究[J].地理空間信息，2014.