云存儲技術在自然資源大數據中的應用

盧彥科 張偉

（1.河南省自然資源綜合保障中心，河南 鄭州 450016；2.河南省政務大數據中心，河南 鄭州 450016）

1 引言

隨著自然資源業務現代化建設的深入，自然資源已經進入大數據時代，主要表現在數據體量大，數據呈爆發式增長，不斷增加的數據量要求存儲支持動態擴展；數據種類繁多，包括基礎地理數據、遙感影像數據、土地數據、礦權數據、地災數據、地質環境數據等；數據的產生和處理速度要求快，能夠從大量數據中快速獲取有效信息是自然資源業務的迫切要求。傳統的數據庫已經無法滿足需求，數據云存儲技術通過其分布式存儲和并行化處理海量數據的能力，為自然資源海量數據的存儲和處理提供了良好支撐。本文結合河南省國土空間基礎信息平臺的“一張圖”對數據存儲及應用的要求，對數據云存儲技術進行研究和探索，用以提升自然資源數據的存儲、檢索、分析性能，為實現自然資源工作的信息化快速發展提供保障。

2 大數據云存儲技術的發展

大數據處理的關鍵技術基本分為大數據采集、大數據預處理、大數據存儲與管理、大數據統計分析及挖掘、大數據展現和應用（大數據檢索、大數據可視化、大數據應用、大數據安全等）5 個步驟。在大數據環境下實現地址數據的采集、存儲、管理、共享、應用，其核心主要是明確自然資源數據的存儲類型，以便選擇相應的數據庫存儲模式。同時，解決自然資源數據的分布式存儲與并行計算。大數據處理的關鍵技術如表1 所示。

表1 大數據處理的關鍵技術

研究自然資源大數據，就是充分利用數字化自然資源數據，以大數據技術和產業為指導，深入挖掘自然資源信息，在數據采集、數據整合、信息提取和數據分析等方面開展相關技術研發和應用。

河南省自然資源數據目前已涵蓋全省測繪、地政、礦政、地質環境等4 大類、27 個專題、3243 個數據集、36818 個圖層，數據總量達40TB。這些數據來自全省各級自然資源管理相關部門及其相關單位不同領域，其中現狀類、規劃類數據要通過逐級匯交方式實現數據匯聚，數據在本地存儲；自然資源管理類數據通過實時備案、在線業務協同等方式實現數據匯聚；其他行業數據通過交換、協議、共享等方式實現數據匯聚；互聯網類等數據通過網上接口、下載等方式實現數據匯聚；離線匯交、在線調用、服務接入多種方式共用，保障數據同步與更新。考慮到自然資源數據自身的特點以及能夠被快速訪問的需求，傳統的關系型數據庫存儲在小規模數據量時可以達到很好的效應。但隨著數據量與應用范圍的增加，傳統的關系型數據庫性能會快速下降。因此，數據分布式存儲是必然的選擇。

云數據存儲技術的出現，憑借其分布式存儲和并行化處理海量數據的能力，為自然資源海量空間數據的存儲與處理提供了解決方案。

3 自然資源云存儲平臺總體設計

河南省國土空間基礎信息平臺的“一張圖”通過GIS 數據中心集成開發、網絡通信以及信息化技術，建設自然資源云存儲管理系統，實現體系內的國土空間基礎信息縱橫聯通、共建共享、深度融合。

3.1 構建云存儲平臺

河南省自然資源三維立體資源“一張圖”基于虛擬化、云計算、多租戶等技術建設，實現參建體系內的河南省國土空間基礎信息縱橫聯通、共建共享、深度融合，呈現統一基礎架構的云資源。各級用戶實體以虛擬資源，而不是物理設備方式獲得可用資源，并能夠將取得的虛擬資源根據需求搭建虛擬業務系統及數據庫，相對獨立地在權限范圍內運維管理，實現按需分配的自然資源云服務。基于云分布式存儲技術的數據庫存儲解決海量自然資源數據存儲和大規模數據處理問題，提高用戶的訪問效率。云存儲平臺整體架構可以劃分為四個層次：數據存儲層、數據管理層、數據服務層與用戶訪問層，如圖1 所示。

圖1 云存儲平臺架構設計

（1）數據存儲層

數據存儲層是云存儲系統的最基礎部分，由存儲協議（滿足FC 協議、iSCSI 協議、NAS 協議等）構成，實現數據的統一管理。它主要包括計算資源、存儲資源、網絡資源以及安全設備等。各種類型的數據統一存放在存儲系統中，實現數據的統一管理。

弓閑置不用時會松弛，弓的強度減弱，弓輔就是用來固定弓的形狀使弓不變形，保持弓的彎度強度，所以可引申出安定的意義。

（2）數據管理層

數據管理層是云存儲系統的核心，也是云存儲中最難以實現的部分，主要包括大規模的分布式計算系統，擔負著管理集群系統資源及資源的虛擬化、控制分布式程序運行、數據加密，分發以及容災備份等工作。數據管理層可實現空間大數據的快速存取與高效計算，滿足空間時空信息瀏覽、高效分析處理與應用的需要。

（3）數據服務層

數據服務層是采用云分布式服務技術，根據不同的用戶，開發出不同的應用服務接口，并提供相應服務，實現大規模數據的存儲共享、查詢及處理服務。

（4）用戶訪問層

用戶訪問層通過授權、認證等機制使用戶登錄、享受特定權限范圍內的云服務。該層具體包括一些數據搜索服務、地圖操作以及其他第三方服務。

3.2 自然資源數據體系

河南省自然數據縱向貫穿省、市、縣三級，按照數據類型分為現狀數據、規劃管控數據、管理數據、社會經濟數據，其中現狀數據包含基礎地理、遙感影像、土地利用現狀、礦產資源、三維數據等，為掌握國土空間的真實現狀和國土空間的開發利用與變化狀況提供數據基礎；規劃管控數據包含基本農田保護紅線、生態保護紅線、城鄉規劃、土地規劃、控制性詳細規劃、交通規劃等專項規劃，為行政審批和國土空間規劃編制提供管控數據依據；管理數據是行政審批過程中產生的數據，包含地政管理數據、測繪管理數據等，為實施批后監管提供數據基礎；社會經濟數據包含宏觀經濟、人口數量、消費物價指數、社會輿情等，為了解經濟、社會運行情況提供數據基礎。數據資源分類體系結構如圖2 所示。

圖2 自然資源數據體系

要將這些數據標準、模型、格式、精度、存儲形態等差異甚大的各類數據集成到自然資源“一張圖”數據庫中，需要建立一套統一的數據格式和標準，使各類數據能夠在統一空間基準下進行空間定位、相互疊加和套合。“一張圖”數據庫根據數據結構的差異，將結構化離散數據和非結構化網格數據、柵格數據的信息數據進行統一格式和標準，導入分布式文件系統HDFS 中，非結構化數據在分布式文件系統中按照特定的約定方式被提取出來，并存放到HBase 構建的內容庫中，結構化數據被發布到GIS 服務集群中，便于數據管理的提取和訪問[2,3]，以此模式形成全省覆蓋、內容完整、準確權威、動態鮮活的統一國土空間基礎數據資源。

3.3 自然資源數據存儲方案

河南省國土空間基礎信息平臺的“一張圖”以二、三維一體化GIS 技術為基礎框架，在組織和關系上進行優化設計，支持分布式的數據存儲，使得數據可存儲在不同的物理位置，在數據管理平臺中，將三維同現狀、規劃、管理、社會經濟等業務要素相結合，以邏輯統一的方式進行數據信息的展示，形成自然資源三維立體“一張圖”，如圖3 所示。

圖3 三維立體自然資源“一張圖”

“一張圖”數據存儲充分考慮數據庫與業務庫之間關系，采用了數據庫與業務庫隔離、省及各地市數據庫松耦合的方式，獨立存儲。同時根據存儲數據類型的不同，從確保數據穩定可靠、擴展性強、安全性強等角度考慮，分別選用國產關系型數據庫、Elasticsearch、非關系型數據庫、HDFS 以及HBase數據庫進行物理數據庫搭建。

按數據類型定義數據存儲方案，每個數據類型可自行定義數據存儲位置，一旦有新的數據類型需要納入管理，“一張圖”數據庫依據數據結構的差異，按照現有的統一格式和標準，分類別進行結構化和非結構化存儲和管理，導入分布式文件系統HDFS 中，做到不同類別數據完全隔離，互不影響。

4 自然資源大數據云存儲模型的選擇

云數據庫是被優化或部署到虛擬計算環境中的數據庫，在云數據庫應用中，客戶端無需了解數據庫的底層細節，底層硬件都已經被虛擬化[4]。對用戶來說，云數據庫就像運行在單一服務器上的數據庫一樣，但數據的存儲、處理能力與傳統意義上的數據庫相比有了質的飛躍[5,6]。

考慮到自然資源數據自身的特點以及能夠被快速訪問的需求，傳統的關系型數據庫存儲在小規模數據量時可以達到很好的效應，但隨著數據量與應用范圍的增加，傳統的關系型數據庫性能會快速下降，因此，多類型、數據分布式存儲是必然的選擇。

4.1 關系型數據庫

選擇自主可控、國產化核心技術，通過整合人工智能技術，實現數據庫的自我檢測、自主運維，在降低數據庫運維成本的同時，提高計算能力，使數據庫獲得更快的響應速度。SuperMap GIS 系列產品與其需無縫對接，將人工智能技術融入分布式數據庫，實現了大數據空間查詢與分析從性能到算力的全方位優化，主要存儲現狀類、管理類、綜合分析類等結構化數據。

4.2 非關系型數據庫

非關系型數據庫即NoSQL 數據庫，以塊為單元操作數據，使用非結構化查詢語言（UNQL）。NoSQL 數據庫采用了鍵值（Key-Value）存儲模式[7]，該結構主要分為主鍵、屬性和值三部分，基于值存儲的數據相對較大的特點就是對數據進行切分與壓縮的技術處理后，按照特定的約定方式被提取出來，并存放到HBase構建的內容庫中，可以大幅提升數據傳輸能力[8]，同樣也是因為基于鍵值對，數據之間沒有耦合性，所以非常容易水平擴展。該數據庫主要存儲平臺運行日志、三維地圖緩存數據等事務性不強、數據模型比較簡單的數據類型。

4.3 ElasticSearch

ElasticSearch 是一個分布式可擴展的實時搜索和分析引擎，一個建立在全文搜索引擎 Apache Lucene（TM）基礎上的搜索引擎。ElasticSearch 不僅包括了全文搜索功能，還可以進行分布式實時文件存儲，并將每一個字段都編入索引，使其可以被搜索。實時分析的分布式搜索引擎，可以擴展到上百臺服務器，處理PB 級別的結構化或非結構化數據，主要存儲社會經濟數據中實時動態數據。

4.4 HDFS

HDFS（Hadoop Distributed File System） 是Hadoop 分布式系統體系結構中的核心，主要實現了分布式文件系統。HDFS 在處理超大文件上非常有優勢，而且支持流式的訪問數據，它的設計建立在“一次寫入、多次讀取”任務的基礎上。HDFS 中，一個數據集如果由數據源生成，就會被復制分發到不同的存儲節點中，響應不同的數據請求，主要存儲現狀數據中海量影像以及文本數據。

4.5 HBase

HBase（Hadoop database）是一種構建在HDFS 之上的分布式、面向列和提供高可靠性、高性能、可伸縮、實時讀寫的開源數據庫系統，適用于需要實時讀寫、隨機訪問超大規模數據的場景。HBase 是分布式空間數據存儲和管理首選，既能支持多種數據格式的存儲，包括柵格數據（如GeoTIFF）、矢量數據（如UDB/UDBX、Shapefile、GDB 等）和各種文件數據，又具有較強的數據查詢與讀寫能力，基于HBase 數據庫可以實現矢量數據15 億條線+28 億個面的迅速存儲與讀取，主要存儲海量矢量數據。

5 結語

本文提出的理論與方法在河南省國土空間基礎信息平臺“一張圖”建設中得到了部分應用，解決了超大規模海量自然資源數據存儲和實時更新的一些難題，為自然資源數據的高效存儲與實時共享提供了一定思路。河南省自然資源“一張圖”建設完成后，目前已覆蓋全省18 個市、100 多個縣的自然資源管理部門。

自然資源信息是重要的基礎國情，自然資源管理關系國計民生，落實自然資源“兩統一”職責，全面深化“放管服”改革，必須依靠信息化的引導和驅動，自然資源海量數據存儲管理又是自然資源信息化的關鍵，因此研究云存儲技術在自然資源數據存儲中的應用，提高自然資源信息化管理和應用水平是自然資源信息化事業發展的必然要求。