面向大數(shù)據(jù)挖掘的自然資源云平臺設計實現(xiàn)研究

作者簡介：呂田（1977—），男，本科，工程師，研究方向為地理信息系統(tǒng)。

摘要： 圍繞“山水林田湖草”自然資源協(xié)同管理要求，建立時空大數(shù)據(jù)云平臺，以匯聚各類基礎數(shù)據(jù)和業(yè)務數(shù)據(jù)，將數(shù)據(jù)相互關聯(lián)與融合，依托平臺的分析能力與支撐能力，以分析結果輔助業(yè)務工作開展。文章以市級自然資源應用為基礎，探討時空大數(shù)據(jù)云平臺技術。通過超融合、海量數(shù)據(jù)存儲、云安全等技術構筑云平臺基礎，同時引入數(shù)據(jù)抽取、清洗、挖掘分析、可視化等數(shù)據(jù)處理技術，以及分布式平行計算、面向服務的架構（Service-Oriented Architecture， SOA）、微服務、容器等云化技術，提升時空大數(shù)據(jù)云平臺的服務能力，為同類平臺建設提供借鑒。

關鍵詞：時空大數(shù)據(jù)" 分布式并行計算" 面向服務GIS技術" 業(yè)務云化" 微服務

中圖分類號：P208

Abstract： Focusing on the requirements of the collaborative management of the natural resources of \"mountains， rivers， forests， farmlands， lakes and grasslands\"， a spatio-temporal big data cloud platform is established to gather various basic data and business data and correlate and integrate data， and relying on the analysis and support capabilities of the platfom， analysis results are used to assist the development of business work. This article is based on the applications of municipal natural resources and explores the technology of the spatio-temporal big data cloud platform. The foundation of the cloud platform is built through technologies such as hyper-convergence， massive data storage and cloud security， and data processing technologies such as data extraction， cleaning， mining analysis and visualization， as well as cloudification technologies such as parallel distributed computing， service-oriented architecture （SOA）， microservices and containers are introduced to enhance the service capabilities of the spatio-temporal big data cloud platform， so as to provide reference for similar platform construction.

Key Words： Spatio-temporal big data; Parallel distributed computing; Service-oriented GIS technology; Business cloudification; Microservice

自然資源作為經(jīng)濟社會發(fā)展的核心要素、能量源泉和空間載體， 在現(xiàn)代化建設中具有全局性、戰(zhàn)略性、基礎性和不可替代性的地位[1]。長期以來中國自然資源產(chǎn)權制度不盡健全、統(tǒng)一管理制度難以建立、開發(fā)保護制度缺乏協(xié)調、監(jiān)管維護機制職責交叉的問題突出，已對生態(tài)、資源和經(jīng)濟安全構成了不利影響， 制約了經(jīng)濟社會的永續(xù)發(fā)展。同時，傳統(tǒng)的線下自然資源政務處理存在著效率低、信息安全性差等問題。信息化時代，電子政務系統(tǒng)的建設已成為衡量政府執(zhí)政水平的指標之一，因此，亟需結合信息技術建立一個令人滿意的自然資源時空大數(shù)據(jù)云平臺[2]。

根據(jù)《自然資源部信息化建設總體方案》，各級自然資源部門要建立安全高效的自然資源“一張網(wǎng)”、自然資源三維立體“一張圖”和統(tǒng)一的國土空間基礎信息平臺（“一平臺”），并以此為支撐構建自然資源調查監(jiān)測評價、監(jiān)管決策、“互聯(lián)網(wǎng) + 自然資源政務服務”三大應用體系。市級自然資源時空大數(shù)據(jù)云平臺立足于“一網(wǎng)一庫一平臺N應用”的信息化總體規(guī)劃，在政務網(wǎng)（一網(wǎng)）環(huán)境下構建一體化數(shù)據(jù)庫（一庫），支撐自然資源政務管理與服務平臺（一平臺）、調查監(jiān)測和政務服務等應用（N應用）。

1 總體架構設計

時空大數(shù)據(jù)應用云平臺按5層架構進行設計，圍繞標準規(guī)范制度保障體系和網(wǎng)絡信息安全工程保障體系，明確平臺所需對接的縱、橫向業(yè)務系統(tǒng)。5層架構包括基礎環(huán)境層、數(shù)據(jù)資源層、平臺支撐層、應用服務層、用戶層。如圖1所示。

1.1基礎環(huán)境層（“一張網(wǎng)”）

實現(xiàn)縱橫互聯(lián)且具有安全防護能力的自然資源“一張網(wǎng)”，實現(xiàn)基礎設施資源的集約共享、節(jié)約利用，支撐數(shù)據(jù)庫和平臺的運行及軟件支撐環(huán)境，提供基礎設施支撐。

1.2數(shù)據(jù)資源層（“一張圖”）

按照現(xiàn)狀、規(guī)劃、管理、社會經(jīng)濟4個方面進行組織，通過數(shù)據(jù)治理，整合基礎地理、土地、礦產(chǎn)、規(guī)劃等自然資源數(shù)據(jù)，共享發(fā)展改革委、生態(tài)環(huán)境、住房和城鄉(xiāng)建設、水利、農業(yè)農村等相關部門數(shù)據(jù)，形成自然資源三維立體“一張圖”。

1.3平臺支撐層（“一平臺”）

在基礎環(huán)境層、數(shù)據(jù)資源層的基礎上，整合地理信息平臺、工作流平臺、大數(shù)據(jù)平臺，構建國土空間基礎信息平臺，提供統(tǒng)一的身份認證、電子簽章、電子證照、安全審計等技術支撐，向下整合“一張圖”，為應用服務層提供平臺支撐。

1.4應用服務層

建設自然資源統(tǒng)一工作門戶，實現(xiàn)用戶一站式登錄，提供自然資源全流程、全業(yè)務線上審批和“互聯(lián)網(wǎng) + 自然資源服務”。

1.5用戶層

向市自然資源和規(guī)劃局內部用戶、區(qū)（縣）自然資源和規(guī)劃局用戶、其他政府部門用戶、企業(yè)、社會公眾提供統(tǒng)一的入口。

2 超融合高效基礎支撐環(huán)境

自然資源時空大數(shù)據(jù)云平臺在原來虛擬化技術的基礎之上，按照統(tǒng)一標準構建時空大數(shù)據(jù)云技術架構，實現(xiàn)裸金屬服務器、虛擬機、容器環(huán)境、華為基礎設施等多套技術體系的融合，最終達到統(tǒng)一化管理[3]。通過隔離驅動層一方面直接支撐我省時空大數(shù)據(jù)業(yè)務，另一方面通過接口為與“數(shù)字政府”之間對接打下基礎。如圖2。

3 時空大數(shù)據(jù)挖掘分析環(huán)境

3.1 分層結構形成時空大數(shù)據(jù)中心

市級時空大數(shù)據(jù)中心為前中后三層結構，前端負責數(shù)據(jù)應用，中間負責數(shù)據(jù)處理，后端負責數(shù)據(jù)收集與存儲，如圖3。

3.1.1 后端數(shù)據(jù)存儲

包含空間數(shù)據(jù)和其它數(shù)據(jù)，空間數(shù)據(jù)描述現(xiàn)實世界的目標，用點、線、面以及實體等基本空間數(shù)據(jù)結構來表示空間實體的位置、形狀、大小和其分布特征；其它數(shù)據(jù)包括屬性、文本、圖像等多種空間實體的輔助表示信息數(shù)據(jù)。數(shù)據(jù)分涉密版、政務版和公眾版，涉密版數(shù)據(jù)留在涉密存儲區(qū)，作為其它項目的原始數(shù)據(jù)集，政務版和公眾版數(shù)據(jù)通過安全隔離網(wǎng)閘擺渡到電子政務外網(wǎng)區(qū)或互聯(lián)網(wǎng)區(qū)成為業(yè)務應用數(shù)據(jù)[4]。

3.1.2 中間數(shù)據(jù)處理

首先按業(yè)務需求對數(shù)據(jù)源中的表或視圖進行抽取轉換成ETL工具可以識別的格式；然后按規(guī)則對抽取的數(shù)據(jù)進行清洗處理，以糾正數(shù)據(jù)文件中可識別的錯誤，使數(shù)據(jù)具有一致性；最后對數(shù)據(jù)進行挖掘分析、可視化展現(xiàn)[5]。

3.1.3 前端數(shù)據(jù)應用

基礎數(shù)據(jù)服務提供要素、地圖、目錄 、地名地址、資源共享、資源訂閱等服務；數(shù)據(jù)處理服務提供在線編輯、應用定制、矢量切片、專題制圖等服務；數(shù)據(jù)分析服務提供通用化空間分析引擎、空間數(shù)據(jù)變化監(jiān)測分析等。

3.2 時空大數(shù)據(jù)數(shù)據(jù)組織

機構改革之后，各市自然資源局在原有一體化時空大數(shù)據(jù)組織結構，即公共基礎類、專業(yè)基礎類、業(yè)務管理類、公共政務類四大類進行數(shù)據(jù)組織的基礎上，重點收集補充整合海洋、空間規(guī)劃、地質環(huán)境類數(shù)據(jù)，不斷豐富時空大數(shù)據(jù)資源。

3.3 分布式計算框架

采用Hadoop主/從集群架構體系。把GIS應用程序（稱為“作業(yè)”即“job”）分割成許多的小工作單元（稱為“任務”即“task”），放到集群的任意節(jié)點上執(zhí)行；分布式文件系統(tǒng)（HDFS）主要負責集群節(jié)點的數(shù)據(jù)存儲，并實現(xiàn)高吞吐率的數(shù)據(jù)讀寫；分布式并行計算模型MapReduce用于搜索領域，解決海量時空大數(shù)據(jù)的計算問題[6]。

3.4 高性能并行計算框架

由管理節(jié)點和多個計算節(jié)點組成，較于分布式此方式的數(shù)據(jù)集中存放。管理節(jié)點將任務按數(shù)據(jù)拆分成多個子任務，并將子任務和數(shù)據(jù)推送到給計算節(jié)點，計算節(jié)點運算完成后通知管理節(jié)點執(zhí)行完成或失敗，以便開始接受下一個任務。

3.5 按業(yè)務場景使用不同計算框架

一是實時計算場景使用高性能計算。主要針對用地審批、礦業(yè)權登記等業(yè)務的支撐，將單個項目地塊與全市的現(xiàn)狀地類圖斑、規(guī)劃地類圖斑等百萬級要素圖層同時疊加分析，可以有效支撐全市各縣區(qū)的并發(fā)訪問。二是批處理的計算場景使用分布式計算。主要用于全域范圍的分析評價與監(jiān)督評估，如國土空間規(guī)劃實施監(jiān)督的指標計算，用（百萬級要素）的全市范圍的現(xiàn)狀圖斑和規(guī)劃圖層同時疊加分析。

4 以應用為導向盤活時空大數(shù)據(jù)

4.1 業(yè)務云化技術

在面向服務GIS架構基礎上探索云化實現(xiàn)，從云化模板出發(fā)，結合容器技術實現(xiàn)業(yè)務微服務，達到云化業(yè)務程序的目的。

在微服務架構下應用docker容器技術，通過模板制作、應用類型注冊、投遞方案配置、投遞參數(shù)配置、投遞訂單解析、投遞流程實現(xiàn)等環(huán)節(jié)，初步構建了一套從開發(fā)、測試、部署、發(fā)布到持續(xù)交付的業(yè)務云化機制。

4.2 應用服務支撐

一是已實現(xiàn)包括三大陽光工程（陽光用地、陽光用礦、陽光用水）、國土空間規(guī)劃、城市地質和決策參閱等重點應用支撐。二是政務信息共享方面，擬通過數(shù)據(jù)交換、服務對接等方式和政務大數(shù)據(jù)中心等實現(xiàn)聯(lián)通對接，依照部門的職能按需共享，為其他政府部門共享自然資源專題數(shù)據(jù)，延伸數(shù)據(jù)服務范圍。三是豐富自然資源時空大數(shù)據(jù)資源。計劃利用政務大數(shù)據(jù)中心的人口、法人、社會信用等各類數(shù)據(jù)和服務，豐富數(shù)據(jù)內容。

5 結論

市級時空大數(shù)據(jù)云平臺通過應用超融合架構節(jié)省了硬件投資，通過云化業(yè)務技術簡化了應用部署，通過分布式高性能計算框架提升了業(yè)務的對外服務能力，依托云平臺建成的自然資源時空大數(shù)據(jù)中心，實現(xiàn)了數(shù)據(jù)資源的統(tǒng)一管理，隨著數(shù)字中國的發(fā)展時空大數(shù)據(jù)云平臺將發(fā)揮更多作用。

參考文獻

[1]王秀慧.省級自然資源和空間地理數(shù)據(jù)共享平臺構建研究[J].河北省科學院學報，2023，40（2）：39-45.

[2]曹春華，張澤烈，程宇翔，等.時空大數(shù)據(jù)服務平臺建設模式及應用研究——以重慶市為例[J].測繪通報，2020（10）：135-138，156.

[3]鄧忠軍.自然資源西藏遙感影像服務平臺的設計與實現(xiàn)[J].測繪與空間地理信息，2023，46（3）：97-101，105.

[4]王爍爍. 陸海一體化海島自然資源數(shù)據(jù)管理平臺研究[D].連云港：江蘇海洋大學，2022.

[5]舒文強，肖鄧，段松江，等.自然資源調查監(jiān)測管理平臺設計及實現(xiàn)[J].地理空間信息，2022，20（12）：130-132，136.

[6]侯倩倩. 基于區(qū)塊鏈技術的農業(yè)自然資源平臺建設研究[D].阜陽：阜陽師范大學，2022.