自然資源數(shù)字中臺數(shù)據(jù)應(yīng)用支撐框架建設(shè)

孫智軍 農(nóng)肖肖 唐 博 李智廣

（新疆地礦局測繪大隊，新疆 烏魯木齊 830000）

為了實現(xiàn)自然資源的統(tǒng)一管理，需要按照標準化、規(guī)范化要求整合、集成和規(guī)范土地、地質(zhì)、礦產(chǎn)、森林、草原、水、濕地、基礎(chǔ)地理信息等各類數(shù)據(jù)庫，構(gòu)建“地上地下、陸海相連”的統(tǒng)一的自然資源“一張圖”大數(shù)據(jù)體系。大數(shù)據(jù)、云計算等新一代信息技術(shù)的快速發(fā)展和應(yīng)用，為自然資源領(lǐng)域管理和業(yè)務(wù)應(yīng)用信息化創(chuàng)造了條件。有必要通過建立自然資源數(shù)據(jù)治理和數(shù)據(jù)分析體系，構(gòu)建數(shù)據(jù)中臺體系，使數(shù)據(jù)驅(qū)動自然資源的數(shù)字化、信息化、智能化轉(zhuǎn)型[1]。

文章依托互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等技術(shù)手段，基于自然資源信息化“十四五”規(guī)劃框架，構(gòu)建全方位獲取、全網(wǎng)絡(luò)匯聚、全維度整合的海量自然資源數(shù)據(jù)治理體系，設(shè)計對海量異構(gòu)自然資源數(shù)據(jù)的存儲匯集、分析應(yīng)用等功能，形成“全面匯聚融合、安全可控訪問、全業(yè)務(wù)邏輯一體”的數(shù)據(jù)中臺，滿足自然資源數(shù)據(jù)全網(wǎng)匯聚、全維度整合、分類組織、精細治理、精準服務(wù)、安全可靠的數(shù)據(jù)資源管理目標。

1 總體設(shè)計

自然資源數(shù)字中臺設(shè)計采用中臺架構(gòu)的思想設(shè)計各個功能模塊，技術(shù)中臺架構(gòu)能夠?qū)崿F(xiàn)各種通用功能模塊化、服務(wù)化，各類專題業(yè)務(wù)服務(wù)化；對于數(shù)據(jù)庫管理和自然資源通用服務(wù)中的數(shù)據(jù)服務(wù)模塊，利用數(shù)據(jù)中臺架構(gòu)，實現(xiàn)數(shù)據(jù)資產(chǎn)化、模塊化和服務(wù)化。

數(shù)據(jù)中臺主要解決數(shù)據(jù)的“采、存、融、管、用”問題，使數(shù)據(jù)流動起來，充分發(fā)揮數(shù)據(jù)價值，支撐業(yè)務(wù)應(yīng)用創(chuàng)新。數(shù)據(jù)中臺支撐框架建設(shè)如圖1所示。數(shù)據(jù)中臺按照統(tǒng)一信息資源規(guī)劃，主要提供數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)等五部分功能。

圖1 數(shù)據(jù)中臺支撐框架建設(shè)

2 功能設(shè)計

2.1 數(shù)據(jù)匯聚

數(shù)據(jù)匯聚模塊包括數(shù)據(jù)源管理、數(shù)據(jù)接入管理、任務(wù)運行管理和數(shù)據(jù)存儲管理。

自然資源數(shù)據(jù)主要以空間數(shù)據(jù)為主，既有來自自然資源部門內(nèi)部的測繪基礎(chǔ)地理信息、土地、地質(zhì)、礦產(chǎn)、森林、草原、水體、濕地、遙感影像等數(shù)據(jù)，來自外部其他部門的社會經(jīng)濟、人口數(shù)據(jù)，也有來自互聯(lián)網(wǎng)的各類數(shù)據(jù)。數(shù)據(jù)源管理圍繞土地、礦產(chǎn)、森林、草原、濕地、水等六類自然資源，按照空間分層、時間分期、地理位置分區(qū)、業(yè)務(wù)邏輯關(guān)聯(lián)的標準化體系，整合各類自然資源調(diào)查監(jiān)測成果，科學有序地統(tǒng)籌組織和管理地下資源層、地表基質(zhì)層、地表覆蓋層、管理層數(shù)據(jù)[2]，提供對多源異構(gòu)的數(shù)據(jù)源進行統(tǒng)一管理的功能。

數(shù)據(jù)接入包括對數(shù)據(jù)源適配引擎、數(shù)據(jù)接入提取-轉(zhuǎn)換-加載（Extract-Transform-Load，ETL）組件、數(shù)據(jù)接入模型可視化構(gòu)建工具以及數(shù)據(jù)更新等方面。數(shù)據(jù)源適配引擎約定了一套可擴展的接口，能夠持續(xù)地完善對新類型數(shù)據(jù)的接入。可視化構(gòu)建工具則是提供了一套可靈活拖拉拽構(gòu)建數(shù)據(jù)匯聚模型的應(yīng)用系統(tǒng)，并且可以設(shè)置數(shù)據(jù)模型調(diào)度策略，保證數(shù)據(jù)的及時更新。

運行管理對數(shù)據(jù)接入中構(gòu)建好的數(shù)據(jù)集成模型進行調(diào)度，實現(xiàn)數(shù)據(jù)的更新。提供對數(shù)據(jù)集成過程的監(jiān)控管理及日志分析，幫助運維管理人員更好地掌握數(shù)據(jù)集成情況。

數(shù)據(jù)存儲是在數(shù)據(jù)體系總體設(shè)計思路下，結(jié)合各類數(shù)據(jù)的特點以及使用環(huán)境，將數(shù)據(jù)按照結(jié)構(gòu)化數(shù)據(jù)、流式數(shù)據(jù)、文件數(shù)據(jù)和其他類型進行分開存儲。

2.2 數(shù)據(jù)治理

數(shù)據(jù)治理是對數(shù)據(jù)進行管控的過程，也是對數(shù)據(jù)的全生命周期管理，該模塊結(jié)合自然資源數(shù)據(jù)特點，提供包括元數(shù)據(jù)管理、數(shù)據(jù)標準建設(shè)、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)安全管理和數(shù)據(jù)全生命周期管理等功能模塊。

元數(shù)據(jù)管理包括各類數(shù)據(jù)的元數(shù)據(jù)標準定義、關(guān)聯(lián)關(guān)系管理、數(shù)據(jù)地圖展現(xiàn)等。數(shù)據(jù)標準建設(shè)對數(shù)據(jù)標準進行設(shè)計，從標準的定義、標準的實施、標準的監(jiān)測和版本管理等角度開展工作。數(shù)據(jù)質(zhì)量控制功能提供從數(shù)據(jù)質(zhì)檢規(guī)則、質(zhì)檢模型、質(zhì)檢方案及質(zhì)檢執(zhí)行和報告查看等五個方面進行控制。

數(shù)據(jù)安全管理通過加密、脫敏、漏洞探測和驗證、應(yīng)用權(quán)限、訪問使用審計等方式進行設(shè)計和實現(xiàn)。自然資源網(wǎng)絡(luò)數(shù)據(jù)和地理信息安全是自然資源信息化的重要內(nèi)容，自然資源治理基礎(chǔ)能力建設(shè)也應(yīng)構(gòu)建安全防護體系，網(wǎng)絡(luò)硬件設(shè)施層面采取部署數(shù)據(jù)庫防火墻、數(shù)據(jù)災(zāi)備、安全加固等措施。數(shù)據(jù)治理軟件設(shè)計層面提供數(shù)據(jù)庫審計、加密、脫敏等功能，配置主中心及各分中心應(yīng)用、訪問權(quán)限，保障系統(tǒng)能夠?qū)ν馓峁┓€(wěn)定的服務(wù)。

2.3 數(shù)據(jù)開發(fā)

數(shù)據(jù)開發(fā)與挖掘模塊包括資源管理、數(shù)據(jù)探索和服務(wù)管理等功能，探索和發(fā)現(xiàn)數(shù)據(jù)的業(yè)務(wù)價值。

資源管理對數(shù)據(jù)源進行管理，同時提供豐富的ETL組件、算法/模型組件等基礎(chǔ)零件，支撐構(gòu)建復雜的數(shù)據(jù)探索發(fā)現(xiàn)，如多維分析、聚合計算、聚類分析、回歸分析等。

數(shù)據(jù)探索提供可視化的數(shù)據(jù)開發(fā)場景，用戶可以將各類組件進行編排，綁定目標數(shù)據(jù)進行數(shù)據(jù)探索分析，將分析結(jié)果生成數(shù)據(jù)產(chǎn)品，支撐結(jié)果的復用。

服務(wù)管理對生成的數(shù)據(jù)產(chǎn)品進行發(fā)布，方便第三方平臺集成應(yīng)用，主要包括數(shù)據(jù)分析計算、數(shù)據(jù)展示、數(shù)據(jù)共享交換、數(shù)據(jù)引擎、數(shù)據(jù)集成、數(shù)據(jù)治理等服務(wù)能力。

2.4 數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)管理模塊提供資產(chǎn)目錄、資產(chǎn)體系和資產(chǎn)管理等功能。通過自然資源數(shù)據(jù)分類和聚合，梳理各部門數(shù)據(jù)涉及的業(yè)務(wù)關(guān)聯(lián)關(guān)系、存儲組織方式、訪問情況和應(yīng)用場景等，形成數(shù)據(jù)資產(chǎn)目錄，建立科學的交換機制，打通數(shù)據(jù)孤島。

資產(chǎn)目錄提供資源檢索、資源瀏覽和資源使用等多種手段，方便用戶快速查找目標資源。對自然資源體系內(nèi)海量、異構(gòu)、多源、多尺度、分布式的現(xiàn)狀、規(guī)劃、管理等空間數(shù)據(jù)進行整合，形成自然資源資產(chǎn)目錄，為各類與自然資源管理、決策、服務(wù)等提供有力的基礎(chǔ)數(shù)據(jù)支撐。

資產(chǎn)體系包括數(shù)據(jù)模型、指標模型、算法模型、主題數(shù)據(jù)、維度數(shù)據(jù)和數(shù)據(jù)產(chǎn)品等內(nèi)容。資產(chǎn)管理提供對目錄管理、標簽分類和資產(chǎn)發(fā)布等功能，幫助用戶管理數(shù)據(jù)資產(chǎn)。

2.5 數(shù)據(jù)可視化

數(shù)據(jù)可視化構(gòu)建模塊包括對數(shù)據(jù)源進行管理、數(shù)據(jù)可視化配置管理和可視化組件管理等功能模塊。

（1）數(shù)據(jù)源管理。

對可視化數(shù)據(jù)源進行統(tǒng)一管理，便于快速查詢源端信息。

（2）數(shù)據(jù)可視化配置。

從展現(xiàn)的內(nèi)容、樣式和交互等方面進行設(shè)計。如使用表格進行展示時，需要考慮表格中展示的字段內(nèi)容、表格樣式以及表格中是否有排序字段，可鉆取字段等。

（3）可視化組件管理。

數(shù)據(jù)可視化管理模塊提供大量的可視化圖表組件，包括表格、柱狀圖、餅狀圖、拆線圖等常規(guī)圖表以及熱力圖、趨勢圖、分級渲染圖等專題地圖和其他表格效果組件，實現(xiàn)圖表的“拖-拉-拽”構(gòu)建。

2.6 二、三維一體化

二、三維一體化展示模塊包括數(shù)據(jù)管理、一體化瀏覽和空間查詢與分析功能模塊。

二維數(shù)據(jù)管理主要以自然資源矢量和影像數(shù)據(jù)管理為主；三維模型包括傾斜攝影實景三維模型、建筑信息模型（Building Information Modeling，BIM）、城市信息模型（City Information Modeling，CIM）等。

二、三維一體化瀏覽主要提供二、三維一體化窗口及功能的瀏覽，包括二、三維疊加、二、三維聯(lián)動以及針對三維模型提供細致的瀏覽功能。

空間查詢與分析提供全面的二、三維空間查詢與分析功能。二維分析中提供疊加分析、緩沖區(qū)分析等能力；三維分析提供包括通視、視點、視域等地上三維分析功能；坡度坡向分析、陰影分析、填挖方計算、淹沒分析等地表三維分析功能；針對地質(zhì)三維的爆炸分析、虛擬鉆孔、開挖分析、隧道漫游等地下分析功能以及針對地下管網(wǎng)三維模型的流向分析、爆管分析、碰撞檢測等。

2.7 大數(shù)據(jù)計算

（1）組件管理。

提供大數(shù)據(jù)計算分析工具。矢量工具，如疊加分析、緩沖區(qū)分析、鄰近查找、多邊形提取等；柵格工具，如重采樣、裁剪、歸一化等；其他工具，如數(shù)據(jù)格式轉(zhuǎn)換工具、數(shù)理統(tǒng)計工具等。

（2）模型構(gòu)建。

通過大數(shù)據(jù)計算平臺，實現(xiàn)模型編排功能，將各類數(shù)據(jù)分析工具進行組合，實現(xiàn)特定場景下的模型定制，完成后將其發(fā)布成標準Restful服務(wù)，供第三方調(diào)用。

（3）服務(wù)管理。

服務(wù)管理包括服務(wù)發(fā)布、服務(wù)調(diào)試、服務(wù)監(jiān)控等核心功能。將構(gòu)建好的模型服務(wù)統(tǒng)一發(fā)布成Restful服務(wù)，方便第三方應(yīng)用集成。

（4）生態(tài)組件。

對平臺用到的主機、集群、HDFS、Zookeeper、監(jiān)控信息等進行統(tǒng)一管理。

3 結(jié)語

數(shù)據(jù)中臺為自然資源及其他相關(guān)部門提供基于數(shù)據(jù)資源/資產(chǎn)的數(shù)據(jù)服務(wù)，以數(shù)據(jù)中臺提供的自然資源“一張圖”數(shù)據(jù)為基礎(chǔ)，采取中臺思想和SOA體系架構(gòu)，融合先進成熟的云計算、大數(shù)據(jù)等新一代信息技術(shù)，以“大中臺、輕應(yīng)用、微服務(wù)”思想為指導，收集整理自然資源相關(guān)業(yè)務(wù)資產(chǎn)和數(shù)據(jù)資產(chǎn)，實現(xiàn)業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、能力服務(wù)化、服務(wù)開放化。通過數(shù)據(jù)中臺，提供面向國土空間規(guī)劃、調(diào)查監(jiān)測評價、用途管制、耕地保護、地質(zhì)礦產(chǎn)管理、執(zhí)法督察、監(jiān)管決策的通用服務(wù)，實現(xiàn)數(shù)據(jù)安全、數(shù)據(jù)共享與開放、數(shù)據(jù)融合、數(shù)據(jù)流通、數(shù)字化共享等，為調(diào)查監(jiān)測、監(jiān)管決策等應(yīng)用系統(tǒng)開發(fā)提供可復用的技術(shù)框架、可快速編排組合的服務(wù)資源，可開箱即用的業(yè)務(wù)組件，助力實現(xiàn)數(shù)字化的決策優(yōu)化、業(yè)務(wù)創(chuàng)新，從而支撐自然資源信息化“隨需應(yīng)變”。