公益性地質(zhì)大數(shù)據(jù)服務(wù)平臺(tái)設(shè)計(jì)＊

張 晨，武宇娟，段 琛，張鋅蕾

(1.自然資源陜西省衛(wèi)星應(yīng)用技術(shù)中心，陜西 西安 710002；2.陜西省地質(zhì)大數(shù)據(jù)中心)

0 引言

隨著大數(shù)據(jù)時(shí)代的到來，科學(xué)研究進(jìn)入了以大數(shù)據(jù)為基礎(chǔ)、以數(shù)據(jù)密集型計(jì)算為手段的第四范式。大數(shù)據(jù)技術(shù)可助力地質(zhì)調(diào)查工作進(jìn)入數(shù)字化、智能化的地質(zhì)調(diào)查時(shí)代，促使地質(zhì)數(shù)據(jù)共享與開放，突破各種主客觀因素的限制推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展。

本文在分析、總結(jié)陜西省公益性地質(zhì)數(shù)據(jù)資源特征的基礎(chǔ)上，探討了大數(shù)據(jù)架構(gòu)思想指導(dǎo)下地質(zhì)數(shù)據(jù)分級(jí)共享服務(wù)的設(shè)計(jì)思路和實(shí)現(xiàn)情況，形成了可行的平臺(tái)建設(shè)方案，為數(shù)字中國(guó)提供了陜西省公益性地質(zhì)調(diào)查領(lǐng)域的典型案例及經(jīng)驗(yàn)。

1 公益性地質(zhì)大數(shù)據(jù)服務(wù)平臺(tái)設(shè)計(jì)

1.1 總體設(shè)計(jì)思路

地質(zhì)學(xué)屬于數(shù)據(jù)密集型科學(xué)，地質(zhì)大數(shù)據(jù)具有大量性、特殊性、涉密性、多樣性和價(jià)值性[1]，也具有潛在價(jià)值大的標(biāo)志性特征[2]。陜西省公益性地質(zhì)調(diào)查工作在礦產(chǎn)地質(zhì)、農(nóng)業(yè)地質(zhì)、城市地質(zhì)、地質(zhì)災(zāi)害綜合防治、國(guó)土空間規(guī)劃、地質(zhì)遺跡、自然資源衛(wèi)星遙感技術(shù)應(yīng)用等領(lǐng)域，積累了多維、多元、多源的靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)，具有數(shù)據(jù)格式豐富、數(shù)據(jù)維護(hù)碎片化、靜態(tài)數(shù)據(jù)價(jià)值高、動(dòng)態(tài)數(shù)據(jù)體量大的典型特征。

綜合分析現(xiàn)有公益性地質(zhì)數(shù)據(jù)管理和利用現(xiàn)狀，以“多級(jí)文件夾+文件”的數(shù)據(jù)存儲(chǔ)模式以及地質(zhì)資料匯交流程下的數(shù)據(jù)管理方式已經(jīng)無法支撐地質(zhì)數(shù)據(jù)在匯存管用各個(gè)環(huán)節(jié)的高效流轉(zhuǎn)和數(shù)字資產(chǎn)管理，與數(shù)字地質(zhì)工作新格局的要求尚存在較大距離，不利于地質(zhì)數(shù)據(jù)的深度挖掘和價(jià)值再造。充分考慮地質(zhì)數(shù)據(jù)的混合性、抽樣性、稀缺性、多源性、多元性、多態(tài)性、時(shí)空性、變化性、因果性、關(guān)聯(lián)性、方向性、分帶性、代表性、惟一性等等[4]，兼顧數(shù)據(jù)更新方式、頻率，陜西省公益性地質(zhì)大數(shù)據(jù)服務(wù)平臺(tái)自下而上劃分為基礎(chǔ)設(shè)施層、數(shù)據(jù)層、服務(wù)層、應(yīng)用層（圖1）。引入分級(jí)共享審核流程，來保障數(shù)據(jù)資產(chǎn)管理、智能分析以及服務(wù)調(diào)用等方面的需求。

圖1 系統(tǒng)總體架構(gòu)

1.2 基礎(chǔ)設(shè)施層

采用私有云方式建立一個(gè)集中式基礎(chǔ)環(huán)境，通過使用服務(wù)器端虛擬化技術(shù)對(duì)資源進(jìn)行集中管理，實(shí)現(xiàn)資源粒度的劃分和封裝，提供虛擬BIOS、虛擬處理器、虛擬內(nèi)存、虛擬設(shè)備與I/O 能力，保護(hù)關(guān)鍵業(yè)務(wù)系統(tǒng)和數(shù)據(jù)。

1.3 數(shù)據(jù)層

準(zhǔn)確、全面是大數(shù)據(jù)的基礎(chǔ)[3]。在實(shí)現(xiàn)數(shù)據(jù)隨用隨調(diào)、細(xì)粒度服務(wù)、全面可見的同時(shí)兼顧管理的可操作性是數(shù)據(jù)層設(shè)計(jì)的難點(diǎn)，也是本平臺(tái)設(shè)計(jì)的核心。利用Hbase 和HDFS 將多源異構(gòu)原始數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，采用關(guān)系型+文件系統(tǒng)的存儲(chǔ)管理方式實(shí)現(xiàn)多源、異構(gòu)數(shù)據(jù)的管理，通過索引關(guān)系進(jìn)行統(tǒng)一的查詢、瀏覽、管理和維護(hù)。結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)等采用關(guān)系型模型進(jìn)行存儲(chǔ)和管理；矢量數(shù)據(jù)，例如基礎(chǔ)地理數(shù)據(jù)、地質(zhì)圖件數(shù)據(jù)等，采用擴(kuò)展關(guān)系型模型（Geodatabase）來進(jìn)行存儲(chǔ)和管理；非結(jié)構(gòu)化的圖片、電子文檔、音視頻等數(shù)據(jù)，則以元數(shù)據(jù)+編目+文件方式統(tǒng)一存儲(chǔ)在文件服務(wù)器上；多源、多分辨率，多時(shí)相的遙感影像數(shù)據(jù)區(qū)分為冷數(shù)據(jù)和熱數(shù)據(jù)，采用元數(shù)據(jù)+編目+影像文件方式，冷數(shù)據(jù)存儲(chǔ)在磁盤陣列上，熱數(shù)據(jù)存儲(chǔ)在緩存中。

使用專業(yè)的數(shù)據(jù)處理工具和人工交互方式，對(duì)原始數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、重構(gòu)、空間投影轉(zhuǎn)換和質(zhì)檢后入庫(kù)。以符合地質(zhì)調(diào)查行業(yè)習(xí)慣的數(shù)據(jù)分類為主，利用標(biāo)簽系統(tǒng)擴(kuò)展數(shù)據(jù)特征維度，建立數(shù)據(jù)庫(kù)分類目錄。在不改變空間數(shù)據(jù)原始格式的情況下，使用商用Web 空間數(shù)據(jù)服務(wù)平臺(tái)將其發(fā)布成符合OGC 標(biāo)準(zhǔn)的服務(wù)，以便提供即時(shí)服務(wù)能力。

1.4 平臺(tái)層

基于基礎(chǔ)設(shè)施層和數(shù)據(jù)層提供的工具和接口，以商用GIS 平臺(tái)為基礎(chǔ)，搭建面向應(yīng)用層的體系化服務(wù)能力。提供數(shù)據(jù)、功能、接口和管理四類服務(wù)（圖2）。

圖2 平臺(tái)層服務(wù)能力圖

1.5 應(yīng)用層

應(yīng)用層圍繞公益性地質(zhì)業(yè)務(wù)，集成已有系統(tǒng)或搭建新系統(tǒng)。以統(tǒng)一入口、標(biāo)準(zhǔn)化API接口、數(shù)據(jù)即時(shí)同步和界面風(fēng)格統(tǒng)一的基本原則，實(shí)現(xiàn)了陜西省地源熱泵監(jiān)控平臺(tái)、陜西省地質(zhì)災(zāi)害監(jiān)測(cè)預(yù)警信息系統(tǒng)、秦嶺北麓國(guó)土資源衛(wèi)星遙感監(jiān)測(cè)服務(wù)平臺(tái)、陜西省農(nóng)村生活垃圾治理遙感監(jiān)測(cè)核查與整治等業(yè)務(wù)系統(tǒng)集成。使用平臺(tái)層提供的微服務(wù)組件，快速構(gòu)建業(yè)務(wù)流。由通用數(shù)據(jù)服務(wù)、矢量數(shù)據(jù)服務(wù)、柵格數(shù)據(jù)服務(wù)提供業(yè)務(wù)數(shù)據(jù)，開發(fā)了霞客游陜西、項(xiàng)目管理中心、地質(zhì)調(diào)查隨身行等業(yè)務(wù)或管理應(yīng)用。

2 實(shí)驗(yàn)測(cè)試

在私有云環(huán)境下，安裝Windows 10 操作系統(tǒng)，配置Hadoop、Hbase、Zookeeper、Kafka、Redis、Tomcat、ArcGIS等環(huán)境。以關(guān)系型數(shù)據(jù)庫(kù)（PostgreSQL）、NoSQL數(shù)據(jù)庫(kù)（MongoDB、MinIO）和空間數(shù)據(jù)庫(kù)（PostGIS、FileGDB）進(jìn)行數(shù)據(jù)庫(kù)存儲(chǔ)和管理。間數(shù)據(jù)庫(kù)整合多尺度、多源數(shù)據(jù)類型(包括矢量數(shù)據(jù)、柵格數(shù)據(jù)、遙感影像數(shù)據(jù)等)的空間數(shù)據(jù)。屬性數(shù)據(jù)庫(kù)主要用于存儲(chǔ)與管理具有比較精確的空間特性的地理位置屬性數(shù)據(jù)（區(qū)市地理、空間位置、相對(duì)動(dòng)態(tài)等），通過空間屬性與基礎(chǔ)地理數(shù)據(jù)建立鏈接。時(shí)間是每個(gè)專業(yè)維度屬性的一個(gè)復(fù)合數(shù)據(jù)項(xiàng)[5]，采取時(shí)間標(biāo)簽+非結(jié)構(gòu)化數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)解決地質(zhì)數(shù)據(jù)的生命周期版本管理、細(xì)粒度拆分引起的數(shù)據(jù)體量幾何式增長(zhǎng)帶來的分析和定位問題。在此基礎(chǔ)上，構(gòu)建統(tǒng)一的標(biāo)簽體系，嘗試建立了數(shù)據(jù)血緣關(guān)系分析和熱詞云功能（圖3）。

圖3 熱詞云

3 結(jié)論

地質(zhì)大數(shù)據(jù)的高維度、時(shí)空性和涉密性對(duì)平臺(tái)的構(gòu)建具有很高要求。需根據(jù)數(shù)據(jù)特征進(jìn)行分類存儲(chǔ)和管理，需以地質(zhì)調(diào)查業(yè)務(wù)流程和實(shí)際應(yīng)用需求設(shè)計(jì)數(shù)據(jù)調(diào)用。陜西省公益性地質(zhì)大數(shù)據(jù)平臺(tái)為地質(zhì)調(diào)查數(shù)據(jù)的匯、存、管、用提供了一套可行的實(shí)踐方案。未來對(duì)于地質(zhì)數(shù)據(jù)的時(shí)空耦合、多源異構(gòu)數(shù)據(jù)融合與挖掘、多維數(shù)據(jù)的可視化表達(dá)等前沿技術(shù)問題仍需進(jìn)一步研究。