煤田地質大數據云平臺建設思路及關鍵技術

摘 要：煤田地質大數據信息服務平臺將分散在多處的研究成果資料匯集在一起，進行統一管理，解決硬件與軟件系統重復建設、數據分散不統一、管理與應用水平低、后期維護難等問題，在一定程度上節約政府機構對煤田地質數據的管理成本，提高工作效率和管理水平。煤田地質大數據信息服務平臺以多源異構煤田地質數據為核心，建立煤田地質大數據信息服務平臺與數據中心，煤田地質資源專題數據庫和煤田地質環境專題數據庫，提供煤炭資源專題應用和煤炭地質環境專題應用。

關鍵詞：煤田地質；大數據；云計算；地質數據；多源異構

中圖分類號：P628 文獻標志碼：A 文章編號：2095-2945（2024）24-0168-05

Abstract： The Coalfield Geology Big Data Information Service Platform brings together the information of research results scattered in many places and carries out unified management to solve the problems such as repeated construction of hardware and software systems， disunity of data dispersion， low level of management and application， difficult maintenance in the later stage， and so on. To a certain extent， it can save the cost of coalfield geological data management by government agencies， and improve the work efficiency and management level. Coalfield geological big data information service platform takes multi-source and heterogeneous coalfield geological data as the core， establishes coalfield geological big data information service platform and data center， coalfield geological resources thematic database and coalfield geological environment thematic database， and provides special application of coal resources and coal geological environment.

Keywords： coalfield geology; big data; cloud computing; geological data; multi-source heterogeneity

地質大數據是信息時代背景下大數據的理念、技術和方法在地質領域的應用與實踐。地質大數據的研究是以大地學研究總體需求的頂層設計為主線，分領域、分層次地開展定量地學研究。就地質行業而言，將大數據作為地質行業新興增長點進行培育和挖掘，建立地勘大數據現場質控體系，強化基于計算技術的高效計算能力建設和地質數據規范化建設，通過大數據來實現地質工作和信息技術的深度融合。地質大數據服務與應用的發展，給地質行業帶來的最大變革是使地質行業以數據分析為基礎進行地質過程演化推理、應用等，通過對大數據技術的不斷積累完善，不再孤立地形成信息孤島，使地質大數據各領域數字化水平不斷提高，能夠進一步進行定量分析，將數字地球科學的研究向前推進[1]。

山西是煤炭大省，也是煤層氣大省。省內煤與煤層氣的資源賦存與開發利用狀況是山西省大數據建設中不可缺失的重要部分。在“互聯網＋”的時代背景下，作為全國最為主要的礦業大省，山西省應當在大數據環境的推動下，開展好地質信息發展規劃工作。以大數據作為一項基礎性戰略資源，將大數據作為山西地質行業新興增長點進行培育和挖掘。依托大數據云計算技術，強化基于云平臺的地質大數據高效計算能力建設和地質數據標準化建設，通過大數據實現山西地質工作和信息技術的深度融合，建立山西地質大數據共享服務平臺，為山西地質工作帶來新一輪變革和全新提升。

1 地質大數據云平臺的現狀及需求

1.1 研究意義

煤田地質大數據作為一項基礎性戰略資源，將大數據作為地質行業新興增長點進行培育和挖掘[2]。依托大數據技術、云計算技術，基于云平臺的地質大數據高效計算能力建設和地質數據標準化建設，實現地質工作和信息技術的深度融合，建立煤田地質大數據共享服務平臺，為煤田地質工作帶來新一輪技術變革。

1.1.1 改變管理模式，由分散管理轉變為集中管理

煤田地質勘查研究單位多，在煤田地質方面已經積累了海量的各類專業數據，而且大量新的數據還會源源不斷地產生，部分單位有自己的信息管理系統，導致數據資源分散、數據不統一、數據管理困難等問題。煤田地質大數據信息服務平臺將分散在多處的研究成果資料匯集在一起，進行統一管理，解決硬件與軟件系統重復建設、數據分散不統一、管理與應用水平低及后期維護難等問題。在一定程度上節約政府機構對煤田地質數據的管理成本，提高工作效率和管理水平。

1.1.2 改變服務模式，由被動提供轉變為主動提供

隨著信息化發展，數據服務模式由最初人與人之間面對面溝通、領導審批的方式，轉變為信息化模式，利用計算機人機結合，系統定位數據。然而這種方式仍停留在“要什么，給什么”的階段，不能及時獲取與之關聯的數據，無法深度挖掘數據中的隱藏信息和知識。本項目利用大數據挖掘技術，能夠將大規模數據中的隱藏信息和知識挖掘出來，了解日常地質數據使用人員的行為，精準化推薦地質資料數據，提升地質數據服務的質量和效率。

1.1.3 改變應用模式，由經驗決策轉變為數據驅動

在互聯網技術沒有普及時，領導在進行決策時，多是以經驗帶動決策，各種信息之間應該如何聯系在一起，并且能夠快速確定需要進行決策事件的基本要求，豐富的決策經驗會起到很大的作用，而這種模式是以經驗累積的，必然存在一定缺陷，如領導無法從全局掌握工作或事項的來龍去脈，不易感知、理解相關聯的信息，難以從“經驗”的決策模式走向基于“實證”的決策模式。本項目改變了煤田地質數據的應用模式，系統使用者可利用煤田地質數據，搭建自定義應用，驗證假設、分析結果以指導分析決策；讓越來越多的決策依賴于數據分析而非經驗甚至直覺。從根本上改變了煤田地質傳統的信息化建設模式，提升了煤田地質數據管理水平，同時也擴展了地質業務，提高了煤田地質精準化、多元化服務的能力。

1.2 煤田地質大數據云平臺建設需求

通過地質行業的領軍單位的信息化發展過程可以看出，我國在數字地質信息化建設和數字地質調查方面已經取得的重大成果。在地質行業中云計算技術的運用已日趨成熟，而大數據技術的應用尚未建立標準化、規范化的體系，幾乎沒有被應用于地質行業中。而針對當前地質信息化建設工作的需求，利用大數據技術進行地質勘查開發尚需進一步深度應用。

做好煤田地質大數據建設，將為煤田地質面向政府、面向行業、面向社會提供專業服務，推動煤田地質行業的服務轉型升級提供強而有力的技術支撐。進行煤田地質大數據信息化建設，是當前的必然趨勢。運用云計算技術、大數據技術，收集、分析、管理煤田地質相關資料，實現從數據到信息、從信息到知識、從知識到應用的煤田地質大數據鏈，實現煤田地質信息的開放與共享，使領導決策部門做出更加科學和精準的決策，為新一輪技術變革提供理論依據。

2 主要建設內容

煤田地質大數據信息服務平臺要求以多源異構煤田地質數據為核心，建立煤田地質大數據信息服務平臺與數據中心，建立煤田地質資源專題數據庫和煤田地質環境專題數據庫，提供煤炭資源專題應用和煤炭地質環境專題應用。

項目通過建立煤田地質大數據規范化體系、煤田地質大數據中心、煤田地質大數據信息服務平臺及實現2個煤田地質大數據專題應用（煤炭資源專題應用和煤田地質環境專題應用），打造“互聯網+煤田地質”新模式，實現煤田地質數據上云。

2.1 建立一套煤田地質大數據規范化體系

在總結和學習國內外相關數據標準制訂過程的技術和經驗基礎上，采用綜合標準化方法，建立一套基于數據體系結構和數據生命周期管理過程的標準，保證不同專業間數據需求的一致性。為有效實現數據層、服務層與應用層之間標準的集成，形成一個統一描述、統一管理的信息服務平臺提供保障。煤田地質大數據規范化體系的主要建設內容包括數據分類規范、數據處理規范、數據建庫規范、數據服務規范和數據交換規范。

2.2 建立一個煤田地質大數據中心

煤田地質大數據中心包括煤田地質資源專題數據庫和煤田地質環境專題數據庫。專題數據按照煤田地質大數據規范要求進行分類、處理、提取、入庫，最終建立煤田地質大數據中心。

煤田地質資源專題數據庫建設：收集、整理煤田地質資源相關資料，根據煤田地質數據的特點，對煤田數據、基礎空間數據、區劃數據、勘探工程數據、開發利用數據、成果資料數據和三維模型數據進行分類，完成規范化建庫工作，建立資源專題數據庫。

煤田地質環境專題數據庫建設：收集、整理煤田地質環境相關資料，根據煤田地質數據的特點，對基礎空間數據、成果資料數據、地質災害數據、土地利用現狀數據和采煤沉陷區數據進行規范化分類，完成規范化建庫工作，建立環境專題數據庫。

2.3 建立一個煤田地質大數據信息服務平臺

基于政務云在大數據高性能計算框架下建立煤田地質大數據信息服務平臺，作為統一對外窗口提供相應業務需求服務，對各類服務數據與信息進行統一操作與管理。平臺由綜合服務、服務資源、服務管理、用戶指南和系統設置5部分組成，支持全文語義索引、數據智能檢索、資料智能推薦及多源多維數據可視化融合等功能。

2.4 研發煤田地質大數據中心數據管理與維護工具

根據收集的煤田地質數據，并對煤田地質數據進行了深入分析，結合煤田地質大數據規范化體系文檔和煤田地質大數據建庫流程，完成了煤田地質大數據中心數據管理維護工具研發。

煤田地質大數據中心數據管理與維護工具包括數據目錄管理、數據上傳、數據下載、數據刪除、數據文件查詢以及上傳數據進度控制功能。

2.5 實現2個煤田地質大數據專題應用

1）實現煤田地質大數據煤炭資源專題應用。開展煤田地質資源專題分析研究，實現煤炭資源專題應用，提供資源選區和區塊評價等功能，為政府部門在立項選區、資源評價等方面提供科學決策和數據支撐。

2）實現煤田地質環境專題應用。開展煤田地質環境專題分析研究，實現煤田地質環境專題應用，提供土地利用現狀分析與評價和采煤沉陷區預測等功能，輔助政府掌握在礦產資源利用中產生的各類地質環境問題、影響范圍及其形成原因等信息，科學規劃礦產資源開發利用。

3 煤田地質大數據云平臺設計方案

3.1 云平臺總體架構

基于B/S架構設計了煤田地質大數據信息服務平臺。系統平臺總體架構自下而上分為基礎環境、數據層、微服務層、平臺層和應用層。

1）基礎環境：項目基于Hadoop大數據存儲分析軟件框架和Spark大數據分析處理平臺，構建煤田地質大數據信息服務平臺。

2）數據層：提供分布式的存儲與計算。其中，數據分為基礎空間數據、區劃數據、勘探工程數據、開發利用數據、成果資料數據、三維模型數據、地質災害數據、土地利用現狀數據、采煤沉陷區數據和元數據。

3）微服務層：是大數據服務平臺的最小單元服務，主要提供目錄管理服務、服務管理服務、數據服務和功能服務。

4）平臺層：是建立山西省煤田地質大數據信息服務平臺，對外提供包括煤田地質數據、煤田地質產品、地質圖文檢索、服務資源、服務管理、用戶指南和系統設置等功能。

5）應用層：利用大數據服務平臺中的數據服務，提供煤炭資源專題應用和煤田地質環境專題應用。

3.2 關鍵技術

3.2.1 煤田地質時空大數據流計算框架

針對煤田地質大數據具有體量大，服務實時性要求較高的特點，項目以流的方式對煤田地質大數據進行處理，將大數據切分成小塊數據，然后采用流行的Spark并行計算技術對若干個小塊數據進行并行處理，提升煤田地質大數據的存儲分析效率，實現煤田地質大數據相關服務的快速響應。具體技術流程如圖1所示。

其中，數據流化主要實現將大數據劃分、切分形成多種不同類型的小塊數據，并以流的形式派發數據；并行計算過程采用Spark框架對小塊數據進行計算，形成多個key/value鍵值對；然后數據收集器對key/value鍵值對進行聚合，將相同類型的數據進行分類形成相應的數據對象，然后存儲到對應的存儲器中，如此形成整體的流計算分析框架。

3.2.2 煤田地質大數據高性能存儲管理

針對煤田地質大數據的特點，項目使用云存儲進行數據的存儲與管理，保證系統具有高可用、可伸縮、高效特點，以實現煤田地質大數據的高性能存儲與管理。具體存儲方法：采用Hadoop生態圈中的HDFS存儲文檔類數據，并采用HBase存儲地理空間數據以及其他屬性數據，整體上實現煤田地質大數據的分布式存儲。此外，為支持煤田地質大數據的時空檢索，項目結合倒排索引、時態網格索引以及空間填充曲線等索引技術，設計面向煤田地質數據的易維護、易拓展的分布式索引結構，支撐地質專業相關的文檔檢索及時空檢索，提供高性能查詢服務。具體存儲管理方法如圖2所示。

3.2.3 基于知識圖譜的煤田地質數據智能檢索與知識推理

針對傳統檢索方式無法理解用戶自然語言查詢、查詢結果單一的弊端，項目擬建立智能檢索推理服務平臺，主要包括基于語義的煤田地質數據智能檢索方式以及基于用戶習慣的智能知識推薦服務。通過對煤田地質數據預處理，利用深度學習以及自然語言處理技術，構建煤田地質知識提取模型，構建基于煤田地質知識的智能語義索引，實現用戶的智能語義檢索。關聯煤田地質知識，構建煤田地質領域知識圖譜，提供煤田地質智能化推薦服務。具體技術思路如圖3所示。

通過對煤田地質數據進行命名實體識別、關系提取，獲取知識并進行消歧融合，構建煤田地質知識圖譜。同時，對數據分詞、構建索引，建立語義索引庫。用戶使用時，輸入自然語言，服務可以自動提取自然語言中的知識，在建立的語義索引中進行檢索，同時利用知識圖譜所包含知識之間豐富的語義聯系，為用戶提供潛在的輔助信息來源，從而為用戶提供精確的、多樣的、符合用戶習慣的檢索結果，提高用戶對檢索系統的信任。

3.2.4 多源多維數據可視化融合

勘查人員在進行煤田地質勘探開發的過程中，采用不同的勘查技術，形成了各種數據，如地質數據、專題圖件數據、鉆孔數據、遙感影像數據、土地利用現狀數據、沉陷區調查成果數據和文檔資料等多源多維數據。開展多源多維數據的關聯性與耦合性分析，梳理數據間的邏輯關系，實現分布式異構空間數據與屬性數據資源的集成與共享。系統擬采用二三維一體化技術以及多源多維數據可視化融合技術，將不同來源不同維度不同類型的數據在系統中進行可視化展示，這種方式能夠真實、直觀和形象地展示給使用人員，為煤田地質數據的應用提供支撐。

4 平臺實現及應用效果分析

煤田地質大數據信息服務平臺項目通過對過往煤田地質工作和相關積累資料的收集、分析、管理，運用云計算技術、大數據技術，建立了煤田地質大數據信息服務平臺，實現了煤田地質信息的開放與共享；以多源異構煤田地質數據為核心，構建煤田地質大數據規范，建立了煤田地質大數據中心；以Hadoop+Spark建設大數據分析計算平臺，實現了煤炭地質大數據存儲管理、分析計算、智能服務等關鍵技術；立足行業需求，通過設立示范區實現了煤炭資源專題和煤田地質環境2個專題應用，為政府部門在立項選區、資源與地質環境評價等方面提供科學決策和數據支撐。

5 結束語

煤田地質大數據信息服務平臺是以傳統地質行業與大數據、云計算等新技術深度融合，實現了煤田地質資源與地質環境一體化，地上與地下一體化的信息互聯互通的專業大數據平臺。

煤田地質大數據信息服務平臺既可以實現煤炭資源信息獲取，也可以對地質環境進行分析評價，在自然資源領域能切實做到為政府、企業等部門提供專業、科學、可靠的服務。展望未來，隨著能源、經濟與環境系統協同發展的深入，以及大數據、云計算、人工智能等信息技術的發展，必將對煤田地質大數據工作提出更高的要求。

煤田地質大數據信息系統技術發展日新月異，各種新技術、新方法、新概念層出不窮。在今后相當長的一段時期內，煤田地質大數據還會保持快速發展的勢頭，必定產生更多的變革和發展。下一步，將總結項目經驗和不足，為后續建設奠定堅實基礎。

參考文獻：

[1] 陳建平，李靖，謝帥，等.中國地質大數據研究現狀[J].地質學刊，2017（41）：353-366.

[2] 于廣婷，劉同文，曹發偉，等.地質大數據輕量化集成展示與專題應用[J].測繪通報，2021（11）：140-144.