智能煤礦數(shù)據(jù)中臺架構(gòu)及關(guān)鍵技術(shù)研究

疏禮春

(應急管理部信息研究院， 北京 100029)

0 引言

目前，我國煤礦智能化發(fā)展處于初級階段[1-3]。為促進煤礦智能化建設，國家發(fā)展改革委、國家能源局等八部委聯(lián)合發(fā)布了《關(guān)于加快煤礦智能化發(fā)展的指導意見》，其中提出需實現(xiàn)煤礦智能化和大數(shù)據(jù)的深度融合與應用等。如何實現(xiàn)煤礦異構(gòu)系統(tǒng)數(shù)據(jù)匯聚、分級分類存儲、治理、建模和服務，是煤礦應用大數(shù)據(jù)的關(guān)鍵[4]。為此，需要建設煤礦大數(shù)據(jù)平臺。文獻[5-11]針對煤礦存在的信息化標準缺失、信息孤島等問題，提出了基于云計算和大數(shù)據(jù)技術(shù)建設智能煤礦統(tǒng)一大數(shù)據(jù)平臺的思路。但總的來說，我國煤礦大數(shù)據(jù)平臺建設還處于起步階段，對在互聯(lián)網(wǎng)、智慧城市等領域應用較廣泛的數(shù)據(jù)中臺建設還未提及。

數(shù)據(jù)中臺是智能煤礦建設的數(shù)據(jù)底座，是煤礦大數(shù)據(jù)應用的基礎。本文提出智能煤礦數(shù)據(jù)中臺架構(gòu)，實現(xiàn)了數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)，以及各類感知數(shù)據(jù)、基礎數(shù)據(jù)、管理數(shù)據(jù)的分級分類存儲、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)建模、模型訓練和數(shù)據(jù)服務等，解決了信息孤島、海量數(shù)據(jù)實時計算能力差、數(shù)據(jù)失真、查詢速度慢、共享難等問題，將數(shù)據(jù)資源轉(zhuǎn)變?yōu)閿?shù)據(jù)資產(chǎn)，支撐業(yè)務應用的快速構(gòu)建。

1 智能煤礦數(shù)據(jù)中臺建設思路

智能煤礦數(shù)據(jù)中臺建設涉及各類數(shù)據(jù)接入、管理規(guī)范的制定，匯聚數(shù)據(jù)資源量、硬件計算資源量、存儲資源需求量估算，根據(jù)數(shù)據(jù)資源量和數(shù)據(jù)采集頻率及實時性要求等進行大數(shù)據(jù)基礎支撐組件的選型等，包括數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)存儲、數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)服務等步驟。

經(jīng)數(shù)據(jù)匯聚采集的數(shù)據(jù)沒有經(jīng)過處理，基本是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起的，業(yè)務難以使用，需要通過數(shù)據(jù)開發(fā)存入數(shù)據(jù)資源池。數(shù)據(jù)開發(fā)主要面向開發(fā)和分析人員，提供離線或?qū)崟r的算法開發(fā)工具，以及任務管理、監(jiān)控等一系列集成工具。數(shù)據(jù)存儲是數(shù)據(jù)中臺的核心，要充分考慮數(shù)據(jù)的一致性和復用性，按照原始庫、資源庫、主題庫等存儲方式進行數(shù)據(jù)資源池建設，并形成數(shù)據(jù)資產(chǎn)和相關(guān)模型。數(shù)據(jù)服務使數(shù)據(jù)資產(chǎn)和相關(guān)模型服務于煤礦風險監(jiān)測預警、設備健康診斷等，通過運維體系保障數(shù)據(jù)中臺長期健康、持續(xù)運轉(zhuǎn)。

2 智能煤礦數(shù)據(jù)中臺架構(gòu)

智能煤礦數(shù)據(jù)中臺的主要功能是沉淀數(shù)據(jù)資產(chǎn)和構(gòu)建分析模型，通過數(shù)據(jù)匯聚、數(shù)據(jù)治理、One ID、One Model、One Service來實現(xiàn)整體的數(shù)據(jù)加工、沉淀及服務，提供指標數(shù)據(jù)、標簽數(shù)據(jù)、算法服務。智能煤礦數(shù)據(jù)中臺主要包括數(shù)據(jù)標準規(guī)范、大數(shù)據(jù)基礎支撐、數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)資源池、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務和運維保障等功能模塊，通過統(tǒng)一的平臺打通數(shù)據(jù)源層各系統(tǒng)之間的數(shù)據(jù)流，匯聚數(shù)據(jù)至統(tǒng)一的數(shù)據(jù)資源池進行存儲、治理、分析，并通過數(shù)據(jù)服務為應用層提供數(shù)據(jù)，如圖1所示。

圖1 智能煤礦數(shù)據(jù)中臺技術(shù)架構(gòu)Fig.1 Technical architecture of intelligent coal mine data middle platform

(1) 數(shù)據(jù)標準規(guī)范。包括數(shù)據(jù)接入規(guī)范和相關(guān)數(shù)據(jù)治理規(guī)范。數(shù)據(jù)接入規(guī)范是智能煤礦數(shù)據(jù)中臺數(shù)據(jù)匯聚及質(zhì)量管理的依據(jù)，包括煤礦安全監(jiān)控、人員定位、工業(yè)視頻監(jiān)控、沖擊地壓監(jiān)測、水害防治和礦用重大設備運維等感知數(shù)據(jù)接入規(guī)范，以及雙重預防、地質(zhì)測量等管理數(shù)據(jù)接入規(guī)范。數(shù)據(jù)治理規(guī)范包括主數(shù)據(jù)規(guī)范、元數(shù)據(jù)規(guī)范、數(shù)據(jù)目錄規(guī)范、數(shù)據(jù)服務規(guī)范等，依據(jù)相關(guān)國家標準和行業(yè)標準制定。

(2) 大數(shù)據(jù)基礎支撐。主要包括數(shù)據(jù)匯聚時所需的Kafka消息隊列(用于緩存實時數(shù)據(jù))，Hadoop的Yarn，ZooKeeper資源調(diào)度管理組件，F(xiàn)link實時流式計算處理組件，以及數(shù)據(jù)資源池建設中所需的MySQL，Redis，ES等數(shù)據(jù)存儲組件。

(3) 數(shù)據(jù)匯聚。主要實現(xiàn)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)采集，包括數(shù)據(jù)源適配、數(shù)據(jù)預處理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)傳輸、數(shù)據(jù)緩存、運行監(jiān)控、安全認證等功能。

數(shù)據(jù)源適配支持Kafka消息隊列、FTP文件、API(Application Programming Interface,應用程序接口)和前置交換庫等。Kafka消息隊列適用于時效性要求高的流式數(shù)據(jù)采集，如安全監(jiān)控、人員定位、礦壓和沖擊地壓、水文地質(zhì)等數(shù)據(jù)。FTP文件適用于數(shù)據(jù)量大、時效性要求不高的數(shù)據(jù)采集。API和前置交換庫適用于交換頻率較低的管理數(shù)據(jù)采集。

數(shù)據(jù)預處理依據(jù)數(shù)據(jù)接入規(guī)范，通過開關(guān)方式開啟數(shù)據(jù)項內(nèi)容的格式檢查。

數(shù)據(jù)轉(zhuǎn)換是針對不同系統(tǒng)的數(shù)據(jù)源，按照數(shù)據(jù)接入規(guī)范轉(zhuǎn)換為標準統(tǒng)一格式。標準轉(zhuǎn)換程序內(nèi)置在數(shù)據(jù)匯聚模塊中。

數(shù)據(jù)傳輸方式因數(shù)據(jù)不同而不同。針對流式數(shù)據(jù)，將其寫入Kafka消息隊列中；針對離線數(shù)據(jù)，以文件形式或交換庫方式進行數(shù)據(jù)傳輸。

數(shù)據(jù)采集過程具備數(shù)據(jù)緩存功能，滿足數(shù)據(jù)斷點續(xù)傳需要。采集數(shù)據(jù)被保存到文件和數(shù)據(jù)庫，作為緩存數(shù)據(jù)。若數(shù)據(jù)傳輸過程中出現(xiàn)故障，自動記錄故障發(fā)生時間，緩存故障期間的數(shù)據(jù)，待故障恢復后自動從緩存中查詢故障期間數(shù)據(jù)并重新傳輸。數(shù)據(jù)緩存功能可自定義緩存數(shù)據(jù)的保存時間。

運行監(jiān)控是指對數(shù)據(jù)采集處理過程進行實時監(jiān)控，發(fā)現(xiàn)異常信息及時告警提示。監(jiān)控內(nèi)容包括前置采集設備的CPU、內(nèi)存、磁盤使用率，數(shù)據(jù)源適配接口、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)傳輸狀態(tài)。

安全認證在數(shù)據(jù)源適配時進行，數(shù)據(jù)可加密傳輸。

(4) 數(shù)據(jù)開發(fā)。根據(jù)匯聚數(shù)據(jù)的資源類型和數(shù)據(jù)采集頻率不同，實時數(shù)據(jù)采用Flink進行在線流式計算，數(shù)據(jù)倉庫各分層之間的離線數(shù)據(jù)采用Spark進行計算；針對熱、溫、冷數(shù)據(jù)，分別采用內(nèi)存數(shù)據(jù)庫、分析型數(shù)據(jù)庫和時序數(shù)據(jù)庫進行存儲。

(5) 數(shù)據(jù)資源池。采集的原始數(shù)據(jù)經(jīng)計算后先存入原始庫，與源端保持一致，用于數(shù)據(jù)來源追溯和質(zhì)量分析。原始庫中數(shù)據(jù)經(jīng)抽取、清洗和轉(zhuǎn)換后存入資源庫，供應用層調(diào)用。根據(jù)數(shù)據(jù)統(tǒng)計分析需要，從資源庫抽取數(shù)據(jù)后存入主題庫。從資源庫、主題庫等抽取數(shù)據(jù)，構(gòu)建面向瓦斯、沖擊地壓、水害等煤礦高危災害分析的專題庫。模型庫主要存儲瓦斯、沖擊地壓、水害等煤礦高危災害風險研判模型。知識庫主要存儲相關(guān)規(guī)范、規(guī)程和法律法規(guī)、預案等，為風險監(jiān)測預警提供依據(jù)。

(6) 數(shù)據(jù)資產(chǎn)管理。通過梳理元數(shù)據(jù)、主數(shù)據(jù)，形成數(shù)據(jù)目錄，通過數(shù)據(jù)血緣管理，追溯數(shù)據(jù)之間的血緣關(guān)系。數(shù)據(jù)質(zhì)量主要包括質(zhì)量規(guī)則、質(zhì)量明細、質(zhì)量統(tǒng)計、質(zhì)量分析報告等,對從源端采集的數(shù)據(jù)進行完整性、一致性、冗余性、正確性校驗。數(shù)據(jù)資產(chǎn)主要是對治理完成的數(shù)據(jù)資源進行可視化展示。

(7) 數(shù)據(jù)服務。服務創(chuàng)建即構(gòu)建數(shù)據(jù)資源池中的服務程序。應用層通過數(shù)據(jù)服務的API網(wǎng)關(guān)訪問數(shù)據(jù)資源池中數(shù)據(jù)，實現(xiàn)應用與數(shù)據(jù)分離。用戶通過目錄服務查看數(shù)據(jù)服務提供的服務條目。通過服務授權(quán)，確保只有經(jīng)過授權(quán)的外部用戶才可訪問數(shù)據(jù)資源池數(shù)據(jù)。調(diào)用管理實現(xiàn)對外部程序訪問的授權(quán)管理。監(jiān)控告警模塊對所有用戶訪問的服務進行監(jiān)控，實時監(jiān)控服務內(nèi)容的訪問成功或失敗次數(shù)，同時具有服務超時自動熔斷功能，避免服務死鎖。

(8) 運維保障。實現(xiàn)整個數(shù)據(jù)接入、數(shù)據(jù)開發(fā)和數(shù)據(jù)服務過程的運行監(jiān)控和管理等，主要包括資源監(jiān)控、服務監(jiān)控、數(shù)據(jù)庫監(jiān)控、日志審計、安全管理等。

3 智能煤礦數(shù)據(jù)中臺關(guān)鍵技術(shù)

(1) 高并發(fā)低時延數(shù)據(jù)處理技術(shù)。針對煤礦端監(jiān)測監(jiān)控、生產(chǎn)自動化等系統(tǒng)產(chǎn)生的大量低時延實時監(jiān)測、控制等感知數(shù)據(jù)，采用流式大數(shù)據(jù)處理技術(shù)，通過Kafka消息隊列方式接收實時數(shù)據(jù)，存儲在不同的消息隊列分區(qū)。在數(shù)據(jù)消費時，開發(fā)基于Flink的流式數(shù)據(jù)處理系統(tǒng)，部署多任務處理節(jié)點。利用Hadoop的Yarn統(tǒng)一資源調(diào)度管理能力動態(tài)調(diào)度計算資源，采用多并發(fā)處理進程進行實時數(shù)據(jù)質(zhì)量檢查、邏輯計算等。經(jīng)實時計算處理的數(shù)據(jù)存入二級業(yè)務Kafka，實現(xiàn)數(shù)據(jù)處理與數(shù)據(jù)庫的解耦，提高實時數(shù)據(jù)處理效率。業(yè)務系統(tǒng)可根據(jù)需要直接從二級業(yè)務Kafka消費數(shù)據(jù)，進行實時數(shù)據(jù)的動態(tài)監(jiān)測和預警提示。對于時效性不高的歷史數(shù)據(jù)，通過時序數(shù)據(jù)庫、分析型數(shù)據(jù)庫自帶的采集功能從二級業(yè)務Kafka消費數(shù)據(jù)。

(2) 數(shù)據(jù)分級分類存儲技術(shù)。針對煤礦監(jiān)測監(jiān)控、生產(chǎn)自動化等系統(tǒng)產(chǎn)生數(shù)據(jù)類型多、實時性強等特點，按照數(shù)據(jù)倉庫建設理論，設計貼源層、明細層、聚合層、應用層等分級存儲層，按照數(shù)據(jù)熱、溫、冷特性和數(shù)據(jù)類別(基礎數(shù)據(jù)、實時數(shù)據(jù)、異常告警數(shù)據(jù)、歷史明細數(shù)據(jù)、統(tǒng)計數(shù)據(jù)，以及文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù))分別存入不同類型的數(shù)據(jù)庫，支撐數(shù)據(jù)應用層實時監(jiān)測、統(tǒng)計分析等需求。設計包括原始庫、資源庫、主題庫和專題庫的數(shù)據(jù)倉庫架構(gòu)和表結(jié)構(gòu)，實現(xiàn)熱數(shù)據(jù)存入Redis內(nèi)存數(shù)據(jù)庫、溫數(shù)據(jù)存入Clickhouse分析型數(shù)據(jù)庫和MySQL關(guān)系數(shù)據(jù)庫、冷數(shù)據(jù)存入Opentsdb時序數(shù)據(jù)庫等。各種類型的數(shù)據(jù)庫根據(jù)采集的數(shù)據(jù)資源量，采用多臺機器分布式部署方式，確保數(shù)據(jù)高可用性存儲。數(shù)據(jù)分類存儲及支撐應用架構(gòu)如圖2所示。

圖2 數(shù)據(jù)分類存儲及支撐應用架構(gòu)Fig.2 Data classification storage and supporting application architecture

(3) 數(shù)據(jù)治理技術(shù)。針對異構(gòu)系統(tǒng)融合的數(shù)據(jù)資源，根據(jù)業(yè)務類別、系統(tǒng)類型和數(shù)據(jù)接入規(guī)范，梳理元數(shù)據(jù)、主數(shù)據(jù)，設計不同類型業(yè)務系統(tǒng)的數(shù)據(jù)質(zhì)量校驗規(guī)則，包括正則表達式、SQL邏輯等，實現(xiàn)數(shù)據(jù)的一致性、完整性、及時性和準確性等校驗，并按照元數(shù)據(jù)、主數(shù)據(jù)進行數(shù)據(jù)編目。對治理后存儲在數(shù)據(jù)倉庫中的明細層、聚合層、應用層數(shù)據(jù)，開發(fā)數(shù)據(jù)服務API網(wǎng)關(guān)和數(shù)據(jù)資產(chǎn)管理系統(tǒng)，對外提供數(shù)據(jù)服務，使數(shù)據(jù)資源變成數(shù)據(jù)資產(chǎn)，實現(xiàn)數(shù)據(jù)資產(chǎn)的共享和服務。通過數(shù)據(jù)治理，提高數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)真實可信，持續(xù)釋放和挖掘數(shù)據(jù)價值。

(4) 基于大數(shù)據(jù)的煤礦災害風險模型構(gòu)建技術(shù)。基于煤礦井下人員信息、設備及環(huán)境感知數(shù)據(jù)、安全管理數(shù)據(jù)等，結(jié)合專家經(jīng)驗，基于人、機、環(huán)、管等因素構(gòu)建瓦斯、沖擊地壓、水害等風險指標體系，應用機器學習算法和統(tǒng)計方法構(gòu)建災害風險模型。通過數(shù)據(jù)特征工程進行數(shù)據(jù)預處理，包括數(shù)據(jù)降噪、數(shù)據(jù)標準化、數(shù)據(jù)異常值處理、變量選擇和變量生成。利用數(shù)據(jù)資源池的樣本數(shù)據(jù)進行災害模型訓練，包括模型選擇、模型超參數(shù)優(yōu)化、模型參數(shù)訓練和模型效果評價，進而形成災害風險模型庫，進行實際應用，并根據(jù)應用效果修正指標體系和災害風險模型，形成閉環(huán)管理，如圖3所示。

圖3 煤礦災害風險模型構(gòu)建Fig.3 Construction of coal mine disaster-risk model

4 應用實例

提出的智能煤礦數(shù)據(jù)中臺建設思路及相關(guān)關(guān)鍵技術(shù)在大同煤礦集團軒崗煤電有限責任公司進行實際應用。制定了數(shù)據(jù)接入規(guī)范，通過OPC接口方式采集自動化類系統(tǒng)數(shù)據(jù)，通過Kafka消息隊列接口方式采集監(jiān)測監(jiān)控類系統(tǒng)實時數(shù)據(jù)，通過前置交換庫方式采集安全管理數(shù)據(jù)。建立了Redis內(nèi)存數(shù)據(jù)庫、Clickhouse分析型數(shù)據(jù)庫、Opentsdb時序數(shù)據(jù)庫，針對熱、溫、冷數(shù)據(jù)分別存儲，形成了統(tǒng)一的數(shù)據(jù)資源池。對采集數(shù)據(jù)進行治理，形成數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、主數(shù)據(jù)等。通過數(shù)據(jù)服務程序，供智能煤礦一體化管控平臺的Web應用程序和APP程序調(diào)用，實現(xiàn)了通過統(tǒng)一數(shù)據(jù)底座支撐災害風險模型開發(fā)訓練和“一張圖”、“一張表”等可視化應用。

5 結(jié)論

(1) 根據(jù)智能煤礦建設需求，提出了智能煤礦數(shù)據(jù)中臺建設思路及架構(gòu)，探討了與數(shù)據(jù)中臺建設相關(guān)的數(shù)據(jù)處理、分級分類存儲、治理、模型構(gòu)建等關(guān)鍵技術(shù)，形成了一套適合煤礦實際應用的數(shù)據(jù)中臺解決方案。

(2) 應用結(jié)果表明，通過建設智能煤礦數(shù)據(jù)中臺，可有效解決煤礦信息化過程中信息孤島嚴重、信息化基礎不牢、數(shù)據(jù)難集成、智能化分析水平低、應用效果不佳等問題，對充分發(fā)揮大數(shù)據(jù)在煤礦安全生產(chǎn)和管理中的作用有重要的現(xiàn)實意義。通過建設數(shù)據(jù)中臺，可形成煤礦“數(shù)據(jù)大腦”，使煤礦多源異構(gòu)數(shù)據(jù)從數(shù)據(jù)資源變成數(shù)據(jù)資產(chǎn)，提供基于大數(shù)據(jù)的調(diào)度決策、災害風險分析、設備健康診斷和預防性維護等應用，賦能智能化煤礦建設。