智慧礦山大數據技術分析與平臺設計

張 新

(紹興職業技術學院，浙江 紹興 312000)

0 引言

智慧礦山建設已全面進入了物聯網新時代，隨著兩化融合建設的加快推進，管理信息化和智能終端、設備得以普及應用，礦山企業的兩化建設取得了長足進步，正朝著礦山環境數字化、傳輸網絡化、監控實時化、裝備智能化、管理科學化的智慧礦山方向發展[1-2]。

當前，礦山各業務系統產生的數據呈指數級增長，但數據相對分離和條塊化，信息孤島現象還十分嚴重，大數據管理理念雖然已開始樹立，但面對海量數據還是難以有效處理[3-4]。近年來，國家高度重視大數據技術應用研究，先后發布了《工業大數據白皮書(2017 版)》和《促進大數據發展行動綱要》等指導性文件，拉開了工業大數據應用新時代的大幕。礦山作為工業領域的重要組成部分，開展大數據技術的應用研究十分必要和緊迫。本文從智慧礦山大數據的應用理念出發，分析智慧礦山大數據的研究現狀，總結了礦山大數據的概念、特點和應用，簡述了大數據技術與方法，針對智慧礦山的需求提出了大數據應用平臺的基本方案，對關鍵技術和具體應用進行分析。

1 礦山大數據

1.1 礦山大數據特點

隨著智慧礦山建設的推進，礦山大數據技術發展迅速，其呈現出行業化的固有特點[5-6]。為更好地服務于礦山企業，從大數據視角出發，采用大數據技術對礦山企業各環節產生的海量數據進行分析，挖掘隱藏在其中的規律，以提高礦山企業的生產效率。礦山大數據具有大數據的基本特點：海量數據、多樣性、快速性、價值性和真實性等，還具有時序性、可見性、強關聯性和閉環性等特點[6]。

a.海量數據。智慧礦山各業務系統積累了大量的原始數據，且在日常管理和生產過程中，每時每刻都在生成數據。礦山設備的高頻數據、地質地貌數據、視頻監控數據、管理系統數據和互聯網數據等持續產生，數據量將達到 PB 級甚至 EB 級[7]。

b.多樣性。礦山大數據具有多源異構且復雜多樣的特點，智慧礦山的數據采集于礦山眾多的信息化和自動化系統，來源豐富，性質各異，包括結構化、半結構化和非結構化數據[8-10]。以機電設備實時監測數據為例，由于設備性能和功能的不同，所采集的數據長短、類型、格式可能有較大差異；各類實時視頻監控設備采集的是視頻、音頻、語音、圖片等數據，這些數據有多種制式，由于對象不同，加之時空相關，會導致較大差別[11]。

c.快速性。快速性體現在對數據處理的及時性和數據快速增長上，智慧礦山采用了大量的智能化機電一體化設備，這些設備在工作過程中產生了大量實時數據。礦山采用大量實時監控系統來保障安全生產活動，這些實時采集的數據必須及時處理并反饋，否則將影響設備運行，甚至引發事故。

d.價值性。價值性表現在某些數據的高價值和海量數據的低價值密度，智慧礦山的數據來源各異，生產過程中實時采集的不少數據具有高價值的特點，如設備性能指標數據，其直接反映設備的工作狀態；但是多源數據融合匯成的海量數據，總體上價值密度是極低的。

e.真實性。大數據希望捕獲的數據是真實可靠的，但是礦山環境一般都比較惡劣，因此通過多種途徑獲得的數據往往會受到各種因素的影響而顯得混亂。

f.時序性。智慧礦山大數據包含大量與時空緊密相關的智能化設備數據，實時采集的數據含有時間戳數據，強調時序性，如與安全相關的實時監測數據。

g.可見性。可見性表現在通過建模和分析挖掘出隱匿在數據之中的變化趨勢。機電設備的狀態變化一般難以被量化，但往往是由不可見因素積累到一定程度所產生的，因此通過大數據挖掘分析可以獲得隱匿的重要因素和信息。

h.強關聯性。智慧礦山產生的大量數據都具有時空相關性和機理相關性，同時期的數據有強關聯性，如開采設備運行狀態與環境、人員、工作計劃等均有關聯。

i.閉環性。智慧礦山各業務系統之間的數據存在閉環與關聯。

1.2 礦山大數據技術

大數據技術是一類新興的綜合性技術，其通過對來源和種類繁雜的海量數據的捕捉、分析和挖掘，獲得有利于業務效率提高的高價值信息的技術架構生態[12-13]。礦山大數據技術服務于礦山大數據應用過程的各個環節之中，包括數據采集與接入、數據預處理、數據存儲、數據處理(分析與挖掘)、數據可視化等[14]。

a.數據采集與接入。數據是大數據系統的應用基礎和前提，礦山大數據來源于各類型礦山企業的信息化和自動化系統。通過對礦山生產和管理過程中產生的各類原始數據準確、實時的采集，利用各種數據接口接入數據存儲管理平臺；針對不同類型業務過程中產生的多源異構數據，采用相應的數據采集方法和工具。礦山大數據系統采用離線或實時的方法從不同應用和數據源采集、傳輸、分發數據，礦山大數據的接入需要基于規范化的傳輸協議和數據格式，利用豐富的數據接口，支持多種業務需求和數據類型。

b.數據預處理。數據預處理是大數據分析之前提高數據質量的一個重要環節，智慧礦山涉及管理、生產、市場等環節，礦山企業的數據源鏈路很長，各環節的業務需求千差萬別；礦山產生的多源異構數據具有來源眾多的特征，存在缺失、錯誤、不一致的可能，含有大量不符合規范的“臟數據”，另外數據的格式也不完全統一，影響了數據的有效分析。數據在來源、格式、質量等方面存在較大差異，需對采集的數據進行整理、清洗和轉換。數據清洗是通過檢測“臟數據”，利用數據篩選、數據修復等方法來提高數據的質量。數據轉換可實現統一的目標數據格式，達到對不同數據指標進行轉換計算的目的。根據預處理原則，對礦山大數據進行語義關聯分析、數據庫表關聯分析及標簽體系分析等；采用 ETL技術對采集的礦山數據進行抽取、清洗、轉換及數據加載，為礦山大數據的價值挖掘提供高質量數據。

c.數據存儲。數據存儲是數據處理的基礎，隨著數據規模的擴大，特別是大數據的出現，對數據存儲的要求發生了根本性變化。數據存儲一般可采用2種技術架構：一是基于集群和大規模并行數據庫技術的存儲架構，支持 SQL 和OLTP查詢，可對結構化海量數據實現存儲和管理，如Oracle系統；二是基于分布式文件系統實現半結構化、非結構化海量數據的存儲管理，如采用基于HDFS的Redis、HBase存儲系統。礦山大數據多源異構復雜，存在海量的半結構化、非結構化數據，故分布式存儲將成為主要的存儲方式；當前主要采用基于Hadoop集群技術的分布式存儲架構，充分發揮低價格服務器組成集群的高可靠、高擴展性特點，能夠顯著提升系統的容量和讀寫性能。

d.數據處理(分析與挖掘)。礦山大數據應用的關鍵環節就是對大數據進行分析與挖掘。智慧礦山的海量數據經采集與數據集成，再對數據的信息和知識進行提取，通過數據挖掘、機器學習和統計分析等技術對高質量的規格化多源異構數據進行分析和處理，獲取高價值的信息和知。目前，數據分析與挖掘主要采用了關聯分析、分類分析和聚類分析等多種常規的大數據分析方法。針對不同的業務需求，礦山大數據應用場景區別較大，應用場景的不同對大數據處理的需求也不同。礦山大數據處理技術可采用實時處理、離線處理、實時檢索和交互查詢等方法。實時處理是針對礦山實時數據源開展的一種快速處理技術，如機電設備狀態數據監測，它對分析處理的實時性要求高，處理的數據流量大，對系統處理能力要求高。離線處理一般是對靜態海量數據的批處理，如礦山積累的大量原始數據，實時性要求不高，但數據量巨大，一般需要較大的工作量和更多計算資源和存儲資源的支持。實時檢索是指對寫入的數據進行實時動態查詢，如礦工定位信息的采集與查詢，對查詢響應時間提出了較高要求，一般都需要具備高并發查詢能力。交互查詢是另一種實時查詢方式，采用交互式的數據分析和查詢，響應時間要求高，并且對查詢語言支持要求高。

e.數據可視化。數據可視化就是將大數據分析結果展示出來，方便用戶直觀高效地獲得高價值信息；借助圖表、2D及3D視圖等方式反映出數據各維度指標的變化趨勢，可獲知智慧礦山中的動態變化量并進行多維度、多層次和多模式的態勢預估，呈現各數據項之間的相關性[15]。

2 礦山大數據應用平臺

2.1 平臺總體設計

礦山大數據平臺是集礦山數據融合和數據采集與接入、預處理、存儲、計算與分析、可視化應用于一體的綜合應用系統，形成統一的IPO數據處理模式，承載著大數據生命周期的全過程；通過對礦山大數據的深度挖掘，為智慧礦山建設獲取高價值信息提供可靠支撐[16]。基于 Hadoop 分布式處理架構的大數據平臺已得到了普遍應用，系統架構較為成熟，根據礦山大數據特點和需求，礦山大數據應用平臺總體上采用分層次自下而上的系統設計方式，六層次模型為：基礎數據資源層、數據采集與接入層、數據融合與預處理層、數據存儲優化層、數據處理與分析層、數據可視化應用層(見圖 1)。

圖1 智慧礦山大數據平臺層次模型

智慧礦山大數據平臺可為礦山大數據融合分析提供基礎數據存儲與處理能力。

2.2 礦山大數據分析

智慧礦山大數據平臺是采用大數據分布式集群技術架構，以 Hadoop技術生態為基礎的數據計算平臺體系，通過一系列數據處理、分析和應用，實現對礦山海量數據的全面分析、挖掘和提煉。礦山大數據平臺的應用涉及眾多技術，從數據的采集、存儲、處理與分析到最后的可視化展示，其中最關鍵的技術是大數據計算與分析技術[17]。

2.2.1 大數據平臺計算技術

礦山大數據平臺是海量數據存儲與計算平臺，基于HDFS分布式存儲架構，在YARN的統一協調控制下，礦山海量數據存儲于面向列的高性能分布式數據庫Hbase；采用 Hive 對抽取的礦山業務數據進行計算，通過Impala提高大數據平臺的計算效率，實現對多種業務數據的高效計算。基于分布式集群技術搭建平臺進行部署與計算，保障礦山大數據平臺具有良好的計算能力，并具有較好的伸縮性和擴展性[17]。

礦山大數據平臺面向礦山多種形態的業務場景，不同的業務場景需要不同的數據計算方式。大數據平臺計算框架主要有針對靜態數據的批處理框架、針對流式數據的流處理框架、針對交互式計算的處理框架和混合處理框架 Lambda等[18-19]。隨著礦山數據的爆發式增長，高效快速處理數據已成為礦山面臨的迫切問題，如礦山各管理系統和監測系統等，積累了海量原始數據，可采用基于MapReduce編程模型的批計算方法，該方法主要針對大數據的線下批處理，計算效率不高，導致處理復雜計算的大數據問題時的時延過大。Spark是一種高效的基于分布式內存的批處理計算框架，兼容HDFS分布式存儲訪問接口，通過DAG提供了一種靈活的計算流圖，充分利用內存來存放中間計算過程和結果數據，大幅提高了迭代計算程序的計算能力；由于Spark計算能力的提高，其亦適用于交互式計算環境。礦山生產中存在大量實時性要求較高的應用場景，大量數據實時采集并要求實時處理和反饋，具有較高的時效性，如礦山機電設備狀態監測系統、采礦環境參數監測系統等，要求大數據平臺具有良好的實時流計算能力。基于HDFS的流式處理框架主要有Spark Streaming、Storm和Flink等。Spark Streaming是構建在Spark基礎上的流式大數據處理框架，對Spark核心API進行了擴展，本質上是微批處理，采用分割實時數據流的方式，通過把切割的數據發送到Spark Engine中進行處理來實現，具有吞吐量大、容錯能力強等特點。Storm是十分成熟的流計算技術，簡稱為實時版 Hadoop，是針對MapReduce 高延時提出的一種實時處理解決方案。Flink是以數據并行和流水線方式處理的流計算技術，Flink 在流水線運行時，同時可以執行批處理和流處理程序；另外，Flink 在執行時，其本身也支持迭代算法。

2.2.2 大數據分析技術

智慧礦山大數據平臺的核心是對海量數據的分析與挖掘，其最大特點是脫離復雜的物理機理，擺脫物理特性帶來的復雜性。礦山環境十分復雜，各種物理機理難以全面掌握，因此利用大數據分析技術對礦山的歷史數據和實時數據進行挖掘與分析，可獲得宏觀、多維度的時空關聯特性[3，6]。

智慧礦山大數據平臺具有較強的知識發現和自我學習功能，具備融合礦山各類基礎數據、監控監測數據、安全管理數據等多場景業務數據，利用專家知識庫、風險預警模型庫等，開展對礦山海量數據的挖掘與知識發現，結合物理機理的數值計算和模擬仿真等進一步提高礦山大數據的分析能力。目前礦山大數據分析方法主要有關聯規則分析、分類分析和聚類分析等；這些分析模型及其組合被應用在礦山多類應用場景中，如設備故障檢測和診斷、礦山災害預警與防治、工藝參數優化、行業運行監測與預測等[18]。數據關聯規則分析是通過從看似相對獨立的數據之間尋找其關聯性，以獲得某種規律和發展趨勢，通常包括Apriori和FP-Growth兩種算法[19]。Apriori算法是應用較廣的關聯規則算法，其通過遍歷數據庫的方法來確定頻繁項集，依據設定的支持度閾值進行修剪并根據支持度計算可信度，可以確定事物之間的關聯關系。FP-Growth算法是對Apriori算法的改進，采用頻繁模式樹(FP-tree)來存儲頻繁項集，不需要產生候選集，通過減少掃描數據庫次數，從而提高計算效率。分類分析方法一般包括決策樹算法、深度學習算法、人工神經網絡算法和支持向量機(SVM)算法、基于規則的分類法、貝葉斯算法等。決策樹算法通過在決策樹的每個節點選取測試屬性，依據測試屬性將數據集進行劃分構造決策樹，利用數據集的分析歸納進行學習，十分適合Key-Value類型的數據分析，較為常用的算法有SLIQ、C4.5和SPRINT等。人工神經網絡通過訓練神經網絡模型來調整參數，以使模型的表征能力最優，其特點是自主學習、容錯性高，比較適合對非線性、模糊數據的處理，較典型的模型是前饋式神經網絡模型；另外，反向傳播(BP)神經網絡算法通過對網絡的權值和偏差反復調整訓練，使其達到或接近期望向量，但由于網絡初始權重和閾值具有隨機性，故存在BP神經網絡收斂過慢、陷入局部最優解的問題。深度學習是從人工神經網絡發展而來，基于樣本數據通過多層次深度網絡機器學習，是機器學習的一個研究方向，適合圖像、語音、文本分類識別，具有對不同類型數據的處理能力。聚類分析算法主要包括基于層次、基于劃分、基于模型和基于密度的四大聚類方法。層次聚類算法采用逐層將數據分組的方法生成一個層級式的樹狀圖結構聚類結果，可以分為聚合層次聚類和分解層次聚類：聚合層次聚類將每個個體視為一類，采用自底向上的方式逐層合并這些類；分解層次聚類將所有個體視為一類，采用自頂向下的方式逐層分割這些類，常用的算法有K-means算法等[18-19]。基于密度聚類算法是在一個樣本區域中，將一定稠密程度的數據塊劃定為一個簇，具有處理任意形狀的聚類能力；通過有效排除低密度數據區，找到稠密樣本點，經典的算法有DBSCAN聚類算法。

3 礦山大數據應用

智慧礦山建設正朝著物聯網應用方向發展，大數據應用在智慧礦山中的重要性日益凸顯，其能高效提升礦山的科學化管理水平、提高生產效率、降低生產成本，實現礦山開采與管理的安全、綠色、高效和智能化發展[16]。我國的礦山企業和科技工作者紛紛投入到了大數據技術應用研究之中，如：神東煤炭集團公司的設備管理信息化采用了大數據技術，提升了管理水平；榆林神華郭家灣煤礦開展了智能礦山建設項目；崔亞仲等通過智能礦山大數據關鍵技術與發展研究，分析了智能礦山大數據技術發展存在的主要問題和驅動因素，提出了智能礦山大數據應用的關鍵技術，包括數據獲取、數據集成與融合、大數據分析與挖掘、大數據解析等[6]；李福興等研究了面向煤炭開采的大數據處理平臺構建關鍵技術，從煤炭大數據基本知識出發，分析了煤炭大數據特征、大數據平臺架構、關鍵技術，為煤炭大數據應用提供了寶貴的建設思路。

4 結語

礦山大數據應用是智慧礦山建設的必然要求，智慧礦山大數據技術的開發和應用尚處在初步階段，但其應用價值已充分體現。隨著礦山企業和科技人員對大數據應用的高度重視，大數據應用研究將大力推進礦山現代化建設的步伐。礦山大數據除具備大數據的基本特征外還具有其行業特點，其應用場景復雜、數據多源異構、處理要求高。針對礦山的復雜性，大數據分析需結合物理機理來提高大數據分析的準確性，在構建礦山大數據平臺的基礎上，大數據處理與分析技術是礦山大數據應用的關鍵和核心。