基于Spark Streaming流回歸的煤礦瓦斯?jié)舛葘崟r預測*

吳海波 ， 施式亮 ， 念其鋒

(1.中南大學 資源與安全工程學院, 湖南 長沙 410083；2.湖南科技大學 計算機科學與工程學院，湖南 湘潭 411201；3.湖南科技大學 資源環(huán)境與安全工程學院，湖南 湘潭 411201；4.湖南科技大學煤炭資源清潔利用與礦山環(huán)境保護湖南省 重點實驗室，湖南 湘潭 411201)

0 引言

對煤礦井下瓦斯?jié)舛冗M行精確測量和實時監(jiān)測控制是防止煤礦瓦斯爆炸、確保人身安全的重要措施[1]。為了防治瓦斯災害，煤礦要求安裝瓦斯監(jiān)測監(jiān)控系統(tǒng)以提供與瓦斯災害相關的各種實時環(huán)境數(shù)據(jù)。有效的分析和利用瓦斯監(jiān)測監(jiān)控數(shù)據(jù)，對煤礦關鍵測點的瓦斯?jié)舛冗M行預測，使瓦斯災害的預防和預警成為減少煤礦瓦斯災害的關鍵。而傳感技術的發(fā)展使得煤礦瓦斯監(jiān)測監(jiān)控系統(tǒng)采集到的瓦斯監(jiān)測數(shù)據(jù)呈現(xiàn)流式大數(shù)據(jù)的特征，海量的瓦斯監(jiān)測監(jiān)控數(shù)據(jù)通過網(wǎng)絡以流的形式傳輸?shù)矫旱V安全監(jiān)測監(jiān)控系統(tǒng)中，分析、研究煤礦瓦斯監(jiān)測監(jiān)控流數(shù)據(jù)也成為實時數(shù)據(jù)流分析問題，流數(shù)據(jù)具備數(shù)據(jù)量大、數(shù)據(jù)實時性價值高等特點，這給煤礦瓦斯?jié)舛阮A測帶來了新的挑戰(zhàn)。

目前預測瓦斯?jié)舛鹊姆椒扔邪ɑ跁r間序列分析[2, 3]、混沌時間序列預測[4]的，也有基于機器學習的支持向量機[5-7]、聚類[8]和基于粒子群優(yōu)化或遺傳算法來優(yōu)化神經(jīng)網(wǎng)絡[9-12]等，基于機器學習應用于瓦斯?jié)舛阮A測研究主要關注點在于利用已有的瓦斯?jié)舛葦?shù)據(jù)來進行訓練迭代，從而找到最優(yōu)模型。但機器學習在大數(shù)據(jù)迭代運算、交互式查詢和流式處理上呈現(xiàn)出低效率的問題，導致數(shù)據(jù)建模時間長、模型更新慢等問題，使得瓦斯?jié)舛葦?shù)據(jù)的預測達不到實時處理的要求。從已有的煤礦瓦斯?jié)舛阮A測方法來看，瓦斯監(jiān)測數(shù)據(jù)從采樣、建模、預測的時間跨度為數(shù)分鐘到數(shù)十分鐘之間，即預測模型的更新周期至少為分鐘級。物聯(lián)網(wǎng)及分布式并行大數(shù)據(jù)處理技術的發(fā)展使得流數(shù)據(jù)處理能力得以提升，通過分布式流處理技術可以在大數(shù)據(jù)下并行快速數(shù)據(jù)建模，達到流式數(shù)據(jù)實時處理要求。Spark Streaming流處理技術是Spark核心應用的一個擴展，主要負責處理實時數(shù)據(jù)流，數(shù)據(jù)流包括日志、交易數(shù)據(jù)、傳感器數(shù)據(jù)等。利用Spark Streaming的流處理技術，能保證瓦斯?jié)舛阮A測模型的實時學習能力，讓學習模型隨著新的數(shù)據(jù)流不斷更新，使得瓦斯?jié)舛葦?shù)據(jù)處理時間達到實時數(shù)據(jù)流的時間跨度數(shù)百毫秒到數(shù)秒之間，從而減少重新計算的開銷，能使預測模型更新周期達到秒級，既能提高預測精度，又能滿足實時預警要求。

1 Spark Streaming

Apache Spark是基于內存計算的分布式開源集群計算系統(tǒng)。由于利用內存來保存基于MapReduce算法過程的中間輸出和結果，這對于交互式數(shù)據(jù)挖掘和機器學習方法中使用頻率較高的迭代計算而言大大提升了工作效率[13]。Spark Streaming作為Spark支持流數(shù)據(jù)實時處理的組件，是采用將流數(shù)據(jù)分解成一系列批處理作業(yè)來進行流式計算的。Spark Streaming流系統(tǒng)如圖1所示。

圖1 Spark Streaming流系統(tǒng)示意[14]Fig.1 Overview of the Spark Streaming system[14]

Spark Streaming將輸入流數(shù)據(jù)轉化成離散數(shù)據(jù)流DStream(Discretized Stream)，通過Spark核心引擎，可將每個批次的DStream轉換成Spark中的彈性分布式數(shù)據(jù)集RDD(Resilient Distributed Dataset)，這樣，可以通過RDD的轉換和行動操作來實現(xiàn)流處理業(yè)務的要求。由于Spark還提供可擴展的機器學習庫MLlib，Spark Streaming可以通過MLlib對從DStream轉換的RDD數(shù)據(jù)進行分析與建模，從而進行機器學習和應用。

2 瓦斯?jié)舛阮A測模型

流數(shù)據(jù)挖掘是指實時的對數(shù)據(jù)流進行分析并挖掘流數(shù)據(jù)的信息和模式。為了進行流數(shù)據(jù)的挖掘，許多機器學習算法和技術被重新設計以適用于流數(shù)據(jù)。線性回歸屬于機器學習算法中的監(jiān)督學習，主要是通過建立線性回歸方程來分析一個或多個自變量與因變量關系。線性回歸模型簡單有效，非常適用于大數(shù)據(jù)流的建模和預測[15]。

(1)

由公式(1)來預測t+1時刻瓦斯?jié)舛葦?shù)據(jù)。其中，α,β為回歸系數(shù)，而為白噪聲。通過求解回歸系數(shù)α,β，就可根據(jù)一定時期的歷史數(shù)據(jù)來預測y的值。最優(yōu)回歸系數(shù)值應使損失函數(shù)達到最小來求得，損失函數(shù)可定義為預測值與真實值y之差的平方和：

(2)

由公式(2)求解α,β可采用最小二乘法或梯度下降法，Spark Streaming流回歸采用的是隨機梯度下降算法來求回歸系數(shù)，當樣本數(shù)據(jù)集n較大時，使用隨機梯度下降算法可減少運算復雜度。

3 基于Spark Streaming流回歸的瓦斯?jié)舛阮A測系統(tǒng)

生成由線性回歸算法實現(xiàn)的瓦斯?jié)舛阮A測模型，就必須給定訓練數(shù)據(jù)集，訓練數(shù)據(jù)集可以是監(jiān)測監(jiān)控中已保存的歷史記錄數(shù)據(jù)，也可以為實時流數(shù)據(jù)。來自監(jiān)控監(jiān)測的實時訓練數(shù)據(jù)集的改變導致預測模型的更新。監(jiān)測監(jiān)控數(shù)據(jù)具有流數(shù)據(jù)的特點，數(shù)據(jù)量大導致建模時間長，數(shù)據(jù)的實時性意味著數(shù)據(jù)存儲時間越長，利用價值越低。因此，傳統(tǒng)的利用寫入磁盤的歷史記錄來進行建模方法滿足不了在流數(shù)據(jù)上瓦斯?jié)舛葘崟r預測的要求。為了在瓦斯?jié)舛葦?shù)據(jù)流上進行預測建模，采用分布式流處理框架Spark Streaming來構建基于流回歸的瓦斯?jié)舛葘崟r預測系統(tǒng)，Spark Streaming中的DStream可同時進行流數(shù)據(jù)處理和批處理，滿足數(shù)據(jù)集提取、機器學習模型的訓練及模型應用等多種處理類型要求。既能滿足大數(shù)據(jù)處理要求，又能達到流計算的標準。

基于Spark Streaming流回歸的瓦斯?jié)舛葘崟r預測系統(tǒng)如圖2所示。煤礦瓦斯及相關傳感器將監(jiān)控實時數(shù)據(jù)通過網(wǎng)絡以流的方式傳送至流回歸系統(tǒng)，數(shù)據(jù)流可寫入分布式存儲系統(tǒng)HDFS進行存儲，也可直接以流的形式發(fā)送至Spark Streaming。存儲的數(shù)據(jù)與實時數(shù)據(jù)可以結合并通過Spark MLIib來建立流回歸模型。流回歸模型可隨著數(shù)據(jù)流動態(tài)更新，生成回歸模型通過Spark Streaming流回歸預測算法來進行瓦斯?jié)舛葘崟r預測。

圖2 Spark Streaming流回歸預測系統(tǒng)Fig.2 Prediction system based on Spark Streaming linear regression

瓦斯?jié)舛攘骰貧w預測是將瓦斯監(jiān)控源產(chǎn)生的實時數(shù)據(jù)通過流產(chǎn)生器發(fā)送到Spark Streaming中，在Spark Streaming流處理中，瓦斯監(jiān)測數(shù)據(jù)流會抽象成原始DStream，原始DSteam會將連續(xù)的流數(shù)據(jù)切分成指定時間片的數(shù)據(jù)RDD。為實現(xiàn)瓦斯?jié)舛阮A測建模與分析，Spark Streaming提供基于滑動窗口的流計算，利用時間窗口來切分原始DStream，如圖3所示?；诖翱陂L度的RDD是流回歸預測模型的基本單元，通過窗口長度的流數(shù)據(jù)來建立流回歸預測模型，而窗口長度可以根據(jù)流數(shù)據(jù)的速率和建模復雜度來確定，盡管Spark Streaming可支持毫秒級建模運算，但在實際實用中，為保證模型的穩(wěn)定性和預測精度，可將窗口長度設置為1 min或3 min。窗口的滑動距離則用于指定預測模型訓練數(shù)據(jù)的更新長度，同時也指定了模型的更新率。Spark Streaming流計算可將窗口的更新速率達到秒級以滿足實時流處理要求。

圖3 Spark Streaming滑動窗口操作示意Fig.3 Spark Streaming sliding window operations

4 瓦斯?jié)舛阮A測實驗及分析

實驗數(shù)據(jù)來自河南某煤礦3102綜采工作面的煤礦安全監(jiān)測系統(tǒng)。截取3102工作面回風隅角瓦斯傳感器(編號001A08)的瓦斯?jié)舛葘崪y數(shù)據(jù)進行流回歸預測和分析。001A08傳感器以按采樣速率0.2個/s收集瓦斯?jié)舛葦?shù)據(jù)，其中連續(xù)采樣4 h的瓦斯?jié)舛葘崪y值序列如圖4所示。實測值數(shù)據(jù)最大值為0.69%，最小值為0.02%，標準差為0.076。實時瓦斯?jié)舛葦?shù)據(jù)與前3次采集的濃度數(shù)據(jù)之間的Pearson相關性系數(shù)分別為0.948，0.901，0.871，具有較強的線性相關關系。此外，選取與該測點的Pearson相關性系數(shù)分別為-0.446，0.411，-0.397，-0.319的4個傳感器監(jiān)測點歷史數(shù)據(jù)構建回歸模型。

圖4 瓦斯?jié)舛葘崪y數(shù)據(jù)Fig.4 The measured data of gas concentration

為模擬煤礦瓦斯傳感器監(jiān)測數(shù)據(jù)流，將瓦斯?jié)舛刃蛄袛?shù)據(jù)通過TCP socket套接字以采樣速率發(fā)送到Spark Streaming以模擬瓦斯?jié)舛葦?shù)據(jù)流，Spark Streaming則以內置數(shù)據(jù)流源socketTextStream接收瓦斯?jié)舛攘鲾?shù)據(jù)作為輸入源。在進行瓦斯?jié)舛攘骰貧w預測時，可根據(jù)實際應用的要求來指定Spark Streaming流窗口的長度和滑動距離，以確定流回歸模型的訓練數(shù)據(jù)長度和更新周期。為驗證流回歸的實時性和準確率，可通過設定相同時間窗口長度的訓練數(shù)據(jù)，不同滑動距離來進行瓦斯?jié)舛阮A測。實驗采用流回歸窗口長度為1 min，模型更新周期即滑動距離分別為60，45，30與15 s來進行瓦斯?jié)舛葘崟r預測。實驗分4次進行，用以仿真不同模型更新周期下的瓦斯?jié)舛葦?shù)據(jù)預測準確率。圖5顯示了不同模型更新周期下的瓦斯?jié)舛阮A測值與實際值的對比。從圖5可以看出，不同模型更新周期的預測值與實際值都有較好的擬合性。

圖5 不同更新周期的瓦斯?jié)舛阮A測值與實際值Fig.5 The predicted data and measured data of gas concentration fordifferent update cycle of model

為了達到最優(yōu)預測效果，實驗采用均方根誤差RMSE(root mean square error)來統(tǒng)計模型的精密度。RMSE為誤差平方和均值的平方根，即：

當模型的時間滑動距離為60 s時，回歸模型每隔60 s更新1次，根據(jù)模型的更新周期可知，流回歸模型在4 h內更新了240次，分別計算每次流回歸預測模型的RMSE。以此類推，當流回歸預測系統(tǒng)的窗口滑動距離為40，30，15 s時，回歸模型分別更新了320，480和960次。不同更新周期下流回歸預測的RMSE變化如圖6所示。

圖6 不同更新周期的RMSEFig.6 RMSE of different update cycle of model

試驗分析與統(tǒng)計的結果如表1所示，隨模型更新周期的縮小，平均RMSE也依次減小。模型更新周期為60 s的模型平均RMSE最大，，而更新周期為15 s的平均RMSE為最小。而統(tǒng)計整體4 h的總體RMSE則15 s為最大，45 s為最小。從結果分析，模型更新過快，使數(shù)據(jù)集訓練不充分，導致總體預測精度下降。而模型更新周期過長，則不能滿足實時流數(shù)據(jù)處理要求。綜合兩者考慮，采用模型更新周期為45 s的流回歸預測系統(tǒng)來預測瓦斯實時濃度。既使模型更新率滿足實時數(shù)據(jù)流處理的要求，也可使流回歸預測精度達到最優(yōu)。

表1 不同更新周期預測效果對比分析

5 結論

1)利用基于內存的分布式流處理框架Spark Streaming構建基于流回歸的瓦斯?jié)舛葘崟r預測系統(tǒng)，預測模型以瓦斯?jié)舛葘崟r數(shù)據(jù)流為訓練集，在流式大數(shù)據(jù)中快速迭代建模與更新，在保證預測精確度的要求下，對瓦斯?jié)舛葦?shù)據(jù)進行實時預測。

2)應用Spark Streaming流回歸預測系統(tǒng)來進行瓦斯?jié)舛葘崟r預測，可以使模型的更新周期達到秒級，同時，隨著模型更新頻率的加快，模型的平均預測精度也隨之提高，而總體預測精度則根據(jù)煤礦瓦斯?jié)舛炔蓸勇屎蜏y量誤差來確定。

3)由于實驗采取的瓦斯?jié)舛葦?shù)據(jù)是原始數(shù)據(jù)，并沒經(jīng)過噪聲處理，且煤礦開采過程中影響瓦斯涌出的因素還包括開采強度，煤層厚度等諸多因素，但目前預測模型的建立僅僅考慮與預測點相關系數(shù)較高的傳感器監(jiān)控點所能實時測量的數(shù)據(jù)。因此，如何在流數(shù)據(jù)中既能進行濃度數(shù)據(jù)預處理，又能結合更多導致瓦斯涌出的因素來建立和動態(tài)更新模型以進一步提高瓦斯災害預警精度是下一步研究工作內容。

[1] 張劍英, 程健, 侯玉華, 等. 煤礦瓦斯?jié)舛阮A測的ANFIS方法研究[J]. 中國礦業(yè)大學學報, 2007, 36(4):494-498.

ZHANG Jianying, CHENG Jian, HOU Yuhua，et al． Forecasting coalmine gas concentration based on adaptive neuro-fuzzy inference system[J]. Journal of China University of Mining& Technology, 2007, 36(4):494-498.

[2] 楊麗, 劉暉, 毛善君, 等. 基于多元分布滯后模型的瓦斯?jié)舛葎討B(tài)預測[J]. 中國礦業(yè)大學學報, 2016, 45(3):455-461.

YANG Li, Liu Hui, MAO Shanjun, et al. Dynamic prediction of gas concentration based on multivariate distribution lag model[J]. Journal of China University of Mining & technology, 2016, 45(3):455-461.

[3] 董丁穩(wěn). 基于安全監(jiān)控系統(tǒng)實測數(shù)據(jù)的瓦斯?jié)舛阮A測預警研究[D]. 西安: 西安科技大學, 2012.

[4] 張寶燕, 李茹, 穆文瑜. 基于混沌時間序列的瓦斯?jié)舛阮A測研究[J]. 計算機工程與應用, 2011, 47(10):244-248.

ZHANG Baoyan, LI Ru, MU Wenyu. Study on gas concentration prediction based on chaotic time series[J]. Computer Engineering and Applications, 2011,47(10):244-248.

[5] 劉俊娥, 楊曉帆, 郭章林. 基于FIG-SVM的煤礦瓦斯?jié)舛阮A測[J]. 中國安全科學學報, 2013, 23(2):80-84.

LIU June, YANG Xiaofan, GUO Zhanglin. Prediction of coal mine gas concentration based on FIG-SVM[J]. China Safety Science Journal, 2013, 23(2):80-84.

[6] 付華, 豐盛成, 劉晶, 等. 基于DE-EDA-SVM的瓦斯?jié)舛阮A測建模仿真研究[J]. 傳感技術學報, 2016, 29(2):285-289.

FU Hua, FENG Shengcheng, LIU Jing, et al. The modeling and simulation of gas concentration prediction based on De-Eda-Svm[J]. Chinese Journal of Sensors and Actuators, 2016, 29(2):285-289.

[7] 郭瑞, 徐廣璐. 基于信息融合與GA-SVM的煤礦瓦斯?jié)舛榷鄠鞲衅黝A測模型研究[J]. 中國安全科學學報, 2013, 23(9):33-38.

GUO Rui, XU Guanglu. Research on coal mine gas concentration multi-sensor prediction model based on information fusion and GA-SVM[J]. China Safety Science Journal, 2013, 23(9):33-38.

[8] 穆文瑜, 李茹. 基于K-Means聚類的瓦斯?jié)舛阮A測[J]. 計算機應用, 2011, 31(3):702-705.

MU Wenyu, LI Ru. Prediction of gas concentration based on K-Means clustering[J]. Journal of Computer Applications, 2011, 31(3):702-705.

[9] 彭程, 潘玉民. 粒子群優(yōu)化的RBF瓦斯涌出量預測[J]. 中國安全生產(chǎn)科學技術, 2011, 7(11):77-81.

PENG Cheng, PAN Yumin. Particleswarm optimization RBF for gas emission prediction[J]. Journal of Safety Science and Technology, 2011, 7(11):77-81.

[10] 曹博, 白剛, 李輝. 基于PCA-GA-BP神經(jīng)網(wǎng)絡的瓦斯含量預測分析[J]. 中國安全生產(chǎn)科學技術, 2015, 11(5):84-90.

CAO Bo, BAI Gang, LI Hui. Prediction of gas content based on PCA-GA-BP neural network[J]. Journal of Safety Science and Technology, 2015, 11(5):84-90.

[11] 劉奕君, 趙強, 郝文利. 基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡的瓦斯?jié)舛阮A測研究[J]. 礦業(yè)安全與環(huán)保, 2015, 42(2):56-60.

LIU Yijun, ZHAO Qiang, HAO Wenli. Study of gas concentration prediction based on genetic algorithm and optimizing BP neural network[J]. Mining Safety & Environmental Protection, 2015,42(2):56-60.

[12] 唐亮, 李春生, 許虎, 等. 基于BP和RBFNN的神經(jīng)網(wǎng)絡算法在瓦斯預測中的應用及比較[J]. 中國安全生產(chǎn)科學技術, 2007, 3(6):31-34.

TANG Liang, LI Chunsheng, XU Hu, et al. The application and comparison of neural network based on algorithm BP and RBFNN in methane prediction[J]. Journal of Safety Science and Technology, 2007, 3(6):31-34.

[13] 胡俊, 胡賢德, 程家興. 基于Spark的大數(shù)據(jù)混合計算模型[J]. 計算機系統(tǒng)應用, 2015, 24(4):214-218.

HU Jun, HU Xiande, CHEN Jiaxing. Big data hybrid computing mode based on spark[J]. Computer Systems and Applications, 2015, 24(4):214-218.

[14] Matei Zaharia, Tathagata Das, Haoyuan Li, et al.Discretized streams: fault-tolerant streaming computation at scale[A]. Proceedings of the Twenty-Fourth ACM Symposium on Operating Systems Principles[C]. Farmington, PA, November 03-06, 2013.

[15] Bar N, Ule G. Streaming Linear Regression on Spark MLlib and MOA[A]. Proceedings of the 2015 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining Paris France[C]. August 25-28, 2015.