瓦斯?jié)舛攘鲾?shù)據(jù)實時異常檢測方法?

吳海波 施式亮 念其鋒

（1.中南大學(xué)資源與安全工程學(xué)院 長沙 410083）

（2.湖南科技大學(xué)煤礦安全開采技術(shù)湖南省重點實驗室 湘潭 411201）

（3.湖南科技大學(xué)資源環(huán)境與安全工程學(xué)院 湘潭 411201）

（4.湖南科技大學(xué)煤炭資源清潔利用與礦山環(huán)境保護湖南省重點實驗室 湘潭 411201）

1 引言

瓦斯事故是造成礦井特重大事故的主要災(zāi)害之一。為了預(yù)防瓦斯災(zāi)害，礦井通過安裝瓦斯監(jiān)測監(jiān)控系統(tǒng)采集井下瓦斯實時環(huán)境數(shù)據(jù)，分析和挖掘礦井瓦斯實時環(huán)境數(shù)據(jù)中的安全信息，以進行瓦斯風(fēng)險的實時識別和評價是預(yù)防瓦斯災(zāi)害的關(guān)鍵。由于井下環(huán)境的復(fù)雜性，監(jiān)測系統(tǒng)實際監(jiān)測到的瓦斯?jié)舛攘髦斜厝挥幸欢ǖ漠惓＃?］。因此，如何從海量瓦斯?jié)舛葦?shù)據(jù)實時分析與發(fā)現(xiàn)瓦斯?jié)舛犬惓Ｐ畔⒕统蔀榱颂岣咄咚癸L(fēng)險評價準(zhǔn)確率的先決條件。目前，檢測異常數(shù)據(jù)的方法大都以統(tǒng)計和機器學(xué)習(xí)為主［2］。因此，瓦斯?jié)舛犬惓?shù)據(jù)的檢測方法也大多基于機器學(xué)習(xí)方法［3～6］，包括神經(jīng)網(wǎng)絡(luò)技術(shù)和支持向量機也被廣泛采用［7～8］。而隨著傳感技術(shù)的發(fā)展與物聯(lián)網(wǎng)在礦井的普及，礦井采集的瓦斯?jié)舛葦?shù)據(jù)呈指數(shù)級增長，呈現(xiàn)流式大數(shù)據(jù)特征，也使得瓦斯?jié)舛攘鲾?shù)據(jù)異常檢測具備實時應(yīng)用的特點:處理數(shù)據(jù)與輸出結(jié)果都必須是實時的［9］。因此，基于流數(shù)據(jù)的瓦斯?jié)舛犬惓?shù)據(jù)實時檢測技術(shù)不宜采用需要大量學(xué)習(xí)時間的離線機器學(xué)習(xí)來識別異常數(shù)據(jù)［10］，而應(yīng)基于自動的，無監(jiān)督的機器學(xué)習(xí)方法來完成。目前針對流數(shù)據(jù)的異常檢測技術(shù)包括簡單閾值、統(tǒng)計和聚類等技術(shù)［11～13］。這些技術(shù)在處理瓦斯?jié)舛攘鲾?shù)據(jù)異常檢測中仍然存在異常模型更新周期長，達不到秒級實時處理時間等問題。

針對瓦斯?jié)舛葦?shù)據(jù)流的特點，為實現(xiàn)異常檢測模型實時更新且達到秒級響應(yīng)時間的瓦斯?jié)舛攘鲾?shù)據(jù)實時異常檢測，本文利用流式機器學(xué)習(xí)的方法，基于流回歸預(yù)測算法與基于正態(tài)統(tǒng)計分析技術(shù)來建立瓦斯?jié)舛攘鲾?shù)據(jù)異常檢測模型，并以此模型為基礎(chǔ)，構(gòu)建基于Spark Streaming的瓦斯?jié)舛攘鲾?shù)據(jù)異常實時檢測系統(tǒng)。Spark Streaming是基于內(nèi)存的分布式計算框架Spark的流計算組件，既能利用Spark的大數(shù)據(jù)機器學(xué)習(xí)能力，也能處理實時數(shù)據(jù)流。因此，基于Spark Streaming的瓦斯?jié)舛攘鲾?shù)據(jù)異常實時檢測系統(tǒng)能利用流回歸算法定期更新瓦斯?jié)舛阮A(yù)測模型，并將模型同步運用到異常檢測的統(tǒng)計分析中，動態(tài)更新異常檢測模型，達到實時、準(zhǔn)確分析瓦斯?jié)舛攘鲾?shù)據(jù)中異常數(shù)據(jù)的目的。

2 瓦斯?jié)舛犬惓z測模型

瓦斯?jié)舛犬惓z測模型由瓦斯?jié)舛攘骰貧w預(yù)測算法和基于正態(tài)統(tǒng)計分布的異常檢測算法兩部分組成。模型首先通過流式線性回歸算法來實時預(yù)測瓦斯?jié)舛龋缓蟾鶕?jù)預(yù)測值與實測值之間的統(tǒng)計關(guān)系來檢測異常值。

通過統(tǒng)計和挖掘礦井關(guān)鍵測點瓦斯?jié)舛攘鲾?shù)據(jù)，分析其相關(guān)性，可以發(fā)現(xiàn)瓦斯?jié)舛攘鲾?shù)據(jù)在短期內(nèi)具有較強的線性相關(guān)性，因此，可用線性回歸算法來建立煤礦瓦斯?jié)舛阮A(yù)測模型。而線性回歸算法簡單有效，非常適用于大數(shù)據(jù)流的建模和預(yù)測［14］。給定關(guān)鍵測點在某個時間周期t內(nèi)的實時監(jiān)測數(shù)據(jù)為{ }y1，y2，…，yt，則可根據(jù)線性回歸方程:

則最優(yōu)回歸系數(shù)α應(yīng)使損失函數(shù)S()α達到最小。因此，可采用最小二乘法或梯度下降法來求解最優(yōu)回歸系數(shù)α。由于異常檢測系統(tǒng)是采用Spark Streaming流回歸算法，在求解最優(yōu)回歸系數(shù)α?xí)r采用的是梯度下降法。

瓦斯?jié)舛犬惓z測算法由單變量的正態(tài)統(tǒng)計分布概率來實現(xiàn)。定義x為瓦斯?jié)舛攘骰貧w預(yù)測值 yˉ與實測值y之差的絕對值:

來預(yù)測t+1時間的瓦斯?jié)舛葦?shù)，其中，α為線性回歸系數(shù)，ε為白噪聲。通過求解線性回歸系數(shù)α，就可根據(jù)前一個時間周期的歷史數(shù)據(jù)來預(yù)測下一時刻瓦斯?jié)舛葦?shù)。定義損失函數(shù)S()α為預(yù)測值yˉ與實測值 y之差的平方和:

設(shè)ρ( )xn+1為異常檢測函數(shù)。根據(jù)正態(tài)分布的統(tǒng)計規(guī)律，可定義異常檢測閾值∈，如果ρ( )xn+1＜∈，則可判定數(shù)據(jù)點xn+1為異常點，反之則為正常數(shù)據(jù)。

3 基于Spark Streaming的瓦斯?jié)舛攘鲾?shù)據(jù)異常實時檢測系統(tǒng)

整個瓦斯?jié)舛犬惓崟r檢測系統(tǒng)是以Spark Streaming為核心構(gòu)建的。Spark Streaming是基于內(nèi)存的分布式計算框架Spark的流計算組件，是通過將流數(shù)據(jù)轉(zhuǎn)化為批處理作業(yè)來進行流計算的。Spark Streaming流系統(tǒng)結(jié)構(gòu)如圖1所示。Spark Streaming使用DStreams來將流數(shù)據(jù)分解成RDD，并可利用Spark提供的機器學(xué)習(xí)庫MLlib在RDD上進行機器學(xué)習(xí)與建模，從而實現(xiàn)流式機器學(xué)習(xí)。Spark Streaming的分布式計算能力與流式機器學(xué)習(xí)非常適用于實時大數(shù)據(jù)流計算。

圖1 Spark Streaming系統(tǒng)結(jié)構(gòu)［15］

基于Spark Streaming的瓦斯?jié)舛犬惓崟r檢測系統(tǒng)如圖2所示，系統(tǒng)分為三層，包括流處理層、建模層和存儲層。各層的功能如下:

1）流處理層采用Spark Streaming來完成。Spark Streaming不保存任何歷史數(shù)據(jù)，利用基于內(nèi)存的運算來處理流數(shù)據(jù)，可使得瓦斯?jié)舛攘鲾?shù)據(jù)處理時間達到實時數(shù)據(jù)流的時間跨度數(shù)百毫秒到數(shù)秒之間［16］。流處理層Spark Streaming實時接收瓦斯?jié)舛攘鲾?shù)據(jù)，讀取異常檢測模型以判定異常，并將異常結(jié)果寫入分布式存儲系統(tǒng)HBase中。因此，基于Spark Streaming來構(gòu)建流回歸瓦斯?jié)舛犬惓崟r檢測系統(tǒng)能在流計算中進行機器學(xué)習(xí)，同時兼顧流計算的實時性。

2）異常檢測系統(tǒng)的建模層利用Spark從HDFS中讀取瓦斯?jié)舛葰v史數(shù)據(jù)，并用利用MLlib來建立異常檢測模型，并定期將模型寫入HBase進行保存供流處理調(diào)用。整個模型的建立、保存定期運行，以保證模型的實時性。Spark Streaming處理實時濃度數(shù)據(jù)流時，會從HBase中取出建模層最近更新的模型用來檢測流數(shù)據(jù)異常，并將異常數(shù)據(jù)寫入存儲系統(tǒng)作為輸出。

3）存儲層采用與分布式計算相匹配的、支持快速讀寫的、高擴展性的NoSQL系統(tǒng)HBase來實現(xiàn)，在實現(xiàn)模型的存取的同時，還提供異常結(jié)果的查詢處理。

由圖2可知，瓦斯傳感器中的瓦斯?jié)舛葦?shù)據(jù)通過網(wǎng)絡(luò)以流的方式傳入檢測系統(tǒng)，瓦斯?jié)舛攘鲾?shù)據(jù)既可直接寫入HDFS中，也可通過流的方式注入至流處理層中。流處理層讀取瓦斯?jié)舛攘鲾?shù)據(jù)，根據(jù)時間戳讀取存儲層里最新檢測模型進行異常檢測，并以實時流的方式將異常結(jié)果寫入存儲層。建模層主要負責(zé)異常模型的建立，通過讀取HDFS中的前一周期的瓦斯?jié)舛葦?shù)據(jù)來進行異常檢測模型的建立，即求解檢測模型的各種參數(shù)，包括回歸系數(shù)α、均值μ和方差σ2。模型的建立可根據(jù)用戶指定的周期進行，并定期寫入存儲層，以確保異常檢測模型的實時性。存儲層負責(zé)檢測模型的保存和異常結(jié)果的檢索與輸出。

4 仿真實驗及分析

實驗數(shù)據(jù)來自河南某煤礦監(jiān)測監(jiān)控系統(tǒng)采集的3102綜采工作面回風(fēng)隅角瓦斯傳感器（編號001A08）的瓦斯?jié)舛葘崪y數(shù)據(jù)。001A08傳感器以采樣速率0.2Hz收集瓦斯?jié)舛葦?shù)據(jù)，將連續(xù)采樣4h的瓦斯?jié)舛葦?shù)據(jù)流作為實驗數(shù)據(jù)。通過統(tǒng)計與分析，該監(jiān)測點瓦斯?jié)舛葦?shù)據(jù)最大值為1.47%，最小值為0.02%，平均值為0.3114%，標(biāo)準(zhǔn)差為0.0835。其中實時瓦斯?jié)舛葦?shù)據(jù)與前60s內(nèi)采集的濃度數(shù)據(jù)之間的Pearson相關(guān)系數(shù)如表1所示，從表1可知，瓦斯?jié)舛攘鲾?shù)據(jù)間相關(guān)系數(shù)都大于0.5，呈現(xiàn)出較強的線性相關(guān)關(guān)系，因此，利用一定歷史時間的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，建立線性回歸模型，并利用流回歸算法定期更新預(yù)測模型，預(yù)測當(dāng)前瓦斯?jié)舛仁强尚械摹?/p>

表1 瓦斯?jié)舛萷earson相關(guān)系數(shù)

為定期更新檢測模型，系統(tǒng)流處理層采用Spark Streaming的窗口計算來周期性的收集瓦斯?jié)舛攘鲾?shù)據(jù)，并利用建模層的機器學(xué)習(xí)組件MLlib進行動態(tài)流回歸建模。在Spark Streaming的窗口計算中，窗口長度指定采集的訓(xùn)練數(shù)據(jù)的大小。滑動距離則指定基于流回歸異常檢測模型的更新周期。

為評價異常檢測建模窗口長度對異常檢測數(shù)的影響，將異常檢測建模窗口長度分別設(shè)為7m、5m、3m和1m，閾值分別設(shè)為0.15、0.10和0.05時，通過檢測系統(tǒng)檢測的異常數(shù)如圖3所示。當(dāng)窗口長度為3m，閾值為0.15時，異常檢測數(shù)最大為518個，而當(dāng)窗口長度為3m，閾值為0.05時，異常數(shù)為最小210個。由圖3可知，在相同的窗口長度下，異常閾值設(shè)置越大，檢測的異常數(shù)更多。而當(dāng)窗口長度太短，建模數(shù)據(jù)集不能完全反映數(shù)據(jù)集的統(tǒng)計規(guī)律；窗口長度過長，異常檢測模型的參數(shù)擬合較差，這些都導(dǎo)致異常檢測的準(zhǔn)確性有所下降。而窗口長度為3m和5m時，異常檢測數(shù)大致相等。因此，選擇窗口長度為3m或5m時，系統(tǒng)檢測的異常數(shù)據(jù)量和準(zhǔn)確率更利于瓦斯風(fēng)險評價。

圖3 建模窗口長度對異常檢測的影響

表2 不同滑動距離的預(yù)測誤差

本次實驗窗口長度設(shè)為3m，表2展示了窗口長度為3m，滑動距離分別為60s、45s、30s和15s時，流回歸預(yù)測的誤差對比。由表2可知，預(yù)測平均RMSE隨著滑動距離的縮短而減少，而總體RMSE則是滑動距離為45s時最小。從實驗結(jié)果分析可知，異常檢測模型更新周期宜采用45s，既可避免由于異常模型更新周期過長，瓦斯?jié)舛攘鲾?shù)據(jù)波動較大導(dǎo)致的統(tǒng)計結(jié)果的擾動性，也能使得異常檢測模型更為合理、有效。圖4則給出了窗口長度為3m時，滑動距離為45s時，流回歸預(yù)測算法進行實時預(yù)測的瓦斯?jié)舛阮A(yù)測值與實測值的對比。

圖4 流回歸預(yù)測值與實測值對比圖

從建模窗口長度為3m的流數(shù)據(jù)統(tǒng)計結(jié)果分析，在窗口長度內(nèi)的數(shù)據(jù)集X服從正態(tài)分布。因此，在指定的異常建模窗口長度內(nèi)，可以使用基于正態(tài)分布的異常檢測算法來判斷異常。圖5、圖6、圖7分別給出了異常檢測模型統(tǒng)計周期即窗口長度為3m，更新周期即滑動距離為45s，異常閾值分別0.15、0.10和0.05的瓦斯?jié)舛攘鲾?shù)據(jù)異常判定結(jié)果。

圖5 異常檢測結(jié)果（∈=0.15）

圖6 異常檢測結(jié)果（∈=0.10）

圖7 異常檢測結(jié)果（∈=0.05）

由檢測結(jié)果可知，閾值為0.15、0.10和0.05時，檢測到的異常點數(shù)分別為518、374和210。隨著閾值的減小，異常數(shù)也隨之減少。

為評價異常檢測系統(tǒng)的準(zhǔn)確性，可采用箱線圖異常分析法來進行異常檢測與之對比。箱線圖異常分析法是通過周期性的繪制圖形來進行檢測數(shù)據(jù)集中的異常。當(dāng)箱線圖統(tǒng)計周期為5m時，異常數(shù)是233個；統(tǒng)計周期為3m時，異常數(shù)為210個；統(tǒng)計周期為1m時，異常點為138個。從結(jié)果可知，當(dāng)箱線圖分析法的統(tǒng)計周期與異常檢測模型的更新周期同為3m時，二者的異常檢測數(shù)一致。雖然箱線圖異常分析法能靜態(tài)統(tǒng)計異常數(shù)，但跟數(shù)據(jù)集的統(tǒng)計周期關(guān)聯(lián)大，只能根據(jù)數(shù)據(jù)的范圍來確定異常數(shù)據(jù)，且箱線圖分析法的更新周期與統(tǒng)計周期一致，檢測時間只能達到分鐘級，不能實現(xiàn)秒級實時判斷數(shù)據(jù)異常，不適合流數(shù)據(jù)實時處理。而基于流數(shù)據(jù)的瓦斯?jié)舛葦?shù)據(jù)流異常檢測模型更新周期可達45s，判定異常不僅僅跟濃度數(shù)據(jù)大小的空間有關(guān)，還與統(tǒng)計周期的時間長度有關(guān)，從而從時空兩方面判斷異常，使得異常檢測更為實時高效。

5 結(jié)語

1）為檢測瓦斯?jié)舛葦?shù)據(jù)流中的異常數(shù)據(jù)，以提高瓦斯風(fēng)險評價的準(zhǔn)確性，在分析與挖掘瓦斯?jié)舛攘鲾?shù)據(jù)的特征和規(guī)律的基礎(chǔ)上，構(gòu)建基于流回歸的濃度預(yù)測算法與基于正態(tài)統(tǒng)計分布的異常檢測算法相結(jié)合的瓦斯?jié)舛犬惓崟r檢測模型，并給出了基于該檢測模型的瓦斯?jié)舛犬惓崟r檢測系統(tǒng)原型。

2）基于Spark Streaming的瓦斯?jié)舛犬惓崟r檢測系統(tǒng)以Spark Streaming為核心，通過Spark Streaming的流式窗口計算，能指定異常檢測模型的更新周期，并可根據(jù)最新檢測模型來實時檢測流數(shù)據(jù)中的異常，提高了瓦斯風(fēng)險評價的準(zhǔn)確性和時效。

3）由實驗可知，異常檢測窗口長度為3m、滑動距離為45s、異常閾值設(shè)為0.05時，異常檢測數(shù)與統(tǒng)計周期為3m的箱線圖異常分析法異常檢測數(shù)相等，但檢測響應(yīng)時間達到秒級，說明基于瓦斯流數(shù)據(jù)異常實時檢測模型是有效可行的。

4）瓦斯?jié)舛攘鲾?shù)據(jù)異常實時檢測方法采用流數(shù)據(jù)處理技術(shù)，解決了流數(shù)據(jù)中大數(shù)據(jù)機器學(xué)習(xí)處理和實時性問題，為瓦斯風(fēng)險的實時、準(zhǔn)確判斷提供了保障。