基于雙目視覺的礦井外因火災(zāi)感知與定位方法

孫繼平，李月

(中國礦業(yè)大學(xué)(北京)， 北京 100083)

0 引言

煤炭在我國能源供給中占據(jù)主要地位，在今后相當(dāng)長的時期內(nèi)，我國能源仍將以煤炭為主[1-2]。煤炭行業(yè)是高危行業(yè)，瓦斯、水、火、頂板等事故困擾著煤礦安全生產(chǎn)[3-4]。其中，礦井火災(zāi)事故每起死亡人數(shù)最多，是煤礦重特大事故之一。因此，礦井火災(zāi)監(jiān)測和火源定位研究，對避免或減少礦井火災(zāi)，減少人員傷亡和財(cái)產(chǎn)損失具有重要意義。

礦井火災(zāi)包括煤炭自燃引起的內(nèi)因火災(zāi)和其他熱源引起的外因火災(zāi)。礦井外因火災(zāi)一般發(fā)生在有電纜、膠帶和機(jī)電設(shè)備的巷道、硐室和采掘工作面。礦井外因火災(zāi)一般早期火源較小，但如不及時發(fā)現(xiàn)和滅火，極易擴(kuò)大，產(chǎn)生大量的有毒有害氣體和高溫，造成大量人員傷亡和財(cái)產(chǎn)損失，甚至引起瓦斯和煤塵爆炸[5]。因此，實(shí)時監(jiān)測礦井外因火災(zāi)，及時發(fā)現(xiàn)礦井火災(zāi)并定位火源，自動啟動火源附近的滅火裝置及時滅火，可最大程度地減少人員傷亡和財(cái)產(chǎn)損失。

目前礦井外因火災(zāi)監(jiān)測方法主要有溫度、煙霧、一氧化碳、二氧化碳、氧氣等傳感器監(jiān)測、分布式光纖測溫、紅外測溫、可見光圖像和紅外圖像監(jiān)測等。礦用分布式光纖測溫可以定位，一般用于電纜和膠帶溫度及火災(zāi)監(jiān)測。其他礦井外因火災(zāi)監(jiān)測方法均沒有火源定位功能。為此，筆者提出了基于雙目視覺的礦井外因火災(zāi)感知與定位方法，該方法既可感知火災(zāi)，又可定位火源，具有監(jiān)控范圍廣、成本低、響應(yīng)快、可視化等優(yōu)點(diǎn)。

1 基于雙目視覺的礦井外因火災(zāi)感知與火源定位方法

為解決礦井外因火災(zāi)感知和火源定位問題，筆者提出了基于雙目視覺的礦井外因火災(zāi)感知與定位方法：① 在有電纜、膠帶和機(jī)電設(shè)備的巷道、硐室和采掘工作面多點(diǎn)設(shè)置礦用可見光雙目攝像機(jī)或近紅外雙目攝像機(jī)，采集監(jiān)控區(qū)域圖像。② 對圖像進(jìn)行預(yù)處理，為減少紅色、橙色和黃色等物體對火災(zāi)識別的影響，采用圖像亮度信息；對采集到的圖像進(jìn)行閾值分割得到二值化圖像。③ 火焰是礦井外因火災(zāi)的主要特征，對圖像進(jìn)行火焰識別；若圖像檢測區(qū)域有火焰，發(fā)出火災(zāi)報(bào)警信號，并融合溫度、煙霧、二氧化碳、一氧化碳、氧氣和紅外傳感器信息，提高報(bào)警準(zhǔn)確性。④ 通過礦用可見光雙目攝像機(jī)或近紅外雙目攝像機(jī)，對火源進(jìn)行測距，結(jié)合攝像機(jī)位置對火源進(jìn)行定位。⑤ 輸出火源位置信息，控制火源附近滅火裝置滅火，也可采用遠(yuǎn)紅外雙目攝像機(jī)進(jìn)行火災(zāi)感知和火源定位，但成本高。基于雙目視覺的礦井外因火災(zāi)感知與火源定位方法流程如圖1所示。

圖1 基于雙目視覺的礦井外因火災(zāi)感知與火源定位方法流程Fig.1 Flow of mine external fire sensing and fire source positioning methods based on binocular vision

礦井外因火災(zāi)感知與火源定位，首先要感知火災(zāi)。火焰是礦井外因火災(zāi)的主要特征。可見光和近紅外圖像火焰識別方法主要有尖角特征、圓形度特征、矩形度特征、顏色特征、質(zhì)心變化率特征、面積變化率特征、亮度變化率特征、閃爍特征等[6]。其中，火焰顏色特征受紅色、橙色和黃色等物體干擾。質(zhì)心變化率特征、面積變化率特征、亮度變化率特征、閃爍特征等需對多幀連續(xù)圖像進(jìn)行處理[7-8]，響應(yīng)速度慢。為及時發(fā)現(xiàn)火災(zāi)，本文選擇不需多幀連續(xù)圖像的尖角特征、圓形度特征和矩形度特征進(jìn)行火焰識別。

1.1 尖角特征

火焰形狀與礦燈、車燈、巷道燈等其他發(fā)光物體相比具有明顯的尖角特性，可以用來區(qū)分火焰與礦燈、車燈、巷道燈等干擾。火焰的尖角形狀表現(xiàn)為上窄下寬。筆者提出了一種火焰尖角辨識方法，如圖2所示。

圖2 火焰尖角判別方法Fig.2 Judgement method of flame sharp angle

(1) 對圖像進(jìn)行預(yù)處理，得到二值化圖像。

(2) 搜尋目標(biāo)圖像最高點(diǎn)作為疑似火焰頂點(diǎn)A,A可以是1個像素點(diǎn)，也可以是多個像素點(diǎn)M。

(3) 分別計(jì)算從頂點(diǎn)A向下第H1行、H2行和H3行的目標(biāo)圖像寬度N1、N2和N3。1

(4) 若滿足M

1.2 圓形度特征

圓形度反映火焰的形狀與圓形的接近程度，是識別火焰的一個重要特征。火焰形狀是不規(guī)則的，而礦燈、車燈、圓形巷道燈等發(fā)光物體的形狀是圓形，因此，可以通過圓形度特征區(qū)分火焰與礦燈、車燈和圓形巷道燈等。圓形度C的值越接近于1，說明檢測區(qū)域越接近圓。火焰的形狀比較復(fù)雜，圓形度比較小。因此，可以通過設(shè)定圓形度閾值K，判別是否為火焰。當(dāng)圓形度C≤K時，判定檢測區(qū)域?yàn)榛鹧妗?/p>

(1)

式中：C為圓形度；S為檢測區(qū)域面積；L為檢測區(qū)域周長。

1.3 矩形度特征

矩形度表示檢測區(qū)域?qū)ζ渫饨泳匦蔚某錆M程度，反映檢測區(qū)域與矩形的相似程度[9]，用檢測區(qū)域面積與其最小外接矩形的面積之比表示。當(dāng)檢測區(qū)域?yàn)榫匦螘r，其矩形度τ取得最大值1.0。當(dāng)檢測區(qū)域?yàn)閳A形時，其矩形度τ取值為π/4。當(dāng)檢測區(qū)域?yàn)榛鹧鏁r，其矩形度τ較小。

τ=S/St

(2)

式中St為檢測區(qū)域最小外接矩形面積。

2 火焰識別試驗(yàn)研究

試驗(yàn)選取紙張、白熾燈、矩形臺燈作為試驗(yàn)對象。紙張燃燒模擬煤礦井下火災(zāi)，白熾燈模擬煤礦井下礦燈、車燈等圓形發(fā)光物體，矩形臺燈模擬煤礦井下巷道燈等矩形發(fā)光物體。

使用雙目攝像機(jī)進(jìn)行圖像采集，以左視圖為例，首先對圖像進(jìn)行預(yù)處理，對采集到的原圖進(jìn)行閾值分割，得到二值化圖像[10];然后進(jìn)行腐蝕和膨脹處理，去除二值化圖像中的一些噪聲點(diǎn)；最后采用火焰尖角辨識方法，并用式(1)和式(2)計(jì)算圖像中火焰、白熾燈、矩形臺燈的圓形度、矩形度和尖角數(shù)量，根據(jù)圓形度、矩形度和尖角數(shù)量對圖像進(jìn)行火焰識別。火焰、白熾燈、矩形臺燈圖像及其面積和邊緣提取如圖3所示。

(a) 左視圖

(b) 面積提取

(c) 邊緣提取

3 基于雙目視覺的火源定位試驗(yàn)研究

3.1 雙目測距及誤差試驗(yàn)

使用HNY-CV-002可變基線雙目攝像機(jī)進(jìn)行測距，基線可調(diào)整范圍為2.5～21 cm。攝像機(jī)采用USB3.0通信接口，輸出彩色、未壓縮的雙目高清圖像，幀率達(dá)30幀/s，鏡頭焦距采用3.1 mm。將左右攝像機(jī)拍攝到的畫面拼接成一幀圖像后輸出，并且在硬件上調(diào)制2個圖像傳感器時序絕對同步，最大程度地確保拍攝到的是同一時間的圖像。

在進(jìn)行火災(zāi)監(jiān)測定位試驗(yàn)前，需要測試雙目攝像機(jī)的測距范圍及誤差。首先確定基線進(jìn)行雙目標(biāo)定，得到攝像機(jī)的內(nèi)外參數(shù)和畸變參數(shù)[11-13]。移動目標(biāo)物體，進(jìn)行測距試驗(yàn)，確定可以生成視差圖的最近距離；改變目標(biāo)物體與攝像頭之間的距離，得到不同距離的測距誤差。選取基線為2.5、4.5、6.5、10、15、21 cm進(jìn)行測距及誤差試驗(yàn)，試驗(yàn)結(jié)果如圖4所示。從圖4可看出，在雙目攝像機(jī)基線固定情況下，測量絕對誤差隨實(shí)際距離增大而增大，實(shí)際距離越大，絕對誤差越大。在被測物體與雙目攝像機(jī)距離一定的條件下，雙目攝像機(jī)基線越長，絕對誤差越小。雙目攝像機(jī)基線越長，可測最近距離越遠(yuǎn)，可測最遠(yuǎn)距離也越遠(yuǎn)。反之，雙目攝像機(jī)基線越短，可測最近距離越近，可測最遠(yuǎn)距離也越近。雙目攝像機(jī)可測得的最近距離是最近能進(jìn)行立體匹配并生成物體完整深度圖的距離。

圖4 不同基線的測距誤差曲線Fig.4 Curves of distance measurement errors for different baselines

3.2 基于雙目視覺的火焰定位

為提高雙目攝像機(jī)測距范圍，將雙目攝像機(jī)基線設(shè)定為21 cm，圖像尺寸是1 280×480。采用基于圓形度、矩形度、尖角數(shù)量特征融合的火災(zāi)監(jiān)測方法，在雙目攝像機(jī)采集到的左右視圖中同時進(jìn)行監(jiān)測，監(jiān)測到火焰后用矩形框標(biāo)注，如圖5所示，采用式(3)判斷左右視圖中監(jiān)測到的火焰是否為同一火焰。

圖5 雙目攝像機(jī)監(jiān)測火源圖像Fig.5 Binocular camera to monitor fire source image

|Xcl-Xcr-dXcl|≤a

(3)

式中：Xcl為左視圖中矩形框中心的橫坐標(biāo)；Xcr為右視圖中矩形框中心的橫坐標(biāo)；dXcl為點(diǎn)(Xcl,Ycl)處的視差，視差是左右視圖中匹配點(diǎn)橫坐標(biāo)的差值；a為設(shè)定閾值。

|Xcl-Xcr-dXcl|的最大值是在測距的最近距離處取得，最大值是12個像素，所以a設(shè)定為12。當(dāng)矩形框中心點(diǎn)在左右視圖中橫坐標(biāo)的差值與視差相差不大時，將其判斷為左右視圖中的匹配點(diǎn)，即同一火焰。

根據(jù)監(jiān)測到的火源在左視圖中像素坐標(biāo)系中的坐標(biāo)，輸出該坐標(biāo)的深度值作為火源的距離值。改變火焰距雙目攝像機(jī)距離，試驗(yàn)數(shù)據(jù)見表1。

表1 火源測距與誤差Table 1 Fire source ranging and error

試驗(yàn)結(jié)果表明，在2～15 m，絕對誤差與實(shí)際距離成正比，實(shí)際距離越大，絕對誤差越大。最小相對誤差在實(shí)際距離7 m處，為0.46%，隨著火焰增大，雙目視覺可監(jiān)測火焰最遠(yuǎn)距離也隨之增加。

4 結(jié)論

(1) 礦井火災(zāi)會造成人員傷亡和財(cái)產(chǎn)損失，是煤礦重特大事故之一。及時發(fā)現(xiàn)礦井火災(zāi)，并對火源定位，是及時撲滅火災(zāi)、減少人員傷亡和財(cái)產(chǎn)損失的關(guān)鍵。目前礦井外因火災(zāi)監(jiān)測方法主要有溫度、煙霧、一氧化碳、二氧化碳、氧氣等傳感器監(jiān)測、分布式光纖測溫、遠(yuǎn)紅外測溫、圖像監(jiān)測等。

(2) 提出了基于雙目視覺的礦井外因火災(zāi)感知與定位方法：① 在有電纜、膠帶和機(jī)電設(shè)備的巷道、硐室和采掘工作面多點(diǎn)設(shè)置礦用可見光雙目攝像機(jī)或近紅外雙目攝像機(jī)，采集監(jiān)控區(qū)域圖像。② 對圖像進(jìn)行預(yù)處理，為減少紅色、橙色和黃色等物體對火災(zāi)識別的影響，采用圖像亮度信息；對采集到的圖像進(jìn)行閾值分割得到二值化圖像。③ 火焰是礦井外因火災(zāi)的主要特征，對圖像進(jìn)行火焰識別；若圖像檢測區(qū)域有火焰，發(fā)出火災(zāi)報(bào)警信號，并融合溫度、煙霧、二氧化碳、一氧化碳、氧氣和紅外傳感器信息，提高報(bào)警準(zhǔn)確性。④ 通過礦用可見光雙目攝像機(jī)或近紅外雙目攝像機(jī)，對火源進(jìn)行測距，結(jié)合攝像機(jī)位置對火源進(jìn)行定位。⑤ 輸出火源位置信息，控制火源附近滅火裝置滅火，也可采用遠(yuǎn)紅外雙目攝像機(jī)進(jìn)行火災(zāi)感知和火源定位，但成本高。該方法既可感知火災(zāi)，又可定位火源，具有監(jiān)控范圍廣、成本低、響應(yīng)快、可視化等優(yōu)點(diǎn)。

(3) 雙目視覺攝像機(jī)在基線固定情況下，測距絕對誤差隨實(shí)際距離增大而增大，實(shí)際距離越遠(yuǎn)，絕對誤差越大。在雙目視覺攝像機(jī)與被測物體距離不變的條件下，雙目視覺攝像機(jī)基線越大，測距絕對誤差越小。雙目視覺攝像機(jī)基線越大，可測最近距離越遠(yuǎn)，可測最遠(yuǎn)距離也越遠(yuǎn)。反之，雙目視覺攝像機(jī)基線越小，可測最近距離越近，可測最遠(yuǎn)距離也越近。

(4) 可見光和近紅外圖像火焰識別方法主要有尖角特征、圓形度特征、矩形度特征、顏色特征、質(zhì)心變化率特征、面積變化率特征、亮度變化率特征、閃爍特征等。其中，火焰顏色特征受紅色、橙色和黃色等物體干擾。質(zhì)心變化率特征、面積變化率特征、亮度變化率特征、閃爍特征等需對多幀連續(xù)圖像進(jìn)行處理，響應(yīng)速度慢。為及時發(fā)現(xiàn)火災(zāi)，選擇不需多幀連續(xù)圖像的尖角特征、圓形度特征、矩形度特征進(jìn)行火焰識別。

(5) 火焰形狀與礦燈、車燈、巷道燈等其他發(fā)光物體相比具有明顯的尖角特性，可以用來區(qū)分火焰與礦燈、車燈、巷道燈等的干擾，火焰的尖角形狀表現(xiàn)為上窄下寬。提出了一種火焰尖角辨識方法：① 對圖像進(jìn)行預(yù)處理，得到二值化圖像。② 搜尋目標(biāo)圖像最高點(diǎn)作為疑似火焰頂點(diǎn)A，A可以是1個像素點(diǎn)，也可以是多個像素點(diǎn)M。③ 分別計(jì)算從頂點(diǎn)A向下第H1行、H2行和H3行的目標(biāo)圖像寬度N1、N2和N3。1