基于紅外遙感信息的煤礦車輛異常行為檢測(cè)研究

李玉吉，曹旭輝

(陜西國(guó)防工業(yè)職業(yè)技術(shù)學(xué)院，陜西 西安 710300)

在煤礦開采中，運(yùn)輸成本和能耗占工程的大部分，其中對(duì)煤礦車輛的監(jiān)控和調(diào)度是保障煤礦正常開采的重要條件[1]。若煤礦車輛出現(xiàn)交通事故，會(huì)影響煤礦開采的正常進(jìn)行。已有相關(guān)報(bào)道顯示，在車輛發(fā)生交通事故前，大部分車輛出現(xiàn)異常駕駛行為[2]。并且，由于天氣、道路、調(diào)度等不確定因素，也會(huì)導(dǎo)致煤礦車輛出現(xiàn)異常行為[3]。因此，檢測(cè)煤礦車輛的異常行為，及時(shí)采取有效措施，可以大幅度降低煤礦車輛的事故發(fā)生[4]，降低煤礦開采的成本，維護(hù)煤礦的交通安全。

通常對(duì)于煤礦車輛異常行為的檢測(cè)主要是通過(guò)人工查看監(jiān)控視頻和現(xiàn)場(chǎng)巡邏等方式完成[5]。這不僅浪費(fèi)了大量的人力，而且人工易出現(xiàn)疏漏，導(dǎo)致監(jiān)測(cè)的效果并不理想[6]。目前有相關(guān)研究提出，利用視頻圖像處理技術(shù)，識(shí)別煤礦車輛的異常行為，對(duì)煤礦車輛的逆行、超速等違規(guī)駕駛發(fā)出警告，提前排查易造成事故的潛在因素[7]。還有學(xué)者提出利用雙向長(zhǎng)短記憶網(wǎng)絡(luò)[8]和GPS信息[9]對(duì)煤礦車輛的駕駛行為進(jìn)行檢測(cè)。但在應(yīng)用中發(fā)現(xiàn)，其易受外界環(huán)境干擾，對(duì)檢測(cè)結(jié)果的輸出不穩(wěn)定，難以滿足現(xiàn)實(shí)應(yīng)用需求。

紅外遙感影像中包含眾多地物細(xì)節(jié)，具有較高的分辨率。利用車輛在紅外遙感影像中的信息提取車輛行為特征，實(shí)現(xiàn)煤礦車輛異常行為的精準(zhǔn)檢測(cè)。紅外遙感影像中，受光照影響導(dǎo)致相同類別的地物可能存在差異的光譜特征，利用光譜特征所存在的差異，可獲取煤礦車輛異常行為檢測(cè)所需信息。紅外遙感影像受陰影干擾影響較大，提取紅外遙感影像中有用信息時(shí)，需及時(shí)處理紅外遙感影像中陰影，可利用圖像增強(qiáng)方法處理圖像，使圖像可滿足煤礦車輛異常行為檢測(cè)需求。為此，提出基于紅外遙感信息的煤礦車輛異常行為檢測(cè)方法，并對(duì)其應(yīng)用效果進(jìn)行了分析。

1 煤礦車輛異常行為檢測(cè)方法

1.1 基于像元的圖像增強(qiáng)

選取基于像元的圖像增強(qiáng)方法增強(qiáng)紅外遙感圖像中存在目標(biāo)車輛區(qū)域的對(duì)比度。將紅外遙感圖像中陰影區(qū)域的鄰近像元灰度值差異拉伸[10]，提升紅外遙感圖像的對(duì)比度，令陰影區(qū)域細(xì)節(jié)信息更加全面展示，提升煤礦車輛異常行為檢測(cè)性能。p與q分別表示灰度值為Ip與Iq的一對(duì)像元，kqp表示以上2個(gè)像元間的拉伸系數(shù)，可得拉伸系數(shù)為：

(1)

紅外遙感圖像中一對(duì)像元的灰度值是否需拉伸利用拉伸系數(shù)體現(xiàn)。分析以上公式可知，一對(duì)像元所處區(qū)域陰影越強(qiáng)，像元與像元間的灰度值接近程度越高[11]，具有較小的空間距離，此時(shí)拉伸系數(shù)較大，即該對(duì)像元所需拉伸灰度差值的程度越高，利用灰度差值拉伸提升陰影區(qū)域的局部對(duì)比度。將像元的清晰度權(quán)重引入紅外遙感圖像增強(qiáng)中，避免拉伸系數(shù)受到圖像噪聲影響。πp為紅外遙感圖像中像元p的清晰度權(quán)重：

(2)

與像元p存在同個(gè)灰度值的像元集合{r:|Ir=Ip}，即式(2)的計(jì)算范圍。

利用清晰度權(quán)重衡量像元p中是否包含噪聲。像元p的鄰近點(diǎn)與其灰度值相同時(shí)，其灰度值波動(dòng)極小[12]，即清晰度權(quán)重πp數(shù)值越高時(shí)，像元p越不可能為噪聲點(diǎn)。將所獲取的清晰度權(quán)重引入式(1)中，獲取考慮清晰度權(quán)重情況下拉伸系數(shù)為:

(3)

輸入紅外遙感圖像的灰度級(jí)Ip，利用變換函數(shù)T轉(zhuǎn)化為T(Ip)，|T(Ip)-T(Iq)|為紅外遙感圖像像元的灰度值差，灰度值差與輸入圖像中的相應(yīng)拉伸系數(shù)利用變換函數(shù)轉(zhuǎn)換成固定比例[13]，變換函數(shù)T屬于超定方程組，需獲取其近似解。設(shè)存在累計(jì)灰度拉伸系數(shù)Gp(x)為:

(4)

像元集合{q:|Iq=Ip+x}內(nèi)全部像元與像元的相關(guān)系數(shù)Gpq包含于Gp(x)中。Gp(x)的大小可體現(xiàn)像元與該像元p存在大小為x的灰度差值需要拉伸的程度。式(4)引入了對(duì)數(shù)函數(shù)，有效避免紅外遙感圖像增強(qiáng)處理過(guò)程中所存在的放大飽和噪聲等過(guò)度增強(qiáng)情況[14]。設(shè)存在x>0，令變換函數(shù)T處于單調(diào)狀態(tài)，需滿足：

(5)

式中，α為歸一化常數(shù)。

紅外遙感圖像中鄰近像素點(diǎn)灰度級(jí)間的差異為B(Ip)，其表達(dá)式為：

B(Ip)=T(Ip)-T(Ip-1)

(6)

聯(lián)立式(5)與式(6)可得:

B(Ip+x)=αGp(x)

(7)

分析式(7)可知，針對(duì)紅外遙感圖像中的隨機(jī)像元，均需滿足以下方程：

B=αGp

(8)

設(shè)存在包含權(quán)重的代價(jià)函數(shù)J(B)為:

(9)

式中，Wp為對(duì)角矩陣，對(duì)角元為2/[1+exp(|i-Ip|)]。

將矩陣B的極值點(diǎn)利用J(B)求偏導(dǎo)獲取，獲取最優(yōu)解B*為：

(10)

變換函數(shù)最優(yōu)解:

(11)

式(11)所獲取結(jié)果即為紅外遙感圖像增強(qiáng)的近似解。以上獲取該近似解過(guò)程中，充分考慮了紅外遙感圖像中差異區(qū)域像元所存在的灰度差異[15]，具有較高的自適應(yīng)性。將該方法應(yīng)用于煤礦車輛異常行為檢測(cè)中，利用T可實(shí)現(xiàn)目標(biāo)車輛部位的局部增強(qiáng)。

1.2 煤礦車輛跟蹤

完成紅外遙感圖像目標(biāo)煤礦車輛部位的局部增強(qiáng)后，需進(jìn)行煤礦車輛跟蹤操作。煤礦車輛跟蹤即目前幀與上一幀紅外遙感圖像中的運(yùn)動(dòng)煤礦車輛匹配[16]，選取非參數(shù)的概率密度估計(jì)方法均值漂移算法實(shí)現(xiàn)紅外遙感信息中煤礦車輛的跟蹤。均值漂移方法利用所獲取概率分布極值實(shí)現(xiàn)紅外遙感圖像中目標(biāo)煤礦車輛的定位，完成煤礦車輛的跟蹤。采用均值漂移方法跟蹤紅外遙感圖像中煤礦車輛過(guò)程如下。

(1)初始化紅外遙感圖像中窗口位置以及窗口大小。

(2)計(jì)算紅外遙感圖像中搜索窗口中的零階矩公式：

(12)

計(jì)算紅外遙感圖像中搜索窗口中的一階矩為：

(13)

計(jì)算紅外遙感圖像中搜索窗口中的質(zhì)心為：

(14)

式中，I(x，y)為像素值。

(3)調(diào)整搜索窗口大小。

(4)移動(dòng)搜索窗口中心至依據(jù)式(14)所獲取的質(zhì)心位置。移動(dòng)前設(shè)定移動(dòng)閾值以及迭代次數(shù)，當(dāng)移動(dòng)的距離高于閾值時(shí)，返回至步驟(3)，直至滿足所設(shè)定迭代次數(shù)或小于所設(shè)置閾值為止。

利用以上過(guò)程計(jì)算紅外遙感圖像中的全部幀，迭代過(guò)程中始終將前幀計(jì)算所獲取的窗口中心以及大小設(shè)置為初始值，完成紅外遙感圖像中煤礦車輛目標(biāo)跟蹤。采用均值漂移法跟蹤煤礦車輛目標(biāo)的跟蹤結(jié)果為外接矩形。

1.3 煤礦車輛異常行為檢測(cè)

利用煤礦車輛跟蹤結(jié)果明確煤礦車輛運(yùn)動(dòng)信息，利用煤礦車輛運(yùn)動(dòng)信息獲取煤礦車輛運(yùn)動(dòng)方向、運(yùn)動(dòng)速度等異常行為檢測(cè)參數(shù)。將利用均值漂移法所跟蹤煤礦車輛目標(biāo)的矩形中心點(diǎn)作為煤礦車輛位置信息。煤礦車輛位置存在明顯改變時(shí)，表示煤礦車輛存在大幅度移動(dòng)，是煤礦車輛運(yùn)行過(guò)程中的明顯異常行為。利用像素體現(xiàn)煤礦車輛位置改變情況，可得紅外遙感圖像中煤礦車輛位置移動(dòng)改變量公式：

(15)

式中，(xn，yn)與(xn-1，yn-1)分別為當(dāng)前幀以及前幀圖像的目標(biāo)煤礦車輛坐標(biāo)。

煤礦車輛的加速度信息可體現(xiàn)目標(biāo)煤礦車輛速度變化情況，紅外遙感圖像中目標(biāo)煤礦車輛加速度計(jì)算公式：

(16)

式中，vf與vi分別為時(shí)間為tf與ti時(shí)目標(biāo)煤礦車輛的速度值。

煤礦車輛位置與運(yùn)動(dòng)方向存在較大關(guān)聯(lián)，目標(biāo)煤礦車輛運(yùn)動(dòng)過(guò)程中方向變化表達(dá)式：

(17)

確定以上變量后，獲取煤礦車輛位置移動(dòng)改變量的狀態(tài)函數(shù)g(p)為：

(18)

煤礦車輛運(yùn)動(dòng)速度改變量狀態(tài)函數(shù)h(a)為：

(19)

煤礦車輛運(yùn)動(dòng)方向改變量狀態(tài)函數(shù)為j(θ)：

(20)

檢測(cè)煤礦車輛異常行為時(shí)，需提前設(shè)定好閾值Rp、Ra與Rθ，所獲取的車輛不同參數(shù)改變量高于已設(shè)定閾值后，將車輛的不同狀態(tài)函數(shù)設(shè)置為1，否則設(shè)置為0。

通過(guò)以上過(guò)程可知，煤礦車輛異常行為檢測(cè)首先需獲取車輛位置、車輛移動(dòng)速度以及車輛運(yùn)動(dòng)方向的改變量，采用加權(quán)融合方法處理煤礦車輛異常行為的狀態(tài)函數(shù)，設(shè)置三者權(quán)重值之和為1。對(duì)比加權(quán)融合結(jié)果以及所設(shè)定判別閾值，當(dāng)融合結(jié)果高于所設(shè)定閾值R時(shí)，表示車輛存在異常行為，否則表示車輛為正常行駛狀態(tài)。煤礦車輛異常行為檢測(cè)流程如圖1所示。

圖1 煤礦車輛異常行為檢測(cè)流程Fig.1 Flow chart of abnormal behavior detection of vehicles in coal mine

2 實(shí)例分析

為驗(yàn)證所研究煤礦車輛異常行為檢測(cè)方法檢測(cè)煤礦車輛異常行為有效性，選取某煤礦車輛作為檢測(cè)對(duì)象，在煤礦道路上設(shè)置紅外遙感攝像頭，采集該車輛在道路中2020年9月5日9:16—9:25時(shí)的紅外遙感影像共2 854幀，根據(jù)所采集紅外遙感影像，利用本文方法分析研究該煤礦車輛行駛是否存在異常行為。本文方法采用像元方法實(shí)現(xiàn)了紅外遙感圖像增強(qiáng)，為了客觀評(píng)價(jià)本文方法的紅外遙感圖像增強(qiáng)性能，選取信息熵以及對(duì)比度增強(qiáng)值作為評(píng)價(jià)紅外遙感圖像增強(qiáng)性能的重要指標(biāo)。

統(tǒng)計(jì)采用本文方法增強(qiáng)紅外遙感圖像隨機(jī)幀數(shù)的信息熵結(jié)果以及對(duì)比度增強(qiáng)值結(jié)果，為了直觀驗(yàn)證本文方法的運(yùn)行性能，對(duì)本文方法進(jìn)行測(cè)試，結(jié)果見表1。由表1可以看出，采用本文方法增強(qiáng)紅外遙感圖像，所獲取的對(duì)比度增強(qiáng)值較大，說(shuō)明本文方法可有效提升紅外遙感圖像的局部對(duì)比度。本文方法可重點(diǎn)增強(qiáng)紅外遙感圖像中目標(biāo)車輛位置的局部對(duì)比度，展現(xiàn)更多有用信息，有效提升圖像的局部對(duì)比度，展示更多的有用信息。

表1 信息熵和對(duì)比度增強(qiáng)值測(cè)試結(jié)果Tab.1 Test results of information entropy and contrast enhancement values

圖像中包含細(xì)節(jié)信息越豐富，圖像信息熵越大。由表1可知，本文方法在不同幀圖像中均具有較大的信息熵，說(shuō)明本文方法處理紅外遙感圖像具有較高的圖像增強(qiáng)性能。采用本文方法對(duì)紅外遙感圖像實(shí)施增強(qiáng)處理，其信息熵結(jié)果均高于7，增強(qiáng)效果優(yōu)越，具有較高的保留圖像信息的優(yōu)勢(shì)，可為提升煤礦車輛異常行為檢測(cè)性能提供依據(jù)。

完成圖像處理后，采用本文方法檢測(cè)車輛是否存在異常行為。設(shè)置煤礦車輛位置變化閾值為12、煤礦車輛速度變化閾值為23、煤礦車輛運(yùn)動(dòng)方向閾值為0.5。統(tǒng)計(jì)采用本文方法檢測(cè)第120—134幀紅外遙感圖像煤礦車輛位置變化、煤礦車輛速度變化以及運(yùn)動(dòng)方向變化結(jié)果，統(tǒng)計(jì)結(jié)果如圖2—圖4所示。由圖2—圖4實(shí)驗(yàn)結(jié)果可以看出，研究煤礦車輛在133幀時(shí)，煤礦車輛位置變化、速度變化以及運(yùn)動(dòng)方向變化均高于已設(shè)置閾值，說(shuō)明此時(shí)煤礦車輛可能存在異常行為。

圖2 煤礦車輛位置變化Fig.2 Location change diagram of vehicles in coal mine

圖3 煤礦車輛速度變化Fig.3 Speed change diagram of coal mine vehicles

圖4 煤礦車輛運(yùn)動(dòng)方向變化Fig.4 Variation diagram of vehicle movement direction in coal mine

設(shè)置煤礦車輛位置變化、煤礦車輛速度變化以及煤礦車輛運(yùn)動(dòng)方向變化的權(quán)值分別為0.3、0.3、0.4，煤礦車輛異常行為檢測(cè)閾值為0.5。采用本文方法獲取該煤礦車輛異常行為檢測(cè)結(jié)果如圖5所示。由圖5實(shí)驗(yàn)結(jié)果可以看出，紅外遙感圖像為133幀時(shí)，煤礦車輛的判別參數(shù)加權(quán)融合值高于所設(shè)定閾值，確定此時(shí)煤礦車輛存在異常行為，紅外遙感圖像為133幀時(shí)所對(duì)應(yīng)時(shí)間為9:21:25，檢測(cè)結(jié)果為煤礦車輛此時(shí)存在異常行為。

圖5 煤礦車輛異常行為檢測(cè)結(jié)果Fig.5 Detection results of abnormal behavior of vehicles in coal mines

采用本文方法檢測(cè)到的實(shí)驗(yàn)道路場(chǎng)景視頻中煤礦車輛異常行為結(jié)果，如圖6所示。分析圖6可以看到，該檢測(cè)道路場(chǎng)景視頻在第95幀檢測(cè)出煤礦車輛出現(xiàn)超速異常，并且視頻圖像中用紅色框圈出車輛。說(shuō)明本文方法準(zhǔn)確檢測(cè)出了道路場(chǎng)景視頻中的煤礦車輛異常行為。

圖6 煤礦車輛異常行為檢測(cè)Fig.6 Detection of abnormal behavior of coal mine vehicles

3 結(jié)語(yǔ)

紅外遙感圖像對(duì)比度較低，導(dǎo)致陰影部分無(wú)法分辨細(xì)節(jié)，圖像增強(qiáng)過(guò)程中容易增強(qiáng)噪聲。利用像元方法增強(qiáng)紅外遙感圖像中的細(xì)節(jié)信息，可提升紅外遙感圖像中煤礦車輛部位的局部對(duì)比度，抑制紅外遙感圖像噪聲，展示更多的目標(biāo)煤礦車輛區(qū)域細(xì)節(jié)，提升煤礦車輛異常行為檢測(cè)精度。利用完成增強(qiáng)的紅外圖像可實(shí)現(xiàn)煤礦車輛異常行為檢測(cè)。所研究煤礦車輛異常行為檢測(cè)方法可依據(jù)跟蹤結(jié)果檢測(cè)煤礦車輛異常行為，可作為交通管理的理論依據(jù)。