基于圖像識別的煤礦井下安全管控技術

張立亞

（1.煤炭科學技術研究院有限公司，北京100013；2.煤礦應急避險技術裝備工程研究中心，北京100013；

3.北京市煤礦安全工程技術研究中心，北京100013）

近年來，隨著自動化、信息化技術的發展，煤礦安全工作得到了明顯的提升，井下各類安全監控系統對煤礦的安全生產起到了重要作用[1-5]。但是，由于視頻監控無法進行危險源或違規等行為的智能辨別，形成安全管控盲區，為井下生產埋下一定的安全隱患。

現有煤礦安全監控系統主要針對工作環境及設備監控，未對人員等動目標實時有效監管和分析，存在動目標管控不全面等問題，尤其是對井下危險行為無法辨識、安全隱患排查不到位等導致的事故時有發生。現有的工業電視監控系統，設計簡單、功能單一，只是對進行監控視頻進行實時顯示和存儲等，沒有對視頻流或者圖像信息進行分析、預判，在視頻監控中存在局限性。無法滿足進行重點區域的動目標管控的需求。

為了解決井下人員、設備等在安全管理中存在的問題，彌補現有工業電視監控功能的局限性，以煤礦井下人員和煤量作為動目標的研究對象，應用智能化視頻分析技術，對煤礦綜采面、掘進面、變電所、采空區等重要區域進行可視化實時監控與分析，及時做出預警，實現井下動目標的智能安全管控。

1 動目標異常狀況檢測識別技術

1.1 動目標特征提取與匹配原理

利用井下人員圖像內部的灰度差異，將圖像中的人員劃分為不同的區域，再對劃分的各個區域采用采用SIFT（Scale-invariant feature transform，尺度不變特征變換）算法進行特征提取，并基于提取到的特征進行與模板圖像之間的特征匹配[6-7]。人員特征提取與匹配具體流程為：

1）在相同成像條件下，分別采集人員圖像，并組成樣本圖像集。對圖像中人員進行結構分割，組成工作人員的身軀樣本圖像集A（身軀）、工作人員的上肢樣本圖像集B（手臂）、工作人員的下肢樣本圖像集C、工作人員的頭部樣本圖像集D。

2）分別對樣本圖像集A、B、C、D 中的圖像灰度化，對灰度化后的樣本圖像集A、B、C、D 中每個樣本圖像的相鄰尺度圖像做差計算得到高斯差分尺度空間。

3）通過擬合方法和Hessian 矩陣，剔除低對比度點和邊緣相應點，得到精確特征點，定義為待檢測特征點。

4）將待檢測特征點與樣本圖像特征點進行相似性判定，匹配相似度最高的特征點則為識別結果值。

通過以上步驟，可以實現人體檢測與跟蹤。

1.2 人員位置異常檢測

結合煤礦井下低照度、環境復雜等情況，采用視頻檢測與UWB（Ultra Wideband）動目標精確定位技術相結合的方法進行人員位置識別。利用標定的危險區域位置與人的位置相互關系[8-9]，進行人員的判斷，進而視情況發出預警。人員位置判斷圖如圖1。

圖1 人員位置判斷圖Fig.1 Personnel position judgment chart

圖1 中，人員到危險區域邊界的距離為D，人員到2 個攝像儀的距離分別為L1和L2，危險區域預判邊界與危險區域邊界的間距為H，P 為人員定位判距P1與視頻判距P2的融合結果值。

式中:x、y 為權值，根據井下測試數據，當井下視頻情況良好的情況下，y>x，一般取值y=0.7，x=0.3,當井下照度低粉塵大的情況下，y

將人員到危險區域邊界的距離D 與危險區域預判邊界與危險區域邊界的間距H，進行數值比對，若D

圖2 危險區域動目標跨界判斷圖Fig.2 Cross border judgment chart of moving targets in hazardous area

對人員位置異常檢測主要分析步驟包括：①通過SIFT 方法進行人員行為特征的提取；②進行人員特征點的匹配，實現對人員行為分析；③檢測到人員靠近邊界時，攝像儀進行人員位置判斷，并調取UWB 定位系統的數據，按照式（1）進行比對判斷，得到人員的位置P；④判定人員非法進入危險時，系統發出報警信息。

2 煤礦井下安全管控系統

基于圖像識別的煤礦井下安全管控系統以井下人員的行為、堆煤管理為重點分析對象，根據智慧礦山安全管理的需求，進行系統設計[10-13]。

基于圖像識別的煤礦井下安全管控系統主要由井下礦用監控攝像儀進行圖像采集，通過通信基站和環網交換機進行視頻信號的傳輸，煤礦監控中心的GPU 云服務平臺進行視頻流的管理和視頻場景的算法分析處理，硬盤錄像機進行視頻流的存儲，系統分析的違章信息通過聲光報警設備進行文本、聲音的播報。

系統通過對井下動目標場景的視頻和圖像的分析，包括基于多特征融合的井下動目標識別及異常狀況檢測、煤礦井下復雜背景圖像增強等技術，把深度學習等最新的機器學習算法和計算機視覺技術運用到煤礦生產管理中，實現人員違章預警識別、井下工作人員人臉識別、帶式輸送機運輸帶堆煤檢測識別、片幫及大塊煤識別等。

安全管控平臺的視頻分析功能為：

1）人員管控功能。包括人員違章預警識別和井下工作人員人臉識別：主要是對生產期間人員進出危險區域預警，如：綜、連采工作面生產期間，非專崗人員進入、非法闖入等異常行為進行監控預警；對井下重點場所如水泵房、變電所、綜采工作面等區域的人員進行人臉識別，進而實現人員進出的權限管理。

2）煤量（塊）管控功能。①帶式輸送機運輸帶堆煤檢測識別，利用圖像分析技術，實現帶式輸送機機尾、帶式輸送機運輸帶搭接點等位置堆煤監測和超限預警；②片幫及大塊煤識別，對綜采工作面護幫板、刮板機、轉載機等關鍵場所，進行煤塊的視頻標注訓練，當出現直徑超過刮板機寬度或轉載機寬度的煤塊進行識別和報警，防止大塊煤堵塞的事件發生。

3 試驗驗證

在進行井下試驗測試中，井下重點場所布置15臺礦用攝像儀，地面機房布置2 臺視頻分析服務器、1 臺視頻存儲器，并在煤礦調度中心搭建1 套煤礦井下安全管控平臺。分別選取井下綜采工作面、移變列車處、帶式輸送機等場所進行場景分析驗證。

1）綜采工作面人員管控。在綜采工作面處對人員的違章行為進行檢測和分析。工作面的刮板機區域不允許人員闖入，通過電子圍欄設定危險區域，當人員位置檢測算法識別到該區域內有人員時，通過人員定位信息判斷人員的權限，如果非法傳入，則通過聲光報警設備進行報警提示。工作面人員檢測如圖3。

2）移變列車處人臉識別。在煤礦井下工作面的移變列車處部署1 臺人臉識別攝像儀，進行自動人臉捕捉與識別功能的測試。平臺通過捕捉到的人臉圖像與數據庫中的樣本圖像進行比對，當相似度達到90%以上時，進行關聯匹配。

圖3 工作面人員檢測Fig.3 Detection of working face personnel

3）煤量（塊）管控。以運行的帶式輸送機機頭為例進行試驗，堆煤檢測報警的閾值上限設為75%，在軟件平臺視頻畫面中，可以在該圖像的左上角實時查看煤量的占比信息，當超過設置閾值上限事，進行報警提示。堆煤檢測如圖4，此時煤量值為53%，沒有達到報警值。

圖4 堆煤檢測Fig.6 Stacking coal detection

4）系統技術指標分析。通過對人員管控場景、煤量（塊）管控場景的多次試驗，對系統平臺的實時分析響應時間、識別率等指標進行數據統計分析。主要技術指標見表1。

表1 主要技術指標Table 1 Main technical indicators

通過表1 可以看出，系統平臺的實時分析響應時間小于2 s，識別率大于98%。可以滿足煤礦井下動目標的視頻分析的需求。

4 結 語

基于圖像識別的煤礦井下危險區域安全管控系統，能夠彌補現有煤礦監控系統、人員定位系統和視頻監控系統的不足。將圖像識別與人員管理數據、設備運行數據等進行綜合分析，動態可靠地識別人、機、環、管各方面的風險，實現井下動目標的智能管控，能夠有效提高煤礦安全生產水平。