露天煤礦視頻識別分析系統設計與應用

汪 鵬，付恩三，姜 琳

(應急管理部信息研究院，北京市朝陽區，100029)

目前，露天煤礦已經基本實現在生產辦公區、機修車間、選煤廠、炸藥庫等關鍵位置部署高清視頻攝像頭，實現各類視頻信息的接入，進而實現在露天煤礦調度指揮中心進行視頻信息的實時調閱[1]。露天煤礦部署大量高清攝像頭的目的是通過視頻監控發現設備異常情況和人員違章操作行為，從而及早報警和處理。

目前，大量高清攝像頭的布設僅僅實現對露天煤礦各部位視頻信息的采集，當發生突發事件后，需要進行對應位置和時間的視頻數據提取，大量視頻數據上傳對露天煤礦視頻存儲空間要求極高，且未實現對各類違章行為視頻圖像的智能識別和結構化處理等功能[2-4]。因此，目前露天煤礦視頻監控系統存在如下問題：

(1)視頻數據量龐大，需要大量的存儲空間，沒有價值的視頻數據存儲占比較大[5]。

(2)違章行為的識別完全依靠管理人員事后人工識別，由于調閱視頻存在信息量大、過程繁瑣、識別周期長，因此工作量較大，易造成人員視覺疲憊，違章行為識別準確率較低[6]。

(3)視頻信息僅作為事故發生后備案存檔留存，造成煤礦視頻存儲量大，有意義、有警示作用的視頻并未有效提取存儲。

(4)違章行為不能實時識別，報警處置信息聯動不及時。

(5)系統未實現網絡化傳輸保存，違章行為處置實時性較差。

為了解決上述問題，露天煤礦需要探索創新，充分利用人工智能在圖像分析、語音識別、數據挖掘、深度學習等領域的優勢，構建露天煤礦視頻識別分析系統。通過對露天煤礦現有視頻監控系統的融合，針對露天煤礦關鍵位置/區域和重點場所進行實時監控畫面采集，經過圖像預處理、背景提取、前景目標檢測、目標識別等一系列過程，并通過計算機機器視覺、人工智能、深度學習等技術，對有用視頻信息進行智能分析和處理，實現露天煤礦安全行為異常檢測和預警，并同時對有效的識別結果進行存儲和分析[7]。視頻識別分析技術的應用可以促進煤礦企業的減員增效和提高安全生產系數，有力保障露天煤礦安全工作的全面性和及時性。

1 系統概述

1.1 系統總體架構

系統總體架構分為礦端、云端和客戶端，露天煤礦在指定場所配套攝像頭，礦端部署視頻識別分析硬件設備，通過礦山內網或5G采集并分析礦端攝像頭實時視頻流，依托GPU高性能分析、流媒體服務和內置智能算法等技術能監控到某一模型場景的視頻信息，將識別的視頻信息轉換為視頻流片段、圖片和結構化信息，本地化存儲、展示并上傳到云端，在云端和客戶端部署應用軟件，供各類用戶訪問使用。系統總體架構如圖1所示。

圖1 系統總體架構

1.2 系統技術架構

系統采用B/S架構，在礦端完成視頻信號的采集、存儲、分析識別工作，并將分析識別結果通過互聯網或專網上傳到云端的云數據中心，客戶端用戶可以通過Web瀏覽器和手機App訪問識別分析展示結果，并根據煤礦實際情況，制定報警反饋處置流程，對報警處置過程和結果進行系統登記備案。該系統架構要求具有良好的擴展性，在未來負載增加和并發訪問壓力增大的情況下，每一層可以通過集群、雙機熱備或負載均衡等技術提升系統的處理能力，可以方便擴展和升級。

本系統按照四層技術架構進行設計，系統技術架構如圖2所示。

(1)基礎設施層。基礎設施層主要包括識別分析硬件資源、系統軟件(操作系統、數據庫、應用中間件等)、網絡環境(礦山內網、互聯網、5G)等基礎性工程。

(2)數據資源層。數據資源層用于接收視頻數據流和其他信息數據，為智能識別分析功能引擎提供數據支持，并用來存儲智能分析識別的結果以及報警片段的圖片和視頻，為數據的查詢、統計分析提供基礎。

圖2 系統技術架構

(3)應用支撐層。應用支撐層包括對輸入的數據流進行編解碼、規范化等數據預處理操作，并對預處理后的數據采用深度學習技術實現視頻數據智能識別分析，系統框架基于VUE、JAVA Spring的前后端分離開發技術實現數據調度管理和系統管理。

(4)應用層。應用層能夠對智能識別分析結果進行展示，實現對智能識別分析結果進行統計查詢、報警情況分析、報警片段的圖片和視頻查詢調閱、報警閉環處置以及參數配置等功能。

1.3 系統主要功能

露天煤礦視頻識別分析系統主要功能包括礦端視頻分析識別、模型更新、參數配置、信息展示、違章報警處置和報警數據上傳和存儲功能。系統主要功能如圖3所示。

圖3 系統主要功能

1.3.1礦端視頻分析識別模塊

該模塊通過智能圖像識別設備采集行為視頻數據，可對采集的視頻圖像進行實時預覽播放、檢測、識別和跟蹤，對視頻進行實時結構化分析，并能夠對識別結果進行本地化存儲和閱覽。礦端視頻分析識別界面如圖4所示。

圖4 礦端視頻分析識別界面

1.3.2模型更新模塊

該模塊支持對平臺已有算法模型進行更新，手動上傳離線訓練好的模型參數文件替換原有模型參數，平臺自動識別利用更新后的模型參數進行推理識別。

1.3.3參數配置模塊

該模塊能夠實現對攝像頭設備進行配置，攝像頭配置支持對攝像頭進行增加或刪除、配置攝像頭參數(包括攝像頭名稱、IP地址、視頻流路徑等)，并能夠從已有模型中選擇配置攝像頭需要實現的功能場景模型算法。

1.3.4信息展示模塊

該模塊支持多維度的歷史識別分析結果展示與查詢，包括支持對功能場景、檢測點攝像頭位置、攝像頭名稱、識別結果類別等關鍵字的信息查詢，并支持對不同周期內各類識別分析結果的統計查詢，同時支持模糊查詢。信息展示模塊界面如圖5所示。

圖5 信息展示模塊界面

1.3.5違章報警處置模塊

該模塊對識別到的違章行為進行視頻片段或者圖片的抓取留痕，并產生報警事件和報告，提供報警處置流程，幫助煤礦進行違章閉環管理。

1.3.6報警數據上傳和存儲模塊

該模塊通過視頻采集與分析設備，在礦端完成視頻信號實時采集、存儲和分析后，并將相應的分析結果上傳到大數據中心，輔助模型的優化升級[8]。

2 關鍵技術

2.1 數據處理

通過攝像頭的錄像文件，從中清洗出可用的訓練數據，對攝像頭的視頻流文件進行拆分，得到相應的圖片數據，然后利用標注工具對圖片數據進行標注[9-10]。標注內容主要是識別目標的具體位置和類別等信息，并生成對應的標注文件。數據處理流程如圖6所示。

圖6 數據處理流程

2.2 模型訓練

根據露天煤礦識別場景構建合適的模型，初步選定模型之后，根據需要對標注后的文件進行預處理，然后用預處理后的文件進行模型訓練。在模型訓練的過程中，多次對初步得到的模型進行各項指標的測試。根據測試結果，調整模型的相關參數，從而得到滿足項目需求的模型。

根據不同的應用場景，訓練平臺要支持針對多種不同的數據源進行輸入訓練，包括對遠程傳輸的攝像頭數據、文件流數據、本地設備數據等實現智能識別訓練，因此需要實現不同格式的數據編解碼算法，以適應不同輸入數據的格式要求，同時在多路數據輸入的過程中，還需要合適的調度算法實現多路數據源輸入的調度，從而高效完成數據從輸入到識別的任務全過程。

2.3 模型應用

使用訓練好的模型對輸入的數據流進行推理過程，并將模型識別推理結果進行返回輸出。模型推理流程如圖7所示。

(1)輸入數據支持3種格式，對應文件流模式、本地接入模式、遠程網絡數據模式3種不同的模式。

圖7 模型推理流程

(2)編解碼模塊根據不同的數據源，采用對應的編解碼算法，將數據根據需要進行編解碼，將數據輸入下一個模塊。

(3)數據處理階段通過對數據源輸入數據進行整合，將不同數據源的多路數據整合成固定尺度(可調)的批次，同時為每張圖片提供相應索引，標識其所屬的數據源。

(4)數據進入模型之后完成對圖片的檢測和識別，其中推理階段模型同樣支持FP32、FP6、INT8這3種不同的推理方式，分別對應不同的模型數據精度，以適應不同硬件平臺下的部署需求。

(5)經模型推理后得到檢測結果，并對輸出結果中的流數據進行編碼，生成指定格式的視頻片段和照片。

(6)最終輸出結果分為結構化數據和非結構化數據，結構化數據主要是違章行為信息，存儲到數據庫中，非結構化數據為違章行為視頻片段或照片，以文件形式存儲。

(7)用戶可通過遠程訪問和本地訪問兩種方式調用輸出的結果，滿足其應用需要。

2.4 數據分析

在數據分析階段，根據不同的需求分析檢測結果。在安全帽佩戴檢測中，統計未佩戴安全帽的人數，記錄檢測時間以及攝像頭位置等信息；在車輛檢測中，統計車輛類別信息、車輛數量以及相關場景下的測速等。同時在指定區域內，分析是否存在違規車輛，并及時報警和提供違規記錄等；在調度室值守情況檢測中，統計調度室人數，記錄調度室無人的時間和持續時間，進行報警，保存違規視頻片段；在駕駛員接打電話檢測中，記錄駕駛員接打電話進行時間和持續時間，以及違規時車速，并進行報警提醒，同時保存違規行為視頻片段。

在整體的推理上，根據不同的數據源進行編解碼的適配，然后將多個數據源數據整合之后輸入模型進行推理，推理完成后再根據業務場景的需求對推理結果完成分析、存儲、顯示等。安全帽佩戴檢測判斷邏輯如圖8所示，車輛檢測判斷邏輯如圖9所示，調度室值守檢測判斷邏輯如圖10所示，駕駛員接打電話檢測判斷邏輯如圖11所示，系統推理邏輯如圖12所示。

圖8 安全帽佩戴檢測邏輯

圖9 車輛檢測判斷邏輯

圖10 調度室值守檢測判斷邏輯

圖11 駕駛員接打電話檢測的判斷邏輯

圖12 系統推理邏輯

3 系統應用

內蒙古扎哈淖爾露天煤礦位于內蒙古自治區通遼市扎旗境內扎哈淖爾開發區界內，屬于霍林河煤田的主要存量區域，煤炭貯量為 9.56億t，主要生產優質褐煤。

2019年8月，針對目前常規的現場檢查巡視只能針對固定時間、地點抽采，很難解決現階段安全管理難題的問題，引入并成功應用了露天煤礦視頻識別分析系統。在調度室、機修車間和運輸車輛等多個位置場景開展視頻識別分析，通過后臺數據綜合運算，及時發現無人值班、未佩戴安全帽和行駛車輛過程中接打電話等違章行為，系統生成安全數據分析報告，并形成報警-溝通-處罰-學習的四級處理流程。露天煤礦視頻識別分析系統自投入使用以來，各類報警發生和處置3 000余條，經過在監管中心現場觀摩及安全教育培訓的雙重作用下，報警數量呈陡降趨勢，后期趨于平穩，目前報警數控制在20條/月以內。露天煤礦視頻識別分析系統保證了安全問題實時在控可控，改善了內蒙古扎哈淖爾露天煤礦安全管理狀況，且效果顯著。

4 結語

露天煤礦視頻識別分析系統采用深度學習技術自動對駕駛員接打電話、未佩戴安全帽、值班室無人值守及車輛入侵等行為或場景進行識別分析，存儲識別結果和對應的違規記錄，以短視頻文件或圖片文件進行存儲，實現實時報警信息顯示、歷史報警信息查詢，并按時間和報警類型對報警信息進行統計分析，同時形成分析報告，可根據煤礦的實際情況，實現對不同報警閉環處置管理[11]。

通過構建和應用露天煤礦視頻識別分析系統，能夠使煤礦早發現問題、早解決隱患，極大幫助煤礦監管安全生產、管控人員合規作業，對遏制煤礦重特大事故具有重要意義[12]。