基于行為識別的銅冶煉智能安全監控系統

程彤 侯開虎

摘 ?要： 近年來國內生產事故頻發，尤其是冶金等高危行業的生產安全事故總是伴隨著嚴重的人員傷亡和財產損失，而很多事故都是因工作人員的不規范行為所致。本文針對銅冶煉行業在生產過程中存在的不規范行為，例如違規越界、未佩戴防毒面具、違規吸煙等，采用計算機視覺中的行為識別技術和入侵偵測技術開發了一款基于行為識別的銅冶煉智能安全監控系統。該系統通過目標檢測、特征提取、行為分類、行為識別等技術對不規范行為進行識別，并在系統中實現及時警報提醒的功能。該系統的應用能有效的提高對不規范行為的識別和警示，從而實現減少該類事故的發生。

關鍵詞： 行為識別;目標檢測;LSTM;入侵偵測

中圖分類號： TP391 ? ?文獻標識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.08.023

本文著錄格式：程彤，侯開虎. 基于行為識別的銅冶煉智能安全監控系統[J]. 軟件，2019，40（8）：98101

【Abstract】： In recent years， domestic production accidents have occurred frequently， especially in production safety accidents in high-risk industries such as metallurgy， which are always accompanied by serious casualties and property losses， and many accidents are caused by irregular behavior of workers. In this paper， the irregular behavior of the copper smelting industry in the production process， such as violation of regulations across the border， no wearing gas masks， illegal smoking， etc.， using behavior recognition technology and intrusion detection technology in computer vision to develop a behavior-based copper Smelting intelligent safety monitoring system. The system identifies non-standard behaviors through target detection， feature extraction， behavior classification， behavior recognition and other technologies， and realizes the function of timely alarm reminding in the system. The application of the system can effectively improve the identification and warning of irregular behaviors， thereby reducing the occurrence of such accidents.

【Key words】： Behavior rcognition; Target dtection; LSTM; Intrusion dtection

0 ?引言

近年來國內安全生產領域事故頻發，尤其是冶金、化工等行業的生產安全事故總是伴隨著大量的人員傷亡，給生產人員的人身安全造成極大威脅，而且也必然會給企業或者政府造成嚴重經濟損失。調查發現，很多事故的主要原因之一便是操作人員的不規范行為而導致的，如果對不規范行為進行識別并及時提醒制止可有效降低事故的發生率。但傳統監控技術的主要功能是用于人工值守監視或者在事故之后提供一定的證據。由于人類存在視覺疲勞的生理現象，無法保持長時間注意力集中，所以僅通過人工監視對規避安全生產事故的作用非常有限。

目前計算機視覺技術得到了廣泛地應用與發展，具有智能識別功能的智能視頻監控系統已經逐步應用在在交通和公共安全等領域，在很大程度上解決了人工值守效率低下的問題。智能視頻監控系統技術能夠基本實現人臉檢測、危險區域檢測、行為識別等功能，并實現了在多個領域中的初步應用。Messing等[2]人把關鍵點運動歷史的特征用于動作識別，該特征在包含復雜動作的高精度視頻上發揮出較大的優勢。Liu等[3]人用菲德勒嵌入的方法將旋轉圖像和局部時空立方體嵌套到同一空間中。近期，微軟劍橋研究院的Shotton等人提出從一幅深度圖像中快速準確地預測人體關節3D時空位置的方法，具有姿態、形體以及衣著不變性等優勢。Laptev等[3]將圖像處理領域廣泛使用的2D Harris檢測算子擴展到三維時空域，提出適合視頻數據的3D Harris時空興趣點探測算子。Ji等[4]將神經網絡（CNN）擴展到三維，提出3D CNN用于行為識別，通過三維（3D）卷積在三維視頻數據中同時編碼空間信息和時間信息。Tran等[5]對三維卷積神經網絡做了進一步的加深和改進，促進了其在行為識別領域的發展。IBM公司還另外獨立自主的開發了一個智能視頻監控系統，并成功投放到市場中開始使用，這個系統很好的利用了便捷的網絡資源，它能通過網絡將前端監控設備拍攝到的視頻實時傳遞到監控終端進行處理和分析，一旦發現了場景中有異常情況就會自動發出警報提醒。中科院自動化研究所已經在相關研究領域取得了非常大的進展，自動化研究所的生物識別與安全技術研究中心已研究開發了智能視頻監控系統。該系統的主要功能包括人和車輛的多目標檢測、跟蹤和分類;運動目標異常行為的識別;人體異常動作識別;監控視頻中的人臉跟蹤與識別;異常的物體遺留與丟失檢測;人群和交通的流量評估、車輛計數和擁堵的報警等等。

當前研究中關于目標檢測以及跟蹤的方法有很多種，即使攻克了視頻監控系統中的部分難點，但是更多更具深度的困難問題依然等待著我們去探索解決，例如特殊天氣狀態下（如下雨天、霧霾天）的系統適用性問題、光照強度自適應問題等等。國內的大部分視頻監控的探討要落后于國外，還做不到把理論應用到實際中，大都滯留在對理論的分析階段，在應用這一層次上還不夠完善，已有并且完善的大數量的視頻系統還不多見。此外，目前智能監控系統的研究和應用主要是針對于公共安防領域，但生產安全領域應用的較少，因此在這一領域的研究及應用前景比較廣闊。

1 ?系統實現關鍵技術

1.1 ?運動目標檢測技術

本系統的開發采用OpenCV中提供的混合高斯模型來完成運動目標的檢測與跟蹤。高斯模型就是用高斯概率密度函數（正態分布曲線）精確地量化事物，將一個事物分解為若干的基于高斯概率密度函數（正態分布曲線）形成的模型。對圖像背景建立高斯模型的原理及過程：圖像灰度直方圖反映的是圖像中某個灰度值出現的頻次，也可以認為是圖像灰度概率密度的估計。因此其能夠在銅冶煉廠的復雜背景條件中檢測運動目標。GMM對視頻中圖像序列每個像素點構建K個高斯分布。K的值一般取3～5。經過驗證在銅冶煉廠條件與環境中取K的值等于3為宜。用K個高斯分布值加權求和描述視頻場景。高斯模型主要是由方差和均值這兩個參數確定，對均值和方差的學習采取不同的學習機制，將直接影響到模型的穩定性、精確性和收斂性。由于此處是對運動目標的背景提取建模，因此需要對高斯模型中方差和均值兩個參數實時更新。 用于表示每個點的像素值，此外K個高斯函數用于代表其概率密度函數，具體如公式（1）所示。

1.2 ?LSTM技術

LSTM技術的基本思想是用LSTM對幀的卷積最后一層的激活在時間軸上進行整合。因為全連接層后的高層特征進行池化已經丟失了空間特征在時間軸上的信息，所以沒有用CNN全連接層后的最后特征進行融合。相對于基于CNN擴展網絡的識別方法，其可以對CNN特征進行更長時間的融合，不對處理的幀數加以上限，從而能對更長時長的視頻進行表達。此外，基于CNN擴展網絡的識別方法沒有考慮同一次進網絡的幀的前后順序，而基于LSTM的識別技術通過引入記憶單元，可以有效地表達幀的先后順序。

1.3 ?入侵偵測技術

在銅冶煉廠的復雜生產環境中，在某些環節或工藝進程中部分區域存在較大安全隱患，因此進行相應生產時禁止有人員進入限定區域。如果工作人員違規進入該區域需要進行及時警報，及時提醒工作人員退出限定區域。在此需要用到入侵偵測技術，將安全警示線作為X軸建立一個坐標系，利用坐標投影的方式將運動檢測點在原始圖像中的坐標投影到該坐標系鐘中，圖1為坐標投影示意圖。

由公式（3）中計算出來的 的正負號即可判斷運動檢測點即工作人員是否越過了安全警示線，如果越過即代表違規進入了限定區域，系統需要及時發出警報，并提醒違規工作人員盡快退出。

2 ?系統需求分析

通過對銅冶煉生產的整體流程及各主要生產車間的調研了解，基于文獻資料對該系統進行需求分析，該系統主要實現的功能包括行為識別的功能、監控視頻管理的功能、系統設置的功能。

2.1 ?行為識別功能

冶金行業的生產流程較長且復雜，包括眾多關鍵環節，涉及煉鐵、煉鋼、軋鋼、焦化、燒結、煤氣[1]等。許多生產環節都具有高危風險，其中涉及人員、設備故障、操作異常等眾多原因。因此，在整個生產過程中都一直伴隨著不同程度的危險。參考《冶金行業較大危險因素辨識與防范指導手冊》中常見的若干危險因素，其中可以通過視頻對工作人員操作進行監控的方面包括：

（1）進入有毒有害氣體容易聚集的場所時需要佩戴防毒面具;

（2）某些生產環節開始時，嚴禁人員出現在具有潛在危險的限定區域。例如燒結環節中，嚴禁人員在取料機的行進軌道上行走或停留;

（3）工作人員可能因中毒等因素導致意外倒地，如果未被及時發現會致使錯失搶救。

（4）在易燃易爆氣體濃度較高的區域嚴禁吸煙，否則容易導致爆炸。

本文所研究的系統需要針對以上易導致事故發生的因素進行智能監控，對生產過程中所出現的不規范行為或者危險事件進行及時識別，并做出相應的提醒和警報，以避免不必要的人員傷亡和經濟損失。系統除了實現行為識別的功能外，還需滿足監控信息管理的功能、系統設置的功能。

2.2 ?監控視頻管理的功能

監控視頻管理是對生產過程中采集到的視頻信息進行統一管理，涉及實時監控信息、歷史監控信息、監控設備管理等。實現對實時監控信息的儲存和查看，對歷史監控信息的查詢和調閱，同時可對多個生產區域的監控設備進行管理，包括對每臺設備實現參數設置的功能。

2.3 ?系統設置的功能

系統設置功能包括對車間、人員、設備的信息及權限進行管理，其中最主要的部分是實現對每臺監控設備的參數進行設置，以適應不同的生產環境和應用場景。此外，預警等級設置功能需實現對預警類型、預警的時間段、預警的靈敏度準確設置的功能。

3 ?系統架構設計

因為冶煉廠生產環境復雜，且監視頻視野較為廣闊，需要檢測的運動人體目標較小，因此大大增加了目標檢測的難度。此外還應考慮運動目標被其他物體遮擋或者干擾的因素，所以在選取目標檢測的方法時需要考慮多個方面。本文選用開源的OpenCV進行行為識別，這是一款完全免費的計算機視覺庫，其在運動目標檢測及跟蹤方面提供了很多函數。

3.1 ?基于ASP.NET MVC的系統框架

ASP.NET MVC 是Windows系統下面的Web研發框架，其通過把項目分成Model、View和Controller，使得復雜項目更加容易維護，減少項目之間的耦合。ASP.NET MVC的特色優勢就是把輸入邏輯，業務邏輯和顯示邏輯這三個任務分離，易于測試和默認支持測試驅動開發。銅冶煉智能安全監控系統采用B/S架構進行開發，便于多車間、多人員進行監控管理。

3.2 ?系統的功能架構

基于行為識別的銅冶煉智能安全監控系統包含監控視頻管理、異常行為識別、系統設置三大模塊，其中異常行為識別是系統的核心模塊，其涉及入侵（越界）偵測、佩戴防毒面具識別、違規吸煙識別等功能，具體的系統功能架構如圖2所示。

4 ?系統實現

銅冶煉廠的生產流程較長、工藝復雜，涉及多個車間及部門，因此具有需要多部門、多人員同時進行監控管理的特點。為了便于管理此系統采用B/S模式，并基于ASP.NET MVC的web框架進行開發。系統前端是在Visual Studio 2017的環境下編寫實現，用戶登錄后即可訪問主界面，主界面涵蓋了監控視頻管理、異常行為識別、系統設置等模塊。對于異常行為的識別是基于開源的計算機視覺庫OpenCV進行實現，由于OpenCV提供了Python語言的接口，故后端的入侵偵測、佩戴防毒面具檢測、違規吸煙等行為識別算法采用Python語言編寫實現。此外系統還實現了對歷史監控視頻的管理，包括對歷史監控視頻信息的查詢和瀏覽等功能。

4.1 ?運動目標檢測

運動目標檢測是行為識別的基礎，利用OpenCV提供的BackgroundSubtractor做視頻圖像的背景分割，并且完成對運動目標的檢測。系統實現過程中采用K-Nearest（KNN）背景分割器，其中用BackgroundSubtractorKNN來實現運動目標檢測核心代碼如下：

fgmask = bs.apply（frame）

th = cv2.threshold（fgmask.copy（）， 244， 255， cv2.THRESH_BINARY）[1]

dilated = cv2.dilate（th， cv2.getStructuring-Element（cv2.MORPH_ELLIPSE， （3，3））， iterations = 2）

image， contours， hier = cv2.findContours （dilated， cv2.RETR_EXTERNAL， cv2.CHAIN_APPROX_ SIMPLE）

for c in contours：

if cv2.contourArea（c） > 1600：

continue

（x，y，w，h） = cv2.boundingRect（c）

cv2.rectangle（frame， （x，y）， （x+w， y+h）， （255， 255， 0）， 2）

用BackgroundSubtractorKNN來實現運動目標檢測的具體效果如圖3所示。

4.2 ?對佩戴防毒面具的識別

在部分生產環節進程中會產生有毒有害氣體，而有些區域極易導致有毒有害氣體聚集造成人員中毒事件，因此工作人員進入有毒有害氣體容易聚集的場所時必須要佩戴防毒面具。對于是否按要求佩戴了防毒面具需要在進入該區域之前就完成識別，因此可以將識別系統與門禁系統集成，只有工作人員身份信息的權限符合并且系統識別到該人員已經佩戴防毒面具，門禁系統方可允許工作人員進入該區域。

5 ?結語

基于行為識別的銅冶煉智能安全監控系統的開發是企業實現安全生產監控信息化、智能化的一個重要環節，本文研究實現了對多個違規行為的識別，包括佩戴防毒面具的識別、違規進入限定區域的識別、意外倒地的識別、違規吸煙的識別等。從效果來看系統基本實現了設計預期，同時也存在一定的不足。例如在燒結布料過程中，工作人員需要用鐵鍬接落下的混合料時必須側身站立，否則會面臨較多隱患，對此行為的監控識別目前還未能實現。此外對于物體違規放置的識別本文也為涉及到，這些領域有待進一步研究。總體而言，本系統的研究為銅冶煉廠實現安全生產監控智能化提供了一種思路，具有一定的借鑒意義。

參考文獻

[1] 張孟豪. 鋼鐵企業綠色生產行為的影響因素及其作用機理研究[D]. 中國礦業大學， 2016.

[2] 李波. 視頻序列中運動目標檢測與跟蹤算法的研究[D]. 北京交通大學， 2012.

[3] 毛志強， 馬翠紅， 崔金龍， 王毅. 基于時空雙流卷積與LSTM的人體動作識別[J]. 軟件， 2018， （09）： 9-12.

[4] 邢曉紅. 基于視頻的人的異常行為識別方法研究[D]. 沈陽航空航天大學， 2017.

[5] 讓智能交通系統更智慧， 計算機視覺在交通領域五大應用方向[J]. 軟件， 2018， （07）： 224-225.

[6] Mark T.Hoske， 辛磊夫. 基于機器視覺的檢測系統[J]. 軟件， 2007， （01）： 31-34.

[7] 韓敏捷. 基于深度學習的動作識別方法研究[D]. 南京理工大學， 2017.

[8] 徐海燕. 復雜環境下行為識別特征提取方法研究[D]. 東南大學， 2016.

[9] 顧菘. 視頻目標的跟蹤與分割的理論和方法研究[D]. 電子科技大學， 2016.

[10] 裴利沈. 視頻中人體行為識別若干問題研究[D]. 電子科技大學， 2016.

[11] 張明杰. 基于視覺的目標跟蹤與行為識別方法研究[D]. 西北大學， 2015.

[12] 黃凱奇， 陳曉棠， 康運鋒， 譚鐵牛. 智能視頻監控技術綜述[J]. 計算機學報， 2015， （06）： 1093-1118.

[13] 劉高文. 基于隱馬爾可夫模型的視覺行為分析和異常檢測研究[D]. 南京理工大學， 2008.