云邊協(xié)同在礦井視頻監(jiān)控系統(tǒng)設(shè)計(jì)中的應(yīng)用

馬志剛,高 照

(1.國能神東煤炭集團(tuán),陜西 神木 719315;2.陜西億杰鑫信息技術(shù)有限公司,陜西 西安 710065)

0 引言

目前,煤礦中的設(shè)施設(shè)備主要包括:(1)礦壓監(jiān)測裝置;(2)通風(fēng)設(shè)備;(3)供配電設(shè)備;(4)給排水設(shè)備;(5)人員定位裝置;(6)監(jiān)測監(jiān)控設(shè)施;(7)皮帶機(jī);(8)綜采設(shè)備。自2018年全面實(shí)施“互聯(lián)網(wǎng)+”、物聯(lián)網(wǎng)改革至今,通過安裝傳感器、執(zhí)行器、工業(yè)攝像頭、環(huán)境監(jiān)測儀器,配置5G通信技術(shù)、Wi-Fi技術(shù)、API技術(shù)等,搭建了以設(shè)備層、數(shù)據(jù)采集層、網(wǎng)絡(luò)層、數(shù)據(jù)管理層、應(yīng)用層為主的架構(gòu),初步實(shí)現(xiàn)了“物聯(lián)網(wǎng)平臺(tái)+業(yè)務(wù)系統(tǒng)”的智能化管理。但由于可視化程度較低,加上數(shù)據(jù)類型增加、數(shù)據(jù)海量增長等情況的出現(xiàn),煤礦企業(yè)在當(dāng)前亟須結(jié)合云邊協(xié)同技術(shù)加強(qiáng)礦井視頻監(jiān)控系統(tǒng)設(shè)計(jì)。

1 礦井視頻監(jiān)控系統(tǒng)應(yīng)用現(xiàn)狀概述

在現(xiàn)代煤礦安全生產(chǎn)中,視頻監(jiān)控十分關(guān)鍵。從當(dāng)前煤礦智慧園區(qū)建設(shè)中應(yīng)用的礦井視頻監(jiān)控系統(tǒng)看,主要由前端配置、中端通信、終端移動(dòng)設(shè)備共同組成,具體包括監(jiān)控器、上傳視頻數(shù)據(jù)、工業(yè)攝像頭等。但由于此類系統(tǒng)中的數(shù)據(jù)分析能力較差:一方面,不能有效反饋井下應(yīng)用場景中的實(shí)際狀況,降低安全效率[1];另一方面,由于無差別數(shù)據(jù)采集與存儲(chǔ),視頻冗余數(shù)據(jù)量相對較大,會(huì)給傳輸網(wǎng)絡(luò)、服務(wù)器等帶來壓力。在這種現(xiàn)狀下,井下視頻監(jiān)控信息與地面工業(yè)物聯(lián)網(wǎng)綜合管控平臺(tái)的遠(yuǎn)距離傳輸過程中容易發(fā)生傳輸時(shí)延問題,不利于智能預(yù)警的及時(shí)實(shí)現(xiàn)。部分煤礦集團(tuán)為了有效解決此類問題應(yīng)用了私有云,有較好的實(shí)踐效果。本研究在吸收此類經(jīng)驗(yàn)的基礎(chǔ)上,從云邊協(xié)同技術(shù)聯(lián)合應(yīng)用角度出發(fā),提出了一種適用于礦井高危場所視頻監(jiān)控系統(tǒng)的設(shè)計(jì)方案。

2 礦井視頻監(jiān)控系統(tǒng)設(shè)計(jì)中的云邊協(xié)同應(yīng)用

2.1 系統(tǒng)架構(gòu)

在設(shè)計(jì)思路方面,工作人員在礦井視頻監(jiān)控系統(tǒng)設(shè)計(jì)中,圍繞數(shù)據(jù)傳輸時(shí)延問題選擇中心云與邊緣云技術(shù),并于邊緣節(jié)點(diǎn)配置適配性較高的運(yùn)動(dòng)目標(biāo)算法,既可滿足監(jiān)控器快速采集數(shù)據(jù)的需求,也能增強(qiáng)對視頻的預(yù)處理及分析效率,完成視頻預(yù)處理后可以通過“視頻流”的形式,將相關(guān)數(shù)據(jù)同步上傳到云服務(wù)器。在系統(tǒng)架構(gòu)設(shè)計(jì)方面,工作人員選擇目標(biāo)正在應(yīng)用的“大平臺(tái)+小系統(tǒng)”框架,以數(shù)據(jù)為對象,構(gòu)建以“邊緣感知層?網(wǎng)絡(luò)傳輸層?云服務(wù)層?應(yīng)用層”為主的分層架構(gòu),如圖1所示。

圖1 礦井視頻監(jiān)控系統(tǒng)架構(gòu)

以邊緣感知層為例,主要以煤礦現(xiàn)用的物聯(lián)設(shè)備為準(zhǔn)配置相應(yīng)硬件與軟件。具體包括:(1)微處理器;(2)監(jiān)控探頭;(3)工業(yè)攝像頭;(4)設(shè)備控制模塊;(5)通信模塊等。系統(tǒng)旨在完成對終端物聯(lián)設(shè)備中的視頻圖像采集、視頻分析、越界報(bào)警、本土資源管理等任務(wù)。工作人員可以把運(yùn)動(dòng)目標(biāo)檢測算法配置到微處理器之中,分析視頻圖像[2]。同時(shí),借助電機(jī)電源控制系統(tǒng)、通信模塊、聲光語音提醒功能等,完成對闖入與報(bào)警信息的采集與推送,并針對視頻幀過濾技術(shù)將相關(guān)入侵視頻段落截取并存儲(chǔ)到圖像存儲(chǔ)模塊,及時(shí)上傳到云服務(wù)器。

以網(wǎng)絡(luò)傳輸層為例,目前的煤礦中已配置工業(yè)以太環(huán)網(wǎng),可充分利用該核心網(wǎng)絡(luò)保障數(shù)據(jù)傳輸?shù)目煽啃浴＞唧w而言,如果存在入侵或發(fā)現(xiàn)異常數(shù)據(jù)后,邊緣感知層可以通過即時(shí)傳輸與緩存?zhèn)鬏攦煞N方式,分別對報(bào)警與預(yù)處理后的視頻加以處理,減少帶寬方面的壓力。

以云服務(wù)層為例,由于部署了性能較高的服務(wù)器集群,并且配置安裝了數(shù)據(jù)分析與處理能力更強(qiáng)的數(shù)據(jù)庫服務(wù)器,云服務(wù)器與邊緣節(jié)點(diǎn)之間的復(fù)雜任務(wù)可以獲得快速處理,并把相應(yīng)的云服務(wù)層處理結(jié)果發(fā)送到應(yīng)用層,為其決策及使用提供科學(xué)依據(jù)。

以應(yīng)用層為例,除大屏顯示模塊外,工作人員可以選擇軟件工程中比較經(jīng)典的B/S架構(gòu)。該架構(gòu)通過C#語言編程方式,搭建符合云邊協(xié)同技術(shù)應(yīng)用要求的視頻監(jiān)控應(yīng)用平臺(tái),進(jìn)而通過“開始→視頻采集→內(nèi)容分析→是否進(jìn)入檢測區(qū)域→若否則返回內(nèi)容分析,若是則運(yùn)行目標(biāo)檢測算法→是否為入侵圖像→若否則返回內(nèi)容分析或者是否進(jìn)入檢測區(qū)域,若是則直接發(fā)出有入侵警報(bào)→結(jié)果等圖像處理”的標(biāo)準(zhǔn)流程,實(shí)現(xiàn)邊緣感知層設(shè)置的任務(wù)或功能。

2.2 系統(tǒng)實(shí)現(xiàn)

在該視頻監(jiān)控系統(tǒng)中功能應(yīng)用重點(diǎn)集中在算法上,為了論述的清晰性,下面分別從運(yùn)動(dòng)目標(biāo)檢測、視頻幀過濾、人員入侵檢測3方面做出具體分析。

2.2.1 運(yùn)動(dòng)目標(biāo)檢測

(1)

(2)

因而,把式(2)代入式(1)后,可以獲得背景模型公式:

(3)

根據(jù)式(3),如果有一幀圖像增加到訓(xùn)練集合中,就可以根據(jù)上式對其模型做出相應(yīng)的更新。在這種前提下,工作人員僅需采用背景差分法對圖像背景與當(dāng)前幀進(jìn)行計(jì)算并通過閾值比較方式完成二值化處理即可完成對預(yù)期的運(yùn)動(dòng)目標(biāo)和背景的區(qū)分。

2.2.2 視頻幀過濾

以視頻幀過濾為例,工作人員為完成礦井視頻監(jiān)控系統(tǒng)在應(yīng)用場景中的視頻數(shù)據(jù)記錄、存儲(chǔ),會(huì)因每日數(shù)據(jù)少量增長占據(jù)更多的存儲(chǔ)空間。此時(shí),需要過濾到一些數(shù)據(jù)價(jià)值較低的視頻數(shù)據(jù):一方面,減少網(wǎng)絡(luò)帶寬壓力;另一方面,提高向云服務(wù)器的上傳效率。在該方面可以選擇三幀差分法進(jìn)行運(yùn)行[4]。從原理上看,當(dāng)S為視頻流時(shí),它在當(dāng)前時(shí)間點(diǎn)是否檢測到目標(biāo),可以通過對預(yù)設(shè)的目標(biāo)數(shù)據(jù)“0”或“1”進(jìn)行檢測確定。具體運(yùn)行流程如下:首先,工作人員確定視頻幀序列;其次,工作人員根據(jù)第k-1幀圖像、第k幀圖像、第k+1幀圖像進(jìn)行差分;再次,工作人員通過對上述各幀圖像的灰度處理獲得各幀灰度圖像;最后,工作人員根據(jù)設(shè)置將所有的差圖像轉(zhuǎn)變?yōu)閮深愊嗤牟罘謭D像與一類不同的差分圖像,對其進(jìn)行閾值化處理并差定是否為檢測目標(biāo)的圖像。該算法比較常用,其中任務(wù)優(yōu)先級描述被表示為單位時(shí)間內(nèi)的平均計(jì)算價(jià)值量,因而當(dāng)任務(wù)優(yōu)先級描述越高時(shí),任務(wù)計(jì)算價(jià)值量越大,說明越容易過濾到其中價(jià)值含量較低的視頻數(shù)據(jù)。

2.2.3 人員入侵檢測

以人員入侵檢測為例,工作人員在礦井視頻監(jiān)控系統(tǒng)中設(shè)置了的判斷條件為“是否達(dá)要報(bào)警”,具體以要害區(qū)域周邊設(shè)置的虛擬警戒線為準(zhǔn),檢測對象仍為視頻ROI圖像。例如,當(dāng)目標(biāo)人員進(jìn)入要害區(qū)域前觸碰了設(shè)置的虛擬警戒線:一方面,微處理器可以根據(jù)獲取的信息向系統(tǒng)發(fā)送報(bào)警信號;另一方面,聲光控制系統(tǒng)能通過聲光方式向管理員發(fā)送入侵信息,并在截取視頻監(jiān)控段落的基礎(chǔ)上,將其發(fā)送到前端應(yīng)用平臺(tái)之中。此時(shí),應(yīng)用層的管理員可以通過窗口中的彈屏與語音提示信息查看報(bào)警情況。為了預(yù)防侵入人員給現(xiàn)場工作人員造成損害,工作人員可利用該系統(tǒng)中的微處理器和設(shè)備控制模塊之間的關(guān)聯(lián),完成對閉鎖控制信號的發(fā)送,有效控制電機(jī)電源并通過關(guān)閉電源的方式預(yù)防工作人員可能受到的傷害。

2.3 系統(tǒng)測試

2.3.1 上位機(jī)界面顯示

在上位機(jī)界面顯示方面,設(shè)置3個(gè)板塊構(gòu)成的平臺(tái)界面。具體而言,基于云邊協(xié)同的礦井監(jiān)控視頻系統(tǒng)設(shè)計(jì)與算法配置完成后,應(yīng)通過實(shí)驗(yàn)測試方式對其應(yīng)用的有效性做進(jìn)一步檢查。具體操作時(shí),工作人員可以先在B/S架構(gòu)下通過C#語言、Winform控件建設(shè)平臺(tái)[5];再據(jù)日常監(jiān)控、管理維護(hù)要求,對視頻監(jiān)控?cái)?shù)據(jù)、報(bào)警信息等進(jìn)行查詢。當(dāng)發(fā)生入侵事件后,監(jiān)控視頻能夠把監(jiān)測、區(qū)分、預(yù)處理后的信息上傳到云服務(wù)器并顯示到平臺(tái)界面。

本次研究中選擇網(wǎng)絡(luò)機(jī)制為RTP/RTCP協(xié)議,可以完成音頻、視頻圖像的傳輸。考慮到音頻、視頻同步傳輸要求,工作人員配套設(shè)置了緩沖區(qū),能夠在同一線程中完成對2種碼的交替?zhèn)鬏敗＞唧w實(shí)施時(shí),按照3個(gè)板塊劃分平臺(tái)界面:中間板塊為音視頻,左側(cè)為“視頻界面”下的設(shè)備列表,備選項(xiàng)為人員入侵、對講開啟、錄制視頻。同時(shí),工作人員可以根據(jù)“菜單欄”中的用戶管理、幫助、退出模塊完成相關(guān)操作。右側(cè)為視頻參數(shù)調(diào)整,包括參數(shù)設(shè)置、本地回放、云臺(tái)控制、視頻窗口數(shù)、窗口信息列表顯示區(qū)等。

2.3.2 高危場所人員檢測實(shí)驗(yàn)

在高危場所人員檢測實(shí)驗(yàn)方面,工作人員可以通過對礦井高危險(xiǎn)場所配置要素的模擬方式獲取應(yīng)用效果,并將其與單一的云計(jì)算效果進(jìn)行對比。具體操作如下:

(1)工作人員在同一局域網(wǎng)中部署云服務(wù)器,通過搭載工業(yè)攝像頭、Inter Core i7四核處理器的電腦進(jìn)行計(jì)算。(2)工作人員按照云邊協(xié)同應(yīng)用方式,配置含有微處理器的工業(yè)攝像頭與i5四核處理器。(3)工作人員確認(rèn)上述2種計(jì)算模式后,可以選擇X段視頻流進(jìn)行預(yù)處理、上傳方面的延時(shí)平均值比較。

例如,可以按每組5段選擇3組視頻流,將其分辨率設(shè)置為480 p、720 p、1 080 p。以此為準(zhǔn)進(jìn)行不同視頻流分辨率下的處理時(shí)延比較發(fā)現(xiàn),在直傳云計(jì)算層處理方面的結(jié)果顯示,隨著視頻流分辨率增加,處理時(shí)延相對加,邊緣計(jì)算層預(yù)處理結(jié)果與其呈現(xiàn)為同樣的趨勢,但明顯低于前一種計(jì)算模式下的處理時(shí)延。具體數(shù)據(jù)顯示對礦井視頻監(jiān)控系統(tǒng)目標(biāo)的識(shí)別率大于97.6%,響應(yīng)時(shí)間低于2.0 s,符合高危場所人員檢測要求。需要說明的是,礦井視頻監(jiān)控系統(tǒng)應(yīng)用場景相對較多,其中的多運(yùn)動(dòng)目標(biāo)的增加會(huì)延長視頻數(shù)據(jù)處理時(shí)延,在這種情況下應(yīng)對多運(yùn)動(dòng)目標(biāo)檢測做進(jìn)一步優(yōu)化。

3 結(jié)語

礦井屬于高危場所,應(yīng)用視頻監(jiān)控技術(shù)后可提高礦井監(jiān)控效果與質(zhì)量。由于此類系統(tǒng)應(yīng)用期間存在數(shù)據(jù)時(shí)延方面的問題,不僅沒有全面發(fā)揮視頻監(jiān)控技術(shù)的優(yōu)勢,還降低了整個(gè)煤礦工業(yè)物聯(lián)網(wǎng)綜合管控平臺(tái)的應(yīng)用效果。建議工作人員在煤礦企業(yè)高質(zhì)量建設(shè)與高水準(zhǔn)運(yùn)營期間,一方面引入云邊協(xié)同技術(shù)搭建適配性較高的分層架構(gòu),另一方面增強(qiáng)運(yùn)動(dòng)目標(biāo)檢測、視頻幀過濾、人員入侵檢測等技術(shù)要素配置。全面提高視頻監(jiān)控系統(tǒng)的應(yīng)用效果,為煤礦企業(yè)智能化建設(shè)賦能,為我國經(jīng)濟(jì)向著內(nèi)涵式、集約化、高質(zhì)量增長做出應(yīng)有貢獻(xiàn)。