基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)

李約翰

隨著港口向智慧化、智能化發(fā)展，龍門(mén)吊自動(dòng)化控制作為智慧港口的重要組成部分越來(lái)越受到港口企業(yè)的重視。寧波梅東集裝箱碼頭有限公司（以下簡(jiǎn)稱“梅東公司”）在龍門(mén)吊自動(dòng)化控制及安全生產(chǎn)方面研發(fā)多項(xiàng)新技術(shù)，其中，基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)利用龍門(mén)吊遠(yuǎn)程控制系統(tǒng)的高清攝像機(jī)和視頻分析技術(shù)，實(shí)現(xiàn)在大車前進(jìn)、后退及吊具下放過(guò)程中對(duì)人員和車輛的識(shí)別，聯(lián)動(dòng)龍門(mén)吊可編程邏輯控制器（programmable logic controller，PLC）控制龍門(mén)吊減速或停機(jī)，聯(lián)動(dòng)大車監(jiān)控臺(tái)實(shí)現(xiàn)安全隱患提示功能，從而保障龍門(mén)吊作業(yè)安全。

1 基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)關(guān)鍵技術(shù)

基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)的核心技術(shù)是視頻識(shí)別技術(shù)，其中包括深度學(xué)習(xí)和特征識(shí)別技術(shù)：深度學(xué)習(xí)技術(shù)對(duì)識(shí)別目標(biāo)進(jìn)行樣本收集、分析和算法生成，主要功能是正向識(shí)別人員和車輛目標(biāo);特征識(shí)別技術(shù)主要對(duì)深度學(xué)習(xí)算法導(dǎo)致的誤報(bào)進(jìn)行反向識(shí)別，將人員和車輛以外的目標(biāo)以及與人員、車輛相似度較高的目標(biāo)排除在外。

1.1 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)技術(shù)起源于人工神經(jīng)網(wǎng)絡(luò)研究，通過(guò)組合低層特征形成更加抽象的高層特征或類別，從而從大量的輸入數(shù)據(jù)中學(xué)習(xí)有效特征表示，并把這些特征用于分類、回歸和信息檢索。深度學(xué)習(xí)實(shí)際上是一種模仿人腦的學(xué)習(xí)，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)，通過(guò)組合低層特征形成更加抽象的高層類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)應(yīng)用YOLO和RCNN深度學(xué)習(xí)技術(shù)。首先，采用選擇性搜索方法在視頻畫(huà)面中選取上千個(gè)可能出現(xiàn)物體的位置;然后，將分割出來(lái)的圖像修正為大小統(tǒng)一的區(qū)塊，放入卷積神經(jīng)網(wǎng)絡(luò)中提取特征，并將提取出來(lái)的特征放入支持向量機(jī)中分類;最后，對(duì)區(qū)塊的邊框做回歸分析，找到合適的位置。YOLO技術(shù)區(qū)別于RCNN技術(shù)的最主要特征是：前者同時(shí)訓(xùn)練并同時(shí)輸出位置和類別信息，其將圖片分為S譙個(gè)格子，每個(gè)格子檢測(cè)其內(nèi)物體，而當(dāng)物體中心在某個(gè)格子內(nèi)時(shí)，這個(gè)格子就負(fù)責(zé)檢測(cè)這個(gè)物體。YOLO與RCNN深度學(xué)習(xí)算法的結(jié)合應(yīng)用可有效提高人員和車輛的識(shí)別率。

1.2 特征識(shí)別技術(shù)

特征識(shí)別技術(shù)采用提升的密集軌跡算法，根據(jù)目標(biāo)的形狀、紋理、亮度等特征，反向識(shí)別深度學(xué)習(xí)算法中出現(xiàn)的非人員和非車輛目標(biāo)：當(dāng)深度學(xué)習(xí)算法認(rèn)為目標(biāo)為人員或車輛，而密集軌跡算法識(shí)別出目標(biāo)具有非人員和非車輛特征時(shí)，目標(biāo)不觸發(fā)報(bào)警，從而有效降低目標(biāo)誤報(bào)率。

2 基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)結(jié)構(gòu)及工作流程

為了配合碼頭自動(dòng)化作業(yè)，梅東公司部署龍門(mén)吊遠(yuǎn)程控制系統(tǒng)，使龍門(mén)吊司機(jī)能夠在中控室通過(guò)觀察龍門(mén)吊上攝像機(jī)拍攝的視頻畫(huà)面遠(yuǎn)程操控設(shè)備作業(yè)。梅東公司原龍門(mén)吊遠(yuǎn)程控制系統(tǒng)使用毫米波雷達(dá)系統(tǒng)作為防撞預(yù)警檢測(cè)技術(shù)手段，存在一定檢測(cè)盲區(qū)，并且人體檢測(cè)效果不佳。為此，增加基于視頻分析技術(shù)的人員和車輛檢測(cè)功能：當(dāng)檢測(cè)到人員或車輛時(shí)，系統(tǒng)發(fā)出警報(bào)信號(hào)，聯(lián)動(dòng)龍門(mén)吊PLC執(zhí)行大車急停、減速動(dòng)作或吊具停止動(dòng)作，大車安全監(jiān)護(hù)臺(tái)顯示警示視頻畫(huà)面并發(fā)出警報(bào)，由安全監(jiān)控人員確認(rèn)是否存在安全隱患并處理警情，從而提高龍門(mén)吊運(yùn)行安全性。

2.1 系統(tǒng)結(jié)構(gòu)

基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)由龍門(mén)吊遠(yuǎn)程控制系統(tǒng)攝像機(jī)、視頻分析儀、大車集中監(jiān)護(hù)臺(tái)等組成（見(jiàn)圖1）。龍門(mén)吊遠(yuǎn)程控制系統(tǒng)應(yīng)用高清網(wǎng)絡(luò)攝像機(jī)，其中：門(mén)腿攝像機(jī)有4個(gè)，小車架吊具云臺(tái)攝像機(jī)有1個(gè)。視頻分析儀由工控機(jī)、人員和車輛視頻識(shí)別系統(tǒng)組成，其中：工控機(jī)采用Linux系統(tǒng)，配置視頻分析顯卡;人員和車輛視頻識(shí)別系統(tǒng)專門(mén)針對(duì)龍門(mén)吊運(yùn)行環(huán)境進(jìn)行優(yōu)化，適應(yīng)龍門(mén)吊遠(yuǎn)程控制系統(tǒng)攝像機(jī)的畫(huà)面視角，對(duì)碼頭區(qū)域內(nèi)人員和車輛具有較高的識(shí)別率及較低的誤報(bào)率。大車集中監(jiān)護(hù)臺(tái)可集中監(jiān)控龍門(mén)吊大車門(mén)腿攝像機(jī)和小車架攝像機(jī)，配有專門(mén)的安全監(jiān)護(hù)人員，當(dāng)監(jiān)測(cè)到危險(xiǎn)警情時(shí)，可控制單臺(tái)或全部龍門(mén)吊急停，從而有效降低安全事故發(fā)生率。

2.2 系統(tǒng)工作流程

基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)工作流程如圖2所示：PLC發(fā)送當(dāng)前龍門(mén)吊運(yùn)行狀態(tài)（包括大車向左、向右運(yùn)動(dòng)和吊具下放等）信息至PVAC防撞分析儀;PVAC防撞分析儀接收PLC發(fā)送的龍門(mén)吊運(yùn)行狀態(tài)信息，采集并分析對(duì)應(yīng)的攝像機(jī)（包括大車向右運(yùn)動(dòng)2個(gè)門(mén)腿攝像機(jī)、大車向左運(yùn)動(dòng)2個(gè)門(mén)腿攝像機(jī)和1個(gè)小車架攝像機(jī)）視頻（見(jiàn)圖3）。

PVAC防撞分析儀采用人工智能視頻識(shí)別分析算法對(duì)視頻流進(jìn)行分析，并將警報(bào)信息分別發(fā)送給PLC和大車監(jiān)控臺(tái)視頻軟件，其中：減速警報(bào)發(fā)送至PLC和大車監(jiān)控臺(tái)，緊停警報(bào)發(fā)送至PRCS大車監(jiān)控臺(tái)。若門(mén)腿攝像機(jī)在10～20 m區(qū)域內(nèi)識(shí)別到人員或車輛，向PLC發(fā)送大車減速警報(bào)信息;若門(mén)腿攝像機(jī)在0～10 m區(qū)域內(nèi)識(shí)別到人員或車輛，向PLC發(fā)送緊停警報(bào)信息;若小車架攝像機(jī)在吊具下方檢測(cè)區(qū)域內(nèi)檢測(cè)到人員，向PLC發(fā)送吊具停止下放的緊停警報(bào)信息（見(jiàn)圖4）。

PLC收到減速警報(bào)信息后，發(fā)送減速指令至龍門(mén)吊，降低大車運(yùn)行速度。大車集中監(jiān)護(hù)系統(tǒng)的大車監(jiān)控視頻軟件收到龍門(mén)吊減速警報(bào)信息后，警報(bào)視頻畫(huà)面顯示黃色邊框，并觸發(fā)音響警報(bào)（提示“前方有人”“前方有車”等）。大車監(jiān)控人員觀察報(bào)警攝像機(jī)視頻畫(huà)面：若確有警情，處理警情后按消警按鈕;若大車監(jiān)控人員確認(rèn)為誤報(bào)警，按誤報(bào)警按鈕（見(jiàn)圖5）。大車集中監(jiān)護(hù)系統(tǒng)的大車監(jiān)控視頻軟件收到龍門(mén)吊緊停警報(bào)信息后，對(duì)應(yīng)的警報(bào)視頻畫(huà)面顯示紅色邊框，同時(shí)驅(qū)動(dòng)網(wǎng)絡(luò)音響發(fā)出緊停警報(bào)提示音（提示“前方有人”“前方有車”“ 下方有人”等）。大車監(jiān)控人員觀察緊停報(bào)警攝像機(jī)視頻畫(huà)面：若確有警情，按緊停按鈕，使大車停止運(yùn)行或吊具停止下放，處理緊停警情后，按視頻軟件上的消警按鈕;若大車監(jiān)控人員確認(rèn)為誤報(bào)警，按誤報(bào)警按鈕（見(jiàn)圖6）。

PVAC防撞分析儀收到消警信息后，消除發(fā)送的警報(bào)，繼續(xù)檢測(cè)攝像機(jī)拍攝的視頻畫(huà)面;PVAC防撞分析儀收到誤報(bào)警信息后，對(duì)當(dāng)前視頻畫(huà)面內(nèi)誤報(bào)警目標(biāo)不再重復(fù)報(bào)警。PVAC防撞分析儀向PLC發(fā)送心跳檢測(cè)信息，PLC將心跳檢測(cè)信息發(fā)送至數(shù)據(jù)視圖，由數(shù)據(jù)視圖顯示防撞系統(tǒng)工作狀態(tài)（見(jiàn)圖7）。PVAC防撞系統(tǒng)全程監(jiān)控并記錄每次報(bào)警事件及處理情況，記錄人員和車輛報(bào)警事件的時(shí)間、龍門(mén)吊編號(hào)、視頻截圖等，并保存報(bào)警錄像供追溯查詢。

3 基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)功能實(shí)現(xiàn)

自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)視頻分析儀的主要功能是采集并分析實(shí)時(shí)視頻畫(huà)面，檢測(cè)龍門(mén)吊運(yùn)行方向的門(mén)腿攝像機(jī)前方20 m區(qū)域內(nèi)是否有人員或車輛，以及小車架下方區(qū)域內(nèi)是否有人員，具體功能實(shí)現(xiàn)過(guò)程如下：（1）當(dāng)檢測(cè)到龍門(mén)吊運(yùn)行方向的門(mén)腿攝像機(jī)前方0～10 m區(qū)域內(nèi)有人員或車輛時(shí)，向龍門(mén)吊PLC和大車集中監(jiān)護(hù)臺(tái)發(fā)送急停指令，使龍門(mén)吊停止運(yùn)行，同時(shí)大車集中監(jiān)護(hù)臺(tái)相關(guān)視頻畫(huà)面顯示急停警報(bào)信息，提示安全監(jiān)控人員有警情發(fā)生;（2）當(dāng)檢測(cè)到龍門(mén)吊運(yùn)行方向的門(mén)腿攝像機(jī)前方10～20 m區(qū)域內(nèi)有人員或車輛時(shí)，向龍門(mén)吊PLC和大車集中監(jiān)護(hù)臺(tái)發(fā)送減速指令，使龍門(mén)吊降低運(yùn)行速度，同時(shí)大車集中監(jiān)護(hù)臺(tái)相關(guān)視頻畫(huà)面顯示減速警報(bào)信息，提示安全監(jiān)控人員有警情發(fā)生;（3）當(dāng)龍門(mén)吊吊具下放時(shí)，檢測(cè)小車架攝像機(jī)視頻畫(huà)面的安全區(qū)域內(nèi)是否有人員，若檢測(cè)到人員，吊具停止下放。自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)中大車監(jiān)護(hù)臺(tái)的功能是對(duì)運(yùn)行中的龍門(mén)吊實(shí)施監(jiān)護(hù)，當(dāng)檢測(cè)到不安全因素時(shí)，安全監(jiān)控人員可按急停按鈕，使龍門(mén)吊停止運(yùn)行。

4 結(jié)束語(yǔ)

基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)利用多種視頻分析算法，大大提高算法識(shí)別率，滿足碼頭生產(chǎn)應(yīng)用要求。梅東公司在應(yīng)用基于視頻分析的自動(dòng)化龍門(mén)吊大車集中監(jiān)護(hù)系統(tǒng)的基礎(chǔ)上，結(jié)合毫米波檢測(cè)技術(shù)以及大車集中監(jiān)護(hù)臺(tái)安全監(jiān)控人員的實(shí)時(shí)監(jiān)護(hù)，為龍門(mén)吊安全、高效作業(yè)提供有力保障。

（編輯：曹莉瓊 收稿日期：2021-04-09）