大型施工機(jī)械監(jiān)管系統(tǒng)智能視頻分析模型研究

鄭相波，姚國(guó)棟，史方圓，廖煒煉，馬清志

（1.上海東華地方鐵路開發(fā)有限公司，上海 200040；2.上海上鐵互聯(lián)信息技術(shù)有限公司，上海 200040；3.蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，蘇州 215031）

隨著我國(guó)鐵路的快速發(fā)展，各類建設(shè)工程規(guī)模不斷擴(kuò)大。為應(yīng)對(duì)施工人員多、設(shè)備物資分散、管理作業(yè)流程瑣碎的情況，采用傳統(tǒng)的人工巡視、手工紙質(zhì)記錄的工作方式，已無(wú)法滿足大型項(xiàng)目管控的要求。在涉及大型施工機(jī)械的工地現(xiàn)場(chǎng)安全管理方面，存在現(xiàn)場(chǎng)情況復(fù)雜多變、施工隊(duì)安全作業(yè)不規(guī)范、現(xiàn)場(chǎng)監(jiān)理人員履職不到位等情況，尤其是在對(duì)入場(chǎng)的大型施工機(jī)械尺寸、型號(hào)的判定，以及機(jī)械安全邊界入侵的預(yù)警等方面，存在安全隱患，且需要耗費(fèi)大量人力。因此，亟需利用信息化手段，建設(shè)一套智能監(jiān)管系統(tǒng)，解決建設(shè)工程中存在的“監(jiān)管力度不強(qiáng)，監(jiān)管手段落后”等難題。

眾多學(xué)者針對(duì)上述情況進(jìn)行了研究，劉祥敏[1]從管理角度提出針對(duì)臨近鐵路營(yíng)業(yè)線大型機(jī)械設(shè)備施工安全的監(jiān)管對(duì)策，涵蓋落實(shí)安全監(jiān)管制度、提高施工機(jī)械操作人員安全意識(shí)等，但缺乏從技術(shù)層面提升安全監(jiān)管的有效措施；朱漲鑫等人[2]基于超寬帶 （UWB，Ultra Wide Band） 技術(shù)提出一種施工機(jī)械與人員定位的風(fēng)險(xiǎn)預(yù)防及控制方法，并建立了可視化管控平臺(tái)，然而，該方法難以低成本大面積鋪開，且對(duì)大型機(jī)械型號(hào)的判定上存在安全隱患。近年來(lái)，隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)模型被逐步應(yīng)用于鐵路安全的方方面面。徐鑫等人[3]基于YOLO（You Only Look Once）v5模型，建立鐵路異物侵限檢測(cè)模型。然而，針對(duì)臨近鐵路營(yíng)業(yè)線的大型機(jī)械設(shè)備的施工安全智能監(jiān)管仍有待進(jìn)一步研究。

綜上，本文設(shè)計(jì)了大型施工機(jī)械監(jiān)管系統(tǒng)，并基于深度學(xué)習(xí)模型，設(shè)計(jì)了該系統(tǒng)中針對(duì)臨近鐵路營(yíng)業(yè)線大型施工機(jī)械設(shè)備的智能視頻分析模型，輔助施工監(jiān)理單位完成對(duì)大型施工機(jī)械的各項(xiàng)監(jiān)管工作。

1 系統(tǒng)總體架構(gòu)

大型施工機(jī)械監(jiān)管系統(tǒng)包括物理層、數(shù)據(jù)層、分析層和應(yīng)用層，其總體架構(gòu)如圖1所示。

圖1 大型施工機(jī)械監(jiān)管系統(tǒng)總體架構(gòu)

1.1 物理層

通過(guò)高清攝像頭、智能網(wǎng)關(guān)等設(shè)備，從作業(yè)機(jī)械、施工人員等維度，準(zhǔn)確快速采集鐵路施工時(shí)大型機(jī)械的實(shí)時(shí)數(shù)據(jù)，同時(shí)，結(jié)合場(chǎng)地規(guī)劃的具體信息，提高數(shù)據(jù)的有效性與精度。

1.2 數(shù)據(jù)層

包括施工現(xiàn)場(chǎng)實(shí)時(shí)視頻流數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)，以及接口提供的實(shí)時(shí)入場(chǎng)機(jī)械與人員數(shù)據(jù)、施工場(chǎng)地涉及的鐵路數(shù)據(jù)等信息，為智能分析決策提供數(shù)據(jù)支撐。

1.3 分析層

包括智能視覺分析決策與可視化仿真。其中，智能視覺分析決策通過(guò)人工智能、圖像識(shí)別、大數(shù)據(jù)分析等技術(shù)，為智能監(jiān)控與管理提供技術(shù)保障；可視化仿真主要通過(guò)數(shù)字孿生和UWB定位等技術(shù)，對(duì)大型施工機(jī)械進(jìn)行多維度監(jiān)管與智能預(yù)警。

1.4 應(yīng)用層

包括智能監(jiān)理模塊與人工監(jiān)理模塊。其中，智能監(jiān)理模塊依托智能視覺分析決策，完成設(shè)備監(jiān)控、人車監(jiān)控、侵占判定、智能預(yù)警等多項(xiàng)任務(wù)，幫助監(jiān)理人員及時(shí)掌握現(xiàn)場(chǎng)情況并作出決策；人工監(jiān)理模塊具有人工復(fù)查、統(tǒng)計(jì)分析、告警預(yù)警與監(jiān)理日志管理等功能。

本文將重點(diǎn)研究分析層中用于智能視覺分析決策的智能視頻分析模型的設(shè)計(jì)、數(shù)據(jù)收集和預(yù)處理策略，以及對(duì)模型的性能評(píng)估。

2 智能視頻分析模型

智能視頻分析模型的實(shí)時(shí)性與準(zhǔn)確性是決定大型施工機(jī)械監(jiān)管系統(tǒng)實(shí)用性的關(guān)鍵，本研究選用YOLOv6圖像識(shí)別模型，并綜合應(yīng)用遷移學(xué)習(xí)、不平衡學(xué)習(xí)與數(shù)據(jù)增強(qiáng)等技術(shù)，增強(qiáng)YOLOv6模型的性能。

2.1 YOLOv6模型

YOLO系列模型在速度和精度間具有極佳的平衡，符合本文對(duì)施工區(qū)域大型施工機(jī)械監(jiān)控視頻實(shí)施自動(dòng)監(jiān)理的需求。YOLOv6模型包括3個(gè)部分：提取特征的Backbone層、處理特征的Neck層、執(zhí)行預(yù)測(cè)的Head層，其架構(gòu)如圖2所示。

圖2 YOLOv6模型架構(gòu)

施工現(xiàn)場(chǎng)視頻流的分辨率存在差異，為便于模型訓(xùn)練，設(shè)定將視頻統(tǒng)一壓縮并映射為640×640像素的輸入標(biāo)準(zhǔn)，保障模型良好的泛化性能。此外，視頻的壓縮降低了模型的預(yù)測(cè)成本，可降低模型預(yù)測(cè)的延遲，提升吞吐量。

2.2 遷移學(xué)習(xí)

深度學(xué)習(xí)對(duì)訓(xùn)練數(shù)據(jù)集有很強(qiáng)的依賴性。模型的規(guī)模決定其能勝任任務(wù)的復(fù)雜程度，這是因?yàn)槟Ｐ偷谋磉_(dá)空間必須足夠大，才能發(fā)現(xiàn)數(shù)據(jù)的潛在模式[4]。而模型的規(guī)模與訓(xùn)練所需要的數(shù)據(jù)量基本上是線性關(guān)系[5]。面對(duì)大型機(jī)械的智能監(jiān)理任務(wù)，需要收集海量數(shù)據(jù)才能滿足高精度的預(yù)測(cè)要求。受計(jì)算資源與業(yè)務(wù)場(chǎng)景的限制，收集大量數(shù)據(jù)存在一定困難。

遷移學(xué)習(xí)可將在源域?qū)W習(xí)到的知識(shí)遷移到目標(biāo)域中，從而克服訓(xùn)練集數(shù)據(jù)少的問(wèn)題。本研究使用在16萬(wàn)張COCO標(biāo)注數(shù)據(jù)集上預(yù)訓(xùn)練的YOLOv6-s目標(biāo)檢測(cè)模型作為遷移學(xué)習(xí)的預(yù)訓(xùn)練模型，并對(duì)其進(jìn)行微調(diào)訓(xùn)練。

2.3 不平衡學(xué)習(xí)

鐵路施工現(xiàn)場(chǎng)的大型機(jī)械種類繁多，且數(shù)量極不均衡。采用傳統(tǒng)的訓(xùn)練方法會(huì)導(dǎo)致模型在數(shù)量多的機(jī)械上有更好的性能，對(duì)數(shù)量少的機(jī)械則精度較低。因此，需要采用不平衡學(xué)習(xí)技術(shù)，克服樣本數(shù)量不均導(dǎo)致模型精度差的問(wèn)題[6]。比較常用的是重采樣與類別權(quán)重方法，其中，重采樣是一種通過(guò)增加少數(shù)類樣本或減少多數(shù)類樣本，使得不同類別間的樣本數(shù)量更平衡的方法，通常包括過(guò)采樣與欠采樣；類別權(quán)重方法則是在損失函數(shù)中為不同類別賦予不同的權(quán)重，使得模型更加關(guān)注少數(shù)類別[7]，以抵消類別不平衡帶來(lái)的影響，提高對(duì)少數(shù)類別的識(shí)別能力。本文采用了這兩種方法對(duì)智能視頻分析模型的訓(xùn)練圖像進(jìn)行不平衡學(xué)習(xí)處理。

3 數(shù)據(jù)集的生成

目前尚沒有適用于鐵路工地大型施工機(jī)械分類的公開數(shù)據(jù)集。本文基于真實(shí)鐵路施工場(chǎng)景下的視頻流數(shù)據(jù)，采用手工標(biāo)注，并通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)，生成用于訓(xùn)練YOLOv6模型的訓(xùn)練數(shù)據(jù)集。

3.1 數(shù)據(jù)采集與標(biāo)注

本文在多個(gè)鐵路施工現(xiàn)場(chǎng)通過(guò)對(duì)432臺(tái)長(zhǎng)方形固定機(jī)位和可移動(dòng)的球形監(jiān)控?cái)z像頭的實(shí)時(shí)觀察，收集了約300條施工中的監(jiān)控視頻流，并通過(guò)專業(yè)人員的篩選，采集了3 600張大型施工機(jī)械圖片，尺寸包含2 560×1 440、1 920×1 080、1 280×960、1 280×720及704×576共5種像素，構(gòu)成了包含10類大型施工機(jī)械的數(shù)據(jù)集，隨后在labelme軟件中使用拉框標(biāo)注法對(duì)這些圖片進(jìn)行標(biāo)注，部分圖片如圖3所示。

圖3 大型施工機(jī)械待檢測(cè)圖片（部分）

智能視頻分析模型的檢測(cè)目標(biāo)包括：挖掘機(jī)（ECT ，Excavator）、裝載機(jī) （LD ，Loader）、叉裝車（FL ，F(xiàn)orklifts）、泵車（PT ，Pump Truck）、汽車起重機(jī)（TC ，Truck Cranes）、履帶起重機(jī)（CC ，Crawler Cranes）、隨車起重機(jī)（TMC ，Truck Mounted Crane）、塔式起重機(jī)（TWC ，Tower Crane）、高空作業(yè)車（AWP ，Aerial Work Platforms）、旋挖鉆機(jī)（RDR ，Rotary Drilling Rigs）等10類大型施工機(jī)械，其示例如圖4所示。

圖4 10類大型施工機(jī)械示例

3.2 數(shù)據(jù)特征與處理方法

3.2.1 數(shù)據(jù)特征

本文共收集到包含不同施工機(jī)械的圖片3 600張，各類大型施工機(jī)械的數(shù)量占比如圖5所示。

圖5 原始數(shù)據(jù)集中的大型施工機(jī)械占比

其中， ECT占大型施工機(jī)械的62%，遠(yuǎn)超其余大型施工機(jī)械，而數(shù)量較少的AWP、PT、FL均僅占施工機(jī)械數(shù)據(jù)的1%，不同樣本間的數(shù)量差異較大。此外，在施工現(xiàn)場(chǎng)視頻流中會(huì)頻繁出現(xiàn)遮擋、重疊的現(xiàn)象，且不同視頻流間縱深差異大，同類目標(biāo)的大小浮動(dòng)可達(dá)10倍，增加了目標(biāo)檢測(cè)的難度。

3.2.2 數(shù)據(jù)處理技術(shù)應(yīng)用

為解決數(shù)據(jù)集樣本不平衡的問(wèn)題，本文采用重采樣技術(shù)，并結(jié)合數(shù)據(jù)增強(qiáng)技術(shù)。通過(guò)對(duì)不同類別的樣本施加不同強(qiáng)度數(shù)據(jù)增強(qiáng)的方式，豐富數(shù)據(jù)集中的信息，并使用重采樣技術(shù)縮小不同類樣本數(shù)量間的差距，增強(qiáng)模型的穩(wěn)定性和場(chǎng)景適應(yīng)性。在綜合考慮監(jiān)控視頻流數(shù)據(jù)中目標(biāo)的形態(tài)學(xué)信息、方向信息的重要性及運(yùn)動(dòng)模糊現(xiàn)象的存在后，選用了左右鏡像、亮度調(diào)節(jié)、顏色抖動(dòng)、隨機(jī)擦除、噪音、運(yùn)動(dòng)模糊隨機(jī)組合等數(shù)據(jù)增強(qiáng)技術(shù)來(lái)增強(qiáng)數(shù)據(jù)的多樣性，各類數(shù)據(jù)增強(qiáng)技術(shù)的效果如圖6所示。

圖6 各類數(shù)據(jù)增強(qiáng)技術(shù)效果示例

本文采用了Focal Loss作為損失函數(shù)，F(xiàn)ocal Loss的核心思想是對(duì)于容易分類的樣本（即分類器對(duì)其預(yù)測(cè)正確的樣本）降低其權(quán)重，減少其對(duì)損失函數(shù)的貢獻(xiàn)；同時(shí)，增加難以分類樣本（即分類器對(duì)其預(yù)測(cè)錯(cuò)誤的樣本）的權(quán)重，增強(qiáng)其對(duì)損失函數(shù)的貢獻(xiàn)。這樣，模型就能對(duì)少數(shù)類別的樣本有更高的關(guān)注度，從而提升少數(shù)類別樣本的檢測(cè)準(zhǔn)確率。

3.2.3 訓(xùn)練集生成

將原始數(shù)據(jù)集按8∶2劃分為訓(xùn)練集與驗(yàn)證集，對(duì)訓(xùn)練集使用數(shù)據(jù)增強(qiáng)，進(jìn)行樣本量平衡，最終訓(xùn)練集中共包括26 640張施工機(jī)械圖片，驗(yàn)證集包括6 660張施工機(jī)械圖片。各類別施工機(jī)械的數(shù)量與占比如圖7所示。由圖7可知，處理過(guò)后的數(shù)據(jù)集樣本數(shù)量已較為平衡。

圖7 訓(xùn)練集各樣本數(shù)量與占比

3.3 訓(xùn)練環(huán)境與超參數(shù)設(shè)置

智能視頻分析模型使用的訓(xùn)練環(huán)境如表1所示，超參數(shù)設(shè)置如表2所示。

表1 訓(xùn)練環(huán)境

表2 超參數(shù)設(shè)置

3.4 評(píng)價(jià)指標(biāo)

本文采用宏平均準(zhǔn)確率（macro-ACC）、宏平均查全率（macro-R）、宏平均查準(zhǔn)率（macro-P）、PR曲線下面積的平均值（mAP）、每秒傳輸幀數(shù)（FPS ，F(xiàn)rames Per Second）來(lái)評(píng)價(jià)模型定位、分類大型施工機(jī)械的能力與速度。

4 試驗(yàn)驗(yàn)證

為驗(yàn)證遷移學(xué)習(xí)和基于重采樣的不平衡學(xué)習(xí)在智能視頻分析模型中的效果，本文基于章節(jié)3中生成的3.33萬(wàn)張標(biāo)注圖片，分別將遷移學(xué)習(xí)、不平衡學(xué)習(xí)引入模型訓(xùn)練，并比較模型的檢測(cè)效果。其中，不平衡學(xué)習(xí)的重采樣技術(shù)依賴于數(shù)據(jù)增強(qiáng)相關(guān)技術(shù)。

4.1 效果對(duì)比

為驗(yàn)證遷移學(xué)習(xí)與不平衡學(xué)習(xí)對(duì)模型檢測(cè)性能的提升，以及針對(duì)數(shù)據(jù)集特點(diǎn)使用的數(shù)據(jù)增強(qiáng)技術(shù)的效果，本文對(duì)比了原始YOLOv6模型與依次引入遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)、不平衡學(xué)習(xí)的YOLOv6模型的定位與分類性能，如表3所示。

表3 不同模型訓(xùn)練方法的效果對(duì)比

由表3可看出，直接使用原始數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，模型的mAP僅為0.129，macro-ACC僅有31.3%，這說(shuō)明僅靠收集到的原始數(shù)據(jù)無(wú)法滿足YOLOv6模型訓(xùn)練大型深度神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)量；而在使用YOLOv6-s模型作為預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)后，mAP達(dá)到了0.537，macro-ACC達(dá)到了70.5%，說(shuō)明在COCO數(shù)據(jù)集上學(xué)習(xí)到的知識(shí)有效轉(zhuǎn)移到了本文任務(wù)上；在引入數(shù)據(jù)增強(qiáng)與不平衡學(xué)習(xí)后，mAP分別上漲了23.2%與18.7%，最終達(dá)到0.956，此時(shí)模型已能準(zhǔn)確地定位各類大型施工機(jī)械并進(jìn)行分類。

4.2 各大型施工機(jī)械的檢測(cè)準(zhǔn)確率指標(biāo)對(duì)比

為進(jìn)一步研究模型在識(shí)別不同類型大型施工機(jī)械時(shí)遇到的問(wèn)題，以及不同模型訓(xùn)練方法起到的作用，在驗(yàn)證集上對(duì)各類大型施工機(jī)械的識(shí)別準(zhǔn)確率指標(biāo)進(jìn)行了對(duì)比研究，結(jié)果如圖8所示。ACC-1～ACC-4分別代表原始數(shù)據(jù)、引入遷移學(xué)習(xí)、引入遷移學(xué)習(xí)+數(shù)據(jù)增強(qiáng)、引入遷移學(xué)習(xí)+數(shù)據(jù)增強(qiáng)+不平衡學(xué)習(xí)方法后，模型對(duì)各類施工設(shè)備的檢測(cè)準(zhǔn)確率。

圖8 各類大型施工機(jī)械A(chǔ)CC指標(biāo)對(duì)比

由圖8可看出，在直接使用原始數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，除了數(shù)量占比最大的ECT檢測(cè)準(zhǔn)確率較高，其余9種施工機(jī)械的準(zhǔn)確率均較低，是由原始圖像數(shù)量不平衡導(dǎo)致的；在使用預(yù)訓(xùn)練模型YOLOv6-s進(jìn)行遷移學(xué)習(xí)后，少樣本的大型施工機(jī)械檢測(cè)準(zhǔn)確率均有了顯著提升；而在使用數(shù)據(jù)增強(qiáng)技術(shù)增加少樣本類數(shù)據(jù)的多樣性后，模型的穩(wěn)定性與場(chǎng)景適應(yīng)性有了進(jìn)一步提升；在采用重采樣和類別權(quán)重方法對(duì)樣本數(shù)量進(jìn)行平衡，增強(qiáng)模型對(duì)少數(shù)量樣本的重視后，雖然ECT的檢測(cè)準(zhǔn)確率有少許下降，但其余9種大型施工機(jī)械的檢測(cè)準(zhǔn)確率均有了不同幅度的提升。

基于該模型的大型施工機(jī)械監(jiān)管系統(tǒng)能夠結(jié)合施工計(jì)劃，把識(shí)別出的機(jī)械與計(jì)劃下達(dá)的機(jī)械大類進(jìn)行核對(duì)，如檢測(cè)到超過(guò)計(jì)劃下達(dá)的機(jī)械數(shù)量或類型，則生成預(yù)警、告警信息，提交人工監(jiān)理模塊進(jìn)行核驗(yàn)，由人工監(jiān)理模塊進(jìn)行復(fù)核和處置，實(shí)現(xiàn)高效率、高準(zhǔn)確率的全天候安全監(jiān)測(cè)。

5 結(jié)束語(yǔ)

本文設(shè)計(jì)了大型施工機(jī)械監(jiān)管系統(tǒng)，重點(diǎn)闡述了該系統(tǒng)分析層中用于智能視覺分析決策的智能視頻分析模型的設(shè)計(jì)、數(shù)據(jù)收集和預(yù)處理策略，以及模型性能評(píng)估，模型的宏平均準(zhǔn)確率達(dá)到了94.0%、mAP達(dá)到了0.956、每秒檢測(cè)幀數(shù)達(dá)到了84。基于該模型的本系統(tǒng)實(shí)現(xiàn)了對(duì)大型施工機(jī)械的快速、準(zhǔn)確定位和分類，節(jié)約了大量監(jiān)管人力。 未來(lái)可在大型機(jī)械的細(xì)粒度分類、機(jī)械施工區(qū)域侵入檢測(cè)等方面進(jìn)行進(jìn)一步的研究。