面向智慧工廠的雙光融合車間人員行為識別方法

任丹彤, 何赟澤,2*, 劉賢金, 易 輝, 王彥鑫, 譙靈俊

(1.湖南大學 電氣與信息工程學院，湖南 長沙 410082；2.高性能智能傳感器及檢測系統湖南省重點實驗室，湖南 長沙 410082；3.湖南紅太陽新能源科技有限公司，湖南 長沙 410205)

在產業智能化升級的趨勢下，越來越多的企業正試圖通過機器人和人工智能等技術，打造智慧工廠[1]。在智慧工廠中，工人的活動范圍較廣且環境復雜，車間內嚴禁使用明火、抽煙、打電話等易造成事故的行為發生。如果采用傳統的人工分析視頻的方法來監控人員行為，耗時費力且容易出現疏漏，因此迫切需要研究面向智慧工廠的車間人員行為識別方法，從而實現智能化的安防管控。

早期對行為識別的研究是將運動人體的輪廓、運動方向等作為特征信息進行識別，主要包括時空興趣點法和運動軌跡法[2]等，改進的密集軌跡(Improved Dense Trajectories，IDT)算法是其中最經典的模型。隨著人體三維數據采集技術的發展，行為識別可大致分為兩類。一類是基于骨骼關鍵點的行為識別[3]，利用視頻幀之間關鍵點的變化描述人體行為。Yan等[4]通過骨骼序列構建時空圖，提出了基于骨架的動作識別時空圖卷積網絡(Spatial Temporal Graph Convolutional Networks，ST-GCN)。Plizzari等[5]提出的時空轉換網絡(Spatial-Temporal Transformer Network，ST-TR)針對ST-GCN只能捕捉局部特征這一不足進行了改進，提出了空間自注意力模塊(Spatial Self-Attention，SSA)和時間自注意力模塊(Temporal Self-Attention，TSA)來捕捉特征。另一類是基于RGB的深度學習方法，根據要處理的輸入任務可分為基于視頻和基于圖像的行為識別?；谝曨l的行為識別方法是給定剪輯好的視頻行為片段，輸出視頻級的行為類別，主流方法有TSN(Temporal Segment Networks)[6]、TSM(Temporal Shift Module)[7]、SlowFast、TimeSformer(Time-Space Transformer)等。TSN屬于雙流法(Two-Stream)，將特征提取分為2路，一路分支使用RGB視頻幀提取空間特征，另一路對時間提取光流特征。Feichtenhofer等[8]提出的SlowFast與雙流法思路類似，Slow分支用于學習空間語義信息，Fast分支學習運動信息。Facebook提出的TimeSformer[9]是一種無卷積的視頻分類方法，基于Transformer模型的自注意力機制，對一系列視頻幀提取時空序列并單獨應用時間注意力和空間注意力進行學習。基于圖像的行為識別方法分為以殘差網絡(ResNet)為代表的行為分類和以YOLO(You Only Look Once)為代表的行為檢測。ResNet輸出的是圖像級的分類結果，YOLO是對輸入的視頻幀中的每個目標進行定位和類別檢測，是一種端到端的訓練和推斷方法。

車間行為多為人和物的交互，基于骨骼關鍵點的行為識別方法僅輸入關鍵點的坐標信息，丟棄了關鍵的物體和語義信息，難以區分相似動作(如打電話和摸耳朵)?；赗GB的深度學習方法中，多數方法對輸入數據的處理要求嚴格，為保證充分的模型訓練需要大量的數據，對計算設備的要求高，推理速度也有所欠缺。其中，基于圖像的行為識別方法由于采用端到端的網絡結構，推理速度較快，模型體積較小且容易部署。

上述兩類行為識別方法都是基于可見光的視頻輸入[10]，可見光圖像雖然含有清晰豐富的紋理細節，但在車間某些昏暗或隱蔽的環境下觀測效果差，容易遺漏目標。相反紅外圖像能夠根據輻射差異將目標與背景區分開，特征更為突出。常用的監控視頻包括紅外和可見光2種，僅使用紅外識別的方法也存在分辨率較低和細節缺失的問題，因此考慮將可見光圖像和紅外圖像進行融合，彌補單一傳感器成像的不足，從而提高識別精度。融合方式包括像素級融合、特征級融合和決策級融合。像素級融合[11]和特征級融合[12]在對算力和時間的需求上都比決策級融合要高，而決策級融合[13]能夠吸取可見光和紅外的互補信息達到全局最優。

為了有效地規范車間人員的行為，針對傳統監控方式耗時費力和單一數據源易受環境影響識別效果差的問題，筆者提出一種面向智慧工廠的雙光融合車間行為的識別方法。主要工作為建立了包含9類車間行為的可見光數據集和紅外數據集，用于重新訓練YOLOv5網絡；提出了決策級融合算法，用于同時識別可見光和紅外數據中的目標并進行融合，作為最終融合圖像中的檢測結果；通過實驗將本文算法與其他算法的檢測結果進行對比，能夠減少漏檢的情況，提高行為識別的效果和精度。

1 面向智慧工廠的雙光融合車間行為識別方法

1.1 方法概述

本文提出的雙光融合行為識別方法如圖1所示。首先獲取可見光數據與紅外數據，建立車間可見光-紅外行為數據集，使用YOLOv5網絡分別訓練可見光模型YOLO_VI和紅外模型YOLO_IR。從測試集中抽取數據制作可見光-紅外圖像對，使用模型同時對可見光-紅外圖像對進行推理預測。根據融合策略對2個模型預測的結果進行決策融合，從而得到最終融合圖像的行為識別結果。

圖1 雙光融合行為識別方法

1.2 異常行為的定義

異常行為的定義[14]是在某場景下正常位置和正常時刻發生的不尋常的動作、姿態或事件。以本項目智慧車間為例，雖然車間內有一套嚴格的生產行為規范，但是仍有部分員工無法按照制定的操作規范進行操作；且車間范圍大，內有多個分區和通道，易產生視覺盲區，如有員工突發不適會難以察覺；另外，車間內部嚴禁明火、吸煙和不規范操作的行為出現。在此基礎上經過調研和走訪，設計了6類異常行為和3類工作行為，行為類別如表1所示。

表1 行為類別

1.3 動作檢測網絡

YOLOv5的網絡結構分為輸入端、主干網絡(Backbone)、中間層(Neck)和輸出端4個部分[15]。在輸入端使用自適應錨框計算方式；對原始圖像自適應地添加最少的黑邊，減少信息冗余；采用Mosaic數據增強，隨機使用4張圖片隨機縮放再隨機分布拼接，豐富了數據集，使網絡的魯棒性更好。

主干網絡使用2種CSP模塊，如圖2所示。

圖2 CSP模塊

圖2中,CSP1_X結構應用于主干網絡，在反向傳播時增強梯度值，可以有效防止網絡加深時引起的梯度消失，使特征粒度更細。CSP2_X結構應用于Neck中，保留了更豐富的特征信息,同時降低了計算瓶頸，減少了內存成本。中間層引入了SPP模塊，如圖3所示，與單純使用k×k最大池化的方式相比，其能夠有效增加主干特征的接收范圍，更好地提取融合特征。

圖3 SPP模塊

1.4 決策級融合

1.4.1 融合前訓練

紅外圖像與可見光圖像包含的細節信息不同，為保證融合前檢測的準確性，分別使用可見光數據集和紅外數據集重新訓練YOLOv5網絡，得到權重模型。

1.4.2 圖像對匹配

融合應對目標的位置和行為類別均進行融合，由于可見光和紅外像素不同，在相同焦距拍攝的情況下存在廣度差異，需要對融合所需的數據進行預處理，即制作匹配的圖像對。

1.4.3 融合策略

用訓練好的權重模型對紅外-可見光圖像對預測，下面以可見光圖像中某一目標M的檢測結果為例進行說明。

(1)判定目標僅在可見光圖像中被檢測到。

此時有如下關系：

scoreA≥a,IOU(A,B)

(1)

式中：scoreA為目標M的可見光檢測框A的置信度；A、B分別為目標M的可見光檢測框和對應紅外圖像中與M類別相同的紅外檢測框；a為置信度閾值，值為0.5；b為重疊度IOU閾值，值為0.6。

首先判斷可見光圖像中目標M的檢測框是否正確，如果該檢測框置信度大于或等于閾值a，說明預測正確并保留結果；如果小于閾值a，說明預測結果不正確，舍棄結果。進而遍歷對應的紅外圖像中與目標M類別相同的檢測框，分別與目標M的可見光檢測框做IOU計算，計算公式為

(2)

式中：area(A)為目標M的可見光檢測框A的面積；area(B)為與目標M同類別的紅外檢測框B的面積。

如果IOU小于所設定的閾值b，說明目標M僅在可見光中被檢測到，將該檢測框的位置和類別作為對應融合目標的檢測結果。

同樣地，該方法用于判定目標僅在紅外圖像中被檢測到。

(2)判定目標在可見光圖像和紅外圖像中同時被檢測到。

此時有如下關系：

scoreA≥a,scoreB≥a,IOU(A,B)≥b

(3)

式中：scoreA和scoreB分別為目標M的可見光檢測框和紅外檢測框的置信度；在可見光圖像中目標M檢測結果正確的前提下，從相應的紅外圖像中選擇與目標M類別相同的檢測框，分別計算這些紅外檢測框與M檢測框的IOU。如果IOU大于或等于閾值b，說明紅外檢測框檢測到的是目標M。進而從這些紅外檢測框中選擇置信度大于或等于閾值a的檢測框，則該檢測框為目標M在對應紅外圖像中的檢測框。

同樣地，該方法用于判定紅外圖像中被檢測到的目標是否在對應可見光圖像中被檢測到。

(3)融合檢測結果。

如果目標M同時在紅外圖像和可見光圖像中被檢測到，對2個檢測框的位置和置信度進行融合，可以得到融合檢測框的位置和置信度。

L=λVLVI+λILIR

(4)

式中：L為融合檢測框的位置；LVI為可見光檢測框的位置；LIR為紅外檢測框的位置；λV為LVI對應的權值；λI為LIR對應的權值。

融合檢測框的位置由紅外檢測框的位置和可見光檢測框的位置加權融合得到，λV和λI取0.5。

S=λ1SVI+λ2SIR

(5)

式中：S為融合檢測框的置信度；SVI為可見光檢測框的置信度；λ1為SVI對應的權值；SIR為紅外檢測框的置信度；λ2為SIR對應的權值。

對2個預測框的置信度進行加權作為融合預測框的置信度。

2 雙光數據集制作

雙光數據集制作分為2步:① 對原視頻進行處理得到源數據集，用于訓練雙光模型進行融合前的預測；② 從源數據集中抽取部分對應的可見光與紅外圖像，制作圖像對，用于驗證融合算法的有效性。

2.1 單獨訓練所需數據集

本實驗數據是在湖南紅太陽新能源科技有限公司車間內進行采集，拍攝場景包括車間內的隱蔽場景、無遮擋物的寬闊場景、不同工位所在的場景，對單人和多人行為均進行采集。拍攝過程中將可見光相機和熱像儀放置于同一水平面并保持相對靜止，同時刻觸發，同角度采集?？梢姽庀鄼C分辨率為1920像素×1080像素，幀率為30 f·s-1；熱像儀分辨率為640像素×512像素，幀率為30 f·s-1。

對采集到的視頻進行標準化數據處理，經過視頻抽幀和對高相似度圖片去重后，篩選得到原始圖片，再人工進行標注和多次審核，獲得可見光數據集10900張，紅外數據集10900張；行為類別分為玩手機、打電話、躺倒、打架、吸煙、持刀危險、工作行為1、工作行為2和工作行為3，共9個類別。按照8∶2的比例隨機劃分訓練集和測試集，其中可見光訓練集有8720張、測試集有2180張，紅外訓練集有8720張、測試集有2180張。可見光數據集組成和紅外數據集組成分別如表2和表3所示。

表2 可見光數據集組成

表3 紅外數據集組成

2.2 決策融合所需數據集

由于可見光相機和熱像儀的拍攝廣度和像素不同，直接融合會出現預測框的不匹配。因此需要以可見光圖像大小為基準，對紅外圖像進行預處理。由于拍攝過程中2個設備保持相對靜止、相聚很近且均朝正前方拍攝，可近似認為光軸幾乎平行，則在同一時刻觸發拍攝得到的可見光圖片與紅外圖片可以通過仿射變換關系實現匹配。匹配示例如圖4所示。

圖4 匹配示例

從測試集中抽取部分對應圖片，制作342對可見光-紅外圖像對，重新進行標注和審核，融合標注規范要求包括所有的可見光目標和紅外目標，標注結果作為ground-truth進行后續測試計算，為保證測試結果的有效性，該圖像對中各類別行為所占比例應盡可能相同。

3 實驗結果與分析

本文實驗所用CPU處理器為i9-10900X,GPU處理器為RTX3090，軟件環境為Python 3.8。為了驗證融合算法的有效性，將通過3個方面進行評估，其中檢測精度由平均精度mAP(Mean Average Precision)和召回率(Recall)評估，檢測速度由每秒推理的圖片數量(Frame Per Second，FPS)評估。

3.1 實驗結果

使用融合算法在服務器上對342對紅外-可見光圖像對進行測試，其平均精度為93.04%，召回率為93%，推理速度達到61.3 f·s-1滿足實時檢測的要求。融合后各類別數據檢測精度如圖5所示。

圖5 本文融合算法各類測試結果

將融合算法檢測結果與YOLOv5網絡僅識別可見光圖像和僅識別紅外圖像的結果進行比較，從圖6左圖可以看出，僅識別可見光圖像時檢出2個目標，僅識別紅外圖像時沒有檢出右側的目標，而本文算法在對應的融合圖像中同時檢測出2個目標“吸煙”；從圖6右圖可以看出，僅識別可見光圖像時沒有檢出目標“持刀危險”，本文融合算法在對應的融合圖像中檢出了漏檢的“持刀危險”，提高了識別精度。

圖6 檢測結果示例

3.2 對比實驗

為了驗證融合算法的優勢，需要與其他算法的檢測結果比較。由于目前沒有通用的決策級融合算法，故采用特征級融合算法結果進行比較。這里使用ADF[16]、GFCE[17]、IFEVIP[18]、TIF[19]和GFF[20]這5種融合算法進行對比?；贏DF的融合檢測方法是通過各向異性擴散對細節層和基礎層線性疊加得到融合圖像，再使用YOLOv5網絡對融合圖像檢測?；贕FCE的融合檢測方法是通過混合多尺度分解與融合得到融合圖像，再使用YOLOv5網絡對融合圖像檢測。基于IFEVIP的融合檢測方法是通過重建紅外背景進行圖像融合，再使用YOLOv5網絡對融合圖像檢測?；赥IF的融合檢測方法是通過加權平均策略對基礎層和細節層進行融合，再使用YOLOv5網絡對融合圖像檢測?；贕FF的融合檢測方法是使用多種濾波器進行圖像融合，再使用YOLOv5網絡對融合圖像檢測。各融合算法檢測示例如圖7所示，在同一數據集上的算法性能對比結果如表4所示。

表4 算法性能對比

從圖7可以看出，本文融合算法檢測到了所有目標，其余算法均有漏檢的情況。本文融合算法的平均精度與YOLO_VI和YOLO_IR相比，分別提升了3.43%和0.84%；與ADF融合檢測、GFCE融合檢測、IFEVIP融合檢測、TIF融合檢測和GFF融合檢測相比，平均精度分別提升了8.17%、8.43%、7.73%、18.34%和8.43%。實驗結果表明，本文提出的融合算法能夠利用紅外與可見光的互補性，有效地提升檢測精度，推理速度能夠滿足實時識別的要求。

圖7 各算法檢測示例

4 結束語

以工業車間為背景，針對傳統監控采用單一成像的方式且難以規范人員行為的問題，提出一種雙光融合行為識別算法。融合算法在使用YOLOv5網絡訓練可見光與紅外數據的基礎上，用決策級融合方式對檢測結果進行處理，從而獲得融合后的行為識別結果。與其他算法相比，該算法對漏檢問題有明顯改善，識別精度均有提升。而且模型能夠部署在嵌入式平臺實現在線檢測，可用于監控車間的安全生產，及時發現異常行為并進行預警。

對未來的研究工作需要注意以下2點。

① 人-物交互行為的識別需要依靠檢測算法，如何提高對小目標的檢測能力是研究的重點之一。一方面可以利用生成對抗網絡提高小目標的分辨率實現圖像增強；另一方面可增加小目標的檢測層獲取更大的特征圖，同時要考慮由計算量增加引起的速度下降問題。

② 考慮引入骨骼識別等構建時間和空間信息的網絡，這對于判別行為發生的始末實現在線檢測具有重要意義。