輕量化姿態估計時空增強圖卷積模型下的礦工行為識別

關鍵詞：礦工行為識別；人體關鍵點提取；骨架序列；圖卷積；輕量化姿態估計網絡；特征融合；多維特征融合注意力模塊

中圖分類號：TD67 文獻標志碼：A

0引言

煤礦生產環境較為復雜，存在各種安全隱患，這些隱患可能導致煤礦事故發生。我國重大礦井事故中，超過90% 是由井下人員的不安全行為引起的[1]。因此，快速準確地識別礦工的不安全行為對于確保煤礦安全開采至關重要。隨著煤礦產業的智能化發展，人工智能技術在礦工不安全行為識別領域取得了較大進展[2]。采用深度學習人工智能高效、快速地識別礦工行為，能減少因礦工不安全行為導致的礦井事故，確保煤礦安全開采。

目前，針對礦工不安全行為的識別方法主要分為基于視頻的方法[3-6]、基于深度圖的方法[7]和基于骨架序列的方法[8-9]3 類。視頻具有行為識別所需要的空間和時間信息，且視頻方便收集，直接采用視頻數據進行行為識別是一種非常有效的方法。但基于視頻的行為識別方法會受到視頻中無關背景信息的干擾，此外遮擋和視點變化也會影響識別效果[10]。深度圖所包含的深度信息可在一定程度上增強對視點變化和遮擋等干擾的魯棒性[11]，但深度圖需要占據更大的存儲空間來保存深度信息，對設備性能要求較高。骨架數據是視頻中人體姿態和動作的抽象表示，即使沒有外觀信息也能夠僅通過骨架的運動來識別動作的類別，且對環境、遮擋和視點變化具有較強的魯棒性。基于骨架序列的行為識別模型具有速度快、算力要求低、模型簡單等優勢[12]。考慮煤礦場景下的復雜環境及算力限制，基于骨架序列的方法適用于煤礦應用場景。

近幾年， 圖卷積神經網絡在處理骨架序列數據時占據優勢，在多個數據集上取得了較好的結果[13-15]。許多學者將基于圖卷積的行為識別方法應用于井下環境。文獻[16]提出了一種多層感知圖卷積神經網絡，在自適應鄰接矩陣基礎上為每個鄰接矩陣分配一個權重參數，使用注意力機制動態約束多個鄰接矩陣，增強圖的特征表達能力，提升模型在煤礦場景下的魯棒性。文獻[17] 提出了一種基于深度學習的井下人員不安全行為識別與預警系統，利用YOLOv4 模型識別礦工及安全帽佩戴情況，并結合OpenPose 和時空圖卷積神經網絡（Spatial-Temporal" Graph Convolutional Network， ST?GCN） 模型對礦工行為進行分析，實現了井下環境中不安全行為的自動識別與預警。文獻[18]設計了一種面向煤礦井下員工的不安全行為智能識別系統， 將不安全行為劃分為靜態、動態和互動3 類， 采用YOLOv3識別設備與環境， 結合MobileNetV3 和ST?GCN 識別靜態和動態行為，通過規則推理識別互動行為，實現了在實際生產環境中的部署與應用。文獻[19]提出了一種基于時空圖卷積網絡的組合注意力機制和密集殘差網絡，組合注意力機制可以增強模型的特征提取能力，同時利用密集殘差網絡對動作特征進行補償，提高模型識別礦工行為特征的能力。

上述基于圖卷積的礦工行為識別模型都取得了較好的效果，但存在識別精度不高、模型參數量大、計算復雜度較高等問題。本文提出一種基于輕量高分辨率網絡（Lightweight High-Resolution Network，Lite?HRNet）和多維特征增強時空圖卷積網絡（MultidimensionalFeature Enhanced Spatial Temporal GraphConvolution Network， MEST?GCN） 的行為識別模型。首先利用Lite?HRNet 提取礦工關鍵點坐標，生成具有17 個礦工關鍵點的骨架序列，然后將骨架序列輸入MEST?GCN 進行動作識別，最后引入多維特征融合注意力模塊（Multi-Dimensional Feature FusionAttention Module， M2FA），增強行為特征在時間、空間和通道維度的表達能力，提高模型在煤礦情境下的行為識別能力。

1礦工行為識別模型整體架構

基于Lite?HRNet 和MEST?GCN 的行為識別模型結構如圖1 所示，主要分為人體關鍵點提取模塊和人體動作識別模塊2 個部分。對于輸入的礦工行為視頻，通過Lite?HRNet 獲得人體關鍵點坐標，得到初始的礦工骨架序列。礦工骨架序列由一個四維矩陣（N，C，T，V）組成， 其中N 為批量大小， C為通道數， T 為骨架序列的總幀數， V 為每幀骨架中的關鍵點總數量。骨架序列經由批量標準化（BatchNormalization， BN）層對輸入數據進行批量標準化處理， 經過6個多維特征增強圖卷積（Multi-Dimensional Feature Enhanced Graph" Convolution，ME?GC）模塊B1—B6提取礦工行為特征。ME?GC中包含多維特征融合注意力模塊，可以提高時間、空間和通道維度的特征表現能力。最后經由全局平均池化層（Global" Average Pooling， GAP）和Softmax層得到行為的置信度，獲得預測結果。

2基于姿態估計網絡和圖卷積的礦工行為識別

2.1人體關鍵點提取模塊

2.1.1Lite?HRNet

人體關鍵點位置檢測方法主要分為“自頂向下”和“自底向上”2 類。“自頂向下”方法先檢測人體目標并標記矩形區域，再進行關鍵點檢測，精度高，但速度受限。“自底向上”方法則先檢測所有關鍵點，再區分歸屬，速度快，但精度較低。人體關鍵點的檢測質量在一定程度上會影響基于骨架序列的行為識別模型的結果，因此，姿態估計模型既需要較高的檢測精度，也需要較快的檢測速度，以適應井下礦工不安全行為識別的需要。Lite?HRNet[20]屬于“自頂向下” 的方法， 是HRNet[21]的一個改進版本。Lite?HRNet 能夠高效且準確地完成姿態估計，適合在資源受限的環境中應用，可應用于礦井場景下的輕量級人體關鍵點檢測。Lite?HRNet 從輸入的礦工行為視頻中提取17個人體關鍵點， 如圖2所示。Lite?HRNet 通過目標檢測器進行人體檢測，利用卷積神經網絡提取圖像特征，并通過區域提議網絡生成錨框，對每個錨框進行分類以判斷是否包含目標。區域提議網絡對被判定為目標的錨框進行邊界框回歸，輸出人體邊界框，并通過非極大值抑制篩選出最優檢測結果。最后Lite?HRNet 將每個檢測到的人體區域裁剪出來并輸入到姿態估計網絡，生成每個人體關鍵點的熱圖，精確預測各個關鍵點的位置。

2.1.2礦工行為數據集構建

基于骨架序列的圖卷積行為識別模型大多采用具有人體3D 空間坐標的公共數據集， 3D 坐標由Kinect 相機捕獲，不適用于井下環境。本文構建了礦工行為數據集（Miner Behavior" Dataset， MBD） ，MBD是以煤礦人員的站立、行走、坐、跨越、違規扒車、摔倒6 類行為動作為基礎制作的礦工行為數據集。視頻樣本在礦山模擬實驗室中拍攝，并使用翻轉、旋轉等數據增強方法進行了擴展。

由于該數據集只包括沒有骨架序列的原始視頻，所以采用Lite?HRNet 提取人體關鍵點。針對單個人體，使用（x， y， c）來表示每個關鍵點，其中x，y 分別為關鍵點在圖像中的橫、縱坐標，c為關鍵點的置信度分數。對于多人情況，則選擇平均置信度最高的2 個個體作為具體目標。共得到600個骨架序列，其中80% 作為訓練集，20% 作為測試集。該數據集提供的評價標準為Top?1，并以準確率作為主要評價指標。

2.2人體動作識別模塊

MEST?GCN 模型采用空間配置劃分策略將空間圖劃分為3 個子集：① 選擇1 個節點作為根節點。② 比根節點更靠近骨架重心的相鄰節點為向心集。③ 比根節點更遠離骨架重心的相鄰節點為離心集。這3 個子集的卷積結果表達了不同尺度的運動特征。

2.2.2MEST?GCN模型

MEST?GCN是在ST?GCN基礎上進行改進。ST?GCN 模型的骨干網絡由9 個時空圖卷積（Spatial Temporal Graph Convolution， ST?GC） 單元組成。每個ST?GC 單元包含1 個圖卷積層（GraphConvolutional Network， GCN） 、1 個時間卷積層（Temporal Convolutional Network， TCN）和1 個殘差結構（Residual Structure） [13]，如圖4（a）所示，可看出模型第2 層和第3 層、第5 層和第6 層、第8 層和第9 層的輸入輸出通道數完全相同，第3、6 和9 層與前一層重復，屬于冗余設計。因此對ST?GCN 模型進行改進（圖4（b）），刪除3 個重復的ST?GC單元，以減少模型參數，提高模型計算速度。

ST?GCN模型在GCN層利用預定義的圖拓撲結構提取空間特征，在TCN 層采用固定大小的卷積核進行卷積操作，學習時間維度的信息。但礦工的行為習慣存在較大差異，這種固定特征提取方法難以適應復雜的動作變化，導致模型在真實煤礦場景下的魯棒性下降。為了解決該問題，引入M2FA，通過增強模型在時間、空間和通道維度的特征提取能力，使模型能夠更充分地學習骨架序列的行為特征，從而提升圖卷積模型在煤礦場景中的性能。

M2FA 主要分為多維特征融合、多尺度特征融合、注意力權重圖生成3個階段。在多維特征融合階段，通過融合不同維度的壓縮特征得到全局信息特征，加強骨架序列中關鍵幀與關鍵節點間的依賴關系；在多尺度特征融合階段，通過對原始特征逐點卷積得到局部信息特征，并與全局信息特征相結合得到多尺度特征，增強行為特征的表達能力；在注意力權重圖生成階段，將原始特征與注意力權重逐點相乘，得到由M2FA 模塊增強后的特征。

在得到上述3 個特征描述符后，分別將其特征維度沿著時間和空間維度復制，拓展為輸入特征的維度N×C×T×V，并將拓展后的描述符在通道維度拼接，此時的行為特征的通道數為3C，然后用逐點卷積操作將特征映射的通道數由3C 恢復至C，多維特征融合階段完成。

在多尺度特征融合階段，采用逐點卷積直接學習原始輸入特征f_in的局部信息，并與多維特征融合階段得到的全局壓縮信息逐位相加，融合多尺度的特征，進一步增強行為特征的表達能力。

在經過上述多維特征融合階段和多尺度特征融合階段后，得到新的融合特征f_scale，大小為N×C×T×V，該特征同時具備多個維度的全局信息和局部上下文信息，進行批量標準化和激活處理后，得到原始輸入特征的注意力權重M，大小為N×C×T×V。將權重M與原始特征F逐點相乘即可得到通過M2FA增強后的特征映射。

3實驗結果及分析

3.1數據集

NTU?RGB+D 60 數據集[23]是人體行為識別任務中最大的數據集，具有56880個骨骼序列，包含了60 個動作類別。因為該數據集具有不同的主體和視角， 所以其評價準則包括交叉主體（Cross Subject，X?sub）和交叉視角（Cross View，X?view）2 個部分。交叉主體指40個主體中有一半用于訓練，另一半用于測試。交叉視角指3 個攝像機拍攝角度中有2 個視角所捕獲的骨架序列用于訓練，另一個視角捕獲的序列用于測試。本文除了使用NTU60官方提供的3D 骨骼序列進行訓練外，還采用Lite?HRNet 對數據集的視頻進行提取，獲得2D骨架序列來進行訓練。

3.2參數配置

本文提出的模型基于PyTorch 框架實現。對于不同的數據集，模型訓練均采用隨機梯度下降優化算法，其中 Nesterov 動量設置為 0.9，權重衰減系數設為 0.0005。初始學習率為 0.1，采用線性縮放策略調整學習率，總訓練輪數為 16。

3.3對比實驗

為了驗證不同關鍵點數據對圖卷積模型性能的影響，本文在NTU60 數據集上進行了對比實驗，采用去除冗余層后的時空圖卷積模型（ST?GCN?6）進行訓練和測試， 結果見表1， 其中模型1 表示ST?GCN?6 模型直接使用NTU60 官方提供的3D 關鍵點數據進行訓練和測試；模型2 和模型3 分別表示ST?GCN?6 模型使用HRNet 和Lite?HRNet 提取的2D 關鍵點數據進行訓練和測試；模型4 表示本文提出的MEST?GCN 模型使用Lite?HRNet 提取的2D 關鍵點數據進行訓練和測試。由表1 可看出，模型2 在X?sub 和X?view 評價指標下的準確率分別為86.9% 和92.5%，模型3 的準確率分別為86.5% 和91.8%，模型2 和模型3 在2 個評價指標下的準確率均優于模型1。表明與3D 關鍵點數據相比， Lite?HRNet 提取的2D 關鍵點數據結合ST?GCN?6 模型能提升模型行為識別準確率。模型3 在X?sub 和X?view 指標上的準確率比模型2 分別低0.4% 和0.7%，但Lite?HRNet 作為輕量化模型，計算復雜度顯著低于HRNet，在煤礦場景實際應用中具有更高的實用性。模型4在X?sub 和X?view 評價指標下的準確率分別達到88.0% 和92.6%，相比模型3 分別提高1.5% 和0.8%。與ST?GCN?6 模型相比， MEST?GCN 模型能夠提升模型行為識別準確率。

為了驗證不同注意力模塊對ST?GCN?6 性能的影響，本文對比了ST?GCN?6 結合不同注意力模塊（SE 模塊、CBAM 模塊和M2FA 模塊）的表現，并在NTU60 數據集上進行了實驗， 數據集使用Lite?HRNet 提取關鍵點數據。其中，SE 模塊[24]通過全連接操作增強了通道維度的特征表達能力， CBAM模塊[25]通過并行機制同時增強了通道和空間維度的特征表達能力。實驗結果見表2。ST?GCN 在X?sub和X?view 評價指標下的準確率分別為87.3% 和92.4%， 參數量為3.12 Mib。刪除冗余層后的ST?GCN?6 在2 個評價指標下的準確率分別下降了0.8% 和0.6%，達86.5% 和91.8%，雖然模型準確率有所下降，但參數量減少一半，僅為1.30 Mib，顯著降低模型計算復雜度。MEST?GCN 在X?sub 和X?view指標下的準確率分別提升至88.0% 和92.6%，相比ST?GCN?6 分別提高了1.5% 和0.8%。雖然參數量增加至1.87 Mib，但仍低于ST?GCN 模型的3.12 Mib。與其他注意力模塊相比，在ST?GCN?6 中引入SE 模塊的模型在X?sub 和X?view 指標下的準確率分別為86.9% 和91.8%，引入CBAM 模塊的模型分別達到了87.2% 和92.0%，SE 模塊和CBAM 模塊對模型性能提升相對有限。這是由于SE 模塊僅增強了通道維度的特征表達，CBAM 模塊結合了通道和空間維度的特征表達，而M2FA 模塊同時增強了通道、空間和時間維度的特征表達能力，因此在各項指標中表現最佳，驗證了其在提高圖卷積模型學習能力上的有效性。

為了驗證MEST?GC 在ST?GCN 基礎上對精度、收斂速度和損失等方面的性能改進，記錄了訓練過程中驗證精度和平均損失隨迭代次數變化的曲線，如圖6 所示。從圖6（a）和圖6（b）可看出，MEST?GCN 驗證精度和平均損失變化曲線與ST?GCN 具有較高的重合度，這表明改進后的模型能夠保持與ST?GCN 相似的訓練趨勢和特性，確保了模型的訓練穩定性和整體性能。對比圖6（c）和圖6（d）可看出MEST?GCN 的驗證精度更高，收斂速度更快，表明M2FA 模塊能更有效地捕捉到關鍵特征，加速模型學習過程并提高模型性能。

為了驗證Lite?HRNet 提取礦工關鍵點的效果，對礦工的站立、行走、坐、跨越、違規扒車和摔倒6 種動作進行了測試，如圖7 所示，結果表明Lite?HRNet 能有效地提取出人體關鍵點，在昏暗場景和小尺度跨越動作中依然表現出較強的魯棒性，證明了其對復雜工作環境的適應能力。此外，對比Lite?HRNet 與HRNet 在礦工摔倒動作上的關鍵點提取效果（圖8） ，可看出2 種網絡均能準確識別出礦工的關鍵點，但Lite?HRNet 在保證精確度的同時具備更低的參數量和計算復雜度，顯示出更高的實用性和實時性，滿足礦工動作檢測任務的實時應用需求。

為進一步驗證MEST?GCN 在真實場景下的有效性，在MBD 數據集上與其他圖卷積模型進行了對比實驗， 并以準確率作為評價指標。實驗采用Lite?HRNet 提取MBD 數據集中礦工的關鍵點，生成骨架序列，然后輸入不同圖卷積模型提取行為特征，得到最終的識別結果，見表3。

由表3 可看出，在MBD 數據集上，與ST?GCN相比， MEST?GCN 在保持88.5% 準確率的同時，參數量減少至1.87 Mib。這是由于MEST?GCN 刪除了ST?GCN 中的冗余層，同時引入M2FA 注意力模塊，減少參數量的同時加強了對礦工骨架序列中節點、幀和通道的特征提取能力。與其他模型相比，MEST?GCN 的識別效果不如2s?AGCN 模型，這是由于2s?AGCN 模型在人為定義的圖拓撲結構基礎上增加了可學習的圖拓撲結構，提高了對復雜動作的識別準確率，但這同時會增加額外的計算量和模型參數，降低模型處理速度。MEST?GCN 的實時性能顯著優于其他模型，幀率達到了18.26 幀/s。綜上，本文提出的模型在MBD 數據集上實現了88.5% 的準確率，同時具備最小的參數量和最快的視頻處理速度，表明本文模型在煤礦場景下具有優秀的性能和實際應用價值。

不同模型在MBD 數據集上的可視化識別效果如圖9 所示。所展示的動作分別為“站立”“行走”“ 坐”“ 跨越”“ 違規扒車” 和“ 摔倒” 。可看出MEST?GCN 可以準確識別礦工的動作類別，表明其可以應用于煤礦場景。

4結論

1）提出了一種結合Lite?HRNet 與的MEST?GCN 模型的礦工行為識別方法。利用Lite?HRNet提取視頻中礦工的關鍵點坐標，得到骨架序列；采用MEST?GCN 模型提取骨架序列中的行為特征，得到礦工行為識別結果。

2）改進后的MEST?GCN 模型參數量下降至1.87 Mib。采用Lite?HRNet 提取NTU60 數據集的2D 關鍵點坐標并進行實驗，在X?sub 和X?view 評價標準下，模型識別準確率分別達88.0% 和92.6%。

3） 在自建MBD 數據集上的實驗結果表明，MEST?GCN 實現了88.5% 的識別準確率，視頻處理速度達到了18.26 幀/s，可以應用于煤礦場景。