基于多模態的井下登高作業專人扶梯檢測方法

摘要：目前大多數的井下人員不安全行為識別研究側重于在計算機視覺上提高精度，但井下易出現遮擋、光照不穩定、反光等情況，僅采用計算機視覺技術難以實現對不安全行為的準確識別，尤其登高作業中的爬梯、扶梯等相似動作在識別過程中易被混淆，存在安全隱患。針對上述問題，提出一種基于多模態的井下登高作業專人扶梯檢測方法。該方法從視覺和音頻2 個模態對監控視頻數據進行分析。視覺模態方面，采用YOLOv8 模型檢測登高梯是否存在，如果存在，獲得登高梯的位置坐標，并將視頻段放入OpenPose 算法中進行姿態估計，得到人體的各個骨骼關節點的特征，將這些骨骼關節點序列放入改進的時空注意圖卷積網絡（SAT?GCN）中，得到人體動作標簽及其對應概率。音頻模態方面，采用飛槳自動語言識別系統將語音轉換為文本，使用雙向編碼器表示（BERT）模型對文本信息進行特征分析與提取，得到文本標簽及其對應的概率。最后將視覺模態與音頻模態得到的信息進行決策級融合，判斷井下登高作業是否有專人扶梯。實驗結果表明：基于骨架數據的動作識別中，優化后的SAT?GCN 模型對于扶梯、爬梯、站立3 種動作的識別精度分別提升了3.36%，2.83%，10.71%；基于多模態的檢測方法比單模態方法具有更高的識別準確率，達到98.29%。

關鍵詞：登高作業；專人扶梯；多模態融合；視覺模態；音頻模態；YOLOv8；OpenPose；SAT?GCN；BERT

中圖分類號：TD67 文獻標志碼：A

0 引言

登高作業是煤礦井下一項常見任務，由于井下環境的獨特性，礦工的不安全行為極有可能引發安全事故[1]。設置專人扶梯是煤礦井下登高作業中關鍵的安全措施[2]，旨在防止登高作業人員在攀爬梯子或沿梯而下時發生意外情況。因此，有必要研究登高作業中有無專人扶梯的檢測方法。

傳統的井下不安全行為的監督和檢查方法通常依賴人工操作員來觀察，存在人為錯誤、監控不到位和不及時等問題。為此，研究人員開始探索采用計算機視覺技術，通過攝像頭和圖像分析算法來實時監控井下人員工作狀態，識別出不符合安全規程的行為。劉浩等[3]將煤礦井下不安全行為分為靜態不安全行為、動態不安全行為和互動不安全行為，分別采用MobileNetV3 神經網絡、時空圖卷積網絡（Spatial Temporal Graph Convolutional Networks，ST?GCN）對靜態和動態不安全行為進行識別，采用規則識別推理方法，通過設定規則，對互動不安全行為進行識別。饒天榮等[4]采用交叉注意力機制對提取的圖像特征和人體關鍵點進行特征融合和拼接，得到行為識別特征。王宇等[5]對提取的RGB 數據特征及骨骼數據特征進行早期融合與晚期融合，提高了井下人員不安全行為識別的準確率。趙登閣等[6]構造多尺度ST?GCN，并融合殘差模塊和輕量注意力模塊，進行人體動作識別。Li Peilin 等[7]提出了一種決策算法，對基于骨架數據和目標檢測的識別結果進行決策， 從而識別交互式不安全行為。Shi Xiaonan 等[8]對圖像數據進行去霧增強處理并優化姿態估計算法， 采用ST?GCN 進行不安全行為識別。

目前大多數的井下人員不安全行為識別研究側重于在計算機視覺上提高精度[9]，但井下易出現遮擋、光照不穩定、反光等情況，僅采用計算機視覺技術難以實現對不安全行為的準確識別。尤其登高作業中的爬梯、扶梯等相似動作在識別過程中易被混淆。針對上述問題，筆者對ST?GCN[10-11]進行改進，并在識別過程中融合音頻信息，采用多模態技術檢測井下登高作業中存在的不安全行為。將視覺模態的信息與非視覺模態的信息相融合，以彌補視覺模態上的限制，提供更加全面的信息，提升井下登高作業專人扶梯的檢測精度和可靠性。

1 基于多模態的井下登高作業專人扶梯檢測方法原理

基于多模態的井下登高作業專人扶梯檢測方法技術路線如圖1 所示。

輸入監控視頻后，從視覺和音頻2 個模態對視頻數據進行分析。由于井下登高作業有無專人扶梯屬于人與登高梯之間的交互式行為，所以登高梯的識別與井下人員的動作識別都是必要的。視覺模態方面，采用目標檢測算法YOLOv8 檢測登高梯是否存在，如果存在，獲得登高梯的位置坐標，并將視頻段放入OpenPose 算法[12]中進行姿態估計，得到人體的各個骨骼關節點的特征，將這些骨骼關節點序列放入基于ST?GCN 改進的時空注意圖卷積網絡（Spatial Attention Temporal Graph ConvolutionalNetworks， SAT?GCN）中，通過骨骼關節點的運動特征建立時空特征圖，對每次得到的特征進行分類操作，同時對多層時空圖進行卷積操作，形成能更高效表示樣本分類的特征圖，得到人體動作標簽及其對應概率[13]。音頻模態方面，采用飛槳自動語言識別系統（PaddlePaddle Automatic Speech Recognition，PP?ASR） 將語音轉換為文本， 使用雙向編碼器表示（Bidirectional Encoder Representations fromTransformers， BERT）模型[14]對文本信息進行特征分析與提取，得到文本標簽及其對應的概率。將視覺模態與音頻模態得到的信息進行決策級融合，判斷井下登高作業是否有專人扶梯。

2 基于多模態的井下登高作業專人扶梯檢測方法實現

2.1 基于YOLOv8 的登高梯檢測

采用YOLOv8 對自制的登高梯數據集進行訓練。輸入尺寸為640×640 的圖像，首先通過YOLOv8的主干（Backbone）部分對圖像中的登高梯特征進行提取，該部分采用了梯度流豐富的C2f 模塊，有效提高了網絡計算速度并降低了內存消耗；然后頸部（Neck） 部分采用特征金字塔路徑聚合網絡（PathAggregation Network，PANet）[15]，通過自頂向下路徑結合和自底向上特征傳播對骨干網絡提取的登高梯特征進行充分融合；最后通過檢測頭（Head）部分對登高梯進行識別并獲取其位置信息。YOLOv8網絡結構如圖2 所示。

2.2 基于OpenPose 的人體骨骼關鍵點檢測

由于井下環境較為復雜，且井下人員的同類行為在圖像中會呈現不同效果，使用傳統的圖像識別技術難以對不同場景下多種姿態的人體動作進行分類。同一類動作中，人體的骨骼關節相對位置及其變化情況是相似的[16]，且骨架數據對光照變化和背景噪聲具有魯棒性，因此本文采用基于骨骼數據的井下人員行為識別方式，采用OpenPose 提取井下人員的骨骼關節點信息，其網絡結構如圖3 所示，其中h 和w 分別為特征圖的高和寬。首先通過視覺幾何組（Visual Geometry Group， VGG）網絡提取井下圖像的特征圖F，將F 傳入2 個并行的子分支中，分別對骨骼關節點的部分置信度圖（Part Confidence Map，PCM）和部分親和向量場（Part Affinity Fields， PAFs）進行t 次迭代預測，從而獲取井下人員關節部位的置信度映射S 和親和向量場L。PCM 用于預測骨骼關節點的位置， PAFs 用于描述不同關節點的親和力，同一個體中的關節點具有較大親和力，而不同個體中的關節點親和力相對較小。

在迭代預測過程中，將t?1 次迭代輸出的特征結果與輸入圖像特征圖F 共同作為第t 次迭代過程中網絡的輸入，通過不斷迭代以獲取更加準確的人體姿態表示。第1 次迭代得到置信度映射S 1 = ρ1（F）和親和向量場L1 = ?1（F），第t 次迭代得到的置信度映射和親和向量場為

S t = ρt（F，S t-1，Lt-1） 8t≥2 （1）

Lt = ?t（F，S t-1，Lt-1） 8t≥2 （2）

式中：ρt（·），?t（·） 為第t 次迭代的卷積神經網絡結構；S t-1為第t?1 次迭代的置信度映射；Lt?1 為第t?1 次迭代的親和向量場。通過對井下人員的置信度及親和向量場進行協同分析，得到人體骨骼關節點，并構建骨架圖，生成井下人員的姿態表示，如圖4 所示。

2.3 基于SAT?GCN 的人員動作識別

將OpenPose 與ST?GCN 結合，通過運用人體骨骼關節點的運動特征，對視頻中的人員動作進行分類[17]。ST?GCN 以骨骼序列建立時空圖，通過1 個歸一化層（Batch Normalization， BN）進行處理，然后由9 個時空圖卷積單元（B1?B9）提取人體骨架的時間特征和空間特征， 接著通過全局平均池化層（Global Average Pooling，GAP）壓縮時間和空間維度的信息，并通過全連接層和Softmax 操作得出最終的動作分類結果。ST?GCN 總體架構如圖5 所示。

由于本文所需識別的爬梯和扶梯等動作較為相似，使用ST?GCN 識別易出現混淆，為提升識別精度，本文在ST?GCN 的每個時空圖卷積單元中，引入空間注意力機制模塊（Spatial Attention Module，SAM） [18]，構建SAT?GCN。SAT?GCN 的單個時空圖卷積單元由空域圖卷積、時域圖卷積、殘差結構和SAM 組成，如圖6 所示。空域圖卷積可從空域序列中提取單幀視頻內的節點特征及節點間的關聯信息，并將節點本身及其相鄰節點特征的均值作為新的節點特征。時域圖卷積可提取節點軌跡特征及時間上的序列關聯信息。殘差結構可防止網絡在訓練過程中出現過擬合。SAM 能使模型自適應地學習不同動作中骨骼關節點的差異，更新人體各骨骼關節點的權重。

SAM 結構如圖7 所示。首先對輸入的特征圖進行平均池化及全局池化，生成2 個代表不同信息的特征圖。然后將2 個特征圖進行合并，并通過一個感受野較大的7×7 卷積進行融合， 最后再通過Sigmoid 操作生成權重圖，將其疊加回原始的輸入特征圖，以增強目標區域的表征。

MS （F） = σ（ f 7×7 （[A（F） ，Z （F）]）） （3）

式中： MS（F）為空間注意力映射； σ（·） 為Sigmoid 函數；"f 7×7（·） 為卷積核大小為7×7 的卷積運算；A（·） 為平均池化；Z（·） 為最大池化。

利用改進后的SAT?GCN 對由OpenPose 生成的井下人員骨架圖的關節坐標數據進行訓練，通過訓練后的模型識別井下人員動作。

2.4 基于BERT 模型的文本分析

音頻信息中包含井下人員的對話，通過語音識別技術獲取對應文本數據，并使用自然語言處理技術分析文本中是否包含對于不安全行為的描述。

當檢測到登高梯時，基于PaddlePaddle 模型的語音識別框架PP?ASR 對當前所識別視頻幀2 min 內的音頻進行語音識別，采用BERT 模型對識別出的文本進行語義分析。以句子為單位作為BERT 模型的輸入，將句子序列中的第i 個字轉換為對應的文本向量Ei。

Ei = ki + gi + oi （4）

式中：ki 為符號嵌入；gi 為片段嵌入；oi 為位置嵌入。

通過雙向的Transformer（TRM）對文本向量表示進行堆疊編碼，生成融合整個文本信息的語言表征[19]。BERT 模型結構如圖8 所示，其中E1，E2，···，Ei 為第i 個字的文本向量表示， T1， T2， ···， Ti 為第i 個字輸出的向量表示。

在BERT 的預訓練階段， 進行掩碼語言建模（Mask Language Model， MLM） 和下句預測（NextSentence Prediction， NSP）2 項預訓練任務。預訓練結束后，對預訓練模型進行微調，使用處理過的自建文本數據集，調整構建的BERT 分類模型參數，以適應文本分類任務的過程。使用訓練好的BERT 模型分析輸入文本的語義，如果檢測到該段文本語義為安全，輸出安全的概率，否則輸出不安全的概率。

2.5 多模態融合

為了提高識別準確率，將視覺模態和音頻模態的信息進行融合，以獲取更全面的特征。決策級融合無需將不同模態數據進行對齊，往往更加高效。

通過Dempster?Shafer 方法[20]對不同傳感器數據構建基于多模態融合的井下登高作業專人扶梯檢測模型，首先獲得不同模態數據對于“該登高作業存在安全隱患”命題支持的概率，再對這些概率使用正交和的方式進行運算，從而得到不同模態數據對該命題的綜合支持情況。本文所獲取的信息來源于視頻傳感器和聲音傳感器，采取Dempster?Shafer 方法對視覺模態和音頻模態信息進行融合，進而預測是否為登高作業安全行為。

基于視覺模態的登高作業有無專人扶梯現象檢測模型的輸出為[P11，P21]， 基于音頻模態的登高作業有無專人扶梯現象檢測模型的輸出為[P12，P22]，其中P11，P12為模型識別類別為危險的概率，P21，P22為模型識別類別為安全的概率。采用D?S 證據理論對2 種模態識別模型的檢測結果進行融合處理。

式中：z 為登高作業有無專人扶梯現象識別概率；c 為危險等級，c=1 為危險類別，c=2 為安全類別；l 為歸一化常數；b 為模態類型，b=1 為視覺模態， b=2 為音頻模態。

2.6 基于多模態的登高作業不安全行為判別

登高作業不安全行為判別流程如圖9 所示。視覺模態方面，當目標檢測算法識別到登高梯時，記錄登高梯錨框的坐標信息，并使用OpenPose 檢測是否存在人體骨骼關節點，如存在，則使用SAT?GCN 模型分析OpenPose 檢測到的人體姿態關節點序列，識別人體動作。在基于SAT?GCN 的輸出結果中，當識別出1 名井下人員做爬梯動作，則認定此時在進行登高作業，將繼續判斷是否有井下人員做扶梯動作。當同時識別出1 名井下人員做扶梯動作，1 名井下人員做爬梯動作，且2 人的手部關節點都在所檢測到的登高梯錨框范圍內，則在視覺模態上判定為安全行為，并輸出其得分。音頻模態方面，當視覺模態檢測到登高梯時，則提取當前時刻2 min 的音頻信息，并識別文本數據，使用訓練好的BERT 模型分析輸入文本的語義，得到該段文本安全或不安全的標簽及其對應的概率。一旦視頻和音頻任一模態的檢測結果為不安全，則判定出現不安全行為。

3 實驗驗證與結果分析

3.1 實驗環境與數據來源

實驗在Windows 系統下進行，采用Python3.8 框架，調用Python 環境中的多個學習庫對實驗進行訓練和測試。實驗過程中使用的集成開發環境為PyCharm，計算平臺CUDA 版本為11.6，處理器采用Intel（R） Core（TM） i7?13700KF， 顯卡為NVIDIAGeForce RTX 3080。

以淮南礦業（集團）有限責任公司潘二煤礦2023 年部分監控視頻作為數據源，收集井下不同場景、不同光照條件下登高作業的視頻數據。后續所有實驗數據都是基于該登高作業視頻數據進行處理的。

3.2 實驗與結果分析

3.2.1 井下登高梯識別

為判定井下登高作業有無專人扶梯，首先需識別是否存在登高梯。制作登高梯數據集，并使用該數據集對YOLOv8 模型進行訓練，使該模型對輸入圖像中是否存在登高梯進行智能識別。

通過在登高作業視頻數據中進行截取及在網上進行搜集，并經過數據增強后，獲得登高梯數據集。包含不同角度、不同光線環境及有人員部分遮擋的登高梯圖像共489 張，70% 作為訓練集，30% 作為測試集。

使用登高梯數據集對YOLOv8 模型進行訓練，實驗設置訓練模型的迭代次數為100，訓練集和測試集的批次大小都為4，算法優化器采用隨機梯度下降法（Stochastic Gradient Descent，SGD），起始學習率設為0.01，將權重衰減正則項設為0.000 5，以防止在訓練過程中出現過擬合現象。訓練和驗證過程中的邊界框損失、分類損失及距離場損失結果如圖10 所示，可看出在進行100 次迭代后，各損失都達到預期的最小值。

采用平均精度均值（mean Average Precision， mAP）對模型進行評價，用于反映模型邊界框中的目標類別和位置的準確性。YOLOv8 模型在登高梯數據集上的mAP 為0.995。

訓練完成后，對不同環境下登高梯進行識別，效果如圖11 所示。可看出在不同光線、不同角度的圖像中， YOLOv8 模型都能對登高梯進行準確識別。

3.2.2 井下登高作業文本分析

為檢測文本中是否包含對于不安全行為的描述， 需制作文本數據集， 并使用該數據集訓練BERT 模型，使其對輸入文本進行智能語義分析。

以2 min 為時間段，對登高作業視頻數據進行語音截取，并進行語音識別和預處理操作，獲得文本數據。刪除每條文本中的無關信息后，給予每條文本對應的標簽。其中，0 表示不安全，1 表示安全。文本分析的部分訓練數據見表1。最終的文本數據集中共有400 條數據，包含不安全樣本216 條，安全樣本184 條，其中80% 作為訓練集，20% 作為測試集。

使用文本數據集對BERT 模型進行訓練。模型訓練參數設置如下：迭代次數為80；訓練集和測試集的批次大小都為4；學習率為0.000 01。

使用準確率作為該模型的評價指標，訓練好的模型在測試集上的準確率為92.5%。

3.2.3 井下登高作業不安全行為識別

制作登高作業不安全行為視頻數據集，使用該數據集訓練基于多模態融合的井下登高作業專人扶梯檢測模型，使模型在檢測到登高梯存在后，進行人體行為識別，并融合文本信息，從而判定井下登高作業有無專人扶梯。

對登高作業視頻數據以2 s 為時間段進行截取，幀速率統一為30 幀/s。整理好的數據共1 019 條，包含專人扶梯動作327 條、爬梯動作367 條、站立動作325 條，其中70% 作為訓練集，30% 作為測試集。

使用該數據集對井下登高作業有無專人扶梯行為識別模型進行訓練。模型訓練參數設置如下：迭代次數為80；訓練集和測試集的批次大小都為16；優化器采用SGD；初始學習率為0.05，并使用權重衰減避免過擬合。

訓練完成后，對輸入視頻段進行智能識別，識別結果如圖12 所示。第1 個窗口為原始的視頻界面（Original Video） ， 第2 個窗口為人體骨架圖（PoseEstimation） ， 第3 個窗口為動作識別的結果（Attention+Prediction） ，第4 個窗口為人體骨架關節點的注意力機制（Attention+RGB）。

添加了SAM 的SAT?GCN 模型與原ST?GCN模型對于不同動作的識別精度見表2。可看出SAT?GCN 模型在不同動作上的識別精度均高于ST?GCN模型。2 個模型的損失曲線如圖13 所示， 可看出SAT?GCN 模型的整體損失低于ST?GCN 模型。

為進一步證明基于多模態融合的井下登高作業專人扶梯檢測模型及SAT?GCN 模型的有效性，將其與ST?GCN 模型、VA?RNN 模型[21]、2s?AGCN模型[22]在自建數據集上進行對比實驗，準確率結果見表3。可看出SAT?GCN 模型的準確率較ST?GCN 模型高1.96%；基于多模態融合的井下登高作業專人扶梯檢測模型的準確率較SAT?GCN， VA?RNN， 2s?AGCN 等單模態模型分別提高了15.94%，21.04%， 13.32%，更適用于煤礦井下的不安全行為識別。

4 結論

1） 針對井下易出現遮擋、光照不穩定、反光等情況，采用多模態技術構建基于多模態融合的井下登高作業專人扶梯檢測模型，將視頻模態和音頻模態信息進行融合，得到識別結果。

2） 基于骨架數據的動作識別中，針對相似動作易被混淆的問題，對ST?GCN 模型進行優化，優化后的SAT?GCN 模型對于扶梯、爬梯、站立3 種動作的識別精度分別提升了3.36%，2.83%，10.71%。

3） 在自主建立的井下登高作業數據集上的實驗結果表明，基于多模態融合的方法比單模態方法具有更高的識別準確率，達98.29%。

參考文獻（References）：

[ 1 ]張瑜，馮仕民，楊賽烽，等. 礦工不安全行為影響因素本體構建與推理研究[J]. 煤礦安全，2019，50（5）：300-304.

ZHANG Yu， FENG Shimin， YANG Saifeng， et al.Ontology construction and reasoning research oninfluencing factors of miners' unsafe behavior[J]. Safetyin Coal Mines，2019，50（5）：300-304.

[ 2 ]登高作業操作規程[EB/OL]. （2021-11-08）[2023-10-08]. https：//www.mkaq.org/html/2021/11/08/593666.shtml.

Operation procedures for climbingoperations[EB/OL].（2021-11-08） [2023-10-08]. https：//www.mkaq.org/html/2021/11/08/593666.shtml.

[ 3 ]劉浩，劉[ 3 ] 海濱，孫宇，等. 煤礦井下員工不安全行為智能識別系統[J]. 煤炭學報， 2021， 46（增刊2） ：1159-1169.

LIU Hao， LIU Haibin， SUN Yu， et al. Intelligentrecognition system of unsafe behavior of undergroundcoal miners[J]. Journal of China Coal Society， 2021，46（S2）：1159-1169.

[ 4 ]饒天榮，潘濤，徐會軍. 基于交叉注意力機制的煤礦井下不安全行為識別[J]. 工礦自動化， 2022， 48（10） ：48-54.

RAO Tianrong， PAN Tao， XU Huijun. Unsafe actionrecognition in underground coal mine based on crossattentionmechanism[J]. Journal of Mine Automation，2022，48（10）：48-54.

[ 5 ]王宇，于春華，陳曉青，等. 基于多模態特征融合的井下人員不安全行為識別[J]. 工礦自動化， 2023，49（11）：138-144.

WANG Yu， YU Chunhua， CHEN Xiaoqing， et al.Recognition of unsafe behaviors of undergroundpersonnel based on multi modal feature fusion[J].Journal of Mine Automation，2023，49（11）：138-144.

[ 6 ]趙登閣，智敏. 用于人體動作識別的多尺度時空圖卷積算法[J]. 計算機科學與探索，2023，17（3）：719-732.

ZHAO Dengge， ZHI Min. Spatial multiple-temporalgraph convolutional neural network for human actionrecognition[J]. Journal of Frontiers of ComputerScience and Technology，2023，17（3）：719-732.

[ 7 ]LI Peilin， WU Fan， XUE Shuhua， et al. Study on theinteraction behaviors identification of constructionworkers based on ST-GCN and YOLO[J]. Sensors，2023，23（14）. DOI：10.3390/S23146318.

[ 8 ]SHI Xiaonan， HUANG Jian， HUANG Bo. Anunderground abnormal behavior recognition methodbased on an optimized Alphapose-ST-GCN[J]. Journalof Circuits， Systems and Computers， 2022， 31（12） .DOI：10.1142/S0218126622502140.

[ 9 ]蘇晨陽，武文紅，牛恒茂，等. 深度學習的工人多種不安全行為識別方法綜述[J]. 計算機工程與應用，2024，60（5）：30-46.

SU Chenyang， WU Wenhong， NIU Hengmao， et al.Review of deep learning approaches for recognizingmultiple unsafe behaviors in workers[J]. ComputerEngineering and Applications，2024，60（5）：30-46.

[10]YAN Sijie， XIONG Yuanjun， LIN Dahua. Spatialtemporal graph convolutional networks for skeletonbasedaction recognition[C]. AAAI Conference onArtificial Intelligence，New Orleans，2018：7444-7452.

[11]SONG Sijie， LAN Cuiling， XING Junliang， et al.Spatio-temporal attention-based LSTM networks for 3Daction recognition and detection[J]. IEEE Transactionson Image Processing，2018，27（7）：3459-3471.

[12]CAO Zhe， SIMON T， WEI S E， et al. Realtime multiperson2D pose estimation using part affinity fields[C].IEEE Conference on Computer Vision and PatternRecognition，Honolulu，2017：1302-1310.

[13]許奇珮. 基于ST?GCN 的人體骨架動作識別方法研究[D]. 長春：長春工業大學，2023.

XU Qipei. Research on human skeleton actionrecognition method based on ST-GCN[D]. Changchun：Changchun University of Technology，2023.

[14]DEVLIN J， CHANG Mingwei， LEE K， et al. BERT：pre-training of deep bidirectional transformers forlanguage understanding[EB/OL]. （2018-10-11） [2023-10-08]. https：//doi.org/10.48550/arXiv.1810.04805.

[15]LIU Shu， QI Lu， QIN Haifeng， et al. Path aggregationnetwork for instance segmentation[C]. IEEEConference on Computer Vision and PatternRecognition，Salt Lake City，2018：8759-8768.

[16]李雯靜，劉鑫. 基于深度學習的井下人員不安全行為識別與預警系統研究[J]. 金屬礦山， 2023（3） ：177-184.

LI Wenjing， LIU Xin. Research on undergroundpersonnel unsafe behavior identification and earlywarning system based on deep learning[J]. Metal Mine，2023（3）：177-184.

[17]劉耀，焦雙健. ST?GCN 在建筑工人不安全動作識別中的應用[J]. 中國安全科學學報，2022，32（4）：30-35.

LIU Yao， JIAO Shuangjian. Application of ST-GCN inunsafe action identification of construction workers[J].China Safety Science Journal，2022，32（4）：30-35.

[18]WOO S，PARK J，LEE J Y，et al. CBAM：convolutionalblock attention module[C]. European Conference onComputer Vision，Cham，2018：3-19.

[19]景永霞，茍和平，劉強. 基于BERT 語義分析的短文本分類研究[J]. 蘭州文理學院學報（自然科學版） ，2023，37（6）：46-49.

JING Yongxia，GOU Heping，LIU Qiang. Classificationstudy on online short text based on BERT semanticanalysis[J]. Journal of Lanzhou University of Arts andScience（Natural Sciences），2023，37（6）：46-49.

[20]姜長三，曾楨，萬靜. 多源信息融合研究進展綜述[J].現代計算機，2023，29（18）：1-9，29.

JIANG Changsan，ZENG Zhen，WAN Jing. A review ofresearch advances in multi-source information fusion[J].Modern Computer，2023，29（18）：1-9，29.

[21]ZHANG Pengfei， LAN Cuiling， XING Junliang， et al.View adaptive neural networks for high performanceskeleton-based human action recognition[J]. IEEETransactions on Pattern Analysis and MachineIntelligence，2019，41（8）：1963-1978.

[22]SHI Lei， ZHANG Yifan， CHENG Jian， et al. Twostreamadaptive graph convolutional networks forskeleton-based action recognition[C]. IEEE/CVFConference on Computer Vision and PatternRecognition，Long Beach，2019：12018-12027.

基金項目：國家自然科學基金項目（61873004）。