基于改進YOLOv7 和ByteTrack 的煤礦關鍵崗位人員不安全行為識別

韓康，李敬兆，陶榮穎

（1.安徽理工大學 人工智能學院，安徽 淮南 232001；2.淮浙煤電有限責任公司 顧北煤礦，安徽 淮南 232150）

0 引言

煤礦生產各個崗位的工作人員必須保持精神高度集中，才能確保安全生產。然而，由于安全監管不到位、員工安全意識參差不齊，人員不安全行為仍然是導致安全事故的主要原因[1-2]。因此，對煤礦生產中礦井提升機和絞車司機、變電站值班人員、井口信號把鉤工（簡稱信把工）等關鍵崗位工作人員的行為進行識別，及時、準確地警示不安全行為，防止由于不安全行為造成設備誤操作等安全隱患，對保障煤礦安全生產具有重要意義。

隨著智慧礦山建設的推進和煤礦生產安全需求的不斷提高[3]，人工智能技術在煤礦人員行為識別中逐步得到應用[4]。劉浩等[5]采用MobileNetV3 與時空圖卷積網絡（Spatial Temporal Graph Convolutional Networks，ST-GCN）實現對井下員工靜態與動態不安全行為的識別。溫廷新等[6]提出了基于遷移學習和深度殘差網絡的圖像識別方法，對煤礦工人的不安全行為進行分類和識別，但該方法對復雜動作的識別率較低。李占利等[7]提出了一種基于3DAttention 的礦工行為識別算法，實現了對煤礦井下跑、跳等不安全行為的識別。王宇等[8]通過SlowOnly網絡提取RGB 模態，并與從骨骼模態中提取的特征進行融合，實現對井下人員不安全行為的識別。基于圖像特征的行為識別方法在煤礦場景雖然得到了一定應用，但仍面臨以下挑戰：①煤礦場景復雜多變，監控圖像背景中無關人員的活動會對不安全行為識別造成干擾。②常見算法實時性低，無法及時對不安全行為進行預警和干預。

針對上述問題，本文綜合考慮礦井人員的姿態與時序特征，提出一種基于改進YOLOv7 和ByteTrack的煤礦關鍵崗位人員不安全行為識別方法。通過MobileOne 與C3 模塊對YOLOv7 進行輕量化改進，構建基于MobileOneC3-YOLO 的關鍵崗位人員實時檢測模型，獲取人員準確位置。通過ByteTrack 跟蹤算法精確鎖定目標人員，排除背景中無關人員對不安全行為識別的干擾，提升不安全行為識別準確率和效率。最后，結合改進OpenPose 模型和STGCN 實現煤礦關鍵崗位人員不安全行為的分析識別。

1 煤礦關鍵崗位人員不安全行為識別框架

通過現場調研統計，礦井提升機和絞車司機、變電站值班人員、井口信把工等關鍵崗位人員不安全行為主要包括疲勞睡崗、離崗、玩手機、側身交談，這些行為嚴重分散了工作人員的注意力，易引發誤操作等安全事故。因此，本文主要針對以上4 種不安全行為進行識別分析。

煤礦關鍵崗位人員不安全行為識別框架如圖1所示，其中 φ為特征提取器，*為特征比較器。首先，通過攝像機獲取煤礦關鍵人員監控視頻，基于MobileOneC3-YOLO 模型獲取人員準確位置，為關鍵崗位人員跟蹤提供穩定、準確的位置信息。其次，為排除背景中無關人員對不安全行為識別造成的干擾，采用ByteTrack 實現關鍵崗位人員追蹤鎖定，提升不安全行為識別的魯棒性。然后，將已鎖定人員檢測框送入改進OpenPose 模型，提取關鍵崗位人員的骨架特征，實現人體姿態估計。最后，基于ST-GCN 對人員姿態的時序特征進行分析，實現煤礦關鍵崗位人員不安全行為識別。

圖1 不安全行為識別框架Fig.1 Unsafe behavior recognition framework

2 煤礦關鍵崗位不安全行為識別方法

2.1 基于MobileOneC3-YOLO 的關鍵崗位人員實時檢測模型

快速、精準地對關鍵崗位人員進行定位是實現不安全行為識別的第1 步。YOLOv7 作為經典的目標檢測框架，檢測精度較YOLOv5 提升明顯，同時較YOLOv8 降低了模型體積[9]。考慮到實時性與檢測精度的雙重需求，以及YOLOv7 設計靈活的特點，采用YOLOv7 作為目標檢測模型。然而，YOLOv7 復雜的網絡結構使其在并行處理大量視頻時存在嚴重的計算延遲。對此，本文采用MobileOne 與C3 模塊對YOLOv7 進行輕量化改進，構建MobileOneC3-YOLO 人員檢測模型，在維持人員檢測精度的同時，提升檢測實時性。

MobileOne 是基于卷積神經網絡架構的輕量級骨干網絡，利用結構重參數化解耦訓練階段和推理階段[10]，其結構如圖2 所示。訓練階段主要包括深度卷積和點卷積2 個部分，通過超參數K控制重參數化的分支數。深度卷積部分由2 個卷積模塊和單獨的批標準化（Batch Normalization，BN）層構成殘差結構，點卷積部分則由1 個卷積模塊和單獨的BN 層構成殘差結構。推理階段，通過重參數化將深度卷積和點卷積分別轉換為僅包含1 個卷積和1 個激活函數的等效結構，從而顯著提升模塊的推理速度，同時保證推理精度。

圖2 MobileOne 模塊結構Fig.2 MobileOne module structure

C3 模塊在跨階段局部網絡（Cross Stage Partial Network，CSPNet）基礎上融入殘差連接，旨在提升網絡學習能力和效率，同時減小模型尺寸[11]。C3 模塊結構如圖3 所示。第1 個分支包含3 個CBS（卷積-批量歸一化-SiLU 激活函數）模塊，用于深入提取和細化特征表示；第2 個分支由1 個CBS 模塊構成，目的是在不犧牲性能的前提下保持模塊的高效性。2 個分支最終合并，以增強特征表達。

圖3 C3 模塊結構Fig.3 C3 module structure

MobileOneC3-YOLO 人員檢測模型如圖4 所示。在保持YOLOv7 模型優勢的基礎上，本文采用MobileOne 改進YOLOv7 的主干網絡，并采用ReLU作為MobileOne 的激活函數，以提高網絡的計算效率和表達能力。此外，在模型的頭部引入C3 模塊，以簡化模型結構，進一步提升特征表達能力。

2.2 基于ByteTrack 的關鍵崗位人員鎖定方法

煤礦關鍵崗位人員不安全行為識別過程中，由于無關人員流動，在監控畫面中產生了大量無關人員闖入、停留、走動等情況，給不安全行為識別帶來了干擾，易導致誤檢和檢測準確性降低。因此，時刻鎖定關鍵崗位工作人員，排除無關人員對不安全行為識別產生的干擾，是提高檢測魯棒性的關鍵。本文利用ByteTrack 跟蹤算法[12]對視頻中的人員進行跟蹤，通過工作區域持續時間閾值法實現對關鍵崗位人員的鎖定，排除背景中無關人員對不安全行為識別的干擾。

2.2.1 工作人員跟蹤

基于ByteTrack 的跟蹤流程如圖5 所示。首先，通過MobileOneC3-YOLO 模型對視頻的每一幀進行檢測，得到檢測框集合Bt（t為時間）。對于每個檢測框bt∈Bt，根據檢測得分St和設定的閾值 θ分類為高分和低分檢測框。

圖5 基于ByteTrack 的跟蹤流程Fig.5 ByteTrack-based tracking process

高低分檢測框分類規則為

針對由連續檢測框組成的軌跡集合Gt-1，通過卡爾曼濾波進行下一幀軌跡的預測，得到預測軌跡，并與檢測框進行2 次關聯。

2.2.2 工作人員鎖定

為實現對關鍵崗位工作人員的精確鎖定，定義工作區域W和時間閾值T，對視頻幀中每個跟蹤目標d，判斷其是否位于定義的工作區域內。對位于工作區域內的目標，系統累計其在工作區域內的停留時間，并進一步評估該時間是否達到或超過時間閾值。若目標的累計停留時間達到或超過時間閾值，則系統將其識別為工作人員進行持續鎖定，并通過后續步驟進行姿態估計。人員鎖定過程偽代碼如下。

2.3 基于改進OpenPose 的人體關鍵點提取

對跟蹤鎖定的人員檢測框中的目標，采用OpenPose 進行骨架特征提取[13]。OpenPose 使用VGG-19[14]網絡作為特征提取網絡，但VGG-19 缺乏殘差連接，限制了其處理深層特征時的效率和速度，不利于快速響應煤礦生產現場的緊急事件。鑒此，本文采用MobileNetV2 替代VGG-19 作為OpenPose的特征提取網絡，這一改進可在保證模型準確性的同時減少參數量，從而有效提升推理速度和效率。

MobileNetV2 主要由擴張、深度可分離卷積、壓縮3 個部分組成，通過引入倒殘差結構來提高模型的性能和效率[15]。MobileNetV2 倒殘差結構如圖6所示。

圖6 MobileNetV2 倒殘差結構Fig.6 MobileNetV2 inverted residual structure

改進OpenPose 網絡結構如圖7 所示。h′,w′分別為特征圖的高和寬；分別分支1 和分支2 在階段m的損失函數。通過MobileNetV2 對視頻幀進行特征提取，將提取的特征輸入姿態估計網絡。姿態估計網絡包含6 個階段，每個階段包含2 個分支：分支1 用于預測關鍵點部位置信圖Qm，分支2 用于預測部位親和場Lm。考慮到關鍵點兩兩相連的情況，執行二分匹配，以關聯身體部位候選關鍵點，利用匈牙利算法在圖像中找到身體部位與人體的最優匹配，最終解析出目標的骨架姿態。

圖7 改進OpenPose 網絡結構Fig.7 Improved OpenPose network structure

2.4 基于ST-GCN 的行為識別

結合改進OpenPose 提取的骨架序列，采用ST-GCN 對動態不安全行為進行識別。ST-GCN 是圖卷積網絡的擴展[16]，通過引入時間卷積網絡[17]，設計了用于動作識別的人體骨架時空圖，以捕捉人體骨骼關節空間配置的模式及骨架序列中的時間動態。將提取的骨架信息按幀排列，相鄰幀之間相同關節點相連，得到一個以圖數據形式呈現的骨架時空圖，如圖8 所示。其中圓點為人體的18 個關節點，藍色線條表示單幀中人體內關節點的連接，橙色線條表示相鄰幀之間同一關節點的連接。

圖8 人體骨架時空圖Fig.8 Spatiotemporal map of human skeleton

骨架時空圖可表示為

式中：V為關節點集合；Φ為骨架序列的連接邊集合；vxi為骨架序列第x幀中的第i個關節點；X為總幀數；Φ1為空間域邊子集，表示單幀骨架內所有關節點的空間連接信息，Φ1={vxivx j}（j=1,2,···,18）；Φ2為時間域邊子集，表示第x個和第x+1個連續幀之間相同關節點的時間連接信息，Φ2={vxiv(x+1)i}。

通過批量歸一化層對骨架時空圖數據進行歸一化處理后，經過10 個時空圖卷積層進行卷積；再經過池化層進行平均池化，得到固定大小的特征向量；最后通過全連接層，由Softmax 分類器輸出識別結果。ST-GCN 識別流程如圖9 所示。

圖9 ST-GCN 識別流程Fig.9 ST-GCN recognition process

3 實驗結果與分析

3.1 數據集構建與實驗環境配置

本文視頻數據來自淮南某煤礦絞車司機室、上下井口打點硐室等關鍵崗位，通過Python 抽幀獲得5 241 張圖像，初步構建煤礦關鍵崗位人員檢測數據集。為提高模型泛化能力，采用添加噪聲、裁剪、改變亮度、旋轉、鏡像等方式進行數據增強，增強后的數據集包含36 687 張圖像，以8∶2 的比例劃分為訓練集（29 350 張）和驗證集（7 337 張），標簽類別為“Person”。此外，針對疲勞睡崗、離崗、側身交談和玩手機4 種不安全行為，提取3 558 個時長為6～8 s、幀率為25 幀/s 的煤礦關鍵崗位人員不安全行為數據樣本。基于改進OpenPose 提取人體骨架姿態信息，構建煤礦關鍵崗位人員不安全行為數據集，同樣以8∶2 的比例劃分訓練集和驗證集。煤礦關鍵崗位人員檢測數據集如圖10 所示。

圖10 煤礦關鍵崗位人員檢測數據集Fig.10 Key position personnel detection dataset in coal mines

實驗使用的深度學習框架均為PyTorch 1.8.1 版本，Python 版本為3.8.5，服務器配置為Intel Core i9-12900 K CPU，NVIDIA GeForce RTX3090 GPU，64 GiB RAM。

3.2 評價指標

為了有效評估模型性能，采用常見評價指標對模型進行評估，具體指標見表1。其中（↑）表示數值越高效果越好，（↓）表示數值越高效果越差；TP 為被正確檢測出的人員數，FP 為誤檢測人員總數，FN 為漏檢測人員總數，GT 為真實的人員標簽，IDSW 為ID 切換次數。

表1 評價指標Table 1 Evaluation indexes

3.3 人員檢測模型性能分析

為驗證MobileOneC3-YOLO 模型的優勢，基于煤礦關鍵崗位人員目標檢測數據集，將其與YOLOv5、YOLOv7 和YOLOv8 模型進行對比，結果如圖11 所示。可看出，迭代200 輪后，模型精確率逐漸趨于穩定，MobileOneC3-YOLO 模型的精確率最終穩定在93.7%，訓練效果優于其他模型。

圖11 精確率曲線Fig.11 Precision curves

模型檢測精確率、參數量和單幀圖像推理耗時對比見表2。可看出，MobileOneC3-YOLO 模型參數量為2.51×107個，較YOLOv5，YOLOv7，YOLOv8 分別降低19.5%，32.5%，42.4%；MobileOneC3-YOLO 模型的單幀圖像推理耗時為0.020 8 s，推理速度較YOLOv5，YOLOv7，YOLOv8 分別提高47.3%，52.4%，56.2%。MobileOneC3-YOLO 模型的精度最高，同時參數量最少，顯著提升了檢測效率。

表2 人員檢測模型性能Table 2 Personnel detection model performance

為進一步驗證輕量化優化效果，進行消融實驗。以YOLOv7 作為基礎模型，評估MobileOne 與C3 對網絡主干和頭部的優化效果。人員檢測模型消融實驗結果見表3。可看出，單獨使用MobileOne 優化主干網絡后，模型精確率下降0.3%，參數量減少21.2%，推理速度提高21.5%；單獨使用C3 優化頭部網絡后，模型精確率和推理速度分別提高0.2%和17.8%，參數量減少27.1%；綜合使用MobileOne 和C3 優化網絡結構后，模型在維持高精度的同時，參數量和單幀圖像推理耗時分別降至2.51×107個和0.020 8 s，性能提升明顯，輕量化改進效果顯著。

表3 人員檢測模型消融實驗結果Table 3 Ablation experiment results of personnel detection model

3.4 人員鎖定模型性能分析

為評估基于ByteTrack 的人員跟蹤方法的有效性，以MobileOneC3-YOLO 模型的檢測結果作為輸入，采用多目標跟蹤數據集MOT17[18]對SORT[19]、DeepSort[20]和ByteTrack 進行對比實驗，結果見表4。

表4 跟蹤算法對比實驗結果Table 4 Comparison experiment results of tracking algorithms

從表4 可看出，ByteTrack 算法在跟蹤任務中表現優異，其ID 調和均值IDF1 和多目標跟蹤準確率MOTA 分別達到88.1%和85.5%，同時因采用輕量化架構，推理幀率達到29.6 幀/s。SORT 算法雖然誤跟蹤目標數最小，但漏跟蹤目標數過大，表明其在目標特征利用上存在不足。此外，SORT 和DeepSort 算法因采用高置信度檢測框篩選策略，忽視低置信度檢測框，導致性能不如ByteTrack 算法。

采用ByteTrack 算法對井口信把工、變電站值班人員、礦井提升機和絞車司機4 個關鍵崗位人員進行鎖定測試。每個關鍵崗位選取視頻60 段，每段2 min，共計240 段，進行3 輪測試。設置目標停留持續時間閾值為30 s，實驗結果見表5。可看出，基于ByteTrack 的關鍵崗位人員鎖定模型總體鎖定成功率為97.1%，平均成功鎖定次數達58，有效實現了對關鍵崗位工作人員的跟蹤鎖定。

表5 關鍵崗位人員鎖定結果統計Table 5 Statistics on the key position personnel locking results

煤礦關鍵崗位人員鎖定效果如圖12 所示，模型可持續有效地跟蹤鎖定工作人員，同時避免對背景中無關人員的檢測跟蹤，排除了背景中無關人員對不安全行為識別的影響。

圖12 關鍵崗位人員鎖定效果Fig.12 Key position personnel locking effect

3.5 不安全行為識別模型性能分析

采用MS COCO2017[21]數據集對改進OpenPose模型進行評估。該數據集共包含123 287 張圖像，每張圖像含有17 個人體關鍵點標注。為進一步細化人體上身姿態信息，增加頸部關鍵點，使得每張圖像包含18 個人體關鍵點標注。不安全行為識別模型性能測試結果見表6。可看出，相較于OpenPose，改進OpenPose 平均精確率下降2.4%，但模型內存減小至33.5 MiB，降幅達83.5%，在CPU 和GPU 上的單幀圖像推理耗時分別減少74.7%和54.9%。這表明改進OpenPose 在保證精度的基礎上，顯著提升了計算效率和推理速度。完成人體關鍵點提取后，采用ST-GCN 模型對煤礦關鍵崗位人員的不安全行為進行識別。采用煤礦關鍵崗位人員不安全行為數據集進行模型訓練，設置模型輸入總幀數為200，batch size 為32，類別數為4，初始學習率為0.002。模型損失函數曲線如圖13 所示。

表6 不安全行為識別模型性能測試結果Table 6 Performance test results of unsafe behaviors recognition model

圖13 損失函數曲線Fig.13 Loss function curve

由圖13 可看出，隨著訓練輪次增加，ST-GCN 模型的損失值持續下降，在250 次迭代后趨于平穩，最終穩定在0.042 5，此時精確率為87.5%。

為驗證輕量化煤礦關鍵崗位人員不安全行為識別方法的有效性，進行消融實驗。以ByteTrack 和ST-GCN 為基礎，考察目標檢測模型和姿態估計模型對疲勞睡崗、離崗、側身交談和玩手機4 種不安全行為識別精確率和速度的影響。不安全行為識別模型消融實驗結果見表7。

表7 不安全行為識別模型消融實驗結果Table 7 Ablation experiment results of unsafe behaviors recognition model

可看出，MobileOneC3-YOLO+改進OpenPose 的組合對4 種不安全行為的識別精確率達到93.5%，同時大幅提升了檢測速度，幀率達到18.6 幀/s。這表明本文方法在保證高精確率的同時，通過輕量化改進大幅降低了時間復雜度，顯著提升了檢測效率，有利于及時地對不安全行為進行預警和干預。

煤礦關鍵崗位人員不安全行為識別效果如圖14所示。可看出本文提出的不安全行為識別模型能夠準確提取人員姿態信息，對疲勞睡崗、離崗、側身交談和玩手機4 種不安全行為能夠精準識別。

圖14 煤礦關鍵崗位人員不安全行為識別效果Fig.14 Unsafe behaviors recognition effect of key position personnel in coal mines

4 結論

1）采用MobileOne 與C3 對 YOLOv7 的主干與頭部網絡進行輕量化改進設計，顯著提升了模型的檢測效率，MobileOneC3-YOLO 模型推理速度較YOLOv7 提升了52%。

2）引入ByteTrack 算法實現人員鎖定，鎖定成功率達97.1%，有效排除了背景中無關人員的干擾。

3）為了提高OpenPose 對骨架特征的提取效率，采用MobileNetv2 優化OpenPose 特征提取網絡，優化后模型內存需求降低了170.3 MiB，在CPU 與GPU 上的推理速度分別提升了74.7%和54.9%。

4）不安全行為識別實驗結果表明，基于改進YOLOv7 和ByteTrack 的煤礦關鍵崗位人員不安全行為識別方法對疲勞睡崗、離崗、側身交談和玩手機4 種不安全行為的識別精確率達93.5%，檢測速度達18.6 幀/s。