基于改進時空圖卷積神經網絡的鉆桿計數方法

杜京義，黨夢珂，喬磊，魏美婷，郝樂

（1.西安科技大學 電氣與控制工程學院，陜西 西安 710054；2.西安熱工研究院有限公司，陜西 西安 710054；3.西安工程大學 管理學院，陜西 西安 710048；4.西安科技大學 安全科學與工程學院，陜西 西安 710054）

0 引言

深層煤炭開采過程中存在高瓦斯壓力不可控因素，極易誘發煤與瓦斯突出事故，從而對煤礦安全生產造成威脅[1-2]。一般采用鉆孔抽采和排放煤層內的瓦斯，以降低瓦斯濃度，減少甚至消除煤與瓦斯突出災害[3-4]。鉆孔深度的準確測量是鉆孔工作的重要部分，若實際鉆孔深度與要求不符，不僅會加劇危險事故的發生，而且會造成人力物力的極大浪費[5]。實際測量中，通常根據鉆機每次打入鉆桿長度一致的原則，根據鉆桿數量得到鉆孔深度。

鉆桿計數方法根據計數方式的不同，可以分為傳統方法與計算機視覺方法。傳統方法主要有人員查驗法、行程開關法、電駐波法等。人員查驗法是指工作人員通過觀看打鉆錄像來記錄鉆桿數量的方法，其勞動強度大、效率低。行程開關法[6]主要是在鉆機上安裝行程開關和單片機，當行程開關被鉆機觸發時，單片機會收到電信號進行判斷處理，進而得到鉆桿數量，但是行程開關容易被誤觸，單片機可能會受潮而影響計數精度。電駐波法[7]通過鉆桿形成的駐波找到駐波節點，得到鉆桿長度，但是有關儀器還未達到礦用的安全要求。計算機視覺方法是指利用視覺圖像算法自動分析打鉆視頻中鉆桿數量的方法，該方法因人為干預少、效率高等受到眾多研究者的關注。董立紅等[8]提出了一種基于改進Camshift算法的鉆桿計數方法，通過Camshift算法跟蹤鉆機標志物，并根據標志物運動軌跡上的波峰數量判斷出鉆桿數量，但是標志物容易被粉塵污染及被旁物遮擋，進而導致目標丟失甚至跟蹤失敗。高瑞等[9]提出了一種基于改進ResNet 網絡的井下鉆桿計數方法，通過ResNet 識別圖像上的卸桿與非卸桿動作，并對識別結果進行積分濾波得到置信度曲線，根據下降沿的個數判斷出鉆桿數量，但是ResNet 未考慮動作的時序信息，在相似背景的圖像上容易發生誤識別。黨偉超等[10]提出了一種利用三維卷積神經網絡（3D Convolutional Neural Network，3DCNN）識別鉆機卸桿動作的方法，雖然3DCNN 解決了一些時序問題，但同時也學習了大量的圖像冗余信息，導致該方法的場景適應性不強。

針對上述問題，本文提出了一種基于改進時空圖卷積神經網絡的鉆桿計數方法。該方法將打鉆過程中作業人員的動作劃分為上桿、卸桿和其他3 種，在時空圖卷積神經網絡（Spatial-Temporal Graph Convolution Neural Network，ST-GCN）模型[11]的基礎上，采用遠空間分區策略與注意力機制設計了一種動作識別精度良好的改進時空圖卷積神經網絡模型-多空間特征融合時空圖卷積神經網絡（Multi Spatial-Temporal Graph Convolution Neural Network，MST-GCN）模型，利用MST-GCN 模型識別出打鉆視頻中的上桿與卸桿動作，確定打鉆數量。

1 打鉆過程分析

鉆機的打鉆過程是一個雙向過程，即工人先將多根鉆桿依次裝上鉆機并打入煤層，待打孔完成，再將鉆機拔出的鉆桿依次卸下，根據工人上桿和卸桿動作的次數來判斷鉆桿數量。然而，該過程內還包含與上桿、卸桿無關的動作。因此，本文將所有的動作類型劃分為上桿、卸桿和其他3 種，具體如圖1所示。

圖1 打鉆過程中的3 種動作Fig.1 Three kinds of action during drilling

2 鉆桿計數方法原理

基于改進時空圖卷積神經網絡的鉆桿計數方法原理如圖2 所示。

圖2 基于改進時空圖卷積神經網絡的鉆桿計數方法原理Fig.2 Principle of drill pipe counting method based on improved multi spatial-temporal graph convolution neural network

（1）打鉆視頻采集。通過礦用監控攝像頭獲取井下打鉆視頻數據。

（2）人體骨架數據獲取。為了減少圖像背景對動作識別的干擾，本文采用高精度人體姿態估計算法-Alphapose算法[12]檢測工人的身體關鍵點信息，得到單幀圖像上的人體骨架和連續圖像序列上的骨架序列數據。

（3）動作識別。在ST-GCN 模型的基礎上，通過遠空間分區策略與注意力機制設計了MST-GCN 模型，利用MST-GCN 模型有效識別骨架序列上的動作類型，提高打鉆動作的識別精度。

（4）動作開始位置捕獲。通過支持向量機（Support Vector Machine，SVM）算法辨識工人的打鉆姿勢，若判斷成功則保存150 幀人體骨架序列，并輸入MST-GCN 模型進行識別。

（5）打鉆數量計算。為減少模型出錯的概率，本文將打鉆視頻手動分割成上桿視頻和卸桿視頻，并在每種視頻上只識別各自對應的動作。在卸桿視頻中，MST-GCN 模型每次都從打鉆姿勢出現的位置預測1 次動作，若結果為卸桿動作，則卸桿數量加1，并且間隔一段時間后再重新識別。上桿數量的計算同理。最后對上桿數量和卸桿數量求和，取平均值得到鉆桿數量。

3 鉆桿計數方法具體實現

3.1 人體骨架數據獲取

人體關鍵點即人體拓撲上的重要骨骼部位，如圖3（a）中的18 個關鍵點：鼻、頸、右肩、右肘、右腕、左肩、左肘、左腕、右臀、右膝、右腳踝、左臀、左膝、左腳踝、右眼、左眼、右耳及左耳（編號依次為0，1，…，17）。人體骨架是指將Alphapose 算法檢測出的18 個關鍵點按圖3（a）中的方式進行連接。人體骨架序列是指在時間軸上將多幀骨架按照相同編號的關鍵點進行連接的數據，結構如圖3（b）所示。

圖3 人體骨架數據Fig.3 Skeleton data of human body

3.2 動作識別

3.2.1 MST-GCN 模型

與ResNet、3DCNN 等模型不同，ST-GCN 模型是一種用于骨架動作識別的序列模型，它利用圖卷積神經網絡（Graph Convolutional Neural Network，GCN）與時間卷積神經網絡（Temporal Convolutional Neural Network，TCN）在骨架序列上自動提取動作特征，可以減少圖像背景對動作識別的影響。但是，ST-GCN 模型提取的空間特征仍不夠健壯，導致動作識別效果不佳。為此，本文在ST-GCN 模型的基礎上重新設計了一種MST-GCN 模型，其原理如圖4所示。它由批量標準化層（BatchNormal）、時空特征提取單元層（總共10 個單元，每個單元的時空圖卷積核大小均為（15，3））、平均池化層（av-pool）、全連接層（fc）及Softmax 函數組成。其中，BatchNormal層用于規范骨架序列數據的分布，提高模型的泛化能力；時空特征提取單元層在時空維度上提取有效的動作特征，以提高模型精度；av-pool 層用于對高維動作特征進行降維，降低模型計算量；fc 層與Softmax函數先將特征映射到標簽空間，再輸出動作的置信度向量。圖中（M，C，T，V）為特征圖，M為人數，C為關鍵點維數，T為序列長度，V為關鍵點個數。

圖4 MST-GCN 模型原理Fig.4 Principle of multi spatial-temporal graph convolution neural network model

3.2.2 空間分區策略

GCN 在骨架上提取空間特征時，需要使用分區策略來對關鍵點的鄰域集進行劃分。空間分區策略是一種構建GCN 的有效策略，其依據身體部位的靜止、向心運動和離心運動3 種狀態將關鍵點的鄰域集劃分為3 個子集：根節點集、向心點集和離心點集。圖5 為ST-GCN 中采用的空間分區策略（原空間分區策略），其鄰域采樣范圍D=1，“ ×”為身體重心，“0”為根節點，“1”為向心點，“2”為離心點。

圖5 原空間分區策略Fig.5 Original spatial partitioning strategy

當GCN 采用原空間分區策略時，其3 個子集分別被賦予以下權重參數：

式中：lti(vt j) 為全部子集的權重映射函數，t=1，2，···，T,i=0，1，···，17，vt j為第t幀第j(j=0，1，2)個子集的關鍵點；rj為vt j到重心的距離；ri為根節點到骨架重心的平均距離。

GCN 的實現公式如下：

式中：fout為GCN 的輸出結果；為歸一化的鄰接矩陣；Λj為第j個子集的對角線矩陣；Aj為第j個子集的鄰接矩陣；fin為輸入特征數據；Wj為第j個子集的權重矩陣；Aj為整體鄰接矩陣；A0，A1，A2分別為每個子集的鄰接矩陣。

實際打鉆過程中，由于工人的身體形態、攝像機角度等原因，會導致同一種作業動作呈現出不同的運動幅度，而采用原空間分區策略只能關注到身體上關鍵點之間的局部運動，不利于GCN 提取空間特征。為了更好地提取空間特征，即關注到身體上較遠關鍵點（D>1 時的相鄰關鍵點）之間的運動信息，本文將原空間分區策略中的D設置為2，并且將權重參數之間的差值進一步增大，從而得到圖6 所示的遠空間分區策略。此時，3 個子集的權重參數被重新定義如下：

圖6 遠空間分區策略Fig.6 Remote spatial partitioning strategy

所以，GCN 實現公式更新為

3.2.3 多空間特征融合

SENet（Squeeze and Excitation Networks）[13]是一種特征通道注意力機制網絡，它在訓練過程中可以使網絡自動選擇重要的特征。因此，本文在ST-GCN 中添加SENet 模塊來融合不同分區策略的空間特征。該模塊融合空間特征的原理如圖7 所示，其中X1為GCN 采用原空間分區策略的空間特征，X2為GCN 采用遠空間分區策略的空間特征。首先 將2 個大小為 (M,C,T,V)的特征圖X1，X2通過堆疊模塊（CAT）堆疊為 (M,2C,T,V)的新特征圖；然后將新特征圖依次經過平均池化層、全連接層1 和全連接層2 壓縮成 (M,2C,1,1)，并與新特征圖按通道相乘；最后使用一個二維卷積將分配權重后的特征圖壓縮成與輸入大小一致的輸出特征圖。圖中ReLu，Sigmoid為激活函數。

圖7 SENet 模塊融合空間特征Fig.7 Fusion spatial features of the SENet module

3.2.4 時空特征提取單元

時空特征提取單元是MST-GCN 模型中的基本單元，它在時間軸上將空間特征進行聚合，從而得到表征動作的時空特征，其詳細結構如圖8 所示。首先將2 種空間分區策略下提取的空間特征使用SENet模塊進行特征融合；其次使用TCN 提取時間特征；最后使用殘差結構保留原始特征信息，實現時空特征提取。圖中⊙為矩陣按位相與，X為輸入特征圖，Y為輸出特征圖。

圖8 時空特征提取單元結構Fig.8 Structure of spatio-temporal feature extraction unit

3.3 動作開始位置捕獲

3.3.1 捕獲原理

工人準備取放鉆桿時，身體會呈現出手持鉆桿的姿勢，即打鉆姿勢（圖9）。通過打鉆姿勢確定上桿、卸桿動作在視頻中的開始位置，不僅可以避免MST-GCN 模型遍歷視頻的重復工作，而且能提高計數效率。因此，本文通過區分打鉆姿勢與非打鉆姿勢來判斷工人是否將要進行上桿或卸桿動作。

圖9 打鉆姿勢與非打鉆姿勢Fig.9 Drilling posture and non-drilling posture

3.3.2 打鉆姿勢識別

辨識人體骨架上所表達的姿勢類別信息，可以通過卷積神經網絡在偽圖像上自動提取特征實現分類，也可以通過分類算法對手工特征進行分類[14]。SVM 是一種快速且有效的監督式二分類算法，可對人體骨架上由關節夾角組成的特征向量進行分類，即能夠辨識打鉆姿勢。

辨識打鉆姿勢的流程如圖10 所示。首先通過余弦公式計算人體骨架上的10 個關節夾角：θ0（右頸角）、θ1（左頸角）、θ2（右肩角）、θ3（左肩角）、θ4（右肘角）、θ5（左肘角）、θ6（右跨角）、θ7（左跨角）、θ8（右膝角）和 θ9（左膝角）；然后將10 個夾角數據組成1 個特征向量（即關節夾角余弦特征），并使用標準化公式對其進行規范；最后將特征向量送入訓練好的SVM 模型進行分類。

圖10 打鉆姿勢識別流程Fig.10 Drill pose recognition process

4 實驗與結果分析

為了驗證本文方法的可行性與實際效果，對MST-GCN 模型與鉆桿計數進行了實驗。實驗基于64 位Windows 10 操作系統進行，硬件配置：處理器為Intel（R）Xeon（R）E5-1680 v4，內存為32 GB，顯卡為NVIDIA TITAN XP 12 GB；軟件環境：圖形處理加速器為CUDA10.1 和cudnn7.6.5，編程語言為Python3.8，深度學習框架為Pytorch1.7.1。

4.1 數據集制作

為訓練和評估 MST-GCN 模型，制作了Drill-action 數據集。原始數據來自于河南某煤礦的機巷里段與集中回風巷，該位置畫面整體清晰，且包含多段鉆機工作視頻。使用視頻剪輯軟件從原始視頻中裁剪出825 個動作，并統一調整成分辨率為640×480、幀率為25 幀/s、時長為8～10 s 的短視頻序列。其中，上桿和卸桿動作視頻各300 個，剩余為其他動作視頻。劃分數據集時，隨機選出660 個動作作為訓練集，剩余為測試集。訓練和評估模型前，先采用Alphapose 算法在動作視頻上檢測出全部的人體骨架信息，再將其設置成大小為（2，3，150，18）的骨架序列數據。其中，“2”為每幀圖像上最多保存2 個人體平均置信度排序靠前的骨架，“3”為每個關鍵點維數，“150”為骨架序列的保存長度，18 為關鍵點保存個數。人體平均置信度為

式中ci為第i個關鍵點的置信度。

4.2 MST-GCN 模型實驗

4.2.1 模型訓練

采用隨機梯度下降法（Stochastic Gradient Descent，SGD）作為訓練優化器，并設置動量因子為0.9，權重衰減系數為0.000 1，Batchsize 為32，模型迭代次數為100，初始學習率為0.01，在第40，60，80 次迭代時將學習率依次衰減0.1 倍。MST-GCN 與ST-GCN模型的訓練損失曲線如圖11 所示。

圖11 MST-GCN 與ST-GCN 模型的訓練損失曲線Fig.11 Training loss curves of MST-GCN model and ST-GCN model

由圖11 可看出，在第28 次迭代時，ST-GCN 模型的損失值開始收斂，但MST-GCN 模型仍在下降，并且最終損失值穩定在0.2 以下，說明MST-GCN 模型具有更強的學習能力。

4.2.2 模型評估

為驗證對ST-GCN 模型改進的有效性，在Drill-action 數據集上進行了消融實驗，并采用3 種類別動作的整體準確率作為評估指標，結果見表1。表中ADD 為常見的特征相加融合方法。

表1 消融實驗結果比較Table 1 Comparison of ablation experiment results

比較表2 中“1”，“2”和“3”的結果可知，同時采用2 種空間分區策略的準確率最高，說明遠空間分區策略可以改善模型僅使用原空間分區策略的特征提取不足問題；比較“3”和“4”結果可知，采用SENet 進行特征融合可進一步提高模型的準確率。

為進一步證明MST-GCN 模型的識別能力，將文獻[15-16]中的模型與之對比，結果見表2。可看出MST-GCN 模型較Alphapose-LSTM（Long Short Term Memory，長短期記憶）和NST-GCN（新分區策略的ST-GCN）模型的準確率分別提高了19.0%和4.8%。

表2 不同模型的動作識別結果Table 2 Action recognition results of different models

4.3 鉆桿計數實驗

4.3.1 計數方法比較

為說明本文方法采用MST-GCN 模型的計數效果更好，在相同條件下的打鉆視頻（共2 段打鉆視頻，真實鉆桿數量分別為80 根和100 根，且上桿、卸桿次數與鉆桿數量保持一致）上對3 種計數方法進行比較，結果見表3。表中人工方法是指實驗室成員通過觀看錄像進行計數，“0”表示該方法未實現此功能。平均誤差是指2 段視頻上的平均計數誤差，如人工方法平均計數誤差為[（80+80）×0.5-80]+[（102+101）×0.5-100]×0.5 次。

表3 3 種計數方法的動作識別結果Table 3 Action recognition results of three counting methods

從表3 可看出，3 種計數方法與真實數量的平均誤差依次為0.75，21，0.25 次，顯然本文方法的誤差最小。經分析可知，人工方法因為實驗室成員出現了注意力不集中的情況，從而造成誤計數。改進ResNet 方法因為只能識別出卸桿動作的某個簡單狀態，時序信息太少，所以誤計數比較嚴重。

4.3.2 現場計數測試

為驗證本文方法在煤礦井下的應用效果，在河南某煤礦搭建了實驗平臺進行測試。現場采集2 臺鉆機的打鉆錄像，視頻畫面分辨率為1 280×720，目標分辨率為150×300～500×500，目標之間的遮擋堆疊面積低于目標15%，具體如圖12 所示。總共涉及18 處鉆孔，共1 300 根鉆桿，鉆孔編號1-9 為1 號鉆機的施工位置，編號10-18 為5 號鉆機的施工位置。

圖12 現場測試打鉆畫面Fig.12 Field test drilling screen

計算某鉆孔的鉆桿數量Hn（n為鉆孔個數，1≤n≤18）時，根據以下步驟實現：

（1）根據臺賬記錄的上桿、卸桿時間范圍，從錄像機中取出關于該鉆孔的上桿、卸桿視頻。

（2）在上桿視頻中使用本文方法只識別上桿動作，并根據經驗設置2 次上桿動作的識別間隔為60 s，打鉆姿勢閾值為0.4，上桿動作的判斷閾值為0.4，上桿次數為Un。同理在卸桿視頻中只識別卸桿動作，并根據經驗設置2 次卸桿動作的識別間隔為8 s，打鉆姿勢閾值為0.4，卸桿動作的判斷閾值為0.45，卸桿次數為Dn。

（3）待上桿和卸桿視頻均被識別完后，計算該鉆孔的鉆桿數量。

所有鉆孔的鉆桿數量H為

經過上述步驟，計算出18 個鉆孔的所有鉆桿數量，結果見表4。比較表4 中最后一行數據可知，單獨以上桿、卸桿次數作為鉆桿數量時，它們與真實鉆桿數量的誤差分別為46 根和-28 根。其中上桿數量比真實鉆桿數量偏大，主要是因為上桿過程中的動作類型比較復雜，模型誤識別為上桿動作的概率大；卸桿數量比真實鉆桿數量偏小，主要是因為存在多根鉆桿連在一起被卸下的情況，而本文方法只能識別為1 個卸桿動作。不過，根據二者平均值計算的鉆桿數量與真實數量的誤差為9 根，一定程度上降低了誤差，結果滿足實際應用需求。

表4 全部鉆孔的實驗結果Table 4 The results of all drilling experiments

5 結論

（1）提出了一種基于改進時空圖卷積神經網絡的鉆桿計數方法。采用Alphapose 算法在圖像序列上得到表征人體動作的骨架序列數據；在ST-GCN模型的基礎上，采用遠空間分區策略關注骨架上距離較遠的關鍵點運動信息，與注意力機制網絡SENet 融合2 種空間特征，設計了MST-GCN 模型，可以有效提升動作識別精度；在打鉆視頻上利用SVM 辨識打鉆姿勢，利用MST-GCN 模型識別動作類別，并根據實際打鉆時間設置相鄰動作的識別間隔，從而記錄上桿、卸桿動作數量，實現鉆桿計數。

（2）為了驗證MST-GCN 模型的有效性，在自建的數據集上進行了實驗，并與ST-GCN、Alphapose-LSTM 及NST-GCN 模型進行了對比，結果表明：MST-GCN、ST-GCN、Alphapose-LSTM 及NST-GCN模型的識別準確率分別為91.1%、84.9%、72.1%和86.3%，MST-GCN 模型的識別能力更好。在相同條件的打鉆視頻上，MST-GCN 模型、人工方法和改進ResNet 方法的計數結果平均誤差依次為0.25，0.75，21 次，說明MST-GCN 模型的計數效果更好。在真實打鉆1 300 根的現場應用中，MST-GCN 模型的平均誤差為9 根，誤計數結果低，說明了基于改進時空圖卷積神經網絡的鉆桿計數方法的可靠性。

（3）該方法也存在一些不足，比如在頻繁發生多根鉆桿連接在一起被卸下的情況下，該方法可能會導致少計數問題。下一步工作將對此進行深入研究，以使方法適用于更復雜的工作環境。