工作面液壓支架丟架狀態視覺自動檢測方法

關鍵詞：液壓支架；丟架視覺檢測；視頻圖像語義分割；支架號識別；多尺度特征信息提取

中圖分類號：TD355 文獻標志碼：A

0引言

近年來煤炭領域致力于應用人工智能技術解決智能化開采存在的難題[1-3]。液壓支架是保障工作面穩定和安全生產的重要設備，一方面，液壓支架用于支撐和控制工作面頂板 [4-5]，為工作人員和采煤機械設備提供安全的作業空間；另一方面，液壓支架的穩定推進是保證“三直”作業標準的重要前提。但受采場地質條件變化、泵站液壓動力波動及自動跟機系統判斷誤差等復雜因素影響，液壓支架在自動跟機移架過程中會出現部分支架丟架的異常狀況[6]。人工監測丟架和手動補架移架嚴重影響工作面自動跟機效率[7]。因此，應用智能化技術實時感知液壓支架丟架狀態成為解決這一問題新的研究方向。

目前對于液壓支架丟架狀態智能感知及動作控制主要通過傳感器等硬件裝置獲取液壓支架狀態信息，并基于感知信息實現液壓支架丟架狀態監測及動作控制[8-9]。文獻[10]基于多傳感器信息融合技術實現液壓支架狀態監測，該方法通過多傳感器組合管理模塊，對液壓支架工作參數和狀態等信息進行采集，并通過決策式分析技術對數據進行處理，構建工作狀態特征模型，實現工作面液壓支架位移量自動監測，通過比較不同液壓支架位移量獲取液壓支架狀態。文獻[11]基于多傳感器構建液壓支架底座的笛卡爾坐標系，再根據行程傳感器獲得不同液壓支架間的位置關系，進而判斷工作面液壓支架丟架狀態，并根據獲取的液壓支架推移距離差距實現液壓支架自動調整。文獻[12]提出了一種工作面自動調直裝置和方法，該方法在任意相鄰2 個液壓支架之間安裝彈性桿，彈性桿與液壓支架之間設有角度傳感器，通過角度傳感器顯示角度可實現液壓支架丟架異常狀態自動檢測。文獻[13]提出了一種基于機器人的工作面液壓支架直線度檢測裝置及方法。在首架及尾架底座上安裝固定參考基準激光發射裝置和機器人檢測裝置，機器人順序行走并依次獲取不同液壓支架至機器人的激光雷達信息，對捕獲的距離信息進行比較，實現液壓支架丟架狀態監測。上述基于不同傳感器實現程序自動化監測液壓支架丟架狀態的方法，皆具有較高的監測精度，但在實際工程應用過程中，接觸式傳感器等裝置容易被損壞，且隨著使用時間增加，傳感器誤差會逐漸增大，需對傳感器進行調整更換；基于傳感器進行信息采集對傳輸設備要求較高，當數據傳輸發生異常時，無法收集可靠的工作面液壓支架行程信息。綜上，通過傳感器對液壓支架進行實時丟架狀態監測的穩定性和可靠性較差[14-15]。

為了提高自動跟機移架過程中的丟架檢測效率，本文提出了一種工作面液壓支架丟架視覺自動檢測方法。首先利用YOLOv8 語義分割網絡對實時獲取的工作面監控視頻圖像進行目標區域提取與劃分，通過充分學習工作面圖像內部特征，獲取工作面液壓支架底座、推桿等關鍵目標定位和邊緣信息，對定位和邊緣信息進行分析，實現工作面監控視頻支架號自動識別；然后自動獲取表征液壓支架狀態的局部圖像，基于改進的ResNet50 多層級殘差網絡對獲取的局部圖像進行多尺度特征信息提取并融合，再將多尺度特征映射至液壓支架狀態類別空間，分別得到2 種液壓支架狀態的預測概率，基于最大概率自動識別出液壓支架狀態，結合支架號感知結果，實現工作面液壓支架丟架狀態視覺自動檢測；最后開展工作面液壓支架丟架狀態視覺自動檢測實驗。

1液壓支架丟架狀態視覺自動檢測系統框架

工作面液壓支架丟架狀態視覺自動檢測系統框架如圖1 所示。首先利用深度學習語義分割模型對實時獲取的工作面監控視頻圖像進行工作面目標區域（主要包括液壓支架底座、推桿、線纜槽、刮板運輸機、浮煤和煤壁等）劃分，同時獲取不同目標區域的定位信息和輪廓信息；其次提取液壓支架底座和推桿等目標的定位和邊緣信息并進行分析，結合當前監控攝像儀IP，獲取監控視頻中的支架號信息；然后根據提取出的液壓支架底座和推桿的相對位置關系，確認相鄰液壓支架最小底座局部圖像，以縮小分析范圍，減少其余因素對檢測結果的干擾，基于分類卷積神經網絡對獲取的局部圖像進行特征提取，并識別出液壓支架狀態；最后結合支架號信息，實現工作面液壓支架丟架狀態視覺自動檢測。

2工作面液壓支架丟架狀態視覺自動檢測關鍵技術

2.1工作面監控視頻圖像語義分割

利用語義分割網絡實現工作面液壓支架底座、推桿等目標區域分割，有助于排除其他區域對工作面液壓支架丟架狀態自動檢測的干擾。常用的語義分割網絡包括Mask R?CNN 網絡[16]、U?Net 網絡[17]、SegNet 網絡[18]、DeepLab 網絡[19]、Mask2former 網絡[20]和YOLO 系列網絡[21]等。YOLO 系列網絡具有很強的靈活性，能夠適應各數據集和場景應用需求，具有較強魯棒性和可遷移性；同時該網絡框架采用端到端的訓練模式，分割處理速度快、效率高，滿足工程化實際應用需求。因此采用YOLOv8 語義分割網絡實現工作面目標區域自動提取，分割網絡主要包括骨干網絡、Anchor?Free 檢測頭和損失函數等，如圖2 所示，其中k 為卷積核大小； s 為卷積步長； q 為填充方式； n 為Darknet Bottleneck 層處理次數。分割骨干網絡在DarkNet53 網絡基礎上進行優化，加入空間金字塔池化模塊，在不同尺度上進行池化，以適應不同大小物體提取和檢測，同時融合各層級特征，獲得更準確的圖像特征信息；使用3 個檢測頭分別對大中小3 種尺寸的物體進行識別，通過檢測框和類別預測來避免不同任務互相干擾，提高各子任務訓練性能。

在訓練過程中，通過不斷調整模型參數來最小化損失函數，從而提高工作面語義分割模型對不同目標區域的識別能力。

2.2支架號自動識別

通過非接觸視覺感知的工作面支架號自動識別技術，能夠為丟架狀態自動檢測提供準確的支架號信息，便于后續基于丟架狀態信息實現液壓支架自動補架調整。支架號自動識別算法如圖3 所示。首先，基于工作面監控視頻圖像語義分割技術提取出液壓支架線纜槽和推桿各子目標區域，并獲取各目標的定位信息和輪廓邊緣信息，為支架號自動識別奠定基礎。其次，對提取出的各液壓支架推桿區域的定位信息進行分析，根據圖像中各推桿與監控攝像儀之間的視覺距離，完成各推桿的定位排序，并確認監控視頻中的液壓支架數目。通過該監控視頻IP 獲取該監控攝像儀安裝所在的支架號，進而根據上述位置關系和各推桿的定位排序，實現工作面監控視頻圖像中支架號自動識別。然后，根據語義分割網絡提取出的各液壓支架推桿和線纜槽的輪廓信息，確認出各推桿最靠近線纜槽邊緣處的位置，即液壓支架推桿前端位置。最后，可視化顯示支架號信息。

2.3液壓支架丟架狀態識別

在工作面自動化生產過程中，采煤機完成當前割煤進程后，系統會按照事先設定好的控制邏輯進行移架。理想情況下，當液壓支架完成移架動作后，相鄰液壓支架底座邊緣線基本共線，然而受復雜地質條件、設備狀況及控制系統控制精度影響，移架后可能出現相鄰液壓支架底座邊緣線不共線的情況，即丟架異常狀態。因此移架后相鄰液壓支架底座局部圖像是判斷液壓支架丟架狀態的重要依據。

通過工作面監控視頻圖像語義分割網絡提取視頻圖像中液壓支架底座和推桿的定位信息和邊緣輪廓信息。根據各液壓支架底座與監控攝像儀的視覺距離，依次提取出相鄰2 個液壓支架底座并分析底座與推桿間的相對位置關系，進而判斷監控視頻圖像中2 個相鄰底座是否屬于同一液壓支架或為相鄰液壓支架。若2 個底座屬于相鄰液壓支架，則根據語義分割網絡獲取的定位信息，提取出2 個相鄰液壓支架的最小底座局部圖像。通過分類卷積神經網絡對獲取的液壓支架底座局部圖像進行特征提取，實現液壓支架丟架異常狀態自動判別。

常用的分類卷積神經網絡包括AlexNet 分類網絡[22]、VGGNet 分類網絡[23]、GoogleNet 分類網絡[24]和ResNet 殘差卷積神經網絡[25]等。AlexNet 采用多GPU 并行計算的方式，通過一系列卷積、池化和全連接層提取圖像中的深層特征，但對于復雜學習任務表現不佳。VGGNet 使用多個較小卷積核的卷積層代替較大卷積核的卷積層，以提高網絡的擬合能力，但參數量較大，計算資源消耗較高。GoogleNet采用不同尺度的卷積核進行特征提取， 并通過1×1 的卷積核進行降維和映射處理，有效減少了模型參數，但該網絡對新任務適應性較低。ResNet 殘差卷積神經網絡一方面引入殘差學習，殘差塊中的跳躍連接允許梯度直接回流到更淺的特征層，有效解決了訓練過程中可能存在的梯度消失問題，保證模型穩定訓練；另一方面使用全局平均池化層，將每個特征圖中所有像素的平均值作為該特征圖的輸出，提高了模型的泛化性能，因此，ResNet 網絡在解決梯度消失問題和提高模型性能等方面具有突出優勢。

由于工作面環境復雜，監控視頻圖像存在較多干擾，對其進行充分特征提取需要模型具有較強的訓練能力和魯棒性能，為此采用改進ResNet50 網絡結構，在ResNet50 網絡結構加入特征融合模塊，融合多個層級的特征信息，使得該模型具有更多的上下文特征信息和細節表征能力， 具體網絡結構如圖4 所示，其中C 為通道數，t 為Identity Block 模塊重復次數，ResNet50 網絡中包含多個殘差塊（Identity Block 層），每個殘差塊內部有多個卷積層和殘差連接，不同尺度的殘差結構包含不同層級的特征信息。改進ResNet50 液壓支架丟架狀態識別網絡在多個殘差塊后加入卷積層和雙線性插值層，將低分辨率特征圖像生成高分辨率特征圖像，便于將表征不同尺度的4個特征圖進行融合，融合后的特征既包含了圖像的局部細節，也包含了全局上下文信息。最后將融合后的特征映射到類別數量的維度上，獲取各個類別的概率分布，最終實現融合多尺度特征信息的液壓支架丟架狀態自動判斷。

由于從工作面監控視頻提取的液壓支架局部圖像尺寸并不統一，在輸入網絡進行模型訓練前需將局部圖像縮放至256×256，并將訓練集數據隨機裁剪至224×224，驗證集數據中心裁剪至224×224，保證輸入數據的一致性。再通過多種圖像數據增強方式增加訓練數據的多樣性，以提高模型的學習能力。網絡訓練采用的損失函數為二元交叉熵損失函數，網絡輸出2 類，標簽為0 或1，0 代表液壓支架不存在丟架情況，即正常移架狀態，1 代表液壓支架存在丟架異常。通過計算模型預測的概率分布與真實標簽的概率分布之間的差異，利用反向傳播算法逐步優化網絡參數和權重，模型預測的類別會逐漸接近真實標簽，即改進ResNet50 液壓支架丟架狀態識別模型性能不斷提升。

3工作面液壓支架丟架狀態視覺自動檢測實驗

3.1實驗硬件設備

實驗所用平臺詳細配置：操作系統為Ubuntu20.04；服務器顯卡為NVIDIA GeForce RTX4090；CPU，Intel（R）Xeon（R） Gold 6258R 2.7 GHz；內存為32 GiB；訓練框架為PyTorch1.10，CUDA，版本11.4。

3.2工作面監控視頻圖像語義分割實驗

人工標注工作面圖像1150張，標注目標區域包括液壓支架底座、推桿、線纜槽、刮板輸送機、浮煤和煤壁。隨機對帶有輪廓標簽的語義分割數據集進行劃分，訓練集數據為920張，測試集數據為230張。利用訓練數據集訓練YOLOv8 語義分割模型，在訓練過程中逐步調整模型內部參數，使其能夠充分識別工作面全場景監控圖像內部特征。基于驗證集數據準確地評估模型性能，以驗證訓練模型對于工作面多目標輪廓自動提取效果。

用YOLOv8語義分割網絡進行工作面監控視頻語義分割任務，輸入圖像尺寸為640×640；使用SGD優化器，動量參數為0.9，權重衰減因子為0.001；批處理大小為64；訓練迭代次數為100；初始學習率為0.01，學習率按照指數衰減方式下降。模型訓練過程中學習曲線變化情況如圖5 所示，將各結果曲線進行平滑，得到訓練集和驗證集各損失函數和性能指標的平滑變化曲線。可看出隨著迭代次數的增加，YOLOv8 語義分割網絡訓練集和驗證集各損失函數逐漸減小，并趨于穩定，實現了該分割模型收斂，且在訓練過程中，驗證集邊界框和分割掩碼的預測準確率和召回率也逐步調高，說明該模型逐步深化對監控視頻圖像特征的理解，不僅在訓練集數據上有較好表現，在未經過學習的驗證集上也具有較好的泛化能力。

為了驗證YOLOv8 語義分割網絡模型的分割性能，利用測試集進行驗證評估，采用mAP50 作為語義分割模型評價指標。mAP50 表示在50% 交并比閾值下多個類別的平均分割精度，該參數是衡量模型預測出的分割區域與真實分割區域之間重疊程度的重要指標。基于YOLOv8 語義分割網絡模型對工作面各目標區域分割精度見表1，可看出每一類工作面目標區域圖像分割的 mAP50 均高于95%，說明YOLOv8 語義分割模型能夠準確識別并分割目標區域，實現煤礦井下工作面結構化語義場景構建。工作面目標區域劃分結果如圖6 所示，可看出6 類目標區域都可清楚顯示，實現了像素級別的區域劃分，滿足工作面目標區域動態感知與輪廓識別要求。

將YOLOv8 語義分割網絡模型與Mask2former網絡[21]模型和Mask R?CNN 網絡[17]模型進行比較，結果見表2。可看出YOLOv8 語義分割模型各區域平均分割精度明顯高于其他分割網絡模型，更適合應用于工作面目標區域語義分割。

3.3支架號自動識別實驗

為驗證視頻圖像中支架號自動識別算法的有效性，首先，利用訓練得到的工作面語義分割網絡對收集的1 150 張工作面監控視頻圖像進行目標區域劃分，獲取液壓支架推桿等區域的定位信息和邊緣輪廓信息。然后，確認當前攝像儀所在液壓支架的支架號，通過支架號自動識別算法，自動獲取各圖像中支架號信息，并可視化顯示于監控視頻圖像，識別結果如圖7 所示。可看出正確識別出支架號的圖像數目為1 136 張，未能正確識別的圖像數目為14 張，準確率為98.78%，說明該算法能夠準確實現基于視覺的支架號自動識別，有效為工作面液壓支架丟架狀態視覺自動檢測提供支架號信息。

3.4丟架狀態識別實驗

為實現工作面液壓支架丟架狀態視覺自動檢測，使丟架識別模型充分提取全工作面液壓支架狀態特性，基于訓練得到的工作面語義分割模型對補充收集的監控視頻圖像進行目標區域劃分，并利用液壓支架底座局部圖像提取算法，自動獲得液壓支架局部圖像，共2877張，構建工作面丟架狀態識別模型樣本庫，局部圖像像素尺寸大小介于114×114和466×466之間。每個樣本均手工添加對應的真實液壓支架狀態標簽，包括正常狀態和丟架異常狀態2 類，其中液壓支架處于丟架異常狀態的圖像為1412張，液壓支架正常狀態的圖像為1 465 張。對上述數據按照3∶1隨機劃分為訓練集和測試集，其中訓練集液壓支架局部圖像樣本共有2 158 張，測試集共有719張。適當增加樣本庫訓練集比例，有助于模型訓練過程中充分學習不同工作面環境下液壓支架局部圖像特征信息，便于增強模型的魯棒性和適應性。訓練集中液壓支架處于丟架狀態的局部圖像為1059張，液壓支架正常狀態的局部圖像為1 099 張，2 類訓練數據比例接近于1∶1，以確保模型在訓練過程中對所有類別都給予足夠的關注，從而提高整體的分類性能。

改進ResNet50 液壓支架丟架狀態識別網絡模型訓練參數：輸入圖像尺寸為224×224；訓練迭代次數為40 次；初始學習率為0.01，學習率下降采用分段常數衰減，每迭代25 次，學習率下降為之前學習率的1/10；使用SGD優化器，動量參數為0.9，權重衰減因子為0.001。

改進ResNet50 液壓支架丟架狀態識別網絡模型和ResNet50[26]網絡模型訓練過程中學習曲線變化情況如圖8 所示。可看出2 個模型的損失函數隨迭代次數增加而逐漸下降并趨于穩定，表明2 個模型在訓練過程中已找到一個相對較好的模型參數，能夠表征圖像中液壓支架狀態信息。

基于測試集完成液壓支架丟架狀態識別模型性能驗證，改進前后液壓支架狀態識別結果如圖9 和表3 所示，可看出改進ResNet50 液壓支架丟架狀態識別網絡模型準確率和召回率較ResNet50 模型分別提高了6.54%， 6.57%，說明改進ResNet50 液壓支架丟架狀態識別網絡模型能夠準確實現移架后工作面液壓支架狀態識別，有效減少了誤檢和漏檢的情況，且單幀圖像處理時間為36 ms，滿足現場工程化應用的實時性和準確性要求。

將工作面液壓支架丟架狀態識別結果和液壓支架支架號信息可視化顯示于原始監控視頻圖像幀，實現工作面液壓支架丟架狀態視覺自動檢測。將該算法集成應用于采煤工作面AI 視頻監控系統，AI 視頻監控系統獲取的實時移架后工作面液壓支架丟架狀態自動檢測結果如圖10 所示。可看出基于工作面液壓支架丟架狀態視覺自動檢測方法可以準確判斷液壓支架移架后是否存在丟架異常，結合自動識別出的支架號信息，有效實現了液壓支架丟架異常自動檢測。

4結論

1） 采用YOLOv8 語義分割網絡實現工作面目標區域識別與劃分，獲取關鍵目標的定位和邊緣信息，各目標區域的分割精度均高于0.95，滿足工作面場景結構化構建需求。

2） 基于語義分割算法獲取工作面液壓支架底座、推桿等關鍵目標定位和邊緣信息，實現工作面監控視頻支架號自動識別，識別準確率為98.78%，為工作面液壓支架丟架狀態視覺自動檢測提供準確的支架號信息。

3） 通過分析液壓支架底座和推桿的相對位置關系，提取待檢測相鄰液壓支架底座的局部圖像。利用改進ResNet50 液壓支架丟架狀態識別網絡模型對局部圖像進行多尺度特征提取并融合。將融合的多尺度特征信息自動映射至液壓支架狀態識別所需的類別空間，獲得2 種液壓支架狀態預測概率，進而判斷移架后是否存在丟架情況。工作面液壓支架丟架狀態視覺自動檢測方法平均檢測準確率達99.17%，單幀圖像處理時間達到36 ms，滿足采煤工作面AI視頻監控系統處理丟架狀態的實時性與可靠性需求。