雙目視覺下鉆桿接口定位的實現

基金項目：陜西省科技攻關重點項目“油氣鉆機遠程交互優化控制虛擬仿真平發”（2020GY-046）；西安石油大學研究生創新與實踐能力培養計劃資助項目“雙目視覺下鉆桿接口定位的實現”（YCS23214241）

智能機器人技術的快速發展推動了石油鉆機裝備自動化和智能化的提升。針對目前石油鉆機上卸扣作業中，傳統的鉆桿接口定位存在困難，無法實現完全自動化的問題，提出了一種基于改進YOLOv5x算法的智能鉆桿接口檢測方法，并在雙目視覺下建立了鉆桿接口定位模型。模型基于卷積神經網絡提取鉆桿接口的圖像特征，從而實現自動識別；融合CBAM（Convolution Block Attention Module）注意力機制以提高模型的特征提取與表達能力，引入更大尺度特征圖作為小目標檢測層，減少了鉆桿接口圖像中小目標的誤檢和漏檢情況；結合SGBM（Semi-Global Block Matching）算法，實現雙目視覺下鉆桿接口的精準定位；通過網絡訓練檢驗改進算法的性能，并在模擬試驗環境下開展了鉆桿接口的定位試驗。試驗結果表明：改進YOLOv5x算法平均精度達到98.6%，比原始YOLOv5x算法提高了3.0%；上下接口平均定位誤差分別為7.64和6.56 mm，符合工程誤差要求，具有一定的工程應用價值。所得結論可為鉆桿接口的準確檢測和精準定位提供技術參考。

鉆井鉆桿接口；注意力機制；立體匹配算法；小目標檢測；雙目視覺定位

Implementation of Drill Pipe Joint Positioning Under Binocular Vision

Zhang Qizhi^{1， 2} Tang Fanyi¹

（1.School of Electronic Engineering， Xi’an Shiyou University; 2.Shaanxi Provincial Key Lab of Oil and Gas Well Measurement and Control Technology）

The rapid development of intelligent robot technology has promoted the automation and intelligence of drilling equipment. In make-up and break-out of drill pipes currently， traditional tool joint positioning technique is difficult to apply and not fully automatic. To address this problem， a smart tool joint detection method based on improved YOLOv5x was proposed. Then， a tool joint positioning model was built under binocular vision. The model extracts image features of tool joints based on convolutional neural network （CNN） to implement automatic recognition. It integrates the convolution block attention module （CBAM） to improve the feature extraction and expression ability. It also introduces a larger scale feature map as a small object detection layer to reduce the 1 detection and omissive detection of small objects in tool joint images. Combined with the semi-global block matching （SGBM） algorithm， it implements precise positioning of tool joints under binocular vision. The performance of the improved algorithm was verified through network training， and a positioning test of the tool joint was conducted in a simulated experimental environment. The test results show that the improved YOLOv5x algorithm has an average accuracy of 98.6%， which is 3.0% higher than the original YOLOv5x algorithm. The average positioning errors of the upper and lower joints are 7.64 mm and 6.56 mm respectively， which meet the engineering error requirements and have certain engineering application value. The conclusions provide technical reference for accurate detection and precise positioning of tool joints.

tool joint; attention mechanism; stereo matching algorithm; small object detection; binocular vision positioning

0 引 言

在“中國制造2025”戰略背景下，鉆井作業正在被人工智能和機器人技術改變，自動化和智能化的特征日益凸顯^［1］。然而，石油鉆機的上卸扣作業自動化程度依然較低，傳統作業方法需要借助液壓大鉗和鐵鉆工等工具，對鉆桿的定位精度不高，經常需要人工手動調整^［2］。這種情況不僅影響作業效率，還會加劇鉆桿的磨損，導致鉆桿表面剝離和打滑^［3］。因此，提高鉆桿上卸扣作業的自動化水平必須實現鉆桿接口的準確檢測和精準定位。

隨著機器視覺技術的快速發展與普及，借助目標檢測代替人工進行鉆桿接口的識別與定位已成為鉆井行業的重要研究方向之一^［4］。目前廣泛應用的目標檢測算法主要有2類：以YOLO（You Only Look Once）^［5］、SSD（Single Shot MultiBox Detector）^［6］為代表的一步檢測算法和以R-CNN（Region-CNN）^［7］、Faster R-CNN^［8］為代表的兩步檢測算法。一步檢測算法注重速度，僅在單個網絡內就可以實現實時目標分類與定位；兩步檢測算法首先生成候選框，然后將候選框輸入到卷積神經網絡中提取目標特征，實現目標分類與定位。與一步檢測算法相比，兩步檢測算法雖然精度稍有提高，但計算復雜度大幅增加，因此在實時應用中的表現遠不如一步檢測算法。

在上卸扣作業中，鉆桿接口目標具有以下特征：①目標是移動的，可能會被鉆井平臺上密集的管道和設備遮擋；②攝像頭固定在司鉆房上，視野范圍較小，導致拍攝到的圖像中會出現小目標。這些特征都增加了檢測難度，現有算法在檢測速度和精度上都不能很好地解決上述問題。例如R-CNN 算法處理圖像的時間較長，無法實時檢測移動的鉆桿接口目標^［9］。SSD算法在檢測小目標時表現不佳，無法檢測小鉆桿接口目標^［10］。YOLOv5x算法^［11］可以中和二者的不足，檢測速度比R-CNN快，在小目標檢測的精度上優于SSD算法。

綜上所述，本文提出一種基于改進YOLOv5x算法的鉆桿接口檢測方法。該方法采用并行注意力機制CBAM^［12］，并引入一個更大尺度的特征圖作為小目標檢測層，對YOLOv5x算法進行了優化，從而提高了對鉆桿接口的檢測精度。此外，通過與SGBM半全局立體匹配算法^［13］的結合，實現了鉆桿接口的精準定位。

1 鉆桿接口檢測算法

1.1 改進型YOLOv5x的鉆桿接口檢測模型

基于改進YOLOv5x算法的鉆桿接口檢測模型分為輸入端、骨干網絡、頸部網絡和輸出端4個部分，如圖1所示。

輸入端進行圖像預處理，包括Mosaic數據增強^［14］、自適應錨框計算和自適應圖片縮放。Mosaic數據增強對隨機選取的4張圖像通過縮放、裁剪和排列拼接成1張大圖像，增加樣本多樣性。自適應錨框計算根據目標大小自動確定合適的錨框大小。自適應圖片縮放將輸入圖像調整到統一大小，通常為640×640。

骨干網絡負責提取和表示圖像特征，包含Conv、C3、C3CBAM和SPPF模塊。Conv模塊通過Conv2d、BN和ACON激活函數對輸入特征進行卷積運算，進行批量歸一化并引入非線性變換。C3模塊通過跨階段的部分連接促進不同層次特征圖之間的信息流動。C3CBAM模塊是融合了CBAM的C3模塊，可以更好地關注識別目標。SPPF模塊進行池化操作，提高模型計算效率。

頸部網絡進行特征融合。特征金字塔結構和PANet網絡有助于提高模型的多尺度性能，通過上采樣和下采樣操作使不同尺度的特征圖有一致的分辨率，從而提高模型檢測的準確性。

輸出端完成最終的回歸預測，得到檢測結果。YOLOv5x 包括3個檢測層，獨立輸出分類和回歸結果。改進YOLOv5x增加了一個更大尺度的特征圖作為小目標檢測層，共4個檢測層。

1.2 CBAM注意力機制

CBAM 注意力機制是一種并行注意力機制，其同時考慮了2種不同類型的注意力：通道注意力CAM和空間注意力SAM。CBAM在通道和空間維度上同時捕獲特征的關聯性，與傳統的只關注通道或只關注空間的注意力機制方案相比，能更好地捕獲復雜的特征關系，獲得更好的特征表示能力。CBAM的注意力機制結構如圖2所示。

由圖2可知：輸入特征圖通過CAM得到通道注意力，之后將通道注意力與輸入特征進行乘法運算，得到中間特征圖；中間特征圖通過SAM補充通道注意力的位置信息，得到空間注意力；最后，將空間注意力與中間特征圖相乘最終得到輸出特征圖。CAM和SAM的結構分別如圖3和圖4所示。

在CAM中，輸入特征分別通過MaxPool最大池化和AvgPool平均池化，得到2個1×1的通道權重矩陣，然后進入MLP多層感知機減少參數量。在向量相加后經過Sigmoid激活函數，最終生成通道注意力。

在SAM中，中間特征圖通過MaxPool和AvgPool得到2個二維向量，然后將其基于通道拼接起來，再進行卷積運算壓縮成通道數為1的特征，最后通過Sigmoid激活函數得到空間注意力。

1.3 增加小目標檢測層

小的鉆桿接口目標信息很容易在卷積和下采樣過程中丟失，導致漏檢或誤檢。以640×640尺寸的輸入圖像為例，YOLOv5x算法經過多次下采樣后，得到的檢測層尺度為80×80、40×40和20×20，其中最大的80×80特征圖對應的感受野為8×8。當目標高或寬小于8時，網絡難以學習小目標特征信息。特征圖與感受野對應關系如表1所示。由表1可知：特征圖越大，感受野越小，對小目標的檢測準確度越高。

這里引入更大尺度的特征圖縮小感受野。在80×80特征圖后增加卷積層和上采樣，將2倍上采樣特征圖與160×160特征圖融合得到尺度為160×160的特征圖，用于小目標檢測層。改進后算法對小目標的識別精度得到提升。

2 鉆桿接口定位算法

SGBM算法基于平行雙目視覺定位原理實現。首先，采用張正友標定法對雙目相機進行標定^［15］。然后，對2個攝像頭采集的圖像進行視差計算，最后經過坐標轉換獲得目標的三維位置信息。

2.1 平行雙目視覺定位的原理

在雙目視覺系統中，雙目相機的安放位姿對目標定位效果至關重要。這里依據平行雙目定位原理，選擇水平安放雙目相機。首先，確保左右相機成像平面平行且水平對齊，避免因相機角度傾斜而產生圖像畸變和視角差異。其次，精準控制雙目相機的高度和距離。相機的高度決定了相機成像區域的范圍，需要根據實際場景中的目標尺寸和距離來確定相機的高度。過高或過低的相機位置都會使成像區域偏離目標區域，進而影響目標定位的準確性。平行雙目定位原理如圖5所示。

圖5中，O₁和O₂是雙目相機左右攝像頭的光心，z₁和z₂是光軸，f是焦距，左右保持一致。

設世界坐標系下鉆桿接口的坐標為w（x，y，z），左攝像頭映射坐標為w₁（u₁，v₁），右攝像頭映射坐標為w₂（u₂，v₂）。記O₁和O₂之間的距離為B，w₁和w₂之間距離為a，視差為d。據相似三角形原理得到如下關系：

測量B，再將世界坐標系與左攝像頭O₁坐標系重合，推出a和d：

a=B+u₁-u₂（4）

d=u₁-u₂（5）

綜上，得到鉆桿接口的坐標w（x，y，z）：

2.2 雙目相機的標定

在實際應用中，攝像頭存在畸變，原始目標經過投影后的大小和距離等信息會受到影響。畸變可以通過相機標定改善。標定可以獲得鏡頭的參數矩陣，從而實現二維圖像與三維空間的精確對應，獲得目標的準確坐標信息。采用張正友標定法對試驗所使用的雙目相機進行標定，步驟如圖6。

首先，準備一張7×10的棋盤圖案作為標定板，含54個角點。從不同角度和位置拍攝多張標定板圖像，使用MATLAB工具箱進行角點檢測并計算同軸度。通過矩陣變換計算出攝像頭內外參數，包括焦距、光學中心、扭曲參數、旋轉矩陣和平移向量。最后，用光束平差法優化校準參數。

2.3 SGBM算法

SGBM即半全局立體配算法，通過視差獲取目標三維坐標。SGBM算法引入約束條件抑制噪聲干擾，包括像素代價和平滑性約束，用數學形式表示為能量函數E（D）：

式中：E（D）定義在視差圖像D上；p和q表示圖像中的2個像素點；D_p和D_q為p和q的視差值，N_p表示p的N個相鄰像素點；C（p，D_p）表示p在視差值為D_p時的像素點代價；λ₁和λ₂表示視差值相差1和相差大于1懲罰系數；T［·］為真值函數，若函數內的值為真，輸出1，否則輸出0。

SGBM算法通過最小化E（D）獲得每個像素的最優視差值。對于像素p，選擇不同方向的i個相鄰像素點，進行一維分解，再應用動態規劃求解：

式中：L_r（p，d）為p沿著路徑r在視差值為d時的能量值。

將計算得到的k個方向上的能量值合并獲得像素p的最終能量值。通過對比，選最小能量值記作像素p的最優視差值S（p，d）：

采用SGBM算法實現鉆桿接口定位，見圖7。

首先，使用雙目相機采集鉆桿接口圖像；然后進行像素匹配生成視差圖，結合相機內外參數計算深度圖，每像素值代表目標距離，進而確定目標的三維位置；最后根據需求驗證和優化算法。

3 試驗準備

3.1 試驗平臺與試驗環境

搭建的試驗平臺如圖8所示。包括一臺計算機和D435雙目相機。計算機的操作系統為Windows10，GPU為RTX 2080Ti、CUDA11.7和cuDNN8.9，深度學習框架為Pytorch 2.0.0和Python 3.8。

模擬鉆桿接口定位試驗環境如圖9所示。將雙目相機水平固定在支架上，并根據目標大小和距離調節到合適高度，同時在圖像采集過程中保持水平狀態，避免因攝像機傾斜導致視角差異誤差。

3.2 試驗數據集

自建的鉆桿接口數據集共1 366張，主要來源于網絡下載和現場拍攝。

圖10為網絡下載的圖像。涵蓋不同尺寸、場景和位姿的鉆桿接口，提供多角度多狀態的圖像。圖11為現場拍攝的上卸扣作業現場。除了主體物鉆桿接口，還包括活動的作業人員、運作的機械設備、不需要識別的鉆桿等。

采用labelme對數據集進行標注，共18 000多個手工標注實例，標注了鉆桿上下接口，使用“inner joint”和“outer joint”標簽。

3.3 模型評價指標

以精確度P、召回率R和平均精確度m_AP對模型進行定量評價。

式中：T_p表示正確檢測到的鉆桿接口；T_n表示未錯誤檢測到的鉆桿接口；F_p表示錯誤檢測到的鉆桿接口；F_n表示未檢測到的鉆桿接口；m_AP表示所有類別的平均精度，用于衡量模型精度和評估對象檢測結果，m_AP值越高，效果越好。

以幀率F_PS對模型的處理速度進行評價，它表示模型在單位時間內處理圖像幀的數量，幀率越高，模型的圖像處理能力越快。

4 鉆桿接口檢測試驗

4.1 訓練參數

在試驗平臺上對鉆桿接口檢測模型進行訓練之前，需要設置初始參數，如表2所示。

4.2 訓練效果

將一段正在進行上卸扣作業的視頻輸入到鉆桿接口檢測模型中進行檢測，結果如圖12所示。

由圖12可知，該模型能實時檢測鉆桿接口，即使人員移動頻繁、設備遮擋仍能保持穩定。觀察每幀發現，模型對2種接口的檢測精度較高，下接口在0.82～0.96之間變動，上接口穩定在0.94左右，證明了模型的連續穩定識別性。特別是在操作人員接近接口區域時，模型未發生誤判，可靠性高。

4.3 消融試驗

為了驗證鉆桿接口檢測算法每一步改進對檢測精度的影響，進行了消融試驗，試驗結果見表3REF_Ref148356371＼r＼h。

表3的結果表明，融合CBAM注意力機制和小目標檢測層的改進均可有效提高模型性能。相較于僅加入CAM或SAM注意力，融合CBAM注意力的改進具有更大的優勢，模型的m_AP提高至97.4%，精確度和召回率也更高。增加小目標檢測層后，模型的m_AP提高至97.6%。最終，結合CBAM注意力和小目標檢測層時，模型的m_AP提升至98.6%，精確度達到了98.4%，召回率達到了94.0%，F_PS也保持在較高水平。

4.4 m_AP對比

分別對YOLOv5x和改進YOLOv5x的鉆桿接口檢測模型進行了300輪次的訓練，觀察m_AP在訓練期間的變化，對比如圖13所示。

由圖13可知，整體訓練過程中，2種模型的m_AP曲線趨勢基本相同。改進后模型的m_AP始終高于原始YOLOv5x模型，最終雙方均趨于穩定。說明改進后鉆桿接口檢測模型在檢測鉆桿接口任務上表現出更高的準確性。

4.5 PR曲線

PR曲線描述P和R的關系，面積越大，表示模型在不同分類下都能取得較高的精確度和召回率，具有更好的性能。YOLOv5x和改進YOLOv5x的鉆桿接口檢測模型的PR曲線如圖14和圖15所示。

通過對比圖14和圖15，可以看出改進后模型的PR曲線下面積更大，具有更好的性能。

5 鉆桿接口定位試驗

5.1 雙目相機標定試驗

采用張正友標定法對D435雙目相機進行標定。首先使用D435拍攝13組不同位置和角度的標定圖，然后運用MATLAB軟件中Stereo Camera Calibrator工具箱求得雙目相機的內參矩陣、外參矩陣和畸變參數等，結果如表4所示。

5.2 雙目相機定位試驗

D435采集的鉆桿接口左右圖像如圖16所示。

將標定試驗得到的相機參數輸入SGBM算法得到深度圖，如圖17所示。然后，將SGBM算法與訓練好的鉆桿接口檢測模型相結合，實現對鉆桿接口的實時檢測和定位，結果如圖18所示。

5.3 定位試驗結果對比

分別對鉆桿下接口和鉆桿上接口進行了12組測距試驗，結果如表5和表6所示。根據試驗結果計算，鉆桿下接口x、y、z三軸的平均誤差分別為4.25、3.58和3.48 mm，試驗測距離和現實距離誤差為6.56 mm。鉆桿上接口的x、y、z三軸的平均誤差分別為4.50、4.58和3.94 mm，試驗測距離和現實距離誤差為7.64 mm。誤差均滿足工程誤差要求。

分析誤差產生的原因如下：

（1）雙目相機標定和校正存在不足，導致視差計算產生偏差，影響定位精度。

（2）試驗控制變量不夠嚴格。例如，在試驗中光照條件變化會影響視差計算；同時，設備不可避免的移動或抖動也會影響定位結果。

（3）手動測量也存在一定的測量誤差，同樣會影響到最后的比較結果。

因此，后續研究可以從優化雙目相機的標定流程以增強其校正精度、改進視差計算算法以增強其對環境變化的適應能力，以及減少試驗操作中的人為誤差等方面著手，進一步提高試驗精度。

6 結論及認識

（1）提出基于改進YOLOv5x的鉆桿接口檢測方法，通過采用CBAM注意力機制并增加小目標檢測層，提高了算法對鉆桿接口的檢測精度。

（2）對改進前后的鉆桿接口檢測算法進行網絡訓練和對比試驗，證明了改進方法的有效性。

（3）結合SGBM算法在雙目視覺下建立了鉆桿接口定位模型。該模型的上下接口平均定位誤差分別為7.64和6.56 mm，符合工程誤差要求，具有一定的工程應用價值。

（4）所提出的方法在檢測以及定位精度上有很好的表現，能夠提高鉆桿上卸扣作業的效率。未來的工作可以探索復雜工況下定位鉆桿接口，如海上鉆井平臺；也可以擴展到智能石油鉆井設備領域的其他相關任務，如檢測和跟蹤鉆井部件或預測鉆井性能。

參考文獻

［1］ LI" L.China’s manufacturing locus in 2025： with a comparison of“Made-in-China 2025”and “industry 4.0”［J］.Technological Forecasting and Social Change， 2018（135）： 66-74．

［2］ 張東海，王昌榮．智能石油鉆機技術現狀及發展方向［J］．石油機械，2020，48（7）：30-36．

ZHANG D H， WANG C R.Technology status and development trend of intelligent drilling Rigs［J］.China Petroleum Machinery， 2020， 48（7）： 30-36．

［3］ 王倩，高廣啟．液壓油管鉗自動上卸扣裝置的設計與研究［J］．機械設計與制造工程，2018，47（7）：69-71．

WANG Q， GAO G Q.Research on the automatic shackle device of mechanized hydraulic oil pipe［J］.Machine Design and Manufacturing Engineering， 2018， 47（7）： 69-71．

［4］ ZOU Z X， CHEN K Y， SHI Z W， et al.Object detection in 20 years： a survey［J］.Proceedings of the IEEE， 2023， 111（3）： 257-276．

［5］ REDMON J， DIVVALA S， GIRSHICK R， et al.You only look once： unified， Real-Time object detection［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas， NV， USA： IEEE，2016： 779-788．

［6］ LIU W， ANGUELOV D， ERHAN D， et al.SSD： single shot multibox detector［C］∥Computer Vision–ECCV 2016.Cham： Springer International Publishing， 2016： 21-37．

［7］ GIRSHICK R.Fast R-CNN［C］∥2015 IEEE International Conference on Computer Vision （ICCV）.Santiago， Chile： IEEE， 2015： 1440-1448．

［8］ REN S Q， HE K M， GIRSHICK R， et al.Faster R-CNN： towards real-time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149．

［9］ ZHANG J， MENG Y Z， CHEN Z P.A small target detection method based on deep learning with considerate feature and effectively expanded sample size［J］.IEEE Access， 2021， 9： 96559-96572．

［10］ 趙文清，周震東，翟永杰．基于反卷積和特征融合的SSD小目標檢測算法［J］．智能系統學報，2020，15（2）：310-316．

ZHAO W Q， ZHOU Z D， ZHAI Y J.SSD small target detection algorithm based on deconvolution and feature fusion［J］.CAAI Transactions on Intelligent Systems， 2020， 15（2）： 310-316．

［11］ JOCHER G.YOLOv5［EB/OL］.（2023-06-01）［2023-07-22］.

［12］ HIRSCHMULLER H.Accurate and efficient stereo processing by semi-global matching and mutual information［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego： IEEE， 2005： 807-814．

［13］ WOO S， PARK J， LEE J Y， et al.CBAM： convolutional block attention module［C］∥Computer Vision-ECCV 2018.Cham： Springer International Publishing， 2018： 3-19．

［14］ HAO W， SONG Z L.Improved mosaic： algorithms for more complex images［J］.Journal of Physics： Conference Series， 2020， 1684（1）： 012094．

［15］ MEULEMAN A， KIM H， TOMPKIN J， et al.Floating fusion： depth from ToF and image-stabilized stereo cameras［C］∥Computer Visio-ECCV 2022.Cham： Springer， 2022： 602-618.

第一作者簡介：張奇志，女，教授，生于1965年，2011 年畢業于西北工業大學自動控制專業，獲博士學位，現從事電驅動鉆機電氣控制技術研究工作。地址：（710065）陜西省西安市。email：zhangqz@xsyu.edu.cn。

通信作者： 唐凡懿。email： yechan0314@outlook.com。