基于雙目視覺的橋式起重機吊鉤定位系統研究

摘" 要： 在工業生產現場，起重機械被廣泛用于物料搬運，在運行過程中其吊鉤對人員安全和財產會造成潛在的損害。為防止這些事故的發生，在基于雙目視覺的基礎上，提出一種YOLOv5小目標檢測算法，通過識別物添加和雙目視覺結合的方法實現了起重機吊鉤的快速、精確定位。同時，在OpenCV和Python環境下分別對YOLOv5的4種經典網絡模型進行訓練和預測，并進行了現場實時數據采集、誤差分析與校正。研究結果表明，YOLOv5s模型的單幀檢測時間為0.15 s，mAP值達到了99.3%，完全滿足現場實時響應和定位精度的要求。

關鍵詞： 橋式起重機； 起重機吊鉤； 雙目視覺； YOLOv5； 小目標檢測； 目標定位

中圖分類號： TN407?34； TP311" " " " " " " " " "文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2025）06?0147?07

Research on bridge crane hook positioning system based on binocular vision

GAO Mingke1， CHEN Wei2， DING Yong1

（1. School of Safety Science and Engineering， Nanjing University of Science and Technology， Nanjing 210094， China;

2. Nanjing Vocational University of Industry Technology， Nanjing 210024， China）

Abstract： In industrial production sites， crane machinery is widely used for material handling， and the potential damage to personnel safety and property is caused by its hooks during operation. In order to prevent these accidents， a YOLOv5 small target detection algorithm based on binocular vision is proposed. By combining the addition of objects and binocular vision， the fast and accurate positioning of the crane hook is realized. Four classical network models of YOLOv5 were trained and predicted respectively in OpenCV and Python environments， and on?site real?time data acquisition， error analysis and correction were carried out. The research results show that the single frame detection time of YOLOv5s model is 0.15 s， and the mAP value can reach 99.3%， which fully meets the requirements of real?time response and positioning accuracy on site.

Keywords： bridge crane; crane hook; binocular vision; YOLOv5; small target detection; target location

0" 引" 言

在我國工業體系不斷發展完善下，橋式起重機作為工業生產不可或缺的一種重型機械，在礦產企業、港口運輸以及冶金等領域都承擔著重要的運輸作用[1?2]。然而，據相關數據顯示，近年來起重機械事故的頻率急劇上升[3]，這給我國的工業生產帶來了嚴重的經濟損失，甚至導致了人員傷亡[4]。

傳統的起重機械作業安全管理主要依賴地面監理人員的現場觀察和管理，但這種方式存在溝通不及時、過分依賴人員等局限性，因而在確保工作人員安全方面仍有提升空間[5]。隨著信息技術的快速發展，圖像識別技術已廣泛應用于安防監控、醫學圖像識別、人臉識別、智能交通等領域，并能高效處理海量圖像的分類與識別[6]，為起重機械安全管理提供了更多技術支撐。智能圖像分析在工業生產中逐步取代了傳統的人員管理[7]。文獻[8]利用CCD攝像機和激光測距儀來實現起重機吊鉤的定位，文獻[9]通過物聯網技術對起重機在吊裝過程中吊鉤運動位姿進行了實時監測，文獻[10]通過在電機上安裝霍爾傳感器來實現吊鉤的定位，文獻[11]通過機器視覺和YOLOv3算法對塔式起重機的吊鉤定位進行了研究。然而，這些方法在檢測速度和定位精度方面都存在一定的不足。

針對上述問題，本文提出了一種基于雙目視覺的YOLOv5目標檢測算法，通過識別物添加和雙目視覺定位結合的方式來確定起重機吊鉤的位置。該方法可以通過目標檢測算法自動識別吊鉤，并結合雙目攝像機確定吊鉤的具體位置，在與人員之間的距離達到閾值時進行報警，實現起重機械自動警戒控制，從而有效降低安全風險[12]。

1" 系統組成及工作原理

本文研究的基于雙目視覺起重機械吊鉤定位安全警戒系統工作原理是：利用圖像識別中的目標檢測算法對采集到的工業廠房作業范圍內的監控視頻進行吊鉤圖像識別，得到吊鉤的三維信息；利用雙目視覺獲取吊鉤的三維坐標，確定吊鉤與作業人員間的距離閾值；再根據數據分析結果自動控制起重機械進行減速或剎停的操作，保證作業區域內人員的安全。警戒系統構成圖如圖1所示，具體可分為采集控制系統硬件和智能識別控制軟件兩個部分[13?14]。采集控制系統硬件包含視覺識別攝像機、數據傳輸與存儲系統、人機交互器件、運行控制PLC系統、高性能工控機。智能識別控制軟件包括安全警戒區域管理系統、視覺識別分析技術、警戒模式管理、視頻與圖像管理系統、報警輸出控制系統[15?16]。

2" 基于YOLOv5算法的吊鉤三維信息提取

2.1" YOLOv5小目標檢測算法

目標檢測是計算機視覺領域內的重要任務，而在目標檢測領域中，深度學習模型具有較高的精度、效率等優勢，其主要分為一階段目標檢測算法和兩階段目標檢測算法[17?18]。本研究為針對工業場景中起重機吊鉤運行安全所開發的警戒系統，因此選擇具有更快推理速度的一階段目標檢測算法YOLOv5網絡模型作為算法框架[19]。YOLOv5是目標檢測中一種先進的深度學習模型，其核心思想是通過單次前向傳播操作，在圖像中同時檢測出多個目標物體的邊界框和類別。YOLOv5總共包含了4種目標檢測網絡模型，這4種模型的網絡結構是一樣的，區別在于深度和寬度有所不同，模型由小到大可分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。YOLOv5網絡主要由輸入端、Backbone（主干網絡）、Neck（頸部）、Head（輸出層也稱預測層）這4個部分組成。其中：Backbone通過CSP結構劃分特征圖，提高了特征的傳遞效率；Neck利用FPN和PAN的結構增強了特征圖的語義信息和空間信息的融合；Head則負責從融合特征圖中預測對象的位置和分類，并通過卷積和全連接層對預測框進行處理，輸出最終的吊鉤目標檢測結果[20]。該模型結構設計符合工業場景監控系統中吊鉤檢測的實時性和準確性要求。基于YOLOv5的吊鉤目標檢測模型結構圖如圖2所示。

2.2" 基于錨框的吊鉤裁剪

確定吊鉤的三維位置需要提取吊鉤的具體輪廓，算法流程如下：首先，YOLOv5將吊鉤圖像通過主干網絡進行特征提取，得到一系列特征圖；對于每個特征圖上的單元格，YOLOv5會定義一組錨點框，并將預測的邊界框坐標信息通過激活函數進行轉換；對于每個單元格和每個錨點框，YOLOv5會根據預測的邊界框坐標信息生成一個矩形錨框；最后，根據生成的錨框位置信息對每個錨框進行裁剪，輸出裁剪后吊鉤的錨框區域。裁剪出的錨框區域基本只包含吊鉤，有利于后續的標識物定位[21]。吊鉤錨框裁剪邏輯圖如圖3所示。

2.3" 吊鉤中心檢測與計算

吊鉤在實際場景中是一個會發生旋轉的物體，并且在應用于現場時，攝像頭位于起重機大車主梁的兩側。在模擬過程中，雙目攝像機是處于相對平行的擺放位置，這可能會導致識別的吊鉤在左右兩側攝像機拍攝的圖像中存在相對旋轉，進而無法得到一個相同位置點（同名點），即無法找到空間中的同一點在2幅圖像中的像素點，所以不能用于三維重建[22]。因此本文引入以小球作為標識物的方法，球體在各個角度拍攝的圖像中都會以圓心呈現出來，故可以以球體的球心作為左右圖像中的同名點。

將截取出來的錨框區域進行霍夫圓變換圖像處理，即可得到吊鉤上小球球心的坐標[x，y]，從而可以確定左右圖像中的同名點[23]。具體算法步驟如下。

1） 將檢測問題轉化為參數空間的投票過程，參數空間由圓心的x坐標和y坐標組成；

2） 對于每個圖像點[x，y]，計算它與所有可能圓心的距離，將該距離映射到參數空間；

3） 在參數空間中，會出現一個或多個峰值，表示圓心可能的位置；

4） 圓心的位置可以通過尋找在參數空間中達到峰值的位置來確定；

5） 通過遍歷圖像中的所有點，計算每個點到圓心的距離，并比較半徑，如果距離接近，則認為該點可能屬于圓。

設相同一點在錨框區域的坐標為[Axa，ya]，在原始圖像中的坐標為[Bxb，yb]，則由式（1）可進行轉換。

3" 吊鉤中心定位

3.1" 雙目視覺目標定位原理

用2臺攝像機同時拍攝得到目標的左右2幅圖像，在2幅圖像中找到同名點，然后根據它們的位置關系獲取實際的三維坐標[24]。雙目定位原理圖如圖4所示。圖中：OL和OR分別為左右攝像機光心；B是兩個攝像機光心之間的距離；fu是攝像機的焦距；[u0，v0]為左攝像機光心點坐標。安裝在吊鉤上的小球球心的攝像機坐標為[PXc，Yc，Zc]，其在左右攝像機成像平面的成像點分別是[PLuL，vL]和[PRuR，vR]。

3.2" 坐標系轉換

吊鉤三維坐標定位的關鍵是坐標系的轉換，共包括5個坐標系[25]，分別是：世界坐標系OwXwYwZw、相機坐標系OcXcYcZc、圖像物理坐標系Oxuyu、圖像像素坐標系Oouv和裁剪像素坐標系Oxaya。本文將二維圖像上吊鉤小球球心的像素坐標A（xa，ya）轉換成基于相機坐標系下吊鉤小球球心的三維坐標[PXc，Yc，Zc]，坐標轉換圖如圖5所示。為了便于計算，將世界坐標系和相機坐標系重合，以左攝像機光心建立世界坐標系。

首先將吊鉤在裁剪像素坐標系下的坐標通過式（1）轉換至圖像像素坐標系，然后將圖像像素坐標系通過單位轉換和坐標原點平移轉換至圖像物理坐標系，其轉換關系可表示為：

最后將圖像物理坐標系轉換至相機坐標系，獲取三維坐標，其轉換關系可表示為：

結合式（2）和式（3）可得目標點P由像素坐標系到世界坐標系之間的轉換關系，如下：

基于以上的坐標系轉換關系可以求出點P（Xc，Yc，Zc）基于左攝像頭下的三維世界坐標。

4" 系統實驗及誤差分析與校正

4.1" 數據集采集

本文吊鉤數據集采集自南京澤楚科技有限公司的實驗基地，包含不同角度下的吊鉤圖像。采集設備為海康威視DS?IPC?B12HV3?IA，圖像采集流程如下：首先，將攝像頭通過網線連接到計算機，手持攝像頭圍繞吊鉤拍攝獲得不同角度的吊鉤信息；其次，通過海康威視平臺提供的視頻監控計算機客戶端iVMS?4200訪問攝像機的視頻數據并保存到本地；最后，對視頻數據進行抽幀處理，參數設置為每隔30幀抽取一張作為圖像數據集樣本。

4.2" YOLOv5模型訓練和最優模型選擇

網絡訓練所用計算機主要配置參數為Intel i7?12650H CPU，GeForce RTX 4060 GPU和16 GB運行內存，開發環境為Windows 10，CUDA 11.1，OpenCV 3.4，Visual Studio 2015，并使用Python 3.8結合PyTorch 1.9.0實現。

本文分別對YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x這4種網絡模型進行吊鉤定位訓練和測試，實驗結果如表1所示。

由表1可知：YOLOv5x檢測精度最高，但是檢測速度較慢；而YOLOv5s檢測精度較低，但其檢測速度約是YOLOv5x的5倍。根據工業環境對安全警戒實時要求和檢測精度要求，對于單一檢測，上述每種算法的檢測精度都完全滿足要求，并且識別的精度差別較小。因此，文中選用檢測速度更快的YOLOv5s模型作為工廠起重機吊鉤識別方法。

4.3" 攝像機標定

相機標定采用的算法是張正友相機標定[26]算法，通過OpenCV庫對相機進行標定。本文使用的棋盤格的角點數為10×7，每個方格邊長為45 mm。以左側攝像機采集的一幅標定圖像為例，提取的棋盤格角點后圖像如圖6所示。

標定求得的左、右攝像機內參矩陣RL、RR結果分別為：

對攝像機外參數進行標定，標定求得的左、右攝像機間的相對旋轉矩陣R和平移向量T結果分別為：

由標定結果可知，手工測量攝像機中心距為272 mm，與標定的平移矩陣相近，且旋轉矩陣接近單位矩陣，與實際相符。

4.4" 目標識別和定位

為確保實驗與工廠環境的一致性，在模擬的起重機結構上配備了4臺攝像機，如圖7所示。這些攝像機分別位于模擬主梁的左前、右前、左后及右后位置。其中，左前和右前攝像機的主要任務是確定吊鉤相對于世界坐標系的精確位置，而左后和右后攝像機主要用于對吊鉤定位結果進行校準。攝像機的確切安裝位置見圖8。

在系統工作中，首先YOLOv5模型識別到吊鉤，結果如圖9a）所示；然后根據生成的錨框位置信息對每個錨框進行截取，輸出截取后吊鉤的錨框區域，截取結果如圖9b）所示；再根據霍夫圓變換圖像處理得到小球的球心坐標并標注，結果如圖9c）所示。球心PL像素坐標為（70，155）。由錨框區域的截取過程和式（1）可知，[（Δx，Δy）=（1 189]，[649]），則可得出小球球心在左原始圖像中的像素坐標為[PL（1 259，804）]。

將世界坐標系的原點設置在單杠的最前端處，X軸、Y軸、Z軸沿單杠橫梁向前為正。為實現定位，必須在右圖中找到與之匹配的像素點PR，在右圖中同樣取小球的球心，使其成為左右圖像中的同名點，匹配結果如圖10所示。圖10b）中球心在原始圖像中的像素坐標為[PR882，334]。利用左右圖球心的像素坐標結合式（4）計算出圖10a）球心的三維坐標，結果為[P71.474 44，-523.230 59，3 211.589 58]。

4.5" 誤差分析和校正

為驗證整個定位方法的準確性，模擬工業實際情況，現場實驗將吊鉤沿單杠方向進行水平移動以及在豎直方向進行升降。對左前、右前兩個攝像機進行定位，獲得吊鉤基于世界系下的圖像，如圖11所示。通過左后、右后攝像機同時定位得到吊鉤的坐標，并轉換到與左前、右前攝像機相同的坐標系中，對左前、右前攝像機得到的結果進行校正。表2為雙目視覺定位結果。表中：第1列為5組實驗的序號；第2列為根據左前、右前攝像機拍攝到的圖像求得的在左前攝像機坐標系下吊鉤的定位，為坐標[P1X1，Y1，Z1]；第3列為根據左后、右后攝像機拍攝到的圖像求得的在左前攝像機坐標系下吊鉤的定位，為坐標[P2X2，Y2，Z2]；第4列中的D1為P1點到左前攝像機光心的距離：

由表2可知，D0為吊鉤到攝像機左光心點的距離，利用激光測距儀測的是吊鉤到攝像機鏡面的實際距離，兩者間存在一定偏差。由于攝像機的光心難以準確定位，故可以通過測量棋盤格角點之間的距離來驗證本文定位方法的準確性，其中，棋盤格的一個格子尺寸為45 mm×45 mm。角點分布如圖12所示。求出圖中標注角點之間的三維坐標，可得出各角點到角點A的距離。實驗結果如表3所示。

由表3數據可知，三維重建距離的誤差和誤差率較低，可以把該定位方法引入到實際工業廠房的吊鉤定位中。

5" 結" 語

1） 本文在基于雙目視覺的基礎上，將YOLOv5小目標檢測算法應用到起重機吊鉤定位檢測中，系統的檢測時間為0.15 s，檢測精度mAP值為99.3%。該方法能有效實現起重機吊鉤的快速、精確定位。

2） 通過將小球安裝在吊鉤上的方法解決了雙目視覺中左右圖像吊鉤中心點不匹配的問題，并根據雙目視覺原理公式定位吊鉤的準確位置。

3） 對YOLOv5的4種經典網絡模型分別進行訓練和結果預測，選取了檢測速度更快的YOLOv5s模型作為起重機吊鉤識別算法，并進行了相關實驗。

通過現場數據實時采集、誤差分析與校正，識別到吊鉤到攝像機三維距離與實際激光測距儀測量的距離基本一致，故可以把該定位方法應用到實際工業廠房的吊鉤定位。

注：本文通訊作者為陳薇。

參考文獻

[1] 李柯鵬.基于電氣控制探討的橋式起重機分析[J].電氣技術與經濟，2024（5）：153?155.

[2] 王亞輝，張慧鵬，黨一奇，等.橋式起重機的特性分析及其優化[J].機械設計與制造，2024（12）：273?279.

[3] 葛新宇，畢俊喜，李海濱，等.基于故障物理的風力機葉片可靠性仿真分析方法[J].太陽能學報，2024，45（3）：29?40.

[4] 王朝發.起重機械事故原因分析及對策探討[J].冶金與材料，2022，14（1）：37?38.

[5] 強光彩.加強建筑起重機械安全管理的若干措施[J].建材世界，2013，34（1）：88?89.

[6] 王顥.深度學習在圖像識別中的研究與應用[J].科技視界，2020（24）：37?38.

[7] 李承熹.基于圖像識別的電力激光作業場景安全監控策略研究[D].宜昌：三峽大學，2021.

[8] NARA S， MIYAMOTO D， TAKAHASHI S. Position measurement of crane hook by vision and laser [C]// 32nd Annual Conference on IEEE Industrial Electronics. Paris， France： IEEE， 2007： 184?189.

[9] 蔣濤.起重機吊鉤偏擺遠程監測系統的設計[D].北京：北京理工大學，2016.

[10] LIU J S， LIU B F， ZHOU Y L， et al. Travelling crane hook position monitoring and controlling device and position monitoring control method [J]. Engineering， 2010（8）： 21.

[11] 秦皓.面向智慧工地的塔式起重機吊鉤3D定位方法研究[D].西安：長安大學，2023.

[12] 張俊科，吳敬兵，吳曉曉.基于YOLOv5的岸邊集裝箱橋式起重機鋼絲繩損傷檢測方法[J].起重運輸機械，2023（16）：30?36.

[13] 周奇才，王愷，熊肖磊，等.橋式起重機分布式控制系統設計[J].機械設計與制造，2022（9）：236?239.

[14] 李國杰.智能起重機的關鍵特征和控制系統總體架構[J].機械工程學報，2020，56（24）：254?268.

[15] 顧成偉，丁勇，李登華.基于計算機視覺的工業廠區人員安全警戒系統[J].計算機與現代化，2023（9）：20?26.

[16] ELIZABETH B. Safety in machinery design and construction： performance for substantive safety outcomes [J]. Safety science， 2014（66）： 27?35.

[17] 汪宏威.基于卷積神經網絡的一階段目標檢測算法研究[D].天津：天津理工大學，2021.

[18] 葉嘉欣.基于深度學習的兩階段目標檢測算法綜述[J].互聯網周刊，2023（5）：16?18.

[19] ZAIDI S S A， ANSARI M S， ASLAM A， et al. A survey of modern deep learning based object detection models [J]. Computer vision and pattern recognition， 2022， 126： 103514.

[20] 羅會蘭，陳鴻坤.基于深度學習的目標檢測研究綜述[J].電子學報，2020，48（6）：1230?1239.

[21] 盧偉，鄒明萱，施浩楠，等.基于YOLOv5?TL的褐菇采摘視覺識別?測量?定位技術[J].農業機械學報，2022，53（11）：341?348.

[22] 王德海，洪偉，程群哲.基于雙目立體視覺的目標識別與定位[J].吉林大學學報（信息科學版），2016，34（2）：289?295.

[23] TORII A， IMIYA A. The randomized?Hough?transform?based method for great?circle detection on sphere [J]. Pattern recognition letters， 2007， 28（10）： 1186?1192.

[24] 盧寶莉，劉育梁，孫亮.基于小尺度測量的雙目立體視覺系統誤差分析[J].光子學報，2015，44（10）：36?41.

[25] 張來偉，陳乃建，范振，等.結合目標識別和定位的輪椅機械臂抓取研究[J].山東工業技術，2021（4）：10?16.

[26] ZHANG Z Y. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1333.

作者簡介：高明科（1999—），男，安徽滁州人，碩士研究生，研究方向為廠區警戒系統研發。

陳" 薇（1981—），女，江蘇南京人，工程師，研究方向為建筑工程。

丁" 勇（1977—），男，江蘇南通人，博士研究生，副教授，研究方向為結構健康監測。

收稿日期：2024?06?12" " " " " "修回日期：2024?07?17

基金項目：國家重點研發計劃資助項目（2022YFC3005502）；國家自然科學基金長江水科學研究聯合基金項目（U2240221）；國家自然科學基金資助項目（51979174）