基于機器視覺的樹枝識別機械臂設計

鐘全輝，蔣豐庚，張以全，王澤南

（1.國網浙江省電力有限公司嘉興供電公司，浙江嘉興 314000；2.國網浙江省電力有限公司雙創中心，浙江杭州 310000）

隨著社會生產的不斷發展，現代電力用戶對供電的質量要求越來越高，一旦電能質量不合乎要求或突然停電，將會給生產和生活帶來難以預估的損失。電力線路作為電力系統的重要組成部分之一，其能否安全運行，直接決定了供電質量。保持樹線的安全距離是做好電力線路防護的重要手段之一，在傳統的樹枝修剪人工作業過程中，存在著作業危險、工作效率低、修剪機器笨重等諸多痛點，需耗費不少人力，增加了施工成本。而將機器視覺與機械臂相結合，應用于工業施工現場，可替代施工人員的部分體力勞動。

上海海洋大學高遠將深度學習應用于剪枝無人機實現了對冗余樹枝的進一步提取。在圖像識別領域，2022年西安石油大學的錢茹雪提出了遷移預訓練與ResNet34網絡模型結合的方法，不僅能大幅縮短模型訓練的周期，并且能降低訓練的損失率，從而提高測試準確率。近年來有學者采用D-H 參數法建立機械臂的參數化模型，綜合采用多種插值方法，實現機械臂在工作空間中的軌跡規劃，并根據實際工作環境確定了最適合的軌跡規劃方法。明鑫等針對機器人抓取策略的準確性，提出了一種強化學習策略，根據機械臂末端與目標區域中心位置的距離，定義分層獎勵函數，計算每個動作的獎勵，實現抓取的目標動作。

為降低施工人員的安全風險，提高剪枝自動化水平，文章設計了樹枝抓取機械臂。通過機器視覺的方式識別待修剪樹枝，通過坐標轉換確定其空間位置，經過剪枝機器人在電纜上的移動和機械臂的配合，實現待修剪樹枝的抓取固定。

1 視覺設計方法

視覺部分采用的是YOLOv5 目標檢測算法，通過實地拍攝的一組樹枝圖片作為訓練集訓練權重，獲得了較高的檢測精度。

1.1 骨干網絡

1.1.1 Focus結構

Focus 結構中較關鍵的是切片操作。YOLOv5s 布署了32個卷積核在Focus 結構中。

1.1.2 CSP結構

YOLOv5s 網絡在設計中采用了CSPNet 的設計思路，以有效降低目標檢測的計算量。CSPNet 的基本思路為：①將上一層的輸出特征連接并輸出到下一層；②結合梯度信息來提升網絡的學習能力。設計中的融合優先和融合最后策略可以在減少計算量的同時，以微小的準確度下降（0.1%）為代價。總之，CSPNet通過拆分為兩部分進行卷積與特征融合，能在一定程度上降低計算量，但對準確率的提升能力有限。

1.2 特征融合

YOLOv5 的Neck 主要采用了FPN+PAN 結 構。FPN 自上而下地融合深層和淺層來構建特征金字塔。

1.3 網絡輸出端

1.3.1 BoundingBox損失函數

文中的 Bounding box 損失函數為CIoU Loss。該函數需考慮的因素有：長寬比、中心點距離、重疊面積。針對目前目標損失函數，使目標框與預測框的歸一化距離能夠最小化是最重要的，而當預測框被目標框所包圍，預測框與目標框的中心點距離相同，但預測框長寬比會有所不同，因此，使用CIOU_Loss 為損失函數，其表達式為：

式中，Distance_2為目標框中心點與預測框中心點的歐式距離，B為兩者的并集，Distance_C為對角線距離，A為兩者的交集，如圖1所示。

圖1 DIOU_Loss參數說明

1.3.2 NMS非極大值抑制

在目標檢測工作的后期環節，要篩選產生的眾多目標框，一般要通過NMS 操作保留這些邊界框中最好的一個。其功能如圖2、圖3所示。

圖3 經NMS處理后得出最佳預測框

2 對樹枝坐標的跟蹤實現

為獲取樹枝在世界坐標系上的坐標，需其在像素坐標系上的坐標及相機內參。相機內參已用張正友標定法獲得，而像素坐標系上的坐標由相機獲得。因此僅需通過服務通信方式將像素坐標系坐標發送到主程序對應的包內，然后通過矩陣運算計算出世界坐標系坐標即可。實際的機械臂跟蹤效果如圖4所示。

圖4 機械臂跟蹤識別到的樹枝

由圖4可見，機械臂基本上能夠準確跟蹤現實世界中待修剪的樹枝。

3 結果與分析

通過對散落的樹枝進行識別，測試文章所設計的機械臂的運動能力、識別能力和目標抓取能力，如圖5所示。

4 結束語

文章設計了一種基于圖像識別和機械臂抓取的樹枝清理機器人。其采用藍牙遙控四輪車作為移動平臺，利用YOLOv5算法識別車途徑樹枝位置，通過坐標變換控制機械臂抓取目標樹枝。該設備可搭載在剪枝機器人上，起到固定樹枝方便切割的作用，能夠較大地幫助清理電纜周圍的樹枝并提高工作效率，具有一定的可靠性。