基于改進YOLO與HSV變換的高壓線纜識別定位方法

李東賓，翟登輝，劉睿丹，張亞浩，李昭陽

（許繼電氣股份有限公司，河南 許昌 461000）

0 引 言

近年來，隨著國家智能電網建設的穩步推進和對供電穩定性的要求提高，傳統配電網維護手段因存在工作強度大、安全風險高以及作業效率低等缺點越來越難以滿足實際需求。為遵循配網檢修作業“能帶不停”的原則，各地供電企業單位正在不斷加強配網不停電作業能力建設，不停電作業已成為設備檢修維護的重要手段。

帶電作業機器人系統依托機械臂控制技術、人工智能算法、視覺傳感器等已成為一種較常見的電力維護運維手段，成為替換人工作業的一種重要作業方式。目前，國外以日本、美國為代表的發達國家已經開發出了較為成熟的產品，并進行了實驗和應用[1,2]。國內山東魯能、億嘉和等公司同樣提出了自己的帶電作業機器人系統，并進行了初步驗證，國網天津電力公司劉召等通過對特征提取骨干網絡進行改進，引入跳轉連接并調整激活層、卷積層的順序等，提出了基于改進的Faster R-CNN線纜目標檢測方法[3]。廣東電電力科學研究院謝龍光等人針對傳統帶電作業機器人路徑跟蹤方法穩定性差和路徑跟蹤效率低的問題提出了基于糊算法的路徑跟蹤方法，能夠在短時間內實現高穩定性的跟蹤[4]。云南電力科學研究院蔡曉斌等人在架空線路帶電作業機器人的基礎上提出了一種基于支持向量機的防震錘和螺栓識別方法[5]。由此可以看出，發展半自主、全自主的帶電作業機器人已逐漸成為電力場景檢修和維護的必然趨勢。然而帶電作業機器人在實際應用中還存在各種各樣的問題，有待進一步研究。

高壓線纜目標識別技術作為帶電作業機器人工作流程中的重要步驟，其識別在不同背景下仍存在定位不準確的問題。本文在此基礎上提出一種基于目標檢測和HSV顏色空間變換的智能高壓線纜識別定位方法，利用優化后的YOLO目標檢測技術和色彩追蹤技術，結合深度相機，實現對高壓線纜三維坐標的提取，進而為機械臂動作提供目標空間信息。

1 YOLO v4目標檢測算法

1.1 YOLO系列算法

YOLO系列算法作為目標檢測領域的典型代表，從REDMON J等人在2016年首次提出就獲得了廣泛關注，其將特征圖分為S×S個單元格，每個單元格負責預測中心點落在該單元格內的目標，并且首次將候選框提取和目標預測合并為一步，將目標檢測任務作為回歸任務來解決，加快了目標檢測的速度[6]。2018年，REDMON J等人再次提出了YOLO v3算法，該算法采用Darknet53作為主干特征提取網絡，借鑒復用了ResNet結構，加強了網絡特征學習能力，在增加網絡深度的同時減小了梯度消失的影響[7]。

YOLO系列算法由Input、Backbone、Neck以及Head共4個部分組成。其中，Input代表輸入；Backbone代表特征提取骨干網絡，通常可由分類數據集預訓練得到；Head代表檢測輸出頭，輸出信息為預測得到的目標類別、置信度和坐標信息；Neck通常介于Backbone和Head之間，主要作用為融合不同尺度的Backbone特征圖信息，通常有多個上采樣層和下采樣層組成。如圖1所示，Res-block是組成Darknet53的重要組成部分，由一個下采樣模塊（Con-down）與若干個殘差單元（Res-unit）組成。其中Con-down模塊由stride=2，卷積核為3*3，激活函數為leaky的卷積組成。Res-unit由卷積核1*1、3*3，stride均為1的兩個卷積組成。

圖1 Darknet53結構示意圖

1.2 YOLO v4網絡結構

2020年，Bochkovskiy A等人提出了YOLO v4，相比YOLO v3，其主要在Backbone網絡、Neck網絡以及訓練策略等方面進行了優化[8]。在Backbone上由Darknet53提升為CSPDarknet53，引入了跨階段部分網絡（Cross Stage Partial Network，CSPNet），其可以減小網絡訓練中的重復梯度信息，有效提升了卷積神經網絡提取特征時的效率[9]。Neck網絡由SP和路徑聚合網絡（Path Aggregation Network，PAN）構成[10,11]。SPP由多個不同尺度的最大池化層進行采樣，且輸出特征圖尺度相同，然后對多個池化層進行特征融合。PAN在FPN基礎上添加一條自底向上的路徑，從而縮短了較低層與最高特征之間的信息路徑。Darknet53和CSPDarknet53網絡連接示意如圖2所示。

圖2 Darknet53和CSPdarknet53骨干網絡對比圖

圖2（a）為Darknet53結構示意圖，每個下采樣階段由n個Res-unit構成，每次Con-dowd下采樣后，特征圖尺度縮小1倍。圖2（b）為CSPDarknet53結構圖，其增加了一個梯度傳播通道，由兩個數據分支組成，左側分支由一個下采樣模塊和n個Res-unit組成，和Darknet53不同的是在最后面加了一個1*1卷積層。右側分支CSP結構在下采樣后僅通過一個1*1卷積操作和左側分支進行Concate連接。

1.3 YOLO v4網絡改進

YOLO v4的設計是面向大規模數據及多類別識別目標，如COCO數據集，擁有80類目標，然而在帶電作業環境中，需要識別的目標數量較少且對速度要求較高，因此本文對骨干特征提取網絡進行精簡，并改進SPP網絡[12]。改進后的網絡仍使用YOLO v4檢測頭進行目標類別、置信度以及坐標框回歸。

1.3.1 骨干網絡簡化

CSPDarknet53網絡共擁有5個Con-down模塊和5個CSPNet結構，CSPNet結構內分別擁有1、2、8、8、4個殘差單元Res-unit。本文將CSPNet結構內殘差單元個數簡化為1、2、4、4、2個殘差單元，并利用通道數量減半來進一步縮小模型尺寸。

1.3.2 SPP網絡改進

本文在SPP網絡的基礎上添加Shortcut層，形成一個類似CSP單元的結構，即CSP-SPP模塊，如圖3所示。

圖3 CSP-SPP結構圖

圖3（a）為YOLO v4的SPP結構，利用不同尺度卷積核進行最大池化操作，然后在通道上進行Concate連接。圖3（b）為改進后的SPP結構，其引入了類似CSPNet結構，最后在網絡通道上進行Concate連接，即CSP-SPP模塊。

2 線纜識別定位方法

2.1 HSV變換原理

彩色模型是在某些標準下，用通常可以接受的方式對彩色加以說明。本質上，彩色模型是坐標系統和子空間的說明，其中位于系統中的每種顏色都由單個點來表示[13]。RGB彩色模型基于笛卡爾坐標系，每種顏色出現在紅、綠、藍的原色光譜分量中，所考慮的彩色子空間如圖4（a）所示。HSV彩色模型用H、S、V三參數描述顏色特性，其中H定義顏色的波長（色調）；S表示顏色的深淺程度（飽和度），V表示明亮度，如圖4（b）所示。

圖4 彩色模型圖

相比于RGB模型，HSV模型可以更好地反映人眼對色彩的感知。由RGB模型轉換到HSV模型的計算公式為：

式中，R、G、B分別表示RGB空間中各通道像素值；H、S、V表示HSV空間顏色色調、飽和度、明亮度；Tmax、Tmin分別為R、G、B中的最大值和最小值。

2.2 顏色追蹤原理

由于在RGB色彩空間中顏色有2563種可能，因此追蹤特定色彩目標比較困難，但在HSV色彩空間中顏色僅跟H分量有關，更容易表示一個特定顏色，因此也更容易進行特定顏色跟蹤。如表1所示是通用的不同顏色對應的H、S、V三分量范圍。

表1 HSV顏色分量范圍

由表1可以看出，通過設置H、S、V各通道閾值，即可實現特定顏色的區分和追蹤。但值得注意的是，表中僅為一個模糊的閾值，在運用HSV顏色追蹤算法時可通過統計待識別目標顏色H、S、V空間分量，自設閾值以達到更好的效果。

2.3 空間三維坐標計算顏色追蹤原理

利用深度相機獲得深度圖圖像和RGB圖像后，要想獲得彩色圖像中某一像素點的空間三維坐標，首先必須以RGB圖像為基準進行對齊，然后計算相應坐標信息，計算公式為：

式中，depth_image為對齊后的深度圖；zz為深度圖像上像素坐標點為(yy,xx)對應的深度信息；ppx、ppy為相機標定后的圖像坐標系原點；fx、fy為標定后相機焦距。

2.4 線纜識別定位流程

由于表1中的HSV閾值為通用閾值，并不能準確地追蹤不同情況的線纜目標，因此本文首先根據不同光照和角度線纜成像特點，統計1 300余個線纜目標像素點HSV值，求得H、S、V變量分布如圖5所示。

圖5 線纜HSV變量分布示意圖

由圖5可以看出，線纜目標V值主要位于80以下，H值和V值分布較廣。本文選取0≤H≤180、0≤S≤255、0≤V≤80作為線纜目標閾值。

線纜識別定位整體流程定義如下，首先將從深度相機處獲得的RGB圖像和深度圖像以RGB圖像為基準進行對齊，然后通過改進后的YOLO v4算法在RGB圖像中識別定位出線纜矩形框區域，并將該矩形區域作為感興趣區域（Region of Interest，ROI）。在ROI區域內利用HSV色彩空間顏色追蹤算法，求取包圍線纜目標的最小外接矩形，并在該最小包外接矩形較長邊上進行n等分，最后利用式（5）求出n等分點上的三維坐標，即線纜上n個點的三維坐標。具體識別流程如圖6所示。

圖6 線纜識別定位流程

3 實驗與分析

為了驗證本文提出基于改進的YOLO與HSV變換高壓線纜識別定位方法的有效性，使用Intel Realsense d435i深度相機采集了不同場景、不同光照條件下的線纜圖像，并利用LabelImg對目標進行了標注，其中訓練圖像3 000張，測試圖像300張。

3.1 模型訓練和分析

實驗采用的平臺為Ubuntu16.04、Cuda10.0和NVIDIA GTX2080Ti顯卡，使用Darknet框架進行訓練和測試。

為了驗證改進后網絡的性能，利用標注后的訓練集和測試集分別對只簡化骨干網絡后的模型、簡化骨干網絡+CSP-SPP和通道減半前后的模型進行訓練與測試。訓練總迭代次數均為10 000次，初始學習率為0.001，在8 000和9 000迭代次數時調整0.1倍。

選擇常用的平均準確率（Average Precision，AP）作為評價指標，其值為準確率P和召回率R圍成的面積，即P-R曲線圍成的面積，具體公式為：

式中，TP代表真正例，即正確識別為正例的個數；FP代表假正例，即錯誤識別為正例的個數；FN代表假負例，即錯誤識別為負例的個數。

統計不同模型的識別結果如表2所示，表中通道不變指該模型通道數和標準yolov4.cfg中通道數相同，通道減半指該模型通道數為標準yolov4.cfg中通道數的0.5倍。

表2 檢測模型測試結果

由表2可以看出，相同通道情況下，優化后的CSP-SPP模型在AP值優于SPP模型。通道減半的模型在各項評價指標上優于通道不變模型，并且推理時間縮短3倍左右。對比表中4個模型可以發現，通道減半的CSP-SPP模型在所有指標中均獲得最佳識別結果且推理時間較短，僅為6.6 ms。綜上，經過YOLO v4骨干模型簡化及SPP改進后的模型可以達到精度和速度的最佳平衡。

利用通道減半的CSP-SPP模型檢測線纜目標效果如圖7所示，可以看出優化后的模型能夠較好的識別不同情況下的線纜目標。

圖7 改進后YOLO檢測效果

3.2 線纜定位分析

利用深度相機采集RGB圖像和深度圖像，并基于RGB為基準進行對齊，對齊后效果如圖8所示。

圖8 以RGB為基準對齊的效果

利用優化后的訓練模型對RGB圖像進行識別，并在圖中框出目標區域，如圖9（a）所示，結合自定義的線纜HSV閾值及色彩追蹤算法求得最小包圍輪廓如圖9（b）所示。

圖9 線纜目標檢測效果

實驗最后對線纜進行了8等分，并利用空間三維坐標求得7個等分點的三維坐標，如圖10所示。

圖10 線纜等8等分效果圖效果圖

所求的線纜中7個等分點的三維坐標信息如表3所示。

表3 線纜8等分點三維坐標

利用線纜上7個等分點坐標的三維信息，可以在帶電作業操作中任選一點作為帶電作業機器人抓取點，實驗證明機械臂可以根據指定線纜點坐標準確運動到該位置，實驗效果如圖11所示。

圖11 機械臂抓取線纜點效果圖

4 結 論

針對帶電作業機器人在實際作業中對高壓線纜目標識別定位的需求，本文利用優化改進后的YOLO v4目標檢測算法和HSV色彩追蹤算法，結合相機深度信息，對線纜進行了n等分，并求得等分點的三維坐標，為機械臂后續動作提供三維坐標信息。實驗結果表明，基于通道減半和CSP-SPP改進后的網絡在各項評價指標中均獲得最優，可以達到精度和速度的最佳平衡，能夠為帶電作業機器人提供較好的視覺支撐。