基于改進YOLO算法的激光清異場景目標檢測方法

吳 軍，程 繩，董曉虎，范 楊，林 磊，方春華，李承熹，徐 鑫

（1.國網湖北省電力有限公司檢修公司，湖北 武漢 430050；2.三峽大學電氣與新能源學院，湖北 宜昌 443002）

0 引言

隨著全社會對用電量需求的迅速增大，保證電力輸送和用電安全也就成了非常重要的問題。但輸電線路跨越森林，當樹木生長高度接近架空導線時，易使導線對線路通道內超過安全距離的樹木放電，造成的閃絡、停電、火災等事故，給線路的安全運行帶來了巨大的災難。除此之外，風箏、廣告布、塑料布等漂浮性異物容易纏在導線和地線上，在雨雪的情況下容易引起單相接地、相間短路等故障，導致線路跳閘或線路損毀，影響供電安全，垂落地面的異物和燒斷損毀的導線還有可能造成人畜傷亡。

目前，一般采用基于激光技術的異物清除裝置［1-4］，通過大功率激光的灼燒來達到清除異物的效果。由于激光樹障清除裝置功率較大，一旦照射到人或者其他公共物品，會帶來極大的危害。因此電力激光作業屬于高風險作業方式，需要做好嚴格的安全應對措施和解決辦法，來防止電力激光清異過程中存在的危險［5-8］。

為了實現智能化、精確化的安全監察控制系統，采用人工智能技術是發展趨勢。飛速發展的卷積神經網絡（Convolutional Neural Network，CNN）技術和圖形處理器（Graphics Processing Unit，GPU）快速發展，憑借圖形處理器能夠高效率地處理深度學習算法（Deep Learning，DL）訓練和測試過程，使得深度學習這一需要大量計算的技術得以高速發展［9-15］，所以深度學習在包括目標檢測以及圖像分類等圖像識別任務上取得了非常大的突破。文獻［16］采用改進的Faster R-CNN算法訓練電力設備檢測模型，然后對圖像數據集進行數據擴充，并調整卷積核大小，從而實現了提高模型檢測精度。文獻［17］使用卷積神經網絡提取圖像目標特征，并將隨機森林算法運用到網絡中，將其作為分類器，實現對電力設施的識別，從而達到安全監控的效果；文獻［18］對Faster R-CNN 進行改進，通過提出的改進策略能夠有效實現輸電設別的檢測，并提出將圖像先切分再檢測的方法來提高小目標檢測準確率。

上述文獻針對人工智能算法優化及應用于電力設備等目標檢測等問題進行了研究，實現了安全監控的效果，但并未考慮激光器戶外使用時移動端性能受限等問題。本文考慮到YOLO算法對設備性能的要求較高，通過改進YOLO算法使之適用于移動端設備，同時搭建實驗環境，擴充并建立激光清異安全控制圖像數據集，進行了模型的訓練，對比進行了移動端檢測準確率及效率實驗，驗證了改進后YOLO算法的優勢。

1 改進的YOLO算法

新一代YOLO 算法，雖然檢測精度和效率大大提升，但同時模型本身的復雜性也大大提升，因此對算力的要求也越來越高，需要具有強大計算能力的服務器才能夠進行有效的識別和檢測，因此在最終的應用上，采用的還是前后端分離的檢測方式。

對于電力激光作業安全監控中，激光器配備的攝像頭本身就沒有聯網，沒辦法在激光器監控裝置前端就實時獲得后端的檢測結果。而作業現場的監控攝像頭雖然可能聯網，但監控圖像從前端傳到服務器的過程中，可能因為網絡等問題帶來的不確定危險因素，從而降低了安全監控的有效性和實時性［19-23］。

所以，若是直接采用上述的目標檢測算法對電力激光作業場景進行安全監控，會增加不必要的風險，無法達到實時安全監控的效果。因此，電力激光作業場景的安全監控應當選擇輕量級目標檢測神經網絡模型在移動端進行實現，目標檢測網絡模型結構圖見圖1。

圖1 目標檢測網絡模型結構Fig.1 Structure of target detection network model

目標檢測模型往往分為四個部分，分別是：輸入（Input）、骨干網絡（Backbone）、特征融合網絡（Neck）、檢測器（Head）。針對電力激光作業安全監控裝置的移動端性質，結合現有的目標檢測研究現狀，以YOLOv4 目標檢測算法為基礎，從骨干網絡（Backbone）、特征融合網絡（Neck）兩個方面進行優化［24-26］。

1.1 改進的骨干網絡（Backbone）

YOLOv4算法采用CSPDarknet-53作為骨干網絡，整個網絡約有6 000萬個參數，極其復雜且需要較高的算力才能運行，所以并不適用于移動端。本文針對移動端的特性對主干網絡進行調整，選擇CSPDarknettiny 改進的特征提取網絡，CSPDarknet-tiny 結構參數見圖2。

圖2 CSPDarknet_tiny 特征提取網絡Fig.2 CSPDarknet_tiny feature extraction network

CSPDarknet-tiny 同樣也是在YOLOv4 中提出的一種精簡版特征提取骨干網絡，在保證了使用CSP 等改進措施的基礎上，少了一些結構，將原來的Mish 激活函數換成了Leaky 激活函數，且在小幅度犧牲精度的前提下，且網絡參數變為原來的十分之一，可以極大地消減特征提取網絡中卷積部分的運算量和參數數量，極大地縮小了模型大小和推理時間，從而縮減整個模型使之可以運行在嵌入式設備中，且保證了在電力激光作業安全監控時具有較高的準確率和良好的實時性。

1.2 改進的特征融合網絡（Neck）

對于原有的CSPDarknet-53特征提取網絡使用了3 個特征層進行分類與回歸預測，預測的尺度有3 個尺度，且采用多層卷積融合提取特征，但同樣也會增加檢測時間和加大性能需求，不能滿足移動端的要求，所以本文從以下3 個方面對特征融合網絡進行改進。

1）本文采用CSPDarknet-tiny作為主干網絡，為了滿足小目標的檢測精確度的要求，并提高移動端實時性，本文的特征融合網絡（neck）僅使用了兩個特征層進行分類和回歸，同時在特征融合網絡中采用Laeky激活函數，能夠在對模型的實時性和縮小模型的大小影響不大的前提下提高推理精度。

2）本文在CSPDarknet-tiny 主干網絡后添加了SPP 網絡，并減小了卷積次數，其產生固定大小的輸出，得到同樣長度的池化特征，從而顯著地改善感受野的大小，加快網絡收斂速度，降低了過擬合（overfitting），且速度幾乎未降低。

3）本文結合YOLOv4 中的多尺度特征融合方法，針對移動端的特性，將原YOLOv4 的PANet 中的思想運用到CSPDarknet-tiny 之后的特征融合網絡，對FPN進行了改進，得到簡化版的PANet。由于CSPDarknettiny 屬于淺層特征提取骨干網絡，且僅使用了兩個特征層進行分類和回歸，所以在進行PANet特征融合時，并不需要多層卷積，可以將原來的5層卷積融合，改成1 層卷積融合，從而在融合所有層的信息基礎上降低計算量，提高實時性。

改進的YOLOv4網絡結構見圖3。

圖3 基于CSPDarcknet-tiny的改進YOLOv4網絡結構Fig.3 Improved YOLOv4 network structure based on CSPDarcknet-tiny

2 特征分析

激光器照射區域安全隱患可以歸結為非法誤入照射區域和照射損害其他電氣設備兩個方面。

在非法誤入方面，如圖4（a）、圖4（b）所示，一些人員或者車輛可能未注意周圍高壓危險警示標志，突然闖入到激光器的照射區域中，導致激光器照射到人或者車輛上，發生意外。因此，需要快速識別闖入激光照射區域的危險物體［27-31］。

在照射損害其他電氣設備方面，如圖4（c）所示，可能由于作業人員的失誤，導致激光器發射的激光偏移到非清異區域的其他電氣設備上，如復合絕緣子，而輸電線路除異的激光設備往往功率都很大，發射的激光能量很高，可能導致電氣設備的損壞，所以需要標注好目標圖像中存在的絕緣子位置，從而提醒作業人員。

圖4 電力激光清異區域危險目標示意圖Fig.4 Schematic diagram of dangerous targets in power laser cleaning area

對于激光器照射區域檢測對象列于表1。

表1 輸電線路激光照射區域檢測目標和任務Table 1 Detection targets and tasks of laser irradiation area of transmission line

3 數據集和環境的構建

對于非法誤入方面，主要的檢測對象為人和汽車；對于照射損害其他電氣設備方面，應提前檢測到可能被激光照射產生危害的電氣設備，如復合絕緣子，迅速識別照射區域周圍的危險電氣設備，一旦照射范圍檢測到安全隱患，就應當發出警報，打開激光器安全鎖，不允許啟動。

深度學習模型算法通過大量數據集訓練發揮其優越的性能。在圖像分類、目標檢測與識別等方面，一些機構和公司無償發布制作的數據集（含訓練集和測試集），對比列于表2。

表2 公開實驗數據集Table 2 Public experimental data set

對于以上公開的數據集，主要采用PASCAL VOC數據集（下面簡稱“VOC”）數據集，其包含為20 個類別：人類，交通工具（飛機、自行車、船、公共汽車、汽車、摩托車、火車），動物（鳥、貓、牛、狗、馬、羊），其他目標（瓶子、椅子、餐桌、盆栽植物、沙發、電視）。VOC數據集文件中主要包含3 個文件，JPEGImages 文件夾中包含了VOC所提供的所有圖片信息。Annotations文件夾中存放的是xml 格式的標簽文件，也就是圖像中包含目標的位置信息，每一個xml 文件都對應于JPEGImages 文件夾中的一張圖片。ImageSets 存放的是每一種類型任務對應的圖像數據。

3.1 實拍實驗數據集

本文需要建立電力場景下的目標檢測數據集，數據集來源于收集到的大量電力場景中拍攝到的圖像，且針對相應的檢測目標在互聯網上收集到了一些電力設備實拍圖像數據。這些電氣場景圖像都是來源于實際的生產作業現場，所以具有很強的應用價值。

對于絕緣子檢測的數據集，本文收集到了約600張圖像，由于模型的訓練需要大量的數據來實現目標定位和分類，所以以上數量圖像遠遠不足以滿足需求，為了解決激光清異作業場景的多樣性問題和應對樣本集和實際檢測圖像之間的差距，本文提出了采用數據擴充的方法。

首先將現有圖像中的絕緣子剪裁下來后，添加不同的復雜場景且沒有絕緣子的圖像，然后將剪裁下來的絕緣子再隨機組合粘貼在沒有絕緣子圖像的隨機位置，通過現有的數據增強方法一共擴充到2 000張含絕緣子的圖像。并通過LabelImg工具對未標注的圖像數據進行標注，標注為“insulator”，以生成PASCAL VOC格式存儲。電力場景實拍絕緣子數據集及圖像增強擴充方法示意圖見圖5-圖6。

圖5 電力場景實拍絕緣子數據集Fig.5 Insulator data set of power scene

圖6 圖像增強擴充方法示意圖Fig.6 Schematic diagram of image enhancement and expansion method

3.2 數據增強

在實際收集到的電力場景圖像中，僅為在有限場景下的圖像樣本，為了應對多樣化的實際監控拍攝情況，本文提出了采用數據增強的方法。數據增強又稱為數據擴增，其作用是在不實質性增加樣本的情況下，讓有限的樣本產生等價于更多樣本訓練的效果，從而提升檢測模型泛化能力和魯棒性。

3.2.1 訓練數據增強

1）圖像翻轉、旋轉、裁剪、位移、扭曲、遮擋

通過imgaug 庫來對圖像進行翻轉、旋轉、位移、裁剪、遮擋，將圖像特征相對位置重新排列，并通過圖像扭曲來改變目標圖形的形狀，這些經過處理后的圖片放入神經網絡進行訓練時，可以有效防止模型訓練出現過擬合現象并提高模型的魯棒性，綜合圖像處理見圖7。

2）圖像色彩增強

在訓練神經網絡模型時，隨機調整圖像亮度、飽和度、對比度和色相屬性，能夠減小檢測模型受到圖像色彩因素的干擾。且圖像色彩調整一定程度上模擬天氣和光照等環境因素對圖像色彩的影響，提高模型的魯棒性，綜合圖像處理見圖7。

圖7 綜合圖像處理示意圖Fig.7 Schematic diagram of integrated image processing

3）Mosaic數據增強

由于訓練數據數量較少，訓練出來的模型的多樣性和魯棒性無法保證，所以采用了YOLOv4 中的Mosaic 數據增強方法，將四張訓練圖片合并為一張訓練圖像。由于每個輸入訓練模型的訓練圖像是由4張圖像組合而成，每個圖像之間互相有遮擋，且增加了背景的多樣性，從而提高訓練樣本的多樣性和模型的魯棒性，也可以在一定程度上減少對大Batch Size 的需求。

3.2.2 檢測數據增強

1）圖像銳化處理

針對電力激光清異作業監控圖像顯示模糊、目標太小、重疊分布等問題，本文采用二階拉普拉斯算子來進行高電壓區域監控圖像的銳化處理，使圖像色彩邊界變得更鮮明突出，從而更好地提取目標特征。二元函數f（x，y）的拉普拉斯變換定義為公式（1）。

鄰域矩陣的模板形式見圖8（a）。

圖8 銳化濾波器Fig.8 Sharpening filter

為進一步加強檢測目標的特征，本文在拉普拉斯算子鄰域矩陣模板的基礎上，在中心位置加一，使銳化濾波后的圖像與原始圖像具有相同的亮度。

擴大后的拉普拉斯算子鄰域矩陣模板見圖8（b），對卷積操作后的圖像各通道值除以8，最后得到銳化前后對比見圖9。

圖9 監控圖像銳化前后對比Fig.9 Comparison of monitoring image before and after sharpening

2）圖像色彩校正

電力激光清異作業場景下，監控設備采集的圖像色彩因其所處戶外環境復雜，光照、反射等受天氣影響而容易產生變化。利用圖像色彩校正來提高拍攝的穩定性，從而提高識別精度。

本文根據實際需要，采用了一種獨特的顏色校正算法，提高圖像顏色穩定性。首先根據圖像色彩的偏移主要原因是亮度因素，計算出圖像平均亮度，即利用均方差公式計算圖像中所有R、G、B 通道分量的均方差，如式（4）、式（5）所示。

根據計算得到的圖像平均亮度值，利用PIL.Image Enhance 函數對圖像整體亮度、對比度和色度值進行調整。當亮度值偏低或偏高時，將亮度、色度和飽和度參數值相應提高或降低。當亮度值在合理范圍內時，利用Gamma校正算法對圖像做輕微校正，Gamma校正算法是基于人類感知光和顏色的非線性方式，使圖像的顏色特征更加符合實際情況，減弱光照對圖像顏色信息的干擾。通過本文所提出的顏色校正，對于色彩偏移的圖像均有較好的校正作用。圖像色彩校正前后對比圖見圖10。

圖10 圖像色彩校正前后對比Fig.10 Comparison before and after image color correction

3.3 LSCD數據集的構建和標注

為了保證檢測模型的針對性和有效性，改善訓練效果，本文建立多標記的“激光清異安全控制圖像數據集（Laser Safety Control Dataset，LSCD 數據集）”，具體見表3。數據來源由幾個部分組成，一部分數據集來源于公開實驗數據集；一部分數據集來源于實驗室采集到的圖像數據集。

表3 LSCD數據集構建Table 3 LSCD dataset construction

通過采用LabelImg 工具對圖像中的目標進行標注，在圖像上圈住目標位置，然后標注類別信息，接著按照同樣的步驟對圖像中的所有目標進行標注，并以生成PASCAL VOC 格式的XML 標簽文件保存到指定路徑的文件夾中，LabelImg工具標注圖像見圖11。

圖11 LabelImg工具標注圖像Fig.11 Labelimg tool annotation image

由于收集到的有效圖像數據較少，利用收集到的圖像數據集進行數據增強和擴充，從而彌補數據不足的問題。

針對激光照射區域下的檢測任務，主要的檢測對象包括人員、汽車、絕緣子。由于實拍電力場景實驗數據集中存在入侵人員車輛的圖像較少，選擇VOC數據集來補充人和車這兩個類別的數據集圖像。且針對可能被激光損害的電氣設備，構建絕緣子圖像數據集，經過數據增強和擴充后得到足量的數據滿足訓練模型的要求。

3.4 實驗環境的搭建

1）實驗的硬件環境為：采用的第七代CPU 處理器，16G 內存，NVIDIA 公司的GTX2080ti 系列GPU 卡，顯存為12G。

2）實驗的軟件環境為：操作系統為Windows10，編程軟件為PyCharm，編程環境為Python、opencv、LabelImg、CUDA9.2。運用Tensorflow 和Keras 深度學習框架。

4 目標檢測

4.1 實驗數據準備

通過準備好的激光清異安全控制圖像數據集（LSCD），通過上文提到的數據增強的方法將這些數據進行數據增強和數據擴充，增加數據的多樣性，具體訓練圖像數據見表4。

表4 圖像數據集數量Table 4 Number of image data sets

按照9∶1的比例將其劃分為訓練集和測試集。在進行模型訓練之前，需要確定預選框的個數及大小，采用合適的預選框參數可以有效地提高模型準確率和訓練速度。本文采用k-means算法對標記好的激光清異安全控制圖像數據集（LSCD）相應數據進行聚類分析，由于只有兩個預測尺度，所以僅得到了6 組預選邊界框參數，并使用這些參數進行下述模型訓練，預選框參數表見表5。

表5 預選框參數Table 5 Pre selection box parameters

4.2 模型的訓練

參考YOLOv4官方推薦權重參數及具體實驗中進行適當調整后，采用模型訓練參數如下：

初始學習速率設置為0.001，通過余弦退火衰減（Cosine annealing scheduler）來實現學習率的衰減，標簽平滑取值為0.01，置信度閾值取0.5，NMS 閾值取0.5，batch-size 為16。為了防止訓練發生過擬合，本文采用了Early Stopping 來防止網絡發生過擬合，原理為將數據分為訓練集和驗證集，驗證集的比例為0.1，記錄每個epoch的驗證集的loss，果然，隨著epoch的增加在驗證集上發現測試誤差上升，則停止訓練。

首先進行凍結訓練，即“凍結”該層，指的是該層不參加網絡訓練，即該層的參數不會更新。凍結訓練可以加快訓練速度，也可以在訓練初期防止權值被破壞。將特征提取主干網絡凍結，即網絡的前60 層，25 個epoch 的凍結訓練，同時按照學習率為0.001 來執行學習率的余弦退火衰減對模型進行微調操作，再進行解凍后訓練，對所有層解除凍結，使模型參數可以根據訓練更新，再進行25個epoch的訓練，同時按照學習率為0.000 1來執行學習率的余弦退火衰減。

使用上述訓練流程，共訓練50 個epoch，loss 和val_loss變化示意圖如圖12。隨著網絡訓練的進行，網絡的損失值隨著訓練的進行而繼續緩慢下降，最終達到收斂狀態。在解除凍結后的訓練次數中，每個epoch輸出一個模型，一共得到25個模型，如圖13所示，通過比較這25個模型的平均精度均值（mAP），選出一個最優模型，可以看出在第47個epoch時，mAP達到最大值為73.65%，因此可以選出最優模型。激光照射范圍目標檢測模型訓練的Loss 值和mAP 變化示意圖見圖12和圖13。

圖13 激光照射范圍目標檢測模型訓練的mAP變化示意圖Fig.13 mAP change of target detection model training in laser irradiation range

4.3 實驗檢測結果與性能對比

4.3.1 特征提取過程可視化分析

對訓練好的檢測模型的卷積層提取特征效果進行可視化分析，得到特征提取網絡的每個殘差層輸出的可視特征圖以及經過特征金字塔SPP生成的可視化特征圖，具體見圖14。

圖14 特征提取網絡以及特征金字塔生成的特征圖層Fig.14 Feature layer generated by feature extraction network and feature pyramid

如圖14所示，在前兩個卷積層提取特征后所得到的特征圖顯示最為清晰，非常順利地提取了圖像特征，CSPDarcknet-tiny 網絡從第3 個ResBlock 開始出現提取特征流失，開始對小目標特征提取不夠精確，且一定量地丟失了圖像信息。圖14（e）表示經過特征金字塔SPP 融合了多范圍的特征，可以看到加入特征金字塔后，融合提取將低分辨率、高語義信息的高層特征和高分辨率、低語義信息的低層特征進行自上而下的側邊連接，使得所有尺度下的特征都有豐富的語義信息，越到高層區分前景能力越強，SPP 在一定程度上挽回丟失的信息。

4.3.2 模型測試結果

為了驗證模型的效果、準確情況、穩定性以及樣本對其的影響，從測試集中每次隨機抽取200 張圖片進行測試，得到檢測模型的AP圖見圖15。

圖15 特征提取網絡以及特征金字塔生成的特征圖Fig.15 Feature map generated by feature extraction network and feature pyramid

當NMS 閾值取值為0.5 時，測試結果見表6，可以看出，在檢測輸電線路激光清異照射區域中可能存在的危險物體上，該模型表現較好，準確率達到并穩定在73.65%左右，且該模型平均識別一張圖片所用的時間為217 ms，且模型大小僅為29.5 MB，能順利移植到移動設備中。

表6 模型測試結果Table 6 Model test results

4.3.3 性能對比

為測評該模型在移動端上的性能，關閉GPU，僅在CPU 上運行，本文對比了目前比較流行的目標檢測模型：Faster R-CNN 和SSD，且將改進前的原YOLOv4 也作為比較組。運用相同的策略和數據集訓練模型，并從測試集中隨機抽取200張圖片進行測試，mAP、每識別一張圖片所用的平均時間和模型大小作為檢測效果的評價指標，結果見表7。

由實驗結果表7 可得在準確率方面，本文提出的適用于移動端的激光清異照射范圍目標檢測方法的mAP達到了76.08%，相比于SSD算法在準確率上有明顯提升。雖然改進算法準確率低于原YOLOv4算法和Faster R-CNN算法，但是檢測速度大大提升，且模型大小很小，更適用于嵌入式設備。前兩者的算法無論是在檢測速度還是模型大小上，都無法使用與嵌入設備。因此，改進的YOLO 模型可以順利地應用到激光清異照射區域目標檢測任務上，且可以較好地完成照射區域危險物體的檢測任務，同時能夠順利地嵌入移動端，對啟動警報器策略起到重要支撐作用。

表7 同步算法性能對比Table 7 Performance comparison of synchronization algorithms

5 結語

1）對YOLO 算法進行改進，選擇了CSPDarcknettiny 作為特征提取主干網絡，并將SPP、PANet 等改進措施針對移動端的特性進行改進，使檢測模型更適用于移動端檢測環境。

2）在激光照射區域目標檢測場景下，通過LSCD數據集訓練，改進的YOLO算法檢測準確度為73.65%，滿足檢測精度要求。

3）較Faster R-CNN 等算法相比，改進的YOLO 算法具有更快的檢測速度，每張圖片識別平均所需時間為217 ms，在保證精度的前提下，極大地縮小了模型大小，僅為29.5 MB，更適用于移動端安全監控系統。