YOLO系列算法在光伏組件缺陷檢測(cè)中的應(yīng)用與分析

周全民，杜玉杰，葉征燈，占太晏

（國(guó)家電投集團(tuán)江西電力有限分公司高新清潔能源分公司，江西 南昌 330077）

0 引言

隨著科學(xué)技術(shù)的不斷進(jìn)步，人類自然生活中對(duì)能源的需求越來越大。由于傳統(tǒng)能源的日益枯竭、不可再生和環(huán)境污染的特性，以太陽(yáng)能光伏發(fā)電為代表的新能源日漸引起人們的關(guān)注[1]。太陽(yáng)能光伏發(fā)電具備非常多的優(yōu)勢(shì)，如：不會(huì)枯竭、不受地域的影響與制約、使用壽命延長(zhǎng)、維修簡(jiǎn)單[2]。步入21世紀(jì)后，在我國(guó)可持續(xù)資源戰(zhàn)略的推廣下[3]，太陽(yáng)能光伏發(fā)電技術(shù)日益成熟，對(duì)于服役運(yùn)行中的光伏組件的缺陷巡檢方式，可分為基于熱紅外圖像的傳統(tǒng)人工巡檢和通過無人機(jī)等技術(shù)實(shí)現(xiàn)的自動(dòng)化巡檢。熱紅外圖像上可檢測(cè)判斷的光伏組件缺陷，主要可分為點(diǎn)斑、多斑、條斑和空載四大類別。本文主要引入基于深度學(xué)習(xí)的目標(biāo)檢測(cè)的YOLO系列主流算法，具體為YOLO v2、YOLOv3及YOLOv4對(duì)熱紅外圖像的光伏組件缺陷進(jìn)行檢測(cè)識(shí)別，通過對(duì)比分析，最終選定在光伏組件缺陷檢測(cè)中最優(yōu)的算法模型進(jìn)行AI落地應(yīng)用。

1 YOLO系列算法簡(jiǎn)介

YOLO算法作為一階段深度學(xué)習(xí)目標(biāo)檢測(cè)算法，于2016年由Joseph Redmon等人提出，其核心思想是將物體的位置和物體的類別統(tǒng)一為如公式（1）所表達(dá)的回歸問題[4]。

預(yù)測(cè)過程如圖1所示，是將一張輸入的圖像劃分為S*S的網(wǎng)格，每個(gè)網(wǎng)格負(fù)責(zé)預(yù)測(cè)中心落在其內(nèi)部的檢測(cè)對(duì)象。

圖1 YOLO目標(biāo)檢測(cè)方法

在YOLOv1算法的基礎(chǔ)上，Redom團(tuán)隊(duì)于2017年在CVPR上提出了YOLO9000[5]，習(xí)慣上稱為YOLOv2目標(biāo)檢測(cè)算法模型。在該目標(biāo)檢測(cè)算法模型中，主要提出了一種聯(lián)合訓(xùn)練算法的新型訓(xùn)練方法，該方法在訓(xùn)練模型的時(shí)候可以將檢測(cè)數(shù)據(jù)集與分類數(shù)據(jù)集進(jìn)行融合，檢測(cè)數(shù)據(jù)集主要負(fù)責(zé)學(xué)習(xí)物體的準(zhǔn)確位置，分類數(shù)據(jù)集主要學(xué)習(xí)物體對(duì)象的類別預(yù)測(cè)。在此基礎(chǔ)上，對(duì)YOLOv1做了如圖2所示的大量改進(jìn)。

圖2 YOLO到Y(jié)OLOv2的改進(jìn)

Redmon 和Farhadi持續(xù)對(duì)YOLO系列做了一系列更新，于2008年提出了YOLOv3[6]。在YOLOv3中，作者引入了多尺度預(yù)測(cè)，將9個(gè)聚類中心按照大小分給3個(gè)尺度進(jìn)行box的預(yù)測(cè)，使用3×3和1×1的卷積層實(shí)現(xiàn)了類似于殘差網(wǎng)絡(luò)的Darknet-53基礎(chǔ)分類網(wǎng)絡(luò)。除此之外，對(duì)分類損失采用了二分類交叉損失熵，在邊界框的預(yù)測(cè)上面增加了如公式（2）所示的帶有維度先驗(yàn)和定位預(yù)測(cè)的邊界框。

YOLOv4目標(biāo)檢測(cè)算法是由Alexey等人在2020年提出，相比于YOLOv3而言，在基礎(chǔ)網(wǎng)絡(luò)等算法理論上面并未有過大的創(chuàng)新，而主要是針對(duì)最近兩年目標(biāo)檢測(cè)上面的發(fā)展，作者大量引入了現(xiàn)有技術(shù)，對(duì)模型的訓(xùn)練進(jìn)行嘗試優(yōu)化，比如有WRC、CSP、CmBN、SAT、Mish activation、Mosaic 數(shù)據(jù)增強(qiáng)、DropBlock正則化、CIoU損失以及一些功能來實(shí)現(xiàn)最先進(jìn)的組合結(jié)果[7]。

2 模型的訓(xùn)練

在本實(shí)驗(yàn)中，對(duì)于模型的訓(xùn)練共分為數(shù)據(jù)集制作、網(wǎng)絡(luò)模型微調(diào)、遷移訓(xùn)練。

（1）數(shù)據(jù)集制作。通過無人機(jī)搭載熱紅外鏡頭，根據(jù)劃定航線進(jìn)行初步圖像數(shù)據(jù)的采集。從采集的圖像中人工總共選出了具有光伏組件缺陷的熱紅外圖像3048張，隨機(jī)劃分為訓(xùn)練集（1599張）、驗(yàn)證集（536張）和測(cè)試集（913張）。對(duì)這些圖像統(tǒng)一將熱紅外圖像根據(jù)溫度信息轉(zhuǎn)換為灰度圖像，對(duì)訓(xùn)練集做隨機(jī)翻轉(zhuǎn)、裁剪、縮放的數(shù)據(jù)增廣。

（2）網(wǎng)絡(luò)模型微調(diào)。在本實(shí)驗(yàn)中，根據(jù)熱紅外圖像的光伏組件缺陷（點(diǎn)斑、多斑、條斑和空載）4大類別，將DarkNet YOLOv2、YOLOv3及YOLOv4原有的輸出類別進(jìn)行微調(diào)，由原有的80類別改為4類。事先利用K-Means聚類算法在總數(shù)據(jù)集中尋找?guī)追N較優(yōu)的anchor框尺寸[8]，計(jì)算得出YOLOv2的anchors為“19, 12, 13, 24, 26, 17, 54,28, 123, 28”；YOLOv3、YOLOv4的anchors為“7, 13, 18,11, 12, 22, 22, 14, 16, 27, 33, 18, 40, 40, 102, 23, 148, 42”。

（3）遷移訓(xùn)練。對(duì)YOLO系列的主流算法YOLOv2、YOLOv3、YOLOv4檢測(cè)模型，使用同樣的數(shù)據(jù)集，分別在其對(duì)應(yīng)的原有預(yù)訓(xùn)練模型上面進(jìn)行遷移學(xué)習(xí)、微調(diào)訓(xùn)練。總的訓(xùn)練步數(shù)統(tǒng)一調(diào)整為10000步，初始學(xué)習(xí)率為0.001,分別在7000步、8000步、9000步對(duì)學(xué)習(xí)效率進(jìn)行0.1倍率的更新。

3 驗(yàn)證分析

本實(shí)驗(yàn)的軟件與硬件如表1所示。在本實(shí)驗(yàn)中，數(shù)據(jù)處理方面使用Python3.8作為編程語(yǔ)言，算法模型相關(guān)的編程采用C++11作為編程語(yǔ)言，深度學(xué)習(xí)框架采用DarkNet，使用GPU加速計(jì)算。在對(duì)熱紅外圖像的光伏組件缺陷的檢測(cè)模型遷移訓(xùn)練中，YOLOv2、YOLOv3、YOLOv4在驗(yàn)證集（536張熱紅外光伏組件缺陷圖像）上的具體測(cè)試效果與性能如表2。

表1 實(shí)驗(yàn)配置

表2 測(cè)試結(jié)果

通過表2對(duì)比分析，對(duì)于基于熱紅外圖像的光伏組件缺陷檢測(cè)。在推理速度上，基于YOLOv2模型最快，YOLOv4模型速度上最慢，YOLOv3接近于YOLOv2，遠(yuǎn)高于YOLOv4；在模型預(yù)測(cè)的準(zhǔn)確率上面，無論是平均準(zhǔn)去率還是各缺陷類別的準(zhǔn)確率，YOLOv3高于YOLOv4，YOLOv2最低。綜合對(duì)比分析，在本實(shí)驗(yàn)中最終選用表現(xiàn)優(yōu)異的YOLOv3目標(biāo)檢測(cè)算法模型進(jìn)行對(duì)光伏組件缺陷的檢測(cè)。

對(duì)YOLOv3模型在測(cè)試集（913張熱紅外的光伏組件缺陷圖像）上進(jìn)行最終的測(cè)試與評(píng)估，具體結(jié)果如表3所示。

表3 YOLOv3 測(cè)試驗(yàn)證結(jié)果

通過表3的具體驗(yàn)證分析，在本實(shí)驗(yàn)中最終確定落地應(yīng)用于太陽(yáng)能光伏發(fā)電組件的缺陷檢測(cè)算法模型為YOLOv3算法模型，模型推理預(yù)測(cè)時(shí)的置信度為0.35。在實(shí)際的落地應(yīng)用中，對(duì)基于無人機(jī)采集的熱紅外光伏組件的缺陷檢測(cè)如圖3。

圖3 光伏組件缺陷檢測(cè)

4 結(jié)論

本文針對(duì)新能源領(lǐng)域的太陽(yáng)能光伏發(fā)電組件的缺陷檢測(cè)，提出了基于無人機(jī)搭載熱紅外鏡頭采集光伏組件的熱紅外圖像，并對(duì)其基于溫度參數(shù)轉(zhuǎn)換為灰度圖像，通過YOLO系列主流算法進(jìn)行模型的訓(xùn)練、預(yù)測(cè)與評(píng)估，最終通過實(shí)驗(yàn)對(duì)比與結(jié)果驗(yàn)證，選定基于DarkNet 的YOLOv3為實(shí)際太陽(yáng)能光伏發(fā)電組件的缺陷預(yù)測(cè)進(jìn)行AI的落地應(yīng)用，對(duì)其應(yīng)用模型在推理預(yù)測(cè)時(shí)的置信度為0.35時(shí)最優(yōu)，對(duì)光伏組件日常的點(diǎn)斑、多斑、條斑與空載4大缺陷類別的整體預(yù)測(cè)程度可達(dá)到91.22%。