基于YOLOv5算法的光伏表面故障智能化識別＊

叢龍森，孫康寧，何志飛，劉廣臣

(1.魯東大學數學與統計科學學院，山東 煙臺 264025；2.魯東大學物理與光電工程學院)

0 引言

太陽能作為可再生能源，已經成為了供人類使用的主要能源之一。光伏發電是將太陽能轉化為電能的有效形式。我國現有太陽能光伏薄膜發電系統裝機量占全世界總裝機量約26.3%，裝機建設規模居世界第一。我國光伏設施多建在地勢復雜的山區，檢修壓力十分突出，對于已裝光伏發電板的維護與故障檢測，有著很大的智能運維技術需求。

因此我國在智能識別光伏板臟污、異物、裂痕領域有待于深入探索。YOLO系列算法是指一個完全基于深度學習的one-stage 回歸類方法，其中YOLOv5算法在采用原來YOLOv4 算法的基礎上又進一步融進了其他的算法特性與開發思路，使其在運算速度與精度上有了很大程度的提升。YOLO系列算法在生活領域的應用十分廣泛，國內科研中，閔燚，羅釗[1]、夏利民，鄧克捷[2]首先提出了基于融合特征視頻的關鍵幀提取,并結合了HSV,HOG 等系統理論,并獲得了重要的研究成果。王雪[3]提出了關于光伏故障的診斷方法。羅旭鴻，劉永春，楚國銘[4]等人提出了基于改進YOLOv5 無人機圖像目標檢測算法，減少了無人機圖像目標檢測算法中的漏檢與誤檢。

本文針對YOLO系列算法對小目標檢測精度低的問題，利用EIoU Loss 函數改進了傳統YOLOv5 算法的損失函數，同時增加了一組小目標檢測層并優化YOLOv5 網絡結構Head 部分，獲得有更大面積的語義信息和精確的位置信息的特征圖像，從而提高檢測性能。

本文的研究工作從實際出發，建立精準度較高的光伏表面故障智能化識別模型，對于光伏發電系統的維護提供了一定的技術輔助支持。

1 光伏常見故障及數據預處理

在復雜地形情況下，光伏板會遇到不同的故障問題。通過視頻監控對光伏板定期進行視頻的采集和記錄，并對原始圖像進行處理之后，對數據進行預處理。

1.1 光伏板常見故障

對光伏板上的常見故障進行分類，可分為臟污、異物、裂痕。在地勢復雜的山區，因為狂風積雪的天氣因素，或者偶然的人為因素，光伏板表面容易產生臟污與異物如圖1、圖2所示。因為設備因素，原料因素，天氣因素，工藝參數因素，易產生光伏板表面裂痕，如圖3所示。

圖1 光伏板臟污

圖2 光伏板異物

圖3 光伏板裂痕

1.2 數據預處理

本文使用監控視頻對某光伏發電廠的故障光伏板進行視頻采集，獲取約30分鐘視頻。對于采集到的原始視頻利用幀間差分法提取視頻關鍵幀并進行篩選分類，分為臟污、異物、裂痕類型，并對圖像集利用標記軟件標注出故障具體位置與類別。把Labelimg軟件中標簽故障圖像集數據由xml格式文件直接輸出轉化為利用YOLOv5 算法自動生成并可被直接用于讀取數據源的txt格式文本數據后，將標簽故障圖像集內容再重新按照比例按照7：2：1 比例劃分為訓練集、驗證集和測試集。

2 YOLOv5算法原理及改進

YOLOv5 是一種單階段目標檢測算法，可以實現快速檢測和高精度。YOLOv5模型主要是被拆分為了下面這四個子部分：骨干網絡(Backbone)、頸部(Neck)、頭部(Head)和輸入端(input)。YOLO 將對回歸目標區域的分布特征和對回歸區域目標類別的分布特點的預測的模型數據，集成輸入到了另一個功能相對更單一的神經網絡模型中，并通過直接輸入以整數張的圖片數據來作為在網絡輸出中的數據輸入，在網絡的輸出數據層可以直接地輸出被回歸到的目標區域上的所有目標類別數據信息和目標位置信息。輸入端具有自適應圖像縮放和自適應錨框計算操作功能。此外，我們還采用Mosaic 數據增強方法，通過對初始數據進行隨機排列、隨機縮放拼接和隨機裁剪來豐富數據集，極大地提高了數據訓練的精度和魯棒性。YOLOv5 的骨干網仍然是CSPDarkNet。但在骨干網絡Backbone 結構的基礎上，又被相應地增加了到了focus結構，它基本上是直接采用了切片式的操作的方式把原先幾個相對高分辨率的特征圖進行拆分合并而成產生了更多個甚至更為低的分辨率的特征圖，減少掉了下一個采樣所能造成的信息質量的損失，解決掉了目標識別的能力的相對較弱的網絡瓶頸問題，YOLOv5的網絡架構組成可如圖4所示。

圖4 YOLOv5s網絡架構

輸入端：在模型訓練的階段，提出來了的一些模型改進和思路，主要是包括如何利用翻轉、旋轉、裁剪、降噪等各種方法多方位的進行數據的增強、自適應錨框的計算、自適應的圖片的縮放。

骨干網絡[7]：融合了其他檢測算法設計中使用的一些新技術想法，主要內容包括：Focus結構與CSP結構。

Neck網絡：目標檢測網絡在Backbone層與最后的Head 輸出層之間往往同時也插入了其他的一些層，在YOLOv5中增加了FPN+PAN結構。

Head 輸出層：該層中的預測錨框機制與YOLOv4大致相同，主要改進了訓練時的損失函數GIOU_Loss，以及對預測錨框篩選時用到的函數DIOU_nms做出一些相應的改進，極大地提高了算法的檢測精度。

2.1 數據預處理階段提取關鍵幀的優化原理

幀間差分法，是一個利用對運動視頻圖象中連續兩幀或三幀圖像作差分，通過計算得到檢測目標的方法。但在監控下，出現了異常的目標運動，在連續的幀數像素之間會有比較明顯的差別，兩幀相減，通過相對位置像素點差的絕對值，判別移動是否超過了閾值點，從而可以研究視頻或圖象序列的物體運動特點。在本項研究中，我們采用三幀差分法，并將圖像的降噪處理融合進關鍵幀提取的算法當中：

首先，設(x,y)為視頻的像素點坐標，fk(x,y)為第k幀時像素點坐標(x,y)對應的灰度值。

然后，將第k 幀的相鄰兩幀第(k-1,k+1)幀分別與第k幀進行差分運算，并求它們之間的交集：

接著，對獲取的灰度圖進行二值化處理（閾值為T）：

最后，對D1(x,y)降噪，得到掩碼圖像DN(x,y)。

2.2 損失函數的改進

YOLOv5s 的邊框損失[5-6]算法包含置信度概率損失、邊界框概率回歸損失和目標類別概率回歸損失共三個小部分，YOLOv5s 使用CIOU 的值來作為參數計算預測框和真實邊界框間的邊框損失。矩形框損失函數公式如下：

其中，IoU 為物體的預測框和物體的真實框的交集的面積與并集的面積之比，ρ2(b,bgt)代表計算兩個中心點間的歐氏距離，b,bgt分別代表預測框和真實框的中心點，c分別代表包含了相鄰的預測真實框中心的和的相鄰兩個真實框之間的每一個最小的封閉區域之間的對角線距離。其中a是其中一個權重函數，用來度量長寬比框之間的幾何相似性，w為實際框面寬，h為實際框面高，gt為真實框，p為可預測框。

CIOU 考慮了邊界框的重疊面積，到中心點距離還有長寬比，但長寬比v仍是不精確的模糊值，CIOU也不能很好地平衡正、負樣本的問題。因此，本文選用EIoU 作為矩形框回歸的Loss 函數，EIoU Loss 函數的計算公式如下：

其中，EIoULoss 共包含三種損失：中心距離損失，寬高損失，重疊損失，前半段參數與CIoU 一致，Cw和Ch是覆蓋兩個邊界框的最小外框的長度與寬度。EIoU 在CIoU基礎上將寬高比進行了詳細的處理，解決了寬高比過于模糊的問題，有效地提升了回歸框的精度。

使用BCEWithLogitsLoss損失函數計算YOLOv5s的分類與置信度損失，該函數將sigmoid 與BCELoss集成，并將sigmoid 激活自動映射到輸入前的區間(0,1)，然后對目標和輸出進行BCELoss 處理。BCEWithLogitsLoss計算公式如下：

其中，N為樣本的個數;xn為樣本的預測概率，ln為第n個樣本對應的loss 由sigmoid 激活處理，yn為對應樣本類別的真實概率，取值0 或1，w代表樣本的真實類別。sigmoid函數計算公式如下：

目前，YOLOv5 算法被廣泛應用于交通、農業、醫學等領域，如車輛與行人的檢測，森林防火等。在光伏板表面智能化故障識別中，YOLOv5 算法幾無應用前例。

3 實驗結果與分析

3.1 實驗訓練環境與訓練方法

本次實驗的具體運行開發環境信息如下：CPU 配置為Intel i7-11800H，GPU型號為NVIDIA RTX 3060，內存為16 GB，操作系統為Windows10，安裝CUDA11.2、cuDNN 8.0.5 與tensorrt7.2.2.3 庫文件，開發語言為Python3.8，Pytorch1.8.0框架。

在實驗訓練中，首先收集原始數據并進行數據預處理[8]，利用Labelimg 軟件將圖片中的異物轉為標簽，被標簽選中的異物將以坐標的形式進行數據量化處理。其次，根據光伏數據集的特性，選取YOLOv5 目標檢測算法作為本文的視頻檢測基礎算法。然后，基于傳統的YOLOv5 算法，對目標檢測算法進行多尺度優化，利用改進后的YOLOv5 算法訓練優化后的數據集。最后，基于YOLOv5算法建立故障預測模型,經檢驗，模型mAP、精度等重要指標均超過YOLOv4 目標檢測算法，目標檢測效果良好，算法的實際應用性強。基于YOLOv5s 算法的光伏表面故障智能化識別模型可投入實際應用。

經YOLOv5s 算法訓練后的數據集與損失函數如圖5所示，mAP隨訓練次數的變化如圖6所示。

圖5 數據集與損失函數的關系示意圖

圖6 mAP隨訓練次數的關系示意圖

圖7 精準率-召回率關系圖

在模型的訓練過程中，由于模型數據大小適中，為避免使用過大的Bach-size 會降低模型訓練時的隨機性，導致訓練模型數據陷入了局部最優化的情況，所以將Bach-size 調整為8 來增強模型的泛化性。設網絡訓練的初始學習率為0.01，權重衰減設置為0.0005，迭代次數為300。采用隨機梯度下降優化器設定動量因子為0.937，其余參數根據YOLOv5團隊開發的超參數文件YOLOv5s.yaml默認。

3.2 模型評價指標

選擇的目標檢測模型的參數評估指標主要有mAP值，精度（Precision）和召回率（Recall）。一般訓練結果主要觀察Precision，Recall 波動情況，然后觀察mAP@0.5:0.95 評價訓練結果。

⑴Precision：精確率，指正確預測的結果數占所有預測為正樣本的比率，其公式如下：

其中，TP 指將正類預測為正類數目，FP 指將負類預測為正類數目。

⑵Recall：召回率，指預測正確的結果數占真實結果總數的比例，其公式如下：

其中，FN指將正類預測為負類數目。

⑶mAP：所有數據的所有種類的平均精度的平均值。其計算公式如下：

其中，AP指單類別精度均值，而mAP@.5:.95表示在兩個不同IoU 閾值下（從0.5 到0.95，步長0.05）上的平均mAP。

⑷平均精度(Average Precision,AP)

將召回率作為x軸，精準率為y軸，得到的精準率-召回率曲線，一般情況下的P-R 曲線是向右上方凸起的一條曲線，檢測性能在凸起點處達到平衡狀態。對于單一的目標類別檢測，AP 的計算數值為P-R 曲線下的面積和。

⑸IoU：交并比，指的是真實框與預測框的交集面積占兩者總面積的一個比值，IoU 越大說明檢測框的效果越好，通常認為IoU>0.9，檢測效果良好。

3.3 算法性能分析

本文為了量化基于YOLOv5s 算法的實時檢測光伏發電板故障模型的性能表現，我們將算法在光伏故障數據集上進行訓練和測試。經過訓練后，本文中模型的精度為99.2%，召回率為98.4%，Map@0.5：0.95 為66.2%，3個指標均高于YOLOv4檢測算法。

針對基于YOLOv5s 算法的實時檢測光伏發電板故障模型訓練結果如表1所示。

表1 YOLO系列算法在光伏發電板故障數據集上的測試結果

檢測效果展示（如圖8、圖9）：

圖8 YOLOv5模型檢測前故障圖像

圖9 YOLOv5模型檢測后的故障圖像

在檢測光伏發電版故障類型為異物的情況下，交并比（IoU）的測試結果在0.80 以上，檢測效果良好，滿足未來實際應用需求。

4 結束語

本文提出了基于YOLOv5s 對光伏發電板故障的實時監測模型，針對光伏板上的目標物體尺寸不一致、種類繁多、易受背景干擾等問題，首先對目標檢測網絡架構中的骨干網絡、Neck 網絡進行了改進，將YOLOv5s 中未使用的淺層特征圖與現有的深層特征圖進行融合，增加小目標檢測層，對小目標進行針對性檢測，有效減少語義與位置信息的丟失，提高了目標識別的有效性。然后對損失函數進行改進，引入EIoU 函數，在降低負樣本權重、提高正樣本權重的同時提升回歸框的準確性。最后，將YOLOv4與YOLOv5算法進行對比實驗，證明了本文所提算法的精度在VOOC2007光伏板數據集上同其他算法相比具有一定的優勢，既實現了對光伏發電板快速檢測，又兼顧了較高的精度，對于光伏發電板的實時監測具有重要的現實意義。然而，由于網絡結構的更改在一定程度上增加了模型訓練后推理的時間成本，因此后續工作應重點放在優化模型參數上，在保證速度的同時讓其更好地應用于不同條件下的環境。