基于改進U-Net網絡的光伏板圖像分割方法

任喜偉　韓欣　鐘弋　何立風

摘要：光伏板區域識別與分割對光伏板的缺陷精確檢測和組件精準定位有重要意義.在復雜環境下，針對光伏板圖像存在對比度不強、邊界模糊、背景復雜等影響分割的問題，提出了一種改進U-Net網絡的光伏板圖像分割方法.首先，搭建基于U-Net網絡的對稱編碼-解碼結構骨干網絡；其次，使用深度可分離卷積替代傳統卷積，并將高效ECA注意力模塊添加到兩組深度可分離卷積之間，以兩組深度可分離卷積和一個ECA注意力模塊組成一個block塊，利用多個block塊提升多層網絡的分割性能；之后，引入交叉熵損失、Dice 損失、Focal 損失線性加權和作為新的損失函數，訓練改進U-Net網絡；最后，為驗證方法的有效性，將改進U-Net網絡與MobileNetV2網絡、U-Net網絡、Res-U-Net網絡分別在3 200張光伏板紅外圖像數據集上進行橫向對比.結果表明：改進U-Net網絡的PA值和MIoU值達到了0.993 1和0.980 2，均優于其他3種網絡模型，且參數量只有U-Net網絡和Res-U-Net網絡的33.3%和30.4%，僅次于MobileNetV2網絡.因此，改進U-Net網絡具有較高的準確性和泛化性，能夠完成光伏板圖像分割任務.

關鍵詞：改進U-Net網絡； 光伏板圖像分割； 深度可分離卷積； ECA注意力模塊； 損失函數

中圖分類號：TP391.41文獻標志碼： A

Photovoltaic panel image segmentation method based on

improved U-Net network

REN Xi-wei， HAN Xin， ZHONG Yi， HE Li-feng（School of Electronic Information and Artificial Intelligence， Shaanxi University of Science & Technology， Xi′an 710021， China）

Abstract：Photovoltaic panel region recognition and segmentation is of great significance to defect detection and module positioning.Aiming at the problems that affect the segmentation of photovoltaic panel image，such as weak contrast，fuzzy boundary and complex background，it proposes a photovoltaic panel image segmentation method based on improved U-Net network.Firstly，the backbone network of symmetric encoding-decoding structure based on U-Net network is built.Secondly，depthwise separable convolutions are used to replace traditional convolutions，and an efficient ECA attention module is added between the two sets of depthwise separable convolutions .Two sets of depthwise separable convolutions and an ECA attention module form a block，and multiple blocks are used to improve the segmentation performance of the multi-layer network.Then，the linear weighted sum of cross entropy loss，Dice loss and Focal loss is introduced as new loss functions to train and improve U-Net network.Finally，to verify the effectiveness of the method，the improved U-Net network was compared with MobileNetV2 network，U-Net network and Res-U-Net network on 3 200 photovoltaic panel infrared image datasets respectively.The results show that the PA value and MIoU value of the improved U-Net network reach 0.993 1 and 0.980 2，which are better than the other three network models.The number of parameters is only 33.3% and 30.4% of U-Net network and Res-U-Net network，second only to MobileNetV2 network.Therefore，the improved U-Net network has high accuracy and generalization，and can complete the task of photovoltaic panel image segmentation.

Key words：improved U-Net network； image segmentation of photovoltaic panels； depthwise separable convolutions； ECA attention module； loss function

0引言

太陽能光伏發電以其廣泛性、清潔性、豐富性在新能源領域取得了快速發展.當光伏板表面出現缺陷時，缺陷區域光照產生的能量轉化效率將會大大降低，在紅外圖像上表現出高亮度特性.無人機與熱成像技術的發展使得圖像處理方式成為光伏板缺陷檢測的首要方法［1］.為了能在不受復雜背景環境干擾的情況下，快速準確的找到缺陷區域，并對缺陷組件精準定位，需要先將完整的光伏板區域分割出來.針對光伏板區域的圖像分割，毛峽等［2］提出了一種基于局部統計特征的光伏熱斑圖像有效區域分割算法.通過對圖像濾波，計算局部標準差矩陣得到二值圖像，尋找二值圖像中的連通區域達到分割效果；趙玲玲等［3］通過HSV與RGB空間模型轉換分析，設定HSV藍色取值范圍，對原始光伏面板RGB圖像進行分割；Salamance等［4］計算光伏板中每個部分的水平共生矩陣和垂直共生矩陣的特征向量，通過板面區域的相似性，將紅外圖像光伏板的像素分割為屬于光伏板和不屬于光伏板兩類.以上文獻均使用傳統圖像處理方法分割光伏板區域，算法過于依賴顏色、邊緣等特征，并且容易受背景干擾，算法泛化能力差，分割不夠精準.

近年來，深度卷積神經網絡在圖像分割中展現出優越的性能.Ronneberger等［5］提出U-Net網絡，包含編碼器、解碼器、跳躍鏈接三部分，能夠融合不同尺度和細節信息，在自動駕駛、遙感影像分類、醫學圖像等領域［6-8］應用廣泛.但由于網絡結構較為簡單，對部分形態的光伏板特征提取能力不強.Res-U-Net是將Res-Net殘差網絡［9］和U-Net網絡結合的新型神經網絡［10］，避免了因網絡層數較深時的性能退化問題，相較于U-Net網絡，Res-U-Net網絡更易訓練.但在光伏場景中依舊存在特征提取能力不足、網絡參數量過大的問題.MobileNetV2網絡使用深度可分離卷積代替傳統卷積，并提出了倒殘差模塊，有效地降低了網絡計算量和參數存儲空間［11］.但因參數量的減少，影響了網絡的分割性能.

鑒于此，本文提出了一種改進U-Net網絡的光伏板圖像分割方法.該方法首先將傳統卷積替換為深度可分離卷積，降低了網絡計算量，縮小了模型大小，其次將高效ECA注意力模塊添加到兩組深度可分離卷積之間，以兩組深度可分離卷積和一個ECA注意力模塊組成一個block塊，利用多個block塊提升多層網絡的分割性能，之后引入交叉熵損失、Dice 損失、Focal 損失線性加權和作為新的損失函數加快了網絡的收斂速度，再次提升了網絡的分割性能.改進后的U-Net網絡滿足工程上對光伏板圖像數據準確分割，模型快速訓練、輕量化部署的實際需求.

1本文方法

1.1網絡結構

本文采用基于U-Net網絡的編碼-解碼結構，并對其進行改進，如圖1所示.圖中，藍色框為一個block模塊，每個block模塊中包含2組深度可分離卷積，由逐通道卷（Depthwise convolution）和逐點卷積（Pointwise convolution）構成，卷積核大小分別為3×3和1×1.在逐通道卷積和逐點卷積之后又分別加入批標準化層（BN），并使用ReLU激活函數.批標準化層可使輸入的數據符合均值為0和方差為1的正態分布，ReLU激活函數使網絡用到非線性模型，可加快網絡訓練速度，避免梯度消失［12］.2組深度可分離卷積之間嵌入ECA注意力模塊，更好的聚合特征信息.編碼部分用于特征提取，通常網絡越深，提取到的抽象特征越高級，需要的block模塊也越多［13］.隨著層數的增加，編碼部分使用的block塊數量分別為1、2、3、4個，且每層之后使用3×3卷積核進行最大池化，對圖像降采樣.由于編碼部分下采樣時會導致圖像的部分信息消失，在上采樣時難以恢復［14］，因此在解碼部分上采樣時首先會與編碼部分對應的層進行特征拼接，拼接時需保證通道、尺寸大小一致.解碼部分block數量為1，每層之后使用線性插值逐步恢復圖像尺寸.最后一層連接1×1卷積，輸出類別概率.

1.2網絡構建方法

1.2.1深度可分離卷積

1.2.2ECA注意力模塊

使用深度可分離卷積在輕量化網絡模型時，網絡的分割性能可能會隨著參數量的減少而下降，因此在網絡中引入注意力機制.通道注意力機制已被證明在改善深度卷積神經網絡的性能方面存在巨大潛力［15］.其中最具代表性的方法之一是擠壓和激勵網絡（SENet）［16］，但其壓縮降維過程為學習通道之間的相互關系帶來不利影響.為同時考慮性能提升以及維持注意力模塊中通道與其權重的直接對應關系，本文在兩個深度可分離卷積之間引入ECA注意力模塊［15］.ECA注意力模塊結構圖如圖4所示.

ECA注意力模塊首先對輸入的特征圖進行全局的平均池化，將輸入特征（H，W，C）轉化為（1，1，C），之后使用卷積核大小為5的一維卷積進行處理，并經過Sigmoid激活函數得到每個通道的權重，再將權重與原始的輸入特征圖對應元素相乘，最終得到輸出特征圖.因ECA注意力模塊為每個通道生成了對應權重，使模型強化了與分割區域高關聯的通道信息，抑制了低關聯的通道信息對圖像分割的影響，故提升了網絡的分割性能.其實現過程中的全局平均池化操作和卷積核大小為5的一維卷積操作計算量較低，未過多增加網絡運算負擔.

1.3損失函數

2實驗結果與分析

2.1實驗準備

2.1.1實驗細節

2.1.2數據集生成

實驗使用搭載紅外相機的無人機采集光伏板圖像，并使用數據鏈路將紅外相機獲取的圖像壓縮發送回地面站，實時傳輸圖像信號.其中，紅外相機的分辨率為640×512.

因采集到的光伏板圖像涵蓋山地、平原、屋頂、水面、高原等多個場景，地形的多樣性以及采集時天氣狀況的不同，使得光伏板紅外圖像中光伏板自身形態、排列狀況、亮度以及背景區域（植被、道路、輸電線路、建筑物、異物闖入等）十分復雜和多樣.部分地區的光伏板紅外圖像展示如圖5所示.

將采集到的數據使用Labelme軟件進行手動標注，生成與原圖對應的包含目標區域坐標的json文件，使用Python語言處理原圖和json文件，生成與原圖對應的同名掩膜圖像.為進一步增加數據集的數量，增強模型的魯棒性，使用OpenCV庫對原圖和對應的掩模圖像進行同等的翻轉、裁剪操作，并對部分原圖添加噪聲，最后統一圖像的大小為640×512.經過以上處理一共得到光伏板紅外圖像原圖3 200張，掩膜圖3 200張.將原圖以及對應的掩模圖分別放入兩個文件夾，取名為img和label，并按照圖像名稱以7∶2∶1的比例劃分為訓練集、驗證集和測試集，其中訓練集2 240張，驗證集640張，測試集320張.

2.1.3評價指標

2.2實驗對比與分析

2.2.1損失函數權重取值與驗證

為使得改進后的損失函數能夠滿足本工程上對光伏板數據訓練速度和分割精度的要求，本文通過多次實驗驗證的方式來確定改進后損失函數的權值.主要包含以下3個步驟：步驟1，實驗得出能夠讓網絡更快收斂的權值作為初始權值；步驟2，使用應用了初始權值的改進后的損失函數與交叉熵損失函數、Dice損失、Focal損失單獨作用時比較網絡的分割性能；步驟3，若得出的權值能夠同時提升收斂速度及分割性能，則將其確定為最終權值.若不能滿足，則在初始權值的基礎上以0.1為步長調整三個權值，觀察實驗結果，逐步提升能使損失函數收斂速度和分割性能更優的權重值在總權值中的比重，直至損失函數能夠滿足本工程需求.

針對步驟1，為簡化實驗過程，在三個初始權重選取時，設置三者權重和為1，先局部考慮兩兩權值的最優比例，之后通過三者之間滿足的比例公式，設定三者權值.

具體地，首先確定λ和μ的比值，此處設置了10組實驗，以0.1為步長，分別在λ取0.9～0.1，μ取0.1～0.9時訓練網絡，用收斂速度作為評判標準，最終確定λ和μ的最優比例為3∶7，之后用同樣的方法確定μ和η的比值，得出μ和η的最優比例為6∶4.滿足如式（8）所示的方程組.

針對步驟2，在保持其余條件一致時，對比交叉熵損失函數、Dice損失、Focal損失和使用初始權值改進后的損失函數在測試集上的分割性能，具體結果如表1所示.

由表1可得，使用初始權值的改進后的損失函數，其網絡的PA值和MIoU值均優于其余3種損失函數.

針對步驟3，由步驟1和步驟2中得出的結果可得，擁有初始權值的改進后的損失函數在收斂速度以及分割性能上較其余三種損失函數均有所提升，能夠滿足本工程光伏板分割場景的需要.因此最終將λ、μ和η的值確定為0.2、0.5和0.3.

2.2.2注意力模塊對比驗證

為驗證本文方法中使用的ECA注意力模塊更適合于改進U-Net網絡，在保持其余條件一致時，將ECA模塊替換為經典的SE模塊.改進U-Net網絡，分別使用不同注意力模塊時性能對比結果如表2所示.

由表2可得，在分割性能方面，本文方法中使用的ECA注意力模塊較SE模塊結果更好.

2.2.3網絡結構對比驗證

實驗選取了3種應用最為廣泛的分割網絡U-Net、Res-U-Net［20，21］和MobileNetV2，與本文提出的改進U-Net網絡做橫向對比.實驗分別就網絡的分割性能、模型參數、訓練時間、推理時間進行測試，其中推理時間為在20張圖像中測得的平均結果，結果如表3所示.

由表3可得，本文提出的改進U-Net網絡結構分割性能最好，參數量分別只有U-Net網絡和Res-U-Net網絡的33.3%和30.4%，在提升分割性能的同時，又保證了模型的輕量化.同時，改進U-Net網絡結構在GPU上推理時用時基本和其他網絡一致，但在CPU上明顯優于U-Net網絡和Res-U-Net網絡.本文提出的改進U-Net網絡雖然在參數量和推理時間上并非最優表現，但滿足了在服務器端和嵌入式設備上輕量部署和快速推理的需求.綜合對比，本文提出的改進U-Net網絡相較其余三種網絡更符合工程實際.

2.2.4可視化結果

使用不同網絡的分割效果如圖7所示.其中，第1列為光伏板紅外圖像原圖，第2列為人工標注生成圖像，第3列至第6列分別為MobileNetV2網絡、U-Net網絡、Res-U-Net網絡，以及本文提出的改進U-Net網絡分割效果圖.圖7不同網絡分割結果對比圖觀察圖7可得，改進U-Net網絡分割出的結果圖較其他網絡，位置更準確、輪廓更精細，尤其對于難分割的區域表現出優異的性能.這歸功于本文方法在特征提取時，隨著深度的增加使用了更多的卷積塊，并融入了ECA注意力機制，使得網絡能更好關注到光伏板特征的同時獲取細節信息，增強了網絡的特征提取能力.另外，3種損失函數的加權組合使得網絡收斂更快，對于目標較小的光伏板區域表現更友好.

3結論

針對復雜、多樣環境下光伏板區域分割問題，本文提出了一種改進U-Net語義分割網絡.使用深度可分離卷積替代傳統卷積，減少模型參數量，將高效注意力ECA模塊添加到兩組深度可分離卷積之間，實現無降維的局部跨通道交互.同時，在特征提取部分，以兩組深度可分離卷積以及一個ECA為一個block塊，隨著網絡層數增加，使用多個block塊以提取更加高級的抽象特征，提升網絡的分割性能.另外，針對光伏板圖像的特點，將交叉熵損失、Dice 損失、Focal 損失線性加權和作為新的損失函數.最后，為驗證模型的有效性，將本文網絡與MobileNetV2網絡、U-Net網絡、Res-U-Net網絡分別在本文所采集的3 200張光伏板紅外圖像數據集上橫向對比.結果表明，改進U-Net網絡的分割精度和模型大小整體優于其余3種網絡，能準確實現光伏板區域完整分割，為光伏板缺陷檢測和組件定位提供前提，為新能源光伏產業升級提供技術支持，對其產業健康發展有重要的促進作用.

參考文獻

［1］ NiccolaiI A，Gandelli A，Grimaccia F，et al.Overview on photovoltaic inspections procedure by means of unmanned aerial vehicles［C］//2019 IEEE Milan Power Tech.Italy：IEEE，2019：1-6.

［2］ 毛峽，石天朋.光伏熱斑圖像有效區域分割算法研究［J］.太陽能學報，2018，39（5）：1 270-1 276.

［3］ 趙玲玲，汪燁，劉俊.基于無人機與HSV空間的光伏電池板檢測分析［J］.紅外技術，2020，42（10）：978-982.

［4］ Salamanca S，Merchan P，Garcial.On the detection of solar panels by image processing technique ［C］// 2017 25th Mediterranean Conference on Control and Automation （MED）.Valletta，Malta ：IEEE，2017：478-483.

［5］ Ronneberger O，Fischer P，Brox T.U-net：Convolutional net-works for biomedical image segmentation［C］//Proceedings of Interna-tional Conference on Medical Image Computing and Computer-Assiste Intervention.Switzerland ：Springer Cham，2015：234-241.

［6］ 許苗，李元祥，鐘娟娟，等.L-UNet：輕量化云遮擋道路提取網絡［J］.中國圖象圖形學報，2021，26（11）：2 670-2 679.

［7］ 何直蒙，丁海勇，安炳琪.高分辨率遙感影像建筑物提取的空洞卷積E-Unet算法［J］.測繪學報，2022，51（3）：457-467.

［8］ 周濤，董雅麗，霍兵強，等.U-Net網絡醫學圖像分割應用綜述［J］.中國圖象圖形學報，2021，26（9）：2 058-2 077.

［9］ He K，Zhang X，Ren S，et al.Deep residual learning for image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Nevada，USA：IEEE Computer Society，2016：770-778.

［10］ Stephan M，Santra A.Radar-based human target detection using deep residual U-net for smart home applications［C］// Proceedings of the 18th IEEE International Conference On Machine Learning And Applications （ICMLA）.Boca Raton，USA：ICMLA，2019：175-182.

［11］ Sandler M，Howard A，Zhu M，et al.MobileNetV2：Inverted residuals and linear bottlenecks［C］//Proceedings of 2018 International Conferenceon Computer Vision and Pattern Recognition.Piscataway：IEEE，2018：4 510-4 520.

［12］ 張煥，張慶，于紀言.激活函數的發展綜述及其性質分析［J］.西華大學學報（自然科學版），2021，40（4）：1-10.

［13］ 陳銘，梅雪，朱文俊，等.一種新型Mobile-U-Net網絡的肺結節圖像分割方法［J］.南京工業大學學報（自然科學版），2022，44（1）：76-81，91.

［14］ Zeng Z，Xie W，Zhang Y，et al.RIC-U-Net：An improved neural network based on U-Net for nuclei segmentation in histology images［J］.IEEE Access，2019，7：21 420-21 428.

［15］ 毛志榮，都云程，肖詩斌，等.基于ECA-Net與多尺度結合的細粒度圖像分類方法［J］.計算機應用研究，2021，38（11）：3 484-3 488.

［16］ Hu Jie，Shen Li，Sun Gang，et al.Squeezeand-excitation networks［J］.IEEE Tranasactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2 011-2 023.

［17］ Wang J，Gao H，Wei G.The generalized Dice similarity measures for Pythagorean fuzzy multiple attribute group decision making［J］.International Journal of Intelligent Systems，2019，34（6）：1 158-1 183.

［18］ Lin T Y，Goyal P，Girshick R，et al.Focal loss for dense object detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

［19］ 王榆鋒，李大海.改進YOLO框架的血細胞檢測算法［J］.計算機工程與應用，2022，58（12）：191-198.

［20］ 李原，李燕君，劉進超，等.基于改進Res-UNet網絡的鋼鐵表面缺陷圖像分割研究［J］.電子與信息學報，2022，44（5）：1 513-1 520.

［21］ 王明常，朱春宇，陳學業，等.基于FPN Res-Unet的高分辨率遙感影像建筑物變化檢測［J］.吉林大學學報（地球科學版），2021，51（1）：296-306.

【責任編輯：蔣亞儒】