基于改進(jìn)SSD的風(fēng)機葉片表面缺陷檢測方法*

季利鵬，吳世龍，聶 濤，楊文威，楊迦迤

(1. 上海理工大學(xué) 機械工程學(xué)院·上海·200093；2. 上海航天控制技術(shù)研究所·上海·201109；3. 上海嘉柒智能科技有限公司·上海·201912)

0 引 言

近年來，隨著無人機、光學(xué)傳感器、圖像處理等技術(shù)的迅猛發(fā)展，應(yīng)用無人機實現(xiàn)復(fù)雜環(huán)境下工業(yè)設(shè)備的日常巡檢與維護(hù)作業(yè)越來越引起人們的重視與關(guān)注。當(dāng)前，中國風(fēng)電裝機容量連續(xù)多年蟬聯(lián)世界第一[1]，而由于風(fēng)電資源多集中于山區(qū)、近海或戈壁等地理、氣候環(huán)境相對復(fù)雜的地區(qū)，作為風(fēng)力發(fā)電機關(guān)鍵部件的葉片，在運行期間暴露在如此高度可變和惡劣的環(huán)境條件下，容易發(fā)生缺損，甚至斷裂的情況，降低風(fēng)機的風(fēng)能轉(zhuǎn)化率和機組壽命，嚴(yán)重時會帶來重大安全隱患和經(jīng)濟損失[2-3]。因此，定期對葉片部件進(jìn)行巡檢及狀態(tài)監(jiān)測，發(fā)現(xiàn)破損并及時更換，對維持風(fēng)力發(fā)電機的高效可靠運行至關(guān)重要。在此背景下，在風(fēng)電場內(nèi)部署無人機裝備為實現(xiàn)風(fēng)機葉片表面的缺陷檢測任務(wù)提供了新的解決路徑。

與傳統(tǒng)的風(fēng)機葉片缺陷檢測方式相比，通過部署無人機可以降低高空作業(yè)風(fēng)險，減輕勞動強度；提高檢測效率，大大減少停機時間；減少檢查盲區(qū)，提高精度；避免了安裝各種傳感器對葉片運行的影響，降低了測試成本；還能有效避免風(fēng)電場中各種不利因素干擾檢測的情況[4]。為了實現(xiàn)風(fēng)機葉片表面缺陷的無損檢測，利用自主規(guī)劃或人為操控的無人機(Unmanned Aerial Vehicle，UAV)采集風(fēng)機葉片圖像，建立風(fēng)機葉片表面缺陷圖像數(shù)據(jù)集，進(jìn)而構(gòu)建基于深度學(xué)習(xí)的風(fēng)電葉片表面視覺損傷識別算法，實現(xiàn)風(fēng)機葉片表面缺陷的位置定位及類型判定，從而達(dá)到典型葉片表面缺陷的安全、高效檢測的目的[5-6]。針對無人機獲取到的圖像數(shù)據(jù)，傳統(tǒng)算法主要從有限的先驗數(shù)據(jù)中進(jìn)行分析，通過經(jīng)驗設(shè)計有效的特征集合或目標(biāo)匹配模板完成檢測任務(wù)[7-8]，但該方法需要花費大量時間和精力完成特征集合和匹配模板的設(shè)計，且檢測精度有待提高。

鑒于傳統(tǒng)檢測算法局限性的存在，出現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的深度學(xué)習(xí)目標(biāo)視覺檢測方法，通過迭代訓(xùn)練，CNN能夠自動學(xué)習(xí)并獲取圖像的深層特征，進(jìn)而完成風(fēng)機葉片表面的缺陷檢測。Xu Donghua[9]提出了一種基于無人機采集圖像及VGG-16網(wǎng)絡(luò)模型的缺陷檢測方法，可以分別對五種葉片表面缺陷進(jìn)行精確識別，但該算法無法進(jìn)行多種缺陷類型的分類及定位。Qiu Zifeng[10]提出了一種基于YOLO算法的微小缺陷檢測模型(YOLO-based Small Object Detection Approach，YSODA)，可以對微小缺陷進(jìn)行精確檢測，并且檢測速度達(dá)到了實時性的要求。張超等[11]提出了一種基于改進(jìn)Mask-RCNN的風(fēng)機葉片缺陷檢測方法，將ResNet-50結(jié)合 FPN網(wǎng)絡(luò)生成的特征圖輸入到RPN網(wǎng)絡(luò)中篩選出ROI，通過ROIAlign固定特征圖尺寸輸入到預(yù)測網(wǎng)絡(luò)進(jìn)行缺陷類型、邊界框及掩膜的預(yù)測。朱佳偉等[12]提出一種基于改進(jìn)單次多邊界框檢測器(Single Shot MultiBox Detector，SSD)的風(fēng)機葉片缺陷檢測方法，采用霍夫變換對處于傾斜狀態(tài)的風(fēng)機葉片進(jìn)行校正，然后利用兩種殘差網(wǎng)絡(luò)作為SSD算法的骨干網(wǎng)絡(luò)(Backbone)進(jìn)行特征提取，提升了檢測精度和效率。

現(xiàn)在前沿的目標(biāo)檢測算法如Fatser-RCNN[13]、YOLOv3[14]、SSD[15]等，基本都是在VOC[16]等常規(guī)數(shù)據(jù)集上開展實驗，但是因為有其特殊性(目標(biāo)獨特性、尺度多樣性、視角特殊性)，基于常規(guī)數(shù)據(jù)集訓(xùn)練的檢測器在風(fēng)機葉片表面缺陷圖像上的識別效果仍需提高。實際應(yīng)用中，對于風(fēng)機葉片圖像中目標(biāo)尺度多樣性的問題，檢測效果差的原因多集中在不同缺陷區(qū)域往往隨著類型或破損程度等情況具有不同的尺度范圍，視覺表現(xiàn)為極小、極大或者極端形狀，如細(xì)長型、窄高型等，這就導(dǎo)致目標(biāo)特征信息差異隨著尺度的變化而改變，從而影響表面缺陷的準(zhǔn)確識別與精準(zhǔn)定位。

為了解決上述問題，利用計算機視覺并結(jié)合人工智能中的深度學(xué)習(xí)技術(shù)，構(gòu)建以SSD算法為基礎(chǔ)的檢測模型。針對葉片表面缺陷多尺度的視覺表現(xiàn)，借助SSD模型的特征金字塔結(jié)構(gòu)進(jìn)行缺陷目標(biāo)的多尺度預(yù)測，從不同深度、尺寸特征圖中學(xué)習(xí)感興趣信息。同時，更換殘差網(wǎng)絡(luò)resnet50為其骨干，在多維特征空間內(nèi)獲取不同尺度特征下風(fēng)機葉片圖像的深、淺層信息，進(jìn)而增強骨干網(wǎng)絡(luò)的特征提取能力，提高風(fēng)機葉片圖像表面缺陷的識別與定位準(zhǔn)確率。之后，利用無人機航拍圖像制作數(shù)據(jù)集，在對無人機航拍風(fēng)機葉片圖像進(jìn)行分類、標(biāo)注后，會得到帶有類別標(biāo)簽的圖像數(shù)據(jù)集，并按比例對其進(jìn)行數(shù)據(jù)劃分用于訓(xùn)練與測試，進(jìn)而對已構(gòu)建的缺陷檢測模型進(jìn)行內(nèi)部參數(shù)擬合與實驗驗證。所提算法框架原理圖如圖1所示。

圖1 所提算法框架原理圖Fig.1 Schematic diagram of proposed algorithm

1 SSD原理與改進(jìn)

1.1 SSD原理及基本流程

當(dāng)前，基于深度學(xué)習(xí)的目標(biāo)檢測算法主要分為單階段和雙階段兩類，其中SSD作為單階段目標(biāo)檢測算法中的代表之一，將目標(biāo)檢測任務(wù)視為一個回歸或分類問題，采用統(tǒng)一的框架直接實現(xiàn)目標(biāo)的分類與定位[17]。與基于候選區(qū)域的雙階段目標(biāo)檢測模型不同，在特定結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)框架下SSD在不同的特征尺度下直接生成固定大小的邊界框集合，并獲得這些框中對象類實例的得分，然后通過NMS步驟產(chǎn)生最終的檢測結(jié)果。

圖2所示為本文所提改進(jìn)SSD算法流程圖，該框架主要由特征提取網(wǎng)絡(luò)和檢測頭(Prediction Head)組成。在該框架下，輸入的風(fēng)機葉片圖像首先通過由殘差網(wǎng)絡(luò)Resnet50和附加塊(Addition Blocks)構(gòu)成的特征提取網(wǎng)絡(luò)進(jìn)行圖像的初始特征提取，通過將學(xué)習(xí)機制集成到網(wǎng)絡(luò)中來加強缺陷目標(biāo)的信息捕捉能力，有效理解多維特征空間內(nèi)的淺層空間細(xì)節(jié)信息與深層語義信息，獲得六個不同層次下的特征圖集合；之后，將特征圖集合在檢測頭部分分別進(jìn)行感興趣區(qū)域信息數(shù)據(jù)的類別概率分類與位置坐標(biāo)回歸，按規(guī)則在特征圖上生成不同尺度和長寬比的先驗框，并利用NMS操作進(jìn)行篩選關(guān)聯(lián)目標(biāo)子集，完成缺陷定位與類型確定并輸出。

圖2 改進(jìn)SSD算法流程圖Fig.2 Improved SSD algorithm flow

1.2 特征提取網(wǎng)絡(luò)

本文選擇殘差網(wǎng)絡(luò)ResNet50替代VGG作為SSD網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)，尋找原始圖像數(shù)據(jù)中目標(biāo)缺陷區(qū)域所暗含的具有統(tǒng)計意義的特征信息，旨在從缺陷對象的特征提取方面提升模型整體的檢測能力。Kaiming He提出的深度殘差網(wǎng)絡(luò)ResNet首次在網(wǎng)絡(luò)結(jié)構(gòu)中引入了殘差單元，優(yōu)化了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)深層堆疊所造成的梯度爆炸與退化問題[18]。ResNet50結(jié)合殘差(Residual )和跳躍連接(Shortcut Connection)思想，主要由子模塊Bottleneck堆疊而成，融合各層內(nèi)部局部感受野內(nèi)的空間(Spatial)和通道信息(Channel-Wise)來構(gòu)建信息特征[19-20]，Bottleneck的結(jié)構(gòu)如圖3所示，該結(jié)構(gòu)的主路徑上為1×1、3×3、1×1的三個卷積塊，輸入x經(jīng)過一系列卷積處理得到殘差函數(shù)F(x)，之后與捷徑支路進(jìn)行數(shù)據(jù)融合，獲得待擬合的輸出映射結(jié)果，其計算過程見式(1)。其中，y為期望輸出，Wi和Ws分別為主路徑與捷徑支路學(xué)習(xí)到的權(quán)重參數(shù)。

(a)

(b)圖3 Resnet50內(nèi)部子模塊Bottleneck結(jié)構(gòu)Fig.3 Resnet50 internal sub-module Bottleneck structure

(1)

表1所示為本實驗所用的ResNet50模型的網(wǎng)絡(luò)結(jié)構(gòu)，由49個卷積層組成，其中49個卷積層分為五組，卷積核的大小有三種，分別為7×7、3×3和1×1，用于對輸入圖像進(jìn)行特征的提取，從理論全局感受野上去捕獲圖像的特征來進(jìn)行圖像的描述，其中卷積層的激活函數(shù)為非線性Relu激活函數(shù)。同時，為滿足后續(xù)附加特征提取部分的輸入要求以及特征圖集合內(nèi)指定特征圖尺寸的要求，在尾部添加一卷積核為1×1的卷積層進(jìn)行連接。

表1 Resnet50作為SSD的骨干網(wǎng)絡(luò)時的結(jié)構(gòu)表Tab.1 Structure table when Resnet50 is used as backbone of SSD

2 數(shù)據(jù)集構(gòu)建

2.1 數(shù)據(jù)集準(zhǔn)備

使用無人機設(shè)備搭載高清相機在華東某風(fēng)電場對停機穩(wěn)定狀態(tài)下的風(fēng)力發(fā)電機組葉片進(jìn)行了現(xiàn)場圖像采集。經(jīng)統(tǒng)計，現(xiàn)場采集的風(fēng)機葉片圖像共計1000余張，按照圖像表面缺陷的存在與否對風(fēng)機葉片圖像進(jìn)行初步篩選，各類型風(fēng)機葉片表面缺陷樣本示例見圖4。之后，通過LabelImg軟件對所有圖像內(nèi)各類型缺陷進(jìn)行目標(biāo)標(biāo)注，標(biāo)注后的數(shù)據(jù)集樣本缺陷數(shù)量情況見表2所示。最后，按照 8∶2的比例劃分訓(xùn)練集與測試集，用于訓(xùn)練與評估檢測模型對風(fēng)機葉片表面缺陷的判別能力。

表2 風(fēng)機葉片圖像數(shù)據(jù)集內(nèi)缺陷情況Tab.2 Defects within the wind turbine blade image data set

(a)斷裂 (b)腐蝕 (c)結(jié)構(gòu)破損

(d)表面裂紋 (e)表皮脫落 (f)雷擊圖4 數(shù)據(jù)集內(nèi)風(fēng)機葉片缺陷樣本示例Fig.4 Example of a sample of wind turbine blade defects in the data set

2.2 數(shù)據(jù)集分析

通過對數(shù)據(jù)集內(nèi)風(fēng)機葉片圖像的收集、篩選及標(biāo)注，發(fā)現(xiàn)所構(gòu)建的數(shù)據(jù)集樣本存在缺陷目標(biāo)多尺度的現(xiàn)象，統(tǒng)計結(jié)果見圖5所示。在對所有圖片進(jìn)行尺度歸一化操作至300×300像素大小后，缺陷真值框尺度分布呈現(xiàn)分散，且目標(biāo)尺寸以中小等級為主。以表面裂紋缺陷類型為例，如圖6所示，由于受損程度或受損時間期限等原因，其視覺表現(xiàn)尺寸并不完全相同。

圖5 數(shù)據(jù)集內(nèi)各缺陷真值框大小分布Fig.5 Size distribution of truth box of each defect in data set

圖6 表面裂紋缺陷類型的多尺度表現(xiàn)Fig.6 Multi-scale representation of hide-crush type defect

3 實驗及分析

3.1 實驗評估指標(biāo)

在本次風(fēng)力發(fā)電機葉片表面缺陷檢測任務(wù)中，使用目標(biāo)檢測領(lǐng)域最常用的指標(biāo)之一的均值平均精度(Mean Average Precision，mAP)來衡量該模型的檢測精度，它是模型檢測結(jié)果中不同類別目標(biāo)對象平均精度(Average Precision，AP)的平均值。以mAP@.5為例，它表示當(dāng)預(yù)測框與真值框值間的交并比(Intersection of Union，IoU)為0.5時各類型缺陷檢測結(jié)果的平均精確率。mAP與AP的計算過程如下。

(2)

(3)

其中，C表示缺陷類別總數(shù)，(AP)i為第i類的AP值；m，P，R分別表示在特定類別缺陷下的正樣本個數(shù)、準(zhǔn)確率和召回率，其中P，R可由下式得到

(4)

(5)

其中，TP，F(xiàn)P，F(xiàn)N之間的關(guān)系及含義可由表3得出。

表3 TP，TN，F(xiàn)P，F(xiàn)N含義及關(guān)系Tab.3 TP，TN，F(xiàn)P，F(xiàn)N meaning and relationship

3.2 實驗結(jié)果及分析

本文在前期建立的風(fēng)機葉片缺陷數(shù)據(jù)集上對SSD、YOLOv3和RetainNet三種單階段目標(biāo)檢測網(wǎng)絡(luò)在不同的骨干網(wǎng)絡(luò)下進(jìn)行訓(xùn)練，以此來驗證改進(jìn) SSD 算法的有效性及優(yōu)越性。通過使用交叉熵?fù)p失函數(shù)和SmoothL1函數(shù)實現(xiàn)網(wǎng)絡(luò)內(nèi)類別損失和定位損失的計算，并加載骨干部分的預(yù)訓(xùn)練權(quán)重對網(wǎng)絡(luò)進(jìn)行加速訓(xùn)練。

由表4可以看出，對于風(fēng)機葉片表面的缺陷檢測，本文算法的總體平均精確度mAP@.5最高，相比于YOLOv3和RetainNet分別提高了2.92%和8.69%。從各類型缺陷的檢測性能來看，本文算法的檢測結(jié)果基本達(dá)到或接近三種檢測模型的最佳效果，除表皮脫落、雷擊和結(jié)構(gòu)破損缺陷的檢測效果略差于YOLOv3外，其余類型的結(jié)果均為最高，斷裂缺陷的檢測精確度甚至達(dá)到了97.46%。

表4 不同算法下缺陷預(yù)測對比分析Tab.4 Comparative analysis of defect prediction under different algorithms

為了驗證對SSD模型特征提取網(wǎng)絡(luò)等方面的相關(guān)改進(jìn)策略的優(yōu)越性，對比分析改進(jìn)前后模型的檢測效果，見表5所示。結(jié)合表4可以看出，SSD算法因其本身結(jié)構(gòu)對多尺度目標(biāo)的敏感性，以VGG為骨干網(wǎng)絡(luò)的SSD模型的檢測效果都要優(yōu)于YOLOv3和RetainNet。在經(jīng)過更換特征提取網(wǎng)絡(luò)模塊后，改進(jìn)SSD算法的檢測效果提升了2.21%，這表明相比于VGG來說，層數(shù)更深的ResNet50殘差網(wǎng)絡(luò)更有利于風(fēng)機葉片表面的特征信息提取。從各類型缺陷的檢測效果來看，除表皮脫落和結(jié)構(gòu)破損缺陷外，本文算法對其余缺陷的檢測表現(xiàn)均已達(dá)到最優(yōu)。改進(jìn)的 SSD 算法一定程度上提升了網(wǎng)絡(luò)整體的檢測能力，各類型缺陷與綜合檢測準(zhǔn)確率均獲得最佳效果，因此可選擇該網(wǎng)絡(luò)來完成風(fēng)機葉片缺陷的檢測任務(wù)。

表5 SSD模型改進(jìn)檢測效果比較Tab.5 Comparison of SSD model improvement detection effects

利用改進(jìn)的SSD模型對風(fēng)機葉片缺陷測試集中的檢測結(jié)果進(jìn)行可視化，選取不同類型缺陷的葉片圖像的部分檢測結(jié)果如圖7所示。可以看出，在檢測模型作用下，風(fēng)機葉片圖像內(nèi)所包含的表面缺陷位置、類型及其置信度均在圖像上得到展示。

圖7 模型檢測效果示意圖Fig.7 Example of model detection effect

4 結(jié) 論

本文主要針對無人機巡檢場景下風(fēng)機葉片表面缺陷目標(biāo)檢測中存在的多尺度問題，提出了一種基于改進(jìn)SSD算法的缺陷圖像目標(biāo)檢測方法。該方法通過替換原有網(wǎng)絡(luò)框架中的特征提取網(wǎng)絡(luò)VGG為殘差網(wǎng)絡(luò)ResNet50，來完成更深層次的特征信息提取任務(wù)，從而達(dá)到提高視覺缺陷檢測效果的目的。本文方法建立在真實環(huán)境下的風(fēng)機葉片表面缺陷數(shù)據(jù)集上，其綜合平均準(zhǔn)確率mAP@.5可以達(dá)到84.29%，且在各類型缺陷下均表現(xiàn)出良好的檢測性能。研究結(jié)果表明，所提出的算法具有較高的精度，識別缺陷類型較為全面，能滿足風(fēng)力發(fā)電機葉片缺陷檢測的基本要求。結(jié)合當(dāng)前對風(fēng)機葉片缺陷的視覺檢測，可應(yīng)用于風(fēng)電場陣列攝像機和無人機等數(shù)據(jù)采集設(shè)備的后期檢測系統(tǒng)，通過進(jìn)一步完善無人機巡檢流程與相關(guān)檢測算法，為風(fēng)機葉片表面缺陷的快速自動檢測提供解決路徑。