基于遷移學習的風力發電機葉片裂縫識別*

劉艷霞, 丁小燕, 方建軍

(1.北京聯合大學 城市軌道交通與物流學院,北京100101; 2.河北省科學院地理科學研究所 地理信息開發應用研究中心，河北 石家莊 050000)

0 引 言

風力發電對治理大氣霧霾、調整能源結構和轉變經濟發展模式意義重大。風機葉片是風力發電機組的關鍵部件之一,因長期暴露在室外惡劣環境中,難免出現不同程度的損傷。

目前常用的無損檢測方法X射線、超聲波、聲發射、光纖傳感器、紅外熱成像檢測技術等[1～3],適用于風機葉片出廠前質量檢測,并不適合安裝位置高且處于服役過程中的風機發電葉片。文獻[4]用圖像自動識別方法檢測X射線焊縫缺陷,提高了檢測效率。

隨著深度學習的迅速發展,涌現出很多性能優異的圖像檢測和分類模型,如Faster RCNN(faster region-convolutional neural network)[5]、R-FCN(region-based fully convolutional networks)[6]、SSD(single shot mutibox detector)[7]和YOLO(you only look once)[8]。這類方法用于風機裂縫自動檢測可有效提高工作效率,但樣本標注量大、機器配置要求高,訓練時間長。遷移學習用在海量數據集上訓練好的模型對小樣本進行特征提取,再利用提取的特征微調針對具體任務設計的全連接網絡參數。這大大降低了深度網絡訓練的難度,可以解決小樣本分類問題。

文獻[9,10]對遷移學習的歷史、分類和挑戰進行了詳細闡述。文獻[11]提出基于inception v3模型,利用遷移學習對德國交通標志識別基準(GTSRB) 進行識別,提高了交通標志識別的精度。文獻[12] 提出一種基于遷移學習的全連接神經網絡小樣本舌象分類方法,準確率達90 %,且訓練時間明顯縮短。文獻[13]基于SSD和YOLOv2模型進行遷移學習,實現了牽引變電所視頻圖像中高壓開關柜的儀表、分合指示燈狀態、隔離開關分合狀態的自動識別。文獻[14] 提出一種基于遷移學習的卷積神經網絡電纜隧道銹蝕識別算法,解決了訓練樣本不足、訓練時間冗長的問題。文獻[15]提出一種將顯著性檢測和遷移學習相結合的方法,提高了花卉分類準確率。上述研究中除遷移模型外的全連接層設計基本采用反向傳播(back propagation,BP)神經網絡,需要迭代訓練。

本文提出設計一種基于極限學習機(extreme learning machine,ELM)的全連接層,在保障風機葉片裂縫檢測精度的同時可進一步提高訓練速度。

1 數據集

利用深度學習進行風機葉片檢測,需要大量帶類別標簽的風機葉片裂縫圖片作為訓練集、驗證集和測試集。但到目前為止全球還沒有公開的、帶類別標簽的風機葉片圖像數據集。

考慮到風機葉片裂縫形態和土地、墻體裂縫有很大相似之處。設計爬蟲程序從網上抓取大量裂縫和非裂縫圖片,構建帶標簽的20 000張預訓練數據集,用于深度模型預訓練,對風機葉片裂縫預測問題先形成一個大概的印象。

經過預訓練的網絡還需要高質量的風機葉片數據集進行參數優化。該數據集獲取困難,樣本量小,而且裂縫圖片數量遠小于無裂縫圖片數量,類別之間存在較大差異會影響分類器性能。本文通過翻轉、旋轉、縮放、裁剪、放射變換、高斯噪聲、顏色擾動等數據增強技術,擴展數據集圖片達2 000張。

2 遷移學習

首先將在ImageNet上訓練好的Inception v3模型參數遷移到風機葉片分類任務中,提取風機葉片圖像特征,得到2 048維的特征向量。然后把特征圖輸入全連接網絡,訓練網絡參數對這些特征向量進行二分類(有裂縫圖片和無裂縫圖片)。全連接網絡設計分別采用BP神經網絡和超限學習機實現。

2.1 基于BP神經網絡的全連接層

典型的三層BP網絡就可以實現較高的逼近精度,其網絡結構如圖1(a)所示。其中,wij表示輸入層第j個神經元與隱含層第i個神經元間的輸入權值,βij表示隱含層第i個神經元和輸出層神經元間的輸出權值,bi表示隱含層第i個神經元的閾值。隱含層使用ReLU激活函數,輸出層使用Softmax函數。

神經網絡訓練的目的就是根據訓練樣本集,找到使交叉熵損失L最小的輸入權值wij、輸出權值βij和偏置bi。

式中yj為神經網絡的輸出,tj為樣本數據的標簽。正向傳播過程的網絡輸出為

2.2 基于ELM的全連接層

ELM算法無需對隨機初始化的wi和bi進行調整,也沒有輸出層偏置,僅通過正則化原則計算輸出權值βi,即可逼近任意連續系統,幾乎不需要學習。其網絡結構如圖1(b)所示。

圖1 二種網絡結構

假設隱含層有L個神經元,訓練集包含N個不同樣本(xi,yi),若采用非線性激勵函數g(x),可以零誤差逼近來自同一連續系統的N個輸入樣本,使

式中wi=(wi1,wi2,…win),xj=(x1j,x2j…xnj)T，則式(3)可改寫為

Y=Hβ

(4)

令ELM網絡的輸出等于樣本標簽T,則

T=Y=Hβ

(5)

多數情況下,隱含層神經元的個數L遠小于訓練樣本的個數N,因此式(5)的解為

根據最小范數解準則,式(6)存在極小范數最小二乘解

(7)

式中H+為輸出矩陣H的廣義逆。

2.3 遷移學習網絡架構

包含inception v3和全連接層的遷移學習整體網絡架構如圖2所示。左側為在ImageNet數據集上訓練好的深度卷積Inception v3模型卷積和池化部分,具有提取圖像特征的能力。保持其結構和參數不變用于提取風機葉片的圖像特征(瓶頸層輸出即為提取的圖像特征)。右側為自己設計的全連接網絡,本文分別采用如圖1所示的BP神經網絡和ELM超限學習機。

圖2 遷移學習整體網絡架構

用Inception v3模型提取的風機葉片圖像特征微調全連接網絡,進行小樣本風機葉片分類(有裂縫或無裂縫兩類),分類流程如圖3所示。

圖3 風機葉片分類流程

3 實驗分析

3.1 全連接層網絡對比

為驗證如圖1所示的全連接網絡分類效果,本文利用Python和開源深度學習框架TensorFlow搭建網絡。首先用20 000張的大型預訓練數據集進行迭代訓練。隨著迭代次數增加,基于BP神經網絡的全連接網絡模型精度如圖4(a)所示,迭代超過1 000次后基本平衡,預測準確率達68.6 %。

圖4 基于BP神經網絡全連接層預訓練和調優結果

再用2 000張的實際風機葉片數據集對基于BP神經網絡的全連接網絡進行調優調。隨機抽取數據集的90 %作為訓練集,剩余的10 %為測試集。隨著迭代次數增加,基于BP神經網絡的全連接網絡預測精度如圖4(b)所示。由于是在預訓練參數的基礎上繼續調優,隨著迭代次數增加,準確率進入平衡狀態較快,迭代500次后預測準確率基本穩定在90 %左右。

基于ELM超限學習機的全連接網絡可以利用最小二乘直接確定參數,不需要迭代,所以無法和圖4進行對比。表1給出了這兩種算法經過實際風機葉片數據集調優之后各項指標的對比結果。

表1 兩種全連接層性能對比

表1中的時間是針對2K數據集,在處理器Intel(R) CPU E3-1050M v6 @3.00GHz、內存8GB、GPU 4GB的筆記本上訓練用時?；贓LM超限學習機的全連接網絡因為不需要迭代訓練,用時僅為0.165 s；基于BP神經網絡的全連接網絡在學習率為0.01,每批次樣本量為10,迭代訓練2 000次的情況下用時146.29 s,是基于ELM超限學習機的近千倍。表1中其他指標相差不大,由此可見,針對本文的應用場景,采用ELM超限學習機構建遷移學習中的全連接層是可行的,而且速度更快。

3.2 收斂精度對比

為進一步驗證提出方案在速度和識別準確率上的優勢,本文引入經典的目標檢測識別算法Faster R-CNN和Yolo v3,與本文提出的方案進行對比。首先把20 000張的大型預訓練數據集作為訓練集進行迭代訓練,2 000張的實際風機葉片數據集作為測試集。隨著迭代次數增加,模型精度變化曲線如圖5(a)所示。由圖5(a)可以看出Faster R-CNN和Yolo v3的收斂速度都低于遷移學習,迭代到2 000次時還沒有完全收斂,準確率也低于遷移學習方法,要提高模型精度需要花費更長的訓練時間。

圖5 遷移學習效果

然后再用2 000張的實際風機葉片數據集分別輸入上述算法模型進行調優。隨機抽取數據集的90 %作為訓練集,剩余的10 %為測試集,隨著迭代次數增加,模型精度變化曲線如圖5(b)所示。Faster R-CNN和Yolo v3的收斂速度和網絡精度都低于遷移學習,這主要是因為其需要調整網絡各層的所有參數,很難在較少的迭代次數內學習到更好的參數,而遷移學習方法所用的模型基本上是已經訓練好的,只有全連接部分需要調整,可以在短時間內達到較高的網絡精度。若遷移學習的全連接部分采用ELM超限學習機設計,訓練速度還可以大大提高,這在4.1節已經說明。由于ELM超限學習幾乎不需迭代訓練,沒有在圖5中表示。

4 結 論

遷移學習方法不僅比優秀的深度學習檢測模型Faster R-CNN和Yolo v3收斂速度更快,而且在小樣本任務中網絡訓練可達到更高的精度。另外遷移學習中的全連接層網絡結構相對簡單,采用ELM超限學習機設計全連接層比基于BP神經的全連接層在保證精度的情況下可以縮短上千倍的訓練時間,非常適合于對實時性要求較高的應用場景。這為遷移學習的應用提供了一種新思路。