基于深度學(xué)習(xí)的金屬表面腐蝕等級檢測研究

譚暑秋 石 林 張建勛

(重慶理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院 重慶 400054)

0 引 言

對于電力公司來說,配電箱的使用必不可少。常用的配電箱大多由金屬制造而成,不可避免地存在金屬腐蝕問題。且在金屬箱體腐蝕過程中會發(fā)生多種化學(xué)反應(yīng),進(jìn)而使箱體處于氧化狀態(tài),降低金屬箱體結(jié)構(gòu)的穩(wěn)固性、耐久性,甚至可能會造成配電箱疲勞斷裂。目前存在多種預(yù)防金屬腐蝕的方法,但這些方法并沒有將防腐材料完全浸入箱體,同時并沒有很好地解決箱體受蝕問題。所以有必要對配電箱箱體進(jìn)行定期的防腐處理,從而防止箱體的受蝕。而對于配電箱維護(hù)人員來說,檢測出箱體金屬表面準(zhǔn)確的腐蝕程度信息顯得尤為重要。可以協(xié)助維護(hù)人員做出及時判斷和進(jìn)行相關(guān)的防腐處理。因此能夠快速、精確地檢測到金屬表面腐蝕的相關(guān)信息是本文研究的重點。

目前傳統(tǒng)的金屬腐蝕檢測方法可分為兩類:一類是利用物理、化學(xué)的方法對存在金屬腐蝕現(xiàn)象的金屬制品進(jìn)行檢測;另一類是基于計算機(jī)視覺的檢測方法對類似存在金屬腐蝕現(xiàn)象的金屬制品進(jìn)行檢測。在基于物理、化學(xué)方法的金屬腐蝕檢測中,最早的研究是利用粗糙度測量儀檢測。即通過對比、分析測量試件除銹前后的數(shù)據(jù),獲得金屬腐蝕相關(guān)信息的檢測方法[1]。但這種方法費力、耗時且易受工作人員主觀經(jīng)驗判斷的影響。為了解決該問題,有人將電化學(xué)噪聲技術(shù)[2]應(yīng)用到金屬腐蝕檢測中。該方法通過對接收到的數(shù)據(jù)、信號進(jìn)行分析,從而獲取金屬腐蝕的信息。但該技術(shù)在數(shù)據(jù)的提取及分析、模型的建立和干擾的消除上還沒有形成統(tǒng)一的理論和方法,一些關(guān)鍵技術(shù)還沒有得到較好的解決。基于此,北京航天發(fā)射技術(shù)研究所提出了微波檢測法[3]和基于多功能涂層的腐蝕顯示法[3],該方法能較好地實現(xiàn)金屬腐蝕的無損檢測。但這兩種檢測方法需要準(zhǔn)備較多的材料和設(shè)備,操作起來較為煩瑣,且花費時間較長。

上述方法對于金屬表面腐蝕的自動化檢測效果并不理想,而基于計算機(jī)視覺的金屬腐蝕檢測卻能較好地解決自動化檢測的問題。如Pakrashi等[4]提出了一種基于區(qū)域光學(xué)對比度的腐蝕檢測方法,該方法能檢測和量化鋁表面點蝕的周邊區(qū)域,并能較好地利用邊緣檢測信息對腐蝕區(qū)域進(jìn)行識別。然而并不是所有的腐蝕形式都具有與點蝕相同的主要特征,因此該方法并不適用于其他形式的表面腐蝕。Ghanta等[5]將單尺度Haar小波變換應(yīng)用于RGB子圖像,并將小波域內(nèi)的能量和熵作為分類特征,能較好地檢測出鋼涂層橋梁表面圖像上的缺陷,但該檢測方法對圖像像素有一定的要求。Jahanshahi等[6]提出了基于顏色小波的紋理分析方法,該方法需要完備的紋理和顏色特征信息。即如果沒有提取到最佳腐蝕特征,將會影響腐蝕檢測的準(zhǔn)確性。在民用基礎(chǔ)設(shè)施系統(tǒng)中,有許多基于視覺的自主腐蝕檢測方法。如Idris等[7]提出的基于視覺的管道腐蝕檢測和Ortiz等[8]提出的基于視覺的船舶腐蝕檢測,這些方法需要了解金屬腐蝕形式、特征,并進(jìn)行識別和特征實驗。由于金屬腐蝕具有紋理多樣性、噪聲種類繁多、分布無規(guī)律等特點,傳統(tǒng)的金屬腐蝕檢測算法較難準(zhǔn)確檢測出金屬腐蝕的等級。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[9]是一種包含卷積計算,各個神經(jīng)元分層排列的深度學(xué)習(xí)模型。近年來,CNN在圖像識別[10-11]、視頻處理[12-13]、語音識別[14-15]中取得了較大的成功。目前CNN已被證明可以在ImageNet挑戰(zhàn)中實現(xiàn)人類級別的分類能力[16]。相對于傳統(tǒng)的計算機(jī)視覺檢測算法,CNN能夠從大量的輸入圖像中得到圖像的全部表征信息,避免了復(fù)雜的特征提取過程。而且CNN具有局部感知和參數(shù)共享等優(yōu)點,能夠在學(xué)習(xí)大量特征的同時,縮短處理時間。基于此,本文將采用CNN對多維的金屬腐蝕圖像進(jìn)行處理,同時提取圖像中較豐富的金屬表面腐蝕特征。通過CNN建立模式分類器,結(jié)合腐蝕圖像標(biāo)簽信息能夠?qū)饘俦砻娓g等級進(jìn)行較好的區(qū)分。另外,為了較好地對復(fù)雜圖像進(jìn)行特征提取,本文在創(chuàng)建的CNN模型中加入了SENet[17]模塊。故改進(jìn)的基于CNN模型的檢測方法能夠較準(zhǔn)確地實現(xiàn)金屬表面腐蝕等級的檢測。

1 CNN網(wǎng)絡(luò)模型構(gòu)建

CNN網(wǎng)絡(luò)模型在結(jié)構(gòu)上主要分為卷積層、池化層和全連接層。每層的作用各不相同,其中卷積層通過卷積對輸入圖像進(jìn)行特征上的提取;池化層則是對輸入的特征圖進(jìn)行降維,降低特征圖的尺寸,提升網(wǎng)絡(luò)的計算速度并降低網(wǎng)絡(luò)的過擬合概率;而全連接層則是將所有學(xué)習(xí)到的特征連接起來并將其映射到樣本標(biāo)記空間。基于此,本文提出MS1Net(Multilayer Small One Networks)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型。為了有效地減少網(wǎng)絡(luò)的參數(shù),避免網(wǎng)絡(luò)的過擬合,同時減少網(wǎng)絡(luò)的計算量,MS1Net網(wǎng)絡(luò)模型采用了小型卷積濾波器。同時為了獲取更加重要的金屬腐蝕特征信息,該模型加入了SENet特征提取模塊。而且為了在一定程度上降低數(shù)據(jù)的過擬合,使用Dropout算法[18]。最后使用交叉熵?fù)p失函數(shù),較好地保持模型的收斂性。

1.1 MS1Net卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型

由于原始圖片的分辨率為2 144像素×1 608像素,考慮到計算機(jī)內(nèi)存的消耗,將原始圖片的寬高按比率整體縮小為原始圖片的0.2倍,最終獲得的金屬表面腐蝕圖片形狀參數(shù)為428×321×3。且該網(wǎng)絡(luò)模型使用卷積層、池化層、全連接層的數(shù)量分別為10層、5層、2層。同時在卷積層和池化層之間添加SENet模塊;在第2、4、6、8、10層卷積層、第一層全連接層后面各加一個激活函數(shù);同時在第一層全連接層后面添加dropout。最后通過Softmax輸出金屬腐蝕圖片屬于六個類的概率,每個值的大小范圍為0到1,相加為1。整體模型網(wǎng)絡(luò)結(jié)構(gòu)MS1Net如圖1所示。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)MS1Net

1.2 使用小型卷積濾波器

在本文提出的檢測模型中,使用了多個小型卷積濾波器(卷積層)來代替大型卷積濾波器,即采用了3像素×3像素分辨率的卷積核。盡管較大的卷積核可以帶來較大的感受野,有利于提取金屬腐蝕圖片中的結(jié)構(gòu)信息,但多個連續(xù)的3像素×3像素的疊加卷積層就能近似擁有5像素×5像素的卷積層的感受野,而且減少了網(wǎng)絡(luò)參數(shù)。例如假設(shè)2個3像素×3像素的疊加卷積層的輸入輸出都為C個單位通道,而2個3像素×3像素的疊加卷積層需要的參數(shù)則為18C2。在同樣的情況下單個5像素×5像素的卷積層則需要25C2位參數(shù),增加了大概1.4倍的參數(shù)量。故采用多個小型卷積濾波器在保證網(wǎng)絡(luò)檢測性能的同時可減少網(wǎng)絡(luò)的計算量,進(jìn)而提升系統(tǒng)的檢測效率。

1.3 添加SENet特征提取模塊

針對金屬腐蝕圖片表面腐蝕特征的復(fù)雜性,本文添加了SENet特征提取模塊對各個通道進(jìn)行權(quán)重的分配,如圖2所示。即對于每個通道,用一個權(quán)重來表示該通道在下一階段的重要性,進(jìn)而幫助網(wǎng)絡(luò)獲取較重要的特征信息。該特征提取模塊需將特征圖空間和深度上的信息進(jìn)行融合,通過一系列的卷積層來學(xué)習(xí)層級的樣式和全局的感受野。本文將SENet特征提取模塊設(shè)置在每個卷積層和池化層之間,不僅可以激發(fā)金屬表面的腐蝕信息特征,而且能將金屬表面腐蝕特征之間的差異性放大,有利于更好地區(qū)分金屬腐蝕的程度。另外,在該特征提取模塊中輸入的特征圖尺寸大小W×H×C和輸出特征圖尺寸大小W′×H′×C′在數(shù)值上保持不變,其中:符號W代表特征圖的寬度;H代表特征圖的高度;C代表特征圖的通道數(shù)。SENet的處理過程包括:首先通過一個全局平局池化將輸入的特征圖轉(zhuǎn)化為1×1×C大小的特征圖;再通過第一個全連接層將特征圖的通道數(shù)降到原來的1/r倍,經(jīng)過ReLU函數(shù)激活后通過第二個全連接層將通道數(shù)量恢復(fù)到原來的數(shù)量;然后通過sigmiod函數(shù)得到歸一化的權(quán)重;最后通過Scale操作將得到的權(quán)重分配到各個通道中。

圖2 SENet特征提取模塊

1.4 使用Dropout算法

由于Dropout能夠在一定程度上減少網(wǎng)絡(luò)的計算量,提升網(wǎng)絡(luò)檢測金屬腐蝕程度的效率,故本文在基于CNN的檢測結(jié)構(gòu)中采用了Dropout算法。該算法的具體內(nèi)容即在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中,讓網(wǎng)絡(luò)中的神經(jīng)元以一定的概率在此次訓(xùn)練過程中停止工作。但在下次樣本輸入的時候,由于神經(jīng)元是以一定的概率停止工作,上次暫時不工作的神經(jīng)元在此次的訓(xùn)練過程中可能又開始工作。所以樣本的每次輸入,相當(dāng)于從原始的網(wǎng)絡(luò)中隨機(jī)選取了一個不同的網(wǎng)絡(luò)進(jìn)行訓(xùn)練。因此Dropout可以通過取均值或多數(shù)取勝的方法,在一定程度上降低過擬合的概率。本文在每次訓(xùn)練時讓每個神經(jīng)網(wǎng)絡(luò)單元有50%的概率暫時不工作,這樣可以讓一個神經(jīng)元的出現(xiàn)不依賴于另一個神經(jīng)元,提高網(wǎng)絡(luò)的泛化能力。

1.5 MSINet網(wǎng)絡(luò)深度和卷積層數(shù)確定依據(jù)

本文除了按照以上幾點依據(jù)逐步構(gòu)建MSINet網(wǎng)絡(luò)模型之外,模型中經(jīng)過SENet處理后的特征映射圖大小和經(jīng)過池化層所得到的特征映射圖大小還需要滿足式(1)所表述的計算關(guān)系,這也是確定MS1Net模型網(wǎng)絡(luò)深度和卷積層個數(shù)的主要依據(jù)之一。式(1)中,(Wi-1,Hi-1)表示前一卷積層輸入到本層的特征映射圖,P表示給當(dāng)前特征映射圖添加的邊界寬度,K為當(dāng)前卷積層卷積核的大小,S為池化層的步長,(Wi,Hi)表示當(dāng)前層的特征映射圖經(jīng)過池化后輸出的特征映射圖。

(1)

1.6 MSINet網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)配置

該網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)配置如表1所示。其中:I(Data)層表示網(wǎng)絡(luò)的輸入層,該層為整個網(wǎng)絡(luò)輸入428像素×321像素的三通道彩色圖片;Conv1_1表示第一個卷積層,由32個特征圖譜構(gòu)成,卷積核大小為3像素×3像素;Conv1_2表示第二個相連的3像素×3像素的卷積層,而該層卷積核數(shù)量被設(shè)定為32。由于卷積核數(shù)量需要跟通道數(shù)保持一致,所以其輸出為32個大小為428像素×321像素的特征圖。對于添加的第一個SENet模塊,由于通過SENet處理后的輸出維度跟輸入維度保持一致,所以其輸出是32幅大小為428像素×321像素的特征圖。Pool1表示第一個池化層,輸出維度滿足式(1)所述的邏輯關(guān)系。FC1、FC2均表示全連接層。該網(wǎng)絡(luò)模型最后通過Softmax輸出一維向量,如式(2)所示,其中,qi代表本文設(shè)定的金屬腐蝕圖片的類別。

F={q1,q2,q3,q4,q5,q6}

(2)

1.7 模型優(yōu)化

在理想情況下,人們希望網(wǎng)絡(luò)模型能夠快速地糾正錯誤,從而得到更加準(zhǔn)確的結(jié)果,但在實踐過程中往往難以達(dá)到預(yù)期結(jié)果。損失函數(shù)可以估量預(yù)測結(jié)果和正確答案之間的距離,損失函數(shù)的值越小,模型預(yù)測的效果越好。對于損失函數(shù)的選取,需要依據(jù)具體的網(wǎng)絡(luò)模型和將要解決的問題。

均方誤差損失函數(shù)(Mean Squared Error,MSE)是估量預(yù)測值和正確值之間距離平方的平均值,其表達(dá)式如式(3)所示,其中:q為網(wǎng)絡(luò)結(jié)構(gòu)模型的實際輸出,概率分布p為期望輸出(標(biāo)簽)。回歸損失函數(shù)(Log-Cosh,LC)是估量預(yù)測值和正確值之間距離的雙曲余弦的對數(shù),其表達(dá)式如式(4)所示。這兩種損失函數(shù)的圖形和工作原理有較大的相似度。如果樣本中出現(xiàn)偏離正確答案的預(yù)測值,這兩種損失函數(shù)都會遭受梯度問題,導(dǎo)致學(xué)習(xí)速率下降。且MSE會讓錯誤的分類變得平均,Log-Cosh易受到樣本類別不平衡的影響,這些因素都會降低網(wǎng)絡(luò)模型的整體性能。

(3)

(4)

交叉熵能夠表示兩個數(shù)據(jù)概率分布之間的差異大小,且在神經(jīng)網(wǎng)絡(luò)的反向傳播過程中,交叉熵對于網(wǎng)絡(luò)權(quán)重的更新能起到一定的作用。交叉熵?fù)p失函數(shù)的表達(dá)式如式(5)所示。在MS1Net網(wǎng)絡(luò)模型中Softmax輸出的節(jié)點個數(shù)與分類任務(wù)的目標(biāo)數(shù)相等,如果原始的神經(jīng)網(wǎng)絡(luò)輸出表示為y1,y2,…,yk,Softmax回歸處理后,其輸出表達(dá)式如式(6)所示。此時神經(jīng)網(wǎng)絡(luò)輸出表現(xiàn)為一個概率分布,故可以通過交叉熵?fù)p失函數(shù)來計算預(yù)測結(jié)果的概率分布與正確答案的概率分布之間的距離。交叉熵?fù)p失函數(shù)的Loss對于神經(jīng)網(wǎng)絡(luò)輸出(yi)的梯度滿足式(7)所示關(guān)系。由式(7)可以看出交叉熵?fù)p失最后僅與預(yù)測值和正確值之間的差值有關(guān),能夠避免激活函數(shù)在梯度下降過程中出現(xiàn)學(xué)習(xí)速率降低的問題。綜上所述,本文使用交叉熵?fù)p失函數(shù)來優(yōu)化網(wǎng)絡(luò)模型,可以使網(wǎng)絡(luò)模型得到更高的檢測準(zhǔn)確率。

(5)

(6)

(7)

2 實驗與結(jié)果分析

本文為了對金屬腐蝕等級進(jìn)行較好的檢測及分析,采集了湖北區(qū)域內(nèi)的配電箱金屬腐蝕圖片作為本文的實驗數(shù)據(jù),并對金屬腐蝕的環(huán)境進(jìn)行了簡要分析,進(jìn)而做了兩組對比實驗。第一組實驗將本文用到的損失函數(shù)和其他損失函數(shù)做了綜合性能的對比。第二組實驗對多個網(wǎng)絡(luò)模型進(jìn)行檢測準(zhǔn)確率的對比,驗證本文提出的網(wǎng)絡(luò)結(jié)構(gòu)在金屬腐蝕圖片的檢測準(zhǔn)確率上效果較好。

2.1 數(shù)據(jù)集

本文的實驗數(shù)據(jù)集均來自于湖北電力公司,其中采集到的配電箱金屬表面腐蝕圖片的分辨率均為2 144像素×1 608像素。本文將配電箱金屬表面腐蝕程度設(shè)定為3個等級,即c1、c2、c3。其存在的等級關(guān)系為c1

圖3 部分金屬腐蝕圖片

由于本文的檢測模型是基于深度學(xué)習(xí)的檢測模型,為了獲得較豐富的金屬腐蝕特征,故對原始數(shù)據(jù)集進(jìn)行了必要的數(shù)據(jù)增強(qiáng),從而增加模型的泛化能力。本文采取了比較常用的數(shù)據(jù)增強(qiáng)方法:水平和垂直鏡像翻轉(zhuǎn)、銳化、添加浮雕效果、改變原始圖像像素值和對比度。所有原始圖像進(jìn)行一次數(shù)據(jù)增強(qiáng)為一次循環(huán),循環(huán)多次。本文實驗樣本總數(shù)為4 320幅,另本文將訓(xùn)練集和測試集的分配比例設(shè)定為4∶1,即訓(xùn)練集為3 456幅,測試集為864幅。

2.2 損失函數(shù)的對比實驗及分析

為了實現(xiàn)算法之間的公平對比并防止網(wǎng)絡(luò)到達(dá)誤差閾值內(nèi)而提前結(jié)束訓(xùn)練的情況。MS1Net將網(wǎng)絡(luò)損失函數(shù)的最小值設(shè)為0,每次參數(shù)上的更新即批訓(xùn)練(Minibatch)為32,網(wǎng)絡(luò)迭代次數(shù)(Iterations)設(shè)為400,從而更好地觀察不同損失函數(shù)在迭代次數(shù)增加時損失值的變化情況。本文將交叉熵?fù)p失函數(shù)(Cross Entropy,CE)和均方誤差損失函數(shù)(Mean Squared Error,MSE)、回歸損失函數(shù)(Log-Cosh,LC)分別加入MS1Net卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型中進(jìn)行了對比實驗,其結(jié)果如圖4、圖5所示。

圖4 3種損失函數(shù)loss值對比

圖5 3種損失函數(shù)檢測準(zhǔn)確率對比

結(jié)合圖4、圖5中的loss值和準(zhǔn)確率變化情況可以看出,CE、MSE、LC這3種損失函數(shù)的loss值均隨著迭代次數(shù)的增加而下降。從圖4中可以看到交叉熵?fù)p失函數(shù)loss值下降迅速,且在350次迭代后loss值趨于零,網(wǎng)絡(luò)收斂。但另外兩種函數(shù)的loss值在350次迭代后還有波動。從準(zhǔn)確率的變化情況來看,使用交叉熵的網(wǎng)絡(luò)經(jīng)過訓(xùn)練,預(yù)測準(zhǔn)確率最高能達(dá)到98.44%。實驗表明,基于交叉熵的梯度下降算法更適合MS1Net。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)的對比實驗及分析

在整體網(wǎng)絡(luò)結(jié)構(gòu)這方面,本文選擇了ZFNet(Zeiler and Fergus Networks)、VGG16(Visual Geometry Group Sixteen)和MS1Net進(jìn)行檢測準(zhǔn)確率的對比。ZFNet[19]在網(wǎng)絡(luò)結(jié)構(gòu)上采用了大型濾波器和多層卷積層。VGG16[20]是一個相當(dāng)大的網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)很規(guī)整簡潔,沒有過多的超參數(shù)。專注于構(gòu)建簡單的網(wǎng)絡(luò)結(jié)構(gòu),通過不斷加深網(wǎng)絡(luò)結(jié)構(gòu)來提升性能,但是其訓(xùn)練的特征數(shù)量非常大。考慮到GPU的消耗,在使用VGG16作為對比的時候?qū)⑴?xùn)練(Minibatch)降低了50%,這樣得到的效果更好。在保持迭代次數(shù)一樣的情況下,各個網(wǎng)絡(luò)檢測準(zhǔn)確率對比如圖6所示,不同網(wǎng)絡(luò)經(jīng)過300、350、400次迭代后的具體檢測準(zhǔn)確率及其平均值對比如表2所示。

表2 3種迭代次數(shù)下的檢測準(zhǔn)確率對比表(%)

圖6 4種網(wǎng)絡(luò)檢測準(zhǔn)確率對比

根據(jù)圖6和表2可以看出,MS1Net卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型在添加SENet特征提取模塊后,準(zhǔn)確率有了較大的提升,收益比較大。ZFNet在本文中的檢測準(zhǔn)確率一般,最高準(zhǔn)確率達(dá)到84.33%。VGG16在本文中的檢測準(zhǔn)確率在0～50次迭代之間有很大的波動,在300次迭代后相對穩(wěn)定,最高準(zhǔn)確率達(dá)到93.75%。總體來說,本文提出的網(wǎng)絡(luò)MS1Net卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型在金屬腐蝕圖片的檢測準(zhǔn)確率上效果較好,最高準(zhǔn)確率達(dá)到98.44%。

3 結(jié) 語

本文用深度學(xué)習(xí)的方法實現(xiàn)了配電箱金屬表面腐蝕等級的檢測。通過同一網(wǎng)絡(luò)結(jié)構(gòu)條件下不同損失函數(shù)之間的對比實驗,發(fā)現(xiàn)交叉熵?fù)p失函數(shù)對本文所提網(wǎng)絡(luò)結(jié)構(gòu)有較好的收斂性,loss最低值達(dá)到0.077。通過多個網(wǎng)絡(luò)結(jié)構(gòu)如ZFNet、VGG16和MS1Net的對比實驗,驗證了MS1Net在配電箱金屬表面腐蝕等級檢測上的優(yōu)勢,達(dá)到了98.44%的檢測準(zhǔn)確率。在今后的研究中,可以在網(wǎng)絡(luò)模型MS1Net的基礎(chǔ)上提升網(wǎng)絡(luò)層次,改善網(wǎng)絡(luò)結(jié)構(gòu),提取更豐富且更具代表性的金屬表面腐蝕圖像特征,進(jìn)一步提高檢測準(zhǔn)確率。這也意味著網(wǎng)絡(luò)更復(fù)雜,參數(shù)更多,因此優(yōu)化算法,提高處理速度,也是需要解決的難題。