基于改進Deeplabv3 +網絡的線纜表面缺陷檢測研究①

陳 亮 楊賢昭 劉惠康

(武漢科技大學冶金自動化與檢測技術教育部工程研究中心 武漢430081)

0 引言

近年來,我國智能機器人、通訊、智能家居等行業迅速發展,電纜作為一種傳輸電(磁)能、信息和實現電磁能轉換的重要線材產品,是這些行業發展的必需品。線纜的發展成為這些行業的鋪墊,其使用頻率逐漸增加,這需要嚴格把關線纜質量。由于線纜外表主要起絕緣、防水、防潮等作用,所以線纜外表檢測尤為重要,同時線纜外表也是線纜質量的一個重要指標。它的缺陷主要由于生產設備、生產方式、安裝方式、人為因素等原因產生,這些缺陷會造成產品質量得不到保障、施工人員人身安全受到影響、商業經濟受到損失等危害。線纜表面缺陷相比墻面和瀝青地面產生的裂紋縫隙更小,采用同樣方式采集的圖像信息更少,得到的分割結果相對較差,這將需要獲取更多的圖像信息。線纜表面后期檢測一般情況下處于高空中,相比于布匹、軌道缺陷的檢測,線纜表面的圖像信息不易獲取。

目前線纜表面缺陷的主要檢測方式為人工檢測,但這樣的方式誤檢率太高,不能滿足一些特殊行業的要求。而且如果針對處于高空中的線纜,采用人工檢測將會存在安全隱患,因此,為了降低檢測目標的誤檢率和保證安全性,利用機器視覺對圖像進行判斷是十分重要的。

國內外已有部分學者基于機器視覺對線纜缺陷進行研究,其中喬湘洋等人[1]利用改進的灰度均值和改進的雙邊濾波與原缺陷圖像進行差分,實現圖像分割,使其在復雜環境也能被很好地處理。王海芳等人[2]通過改進高斯濾波算法來建立自適應模板,比較原圖和模板的Pearson 相關系數來判斷缺陷。張俊[3]運用線纜圖像的灰度均值垂直投影曲線與其二次擬合曲線方差均值來對圖像進行判斷。Gao 等人[4]利用數學幾何和線性插值法將電纜轉換為平面,再根據圖中針孔灰度特征用灰度閾值和梯度幅度來進行判斷。同時也有學者使用深度學習的方式來處理裂紋,其中Song 等人[5]用YOLO 算法來檢測具體的缺陷位置,后期對具體位置做出量化,但這是針對混凝土裂紋來進行處理。以上處理方式一部分是基于非學習型圖像算法,其檢測速度上較好,但在某些復雜情況下其準確性相對較低;另一部分是基于深度學習算法處理混凝土裂紋,混凝土裂紋相較于本文線纜表面缺陷更容易被識別,有更顯著的裂紋缺陷。基于這種情況本文考慮采用改進Deeplabv3 +網絡對線纜表面缺陷進行識別,目前有很多學者對Deeplabv3 +進行研究,Deeplap3 +的原型是Deeplabv1。Deeplabv1 是采用深度卷積神經網絡(deep convolutional neural networks,DCNNs)實現對圖像的分割。Chen 等人[6]在Deeplabv1 的基礎上進行多尺度的采樣,形成了空間金字塔結構(atrous spatial pyramid pooling,ASPP),產生了Deeplabv2。薛飛等人[7]指出,相比于Deeplabv2,Deeplabv3 改進了串聯結構,形成更深結構的空洞卷積,從而進一步提升平均交并比(mean intersection over union,MIOU)的值。Zhang 等人[8]在Deeplabv3 的編碼基礎上添加了一個解碼過程,形成Deeplabv3+,使更多的圖像信息被利用。其中有一些學者對Deeplabv3 +進行了改進,Bhakti 等人[9]改變空間金字塔結構降低膨脹率,采用MoblieNetV2 輕量化架構,使處理圖像的速度加快。王亞剛等人[10]在解碼器部分采用3 層可分離卷積,結合對數據集做預處理,使其結果較好。劉致驛等人[11]將空間金字塔結構中除空洞率為1 外的其他3 個空洞卷積兩兩連接,取得了較好的效果。

1 基于改進Deeplabv3 +網絡的線纜缺陷分割算法

1.1 Deeplabv3 +算法

Deeplabv3 +是圖像分割的一種算法,它能對圖像進行像素級分割,這使得它在圖像分類上效果較好,它比Deeplabv3、Deeplabv2、Deeplabv1 增加了解碼器結構,形成了編碼器-解碼器結構,這樣能收集更多的像素信息,使分割出來的圖像準確率更高。圖1 所示是Deeplabv3 +網絡對圖片識別的過程。

圖1 Deeplabv3 +網絡結構圖

圖中首先經過編碼器部分,這部分先經過主干網絡Xception,其中主干網包括65 層,引用殘差網絡結構,將可分離卷積進行串聯,形成深度可分離卷積,輸出信號進入空間金字塔結構。具體的網絡層分布如圖2 所示。

圖2 Xception 網絡結構圖

從圖1 中可以看出,這里是4 個空洞卷積,膨脹率分別是1、6、12、18,與池化層一起組合成空間金字塔結構(ASPP)。假設表示卷積操作,其中下標k表示卷積核大小,上標r表示空洞率的大小,用G(x) 表示池化操作,那么ASPP 的輸出信息如式(1)所示。

ASPP輸出信息Y經過1 ×1 的卷積核將通道變成一個,這是Deeplabv3 +的編碼部分。

解碼器部分從主干網絡Xception 里面提取低信息的圖片,這樣處理使分割出來的圖片邊緣效果更加清晰。在編碼器中出來的圖像信息進行4 倍雙線性插值上采樣來提高圖片的分辨率,然后將Xception 里面提取的信息和上采樣的圖像信息進行組合,輸出信號經過3 ×3 的卷積核,最后將信息通過4 倍雙線性插值上采樣得出分割的圖像。

由于本文的數據集是線纜表面缺陷,有些線纜表面缺陷是小裂紋,原始Deeplabv3 +的ASPP 的空洞率間隔大會導致圖像分割斷層,且雙線性插值上采樣會造成信息量少,使圖像信息獲取不完整。

1.2 改進Deeplabv3 +算法

針對上一節提出的問題,本文在Deeplabv3 +的基礎上進行兩方面的改進。

首先,原始空洞卷積的卷積率間隔較大,使輸出的圖像變得很稀疏,導致一些局部信息丟失,為了解決這個問題本算法提高了ASPP 里面空洞卷積的卷積率密度,具體改進如圖3 所示。

圖3 本文算法結構圖

從圖3 中可以看出,將ASPP 中的空洞卷積增加到8 個來獲取更多圖像信息,這樣能盡量減少信息的丟失,確保識別圖片的相對準確性。相比于Deeplabv3 +,ASPP 輸出信息如式(2)所示。

比較改進前和改進后ASPP 輸出的信號Y和Y1,不難看出Y1能獲取更多的圖像信息。一維情況下空洞卷積的具體操作如式(3)所示。

我們知道在無人機中有一個攝像機是搭載高清攝像機，若把其使用在飛行控制系統與地面控制系統之中的話，能夠取得較好的效果，其一，基于使用此種攝像機，能夠靈活轉動攝像頭完成拍攝工作，使拍攝數據圖片成像更加清晰，以及清楚看到地形的層次分面與色彩層級。基于此，促進土地整治項目工作順利完成。

其中,y[i] 是輸出信號,x[i] 是輸入信號,w[p] 是卷積核,r是空洞率,p是位置,P表示卷積核的大小。空洞率為r時,則像素為第一個位置、第r +1個位置以及依次加r的位置與對應的卷積核相乘后累加,相當于在卷積核中插入r -1 個零元素,當卷積核為k時,其感受野大小如式(4)所示。

當空洞率為2 且卷積核為3 ×3 時,則其感受野為5。此處的感受野擴張和Deeplabv3+是相同的運算。

在ASPP 中本實驗采用平均池化,取周圍像素點的均值,這樣可以表達所有像素點的信息。同時在卷積后面加1 ×1 的卷積是為了增加整個系統處理非線性對象的能力,使整個系統在面臨較復雜的環境時仍然有較高的準確率。具體計算卷積輸出的形狀大小如式(5)和式(6)所示。

其中H、W是輸入信號的大小,FH、FW是濾波器的大小,OH、OW為輸出信號的大小,P是填充,S是步幅,依據以上公式,當有輸入信號的大小、濾波器大小、填充和步幅時就能知道輸出信號大小。

其次,在Deeplabv3 +網絡中采用兩次雙線性插值上采樣,雙線性插值的具體矩陣如式(7)所示,以(0,0)、(1,0)、(0,1)、(1,1)為例,在這個正方形里面進行x軸和y軸方向上的插值。

假設x,y分別是目標點的x軸坐標和y軸坐標,當在(0,0)、(1,0)、(0,1)、(1,1)中間進行插值為(x,y) 時,這個點與(0,0)之間的關系為f(0,0)×(1-x)×(1-y),與(1,0)的關系為f(1,0)× x ×(1-y),與(0,1)的關系為f(0,1)×(1-x)×y,與(1,1)的關系為f(1,1)× x × y。

從公式中可以得出,目標點的灰度值是由周圍4 個像素灰度值取平均得到的,這種方式考慮了周圍像素值大小,但是沒有考慮相鄰點變化率影響,會使放大后部分細節信息丟失。針對這一問題,本文采用圖2所示的方式,串聯兩個3 ×3 的卷積和一個1 ×1 的卷積然后并聯一個同樣的結構,這樣能減少信息丟失。

圖4 分割結果圖

依據分割結果可以看出,Deeplabv3 +能分辨出大致的缺陷,但相對較淺的地方并沒有本文改進的算法好。再將兩種方法的精確度和MIOU 進行對比,具體的實驗數據如表1 所示。

表1 網絡結構數據對比

從上述的結果可以看出,改進的Deeplabv3 +相比原始Deeplabv3 +網絡有更好的準確性和MIOU,更符合工業的需求,在線纜安全方面也有了更高的保障。

1.3 本文算法流程

圖5 所示是本文算法流程圖。

圖5 本文算法流程圖

從圖中可以看出,先將線纜圖片用Labelme 軟件制作成VOC 的格式標簽,里面包含了訓練集、測試集和驗證集,這樣做是為了使Deeplabv3 +網絡能通過這些標簽來識別圖片信息。在讀取信息后,需要做訓練前的準備,調節具體的參數,用訓練集訓練出網絡模型,之后用驗證集通過MIOU 和精確度P的數據找到此時相對最優模型。如果驗證出MIOU和精確度P相對原始Deeplabv3 +相差較大,則需要返回,繼續調節參數,當達到理論標準值后保存此時的最優模型,最后運用最優的模型對測試集進行測試并獲得結果。其中具體的MIOU 和精確度P公式如式(8)和式(9)所示。

式中TP是被正確分割的線纜缺陷像素數目,FP是被錯誤分割為缺陷背景的像素數目,FN是錯誤標記為背景的像素數目。MIOU 可以用圖6 表示,真實值與預測值的交集比上真實值預測值的并集減去交集累加求平均,精確度P就是預測正確的占整個預測樣本的值。

圖6 真實值與預測值圖示

2 實驗分析

本實驗共采集實際線纜表面缺陷圖300 張,通過Labelme 將數據制作成可識別的標簽,數據的類別分為凹槽、鼓包、裂縫和背景4 類。本文實驗圖片由智能機采集,經過程序處理后圖片大小為513 ×513 像素,本文改進Deeplabv3 +網絡算法程序是在Windows10 系統、顯卡8 GB 下使用Pytorch 框架實現的。

實驗利用本文提出的改進Deeplabv3 +算法模型來識別線纜表面缺陷圖,并將其與Canny 算子、Sobel 算子、OTSU 閾值割、最大熵閾值分割算法分析結果進行對比,5 種算法分析結果如圖7 所示。

圖7(b)表明使用傳統的Canny 算子[12]分割能夠識別簡單的缺陷,如單個凹槽、鼓包等,但線纜表面缺陷較淺時很難正確地識別。對比圖7(b)和(c)可以看出,雖然Sobel 算子[13]效果比Canny 算子要清晰,但對于線纜上比較淺的缺陷依然無法清晰識別。圖7(d)中OTSU[14]閾值分割的結果信息量很少,只有鼓包這種狀態能被清晰識別,其狀態的缺陷都不能被有效地識別。從圖7(e)中可以看出,最大熵閾值分割[15]效果得到的信息量也很少,只能識別鼓包。圖7 (f)是本文算法分析結果,相比其他方法,凹槽、鼓包、裂縫和復合的環境都能被清晰有效地識別出來。從以上對比實驗可以看出,改進算法面對各種缺陷情況都能準確地識別目標,相對于其他算法有更好的準確性。

圖7 算法對比

3 結論

本文針對線纜缺陷檢測精度問題提出了改進的Deeplabv3 +算法,數據處理部分采用Labelme 進行數據集的標注。在網絡結構部分將ASPP 中的空洞卷積數量翻倍并在其后增加一個1 ×1 的卷積處理環節解決了輸出圖像可能斷層問題和增加系統處理非線性對象的能力。在解碼過程中引入并聯多層3×3 的卷積解決了上采樣部分信息丟失問題。實驗結果表明,改進算法在精確度、平均交并比方面比原始Deeplabv3 +效果更好。相較于其他傳統算法,改進Deeplabv3 +算法雖然在檢測精度上表現更好,但是仍然有很多問題需要解決,如本實驗相機像素相對較低會影響識別的結果,同時本文算法相對復雜且運算量大,在圖片反光或者惡劣環境時分割效果不是很突出。未來的研究將關注如何優化數據以及算法來進一步提高線纜缺陷的檢測效果。