基于非局部U-Net 模型的汽車零部件缺陷分割算法

孫繁榮，肖楠，吳月新

（工業互聯網創新中心（上海）有限公司，上海 201303）

隨著卷積神經網絡在圖像處理領域的發展[1]，深度學習算法越來越廣泛地應用于缺陷檢測分割。現階段流行的深度學習分割算法分兩種，分別是由Long 等提出的基于全卷積神經網絡模型的語義分割算法[2]以及Ronneberger 等提出的針對醫學圖像的U-Net 分割算法[3]。但這些方法都存在兩個問題，它們都采用自然圖像的語義分割模型，難以滿足缺陷分割的特殊性。另外這些模型在處理淺層和高層特征時采用直接連接的方法，缺乏對特征的充分利用。

為解決以上問題，提出了一種新模式的缺陷分割模型，引入針對缺陷圖像的規范化非局部模塊，可以更好地獲取高層特征，保存缺陷圖像的空間信息，最終將規范化非局部模塊應用在一個編碼解碼的軸套缺陷分割模型上，并取得良好的檢測分割結果。

1 方法

1.1 數據預處理

采用麻省理工的開源軟件Labelme 對汽車零部件進行了樣本的標記，該軟件可以很好地把汽車零部件中的缺陷標記出來。缺陷區域標記的過程如圖1 所示。

圖1 分割區域提取過程示意圖

在理想狀態下，用深度學習算法進行汽車零部件缺陷的分割，需要大量帶標簽的圖片。但是在實際情況下往往很難滿足這種要求，汽車零部件生產制造過程中缺陷的零件占比較少，帶缺陷的圖片很難收集到。收集到缺陷零部件的缺陷圖片以后，還需要大量的人工進行標記，這種標記方法效率低下，也很難得到大量的數據。因此在模型訓練前需要對標注好的汽車零部件數據進行數據增強操作，這其中包括圖像裁剪、圖像旋轉、圖像仿射變換以及圖像上下鏡像翻轉。這樣不僅可以大大增加訓練數據集，同時也緩解了模型在訓練過程中出現過擬合的問題，可以增強模型的泛化能力。數據增強后的圖片如圖2所示。

圖2 數據增強

1.2 基于非局部U-Net的深度學習模型構建

針對軸套的缺陷分割檢測，郭瑞琦等提出的基于U-Net 的汽車輪轂缺陷自動分割算法[4]，柳峰等利用金字塔場景解析網絡(PSPNet)進行了導光板缺陷檢測[5]，Shuang 等提出基于多尺度卷積消噪自編碼網絡模型的織物疵點自動檢測方法[6]，以及Tabernik 等提出的在金屬表面的缺陷檢測[7]，都具有較好的引導意義。

Ronneberger 等為了提高語義分割準確度，使用跳躍連接的方法將淺層特征和高層特征連接后得到U-Net 模型[3]。U-Net 最初應用于醫學圖像分割領域，在醫學圖像中感興趣區域和不感興趣區域差別很大，因此在分割時只要關注感興趣周圍的區域，但是工業產品缺陷分割中由于分割的感興趣區域需要考慮整個網絡的上下文信息。因此為了更好地分割汽車零部件缺陷，文中對U-Net 網絡進行了改進。

1.2.1 Non-local 網絡模塊

在計算機視覺任務中，捕獲長距離依賴關系是很重要的。在卷積神經網絡中往往通過堆疊多個卷積模塊以形成大的感受野來捕獲長距離依賴關系。但是這種方法存在3 個不足：

1）捕獲長距離依賴關系的效率太低。

2）在網絡很深的情況下，訓練過程中容易出現梯度爆炸和梯度消失的情況。

3）局部操作很難滿足在圖片中長距離之間來回傳遞信息。

Wang Xiaolong 等提出基于圖片濾波領域的非局部均值濾波操作思想[8]，這是一個簡單、高效、即插即用的非局部操作算子，它可以捕獲一段時間、空間和時空的長距離依賴關系。相比于不斷堆疊卷積核，非局部操作非常高效地直接計算時間與時間位置以及時間與空間位置的關系。顧方霖在非局部信息的圖像語義分割研究[9]，以及宋小鵬等在結合局部和非局部信息的FCM 圖像分割算法[10]的文章中都展示了非局部操作能夠有效保證輸出尺度不變的優點。

在語義分割任務中使用非局部操作可以提高網絡的分割準確度，Zhen zhu 等使用一種非對稱的非局部操作來簡化，從而提高非局部網絡的有效性[11]。非局部網絡結構如圖3 所示。

圖3中F、Q、W表示卷積核為1×1的卷積操作，MU表示矩陣乘法操作，Scale 表示規范化操作。Softmax表示Softmax 激活函數，ADD 表示矩陣加法操作。

圖3 非局部網絡結構

非局部的函數的數學公式可以定義為:

相比于標準的非局部網絡模型，加入了規范化操作，這是因為在工業生產過程中汽車零部件無法保證每一個樣品都一模一樣，加入規范化操作使得照片的信息特征分布類似，可以更好地加速整個網絡的收斂過程。

1.2.2 非局部U-Net網絡結構設計

U-Net 網絡結構是由Ronneberger 等提出的用于生物醫學圖像的語義分割網絡[3]，朱輝等將其用于肺結節檢測[12]，徐光柱等將其用在視網膜血管檢測上[13]，袁甜等在肺部CT 圖像的研究也都取得了良好的效果[14]。由于其簡單易實現的特點，使得U-Net 網絡在不同應用領域有著十分重要的作用。

醫學圖像分割與汽車零部件缺陷圖像分割類似，于是將U-Net 結構應用于汽車零部件圖像缺陷的分割，但是汽車零部件相比于醫學圖像存在一些特性，例如汽車零部件圖像缺陷往往會存在多個區域，因此為了更好地對汽車零部件缺陷進行分割，在傳統的U-Net網絡結構中引入了規范化非局部模塊，非局部U-Net網絡整體結構如圖4所示。非局部U-Net網絡由三部分組成，其中左邊的結構為編碼結構，輸入圖像后進行下采樣，再經過上采樣生成特征圖，然后輸出特征圖標簽，中間使用一個規范化非局部模塊進一步提取特征，此外也使用跳躍連接方式將編碼與解碼結構級聯，使得淺層特征可以更好地參與到最后的圖像預測中。圖4 可以看出非局部U-Net 網絡結構可以分成3 個部分，分別是特征編碼、特征轉化、特征解碼。其中特征編碼階段每一個小的模塊主要由3 個3×3 的卷積層和一個2×2 的池化層組成，特征編碼的目的是收縮網絡，主要從高維度空間提取特征信息同時負責進行下采樣操作。利用一個規范化非局部（scale non-local）模塊進行特征轉化，這是因為特征編碼階段通過多層卷積池化堆積獲得的特征缺乏捕獲長依賴性信息的能力，導致網絡的魯棒性偏差，需要通過非局部網絡來提高網絡魯棒性，由于特征編碼階段采用了多次池化操作，特征圖分辨率從原來400×400 縮小到了25×25，在特征解碼過程中則使用了轉置卷積操作，通過逐層解碼的方式，將特征還原成原來的分辨率。在上采樣時，每個特征解碼輸出特征圖與左邊特征編碼收縮網絡的每個下采樣對應，并且采用了跳躍連接的方式聯合在一起，這樣可以填補高層特征經過多次卷積池化丟失的位置信息。在網絡的末尾使用1×1 卷積層，然后接Sigmoid 函數，將得到的特征圖映射到每一個像素對應的類別，在這里由于汽車零部件缺陷的分割屬于兩分類問題，因此最終輸出的圖像中每個像素點對應的元素為0或1。將該圖像作為網絡的最終輸出概率圖，每一個像素點元素值表示該點存在缺陷的概率。

圖4 非局部U-Net 網絡整體結構

2 實驗結果分析

實驗的數據來自實際生產過程中獲得的汽車零部件圖像，分辨率分別為672×672、652×652、664×664。原始樣本數據包含156 張包含缺陷的數據，對數據進行增強，選擇120 張圖像進行擴增，之后汽車零部件缺陷圖像增到了2 028 張，將總樣本的80%作為訓練集，剩下的20%作為驗證集。同時利用剩下的36 張缺陷部分構造測試樣本，測試算法的分割精度。通過Dice距離來衡量兩個集合的相似性，Dice系數定義如下：

A與B表示兩個集合，代表兩張圖片，分子為這兩個交集數量的兩倍，分母表示兩個集合的和。Dice取值范圍為0～1，Dice 系數越高代表分割結果越好。

2.1 分割結果

為了驗證該文算法的有效性，計算了汽車零部件測試樣本缺陷平均分割精度，表1為測試樣本Dice系數，圖5 為該文算法和其他算法在部分帶有缺陷的軸套圖像的分割結果。

表1 非局部U-Net網絡和其他算法的Dice 系數

圖5 非局部U-Net 和其他算法在測試樣本的缺陷分割結果

為驗證該文算法在汽車零部件缺陷圖像上的表現，另外選取其他幾種成熟的圖像分割算法與該文算法進行對比，這些算法都是基于圖像塊的卷積神經網絡模型，可以發現標準的U-Net 網絡結構在汽車零部件缺陷分割上取得的Dice 系數為72.26%，而非局部U-Net 網絡達到了81.29%，提升了9.03%。與此同時，表1 中展示了其他深度學習的語義分割算法在測試樣本上的Dice 評價指標，其中和效果相對比較差的FCN8s 算法對比，非局部U-Net 網絡Dice 系數提升了12.63%，可以看出非局部U-Net 在測試樣本上的Dice 系數均高于其他算法，效果比較好[15]。圖5 展示了模型訓練完成以后在測試數據集上和其他成熟的語義分割算法的對比。通過對比可以發現非局部U-Net 網絡結構在汽車零部件缺陷分割細節上要優于其他的成熟的分割網絡。

2.2 可視化訓練結果

非局部U-Net 網絡模型在訓練過程中的損失函數值變化圖如圖6 所示。通過圖6 可以發現,雖然在訓練過程中損失函數的值在一開始有一小段的波動,但總體處于一個下降收斂狀態并在最后趨于穩定不變。說明在當前訓練參數及模型參數設置下,汽車零部件缺陷分割網絡模型的性能接近最優。

圖6 損失函數值變化圖

3 結束語

針對汽車零部件缺陷分割自動化的問題，提出了一種基于非局部U-Net 網絡模型的汽車零部件自動分割算法。通過引入了規范化非局部網絡模塊可以更好地捕捉特征的長距離依賴關系，從而提高了分割的準確度。實驗驗證結果表明，非局部U-Net在汽車零部件缺陷分割任務上比標準的U-Net 網絡表現得更優秀，相比于傳統的汽車零部件缺陷分割，極大地提升了汽車零部件缺陷分割的自動化性能。在時間開銷上相比于傳統的分割算法也得以大大降低，基本滿足工業生產的檢測需求，具有潛在的應用前景。