基于智能視覺的機械零件圖像分割技術

洪慶，宋喬，楊晨濤，張培，常連立

(1. 南京理工大學 機械工程學院，江蘇 南京 210094； 2. 北京航天新風機械設備有限責任公司，北京 100854)

0 引言

隨著計算機技術的飛速發展，圖像分析處理已成為視覺的重要研究方向，在制造裝配領域有著廣闊的應用前景。

傳統視覺算法對于特征十分敏感，而實際的工作環境復雜，光線條件惡劣，傳統算法無法滿足實際生產需要。基于深度學習的圖像處理算法相對于傳統算法具有更高的準確性和穩定性，在制造業應用更加廣泛。蘇朝陽等基于機器視覺，利用圖像處理算法組件分別配置圖像處理鏈，實現了對電容器外觀底部露白缺陷和引腳變形缺陷的檢測[1]。周振等針對圖像目標受環境影響難識別目標的問題，基于深度圖像設計并實現了一種輪廓提取及特征識別的方法[2]。魏中雨等針對制造中零件識別定位以及裝配檢測效率低、準確度差等問題，提出了一種基于深度神經網絡的零件裝配檢測方法[3]。張輝等提出一種基于機械臂和機器視覺的表面質量檢測方法[4]。

在現有技術條件下，預設特征、姿勢再進行工程學分析的方法越來越難以滿足現代制造的裝配質量及效率要求。如何實現裝配實時工程學分析已成為一個迫切需要解決的問題[5]。為提高實時裝配分析的可行性，本文將針對其中零件圖像分割技術展開研究。

1 技術路線

本文實現機械零件圖像分割的技術路線如下：

1) 根據制造過程中零件準確率及速度要求，選取Deeplabv3[6-7]算法模型作為本文機械零件圖像分割的基礎算法。

2) 機械零件數據集的準備。收集大量機械零件相關圖片，并利用標注工具生成圖像掩膜標簽，將數據分為訓練集、驗證集、測試集。

3) 基于Deeplabv3算法模型，加入自定義Encoder-Decoder特征提取模塊，構建改進后的Deeplabv3算法，并命名為Deeplabv3-d。

4) 基于自建機械零件數據集，完成Deeplabv3-d的訓練與測試，并根據測試結果評估算法的實用性。

5) 基于Deeplabv3-d算法，更換不同骨干網絡(mobileNet、Resnet-101)，在自建機械零件數據集上進行性能對比測試。

2 Deeplabv3-d算法原理

2.1 空洞卷積(膨脹卷積)

圖像分割過程中，初始圖像先用卷積網絡層進行特征卷積提取，生成卷積后的特征圖，再由池化層進行最大或平均特征的提取，之后圖像尺寸變為原尺寸的一半，再經過反卷積網絡層將尺寸恢復至原始尺寸，保證提取特征、擴大感受野的同時，還原得到的預測像素信息。

因此圖像分割模塊主要包括兩個部分：1) 通過卷積池化層(即下采樣層)提取圖像特征并保證較大的感受野信息；2) 通過反卷積層(即上采樣層)擴大圖像尺寸并還原需要得到的預測信息。在下采樣—上采樣過程中，很容易出現數據信息丟失、空間結構紊亂、層級結構信息丟失等現象，例如小目標檢測時無法重建完整信息。受制于該問題，圖像分割算法長期處在瓶頸期，而空洞卷積[8]的出現使該問題得到了較好的解決。

圖1是常規卷積和空洞卷積的卷積操作圖[8]，通過對比可知，相比于常規卷積的一次常規感受野卷積，空洞卷積對更大的感受野進行卷積操作，使卷積后的每一個特征點都涵蓋了更廣的信息。

圖1 卷積操作圖

圖1(b)為空洞=2時的空洞卷積操作圖，一般性的卷積映射公式見式(1)：

(1)

其中：r表示卷積步幅即空洞，標準卷積是比率r=1的一種特殊情況。通過更改步幅值(空洞)可自適應地修改卷積層提取特征的感受野。

2.2 深度可分離卷積

深度可分離卷積[9]思想是將標準卷積層分解為深度卷積層、逐點卷積層(即1×1卷積)，在不增加網絡計算復雜度的基礎上，大大增加了網絡深度以及網絡泛化、擬合能力。具體而言，深度卷積針對每個輸入通道獨立執行空間卷積，而點向卷積用于組合深度卷積的輸出[10]。這是一種輕量級的卷積方式，將傳統的多通道卷積模型分解為逐通道卷積+逐點卷積，相比起常規的卷積，其運算成本和計算量都大為降低，實現算法復雜度優化，大大加快了訓練速度。

2.3 Deeplabv3-d

Encoder-Decoder[10]特征提取模塊，在深度神經網絡中常用于圖像分割任務。普通卷積網絡層能夠基于卷積、池化方式編碼多維度信息，通過使用不同尺度、步長的卷積核實現多種速率或多個感受野的變換，并利用最大池化操作來探查傳入特征[7]，而Encoder-Decoder模塊能夠通過特征空間的反向傳播來獲取更為準確的對象邊界。

為優化Deeplabv3圖像分割性能，在原本v3模型中添加Encoder-Decoder特征提取模塊，減少其數據信息丟失、空間結構紊亂、層級結構信息丟失的可能性，改善其對象邊界分割效果。再將深度可分離卷積理論應用于Encoder-Decoder模塊，從而在不增加計算復雜度的基礎上構建出更深網絡的Encoder-Decoder模塊，使得Deeplabv3算法網絡泛化擬合能力大大增加，本文將改進后的Deeplabv3命名為Deeplabv3-d。

改進的Deeplabv3，使用了空間金字塔池化和Encoder-Decoder結構。

本文提出的模型Deeplabv3-d包含來自編碼器模塊的豐富語義信息，而對象邊界提取由簡單而有效的Decoder恢復模塊進行，Encoder模塊允許通過應用空洞卷積以任意分辨率提取卷積特征。在最后特征圖中的編碼豐富了語義信息，而對于網絡中的卷積池化操作引起的對象邊界小部分信息丟失問題，可以通過應用空洞卷積提取更密集的特征圖來減弱。

因考慮到有限的GPU內存，提取出比輸入小8倍甚至4倍的輸出特征圖在計算上并不可取。以Resnet101[11]為例，當利用空洞卷積提取比輸入分辨率小16倍的輸出特征時，必須對其特征進行擴展，而要求輸出特征比輸入小8倍，則卷積塊會增加大量的網絡參數。

Encode-Decoder模塊有助于在Encoder通道中進行更快的計算，并逐漸在Decoder通道中恢復清晰的對象邊界。為結合兩種方法各自的優點，本文通過合并多維度上下網絡層特征信息來豐富Encoder-Decoder網絡模塊，具體結構如圖2所示。

圖2 自定義Encoder-Decoder模塊

圖2即為完整的Deeplabv3-d結構。Deeplabv3加入自定義Encoder-Decoder模塊后，將采用mobileNet與Resnet101進行擬合效果比對。

3 Deeplabv3-d訓練及分析

為讓模型系統更快擬合而自建機械零件數據集，使用批量梯度下降法，將數據集分為100個批次，設置周期為50，迭代次數為600，進行訓練迭代。

訓練過程損失值變化如圖3所示，可發現模型訓練損失在第200次迭代后逐漸趨于平穩，最終達到0.014 53。根據實際曲線波動情況得知，模型在整個訓練過程中僅出現少量震蕩，擬合效果較好。

圖3 訓練loss-迭代次數圖像

4 Deeplabv3-d零件圖像分割測試

觀察圖4所示的單個零件分割效果、圖5所示的多個零件堆疊分割效果可知，Deeplabv3-d對機械零件圖像的分割效果較好，與零件輪廓擬合度較高。

圖4 單個零件分割效果圖

圖5 多個零件堆疊分割效果圖

綜合分析圖4和圖5可得，不同環境下，Deeplabv3-d算法網絡對單個零件或多個零件堆疊都具有良好、直觀的分割效果，應用于實際工業場景中具有一定的可行性。同時，Deeplabv3-d在測試集上的預測準確度Acc和平均交并比mIOU隨訓練周期變化曲線如圖6、圖7所示。

圖6 測試集Acc隨訓練周期變化曲線

圖7 mIOU隨訓練周期變化曲線

分析圖6、圖7中Acc/mIOU隨周期的變化曲線，可得出模型的預測準確度和平均交并比經過震蕩上升，在第30個訓練周期后逐漸趨于平滑，最終達到90%以上，在分割精度上有較好的表現。

為對比Deeplabv3-d不同主干網絡中的模型擬合效果，采用兩種骨干網絡進行驗證。在表1中記錄了在mobileNet和Resnet101兩種骨干網絡下的圖像分割效果。兩種骨干網絡平均mIOU值都超過90%，均展現出較好的分割性能。

表1 不同骨干網絡下的Deeplabv3+評估

5 結語

本文針對機械零件圖像分割，通過建立機械零件數據集，并向Deeplabv3算法網絡中加入集成空間金字塔、空洞卷積、深度可分離卷積結構的Encode-Decoder特征提取模塊，完成了改進網絡Deeplabv3-d的構建。在實際單零件或多零件堆疊圖像的分割效果測試中，Deeplabv3-d取得了較好的分割效果，證明了在實際環境中零件圖像分割算法的可行性，對實際工業生產具有較大意義。