基于3D圖像分割的深度學習摩輪類型識別方法

滕麗娟

（浙江同濟科技職業學院 浙江省杭州市 311200）

1 引言

我國是摩托車輪轂產銷大國，隨著人民生活水平日益提高，人們對輪轂產品的品質要求越來越高，產品更新換代的周期越來越短，產品的復雜程度也隨之增高。在摩托車輪轂生產行業，面向柔性自動化生產線的摩輪識別系統利用計算機視覺、深度學習等技術方法，在生產中對摩輪進行類型識別、分揀、計數等工作。從鑄造爐出來的不同類型摩輪流入生產線，需要對摩輪進行類型識別，選擇不同加工路線、加工工藝和機加工車床，進行精加工處理。

目前的輪轂識別主要采用特征值識別和深度學習識別算法。文獻[1]提出特征值比較方法，通過提取輪轂的內徑、外徑、輻條數目、輻窗的周長等特征參數，使用邊緣檢測和圓擬合等方法建立輪轂模板庫，通過在線拍攝的輪轂圖片和模板比較，得到輪轂的類型。但是在實際檢測過程中，輪轂的樣式設計越來越復雜，特別是對于非對稱和非規則的輻條，很難用固定的形狀模型來描繪輪轂，對于復雜輪轂識別率較低。另外，輪轂在生產線上拍攝的照片，會把輪轂下面的輥道也拍出，輥道由于是不銹鋼材質，對光照特別敏感，如果對輪轂圖像直接進行圖像分析會存在很大困難，比如在使用Canny 算子的時候，會把輥道歸于輻條。文獻[2]提出使用深度學習識別輪轂缺陷，依據輪轂X 射線圖形，利用卷積神經網絡訓練輪轂缺陷分類模型，達到了較高的缺陷識別率。文獻[3]提出使用BP 神經網絡模型識別輪轂，這個算法缺陷對于輻條面積大的輪轂，有較高的識別率。但是摩輪輻條面積小，圖像會包含大量輥道信息，造成識別率低。目前深度學習已被應用于各種工業生產領域[4]，卷積神經網絡在目標識別[4][8]、缺陷識別[5]、圖像分類[6]的應用上取得了巨大的成功[10][11][12]。本文提出使用摩輪的3D 圖像處理全局摩輪照片，去除輥道等干擾，通過卷積神經網絡EfficientNet 模型訓練和識別摩輪特征獲得摩輪輪廓信息，縮短了訓練時間，減少了訓練照片數量，在實踐中，識別準確率提高到99.8%。

2 圖像采集和預處理

2.1 圖像采集

圖1：摩輪圖像預處理

圖2：卷積神經網絡性能對比

圖3：八類摩輪

摩輪圖片由CCD 全局工業相機拍攝，相機采用500 萬相機，拍攝的照片像素為2448*2040，相機安裝在機柜上，通過工控機上的相機軟件調整曝光、增益、焦距等參數。在工業相機旁邊安裝3D 激光位移傳感器，摩輪在輥道的帶動下，勻速進入機柜，觸發光電傳感器，3D 激光位移傳感器拍攝摩輪的三維輪廓，同時工業相機拍攝摩輪全局照片。

2.2 圖像預處理

圖4：測試結果

在摩輪圖片的處理過程中，由于光照差異、拍攝設備不同、輥道影響，會對圖片產生一定程度的干擾，特別是摩托車輪轂由于輻條間距大，需要在背景圖中去掉輥道，文獻[7]提出使用原始圖和背景圖片的相減方法，由于關照不均勻和反光的影響產生的色差都不一致，并且摩輪輻條細，而且輥道上的輪轂在攝像頭下沒有中心定位，圖像中的背景很難去除。本文使用了3D線掃描得到摩輪的輪廓，在原始圖中去掉全部背景信息，包括去掉輻條中間的部分，得到摩輪輪廓圖片，如圖1 所示。

圖像預處理過程主要流程如下：

步驟1：工業相機拍攝的摩輪圖片經過二值化處理和形態學處理，并去噪；

步驟2：使用Opencv 中的方法HoughCircles 找到摩輪圓心，通過findContours 函數找到整個輪廓，得到摩輪圖片；

步驟3：通過3D 線掃描數據，還原摩輪模型；

步驟4：結合摩輪的二維圖像和三維數據，把高度為輥道的點全部設置為黑色，去除輥道背景。

3 基于EfficientNet的摩輪分類方法

3.1 EfficientNet網絡簡介

深度學習近十年在人工智能領域取得了重大的突破。它在自然語言處理、語音識別、圖形圖像與視頻分析、多媒體等諸多領域都取得了巨大成功。深度學習主要使用在圖像分類和目標識別領域，在傳統卷積神經網絡上改進和發展得到許多新型神經網絡，如AlexNet、ShuffleNet、ResNet 和MobileNet 等，這些先進的神經網絡模型降低了訓練集的數量，縮短了訓練時間。其中EfficientNet網絡模型，使用了一種多維度混合的模型縮放方法，區別于Resnet-18 通過增加網絡深度提高準確率，使用復合系數φ 統一縮放模型的網絡深度、網絡寬度、圖像分辨率，如公式（1）所示[9]。

表1：訓練參數

表2：對比實驗

EfficientNet 是一種新的模型縮放方法，具有模型小、效率高、參數的數量少的特點，通過復合縮放的方法，使這種深層模型的top-1 等準確率上表現優于傳統的卷積神經網絡模型。特別是EfficientNet-B7 在top-1 上達到84.3%的精度，比同類的神經網絡尺寸小8.4 倍，推理速度快6.1 倍。EfficientNet 和其他網絡性能的對比如圖2 所示。

圖2 中，橫軸為模型參數數量，縱軸為準確率。相同參數數量下EfficientNet 的準確率高于ResNet、Inception、NASNet 等模型。比如相同的Top1 準確率，ResNet-152 參數數量是EfficientNet-B1的7.6 倍。

3.2 模型構建和訓練

測試樣本為八類輪轂，型號和款式如圖3 所示。

每類輪轂300 張圖片，按照訓練圖片和驗證圖片采用8:2 的數量分成訓練集和驗證集。為了減少輪轂反光對系統干擾，訓練的圖片采用圖像增強算法，對圖像的亮度、對比度、旋轉等進行增強操作。模型采用EfficientNet-B4 算法。訓練參數，如表1 所示。

為了縮短訓練時間，采用GPU NVIDIA GeForce RTX2060 Super 8G 顯卡訓練。

3.3 測試結果

使用EfficientNet-B4 模型訓練圖片，測試結果如圖4 所示。

圖4 中，X 軸為Epoch 模型經過20 輪訓練，經歷了120 分鐘， Loss 達到0.0593，Top1 準確度為99.89%，模型在迭代7 輪之后，訓練損失趨于平衡，同時準確率也趨于平衡。說明模型在識別摩輪上具有較好的效果。本系統在生產線上應用，采用置信度95%作為判斷的依據，結果判別10000 個輪轂，達到99.8%的準確度。

3.4 分類檢測模型對比

本部分采用了EfficientNet 的模型B0、B4 和B7 進行對比，結果如表2 所示。

通過對比可知，EfficientNet-B7 雖然精度最高，但是訓練時間最長，需要更高的顯卡支持才能縮短訓練時間。

4 結語

本文構造了基于深度學習的摩輪型號分類系統，通過3D 線激光位移傳感器，對圖像進行了分割，減少了輥道對原始圖片的干擾，從而減少了深度學習圖片訓練的張數，加快了深度學習訓練的速度，提高了識別率，降低了產線工人增加新類別輪轂的等待時間。由于EfficientNet-B7 模型大、訓練時間長，需要更高的硬件資源，在實際中采用EfficientNet-B4 算法完全能保證摩輪分類識別上準確率，通過系統在產線上長時間運行，測試了10000 多張圖片，判別識別率到達99.82%，沒有產生一張誤判，由于輪轂反光不一樣，產生了幾張置信度低的圖片。實驗結果表明，EfficientNet 算法在分類問題上有良好的性能，本文構建的分類系統可行，為摩輪的分類提供了參考。