基于神經網絡的車間工件視覺識別研究

宋 鑫 曹旭陽 郭萬達 于效民

大連理工大學 大連 116000

0 引言

現在主流的計算機視覺識別算法包含傳統計算機算法和神經網絡算法兩種類型，傳統的計算機算法已經逐步由深度神經網絡算法取代[1]。在工業領域，圖像識別問題受到了廣泛關注，智能車間裝卸設備可以代替人工，對庫存的物料進行視覺識別，通過圖像處理獲取物料的物理信息，并對信息進行傳遞輸出。人工神經網絡識別算法被廣泛應用于圖像識別過程中，隨著信息技術的進步，圖像識別的精度和效率得到不斷提升。

傳統的機器學習領域非常依賴人工方法來提取圖像的特征，如尺度不變、特征變換，方向梯度直方圖[2]，通過傳統神經網絡來完成識別目的。這些方法比較難以處理較深層次的內容豐富的圖像信息，識別準確率普遍比較低[3]。卷積神經網絡(Convolutional neural network)具備深層次的網絡結構，跟傳統的機器學習相比，具有特征信息的表達更豐富的特點，且不需要人工提取特征的信息，通過前向傳播和反向傳播可以自動從樣本圖像中學習圖像特征，通過深層次的網絡結構能獲得更準確、更高維，更抽象的特征[4]，從而達到良好的識別效果。在訓練過程中，卷積神經網絡主要包括學習卷積層的卷積核參數和神經網絡層間的連接權重等參數，根據輸入圖像的特征和網絡參數的計算做出對過程的預測。

卷積神經網絡廣泛應用在圖像的分類、物體的檢測及自然語言處理等領域。隨著計算機視覺技術的快速發展，涌現出一大批優秀的卷積神經網絡，例如AlexNet、ResNet、GoogLeNet等，推動了圖像識別領域的高速發展，識別效果十分顯著，訓練模型輕易在各種智能設備上實現端到端的識別。卷積神經網絡可以學習大量的關于輸入和輸出間的映射關系[5]，而不需要兩者之間的精確數學表達式，用卷積網絡訓練已知的模式，則網絡就具備輸入和輸出間的映射能力。

本文研究對象是車間工件，選擇了車間2種不同的工件作為研究對象。基于目標檢測網絡Yolov3的神經網絡結構，對獲得的數據集進行圖像增強，從而實現了較小的數據集也能取得較好的車間工件的識別效果。圖像增強是采用一定方法對原圖像添加一些信息或更換數據，增強圖像某些感興趣的特征或抑制圖像一些不太需要的特征，從而使得圖像的信息與視覺的響應特性相匹配。圖像增強廣泛應用在工業的自動化產品設計和產品質量檢驗的領域，本文在圖像增強后識別的準確率和損失值都有了明顯的改善，取得了較為理想的識別效果。

1 數據集

本文構建了一個含有多種車間工件的數據集。為保證工件種類正確，選擇實驗室環境下作為研究對象。為保證數據多樣性，采取以下措施：1）使用不同品牌手機，包括市面上多數品牌；2）選擇不同場景拍攝，實驗背景有很強的對比性；3）不同的拍攝角度和距離，使得照片具備廣泛性。這樣的拍攝方式更加符合現實情況，并有利于訓練出適應性更強的模型。

圖1所示為車間工件的部分數據集圖片，其中包括齒輪1 150件、軸承300件，雖然種類不同，但形狀和顏色等方面具有相似性。

圖1 車間工件的部分數據集圖片

2 數據集與數據增強

數據增強是卷積神經網絡模型訓練時的常用方法，目的是提升網絡訓練的穩定性和模型的泛化能力以及防止過擬合。本文將會使用Imgaug工具包，進行圖片增強[6]。采用的圖像增強方法包括圖像旋轉、圖像h和圖像w隨機偏移、水平翻轉及改變圖片亮度等方法擴充數據集[7]。

2.1 圖像旋轉

完成圖像采集后，先將圖像尺寸裁剪成416×416像素，然后進行數據增強操作。

圖像旋轉是指采集的圖像照片以某一點作為中心旋轉一定的角度，形成新的圖像的過程[8]。這個點通常稱為圖像的中心。按照中心旋轉具備旋轉前和旋轉后的點與中心的距離不變的屬性。根據這個屬性可以得到旋轉后的點的坐標與原坐標的對應關系。

圖像做旋轉操作時，假設圖像長、寬分別為W和H，需先將坐標原點從左上角移動到圖像中心位置[9]。原圖上任意一點（X0，Y0）旋轉后的坐標為

式中：A為移位矩陣，B為旋轉角度α定義的旋轉矩陣，C為將原點從圖像中心復位到圖像左上角的復位矩陣。

圖像旋轉的結果如圖2所示。

圖2 圖像旋轉示意圖

2.2 圖像偏移

圖像偏移是指將圖像的所有像素坐標進行水平或垂直方向移動，也就是圖像的所有像素按照給定的偏移量在水平方向上沿著X軸或垂直方向沿著Y軸移動。

偏移圖像時，需建立變換矩陣D。若原圖上任意一點設為(X0，Y0)，偏移后的坐標為（X1，Y1），則有

式中：tx是寬偏移系數，ty是高偏移系數。圖像隨機偏移的結果如圖3所示。

圖3 圖像偏移示意圖

2.3 水平翻轉

在OpenCV中，圖像的翻轉采用函數cv2. flip()來實現，該函數可以實現圖像在水平、垂直方向的翻轉、以及水平和垂直2個方向的同時翻轉。

圖像的寬度為W，進行水平翻轉時，若圖像上任意一點設為(X0，Y0)，偏移后的坐標為（X1，Y1），則

式中：E為建立的變換矩陣。圖像進行水平翻轉后的結果如圖4所示。

圖4 圖像水平翻轉示意圖

當對訓練集的部分圖像進行旋轉、偏移和水平翻轉操作隨機訓練模型時，訓練集的圖像數量不增加，但可提升網絡訓練的穩定性和模型的泛化能力以及防止過擬合[10]。

3 試驗算法

3.1 網絡結構

本文識別車間工件采用的是卷積神經網絡。卷積神經網絡（Convolutional neural network）是一類需要進行卷積計算并且具有深層神經元結構的網絡結構，是在目前圖像識別和檢測過程中一種主流的深度學習算法[11]。CNN算法的主要特點是采用局部鏈接并進行權值共享，而不是采用全鏈接的方式。該算法采用局部鏈接的原因是圖像中的任意像素都與其周圍的像素彼此關聯，而不是關聯著圖像整體的所有像素點，采用局部鏈接對圖像信息的特征提取具有良好的效果。采用權值共享方法的優點是對圖像卷積操作時，不用對所有的卷積核都建立新參數，卷積核參數在滑動過程中都是可以共享的，與DNN算法相比，CNN算法能極大地減小圖像識別過程中的計算量[12]。

卷積神經網絡主要包括輸入層、卷積層、池化層以及全連接層等結構。其中輸入層的作用是輸入圖片的特征；卷積層的作用是負責提取卷積核的特征；池化層的作用是降低模型的參數量；全連接層作用是進行全鏈接處理。

本文采用的網絡架構基于目標檢測網絡Yolov3，其基礎特征提取網絡的主干網絡是DarkNet-53[13]。該網絡的作用是提取圖像的特征，網絡架構如圖5所示。DarkNet-53網絡架構共有53層卷積，除去最后一個FC（全連接層，實際上是通過1×1卷積實現的）共有52個卷積用作主體網絡。該網絡模型結合了深度殘差單元和Yolov2的基礎特征提取網絡DarkNet-19。輸入416×416的圖片后，進入到Darknet53網絡架構中[14]。首先是1個32個過濾器的卷積核，然后是5組重復的殘差單元。在每個重復執行的卷積層中，先執行1×1的卷積操作，再執行3×3的卷積操作，過濾器數量減半再恢復，共有52層。

圖5 DarkNet-53 網絡架構

3.2 實驗平臺

本文訓練和驗證過程所使用的硬件平臺配置為Intel(R) Xeon(R) CPU E5-2630 v4@ 2.20 GHz，操作系統為Windows 7(64 bit)，編程語言為Python。本實驗選取tensor flow為實驗框架。

訓練模型是采用Adam優化器，訓練次數為100個epoch，訓練批次為4，學習率初始值為0.001。本文對拍攝的圖像增強操作后，實驗準確率和損失值都比未增強的圖像有所提高。圖像增強前的識別準確率和損失值如圖6和圖8所示，圖像增強后的識別準確率和損失值如圖7和圖9所示。

圖7 圖像增強后的識別準確率

圖8 圖像增強前的損失誤差

圖9 圖像增強后的損失誤差

3.3 實驗結果分析

圖像增強后齒輪和軸承識別效果如圖10所示，圖像增強前后的識別準確率和損失誤差對比如表1所示。

表1 圖像增強前后的參數對比

通過表1中圖像增強前后準確率和損失值的數值對比可知，圖像增強后的識別準確率明顯高于圖像增強前的準確率；圖像增強后損失值都明顯低于圖像增強前的損失值。由此可知，采取圖像增強對于提升較小數據集的識別效果是比較明顯的。

圖10 軸承和齒輪識別效果

4 結論

本文建立了齒輪和軸承2種車間工件的數據集，在目標檢測網絡Yolov3的基礎上，采用了圖像增強的方法，增強了該模型在常規計算平臺的實用性，實現了較小的數據集也能取得較好的車間工件的識別效果。通過實驗驗證，表明圖像增強后識別的準確率和損失值都有了明顯的改善，取得了較理想的識別效果。