計算機視覺技術在零件識別中的應用

馬敬，劉溪，楊勇，張錫志

（紅塔煙草集團有限責任公司，云南 玉溪 653100）

“中國制造2025”戰略提出要大力推進“兩化”融合，使生產制造過程高度自動化與智能化。近年來，隨著人工智能相關技術的不斷發展，計算機視覺技術在制造業扮演著越來越重要的角色，通過計算機自主學習的能力讓制造過程更加精確化和智能化。

計算機視覺技術用攝像頭和處理器來模擬人的眼睛和大腦，接收真實世界的視覺信息，例如圖片、視頻等，通過傳統圖像處理方法或者機器學習模型對目標物體進行特征提取、轉化和識別，具有硬件成本低、識別準確度高、無接觸性等優勢。采集物體的視覺信息并進行運算和分析，將圖像信息轉化為計算機可處理的數字信號，并產生反饋信息指導自動化設備的智能生產或者管理，在工業領域中，視覺算法通常用于零件的精密測量、外觀缺陷與磨損檢測、自動分揀系統、備件庫圖像檢索等。

如今工業企業中使用的零件種類繁多、數量巨大，在諸多場景中都需要對零件進行自動識別，例如自動化生產線中的零件分揀系統，如果采用人工分揀模式則存在效率低、錯誤率高等問題，基于計算機視覺的零件識別方式打破了傳統人工分揀的缺陷，能夠更加高效、客觀和準確地對零件進行識別，提升生產效率。同時，目前大多數工業企業都有一套完善的信息化物流管理模式，零件的各種信息都存儲在零備件管理系統中，使用計算機視覺技術對零件圖片進行識別，并快速地從系統中檢索出相應零件信息，這是傳統的憑借人工經驗進行檢索的模式所不能及的。因此研究基于計算機視覺的零件識別算法具有非常重要的應用價值和意義，本文主要對計算機視覺相關技術，以及其在零件識別中的應用情況進行研究和探索，并對未來的發展趨勢進行展望。

1 計算機視覺技術分析

計算機視覺的核心在于圖像處理，圖像處理中的難點在于特征提取，特征提取指的是從圖像中提取出物體特征，如人臉的皮膚顏色、邊緣輪廓、關鍵點等，特征提取決定了接下來的圖像分類或檢測的效果。其中特征提取方式主要分為人工設計特征的提取算法和深度學習自動提取特征的方法。

1.1 人工設計特征的提取算法

人工設計特征提取算法主要指針對特定任務精心設計算法對圖像進行特征提取，其中SIFT（尺度不變特征變換）是比較經典的特征提取算法，屬于局部特征的描述算子，原理是在不同的尺度空間中查找圖像關鍵點，并消除光照和噪聲的影響，找到邊緣點、角點等特征，SIFT算法具有穩定性和不變形，能夠適應圖像縮放、旋轉以及亮度變化，且特征向量匹配速度快。同時，HOG（方向梯度直方圖）也是常用的提取方法，其思想是一副圖像中局部物體的外觀和形狀能夠被邊緣方向的密度分布來描述，而梯度通常存在于物體的邊緣，通過計算圖像的局部區域的梯度直方圖來生成特征，被廣泛應用于行人檢測任務。其他傳統特征提取方法還有ORB、HAAR等，其中ORB算法具有尺度不變形和旋轉不變形等優點，而且能夠快速檢測和提取圖像特征點，運算速度上比SITF快很多；HAAR是一種對圖像中的物體或目標進行檢測的算法，主要針對剛性物體檢測，常被應用于人臉檢測任務。

1.2 深度學習方法

可以看出傳統的人工設計特征算法，其算子需要人為憑借經驗設計，其設計中只有少量參數，往往要經過幾年才能出現一個被廣泛接受的特征提取算法。隨著圖片數據的激增，傳統特征提取方法很難提取出海量圖片數據中隱含的信息，而深度學習方法打破了人工設計特征的瓶頸，能夠從大量樣本中自動地提取對任務有用的特征，提取過程完全不依賴人工設計。2012年，8層的AlexNet網絡在ImageNet圖片分類挑戰賽中的分類錯誤率相比傳統特征提取方法降低了近一半，目前深度學習方法在絕大多數視覺識別任務上的效果都遠遠超過了傳統的人工設計特征方法。

深度學習將更深層次的神經網絡應用于計算機視覺，提取圖像的抽象特征，從AlexNet開始，相關學者從網絡結構和網絡深度來不斷提升深度神經網絡的效果，例如Inception網絡用于捕捉不同尺度的特征，2015年提出的深度殘差網絡（ResNet）通過擬合殘差的方式來訓練更深的網絡，隨后密集網絡（DenseNet）被提出用于提取更隱含的圖像特征，而且DenseNet支持特征復用、結構簡單。深度學習在圖像分類任務上取得了顯著的效果，同樣地在語義分割、目標檢測等領域也得到了廣泛的應用，例如R-CNN作為經典的基于深度學習的目標檢測網絡，其利用卷積神經網絡（CNN）對候選搜索區域進行特征提取，然后使用支持向量機進行區域分類，極大地提升了檢測效果；SSD是一種針對多類別的單次檢測器，因識別速度快而被廣泛應用；此外從YOLO V1到YOLO V4系列，將圖像物體檢測看作回歸問題，直接從整張圖片預測邊緣坐標，標注框中包含物體的置信度，并且能夠提取更加抽象的物體特征，整個流程使用端到端來優化檢測性能，因此識別速度很快。

2 基于計算機視覺的零件識別

機械零件識別是計算機視覺在工業領域中是一個重要應用，指識別圖像中的零件類型，最開始用于生產過程中對零件進行定位和分類，代替重復的人工勞動。根據圖像特征提取方式的不同分為基于特征提取算子的方法和基于深度學習的方法。

2.1 基于特征提取算子的方法

基于特征提取算子的方法通常分為幾個步驟：第一，對圖像進行預處理，圖像的質量決定了識別算法的精度，圖像預處理目的是剔除圖像中的冗余信息，提取有用的真實信息，增強可檢測性，通常的處理操作有灰度化、幾何變換和圖像增強；第二，圖像分割，將圖像中的物體分割出來，減少無關背景對識別算法的影響，一般分為圖論分割方法、聚類分割方法和語義分割方法；第三，特征提取，提取出圖像中對識別有用的特征，常用的方法有SIFT、HOG等；最后，將提取到的圖像特征輸入到機器學習分類器中，完成對圖像的分類。通常來說，決定識別效果的主要因素是特征提取階段。

從上個世紀50年代開始，國外就對二維圖像的模式識別進行了研究，在零件分類識別任務中，Almouhamed M提出了一種基于縮放不變形的平面輪廓識別算法，并且在遮擋場景下對機械零件的輪廓片段進行匹配，是一種具有強魯棒性的形狀匹配方法。LJ Xiwe等人為了完成工業零件的在線分揀工作，使用多個USB攝像頭從多角度捕獲傳送帶上的零件圖像，使用Otsu算法對圖像進行二值化處理，然后進行輪廓提取和連接的組件標記，計算工業零件的圓度和顏色信息，通過將圓度和顏色信息與之前人工建立的標準模板進行比較，該方法嚴重依賴于人工標準模板，因此識別的零件種類不多。B Liu對圖片進行邊緣檢測并選取合適的轉矩特征，然后搭建BP神經網絡對零件進行分類。

在國內方面，任楷飛等人在LabView開發環境下提出了一種基于灰度值金字塔的模式匹配算法，對圖像進行灰度化后經過高斯濾波處理，在特定的模型參數下和模板圖像進行匹配。司小婷等人對零件圖片進行了識別和定位的研究，從零件的幾何、形狀和多輪廓特征對待識別零件和零件模板進行匹配，然后使用最小外接矩形來定位零件。匡遜君對零件圖片提取HU不變矩和仿射不變矩，并進行組合使得圖像具有平移、縮放、選擇不變形，然后針對訓練樣本少且特征維度高的問題，采用核參數的支持向量機（SVM）以及有向無環圖設計的多分類器對零件進行分類。袁安富針對零件自動識別系統效率低的問題，提出了基于SURF的零件識別算法，SURF是SIFT的變種，主要是為了解決SIFT算法在DOG構建和極值計算時效率低下的問題，SURF使用Hessian矩陣來檢測極值以及用小波轉化來計算關鍵點，將SURF得到的特征向量用最臨近算法搜索和模板圖像最接近的零件圖像。馮長建通過傅里葉描述子提取零件的形狀和輪廓信息，將得到的高維向量用主成分分析進行降維，然后用支持向量機進行分類，但是分類的零件較為簡單（螺母、螺栓和墊圈等）。

綜上所述，基于特征提取算子的方法核心在于特征提取算法的設計，由于此類算法的設計需要很豐富的專家經驗，所以目前主流的方法均基于經典的、經過時間驗證且成熟的特征提取算法。其次大多數方法需要和模板圖像進行比對，因此標準模板的設計也很關鍵。

2.2 基于深度學習的方法

隨著工業制造的發展，需要快速地對紛繁復雜且數量龐大的零件類型進行識別，基于特征提取算子的方法需要精心設計提取算法，無法適用于海量的零件識別，并且為每種零件設計標準圖像模板工作量巨大，深度學習方法能夠避免人工設計特征所帶來的工作量和局限性，因此越來越多的工作在利用深度學習自動提取特征的能力對零件進行自動識別。

張煥煥對零件進行了圖像采集，采用卷積神經網絡（CNN）對圖像進行特征提取，將訓練好的CNN網絡用于三種常見零件的識別。陳冠琪等人使用SSD網絡對零件圖像進行識別，并且在SSD網絡的基礎上增加了多尺度模塊，通過該模塊將不同深度的網絡單元進行跳躍連接，同時完成零件類型預測和定位，在小目標零件上取得了不錯的識別效果。還有學者研究將支持向量機和深度學習相結合的方法，通過Mask R-CNN對圖片中的零件區域進行分割，然后利用梯度直方圖（HOG）和LBP特征來訓練SVM分類器，在遮擋情況下表現良好。為了緩解零件訓練圖片缺乏的問題，陳緒等人提出了一種基于遷移學習的零件識別模型，將預訓練模型應用到小樣本的零件數據集上訓練，經過較少的迭代次數后在4種零件上達到了93%的精度。在進行零件識別之前，將零件所在區域分割出來能夠降低無關背景對精度的影響，因此黃海松等人在標注好區域的零件數據集上對Mask R-CNN進行微調，然后將零件區域分割出來，使得后續識別過程更具魯棒性。

目前深度學習技術在零件識別上應用較少，一方面因為深度學習在工業領域還沒未發展成熟，第二個方面因為深度神經網絡需要大量的訓練樣本，對于工業零件識別來說標注工作量太大。

3 結語

傳統的人工設計特征進行零件識別的方式無法適用于數據量龐大的機械零件識別，特征提取算子嚴重依賴于專家經驗，雖然深度學習方法能夠自動提取圖像特征，效果往往也優于傳統方式，但是需要大量的人工標注樣本。因此未來深度學習在零件識別上所面臨的困難是如何低成本地獲取海量的訓練數據，例如利用機械零件所對應的3D模型，從3D模型中快速產生大量的平面圖像作為訓練，并采用一些風格遷移算法緩解真實圖片和3D投影平面圖的視覺差異。