基于FasterR—CNN的圓柱形金屬工件表面缺陷檢測

徐秀 宣靜怡 曹桐滔

摘 要： 為有效進行圓柱形金屬工件表面缺陷檢測，設計一套利用深度學習框架——Faster R-CNN的表面缺陷檢測系統。該系統算法利用Resnet網絡進行特征提取，采用RPN方法提取缺陷的候選目標矩形區域，再利用Fast R-CNN在候選區域基礎上進行缺陷檢測。此外，為克服金屬表面反光并獲得高質量圖片，設計一套合適的圖像采集系統。實驗表明，該檢測系統能有效克服光滑金屬表面的強反射，從而獲取高質量圖片；同時利用基于Faster R-CNN框架的方法進行缺陷檢測，較好地解決了圓柱形金屬表面缺陷檢測能力弱的問題，在置信度閾值為0.9時，其查全率為95.0%，查準率為96.0%，檢測速度為65ms/幅。

關鍵詞：圓柱形金屬工件；表面缺陷檢測；Faster R-CNN；深度學習；低對比度缺陷；機器視覺

DOI：10. 11907/rjdk. 182498

中圖分類號：TP319 文獻標識碼：A 文章編號：1672-7800（2019）005-0130-04

Abstract： A surface defect detection system is proposed in this paper for the quality inspection of cylindrical workpieces. The surface defect detection algorithm is based on Faster R-CNN. Firstly， the Resnet network is used to extract the feature map. Then the RPN is adapted to extract candidate rectangle area. Finally， the defects are detected by Fast R-CNN. Whats more， to overcome the reflection of metal surface and get high quality pictures for detecting， an image acquisition system is designed. Experiments show that the system has an advantage in overcoming the reflection of metal and getting high quality pictures of cylindrical metal workpieces. Meanwhile the detection algorithm based on Faster R-CNN can effectively detect defects. When the confidence threshold is 0.9， the recall rate is 95.0% and the precision rate is 96.0%，and the speed of detection is 65ms per picture.

Key Words： cylindrical metal workpieces； surface defect detection； Faster R-CNN； deep learning； low-contract defects； machine vision

0 引言

圓柱形金屬工件是一類典型的零件形態，被廣泛應用于各種產品中。為保證工件質量，通常需要對該類工件進行表面缺陷檢測[1]，缺陷類型包括劃痕、孔洞、污漬、銹跡等。傳統人工品質檢測方式檢測效率低、效果差，無法滿足大批量生產的需求。因此，在實際生產過程中，越來越多的廠家采用機器視覺（光電）技術進行工件表面缺陷自動檢測。

金屬工件表面缺陷檢測是光電檢測中的難點，近年來，國內外學者進行了大量研究。然而金屬表面缺陷檢測技術目前仍然面臨著如光照不均、缺陷與非缺陷之間對比度低、噪音與細微缺陷相似度高等問題，造成識別精度低、檢測速度慢等問題[2-3]。目前用于金屬工件表面缺陷檢測的機器視覺方法可以根據是否需要先驗知識即無缺陷模板，劃分為兩大類[4]：第一類方法是基于模板匹配的，將無缺陷的模板圖像與待檢測圖像進行對比，若有明顯差異的部分，則作為有缺陷的部分。該方法要求待檢測圖像與模板圖像之間必須擁有精確的匹配度，否則容易出現誤檢、漏檢等情況[4-5]；第二類方法利用圖像特征，從圖像灰度值直方圖、顏色、紋理等特征入手，提取能夠區分無缺陷圖與有缺陷圖的差異特征向量，然后設計分類器，經過訓練、調整參數后得到最佳網絡。在檢測時，利用預先訓練好的分類器實現對目標圖像的實時特征提取，判別是否存在缺陷及是哪種缺陷[6-8]。該方法雖然檢測速度快，但僅適用于背景簡單且缺陷特征較明顯的場合，因為以上特征提取方法都不可避免地會遺漏某些細節特征。

在利用卷積神經網絡等深度學習算法對圖像進行特征提取的思想啟發下，相繼有研究人員提出利用卷積神經網絡原理進行目標檢測的算法。本文基于深度學習框架Faster R-CNN設計一套適用于圓柱形金屬電鍍件表面缺陷檢測的算法與系統，以克服由于金屬表面強反射造成的光照不均問題，并有效進行缺陷識別。

1 Faster R-CNN缺陷檢測算法

繼RCNN、Fast R-CNN[9]之后，Faster R-CNN[10]是目標檢測界領軍人物Ross Girshick及其團隊在2015年的又一力作，目前被應用于多個領域目標檢測[11-14]。Faster R-CNN 算法由兩大模塊組成：①區域建議網絡（Region Proposal Network，RPN）候選區域檢測模塊；②Fast R-CNN檢測模塊。RPN與Fast R-CNN共享特征網絡。其中，RPN是全卷積神經網絡，用于提取候選框；Fast R-CNN基于RPN提取的候選框檢測并識別候選框中的目標，其結構如圖1所示。

1.1 特征提取

在提取圖像特征上，卷積神經網絡[15-16]具有優越性。卷積神經網絡具有權值共享網絡結構，降低了網絡模型復雜度，減少了權值數量。另外，在圖像處理時，可以直接將圖像作為網絡輸入，避免了傳統識別算法中復雜的特征提取與數據重建。在Faster R-CNN框架下，本文使用Resnet[7]網絡進行特征提取，生成特征圖，區域建議網絡與Fast RCNN檢測均在該特征圖基礎上進行。

1.2 區域建議網絡RPN

區域建議網絡（Region Proplsal Network，RPN）是一個全卷積網絡，用于提取高質量的候選框，解決了選擇性算法（Selective Search，SS）[18]的速度瓶頸，大幅提高了目標檢測速度，在訓練時將RPN放于最后一個卷積層后面。RPN網絡的作用是輸入一張圖像、輸出一批矩形候選區域，其網絡結構如圖2所示。構建區域建議網絡RPN的具體流程為：使用一個小滑動窗口（3*3的卷積核）在最后卷積得到的特征圖（feature map）上進行滑動掃描。經過滑動卷積后，映射得到一個D維向量，最后將該D維向量送入兩個全連接層中，即候選框位置回歸層與分類層，以獲得位置信息與分類信息。其中位置回歸層輸出候選框的4個相關參數（x，y，w，h），包括候選框中心坐標x和y、寬w和長h；分類層輸出目標與非目標概率。

每個滑動中心對應k個錨框，每個錨框對應一種尺寸與一種長寬比，如圖2右側所示。Faster R-CNN中RPN使用3種不同尺寸以及3種不同比例（1∶1，1∶2，2∶1）組合成9種不同大小的錨框預測包含目標的窗口位置，可以使尋找到的候選區域更加準確。在對樣本進行測試時，輸入圖像經過最后一層卷積層后輸出，再通過RPN產生大量候選框。候選框數目很大且重疊區域多，為提高檢測效率，使用非極大值抑制法對候選框進行過濾。

1.3 缺陷識別

通過RPN獲得候選區域后，Faster R-CNN利用Fast R-CNN進行檢測。RPN與Fast RCNN共享卷積特征，Fast RCNN在RPN提供的高質量區域建議網絡的基礎上進行目標識別，目標檢測速度得到了大幅提高。對候選區域進行訓練，在訓練時，通過一種交替運行優化方法使RPN與Fast R-CNN共享卷積特征。

2 實驗系統與實驗過程

2.1 實驗系統

為驗證算法有效性，采用直徑為7.5mm、全長為16.5mm的圓柱形金屬工件進行實驗，其表面主要缺陷為劃痕。本文缺陷檢測系統包括圖像采集與圖像處理兩部分。檢測系統原理如圖3所示。在圖像采集系統中，為避免光學照明不均[19-20]，采用適用于高反光表面檢測的環形無影光源；為采集到完整的柱面圖像，設計一個旋轉平臺，如圖4所示，包括伺服電機、彈簧、頂針、導軌等。通過E2V公司的Eliixa 4K MONOCHROME線陣相機，其分辨率為8192pixel，像元尺寸5[μm]及silicon的圖像采集卡配合光源、旋轉機構等，獲得金屬圓柱工件清晰的表面展開圖。圖5（a）為采集到的有缺陷的圓柱形金屬工件的表面展開圖，圖片克服了光滑金屬的高反光。獲得圖像后，將圖像信息傳輸到計算機中保存，然后圖像處理模塊對工件進行缺陷檢測。在圖像處理中，硬件平臺GPU為：LEADTEK GTX1060，操作系統為Ubuntu 16.04平臺，基于深度學習庫Keras進行。

2.2 實驗數據集與訓練檢測模型構建

本文選擇2 000個含有缺陷的圖片作為訓練集，500個混合樣本作為檢測集。在訓練前，先通過LabelImg對缺陷目標進行標注，在標注目標完成后，每個標注圖片保存為一個XML文件作為訓練樣本。本文使用Keras框架實現卷積神經網絡模型，錨框尺度分別為8、16、32，長寬比為2∶1、1∶1、1∶2，設置IOU閾值最大值為0.7，最小值為0.3。在訓練時，使用Resnet網絡進行特征提取，獲得特征圖。在特征圖基礎上，RPN與 Fast R-CNN網絡共享卷積特征，進行交替訓練，迭代次數為8 000，獲得檢測模型。

3 實驗結果與分析

本次實驗評價標準中用查全率recall、查準率precision及檢測時間評價檢測效果。各指標如下所示。

由表1可以看出，當置信度閾值過低時，由于金屬表面光照不均及工件本身自帶的凹槽，易將凹槽部分誤認為缺陷，導致查準率較低。當置信度閾值過高時，會忽略很多置信度值低于閾值的缺陷，造成漏檢，導致查全率偏低。綜合考慮，當置信度為0.9時，檢測效果最佳。由表2可以看出，本文算法與文獻[21]的算法相比，查全率與查準率基本相同，但是檢測時間上，本文算法優勢明顯。由于文獻[21]的方法運算量主要集中于背景圖像的自適應平滑上，運算時間成本較高，而本文采用的Faster R-CNN方法在RPN提供的高質量候選區域上進行目標檢測，實現端到端的檢測，大大提高了檢測速度，平均檢測時間為每幅65ms左右。由圖7可以看出，本文算法對于人眼不易察覺、對比度較低，且大小為2mm～ 3mm的缺陷也有效。由此可見，本文缺陷檢測系統對圓柱形金屬表面缺陷檢測正確率高且速度快。

4 結語

在利用光電檢測方法進行表面缺陷檢測時，由于金屬工件表面存在強反射現象導致圖像光照不均，導致檢測效果低下。本文設計了一套包含線陣相機、環形無影光源、機械旋轉系統等的圖像獲取系統，克服了高光影響，獲得了高質量的圓柱形金屬工件展開圖，為檢測算法實施提供了保障。該系統使用基于Faster R-CNN的深度學習框架進行缺陷檢測，相較傳統方法，其檢測正確率及檢測速度均有明顯優勢。然而，使用基于Faster R-CNN深度框架進行檢測時訓練時間過長，導致在正式進行檢測前準備時間較長，下一步工作將圍繞回歸窗函數改變候選框數量進行修改，以縮短訓練時間。

參考文獻：

[1] SU J H，LIU S L. Measure system of surface flaw and morphology analysis of cylindrical high precision parts[J]. Laser & Optoelectronics Progress， 2014， 51（4）： 041202.

[2] 羅菁，董婷婷，宋丹，等. 表面缺陷檢測綜述[J]. 計算機科學與探索，2014（9）：1041-1048.

[3] 湯勃，孔建益，伍世虔. 機器視覺表面缺陷檢測綜述 [J]. 中國圖象圖形學報，2017（12）： 1640-1663.

[4] 韓斌. 計算機視覺檢測中的若干問題研究及應用 [D]. 無錫：江南大學，2009.

[5] 孫寶華，韓躍平，徐青，等. 基于SURF算法的產品表面缺陷檢測研究[J]. 紅外技術， 2014， 36（6）： 503-507.

[6] 張學武，丁燕瓊， 閆萍. 一種基于紅外成像的強反射金屬表面缺陷視覺檢測方法[J]. 光學學報， 2011， 31（3）： 112-120.

[7] LIU H，GUO S， CHEN Y F， et al. Shearography using wave-defect interactions for crack detection in metallic structures[C]. Washington D. C. ：Proceedings of the 2017 IEEE International Ultrasonics Symposium （IUS）， 2017.

[8] 李明，劉悅. 基于支持向量機的金屬表面缺陷檢測算法[J]. 世界有色金屬，2017，65（2）： 120-121.

[9] GIRSHICK R. Fast R-CNN[C]. Proceedings of the 15th IEEE International Conference on Computer Vision， 2015：1-9.

[10] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real- time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）： 1137-1149.

[11] 史凱靜，鮑泓，徐冰心，等. 基于Faster RCNN的智能車道路前方車輛檢測 [J]. 計算機工程，2018，44（7）：36-41.

[12] 李偉山，衛晨，王琳. 改進的Faster RCNN煤礦井下行人檢測算法[J]. 計算機工程與應用，1-16. [2018-06-21]. http：//kns.cnki.net/kcms/d LI Weishan.

[13] 戴陳卡，李毅.基于Faster RCNN以及多部件結合的機場場面靜態飛機檢測[J].計算機應用，2017，37（S2）：85-88.

[14] SHI Y，LI Y，WEI X，et al. A faster-RCNN based chemical fiber paper tube defect detection method [J]. 2017，173-7.

[15] YI L， LI G， JIANG M. An end-to-end steel strip surface defects recognition system based on convolutional neural networks[J]. Steel Research International， 2017， 88（2）： 1600068.

[16] WEIMER D， SCHOLZ-REITER B， SHPITALNI M. Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection[J]. CIRP Annals， 2016， 65（1）： 417-20.

[17] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. Las Vegas：The 29th IEEE Conference on Computer Vision and Pattern Recognition， 2016.

[18] UIJLINGS J R R，VAN DE SANDE K E A，GEVERS T，et al.Selective search for object recognition[J]. International Journal of Computer Vision， 2013， 104（2）： 154-171.

[19] 栗琳. 基于視覺的高反射球面缺陷快速檢測關鍵技術研究 [D].天津：天津大學，2013.

[20] 張靜， 葉玉堂， 謝煜， 等. 金屬圓柱工件缺陷的光電檢測 [J]. 光學精密工程， 2014， 50（7）： 1871-1876.

[21] 閔永智，岳彪，馬宏鋒. 基于圖像灰度梯度特征的鋼軌表面缺陷檢測[J]. 儀器儀表學報，2018，39（4）：220-229.

（責任編輯：江 艷）