基于改進的Faster-RCNN模型的汽車輪轂表面缺陷在線檢測算法研究

朱超平，楊永斌

基于改進的Faster-RCNN模型的汽車輪轂表面缺陷在線檢測算法研究

朱超平1,2，楊永斌1,2

（1.重慶工商大學 人工智能學院，重慶 400067；2.重慶市檢測控制集成系統工程重點實驗室，重慶 400067）

通過構建輪轂在線生產視覺檢測系統，預測輪轂生產過程中輪轂表面的缺陷。根據輪轂表面缺陷的定義和評價標準，給出了輪轂表面缺陷的計算模型，采用了改進型的Faster-RCNN目標檢測算法，引入了深度生成式對抗網絡，消除圖像的模糊性，再利用清晰的輪轂表面圖像進行模型訓練，結合領域專家的判別標準，優化網絡參數，構建輪轂表面缺陷檢測模型。利用深度學習Pytorch框架，在NVIDIA Tesla P100圖像加速卡上進行模型訓練，并對模型結果進行對比性實驗分析，找出最優的預測模型。在基礎網絡部分，采用殘差模型ResNet101網絡比采用VGG16模型的準確率提高了24%。在目標檢測網絡模型中引入了多通道特征融合模塊，準確率提升了2%。再引入FPN金字塔模型，融入低級和高級語義信息，使得輸出的多尺度的預測特征圖譜效果更好。最后把殘差網絡的ROI-Pooling算法改為ROI-Align算法，準確率提高了5%。通過對網絡模型的不斷改進和優化，輪轂表面缺陷的識別率不斷提高。利用改進型的Faster-RCNN網絡能夠識別出輪轂表面缺陷的種類和位置，滿足生產環境的要求，具有一定的工程應用價值。

汽車輪轂；缺陷檢測；深度學習；目標檢測；Faster-RCNN

隨著人們生活水平的提高，汽車成為家庭的消費品，消費者越來越看重汽車的質量。輪轂是汽車的重要組成部分，也是重要的安全組件，汽車輪轂質量的好壞直接影響產品的外觀，甚至生命的安全，對輪轂表面缺陷檢測就顯得非常重要。輪轂制造工藝相對簡單，但輪轂的結構復雜，檢測技術要求高，傳統的檢測方法主要有滲透檢測技術、渦流檢測技術、磁粉檢測技術、圖像檢測技術、目視檢測技術和人工檢測[1]。這些方法技術要么有污染，要么檢測工藝復雜，要么檢測速度慢，很難實現輪轂表面的自動化檢測，導致生產效率低，檢測效果不理想。因此，有必要研究如何提高輪轂表面缺陷的檢測效率效果。

近年來，基于人工智能的智能生產技術在工業領域的應用得到迅速發展，使得計算機視覺和深度學習方法逐步滲透到輪轂表面缺陷檢測的研究領域中。趙海文[2]提出了基于深度卷積神經網絡，檢測汽車輪轂表面缺陷的方法。趙娜娜[3]提出了基于視角顯著性超像素圖像的檢測方法，可對高鐵輪轂表面缺陷進行檢測。葉凱[4]提出了基于利用深度學習，對生產線上的輪轂進行缺陷定位和分類。王一妍[5]提出了利用機器視覺對輪轂鑄造面的缺陷區域進行定位，提取缺陷特征，從而進行特征缺陷識別。這些方法首先都需要先離線采集輪轂表面圖像，然后對圖像繼續進行加強處理，最后進行表面缺陷識別，這很難適應流水線自動化生產的要求，并且預測效果也不夠理想。鑒于此，文中選用行業專家的評判標準，結合采集的數據，確定缺陷的類別，引入Faster-RCNN目標檢測模型[6]，并優化網絡模型，旨在構建輪轂表面缺陷檢測模型。

1 缺陷的分類和圖像采集

輪轂的主要生產環節包含四個：鑄造、打磨、機加工和自動噴漆。在生產過程中，可能會出現鑄造密度不均勻以及氣動打磨不足導致的表面不夠平滑等問題，從而產生料斷、冷夾、坑洼和氣孔等缺陷[7]。這些缺陷主要分類三類：凹坑類、線條類和偏差類。由于偏差類缺陷通過深度學習算法檢測比較困難，所以本文只對前兩類缺陷進行檢測，其缺陷的樣例圖片如圖1所示。

圖1 缺陷的種類

1.1 圖像采集系統

當輪轂進入檢測階段時，首先利用機械臂上的工業相機對流水線上的輪轂表面進行圖像采集（圖像采集系統如圖2所示），然后再對輪轂的反表面進行采集，收集大量的輪轂表面圖像。由于要訓練深度學習網絡，前期需要采集大量圖像，并從中識別出輪轂表面有缺陷的圖像，周期較長，并且需要花費大量的人力和物力。

1.2 圖像標注和數據增強

根據廠家對輪轂表面缺陷檢測的要求，以及輪轂生產線的專業技術人員對缺陷分析的指導，最終確定通過深度學習網絡系統，檢測輪轂表面的缺陷點和劃痕兩類缺陷[8]，利用LabelImg軟件對輪轂表面的缺陷用矩形框框出，并在右側的信息欄內標注缺陷區域的類別和位置，完成標注的信息會存在XML文件中。

由于在生產線上有瑕疵的輪轂數量占比較低，要采集大量有缺陷的輪轂表面圖像比較困難，并且非常耗時。為了獲得更高的輪轂表面缺陷識別率，需要大量的缺陷圖像，但由于采集條件的限制，采集大量的圖像用于訓練較難，而模型的訓練又需要大量的數據集作為支撐，折中的辦法就是對采集到的圖像通過翻轉、旋轉、平移、縮放和噪聲等方式，進行擴展處理，增加圖像的數量集，用于模型的訓練[9-12]。

2 消除圖像模糊性

2.1 圖像模糊性判斷

輪轂在生產線上移動，對運動輪轂表面進行圖像采集時，很有可能采集到的圖像會產生模糊性，在進行圖像識別之前，需要先對圖像進行消除模糊處理，把模糊圖像變得清晰，以提高輪轂表面缺陷的識別率。處理的主要步驟是：1）將采集到的圖像轉化為灰度圖；2）利用拉普拉斯算子對灰度圖做一次卷積運算，得到圖像的計算圖；3）利用計算圖的方差閾值來判斷圖像的清晰度，值越小，圖像越模糊，值越大，圖像越清晰[13]。通過大量對比研究實驗發現，當閾值大于20時，為清晰圖像，當閾值小于20時，為模糊圖像[14]。

2.2 條件生成式對抗網絡

2014年，Goodfellow[15]提出了GANs（Generative adversarial nets），即生成式對抗網絡，主要用于從訓練樣本中學習出新樣本。該網絡至少包含生成模型（Generative Model）和判別模型（Discriminative Model）兩部分[16]。生成模塊主要用于學習真實圖像分布，讓生成的圖像更加真實；判別模塊主要用于判斷圖像是真實圖像還是生成圖像。隨著網絡的不斷訓練，參數的不斷迭代和優化，生成模塊和判別模塊不斷地進行對抗式學習，最終網絡模型達到一個動態平衡[17]。訓練過程中生成器和判別器的優化目標函數如公式(1)所示[18]。

通過對公式(1)進行研究發現，生成式對抗網絡可以通過輸入隨機信號的組合來生成近似真實圖像數據，這使得生成圖像和真實圖像無法共享信息，但是在高維的數據空間中，生成模型利用隨機信號生成的圖像數據和真實圖像數據之間具有一定的相似性。為了改善這種情況，在公式(1)中引入條件來構成條件生成式對抗網絡，這能夠有效地辨別是真實圖像，還是生成圖像，公式如(2)所示[19]。其中，為真實圖像的標簽。

2.3 消除圖像模糊性

條件生成式對抗網絡選用深度卷積神經網絡，以適應對輪轂表面圖像數據的處理，并重新設計圖像內容損失函數，用于模型的訓練，實現輸入的模糊圖像與網絡輸出的清晰圖像之間的圖像共享內容不發生改變，保證內容的真實性，從而消除圖像的模糊性。消除過程如圖3所示。

圖3 消除圖像模糊性

3 輪轂表面缺陷檢測

2016年，在R-CNN和Fast-RCNN技術發展的基礎之上，Girshick[20]提出了新的Faster-RCNN模型。該模型通過抽取網絡特征，提取proposal區域，將bounding box regression和分類都整合在一個網絡中，使得模型的特征提取和分類的綜合性能有較大提高，

在檢測速度方面的提升尤為明顯[21]。本文在Faster- RCNN的基礎之上，進行模型的改進，提出了適合輪轂表面檢測的網絡模型，如圖4所示，該模型主要包括以下四個部分：

1）特征提取網絡。作為一種CNN網絡目標檢測方法，Faster-RCNN首先使用一組基礎深度神經網絡層提取圖像的特征圖譜，該特征圖譜被共享，用于后續RPN層和全連接層。

2）RPN（Region Proposal Networks）。RPN網絡把任意尺度的圖像作為輸入、輸出系列的矩形目標框，用于生成推薦區域，通過softmax判斷錨點屬于前景還是背景，最后利用邊界框回歸圖修正錨點，獲得精確的proposals。

3）ROI Pooling。該層負責收集輸入的特征圖譜和proposals信息，利用這些綜合信息來提取proposal feature maps，最后送入到后續全連接層，判定目標類別和位置。

4）Classification。利用proposal feature maps計算proposal的類別，同時再次獲得邊界框回歸算法邊框的準確位置。

圖4 Faster-RCNN網絡模型結構

3.1 特征提取基礎網絡

在特征提取基礎網絡選取方面，選取VGG16網絡和殘差神經網絡ResNet101作為特征提取的基礎網絡，分別對兩個方案的網絡進行訓練，針對實驗結果（表1），選擇最優網絡作為基礎網絡。由表1可知，VGG16網絡的缺陷點檢測率為0.56，劃痕檢測率為0.73，均值mAP優化率為0.65，準確度為0.6；ResNet101的缺陷檢測率為0.88，劃痕檢測率為0.78，均值為0.83，召回率和準確率提升效果非常明顯。因此，選擇ResNet101作為特征提取的基礎網絡。

表1 目標檢測網絡實驗對比

Tab.1 Experimental comparison of target detection network

3.2 SE通道特征融合模塊

為了進一步提高網絡模型的特征提取能力，在殘差網絡ResNet101的基礎之上，引入了特征通道之間的融合模塊SE（squeeze-and-excitation module）[22]。該模塊能從特征通道間進行特征融合，建立特征通道之間的相互依賴關系，并且能夠通過學習的方式，獲取每個特征通道的重要程度，然后按照重要程度去提升有用的特征，并抑制對當前任務不重要的通道特征，進一步加強特征提取網絡的性能，融入SE模塊的殘差學習網絡，如圖5所示。

圖5 嵌入SE模塊的殘差網絡

對比引入SE模塊的殘差網絡和普通殘差網絡的實驗分析數據可知（見表2），嵌入SE模塊后，能夠有效地整合不同通道之間的特征，對網絡性能特征提取能力有比較明顯的提升。

表2 嵌入SE模塊網絡參數對比

Tab.2 Parameter comparison of embedded SE module network

3.3 FPN網絡

FPN（Feature Pyramid Network）特征金字塔網絡由bottom-up和top-down路徑及側面鏈接構成，通過任意大小的單尺度圖像作為輸入，以完全卷積的方式對多尺度特征圖進行多個級別的特征圖的計算[23]。具體的操作過程為：首先對底層金字塔層級特征圖通過1×1卷積操作，進行降維處理，得到與高層金字塔特征相同的通道，再對高層金字塔特征圖進行兩倍采樣，然后對兩者的特征圖進行逐個像素相加，最后得到金字塔的輸出[24]。通過在特征提取網絡中引入FPN網絡以后，模型能夠融入低級和高級語義信息，使得模型輸出的多尺度的預測特征圖譜效果更好。實驗數據（表3）表明，指標提升的效果非常明顯。

表3 加入FPN網絡參數對比

Tab.3 Parameter comparison of added FPN network

3.4 ROI檢測網絡

Faster-RCNN在得到一系列的候選框區域時，需要計算候選框區域的準確位置和精確分類。ROI- Pooling就是將特征圖上大小不同的ROI池化成大小相同的特征圖，使得輸出的特征圖的大小與ROI的大小和特征圖譜大小無關，加快ROI-Pooling操作，大力地提升了候選框的處理速度。研究發現，在ROI- Pooling算法中采用雙線性插值方式，對圖像中的小目標進行處理，會產生像素的位置偏移，從而造成較大的誤差[25]。為了提高性能，減少誤差，本文提出采用ROI-Align算法來替代ROI-Pooling算法，將ROI區域映射為原圖的方法改為最近鄰插值法。通過對比實驗發現，采用ROI-Align能夠較大地提升網絡的性能。

表4 加入ROI網絡參數對比

Tab.4 Parameter comparison of added ROI network

4 實驗結果分析

4.1 實驗環境

實驗環境使用的是NVIDIA Tesla P100專業加速卡，操作系統是Ubuntu18.0，使用的深度學習框架是Pytorch，模型的訓練測試都在NVIDIA Tesla P100圖像加速卡上進行。

4.2 實驗數據集

利用人工在輪轂加工廠采集了1000張968×648像素的樣本圖片，有缺陷和無缺陷的圖片各500張。由于輪轂在生產線上會移動，這些圖片中有的輪轂圖像比較模糊，需要采用深度對抗網絡去除圖像的模糊性，得到清晰圖片。由于采集的輪轂缺陷圖片的樣本數量較少，樣本的數量又直接影響模型缺陷識別的精度，只有通過對無缺陷的圖像進行翻轉、旋轉、縮放、變換、增加噪聲和缺陷特征位置變化等方式，把數據量擴展至2000張，其中1600張作為訓練集圖片，400張作為測試集圖片。把有缺陷的圖片數量擴展至1000張，其中訓練集圖片900張，測試集圖片100張。

4.3 實驗結果對比

為了測試基礎網絡對目標檢測模型的應用，選用VGG16和殘差網絡ResNet101作比較實驗，殘差網絡ResNet101的性能優于VGG16模型。為了得到更好的目標檢測性能，在基礎網絡檢測網絡之上，分別加入SE模塊、改進的ROI-Align算法和FPN多尺度特征融合網絡算法，對加入不同模塊和算法的模型進行訓練，對輪轂表面的缺陷點和劃痕兩種缺陷類型的預測值、mAP(mean average precision)值、召回 率和準確率進行測量，最后在模型中加入SE模塊、ROI-Align算法和FPN算法進行綜合訓練，測量模型的參數值。實驗數據結果如表5所示。

表5 實驗結果匯總

Tab.5 Summary of experimental results

從表5中的實驗數據可以看出，當在檢測網絡中引入SE模塊、改進ROI-Align算法和FPN多尺度特征融合網絡后，輪轂表面缺陷檢測網絡的指標明顯提高。此外，缺陷點和劃痕檢測的召回率和準確率分別比只加入其中一個模塊的召回率和準確率都有所提高，并且提升的效果比較明顯。

4.4 結果展示

由于網絡模型是采用清晰圖像進行訓練的，對模糊圖像的正確識別率很差，很難檢測出缺陷位置。為了能夠檢測出模糊圖片，需要先利用深度生成式對抗網絡去除圖像的模糊性，如圖6所示。然后再利用缺陷檢測網絡進行缺陷檢測和定位，實驗結果表明，去除模糊性的圖片可以非常有效地檢測出缺陷的類型和位置，實驗結果如圖7所示。

圖6 模糊圖像檢測結果

圖7 清晰圖像檢測結果

利用數據集中帶有缺陷的清晰圖像對網絡進行訓練，并通過測試數據集對訓練好的網絡進行測試。從實驗結果來看，圖像中的缺陷和劃痕可以非常容易地檢測出，說明模型檢測的置信度較高。

5 結論

目前，汽車輪轂的表面多用人工進行檢測，文中利用深度學習對生產線上的輪轂表面進行缺陷檢測。首先通過圖像采集系統獲取輪轂表面的圖像，然后利用生成式對抗網絡去除圖像的模糊性，生成清晰的圖像，其次利用殘差網絡Resnet101作為特征提取基礎網絡，并在網絡中引入SE模塊，加入FPN多尺度融合特征網絡，把殘差網絡的ROI-Pooling算法改為ROI-Align算法，得到改進型Faster-RCNN的目標檢測網絡模型。利用清晰的圖像數據集對模型進行訓練，利用測試集數據進行模型測試，實驗結果表明，該模型能夠對缺陷點和劃痕進行有效檢測，檢測缺陷區域的準確率為89%，召回率可以達到92%，基本能夠滿足當前生產環境的要求。

[1] 王琦, 張超. 模式識別的汽車輪轂鑄件缺陷檢測技術研究[J]. 鑄造技術, 2017, 38(12): 2889-2891.WANG Qi, ZHANG Chao. Research on defects detection technology of automobile bub casting based on pattern recognition[J]. Foundry technology, 2017, 38(12): 2889- 2891.

[2] 趙海文, 趙亞川, 齊興悅, 等. 基于深度學習的汽車輪轂表面缺陷檢測算法研究[J]. 組合機床與自動化加工技術, 2019(11): 112-115. ZHAO Hai-wen, ZHAO Ya-chuan, QI Xing-yue, et al. Research on surface defect inspection algorithms of auto-mobile hub based on deep learning[J]. Modular machine tool & automatic manufacturing technique, 2019(11): 112- 115.

[3] 趙娜娜, 陶溢, 李芬, 等. 高鐵輪轂表面缺陷的視覺顯著性超像素圖像檢測方法[J]. 科學技術與工程, 2019, 19(32): 230-235. ZHAO Na-na, TAO Yi, LI Fen, et al. Visual saliency sup-erpixel image detection method for surface defect of high- speed rail hub[J]. Science technology and engineering, 2019, 19(32): 230-235.

[4] 韓凱. 基于深度學習的汽車輪轂表面缺陷在線檢測算法[M]. 北京: 北京郵電大學, 2019. HAN Kai. The online detection algorithm for surface def-ects of automobile hubs based on deep learning[M]. Bei-jing: Beijing University of Posts and Telecommunication, 2019.

[5] 王一妍. 基于機器視覺的輪轂鑄造面質量檢測研究[M]. 沈陽: 沈陽工業大學, 2019.WANG Yi-yan. Research on quality inspection of wheel cas-ting surface based on machine vision[M]. Shenyang: Shen-yangUniversityofTechnology, 2019.

[6] 劉暢, 張劍, 林建平. 基于神經網絡的磁瓦表面缺陷檢測識別[J]. 表面技術, 2019, 48(8): 330-339. LIU Chang, ZHANG Jian, LIN Jian-ping. Detection and ide-ntification of surface defects of magnetic tile based on neural network[J]. Surface technology, 2019, 48(8): 330- 339.

[7] LI R, ZENG X, SIGMUND S E, et al. Automatic localiza-tion and identification of mitochondria in cellular electron cryo-tomography using faster-RCNN[J]. BMC bioinforma-tics, 2019, 20(S3): 75-84.

[8] 李宜汀, 謝慶生, 黃海松, 等. 基于卷積神經網絡快速區域標定的表面缺陷檢測[J]. 計算機集成制造系統, 2019, 25(8): 1897-1907.LI Yi-ding, XIE Qing-sheng, HUANG Hai-song, et al. Sur-face defect detection based on fast regions with convolu-tional neutral network[J]. Computer integrated manufact-uring systems, 2019, 25(8): 1897-1907.

[9] 車翔玖, 劉華羅, 邵慶彬. 基于Fast RCNN改進的布匹瑕疵識別算法[J]. 吉林大學學報(工學版), 2019, 49(6): 2038-2044.CHE Xiang-jiu, LIU Hua-luo, SHAO Qing-bin. Fabric defect recognition algorithm based on improved fast RCNN[J]. Jou-rnal of Jilin University (engineering and technology edi-tion), 2019, 49(6): 2038-2044.

[10] 朱傳敏, 顧鵬, 劉丁豪, 等. 基于支持向量機的鋁基碳化硅磨削表面質量預測[J]. 表面技術, 2019, 48(3): 240-248. ZHU Chuan-min, GU Peng, LIU Ding-hao, et al. Surface quality prediction of SiCp/Al composite in grinding based on support vector machine[J]. Surface technology, 2019, 48(3): 240-248.

[11] 朱超平, 楊藝. 基于YOLO2和ResNet算法的監控視頻中的人臉檢測與識別[J]. 重慶理工大學學報(自然科學), 2018, 32(8): 170-175. ZHU Chao-ping, YANG Yi. Face detection and recogni-tion in monitoring video based on YOLO2 and ResNet alg-orithm[J]. Journal of Chongqing University of Technology (natural science), 2018, 32(8): 170-175.

[12] VIPUL Sharma, ROOHIE Naaz Mir. Saliency guided faster-RCNN (SGFr-RCNN) model for object detection and recognition[J]. Journal of King Saud University—Computer and information sciences, 2019, 9: 1319-1578.

[13] JU Hu-yan, WEI Li, SUSAN Tighe, et al. Detection of sea-led and unsealed cracks with complex backgrounds using deep convolutional neural network[J]. Automation in con-struction, 2019, 107: 1-14.

[14] SANG J, GUO P, XIANG Z, et al. Vehicle detection basedon faster-RCNN[J]. Journal of Chongqing University, 2017, 40(7): 32-36.

[15] HU Jie, SHEN Li, ALBANIE Samuel, et al. Squeeze-and- excitation networks[J]. IEEE transactions on pattern analy-sis and machine intelligence, 2019, 1: 1-13.

[16] ZHANG Fang-li, ZHOU Qi-ming. Parallelization of the flow-path network model using a particle-set strategy[J]. International journal of geographical information science, 2019, 33(9-10): 1984-2010.

[17] 李東潔, 李若昊. 基于改進Faster RCNN的馬克杯缺陷檢測方法研究[J]. 激光與光電子學進展, 2020, 57(4): 353-360.LI Dong-jie, LI Ruo-hao. Research on the mugs defect det-ection method based on improved Faster RCNN[J]. Laser & optoelectronics progress, 2020, 57(4): 353-360.

[18] 虢韜, 楊恒, 時磊, 等. 基于Faster RCNN的絕緣子自爆缺陷識別[J]. 電瓷避雷器, 2019(3): 183-189.GUO Tao, YANG Heng, SHI Lei, et al. Self-explosion def-ect identification of insulator based on Faster RCNN[J]. Insulators and surge arresters, 2019(3): 183-189.

[19] 卞景帥, 盧家品, 羅月童, 等. 基于Faster-RCNN的結核桿菌自動檢測方法研究與應用[J]. 圖學學報, 2019, 40(3): 608-615. BIAN Jing-shuai, LU Jia-pin, LUO Yue-tong, et al. Res-earch and application of Faster-RCNN based automatic detection method for tuberculosis bacillus[J]. Journal of graphics, 2019, 40(3): 608-615.

[20] 陳丹, 林清泉. 基于級聯式Faster RCNN的三維目標最優抓取1方法研究[J]. 儀器儀表學報, 2019, 40(4): 229-237. CHEN Dan, LIN Qing-quan. Research on 3D object opti-mal grasping method based on cascaded Faster RCNN[J]. Chinese journal of scientific instrument, 2019, 40(4): 229-237.

[21] 劉文強, 辛大欣, 華瑾, 等. 基于Faster RCNN的鎂還原罐工人檢測算法[J].國外電子測量技術, 2019, 38(4): 12-17.LIU Wen-qiang, XIN Da-xin, HUA Jin, et al. Magnesium reduction tank worker detection algorithm based on faster RCNN[J]. Foreign electronic measurement technology, 2019, 38(4): 12-17.

[22] 楊薇, 王洪元, 張繼, 等. 一種基于Faster-RCNN的車輛實時檢測改進算法[J].南京大學學報(自然科學), 2019, 55(2): 231-237.YANG Wei, WANG Hong-yuan, ZHANG Ji, et al. An imp-roved vehicle real-time detection algorithm based on Faster- RCNN[J]. Journal of Nanjing University (natural science), 2019, 55(2): 231-237.

[23] 黃繼鵬, 史穎歡, 高陽. 面向小目標的多尺度Faster- RCNN檢測算法[J]. 計算機研究與發展, 2019, 56(2): 319-327. HUANG Ji-peng, SHI Ying-huan, GAO Yang. Multi-scale Faster-RCNN algorithm for small object detection[J]. Journal of computer research and development, 2019, 56(2): 319-327.

[24] 晏琳, 景軍鋒, 李鵬飛. Faster RCNN模型在坯布疵點檢測中的應用[J]. 棉紡織技術, 2019, 47(2): 24-27.YAN Lin, JING Jun-feng, LI Peng-fei. Application of Faster RCNN mold used in gray fabric defect detection[J]. Cotton textile technology, 2019, 47(2): 24-27.

[25] 陳英紅, 杜明坤. 基于Fast-RCNN與結構光縱焊縫三維形態參數檢測方法[J].中國測試, 2018, 44(12): 85-90. CHEN Ying-hong, DU Ming-kun. A Fast-RCNN & struc-tured light based three-dimensional shape parameter dete-ction method for longitudinal welds[J]. China measure-ment & test, 2018, 44(12): 85-90.

Online Detection Algorithm of Automobile Wheel Surface Defects Based on Improved Faster-RCNN Model

1,2,1,2

(1.School of Artificial Intelligence, Chongqing Technology and Business University, Chongqing 400067, China; 2.Chongqing Engineering Laboratory for Detection Control and Integrated System, Chongqing 400067, China)

The work aims to predict the wheel surface defects during the production by constructing a visual inspection system for the online production of the wheel.According to the definition and evaluation criteria of wheel surface defects, a calculation model of wheel surface defects was produced. The improved Faster-RCNN target detection algorithm was used, and the deep generative adversarial network was introduced to eliminate the ambiguity of the image. The limpid image of wheel surface was adopted for model training and the network parameters were optimized combined with the expert's discriminative criteria, thus constructing a wheel surface defect detection model. The deep learning Pytorch framework was used to perform the model training on the NVIDIA’S Tesla P100 image acceleration card, and the model results were analyzed comparatively to find the optimal prediction model.In the basic network, the performance of the ResNet101 network using the residual model improved the accuracy rate by 24% compared with the VGG16 model. The multi-channel fusion module was introduced into the target detection network model, and the accuracy rate was improved by 2%. Then, the FPN pyramid was introduced, and the low-level and high-level semantic information was incorporated, which made the output of multi-scale prediction map better. Finally, the ROI-Pooling algorithm of the residual network was changed to the ROI-Align algorithm, which improved the accuracy by 5%. With continuous improvement and optimization, the recognition rate of the wheel surface defects was improved continuously. The improved Faster-RCNN network can recognize the types and locations of wheel surface defects, thus meeting the requirements of the production environment, and providing great value in the engineering application.

automotive wheels; defect detection; deep learning; target detection; Faster-RCNN

2020-01-02；

2020-04-28

ZHU Chao-ping (1977—), Male, Master, Lecturer, Research focus: machine learning & intelligent data processing.

楊永斌（1968—），男，碩士，副教授，主要研究方向為智能數據處理。郵箱: yangbin0715@sina.com

Corresponding author：YANG Yong-bin (1968—), Male, Master, Associate professor, Research focus: intelligent data processing. E-mail:yangbin0715@sina.com

朱超平, 楊永斌. 基于改進的Faster-RCNN 模型的汽車輪轂表面缺陷在線檢測算法研究[J]. 表面技術, 2020, 49(6): 359-365.

TH165.4；TG506

A

1001-3660(2020)06-0359-07

10.16490/j.cnki.issn.1001-3660.2020.06.044

2020-01-02；

2020-04-28

教育部科技發展中心產學研創新基金項目（2018A02049）；重慶工商大學重點開放項目（KFJJ2019106）；重慶市教育科學規劃項目（2018-GX-348）；重慶工商大學自然科學基金項目（1752006）

Fund：Innovation Fund Project of Science and Technology Development Center of Ministry of Education (2018A02049), Chongqing Technology and Business University Key Open Project (KFJJ2019106), Chongqing Educational Science Planning Project (2018-GX-348), Business University Natural Science Foundation Project (1752006)

朱超平（1977—），男，碩士，講師，主要研究方向為機器學習和智能數據處理。

ZHU Chao-ping, YANG Yong-bin. Online detection algorithm of automobile wheel surface defects based on improved faster-RCNN model[J].Surface technology, 2020, 49(6): 359-365.