基于YOLO與DMPHN的汽車法蘭表面缺陷檢測*

□ 唐金亮 □ 王國東 □ 陳特歡 □ 崔 杰

1.寧波大學 機械工程與力學學院 浙江寧波 315211 2.浙江華朔科技股份有限公司 浙江寧波 315800

1 研究背景

近年來,汽車行業發展迅速,汽車走進千家萬戶。汽車零部件種類繁多,包括法蘭、鑄件、軸承等。汽車零部件對表面粗糙度、加工工藝有極高的要求[1-2],因此,為了篩選汽車零部件加工過程中存在細小缺陷的產品,需要對汽車零部件表面進行缺陷檢測,保證表面質量,確保工作過程中的穩定性和可靠性[3]。

汽車法蘭表面缺陷檢測[4-7]在汽車制造業中是必不可少的一個環節,也是保證汽車法蘭合格的關鍵步驟。傳統的汽車法蘭表面缺陷檢測由人工目視進行,檢測效率低,并且隨著檢測時間的延長,工人的疲勞程度提高,影響檢測效果[8]。近年來,工業視覺技術發展迅速[9-10],彌補了傳統視覺檢測方法單一、抗干擾性和魯棒性差、多數情況不適用的不足。由此,利用神經網絡來提高視覺檢測效率和精度成為研究的熱點。

在視覺檢測中,圖像質量與檢測精度密切相關,圖像采集的效果會直接影響后續相關工作。引起圖像模糊的因素主要有兩方面。第一,鏡頭手動調焦會帶來不確定性,傳統手動調焦過程受主觀因素影響而使拍攝質量降低。第二,產品的類別、大小,以及通過流水線速度不相同,容易導致提取的圖像出現運動模糊和離焦模糊[11]。

Shen Xiaoye等[12]設計了一種具有仿生學特點的法蘭表面質量檢測自動化系統,可以對具有復雜結構和細微缺陷的法蘭表面質量進行檢測。在主動照明情況下,這一系統可以檢測出反射率高的金屬法蘭缺陷,減弱反射和噪聲的影響。王健等[13]提出基于生成對抗網絡和RetinaNet網絡的模型,對模糊拍攝圖像進行識別,并能夠在高速運動中拍攝清晰圖像,但是去模糊化效果不理想,不能夠準確應用于工業流水線。閔永智等[14]提出基于圖像灰度梯度特征的軌道表面缺陷檢測,采用背景差分法來凸顯圖像缺陷特征部分,對光照條件變化有較強的適應性。代小紅等[15]提出一種改進區域神經網絡,用于檢測流水線上的金屬工件,針對流水線上拍攝的圖片可能存在圖像模糊的情況,利用拉普拉斯算子銳化圖像邊緣,并使用對抗生成網絡來消除圖像的運動模糊,但是運動模糊的去除效果并不明顯。

筆者通過研究,提出一種基于改進YOLO(You Only Look Once)v3算法和DMPHN(Deep Multi-patch Hierarchical Network)算法的汽車法蘭表面缺陷檢測方法,解決因環境引起圖像模糊、失真等情況下汽車法蘭表面缺陷檢測的問題。網絡輸入端為DMPHN[16-17],包括生成器和判別器兩部分[18],生成器可以根據原始數據的特點生成逼真的清晰圖像樣例。去模糊后使用YOLOv3算法+MobileNetV3的檢測網絡[19-20],對汽車法蘭表面缺陷進行定位與識別。為了避免出現過擬合現象,實現實時性檢測功能,將YOLOv3算法原有的DarkNet-53主干網絡替換為MobileNetV3輕量級模型,提高了檢測速度。

研究的創新點包括三部分。第一,解決了在拍攝時出現運動模糊的情況下高精度檢測汽車法蘭表面缺陷的問題。第二,提出了DMPHN算法與YOLOv3算法MobileNetV3模型的網絡串聯方法。第三,根據現場實時檢測需求,修減網絡神經元與通道數,提高了檢測速度與精度。

2 檢測系統

汽車法蘭表面缺陷檢測系統如圖1所示,包括環形光源、相機、相機光源支架、數據處理單元。

由MV-CA060-10GC工業相機和開孔背光光源組成圖像采集單元,相機由網線與數據處理單元連接,用于拍攝汽車法蘭表面缺陷圖片。系統工作時,將存在表面缺陷的汽車法蘭放置在檢測平臺上,由相機拍攝得到法蘭的原始圖像。拍攝完成后通過數據線將圖像傳輸至數據處理單元,對圖像進行處理。圖像分辨率為1 200像素×1 200像素,格式為JPG。汽車法蘭模糊圖像樣本如圖2所示。

3 圖像去模糊

通過DMPHN算法對圖像進行去模糊操作。基于DMPHN算法,構建三層結構,每一層都有單獨的編碼器Encoder和解碼器Decoder,作用于不同數量的面片。在DMPHN算法中,面片表示將圖像平均分為若干個部分。面片的數量可以是1、2或4。DMPHN算法結構如圖3所示,[ ]表示空間中的連接,⊕表示殘差相加。

▲圖1 汽車法蘭表面缺陷檢測系統

▲圖2 汽車法蘭模糊圖像樣本

在第一層中,圖像I沒有被劃分為任何面片。在第二層中,圖像I被劃分為兩個面片,分別是I2,1、I2,2。在第三層中,I2,1、I2,2被劃分為四個面片,分別是I3,1、I3,2、I3,3、I3,4。各層中的編碼器Encoder-i和解碼器Decoder-i分別用Enci和Deci表示。編碼器由15個卷積層、6個殘差層和激活函數ReLU6組成,解碼器中除將兩個卷積層替換為反卷積層以生成去模糊圖像外,其余結構與編碼器相同。

輸入圖像經過Encoder-3輸出的特征圖F3,j為:

F3,j=Enc3(I3,j)j=1,2,3,4

(1)

將空間上相鄰的特征圖拼接成新的特征P3,j,為:

P3,j=[F3,2j-1,F3,2j]j=1,2

(2)

將新的連接特征P3,j經過Decoder-3傳遞生成第三層特征圖Q3,j,為:

Q3,j=Dec3(P3,j)j=1,2

(3)

殘差疊加之后的結果經過Encoder-2后的輸出F2,j為:

F2,j=Enc2(I2,j+Q3,j)j=1,2

(4)

I2,j+Q3,j為Decoder-3的輸出與第二層中圖像所劃分成的兩個面片殘差疊加。

▲圖3 DMPHN算法結構

(5)

將第三層的P3,j與F2,j拼接成新的特征P2,為:

(6)

P2經過Decoder-2生成第二層的特征圖Q2,為:

Q2=Dec2(P2)

(7)

第二層Decoder-2的輸出與輸入圖像殘差疊加后經過Encoder-1的輸出F1為:

F1=Enc1(I+Q2)

(8)

(9)

4 缺陷檢測

在汽車法蘭表面缺陷檢測部分,將YOLOv3算法作為基礎模型。對于傳統YOLOv3算法,其主干網絡由DarkNet-53作為基礎架構,DarkNet-53共由53層卷積層組成,去除最后一個全連接層,總共有52個卷積層作為主體結構。在圖像識別領域,DarkNet-53的精度高,性能優異,但是存在模型臃腫、參數多、計算量大等問題。對于汽車法蘭單類別表面缺陷檢測這一任務,DarkNet-53表現為結構冗余,效率下。

采用輕量級模型MobileNetV3對DarkNet-53進行替換。模型整體上構建為金字塔結構,通過對圖像進行不同尺度的縮放,實現多尺度特征的提取。對每個尺度的特征進行單獨預測,以此實現高精度的特征檢測。網絡結構為16層深度可分離卷積,單獨計算空間卷積和通道卷積。深度可分離卷積的核心思想是將一個卷積操作分解為兩部分,空間卷積對每個輸入通道單獨使用卷積運算,通道卷積計算輸入通道的線性組合,構建新的特征。

用DK×DK表示卷積核尺寸,用DF×DF表示輸入的特征圖尺寸,用M、N分別表示輸入和輸出的通道數,那么傳統卷積的計算量R1為:

R1=DK×DK×M×N×DF×DF

(10)

深度可分離卷積的計算量R2為:

R2=DK×DK×M×DF×DF

+M×N×DF×DF

(11)

計算量比值為:

(12)

一般情況下,輸出的通道數比較多,對于傳統3×3卷積核而言,深度可分離卷積計算力會提升9倍左右,通過兩個卷積將原來的3×3×N卷積核轉變為一個3×3×1卷積核和一個1×1×N卷積核。

MobileNetV3借鑒ResNet思想,引入線性瓶頸和反轉殘差層,將每個模塊的最后一個激活函數轉換為線性輸出,這樣當僅輸入低維時激活函數ReLU6能夠保留所有完整信息。這一非線性改變將模型的延時增加15%,所帶來的網絡效應對于精度和延時具有正向促進作用,剩余消耗可以通過融合非線性與先前層來消除。反轉殘差層結構如圖4所示。

使用一種新的激活函數h-swish,在網絡結構搜索過程中,結合資源受限制的NAS和NetAdapt兩種技術。NAS用于在計算和參數量受限的前提下搜索網絡的各個模塊。NetAdapt用于對各個模塊確定之后的網絡層進行微調。DarkNet-53中的參數量為2.9×106,MobileNetV3中的參數量為40.6×106。

采用MobileNetV3進行汽車法蘭表面缺陷檢測,所用的汽車法蘭表面缺陷圖像復雜程度較低,圖像特征數量較少。由此,對MobileNetV3的網絡架構進行改進[21],調整卷積核數量、卷積層和通道數,調整網絡中5×5卷積核尺寸為3×3。激活函數h-swish的非線性能力更強,替換前三層激活函數ReLU6,提高擬合能力,使參數量減少,運算速度加快,從而適用于汽車法蘭表面缺陷檢測。

激活函數h-swish為:

h-swish(x)=xReLU6(x+3)/6

(13)

改進后的MobileNetV3網絡結構見表1。表1中,k為輸出類別的個數。

表1 改進后MobileNetV3網絡結構

5 試驗

5.1 檢測流程

檢測流程如圖5所示。基于改進的YOLOV3算法和DMPHN算法,將模糊圖像輸入DMPHN計算權重,進行去模糊操作,對計算出的結果進行標注,然后進行圖像強化處理,輸入改進的檢測網絡模型,進行訓練,對目標進行預測,最后將所要預測的數據輸入訓練好的模型,得到預測結果。

▲圖5 檢測流程

5.2 試驗設計

試驗主要的調試參數為批處理大小、學習率、迭代次數。其中,批處理大小指的是按一定批次將圖像輸入模型,在一定合理范圍內,批處理大小越大,確定的下降方向越準,引起的訓練振蕩越小。批處理大小如果過大,那么確定的下降方向基本不會有太大變化。對于設備而言,批處理大小越大,內存占用量越大。學習率決定梯度下降中參數更新的速度,直接影響模型的收斂速度。學習率設定過大,模型可能陷入局部最小值,導致不會收斂。學習率設定過小,模型收斂速度則太慢。迭代次數指訓練輪數,設定過大可能發生過擬合,設定過小可能導致模型檢測精度降低。

所有試驗都在同一臺服務器上完成,配置英特爾酷睿i9-9900K中央處理器、32GiByte內存和英偉達精視RTX 2080Ti圖形處理器。

DMPHN算法基于Keras框架實現。模型學習率為0.000 1,批處理大小為4,迭代次數為400,同時設定每100次迭代保存一次結果。改進YOLOv3算法+MobileNetV3基于Tensorflow框架實現,設置學習率為0.001,動量大小為0.9,批處理大小為32,迭代次數為500。

5.3 圖像增強

考慮到樣本圖像數量直接影響缺陷檢測的精度,通過圖像增強的方法,將原始圖像擴增至5 038個樣本數據。樣本數據分為兩部分,訓練集數量為4 283,測試集數量為755。

通過數據增強的方法,可以提高神經網絡的訓練速度,這是深度學習中必不可少的一個環節。筆者所采用的圖像增強方法是高斯模糊、仿射變換、圖片銳化。通過圖像增強,實現數據量的擴充,減少網絡過擬合現象,提高網絡的泛化能力,使模型能夠在一定程度上抵抗噪聲干擾,并適應光線模糊等惡劣的工作環境情況。

5.4 試驗結果

在環境復雜的加工車間中,圖像拍攝模糊,流水線零件高速移動拍攝導致圖像失真,對檢測效果有很大影響。采用DMPHN算法,能夠有效解決圖像失真和模糊問題,檢測速度為42.5幀/s。DMPHN算法修復模糊圖像結果如圖6所示。

▲圖6 DMPHN算法修復模糊圖像結果

圖6中第一列是未修復的模糊圖像,第二列、第三列、第四列依次是DMPHN算法在1輪、10輪、100輪的圖像。第1輪圖像修復效果不明顯,10輪后圖像修復效果顯著,100輪時基本收斂。

模糊圖像修復相似度指標見表2。由表2可以看出,修復后的圖像與未修復的圖像相似度指標差為0.132 5,有助于后期對缺陷進行檢測。相似度指標主要比較兩個圖像的亮度、對比度、結構,并采用三要素加權計算。圖像A與圖像B的相似度指標SSIM(A,B)為:

(14)

(15)

(16)

(17)

C1=(K1L)2

(18)

C2=(K2L)2

(19)

表2 模糊圖像修復相似度指標

式中:NA為圖像A尺寸;μA為圖像A像素平均灰度;μB為圖像B像素平均灰度;σA為圖像A均方差;σB為圖像B均方差;σAB為兩張圖像的協方差;C1、C2、K1、K2為常數;L為灰度級數,一般為255。

為了避免μA2+μB2、σA2+σB2為0造成系統不穩定,設K1、K2遠小于1,控制C1、C2的占比。

對于已修復完成的圖像,采用YOLOv3算法、SSD(Single Shot MultiBox Detector)算法、Faster區域卷積神經網絡等,配合不同主干網絡,與筆者所提出的檢測方法進行性能對比,試驗結果見表3,檢測效果如圖7所示。

表3 試驗結果

由表3和圖7可以看出,采用筆者提出的基于改進YOLOv3算法和DMPHN算法的汽車法蘭表面缺陷檢測方法,相比傳統算法,在時間和準確率方面都有一定提升,相比改進前的YOLOv3算法+MobileNetV3,平均精度均值提高1.03個百分點。

6 結束語

筆者提出一種基于改進YOLOv3算法和DMPHN算法的汽車法蘭表面缺陷檢測方法。通過優化網絡結構,改善網絡性能,實現了在運動模糊、環境干擾等情況下的魯棒性。鑒于原始網絡結構過于冗余,為了最大程度實現在線實時檢測,對網絡參數量進行簡化,在不影響檢測精度的前提下提升檢測速度。通過試驗表明,使用DMPHN算法去模糊之后對YOLOv3算法+MobileNetV3進行訓練,能夠在流水線運動的情況下對汽車法蘭表面缺陷實現高效率檢測,平均精度均值達到97.74%,消耗時間更短,計算量更小,內存消耗也更少。

▲圖7 缺陷檢測效果

當前筆者只驗證在限定試驗條件下的檢測情況,下一步將研究檢測方法應用于傳送帶上部件缺陷的在線檢測,達到流水線不間斷檢測的目的。