DN-YOLOv5的金屬雙極板表面缺陷檢測算法

凌 強,劉 宇,王春舉,賀海東,孫立寧

(蘇州大學 機電工程學院,江蘇 蘇州 215137)

在雙碳大背景下,發展氫能已成為全球主要國家的共識,氫燃料電池產業同樣受到了高度重視。近年來,中國有關氫能和燃料電池相關的政策持續加碼,積極推進氫能及燃料電池的推廣和應用。氫燃料電池產業鏈最主要、最核心的是燃料電池系統,微流道雙極板作為新能源燃料電池的關鍵部件,起到均勻分配氣體、收集電流、冷卻和支撐等作用。其中金屬雙極板擁有較高的能量密度,并且具有優異的導電、導熱性能,低成本、易加工,適合大規模批量生產。因此,研制高性能金屬雙極板是目前的重要發展方向。金屬雙極板的技術難點在于成形技術以及金屬雙極板表面處理技術[1],在眾多成形工藝中,精密沖壓成形具有高生產效率、低成本、成形精度好等優點,成為金屬雙極板主要制造技術。然而,金屬雙極板沖壓成形后雙極板表面變形,流道深度不一致對其表面質量造成了重大影響[2]。同時,受到實驗環境、機器磨損以及極板運輸操作不當等因素的影響,使得金屬雙極板的表面留下大量不同種類的缺陷[3]。這些缺陷有些存在于局部物理形態上的,如劃痕、褶皺、凹陷[4]等,還有一些表面缺陷涉及到化學性質的不均勻,如夾雜、斑點[5]等大大的影響金屬雙極板的表面結構及性能優劣。所以,良好的金屬雙極板表面缺陷檢測技術能夠保證其表面質量,對其生產方式和保存運輸具有重大意義。本文著重研究一種基于深度學習的缺陷檢測算法,在保證具有高檢測精度的同時能夠有高傳輸效率,且模型足夠輕量化能夠滿足部署移動端的需求。

隨著計算機視覺技術的發展,缺陷檢測可以分為兩個方向。一個是基于傳統圖像處理的方向,還有一個是基于深度學習的圖像檢測方向。

在傳統圖像處理中,Li等[6]提出了一種基于直方圖特征的缺陷分類算法,用于自動檢測圖案缺陷。Zhang[7]提出了一種結合LBP和GLCM的算法。利用LBP和GLCM分別提取缺陷圖像的局部特征信息和整體紋理信息。Halfawy等[8]提出了一種高效的模式識別算法,利用HOG和支持向量機(support vector machines,SVM)對管道缺陷進行自動化檢測和分類。特征提取方法多種多樣,各有優缺點。對于具體的目視檢測項目,應考慮特征提取方法是否充分利用全局信息,其計算是否方便,是否能滿足實時性需求等。

在深度學習中,主要有Faster RCNN、YOLO系列網絡、SSD網絡可應用于缺陷檢測[9]。有研究者基于Faster RCNN進行缺陷檢測,如Zhou等[10]在Faster RCNN加入了可變形卷積。Wei等[11]在Faster RCNN 基礎上添加了視覺增益機制,通過視覺增益機制增加模型知覺的靈敏程度。Su等[12]基于Faster RCNN構建了通道注意子網絡與空間注意子網絡連接的互補注意網絡,用于表面缺陷檢測。YOLO[13]是一種基于深度神經網絡的目標識別和定位算法,通過固定網格回歸進行目標檢測。它的主要特點是運行速度快,可用于實時系統。YOLO基于回歸的思想,將整個圖像作為網絡的輸入,直接對圖像多個位置上的物體邊界和物體類別進行回歸。Adibhatla等[14]采用YOLO/CNN模型對PCB缺陷進行檢測,缺陷檢測準確率達到98.79%。但是,該方法能夠檢測到的缺陷類型有限,需要進行優化。Lv等[15]提出了一種基于YOLOv2[16]的鋼材表面缺陷檢測主動學習方法。該模型實現了高效率,但以犧牲精度為代價。Jing等[17]提出了一種改進的YOLOv3[18]模型,利用K-means算法對標記數據進行聚類。實驗結果表明,改進的YOLOv3模型在織物疵點檢測中具有較好的性能。但是,實時性能還有待提高。YOLOv4[19]網絡作為一種基于回歸的檢測方法,具有良好的檢測速度。但對小目標的檢測精度還有待提高。在檢測鐵片表面裂紋中,Deng等[20]提出了一種級聯YOLOv4 (C-YOLOv4)網絡。實驗結果表明,C-YOLOv4具有較好的魯棒性和裂紋檢測精度。SSD結合了YOLO和Faster R-CNN的一些策略,Zhai等[21]提出了一種基于DenseNet和特征融合的DF-SSD目標檢測方法。實驗結果表明,所提出的DF-SSD方法在小物體和特定關系物體的檢測方面具有較高的性能。Li等[22]在SSD框架基礎上將淺層信息與深層特征融合進行缺陷檢測,效果優于原SSD網絡。

本文提出的DN-YOLOv5算法對主干網絡進行了優化和調整,大大減少了模型參數,提升了網絡輕量化程度,能夠對金屬雙極板表面缺陷圖像進行快速、精準的檢測,另外本文的模型具有良好的魯棒性且模型較小,完全滿足輕量化模型部署到移動端的需求。

1 DN-YOLOv5網絡改進

1.1 輕量化主干網絡DN-YOLOv5結構

YOLOv5是由輸入端、Backbone、Neck、Head構成的。而DN-YOLOv5是在原YOLOv5的基礎上通過改進其Backbone主干網絡結構得到的一種極其輕量化的網絡結構。在DN-YOLOv5主干網絡中,考慮到計算參數量方便后期模型導出和部署,本文去除了頭部Focus特征提取模塊,將第1層CBS模塊采用16輸出3×3卷積核大小代替原先的64輸出6×6卷積核大小的CBS模塊。然后在接下來若干層中使用顯著減少參數量的深度可分離卷積模塊替代原先這種CSP/CBS特征提取模塊,在主干結構末端添加NAM[23]注意力機制并仍以SPPF為封口模塊作為最終輸出。整個DN-YOLOv5的主干網絡結構部分如圖1所示。

圖1 DN-YOLOv5主干網絡結構Fig.1 Structure diagram of DN-YOLOv5 backbone network

1.2 深度可分離卷積替代CSP/CBS模塊

一般來說,隨著現在的模型特征提取能力的增加以及FLOP的數量越來越大,在移動端或CPU設備上實現快速推理速度會變得緩慢[24]。為實現在不增加模型參數計算量和盡可能降低延遲的情況下增強網絡特征提取能力。當從ARM移動設備切換到Intel CPU設備上時,往往大部分的輕量級網絡不能滿足推理時間較少的要求。為了在不增加推理時間條件下進一步提升模型的性能,選取MobileNetV1[25]輕量化網絡中的DepthSepConv來作為基本模塊,這種深度可分離卷積模塊沒有shortcut操作,也沒有concat或elementwise-add這樣的額外操作,經驗證這些操作不僅不會提升模型的準確性,還會降低模型的推理速度。由于該模塊已被Intel CPU加速庫深度優化,它的推理速度優于大部分輕量化網絡模塊。一個深度可分離卷積層可選模塊包含關系如圖2所示。

圖2 深度可分離卷積模塊圖Fig.2 Depth separable convolution block diagram

1.3 主干網絡末端處添加NAM注意力機制

很多類似于CBAM[26]這樣的卷積塊注意力模塊都嵌入了通道和空間注意力子模塊,但是許多這樣的工作大多忽略了來自訓練的調整權重的信息,所以想要利用訓練模型權重的方差測量來突出顯著特征。而NAM作為一種高效、輕量級的注意力模塊,采用CBAM的模塊集成,并重新設計了通道和空間注意力子模塊。在上述可分離卷積模塊的輸出即主干網絡的末端將NAM注意力模塊嵌入,對于殘余網絡,它嵌在殘余結構的末端。對于通道注意力子模塊,使用批量歸一化(batch normalization,BN)[27]的比例系數,如下式所示。這個比例系數可以測量通道的方差并體現其重要性。

(1)

式中:μβ、σβ分別為小批量β的平均值和標準偏差,γ、β分別為可訓練的放射變化參數(尺度和位移)。通道注意力子模塊為(如圖3所示)

圖3 通道注意力機制Fig.3 Channel attention mechanism

Mc=sigmoid(Wγ(BN(F1)))

(2)

式中Mc為通道輸出特征。

γ是每個通道的比例系數,得到的權重為Wγ=γi/Σj=0γj。將BN的比例系數應用到空間維度中來衡量像素重要性并將其稱為像素歸一化。對應的空間注意力子模塊為(如圖4所示)

圖4 空間注意力機制Fig.4 Spatial attention mechanism

Ms=sigmoid(Wλ(BNs(F2)))

(3)

式中:Ms為空間輸出特征,λ為比例系數。

1.4 重新定義的損失函數SIoU

YOLOv5采用CIoU損失函數,傳統的目標檢測損失函數依賴于邊界框回歸指標的聚合,例如預測框和真實框(即GIoU、CIoU、ICIoU等)的距離、重疊區域和縱橫比。然而,目前使用的方法都沒有考慮到所需真實框與預測框間方向的不匹配。這種不足導致收斂速度較慢且效率較低,因為預測框可能在訓練過程中“四處游蕩”并最終產生更差的模型。針對上述問題,采用SIoU損失函數替換原損失函數。

本文中的損失函數SIoU,考慮了期望回歸之間的向量角度,重新定義了損失指標。應用于傳統的神經網絡和數據集表明,SIoU提高了訓練的速度和推理的準確性。SIoU損失函數由4個函數組成:Angle cost,Distance cost,Shape cost,IoU cost。

1.4.1 Angle cost

添加這種角度感知LF組件背后的想法是最大限度地減少與距離相關的變量數量。基本上,模型將嘗試首先將預測帶到x或y軸(以最接近者為準),然后沿著相關軸繼續接近,如圖5所示。為了實現這一點,通過下式來引入LF組件并評估損失。

圖5 損失函數中的角度損失Fig.5 Angle loss in loss function

(4)

1.4.2 Distance cost

考慮到上述定義的角度損失,重新定義距離損失為

(5)

圖6為真實邊界框距離計算方法和預測。

圖6 真實邊界框距離計算Fig.6 Calculation of true bounding box distance

1.4.3 Shape cost

形狀損失的函數定義為

(6)

1.4.4 IoU cost

定義的損失函數為

(7)

IoU組成作用關系如圖7所示。

圖7 IoU組成作用關系示意Fig.7 Schematic relation of IoU component contribution

2 模型訓練、評估及對比實驗

2.1 缺陷數據集

本文的缺陷數據集使用500 W分辨率的HZ20-GS050GM的工業CMOS黑白全局快門相機以及FA-25-5MP的工業鏡頭來進行圖像的采集工作。使用COP-200B的同軸光源配合DBFL-160W120的直發背光源多角度混合光搭建最佳采集工作臺(盡可能的減小金屬表面反光的影響)。每張采集到的原始圖像尺寸大小為2 448×2 048,通過對原始圖像椒鹽添噪、高斯模糊、翻轉、平移、裁剪等多種數據擴增方式,得到了凹凸點、夾雜和劃痕三大類缺陷共600張的缺陷圖集,并用Labelimg對其進行標注。數據集的部分樣本如圖8所示(由于本文中的檢測對象金屬雙極板流道區域受限于相關協議約束,故已作模糊虛化處理,僅展示金屬雙極板兩端檢測區域)。

圖8 缺陷數據集部分圖樣Fig.8 Partial pattern of defect data set

2.2 實驗環境與參數配置

本文采用的工作站是在Win10操作系統下且顯卡為RTX3080,基于Pycharm平臺,使用語言為Python3.9,Pytorch版本1.12.1,CUDA版本11.3.1來實現模型搭建以及訓練工作。根據8∶1的比例,將金屬雙極板缺陷數據集劃分為訓練集和測試集,見表1。

表1 金屬雙極板缺陷數據集劃分Tab.1 Defect data set division of metal bipolar plate

對模型參數初始化,設置學習率為0.01,訓練epoch為300,batch-size為4,為了使訓練圖像尺寸與相機實際采集到的圖像尺寸相符從而避免特征信息丟失最小化,故將圖片輸入尺寸設定為2 240×2 240。

2.3 模型評估

為了更加客觀精準地評估網絡DN-YOLOv5在本文缺陷數據集上的檢測效果,本實驗采用平均精度均值map@0.5(IoU=0.5),混淆矩陣,PR曲線,Box,Objectness,Classfication訓練Loss擬合圖多重指標來進行模型的評估工作。如圖9所示是該模型的混淆矩陣圖,由圖中可知真實值與預測值較接近,其中凹凸點和劃痕正類樣本比分別為0.98,0.97,而夾雜達到了1.00,可見模型精確度較高。

圖9 模型混淆矩陣Fig.9 Model confusion matrix

模型的PR曲線如圖10所示,該曲線圖反應的是精確率(Precision)和召回率(Recall)的相互關系,圖10反應了模型評價標準中的多類別平均精度map@0.5,凹凸點、劃痕以及夾雜的map@0.5值分別為0.979,0.991,0.996,3種缺陷的平均map@0.5值達到了0.988,模型精準度較高,性能良好。

圖10 模型PR曲線圖Fig.10 Model PR curve

如圖11所示,3個指標Box,Objectness,Classification在經歷300個epoch訓練中能夠理想的擬合符合預期,精確率和召回率如下:

圖11 指標Loss擬合圖Fig.11 Index Loss fitting diagram

(8)

(9)

式中,正類樣本占比較高。從圖11中Precision和Recall可知,單精確率和召回率都較高,該模型訓練良好,具備優異性能。

本文在NVIDIA GeForce RTX3080的顯卡環境下,對75張缺陷測試圖像進行檢測,部分檢測效果圖像如圖12～14所示,圖15為訓練過程中多種缺陷的隨機混合測試圖,經測試,75張缺陷圖像檢測共耗時7.51 s,模型每秒傳輸幀數為9.98,所有缺陷的真檢率為99.74%。

圖12 凹凸點檢測效果圖Fig.12 Bumppoint detection renderings

圖13 夾雜檢測效果圖Fig.13 Inclusion detection renderings

圖14 劃痕檢測效果圖Fig.14 Scratch detection renderings

2.4 消融實驗

2.4.1 NAM注意力機制對模型性能的改善

為了驗證主干網絡中的深度可分離卷積模塊和末端添加的NAM注意力機制分別在文中具有優化改進作用,同時得出特征融合網絡DN-YOLOv5具備更佳的性能,本文進行了消融實驗。首先,通過對原YOLOv5主干網絡結構末端添加NAM注意力機制和不添加NAM的情況進行了消融實驗。實驗表明,在原YOLOv5主干網絡中末端添加NAM注意力機制,模型參數減少了17.29%,每秒傳輸幀數增加了0.15,map值提升0.003,網絡輕量化得到改善,檢測率以及圖像傳輸效率提升,見表2。

2.4.2 DN-YOLOv5深度可分離卷積模塊融合末端NAM和SIoU對模型性能的改善

將深度可分離卷積模塊(DepthSepConv)替代原YOLOv5中的Backbone主干網絡部分,并在末端層插入NAM這種輕量、高效的注意力模塊,以SPPF為封口模塊作為輸出,并重新定義SIoU作為損失函數。在網絡中,利用更多淺層特征信息來檢測多目標的同時加入NAM來增強檢測效果并進一步使得模型參數輕量化。本文分別進行了在DN-YOLOv5主干網絡末端層相同位置處添加SE、CBAM模塊與NAM做消融實驗,同時再結合SIoU損失函數對模型作出最后的完善。實驗表明,深度可分離卷積模塊在替代原YOLOv5主干網絡結構后,其模型參數大大減小,網絡輕量化程度大幅提升,見表3。本文的DN-YOLOv5(DepthSepConv+NAM+SIoU)相較于在末端添加SE模塊,其模型參數減小了29.92%,每秒傳輸幀數提升0.07,map值基本持平,總體輕量化程度提升較高。相較于末端添加CBAM模塊,模型參數減小13.40%,每秒傳輸幀數提升0.14,map值略有提升。相較于原YOLOv5主干網絡結構,模型參數減小了52.13%,網絡輕量化程度得到大幅提升,且每秒傳輸幀數提升0.52,這對長時間、多數據的傳輸效率有很大改善,map值略有下降影響較小。

2.4.3 主流目標檢測模型對缺陷真檢性能對比

主流目標檢測模型與DN-YOLOv5對缺陷圖像檢測的性能對比見表4,由表4可知,DN-YOLOv5的真檢率為99.74%,誤檢、漏檢數量都小于其他主流目標檢測模型,結合DN-YOLOv5中各模塊的性能對比可知,DN-YOLOv5針對該缺陷數據集的map值較高,模型性能較好。

表4 主流檢測模型性能對比Tab.4 Performance comparison of mainstream detection models

3 結 論

1)本文針對氫燃料電池中的金屬雙極板表面缺陷存在種類多、尺寸小對比不明顯、難檢、易誤檢漏檢、大參數量模型難部署等問題,提出了一種DN-YOLOv5輕量化網絡的缺陷檢測算法。

2)修改原YOLOv5主干網絡結構和模塊數量,融合深度可分離卷積模塊,在主干網絡末端添加NAM注意力機制的操作來優化網絡結構,引入了SIoU作為新的損失函數,提升了網絡檢測小目標、多目標檢測能力,大大減少了模型參數量,提升了網絡輕量化程度。

3)實驗表明,在NVIDIA GeForce RTX3080的顯卡環境下,75張缺陷圖像檢測共耗時7.51 s,模型每秒傳輸幀數為9.98,所有缺陷的真檢率為99.74%,故本文提出的DN-YOLOv5網絡算法能夠快速、準確的檢測出金屬表面缺陷圖像,滿足輕量化模型部署移動端設備的要求。