面向智能手機玻璃蓋板缺陷檢測的YOLOv3改進和應用

伍濟鋼， 成 遠， 邵 俊， 陽德強

(湖南科技大學 機械設備健康維護湖南省重點實驗室，湖南 湘潭 411201)

1 引 言

智能手機玻璃蓋板位于手機屏幕最外層，是屏幕的堅實外殼和觸摸媒介。隨著人工智能的快速發展和5G時代的到來，智能手機已成為必備工具[1]，人們對智能手機的品質要求也越來越高。智能手機玻璃蓋板在生產過程中不可避免地會產生各類缺陷，如崩邊、劃痕、臟污、坑點等。為了滿足用戶對智能手機高品質的要求，生產企業必須對智能手機玻璃蓋板進行100%的高標準質檢。現階段的大批量生產中主要還是依靠質檢工人借助強光燈、放大鏡等工具進行目視檢測，受人的身體素質和經驗等的影響，存在檢測效率低、成本高、誤檢率高、勞動強度大等問題。因此，研究可替代人工的手機玻璃蓋板缺陷檢測方法具有重要意義。

智能手機玻璃蓋板缺陷檢測對自動檢測方法提出了以下要求：(1) 檢測方法柔性好，能夠適應各種類型各種形態的缺陷；(2) 檢測方法泛化能力強，能適應缺陷特征不明顯、多尺度等特點；(3) 檢測方法實時性好，能適應大批量生產的節拍；(4) 良率高，可完全替代人工檢測。目前，傳統方法大多采用機器視覺的差影法[2-3]、背景消除法[4]和閾值分割法[5-7]等進行智能手機玻璃蓋板缺陷檢測。傳統方法一般只能針對某一類缺陷或有周期性紋理的缺陷進行檢測，無法滿足柔性檢測要求。同時，這些方法受噪聲影響較大，導致檢測精度不高。近年來，基于深度學習的目標檢測算法[8-11]通過搭建各種不同的網絡結構，搭配使用強大的訓練算法自適應地學習圖像高級語義信息的表示[12]，在檢測精度和效率方面相對于傳統方法有了較大的提升。目前也開始將深度學習的方法應用至手機玻璃蓋板缺陷檢測[13-14]，這些方法可以實現對手機玻璃蓋板的柔性檢測，但存在模型參數量大、檢測時間與精度無法均衡等問題。隨著卷積神經網絡的發展，YOLOv3[15]算法在缺陷檢測方面表現出較好的檢測精度和檢測速度。巫明秀等利用改進YOLOv3實現對棉花異性纖維進行檢測[16]。李維剛[17]等利用YOLOv3算法對帶鋼表面的壓入氧化鐵皮、斑塊、裂紋等缺陷進行了檢測。陳宏彩等人[18]將YOLOv3算法用于醫藥玻璃瓶缺陷檢測上，能有效檢測玻璃瓶上的管端殘損、氣線、氣泡、劃傷、污漬和結石等缺陷。盡管YOLOv3算法能對表面缺陷進行柔性檢測，但要求缺陷特征明顯且尺度跨度不大，在檢測實時性方面有待進一步提高。

本文首次將YOLOv3引入到智能手機玻璃蓋板缺陷檢測。針對缺陷檢測的實際特點和具體要求，對YOLOv3算法進行了改進，在特征提取網絡方面增加了通道注意力機制SENet[19]以解決缺陷特征不明顯的問題，在特征檢測網絡方面增加了104×104維度大小的特征圖以解決缺陷多尺度的問題，將卷積網絡批量歸一化(Batch Normalization，BN)層的縮放因子系數作為重要性因子進行模型剪枝以提高缺陷檢測速度。將改進的YOLOv3算法應用于智能手機玻璃蓋板缺陷檢測。從智能手機玻璃蓋板制造企業獲得了涵蓋崩邊、坑點、臟污和劃痕等4類缺陷的生產現場圖片15 914張，14 321張經標注后作為訓練集，1 593張作為測試集，對本文提出的方法和FasterR-CNN、YOLOv3、YOLOv4等算法進行對比實驗和分析。

2 YOLOv3算法介紹

2.1 YOLOv3檢測原理

YOLOv3由Redmon在2018年提出，算法仿照特征金字塔網絡(Feature Pyramid Network,FPN)設計類別與位置預測，采用3個不同尺度特征圖層來完成對不同大小的目標檢測。在檢測時，通過將包含檢測目標的圖片劃分成S×S的網格，網格的寬和高記為cx、cy，當目標物體的中心落到某一個網格(Grid cell)當中時，該網格輸出相對于網格左上角的相對中心點坐標(σ(tx),σ(ty))，以及相對寬tw和相對高th，通過所在網格的實際位置，寬和高得到最終的目標預測框[20]，具體如圖1所示。

圖1 YOLOv3預測框示意圖Fig.1 Schematic diagram of YOLOv3 prediction box

圖1中，紅色框為實際預測框，虛線框為錨框。YOLOv3在經過運算之后，得到預測框中心點坐標(bx,by)、寬bw和高bh，其中：

bx=cx+σ(tx)，

(1)

by=cy+σ(ty)，

(2)

bw=pwetw，

(3)

bh=pheth，

(4)

2.2 YOLOv3網絡框架

YOLOv3算法采用Darknet-53網絡為特征提取網絡，對3種不同尺度的特征圖層進行檢測，YOLOv3網絡結構如圖2所示。

圖2 YOLOv3網絡結構模型Fig.2 Structure model of the YOLOv3 network

在YOLOv3進行檢測過程中，會產生3種不同尺度類型的特征圖，其大小分別為13×13，26×26，52×52，每個維度的特征圖對應不同的感受野和錨框。其中13×13的特征圖感受野較大，所對應的錨框大小也最大，適合較大尺寸物體檢測。52×52的特征圖感受野最小，對應錨框也最小，適合對小物體進行檢測。

3 YOLOv3算法改進

3.1 添加通道注意力機制SENet

手機玻璃蓋板缺陷具有特征不明顯、缺陷尺度較小的特點。基于YOLOv3算法對手機玻璃蓋板進行缺陷檢測的特征提取過程中，沒有考慮圖像各個通道的重要性程度，使網絡對于無關信息和重要信息以同樣權重進行提取，導致小目標缺陷及特征不明顯的缺陷檢測精度較低。通道注意力機制SENet通過對卷積特征中通道的相互關系進行建模，對卷積神經網絡特定層中的通道響應進行重新賦權，以增強網絡對有用信息的提取。因此，本文結合SENet對YOLOv3特征提取網絡進行改進。

SENet包含3個主要部分：壓縮(Squeeze)、激勵(Excitation)、權重賦值。壓縮操作對經轉換操作后得到的特征圖進行編碼，將每個通道上W×H二維特征圖uc壓縮為一個具有全局感受野的實數zc，這個實數即代表該通道的原始權重，采用全局平均池化公式得到，計算公式為：

(5)

激活操作采用包含多層的多層感知機對得到的通道原始權重進行歸一化處理，多層感知機由全連接層和ReLU激活函數和全連接層與Sigmoid激活函數組成，最終得到各通道的權重為sc，其計算公式為：

sc=Fex(z,w)=
σ(g(z,w))=σ(w2δ(w1z))，

(6)

式(6)中：δ函數是ReLU激活函數，σ是Sigmoid激活函數。

(7)

?表示逐元素相乘，通過以上方式實現對通道的權重賦值。基本結構如圖3所示。

圖3 SENet基本結構Fig.3 Basic structure of SENet

3.2 改進特征檢測網絡

手機玻璃蓋板的缺陷中，尺度跨度較大且小目標缺陷較多。YOLOv3算法采用3個不同尺度的特征圖對圖像進行檢測，特征圖的尺寸大小分別為原圖像大小的1/8、1/16、1/32。其中適合檢測小目標的特征圖對應寬和高為原始圖像的1/8，故YOLOv3對于像素大小在8×8范圍內的目標檢測效果不佳，容易出現漏檢或誤檢現象，影響檢測精確度。

因此，本文對YOLOv3算法的特征檢測網絡進行改進。改進的檢測層在原始13×13、26×26、52×52維度的特征圖基礎上，繼續進行4倍下采樣，得到尺度大小為104×104的特征圖，利用更淺層的特征信息，提升對小目標檢測效果。結合通道注意力模塊，得到改進后的YOLOv3網絡記為YOLOv3-improve1，如圖4所示。

圖4 YOLOv3-improve1檢測網絡Fig.4 YOLOv3-improve1 detection network

圖4中，Conv為5層卷積層，其由3×3和1×1的卷積交替而成，不同之處是它們有著不同的卷積核大小。藍色實線框為YOLOv3的特征提取網絡，紅色虛線框為增加的檢測層。改進后的YOLOv3有4個維度的特征圖，分別是13×13，26×26，52×52，104×104。其中104×104的特征圖是改進網絡之后得到的，它融合了網絡第109層所包含的深層信息，以及第11層的淺層信息，在小目標檢測方面有更進一步的提升。

3.3 YOLOv3模型剪枝改進

在大批量生產中，為滿足生產節拍的需求，對檢測算法提出了實時性的要求。采用YOLOv3算法進行檢測時，其網絡參數較多，計算量大，工業現場的計算機終端運算能力有限。因此，必須在保證檢測精度的情況下，減少模型運算，從而提升檢測速度。本文借鑒Liu[21]提出的Network Slimming思想，對YOLOv3進行通道剪枝和層剪枝。

對于網絡通道剪枝，根據卷積網絡中BN層的縮放因子γ系數作為重要性因子。γ越小，說明此通道越不重要，可對其進行剪枝。算法整體的目標優化函數如下：

(8)

式(8)中：第一項為模型預測損失，第二項是關于γ的正則項，λ是權衡兩項的超參數，一般賦值為1e-4或1e-5，表達式為g(*)，即L1范數。整體剪枝過程如圖5所示。

圖5 YOLOv3模型剪枝過程圖Fig.5 Diagram of the pruning process of YOLOv3 model

4 實驗及結果分析

4.1 實驗環境及數據

本文實驗平臺為超微infreesys服務器，操作系統:Ubuntu 18.04LTS;CPU：Intel W2123;內存：32 G;顯卡：NVDIA Geforce RTX2080Ti×2;顯存：16 GB×2;深度學習框架：Pytorch。

從某智能手機玻璃蓋板制造企業獲得了涵蓋崩邊、坑點、臟污和劃痕等4類缺陷的生產現場圖片15 914張，對所有采集到的照片采用labelImg軟件進行標記，崩邊標記為chipped edge，坑點標記為pit point，劃痕標記為scratching，臟污標記為soiling，根據YOLOv3所要求的VOC數據集格式制作本研究的數據集。在所有數據集中，由于總數量較大，選取9∶1比例將數據集劃分為訓練數據集和測試數據集，測試數據集有1 593張，可以較好地評估模型效果。訓練數據集照片有14 321張，相比于其他比例進行劃分，9∶1比例得到的訓練數據集可以更加適合模型的訓練。4類典型的缺陷如圖6所示。

本文在YOLOv3算法特征提取網絡增加通道注意力機制，然后在特征檢測網絡中增加104×104大小的特征圖得到改進的YOLOv3算法稱為YOLOv3-improve1，在YOLOv3-improve1基礎上進行模型剪枝得到的算法稱為YOLOv3-improve2。利用Faster R-CNN、YOLOv3、YOLOv4、YOLOv3-improve1、YOLOv3-improve2算法對數據集進行訓練與測試。其中每批次訓練樣本數量batch設置為16，subdivision為8。網絡輸入圖像大小設為416×416×3，其中3為圖像通道數，動量momentum設置為0.9。YOLOv3算法有3層檢測層，每層分配3個錨框，則總共需要9個錨框，而YOLOv3-improve1、YOLOv3-improve2算法有4層檢測層，每層設置3個錨框，總共需要12個錨框，且它們的錨框尺寸相等。根據K-means聚類算法聚類出相關的錨框信息如表1所示。

圖6 智能手機玻璃蓋板典型缺陷圖Fig.6 Smartphone cover glass typical defect map

表1 各算法的錨框尺寸表Tab.1 Table of anchor box sizes for each algorithm

4.2 實驗結果與分析

實驗對3個算法進行訓練，訓練epochs為500，參數優化方式采用Adam方式。3個算法訓練的損失值由邊界框損失值、坐標損失值、分類損失值、置信度損失值組成，其3個算法總的損失值對比曲線如圖7所示。

圖7中YOLOv3-improve2算法的損失值是進行微調訓練時得到的損失值，故其初始損失值相對于其他兩個算法低，但訓練過程中趨勢與另兩個算法類似。由圖7可知，改進的YOLOv3-improve1算法和YOLOv3-improve2算法的損失值接近，且下降過程平緩，而YOLOv3算法在進行訓練過程中出現震蕩情況，震蕩波動較大。在訓練中，YOLOv3-improve1和YOLOv3-improve2算法整體比YOLOv3算法的損失值低。由以上分析可得，改進的算法比YOLOv3效果更佳。

為了對比YOLOv3、YOLOv3-improve1、YOLOv3-improve2算法性能，對比3個算法的均值平均精度值mAP，其對比曲線圖如圖8所示。3個算法的相關信息，以及訓練的每個類別平均精度和mAP值的混淆矩陣如表2所示。

圖7 訓練損失值對比圖Fig.7 Comparison of training loss values

圖8 訓練mAP值對比圖Fig.8 Comparison of training mAP values

表2 平均精度實驗結果對比表Tab.2 Comparison table of experimental results of AP (%)

由圖8可得，在訓練mAP中，YOLOv3-improve1和YOLOv3-improve2算法整體比YOLOv3算法高，且YOLOv3算法在訓練中表現不穩定。

由表2可知，YOLOv3-improve1算法其mAP值相較于YOLOv3算法增加了3.3%，YOLOv3-improve2算法在YOLOv3-improve1算法上進行了模型剪枝，其mAP值比YOLOv3-improve1算法低了0.3%，同時YOLOv3-improve1和YOLOv3-improve2相較于YOLOv3算法每類別的檢測精度都有所提升，尤其是對崩邊和坑點等小目標缺陷提升更為明顯。

對比本文算法與Faster R-CNN、YOLOv3、YOLOv4等算法的檢測mAP與檢測速度，結果如表3所示。

表3 不同算法檢測性能對比Tab.3 Comparison of the detection performance of different algorithms

由表3可知，本文提出的YOLOv3-improve2算法檢測精確度比Faster R-CNN算法提升了6.8%，檢測速度提升了27.5 fps。相較于YOLOv4算法，檢測精確度提升了0.8%，檢測速度提升了4.9 fps。相較于YOLOv3算法，改進特征提取網絡，進行了模型剪枝，檢測速度提升了6.7 fps，檢測精度提升了3%。相較于YOLOv3-improve1算法，由于進行了模型剪枝，在損失少部分精度的前提下，其檢測速度大幅提升。由以上分析可得，本文提出的算法，在檢測速度和精度上較其他算法有了不同程度的提升，較好地平衡了檢測速度和檢測精度。

利用訓練得到的YOLOv3-improve2網絡模型對1 000張智能手機玻璃蓋板圖像進行檢測，其中包含有缺陷照片110張，無缺陷照片890張。檢測結果數據顯示，無缺陷照片檢測出無缺陷共計804張，檢測準確率92.6%。有缺陷照片準確檢測出缺陷類別及位置的照片有91張，檢測準確率82.3%，總檢測準確率89.5%，精確率為51%，召回率為82.3%，F1值為0.63。部分缺陷檢測結果圖如圖9所示。

由此可知，本文提出的YOLOv3-improve2算法可以實現對智能手機玻璃蓋板良品和缺陷品的準確檢測。

圖9 智能手機玻璃蓋板缺陷檢測效果Fig.9 Smartphone cover glass defect detection effect

5 結 論

本文首次將改進YOLOv3算法引入智能手機玻璃蓋板缺陷檢測。針對缺陷特征不明顯的問題，在特征提取網絡中增加了通道注意力機制SENet，針對缺陷多尺度問題，在特征檢測網絡中增加了104×104維度大小的特征圖，為提高檢測速度，以卷積網絡BN層的縮放因子系數作為重要性因子進行模型剪枝。從某智能手機玻璃蓋板制造企業拍攝涵蓋崩邊、劃痕、坑點、臟污缺陷的大量照片制成訓練數據集和驗證數據集，對本文提出的方法和Faster R-CNN、YOLOv3、YOLOv4等算法進行對比實驗和分析。結果表明，本算法在各方面表現均優于其他深度學習算法，不僅實時性好，而且檢測精度高，滿足智能手機玻璃蓋板工業生產現場缺陷高精度、高效檢測的需要。