基于改進YOLOv4的煙條拉線頭缺陷檢測

魯鑫， 郭業才

(南京信息工程大學電子與通信學院， 南京 210044)

煙條在包裝生產過程會產生包裝塑料紙破損、翻折、錯包、翹邊等問題[1]，為此，國內外許多煙機制造企業已經配套了缺陷質量檢測系統，隨著包裝檢測系統的普及，煙條外包裝的品控相比過去已經有了很大的改善。

但在檢測設備實際工作中發現，煙條外包裝的缺陷類型中，拉線頭檢測的難度相對較大，拉線頭是煙條塑料外包裝上拉線的端頭，用來便捷地撕開塑料外包裝，由于外型和耳朵有相似之處，俗稱拉耳，傳統檢測的誤報率一直很高。

煙包缺陷檢測在方法上一般分為兩種方式，一種是基于傳統的數字圖像處理算法，主要包括用中值濾波、高斯濾波的圖像預處理方法，用Soble、Canny等算子的邊緣檢測方法[2]和使用模板匹配對缺陷進行識別分類[3]；另一種是基于神經網絡的深度學習算法，如兩階段的SPPnet[4]、Faster-RCNN[5]系列，一階段的SSD[6]、RetinaNet[7]以及YOLO[8]系列等。但由于工業場景下對算法穩定性要求高、產線速度快對性能要求高、數據集的背景單一以及正負樣本失衡等原因，導致深度學習的方案難以真正落地。

對于拉線頭的缺陷檢測，目前國內的學者大多選擇使用傳統的數字圖像處理算法來處理，傳統算法一般采用Hough變換[9]在進行圓形或者半圓形查找來確定拉線頭是否存在和是否完整。例如，高素美等[10]通過在指定區域范圍內查找半圓形拉線頭；孫宏杰等[11]采用圖像的灰度投影方式，將拉線位置的投影曲線和模板投影曲線做對比，以此來檢測拉線是否有異常；唐向陽等[12]使用基本的濾波、點運算、投影法、模板匹配等方式對拉線進行缺陷識別。

傳統圖像算法非常容易產生誤報，主要原因一是考慮到傳統圖像處理算法中遍歷圖像時的性能問題，要求檢測區域中的感興趣區域(region of interest，ROI)尺寸盡可能縮小。而拉線頭在圖像中的位置和角度會有變化，目前傳統算法在ROI定位的問題上暫時還沒有找到定位效果好的方法，所以拉線頭的位置可能會偏離于ROI，導致報出缺陷；二是由于拉線為塑料材質，拉線頭的邊界受到光源角度變化和煙條紙質包裝背景色變化的影響非常大，依賴人工設置閾值的傳統方法的兼容性和泛化能力較弱。所以，拉線頭缺陷檢測的誤報率一直滿足不了質檢的要求。

而對于煙包拉線頭的針對性的深度學習方式還非常少，參考其他機器視覺系統中運用深度學習的目標檢測算法確實可以解決很多傳統算法中難以解決的問題，比如朱超平等[13]提出了在 Faster-RCNN算法的基礎上使用特征金字塔網絡模型對汽車輪轂的缺陷有很好的效果，但此改進主要是針對輪轂材料的圖像特性，只適用于輪轂的缺陷檢測；晉博[14]提出了改進的基于MobileNets輕量化網絡進行工業生產線零部件的檢測，雖然使用輕量型的網絡結構可大大提高檢測效率，但也會因為卷積深度不足造成網絡結構訓練欠擬合的情況即出現無效卷積層，可能導致檢測精度下降；李彬等[15]通過K-means聚類生成先驗框，提高了聚類的準確性，并且增加了CSPDarknet53的卷積層數量，增加了感受野，但由于增加了卷積層數，會導致運算效率受到一定的影響；萬卓等[16]提出了自適應多尺度焦點損失+CIoU損失的加權融合損失函數，提高了檢測精度的同時幾乎對性能的影響甚微，但該算法僅針對金屬電機蓋表面缺陷有顯著的效果；許來祥等[17]提出一種改進的 ZFNet網絡模型，主要通過空間變換層(spatial transformer network，STN)和隨機丟棄層的方法，提高了識別率。但由于用于訓練的紅外圖像數據較少，只能通過引入對抗神經網絡進行強化訓練，這也導致了此網絡難以在工業場景下發揮效能。

對比常用的深度學習算法，YOLOv4是性能和準確度平衡性最為優異的算法之一，所以現基于YOLOv4對產生拉線頭的缺陷圖像進行二次檢測，并從網絡結構和損失函數上進行改進，以期提高算法的精度和性能，最終降低拉線頭的誤報率。

1 YOLO算法和傳統算法結合

1.1 YOLOv4算法原理

YOLOv4屬于一級檢測方法，可以直接檢測物體無需生成候選建議，它可以很好地平衡檢測速度和準確性。如圖1所示，整個網絡模型可以分為骨干網絡(backbone)、頸部網絡(neck)以及檢測頭部層(head)(包括密集預測和稀疏預測)三大部分。YOLOv4的骨干網絡將YOLOv3中的Darknet53改進為具備CSPnet(跨階段局部網絡)的CSPDarknet53，CSPnet主要將梯度分割后傳播到不同的網絡路徑中，其優點是減少了網絡計算的梯度重復性，減少了計算的內存開銷；頸部網絡主要使用空間金字塔池化(spatial pyramid pooling，SPP)的思路，把一個feature map從不同的角度進行特征提取，再聚合，盡可能地還原了圖像的特征信息，擴大了感受野的層次，又用金字塔模型將圖像分多尺度降低運算量；同時也使用路徑聚合網絡從底層到頂層的橫向連接，使特征的路徑增強；預測網絡(head)部分保留了YOLOv3中的輸出結果定義高維信息。

對于損失函數方面，YOLOv4用完全交并比(complete intersection over union，CIoU)代替了平均絕對誤差(mean absolute error，MAE)。CIoU是IoU的優化版，兼顧了預測框和目標框的重疊面積、中心距離和長寬比因素[16]，通過懲罰項達到損失函數的快速收斂。

YOLOv4還做了很多優化和改進，比如為了達到更好的訓練目標檢測模型，YOLOv4在激活函數方面選擇了Mish，正則化方面選擇DropBlock；為了使檢測器更適合于單GPU，YOLOv4引入了一種新的數據增廣方法，Mosaic與自對抗訓練；通過遺傳算法(genetic algorithm，GA)選擇最優超參數等。

圖1 YOLOv4 網絡結構Fig.1 YOLOv4 network structure

1.2 Hough變換圓檢測原理

Hough變換算法處理的輸入圖像是經過處理的邊緣信息圖像[18]，一般利用高斯濾波加Lapacian算子找到二階導數的過零點的位置的方式來提取邊緣信息，Lapacian算子的表達式為

(1)

式(1)中：f(x，y)為二階可微的實函數。算子計算即為對圖像中每個像素，取其關于x軸方向和y軸方向的二階差分之和，Hough變換是一種區域邊界狀態描述算法，通過將圖像空間中的信息映射到參數空間[19]，來獲取圖像的幾何信息。圓形的笛卡爾空間解析表達式為

式(2)中：(a1，a2，r)為空間坐標系坐標。

Hough變換首先將二維空間中的圓轉換為三維空間中的點，再對點集做淘汰分類，從而篩選出符合圓形特征的像素點。因此進行Hough變換計算的圖像特征是離散化的，設定搜尋步長后，遍歷尋找圖像中邊緣點，代入(a1，a2，r)的空間坐標系計算出當前圓形的特征結果。然后，通過設定好的閾值對圓形特征計算的結果進行篩選。整個過程即先做空間映射，然后計算邊緣點疊加的計算方法，就可以提取出了輸入圖像中檢測ROI中的圓形。

1.3 檢測方案

圖2(a)為拉線頭的形狀為半圓形，圖2(b)為拉線頭的缺陷看起來是非常微小的，這也給普通傳統的檢測算法帶來了難題，所以為了降低拉線頭檢測的誤報率，提高檢測的成功率，提出了傳統Hough變換圓檢測算法和改進的AAS-YOLO(adaptive anchor size with YOLOv4)算法結合的方案。

如圖3所示，輸入的煙包圖像首先通過Hough變換圓檢測算法，計算后的結果可將煙包圖像分為通過和未通過兩類，未通過的圖像再經過深度學習AAS-YOLO算法進行二次復檢，最終將兩次檢測結果輸出。

為了使AAS-YOLO算法的檢測精度更準確，方案中設計了將Hough變換圓檢測通過的圖像中的拉線頭信息作為參數傳遞給AAS-YOLO算法，使其可以根據當前拉線頭信息轉換的錨框尺寸動態調整預測框的大小，以達到優化檢測結果的作用。

圖2 煙條塑料包裝上的拉線頭Fig.2 Pull ears on the plastic packaging of cigarette

圖3 檢測方案框架設計Fig.3 Framework design of detection scheme

2 基于改進YOLO網絡的算法

2.1 特征提取網絡結構改進

實驗中發現，由于工廠的生產線形態各異，檢測系統的部署位置和方式都有著比較大的差異，檢測系統中的圖像傳感器機位不同，檢測到的拉線頭大小也會變化，通過離線的訓練數據獲得的先驗錨框尺度大小不能滿足實際檢測要求；YOLOv4算法根據32倍、16倍和8倍的采樣，將圖像抽象成3種不同尺度感受野的特征圖，但網絡的離線訓練數據相對比較單一，實際訓練的正負樣本失衡，并且每個尺度的感受野根據K-means聚類算法都有3個先驗框，存在著冗余，對這些冗余部分的處理會影響檢測效率，雖然有Resnet殘差單元在網絡的各個部分進行短路連接，加強了輸入和輸出之間的映射關系，但對于YOLO的網絡加深、訓練數據不確定性、允許的訓練時間不足等問題，Resnet也會出現梯度消失、訓練困難等情況[20]。

根據上述情況，相比傳統的YOLO目標檢測算法，如圖4所示，YOLO改進算法在骨干網絡BackBone結構部分的CSPDarkNet53網絡中增加了一個錨框尺寸(anchor size)(w，h)參數，其中，w為錨框的寬，h為錨框的高。骨干網絡的卷積核結構為1、2、8、8、4，所以這里先將錨框尺寸規范到2、16、32、64中最接近的值的倍數得到邊長we。參考將可分離卷積網絡和跨階段層次結構結合的思路將跨階段局部網絡(cross stage partial networks，CSP)的計算結果分為映射部分和卷積部分[21]，傳入Neck頸部網絡的分支進行Concat(張量拼接)，擴充了此步驟得到特征信息的維度。

對比YOLOv4結構，AAS-YOLO采用了剪枝思想[22]，拉線頭在圖像中的比例小于1/8，故首先將8倍采樣的通道去除掉，然后對批量歸一化(batch normalization，BN)輸出通道進行影響權重進行淘汰，將相對權重小的通道去除。算法中給每個BN通道添加了一個權重判定因子γ，訓練過程中，每個BN通道的輸出值與權重判定因子相乘，然后將值較小的通道移除，訓練目標函數如式(3)所示。

(3)

式(3)中：(a，b)為訓練的輸入值；W為網絡骨干參數；函數g(γ)為監督項，判斷因子γ包含于常量Γ，取值范圍是0～1；l函數為原訓練目標函數。

2.2 損失函數優化

YOLO系列算法通常使用的損失函數類型為GIoU、DIoU和CIoU，從GIoU到CIoU的演變使得回歸損失不斷精確，目標框回歸更加穩定。YOLOv4的綜合損失函數由三部分構成，分別是預測框函數Losscood、置信度函數LossIoU和分類損失函數Lossclass。其中，置信度損失函數表達式為

(4)

Conv表示卷積核；BN表示批量歸一化；Mish、Leaky Relu表示激活函數；Resunit表示殘差單元圖4 AAS-YOLO 網絡結構Fig.4 AAS-YOLO network structure

(5)

基于加入平衡系數的置信度損失函數從理論上起到了調優的目的，如表1所示為經過對平衡系數β的調整，得到的不同系統下的訓練表現，以平均精準度(mean average precision，mAP)作為評價指標。

表1 不同參數下的mAP對比Table 1 Comparison of mAP under different parameters

3 實驗與結果分析

3.1 實驗環境

硬件方面，整個煙條外包裝缺陷檢測系統由檢測線體、面陣電荷耦合器件(charge coupled device，CCD)相機、發光二極管(light emitting diode，LED)光源、光纖傳感器、輸入輸出(input/output，IO)控制卡、光學支架以及工控機組成，如圖3所示。

軟件方面，環境配置如下:Intel i58300處理器，16 GB內存，NVIDIA GeForce GTX 970 顯卡，使用Cuda11.2和Cudnn11.3對訓練過程進行加速。

3.2 網絡訓練

3.2.1 數據增強處理

預訓練數據集準備：實驗選取了6種不同品牌的煙包圖像作為數據集的原始數據樣本，采用via-2.0.11工具對圖片數據進行框選和分類標記。該數據集包括經框選分類出拉線頭一個類別的大量煙包圖片，標記后的數據為VOC的格式。將采集的數據集的80%用于訓練、其余的20%用于驗證和測試。

數據增強使用了空間變換、內容變換等方式，如圖5所示，其中每行圖片表示一種煙包包裝類型，每行的4張圖片分別為對標記區域進行了仿射變換、高斯模糊、旋轉角度、對比度調整圖像處理操作，增加了圖像的多樣性，目的是使應用該數據集的檢測模型在訓練后具有泛化性；另外，為了模擬現實環境中拉線頭翹邊導致的一部分輪廓消失，還使用了CutMix方法[24]，即隨機在標記區域中選取小于1/3的區域進行丟棄。

3.2.2 訓練超參數調優

訓練采用默認的參數，初始學習率設置為0.002，采用逐步遞減策略[25]，權重衰減設置為0.000 5，Batch大小設置為2，當迭代到一定次數后，將學習率衰減為原學習率的10%。訓練過程的損失函數曲線如圖6所示，隨著迭代的進行損失逐漸收斂，在迭代100次之后趨于穩定。

圖5 數據增強處理結果Fig.5 Data enhancement processing results

圖6 AAS-YOLO 訓練迭代損失圖Fig.6 AAS-YOLO training iterative loss graph

3.3 測試結果分析

3.3.1 傳統算法和YOLO算法對比實驗分析

如圖7(a)所示，檢測軟件在煙包圖片上框選出拉線頭的檢測區域，圖7(b)為Hough變換算法的檢測結果，可以看到紅色的半弧形輪廓即為算法識別出的拉線頭。如圖8所示，AAS-YOLO算法檢測后，識別到的目標被標記出藍色框，并標出識別的對象名稱為拉線頭(ear)。

實驗使用拉線頭完好的煙包圖像作為數據源，分別使用單一的Hough變換圓識別的方式和原始的YOLOv4算法進行對比測試，控制變量為對比度和圖像白噪聲占比，評價指標為檢出率。其中，對比度主要是指由于不同光源亮度、不同品牌造成的透明拉線頭輪廓和背景的對比度(輪廓平均亮度減去背景平均亮度)；圖像白噪聲主要是指圖像傳感器電子元器件引入的噪聲。兩個處理方式的情況如圖9所示。

圖7 Hough變換算法圓檢測結果Fig.7 Hough transform algorithm circle detection result

圖8 AAS-YOLO算法檢測結果Fig.8 AAS-YOLO algorithm test results

如圖10所示，在對比度較低時，單獨用Hough變換算法對拉線頭檢測的檢出率是比較低的，而使用YOLOv4算法檢測的檢出率比較平穩，但在高對比度情況下，傳統算法的檢出率會更高；同樣的，由圖11可看出，白噪聲在圖像中占比越多，Hough變換算法的檢出率就越低。這兩個實驗說明，基于單閾值調節的傳統Hough變換算法的泛化性較弱，很難適應情況復雜的生產環境。

圖9 模擬對比度和噪聲情況圖Fig.9 Simulated contrast and noise picture

圖10 不同對比度下的檢出率Fig.10 Detection rate under different contrast

圖11 不同白噪聲占比下的檢出率Fig.11 Detection rate under different proportions of white noise

3.3.2 YOLO算法在改進前后實驗數據對比

為了檢驗改進后的AAS-YOLO算法的檢測效果，將其與YOLOv4算法進行對比，兩者在同平臺上使用同樣的訓練數據和測試數據。通過準確率(P)和召回率(R)計算平均精準度(mAP)和加權調和平均(Fβ)，作為算法檢測精度的綜合評價指標，Fβ是基于準確率和召回率的加權調和平均，mAP和Fβ的值越高說明算法的檢測精度越高[25]。

改進前后的檢測精度和檢測速度的對比結果如表2所示。從表2中可得出，通過改進YOLOv4的網絡結構，并對損失函數優化后的算法在性能和精度上均有提升。使用AAS-YOLO網絡結構，對mAP提升了1.3%，使用Lossβ損失函數的優化對mAP提升了0.7%。在檢測時間方面，由于損失函數加入了平衡系數β，增加了一點運算量，但總體來說，運算時間增量影響不大，并且比原始的YOLOv4算法耗時縮短了9 ms左右。

表2 檢測結果對比Table 2 Comparison of test results

3.3.3 拉線頭檢測結果對比

為了對比拉線頭檢測中傳統使用單一的Hough變換檢測方法和所提出的Hough變換和AAS-YOLO的結合的新檢測方法，通過現場以每分鐘檢測約30包煙條的速率，生產超過72 h，共計測試了10 800張煙包圖像，測試得到拉線頭缺陷檢測改進前后的方案誤報率對比如表3所示。從數據上看，改進后的綜合檢測方式降低了36%的誤報率。

實驗對比了不同的用于目標檢測的深度學習卷積神經網絡，如表4所示。其中Faster-RCNN為經典的兩段式網絡，SSD和YOLOv4為一階段網絡，RetinalNet是Faster-RCNN的前段特征提取網絡。通過對比，一階段網絡的檢測性能上要明顯優于兩階段的網絡；而YOLOv4在mAP上要比Faster-RCNN提升了2.2%，改進后的AAS-YOLO在mAP上比YOLOv4提升了1.4%，檢測時間縮短11 ms。

表3 拉線頭檢測方案改進前后誤報率對比Table 3 Comparison of false alarm rates before and after the improvement of the pull detection scheme

表4 不同網絡模型的檢測效果對比Table 4 Comparison of detection effects of different network models

4 結論

針對工業場景下的煙條塑料外包裝拉線頭缺陷檢測誤報率高的問題。提出了一種傳統算法和深度學習結合的方法。此方法先通過Hough變換圓檢測算法在區域內進行半圓形查找，然后將未通過的圖像使用改進后的AAS-YOLO算法目標檢測，再將通過的圓信息作為錨定框尺度參數傳遞到AAS-YOLO算法中，形成一種具有自學習功能拉線頭檢測方案，另外在損失函數中加入平衡系數后，平衡了正負樣本，有效地優化了正負樣本不均衡問題。由實驗結果得可以看出，改進后的AAS-YOLO算法適應性更強，識別精度高，檢測速度快；深度學習結合傳統算法的方法大大降低了誤報率。綜上所述，該方案適用于煙條塑料外包裝拉線頭缺陷檢測，對煙草包裝缺陷檢測行業具有一定的工程價值。