基于改進(jìn)YOLO v5的煙包切層斷面異物檢測(cè)方法

沈飛翔，陳成軍，王金磊，李東年，代成剛

（青島理工大學(xué)機(jī)械與汽車工程學(xué)院，山東青島，266520）

0 引言

煙包中的雜質(zhì)、霉變等異物影響著煙支的質(zhì)量和口感，因此有效剔除煙包中的異物，成為煙企進(jìn)行質(zhì)量控制的關(guān)鍵環(huán)節(jié)之一。基于機(jī)器視覺的異物檢測(cè)技術(shù)已成功用于棉花異纖檢測(cè)[1]、水果缺陷分類[2]、印刷電路板表面缺陷檢測(cè)[3]和金屬表面缺陷檢測(cè)[4]等。本研究擬將機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于基于機(jī)器視覺的煙包切層斷面異物檢測(cè)中，以識(shí)別切層斷面中的雜質(zhì)、霉變等異物，實(shí)現(xiàn)煙包切層斷面質(zhì)量的監(jiān)測(cè)。

研究者將目標(biāo)檢測(cè)應(yīng)用到異物檢測(cè)中。基于目標(biāo)檢測(cè)網(wǎng)絡(luò)的異物檢測(cè)主要分為兩類：以基于區(qū)域建議網(wǎng)絡(luò)Faster R-CNN[5]為代表的二階段異物檢測(cè)算法和以YOLO[6]和SSD[7]為代表的一階段異物檢測(cè)算法。郁巖[8]等采用Faster R-CNN定位微型扁平電機(jī)表面焊點(diǎn)的異常，在扁平電機(jī)焊點(diǎn)缺陷數(shù)據(jù)集上取得了91.89%的分類檢測(cè)精確率。桂久琪[9]等通過改進(jìn)的YOLO V4算法，提高了算法對(duì)鋰電池表面缺陷的識(shí)別和定位能力。基于目標(biāo)檢測(cè)的異物檢測(cè)算法可以獲取異物的精確位置和類別信息，不需要對(duì)數(shù)據(jù)進(jìn)行像素級(jí)標(biāo)注，因此具有很好的應(yīng)用前景。

本研究擬采用基于目標(biāo)檢測(cè)的異物檢測(cè)算法。對(duì)比了主流目標(biāo)檢測(cè)網(wǎng)絡(luò)（Faster R-CNN、YOLO v3-SPP、YOLO v5）在煙包切層斷面數(shù)據(jù)集上的性能。對(duì)比發(fā)現(xiàn)YOLO v5獲得了相對(duì)最佳的表現(xiàn)性能，但是YOLO v5對(duì)小目標(biāo)異物的漏檢率、誤檢率高。

為了解決YOLO v5對(duì)小目標(biāo)異物大量漏檢誤檢的問題，本研究提出一種煙包切層斷面異物檢測(cè)網(wǎng)絡(luò)YOLO v5-MFF（Multi Feature extraction and multi-stage parallel Fusion based on You Only Look Once version Five，YOLO v5-MFF），本文的創(chuàng)新性工作主要體現(xiàn)在以下兩個(gè)方面：提出了多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制，增強(qiáng)了小目標(biāo)異物的特征提取能力；引入ACON類激活函數(shù)，使模型能夠根據(jù)數(shù)據(jù)動(dòng)態(tài)選擇激活與否及激活函數(shù)的表達(dá)形式，強(qiáng)化了網(wǎng)絡(luò)對(duì)數(shù)據(jù)的表達(dá)能力。

1 煙包切層斷面異物檢測(cè)模型

根據(jù)煙包切層斷面異物檢測(cè)具有異物樣本少、小目標(biāo)異物占比大等特點(diǎn)，本研究提出如圖1所示，YOLO v5-MFF網(wǎng)絡(luò)。該網(wǎng)絡(luò)使用特征提取模塊和多尺度特征融合模塊對(duì)所輸入的異物圖像進(jìn)行特征提取和特征融合，然后使用檢測(cè)模塊對(duì)異物進(jìn)行定位和分類。為了提高小目標(biāo)異物的檢測(cè)能力，特征提取模塊采用多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制和ACON類激活函數(shù)，以增強(qiáng)特征提取能力。

圖1 網(wǎng)絡(luò)的整體結(jié)構(gòu)圖

1.1 多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制

為了提高網(wǎng)絡(luò)對(duì)于小目標(biāo)異物的召回率和檢測(cè)的精準(zhǔn)率，YOLO v5-MFF將不同深度的特征提取網(wǎng)絡(luò)進(jìn)行多階段并行融合。YOLO v5-MFF的特征提取網(wǎng)絡(luò)由主干特征提取網(wǎng)絡(luò)和輔助主干特征提取網(wǎng)絡(luò)多階段并行融合而成。

如圖2所示，YOLO v5-MFF的特征提取網(wǎng)絡(luò)被劃分為五個(gè)階段。每個(gè)階段均將主干特征提取網(wǎng)絡(luò)和輔助主干特征提取網(wǎng)絡(luò)提取的特征圖融合，以實(shí)現(xiàn)特征的互補(bǔ)。具體操作流程如下：首先，將待檢測(cè)圖像輸入到特征提取模塊，傳入的數(shù)據(jù)被分別輸送給Main-Block1和Add-Block1模塊。兩個(gè)模塊獨(dú)自進(jìn)行特征提取，生成各自模塊對(duì)應(yīng)的特征圖。通過將兩個(gè)模塊生成的特征圖以add方式進(jìn)行融合，實(shí)現(xiàn)兩個(gè)網(wǎng)絡(luò)之間的第一階段信息交互，增加特征的多樣性。其次，將融合而成的特征圖，分別傳給Main-Block2和Add-Block2繼續(xù)進(jìn)行卷積。當(dāng)Main-Block2和Add-Block2計(jì)算完成生成特征圖后，即完成第二階段的特征融合。按照上面的方法，依次完成第三及第四階段的特征融合。最后，把第四階段融合成的特征圖傳給Main-Block5。在Main-Block5模塊內(nèi)完成卷積操作運(yùn)算后，即生成特征提取模塊最終的特征圖。

圖2 多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制

1.2 ACON類激活函數(shù)

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可通過激活函數(shù)實(shí)現(xiàn)模型的非線性化，提高模型的表達(dá)能力。現(xiàn)在主流檢測(cè)算法所使用的ReLU、PReLU、Swish等激活函數(shù)均采用固定的數(shù)學(xué)表達(dá)形式，這種固定的數(shù)學(xué)表達(dá)會(huì)給算法檢測(cè)能力的提升帶來不利影響。本網(wǎng)絡(luò)引入ACON類激活函數(shù)，讓數(shù)據(jù)來決定激活函數(shù)的表達(dá)形式，進(jìn)而提高網(wǎng)絡(luò)對(duì)特征的表達(dá)能力。

ACON類激活函數(shù)的定義如下:

如圖3所示，ACON類激活函數(shù)通過訓(xùn)練參數(shù)p1( x)和p 2 (x)來調(diào)整激活函數(shù)的表達(dá)形式。通過不同的p1( x)和p 2 (x)可以組合上文提到的三種激活函數(shù)，生成更加復(fù)雜形式的激活函數(shù)，提高網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)的表達(dá)能力；通過訓(xùn)練參數(shù)β來控制是否激活神經(jīng)元（β為0，即不激活），讓模型可以在非線性（激活）和線性（不激活）之間進(jìn)行切換。總體來說，ACON類激活函數(shù)控制網(wǎng)絡(luò)使用不同的激活形式，增強(qiáng)了網(wǎng)絡(luò)的特征表達(dá)能力。

圖3 通過參數(shù)p1( x)、p 2 (x)、β以調(diào)整激活形式

2 檢測(cè)平臺(tái)與數(shù)據(jù)集

2.1 煙包切層霉斑和雜質(zhì)檢測(cè)平臺(tái)

為驗(yàn)證本研究提出的相關(guān)方法，實(shí)現(xiàn)煙包缺陷智能檢測(cè)，課題組在某卷煙廠搭建了切片機(jī)煙包切層異物檢測(cè)平臺(tái)。檢測(cè)平臺(tái)主要由傳送帶、工業(yè)相機(jī)、光源、切割臺(tái)組成。平臺(tái)可以采集圖像，檢測(cè)出煙包切層中霉變和雜質(zhì)的類別以及位置信息，通過與下位機(jī)的數(shù)據(jù)傳遞、進(jìn)而指導(dǎo)煙包切割設(shè)置的加工作業(yè)。下圖4所示的是檢測(cè)平臺(tái)采集數(shù)據(jù)并進(jìn)行檢測(cè)的環(huán)節(jié)。

圖4 煙包切層霉變和雜質(zhì)檢測(cè)平臺(tái)

2.2 煙包切層斷面異物數(shù)據(jù)集PSDDS

本文使用煙包切層霉變和雜質(zhì)檢測(cè)平臺(tái)所采集的圖像構(gòu)建了煙包切層斷面異物數(shù)據(jù)集(Packet Slicing Defect Data Set，PSDDS)。異物包括 ：紙張、麻繩、鐵塊、煤煙等。經(jīng)過圖像融合后，共生成了4118張包含異物圖片，其中共有4494個(gè)異物目標(biāo)。如表1所示。

表1 PSDDS數(shù)據(jù)集類別分布表

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)平臺(tái)搭建及參數(shù)設(shè)置

實(shí)驗(yàn)運(yùn)行的系統(tǒng)環(huán)境為Ubantu18.04；深度學(xué)習(xí)框架為Pytorch；CPU為兩顆12核2.2GHz E5-2650V4的處理器；內(nèi)存為 128G；GPU為 4塊12G顯存NVIDIA TITANXP。利用GUDA10.2和cuDNN V7.6.5,來實(shí)現(xiàn)GPU加速運(yùn)算。PSDDS數(shù)據(jù)集中的圖片尺寸為320×320，epoch設(shè)置為 300，batch-Size根據(jù)模型的顯存占用情況進(jìn)行調(diào)節(jié)。

3.2 評(píng)價(jià)指標(biāo)

模型以精準(zhǔn)率 P（Precision）、召回率 R（Recall）和平均分類精準(zhǔn)率mAP(mean Average Precision)作為網(wǎng)絡(luò)模型的評(píng)價(jià)指標(biāo)。P、R、mAP的計(jì)算公式如下所示：

式中，TP為被正確預(yù)測(cè)的正例數(shù)目，F(xiàn)P為被錯(cuò)誤預(yù)測(cè)為正例的負(fù)例數(shù)目，F(xiàn)N為錯(cuò)誤預(yù)測(cè)為負(fù)例的正例數(shù)目，N為檢測(cè)的類別數(shù)，AP為各類比的檢測(cè)精度

3.3 PSDDS試驗(yàn)結(jié)果與分析

3.3.1 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)的重點(diǎn)是研究YOLO v5-MFF網(wǎng)絡(luò)各模塊的具體效果，結(jié)合三項(xiàng)創(chuàng)新性工作利用PSDDS數(shù)據(jù)集，進(jìn)行了五個(gè)實(shí)驗(yàn)。實(shí)驗(yàn)一（E1）是YOLO v5L在PSDDS上的檢測(cè)結(jié)果。實(shí)驗(yàn)二 (E2) 是 YOLO v5L+特征提取網(wǎng)絡(luò)（CspdarkNet53+ResNet34）,在PSDDS上的檢測(cè)結(jié)果。實(shí)驗(yàn)三(E3)是YOLO v5L+特征提取網(wǎng)絡(luò)（Cspdarknet53+ ResNet34）+ACON類激活函數(shù)，在PSDDS上的檢測(cè)結(jié)果。各實(shí)驗(yàn)的結(jié)果展示在表2中。

表2 各實(shí)驗(yàn)的檢測(cè)結(jié)果

為了探究多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制對(duì)檢測(cè)能力的影響，本研究進(jìn)行實(shí)驗(yàn)E1、E2的對(duì)比。分析實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)使用多特征圖提取網(wǎng)絡(luò)、多階段并行融合機(jī)制使網(wǎng)絡(luò)的精準(zhǔn)率提高了2.2%、召回率提高了2.5%、平均分類精準(zhǔn)率提高1.5%。這充分說明了多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制能夠提高YOLO v5-MFF網(wǎng)絡(luò)對(duì)小目標(biāo)異物的檢測(cè)能力。

為了探究使用ACON類激活函數(shù)增強(qiáng)網(wǎng)絡(luò)表達(dá)能力的有效性，本研究進(jìn)行實(shí)驗(yàn)E2、E3的對(duì)比。使用ACON類激活函數(shù)使算法的召回率提高了2.1%，平均分類精準(zhǔn)率提高了0.4%。這表明使用ACON 激活函數(shù)，讓數(shù)據(jù)決定激活函數(shù)的形式和激活與否，能夠有效提高YOLO v5-MFF網(wǎng)絡(luò)對(duì)煙包切層斷面異物的檢測(cè)精度。

使用多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制、ACON類激活函數(shù)均會(huì)增加網(wǎng)絡(luò)的推理時(shí)間，但受益于YOLO v5的快速推理能力，網(wǎng)絡(luò)仍擁有較快的推理速度,處理單張圖片最長(zhǎng)時(shí)間為21.6ms。

3.3.2 YOLO v5-MFF與主流網(wǎng)絡(luò)對(duì)比

為了驗(yàn)證網(wǎng)絡(luò)綜合的檢測(cè)性能，對(duì)比了YOLO v5L、YOLO v5X、YOLO v3-SPP、Faster R-CNN 與 YOLO v5-MFF(YOLO v5L+特征提取網(wǎng)絡(luò)(CspdarkNet53+ ResNet34)+ACON類激活函數(shù)+K-Means++)。實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同網(wǎng)絡(luò)的檢測(cè)結(jié)果

對(duì)比YOLO v5L與YOLO v5-MFF的檢測(cè)結(jié)果，YOLO v5-MFF的檢測(cè)效果優(yōu)于YOLO v5網(wǎng)絡(luò)，這充分說明采用多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制是可行的、普適的。YOLO v5-MFF網(wǎng)絡(luò)檢測(cè)召回率的大幅度提升，說明網(wǎng)絡(luò)能夠較好地檢測(cè)出煙包切層斷面中的小目標(biāo)異物。由于模型復(fù)雜度的增加，造成了推理速度的降低，但YOLO v5-MFF預(yù)測(cè)單張圖片仍只需21.6ms。

同時(shí) YOLO v5-MFF 相較于 YOLO v3-SPP、Faster R-CNN，在精準(zhǔn)率、召回率、平均分類精準(zhǔn)率上都獲得了明顯的提升。這是YOLO v5-MFF的多特征提取、多階段并行融合機(jī)制、ACON類激活函數(shù)共同作用的效果。綜合來看，YOLO v5-MFF算法具有最優(yōu)的檢測(cè)精度，提高了對(duì)煙包切層斷面中小目標(biāo)異物的檢測(cè)能力。

4 結(jié)論

本研究提出一種煙包切層斷面異物檢測(cè)網(wǎng)絡(luò)YOLO v5-MFF，提出了多特征提取網(wǎng)絡(luò)、多階段并行融合機(jī)制，使網(wǎng)絡(luò)提取更多小目標(biāo)異物的特征，提高了網(wǎng)絡(luò)的檢測(cè)能力。其次，引入ACON類激活函數(shù)，讓數(shù)據(jù)來決定網(wǎng)絡(luò)是否需要激活函數(shù)及激活函數(shù)的形式，同時(shí)構(gòu)建了煙包切層斷面異物數(shù)據(jù)集PSDDS。利用YOLO v5-MFF在PSDDS數(shù)據(jù)集上進(jìn)行測(cè)試，其平均分類精確度達(dá)到了95.8%、精準(zhǔn)率達(dá)到94.3%、召回率達(dá)到94.2%，相較于 YOLO v5分別提高了 1.9%、2.2%和 4.6%。同時(shí)YOLO v5-MFF對(duì)于煙包切層斷面異物的檢測(cè)效果也優(yōu)于Faster R-CNN、YOLO v3-SPP等檢測(cè)算法，適用于煙包切層斷面異物檢測(cè)。