基于YOLOV3 模型的卷煙廠煙蟲識(shí)別方法

洪金華，忻惠琴，陸海華，劉瑞東，舒 夢(mèng)，陳 良，陳贊贊

浙江中煙工業(yè)有限責(zé)任公司寧波卷煙廠，浙江省寧波市奉化經(jīng)濟(jì)開發(fā)區(qū)霞浦西路2001 號(hào) 315040

隨著消費(fèi)者健康意識(shí)的提高，卷煙品質(zhì)已成為消費(fèi)者關(guān)注的重點(diǎn)之一［1］。然而，在煙草生產(chǎn)加工環(huán)節(jié)，特別是卷煙卷制包裝加工環(huán)節(jié)，為保障機(jī)器的最佳運(yùn)行性能和卷煙的品質(zhì)，生產(chǎn)車間需常年保持恒溫恒濕的環(huán)境，而這種舒適的環(huán)境恰好有利于煙草甲（后文簡(jiǎn)稱煙蟲）的生長(zhǎng)繁殖。此外，在卷煙生產(chǎn)過程中會(huì)產(chǎn)生大量的煙絲、煙末等，也為煙蟲的繁殖提供了充分的食物來源。在整個(gè)卷煙生產(chǎn)過程中，生產(chǎn)車間是一個(gè)相對(duì)開放式的環(huán)境，物料的進(jìn)入、人員以及各種車輛的進(jìn)出等為煙蟲的引入提供了更多的可能性，并會(huì)長(zhǎng)期在車間隱匿和繁殖。正是這樣舒適的環(huán)境，大量煙蟲得以繁殖和生長(zhǎng)，進(jìn)而影響到卷煙品質(zhì)。

為有效降低煙蟲對(duì)卷煙品質(zhì)的影響，對(duì)煙蟲的及時(shí)防治和有效治理顯得十分必要。為此，廖明俊等［2］提出了以清潔衛(wèi)生為主的車間煙蟲治理方法，但其缺點(diǎn)是無法及時(shí)監(jiān)控蟲情。李鐵軍等［3］介紹了國(guó)內(nèi)車間煙蟲治理現(xiàn)狀，并提出了及時(shí)監(jiān)控蟲情的必要性和重要性。程紅軍等［4］建立了一套基于預(yù)控技術(shù)的煙草甲蟲治理模式，通過其能夠及時(shí)發(fā)現(xiàn)生產(chǎn)各區(qū)域的蟲情并予以預(yù)警和處理，但其缺點(diǎn)是無法自動(dòng)、及時(shí)和精準(zhǔn)地掌握蟲情。李宏志等［5］提出一種粘捕型煙蟲誘捕器，它能夠自動(dòng)有效地誘捕煙蟲，但無法及時(shí)預(yù)警蟲情。段曉威等［6］提出了采用圖像處理技術(shù)對(duì)粘蟲板上的煙蟲進(jìn)行預(yù)警和處理，該技術(shù)缺點(diǎn)是當(dāng)粘蟲板上有較多煙蟲或者存在煙末等雜質(zhì)時(shí)，無法精準(zhǔn)檢測(cè)煙蟲。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)取得了較大突破，一般基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法可分為兩類：一階段（one-stage）方法和兩階段(two-stage)方法。一階段方法直接用CNN 卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)不同目標(biāo)的位置和類別，不需產(chǎn)生候選框，如YOLO［7］、YOLOV2［8］、SSD［9］等；兩階段方法先生成目標(biāo)候選框，然后對(duì)目標(biāo)候選框做分類與回歸，如R-CNN［10］、Fast R-CNN［11］、Faster R-CNN［12］等。一階段方法較二階段方法在檢測(cè)準(zhǔn)確率和定位精度上占據(jù)優(yōu)勢(shì)，但在計(jì)算速度上不如二階段方法。然而，在保證檢測(cè)速度的前提下，為提升預(yù)測(cè)精度，Redmon 等［13］提出了YOLOV3 模型，該模型能夠?qū)崿F(xiàn)更細(xì)粒度的目標(biāo)檢測(cè)，同時(shí)維持較高的檢測(cè)速度。基于YOLOV3模型的優(yōu)點(diǎn)，本研究中采用該模型對(duì)卷煙廠中煙蟲進(jìn)行目標(biāo)識(shí)別，旨在通過對(duì)煙蟲精準(zhǔn)、高效地檢測(cè)以達(dá)到有效降低煙蟲對(duì)卷煙品質(zhì)影響的目的。

1 數(shù)據(jù)采集與預(yù)處理

1.1 數(shù)據(jù)采集

DC0101 煙蟲誘捕器（29 套，武漢東昌倉(cāng)貯技術(shù)有限公司）；小型CCD 相機(jī)（29 套，Allied Vision工業(yè)相機(jī)）和智能LED 補(bǔ)光燈。煙蟲圖像采集裝置如圖1 所示。

圖1 圖像采集裝置Fig.1 A schematic of the image acquisition device

利用圖像采集裝置耗時(shí)120 d 共采集到300 張含有煙蟲的圖像，從中挑選3 張背景不同和有雜質(zhì)的圖像予以展示，如圖2 所示。

將采集到的圖像數(shù)據(jù)通過無線通信方式傳送至中控室主機(jī)，然后利用Tensorflow 中的雙線性插值法將圖像像素由2 448×2 448 調(diào)整為416×416，經(jīng)調(diào)整后的圖像能夠有效減少網(wǎng)絡(luò)模型的計(jì)算量。對(duì)于調(diào)整后的300 張煙蟲圖像，采用labelImg軟件進(jìn)行標(biāo)注，標(biāo)注過程如圖3 所示。經(jīng)標(biāo)注過的圖像組成300 張樣本集，再將其隨機(jī)分成訓(xùn)練集和測(cè)試集，其中220 張為訓(xùn)練集，80 張為測(cè)試集。

圖3 煙蟲圖像標(biāo)注過程Fig.3 Tagging process for tobacco insect image

1.2 數(shù)據(jù)增強(qiáng)

利用由220 張圖像組成的訓(xùn)練集來訓(xùn)練YOLOV3 模型，往往會(huì)導(dǎo)致模型過擬合或者欠擬合現(xiàn)象。為提高模型的泛化能力和檢測(cè)精度，Montserrat 等［14］提出利用數(shù)據(jù)增強(qiáng)技術(shù)實(shí)現(xiàn)圖像數(shù)據(jù)的增強(qiáng)。為此，本研究中采用數(shù)據(jù)增強(qiáng)庫(kù)（imgaug）中5 種常用的增強(qiáng)技術(shù)增強(qiáng)訓(xùn)練集，用增強(qiáng)后的訓(xùn)練集訓(xùn)練模型，提高其魯棒性和檢測(cè)效果。

①旋轉(zhuǎn)：按兩個(gè)角度進(jìn)行旋轉(zhuǎn)，即逆時(shí)針、順時(shí)針分別旋轉(zhuǎn)30 度，用白色背景進(jìn)行填充，增強(qiáng)效果如圖4 所示。②縮放：將圖像放大1.5 倍或者縮小0.9 倍，對(duì)于縮小后的圖像，用白色背景進(jìn)行填充，增強(qiáng)效果如圖5 所示。③平移：將圖像沿x軸或者y軸方向平移30 個(gè)像素，并用白色背景進(jìn)行填充，增強(qiáng)效果如圖6 所示。④高斯噪聲：為了避免深度學(xué)習(xí)模型在學(xué)習(xí)高頻特征時(shí)容易產(chǎn)生的過擬合現(xiàn)象，采用高斯噪聲來消除高頻特征，增強(qiáng)效果如圖7 所示。⑤翻轉(zhuǎn)：采用鏡面映射實(shí)現(xiàn)圖像旋轉(zhuǎn)，增強(qiáng)效果如圖8 所示。

圖4 左右旋轉(zhuǎn)增強(qiáng)后的煙蟲圖像效果圖Fig.4 Enhanced images of tobacco insects after left and right rotations

每種數(shù)據(jù)增強(qiáng)技術(shù)可將原始圖像增強(qiáng)2 倍，即增強(qiáng)后訓(xùn)練集中共有2 420 張煙蟲圖像。

圖5 放大和縮小增強(qiáng)后的煙蟲圖像效果圖Fig.5 Enhanced mages of tobacco insects after zooming in and zooming out

圖6 x 和y 軸平移增強(qiáng)后的煙蟲圖像效果圖Fig.6 Enhanced images of tobacco insects after x-axis and y-axis translation

圖7 高斯噪聲增強(qiáng)后的煙蟲圖像效果圖Fig.7 Images of tobacco insects enhanced by Gaussian noise

圖8 上下翻轉(zhuǎn)增強(qiáng)后的煙蟲圖像效果圖Fig.8 Enhanced images of tobacco insects after up and down flipping

2 實(shí)驗(yàn)方法

2.1 數(shù)據(jù)集的劃分

利用29 套圖像采集裝置共采集到300 張含有煙蟲的圖像，其中224 張含有煙末等雜質(zhì)，另外76張僅含煙蟲。隨機(jī)將其分為訓(xùn)練集和測(cè)試集，其中220 幅作為訓(xùn)練數(shù)據(jù)用于訓(xùn)練YOLOV3 模型；剩余80 幅作為測(cè)試集用于評(píng)價(jià)模型的準(zhǔn)確率，測(cè)試集中49 幅含有煙末雜質(zhì)，煙蟲數(shù)量為119 只，31幅僅含煙蟲，煙蟲數(shù)量為71 只。為對(duì)煙蟲實(shí)現(xiàn)精準(zhǔn)、高效的檢測(cè)，首先采用1.2 節(jié)中的5 種數(shù)據(jù)增強(qiáng)方法，將220 幅訓(xùn)練數(shù)據(jù)增強(qiáng)為2 420 幅，并將2 420 幅煙蟲圖像按4∶1 的比例重新劃分為訓(xùn)練集和驗(yàn)證集，得到1 936 幅訓(xùn)練集圖像和484 幅驗(yàn)證集圖像，其中煙蟲數(shù)量分別為8 786 只和1 228只。通過訓(xùn)練集中1 936 幅煙蟲圖像訓(xùn)練YOLOV3 模型參數(shù)，并利用驗(yàn)證集中的484 幅煙蟲圖像監(jiān)督模型的訓(xùn)練情況，指導(dǎo)模型選擇最優(yōu)的YOLOV3 參數(shù)，最后在80 幅測(cè)試集上評(píng)價(jià)YOLOV3 模型對(duì)煙蟲的最終檢測(cè)效果。

2.2 錨點(diǎn)框的生成

為更加精準(zhǔn)地預(yù)測(cè)真實(shí)邊界框，需生成相對(duì)理想的先驗(yàn)錨點(diǎn)框。Redmon 等［7-8,13］采用k-means算法得到先驗(yàn)錨點(diǎn)框，而袁方等［15］認(rèn)為k-means 聚類算法對(duì)初始值更為敏感。因此，采用k-means++算法對(duì)訓(xùn)練集中樣本進(jìn)行聚類生成9 個(gè)先驗(yàn)錨點(diǎn)框，k-means++聚類算法流程為：①?gòu)臄?shù)據(jù)集中選取樣本均值作為第一個(gè)聚類中心；②計(jì)算每個(gè)樣本與當(dāng)前已有聚類中心之間的最短距離（即與最近的一個(gè)聚類中心的距離），用D（x）表示，D（x）越大表示該樣本將被選為下一個(gè)聚類中心的概率越大；按照輪盤法選出下一個(gè)聚類中心；③重復(fù)步驟2，直至選出9 個(gè)聚類中心；④采用Redmon 中的k-means 算法優(yōu)化9 個(gè)初始聚類中心。

通過k-means++算法聚類生成的9 個(gè)先驗(yàn)錨點(diǎn)框，如表1 所示。

表1 9 個(gè)先驗(yàn)錨點(diǎn)框Tab.1 The 9 prior anchor bounding boxes

2.3 實(shí)驗(yàn)設(shè)計(jì)

采用YOLOV3［13］模型對(duì)煙蟲進(jìn)行檢測(cè)。為實(shí)現(xiàn)對(duì)煙蟲高效精準(zhǔn)檢測(cè)，采用1.2 節(jié)中增強(qiáng)后數(shù)據(jù)集和2.2 節(jié)中先驗(yàn)錨點(diǎn)框訓(xùn)練模型。模型迭代參數(shù)（epochs）為200，批處理參數(shù)（batch_size）為2，驗(yàn)證集劃分比例（val_splite）為0.2，優(yōu)化方法為自適應(yīng)梯度下降法（adam），其他參數(shù)采用YOLOV3［13］模型中的參數(shù)。為驗(yàn)證本方法的有效性，選用DSSD［16］模型作為對(duì)比試驗(yàn)的參考模型，該模型采用殘差連接提高了模型的深度，有效提高了淺層表征能力，克服了SSD［9］對(duì)小目標(biāo)識(shí)別不敏感的問題。DSSD 模型的數(shù)據(jù)集和參數(shù)均與本方法的設(shè)置保持一致。在訓(xùn)練和測(cè)試過程中，本實(shí)驗(yàn)的運(yùn)行環(huán)境為：pycharm、keras、cudn9.1、cudnn7.1、GeForce GTX 1050 Ti（4G）。

2.4 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

對(duì)于煙蟲檢測(cè)識(shí)別效果的評(píng)價(jià)，僅采用準(zhǔn)確度進(jìn)行評(píng)價(jià)是不夠的，還需對(duì)煙蟲的位置進(jìn)行定位以及用邊框準(zhǔn)確框出煙蟲。為更好地評(píng)價(jià)模型的性能，采用平均精度均值［17-18］（Mean Average Precision，MAP）予以評(píng)價(jià)。由于本研究中只涉及一類昆蟲，所以MAP等于AP［19］，AP的公式如下：

其中：P為精確率，R為召回率，P（R）為以R為參數(shù)的函數(shù)，整個(gè)公式等價(jià)于計(jì)算P與R曲線圍成的曲線面積，即P-R曲線面積。P、R的計(jì)算公式如下：

其中：TP為被模型檢測(cè)出來且真正為煙蟲的數(shù)目，Prediction為被模型檢測(cè)出來的目標(biāo)數(shù)目，GroundTruth為真實(shí)標(biāo)簽數(shù)目。P與R單獨(dú)使用均不能很好地評(píng)價(jià)目標(biāo)檢測(cè)模型的性能，因?yàn)镻存在漏檢和R存在錯(cuò)檢的情況。

3 模型檢測(cè)效果

3.1 準(zhǔn)確性

共歷時(shí)29 h 42 min 完成對(duì)YOLOV3 模型的訓(xùn)練，模型在155 次迭代后模型檢測(cè)效果性能趨于穩(wěn)定，其在驗(yàn)證集上最優(yōu)檢測(cè)效果如表2 所示。由表2 可知，對(duì)于精確度、召回率和平均精度等指標(biāo)，YOLOV3 檢測(cè)效果達(dá)到95%以上，超過DSSD模型；YOLOV3 模型單張圖像平均檢測(cè)速度達(dá)到0.112 1 s，優(yōu)于DSSD 模型0.594 7 s，達(dá)到模型對(duì)煙蟲檢測(cè)精度和速度的要求。

在測(cè)試集上，煙蟲檢測(cè)模型方法準(zhǔn)確性試驗(yàn)結(jié)果如表3 所示。由表3 可知，對(duì)于精確度、召回率和平均精度等指標(biāo)，YOLOV3 檢測(cè)效果均達(dá)到96%以上，超過DSSD模型；YOLO3模型單張圖像平均檢測(cè)速度達(dá)到0.129 2 s，優(yōu)于DSSD模型0.608 7 s，能夠滿足卷煙廠對(duì)煙蟲檢測(cè)速度的要求。

表2 驗(yàn)證集中YOLOV3 模型和DSSD 模型的檢測(cè)效果Tab.2 Detection results of YOLOV3 model and DSSD model for validation set

表3 測(cè)試集中YOLOV3 模型和DSSD 模型的檢測(cè)效果Tab.3 Detection results of YOLOV3 model and DSSD model for test set

3.2 抗干擾能力

在測(cè)試集上，煙蟲檢測(cè)模型方法抗干擾能力試驗(yàn)結(jié)果見圖9。由圖9 可以看出：（1）、（2）和（3）3 幅圖中，盡管黏板和煙蟲的位置不同，利用YOLOV3 模型仍能夠?qū)崿F(xiàn)煙蟲的精準(zhǔn)識(shí)別并予以標(biāo)注；（5）、（6）和（7）3 幅圖中，盡管存在與煙蟲較為相似的煙絲和煙末等雜質(zhì)，利用YOLOV3 模型依然能夠精準(zhǔn)高效地檢測(cè)出圖像中的煙蟲；（4）和（8）兩幅圖中，由于存在與煙蟲極為相似的煙絲和煙末等雜質(zhì)，故存在一定的誤檢現(xiàn)象。由此可知，經(jīng)訓(xùn)練好的YOLOV3 模型對(duì)黏板位置、煙絲、煙末等雜質(zhì)具有一定的抗干擾能力。

盡管YOLOV3 模型能夠有效解決煙蟲等小目標(biāo)檢測(cè)問題，但依然存在將少量與煙蟲極其相似的煙末、煙絲等雜質(zhì)誤檢為煙蟲的情況，其原因很可能是由于網(wǎng)絡(luò)結(jié)構(gòu)存在提取的特征不夠十分有效或者網(wǎng)絡(luò)結(jié)構(gòu)有待改進(jìn)的問題。Gao S H 等［20］提出的CNNS 模塊增強(qiáng)了多尺度特征提取能力，實(shí)現(xiàn)了更加細(xì)粒度的目標(biāo)物體檢測(cè)。為此，后期將考慮結(jié)合CNNS 模塊設(shè)計(jì)一種更高效地特征提取網(wǎng)絡(luò)，優(yōu)化YOLOV3 模型網(wǎng)絡(luò)結(jié)構(gòu)，解決少量誤檢等問題。

圖9 煙蟲檢測(cè)模型抗干擾能力實(shí)驗(yàn)結(jié)果Fig.9 Experiment results of anti-interference ability of tobacco insect detection model

4 應(yīng)用效果

4.1 煙蟲報(bào)警處理系統(tǒng)

針對(duì)卷煙廠需及時(shí)、精準(zhǔn)地掌握蟲情的要求，采用YOLOV3 模型設(shè)計(jì)了一套煙蟲報(bào)警處理系統(tǒng)，處理技術(shù)路線圖見圖10。利用該系統(tǒng)可精準(zhǔn)地檢測(cè)出煙蟲的數(shù)量、一定時(shí)間內(nèi)煙蟲的增加量及其位置。當(dāng)煙蟲數(shù)量在一段時(shí)間內(nèi)增加的數(shù)量超過閾值（可根據(jù)各卷煙廠具體情況進(jìn)行設(shè)置）時(shí)則報(bào)警，有關(guān)人員則采取相應(yīng)措施進(jìn)行處理。

4.2 系統(tǒng)應(yīng)用效果

本套檢測(cè)系統(tǒng)不僅能夠?qū)熛x誘捕器上煙蟲進(jìn)行檢測(cè)識(shí)別，也能夠?qū)ζ渌麢z測(cè)點(diǎn)的煙蟲進(jìn)行檢測(cè)識(shí)別。以卷包車間最易滋生煙蟲的廢煙處理機(jī)和煙梗分離器為例，利用手機(jī)對(duì)廢煙處理機(jī)和煙梗分離器進(jìn)行圖像采集，分別采集到一張大小為1 440×1 080 像素的圖像。首先將其通過無線通訊方式傳送至中控室主機(jī)，然后利用Tensorflow中的雙線性插值法將采集到的圖像調(diào)整為416×416 像素，最后利用系統(tǒng)中YOLOV3 模型進(jìn)行檢測(cè)識(shí)別，檢測(cè)效果如圖11 所示。由圖11 可以看出，該套煙蟲報(bào)警系統(tǒng)也實(shí)現(xiàn)了卷包車間中廢煙處理機(jī)和煙梗分離器上煙蟲的精準(zhǔn)識(shí)別。

圖10 煙蟲報(bào)警處理技術(shù)路線圖Fig.10 Technical roadmap for tobacco insect alarm processing

圖11 系統(tǒng)模型的擴(kuò)展應(yīng)用Fig.11 Examples of model application

5 結(jié)論

①采用數(shù)據(jù)增強(qiáng)技術(shù)和k-means++聚類方法提供的充足數(shù)據(jù)以及較理想的先驗(yàn)框等對(duì)YOLOV3 模型進(jìn)行訓(xùn)練，經(jīng)訓(xùn)練后的YOLOV3 模型能夠?qū)頍煆S煙蟲進(jìn)行精準(zhǔn)檢測(cè)，驗(yàn)證集和測(cè)試集中檢測(cè)精度均達(dá)到95%以上，每幀檢測(cè)速度分別為0.112 1 s 和0.129 2 s，能夠滿足卷煙廠對(duì)煙蟲檢測(cè)的精度和速度要求。②經(jīng)訓(xùn)練好的YOLOV3 模型對(duì)黏板位置、煙絲、煙末等雜質(zhì)具有一定的抗干擾能力，具備在復(fù)雜環(huán)境下安裝部署的條件。③基于YOLOV3 模型設(shè)計(jì)的煙蟲報(bào)警處理系統(tǒng)能夠精準(zhǔn)檢測(cè)出煙蟲數(shù)量、一定時(shí)間內(nèi)煙蟲增加量及其位置。該系統(tǒng)在廢煙處理機(jī)和煙梗分離器上取得了較好的應(yīng)用效果。