基于深度學(xué)習(xí)的煙葉烘烤實(shí)時(shí)識(shí)別研究

張成雙，王先偉，劉志剛，王桂榮，姜增昀，郝允志

（1.山東濰坊煙草有限公司，山東 濰坊 261000；2.西南大學(xué)，重慶 400715）

目前密集烤房煙葉烘烤主要通過干濕球溫度傳感器監(jiān)測(cè)烤房狀態(tài)，通過預(yù)設(shè)烘烤曲線和烘烤師肉眼觀察進(jìn)行預(yù)設(shè)值修正調(diào)節(jié)[1]。這種由干濕球溫度直接調(diào)控的方式難以對(duì)煙葉烘烤狀態(tài)進(jìn)行準(zhǔn)確識(shí)別，對(duì)烘烤師依賴性很大，往往需要烘烤師24 h值守，進(jìn)行烘烤工藝調(diào)整。這種工作方式的勞動(dòng)強(qiáng)度較大，而且受烘烤師主觀影響很大，除此之外，從溫度異常到烘烤師發(fā)現(xiàn)進(jìn)行調(diào)整往往存在滯后性[2]。因此，實(shí)現(xiàn)煙葉烘烤階段智能識(shí)別，是煙葉智能烘烤的重點(diǎn)。近年來，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)模型在農(nóng)業(yè)方面的應(yīng)用越來越廣泛[3]，但是在煙葉烘烤階段識(shí)別方面的應(yīng)用還鮮有耳聞。

煙葉方面的研究還主要集中在病蟲害識(shí)別[4]，或者煙葉成熟度和煙葉等級(jí)鑒定[5]方面的研究。焦方圓等[6]提出一種改進(jìn)的基于VGG16的煙葉分級(jí)模型，使用空洞卷積代替?zhèn)鹘y(tǒng)卷積，對(duì)41種煙葉烘烤等級(jí)煙葉進(jìn)行識(shí)別，準(zhǔn)確率比傳統(tǒng)SVM（葉片葉綠素含量的相對(duì)值）模型提高了10.46%。陳乾錦等[7]通過分析煙葉SPAD（支持向量機(jī)）葉片葉綠素含量的相對(duì)值的含量判斷和煙葉烘烤質(zhì)量的關(guān)系，最終和不同部位煙葉的相關(guān)性達(dá)到了0.991，0.988，0.961。張麗英等[8]將烘烤過程中煙葉葉綠素和類胡蘿卜素與煙葉顏色特征進(jìn)行了逐步回歸分析，建立了回歸方程模型，相關(guān)系數(shù)達(dá)到了0.976 6和0.632 5。但利用圖像處理乃至深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)煙葉烘烤階段進(jìn)行識(shí)別的研究還鮮有耳聞。

本文通過雙邊濾波算法[9]在保留邊緣特征的基礎(chǔ)上對(duì)煙葉原始圖像進(jìn)行去噪，將數(shù)據(jù)輸入MobileNetv3-ECA深度卷積神經(jīng)網(wǎng)絡(luò)，并采用SE注意力機(jī)制增加模型對(duì)重要通道的關(guān)注度提取分類關(guān)鍵特征，模型最終識(shí)別率達(dá)到了91.38%。在煙葉烘烤階段工藝匹配上可以達(dá)到良好的精度，對(duì)實(shí)現(xiàn)精準(zhǔn)烤煙有重要意義，為深度學(xué)習(xí)圖像識(shí)別在煙葉烘烤階段識(shí)別上的應(yīng)用提供理論依據(jù)和技術(shù)支持。

1 材料與方法

1.1 試驗(yàn)材料

試驗(yàn)圖像于2021年在山東省濰坊市諸城煙葉烘烤模范合作社采集。烘烤烤房為燃煤密集烤房，裝煙室規(guī)格長(zhǎng)寬高為8.0 m×3.0 m×3.5 m，裝煙三層雙路。圖像采集設(shè)備采用120°高清廣角網(wǎng)絡(luò)攝像頭，通過當(dāng)?shù)赜芯€網(wǎng)絡(luò)、無線路由器上傳至服務(wù)器識(shí)別或在網(wǎng)絡(luò)較差的地方進(jìn)行本地設(shè)備識(shí)別。

1.2 數(shù)據(jù)采集

網(wǎng)絡(luò)攝像頭采用360°可旋轉(zhuǎn)的固定機(jī)構(gòu)進(jìn)行固定，距離煙竿25～30 cm，距離煙葉30～35 cm，主要拍攝部位為葉尖部位。

1.3 數(shù)據(jù)預(yù)處理

圖像拍攝處于光線較暗的灰暗環(huán)境，輔助光源難以達(dá)到高質(zhì)量的均勻光效果，而且拍攝環(huán)境長(zhǎng)期溫度較高。在這種環(huán)境下，采集的圖像極易產(chǎn)生高斯噪聲，高斯噪聲是一種概率分布滿足高斯分布（正態(tài)分布）的噪聲，在自然界中廣泛存在。但是一般的高斯濾波方式，都會(huì)產(chǎn)生明顯的邊緣模糊，使圖像丟失部分邊緣特征。為了對(duì)采集的圖像進(jìn)行有效處理，本文采用了雙邊濾波算法。雙邊濾波[10]是一種基于空間分布的非線性高斯濾波方法，由于其空間特性，對(duì)邊緣附近較遠(yuǎn)的像素不會(huì)產(chǎn)生太大影響，可以更好地保留邊緣像素，達(dá)到“保邊去噪”的目的。處理前后圖像如圖1所示。

圖1 處理前后的圖像

參考三段式烘烤工藝和當(dāng)?shù)睾婵編煾岛婵窘?jīng)驗(yàn)，將煙葉烘烤過程采集的圖像分成10個(gè)階段。

2 模型結(jié)構(gòu)

2.1 MobileNetv3模型

MobileNet是一種經(jīng)典的深度學(xué)習(xí)模型[11]，該模型使用了殘差結(jié)構(gòu)來保留原始特征，減緩了深層網(wǎng)絡(luò)的網(wǎng)絡(luò)退化問題。

MobileNetv3[12]是MobileNet系列中最先進(jìn)的模型，通過逐像素點(diǎn)的多層運(yùn)算，提取圖像的深層特征，并在最后將特征矩陣映射為和分類數(shù)相同的一維向量，進(jìn)行圖像分類。

殘差連接可用如下公式表示

式中：xl是上一層的輸出；xl+1是該層輸出；F（xl，wl）是xl經(jīng)過權(quán)重矩陣wl后的輸出；f（xl）是經(jīng)過激活函數(shù)等操作后的輸出。

如果忽略激活函數(shù)等操作，則殘差連接可以表示為

則深層網(wǎng)絡(luò)L層的輸出xL可以表示為

在深層模型中，殘差結(jié)構(gòu)一直保持一個(gè)恒等映射，將原始特征保留下來，避免了網(wǎng)絡(luò)層數(shù)加深時(shí)的模型退化問題。

在MobileNetv3模型中，為了準(zhǔn)確識(shí)別目標(biāo)，將模型的權(quán)重參數(shù)合理分配，加入了SE注意力機(jī)制模塊[13]，如圖2所示，該模塊將特征矩陣壓縮為1×1×C的向量，經(jīng)過2個(gè)全連接層對(duì)該特征向量參數(shù)學(xué)習(xí)后，將其與原始特征矩陣逐通道相乘，對(duì)通道間的權(quán)重進(jìn)行重新分配，使模型更多關(guān)注重要通道的信息。

圖2 SE注意力模塊

2.2 MobileNetv3-ECA模型

MobileNetv3模型保留了殘差結(jié)構(gòu)和深度可分卷積，但是將SE模塊更換為更加高效的ECA模塊。ECA模塊[14]采用一維卷積代替了全連接層，將數(shù)萬參數(shù)量的注意力模塊精簡(jiǎn)到了個(gè)位數(shù)。如圖3所示。

圖3 ECA注意力模塊

并對(duì)模型尺寸進(jìn)行了枝減，進(jìn)一步減少了MobileNetv3-ECA模型的大小，減少了計(jì)算所需的設(shè)備成本。

3 模型訓(xùn)練

將經(jīng)過雙邊濾波后的煙葉圖像RGB 3個(gè)通道輸入到MobileNetv3-ECA模型中，通過多次卷積操作提取圖像特征，最后將所有特征映射為10個(gè)輸出，對(duì)輸出進(jìn)行Softmax操作，計(jì)算圖片在10個(gè)類別的概率，將最高概率的標(biāo)簽作為預(yù)測(cè)標(biāo)簽，使用交叉熵?fù)p失函數(shù)計(jì)算實(shí)際標(biāo)簽和預(yù)測(cè)標(biāo)簽之間的損失值，通過優(yōu)化器函數(shù)將損失梯度反向傳播，對(duì)權(quán)重矩陣進(jìn)行優(yōu)化，最終得到合適的模型權(quán)重參數(shù)。

特征提取過程如圖4所示。

圖4 特征提取過程

3.1 模型實(shí)驗(yàn)結(jié)果對(duì)比分析

將煙葉烘烤階段數(shù)據(jù)分別輸入MobileNetv3-ECA、MobileNetv3、GoogLeNet、VGG16和ResNet34模型。在100輪訓(xùn)練后，驗(yàn)證集的準(zhǔn)確率曲線如圖5所示。

由圖5可以看出，VGG16曲線波動(dòng)十分明顯，準(zhǔn)確率穩(wěn)定性不佳；GoogLeNet模型收斂速度較慢，在前40輪準(zhǔn)確率明顯低于其他曲線；ResNet34和MobileNetv3模型曲線則整體上高于VGG16和GoogLeNet曲線；改進(jìn)后的MobileNetv3-ECA模型準(zhǔn)確率曲線總體處于其他曲線上方，而且波動(dòng)明顯減小，具有更好的綜合性能。

圖5 準(zhǔn)確率曲線

從表1可以看出，改進(jìn)后的MobileNetv3-ECA模型準(zhǔn)確率達(dá)到了91.38%，模型參數(shù)量與MobileNetv3相比，減少了16.6%，僅為VGG16的2.6%，ResNet34的16.5%，可以節(jié)省大量計(jì)算資源，降低對(duì)設(shè)備的要求。

表1 多模型性能對(duì)比

3.2 在不同batchsize下的準(zhǔn)確率曲線

由圖6可以看出，由于分類階段數(shù)為10，每個(gè)批次加載圖片數(shù)量不足10張時(shí)，對(duì)批次圖片歸一化難以代表各個(gè)階段的特性，batchsize（每個(gè)批次加載的圖片數(shù)量）為4或8時(shí)，曲線波動(dòng)明顯更大，當(dāng)每個(gè)批次加載圖像為16張或32張時(shí)，圖像波動(dòng)明顯減小，但batchsize為32時(shí)準(zhǔn)確率相比于batchsize為16時(shí)沒有明顯提升，但是加載圖片過多，會(huì)對(duì)設(shè)備內(nèi)存占用迅速增長(zhǎng)。

圖6 不同batchsize下的準(zhǔn)確率曲線

3.3 改進(jìn)前后對(duì)比分析

目前密集烤房煙葉烘烤狀態(tài)主要靠烘烤師肉眼觀察，手動(dòng)調(diào)節(jié)烘烤曲線，受人主觀性影響較大，而且夜間值守也需要耗費(fèi)大量精力。本文通過雙邊濾波方法對(duì)烤房圖片進(jìn)行去噪，同時(shí)保留煙葉的輪廓信息，使用MobileNetv3模型進(jìn)行特征提取，并通過梯度下降法進(jìn)行反向傳播優(yōu)化參數(shù)，濾波前后各個(gè)階段的識(shí)別準(zhǔn)確率見表2。

表2 雙邊濾波前后各個(gè)階段識(shí)別準(zhǔn)確率對(duì)比

將雙邊去噪前后的圖像分別輸入到MobileNetv3和MobileNetv3-ECA模型中，batchsize（每批次加載圖片數(shù)量）為16時(shí)，迭代100個(gè)訓(xùn)練輪次后，其準(zhǔn)確率曲線如圖7所示。由圖7可以看出，在前10輪訓(xùn)練過程中，準(zhǔn)確率不高，但經(jīng)過10輪之后，模型權(quán)重基本優(yōu)化確定，準(zhǔn)確率迅速達(dá)到80%以上；在80輪訓(xùn)練后，MobileNetv3準(zhǔn)確率最高達(dá)到了89.66%，而MobileNetv3-ECA模型的識(shí)別準(zhǔn)確率達(dá)到了91.38%。

圖7 改進(jìn)前后的準(zhǔn)確率曲線

實(shí)驗(yàn)證明在MobileNetv3模型上，識(shí)別準(zhǔn)確率達(dá)到了89.66%，而改進(jìn)后的MobileNetv3-ECA模型識(shí)別準(zhǔn)確率可以達(dá)到91.38%。MobileNetv3模型在4—6階段的識(shí)別錯(cuò)誤率較高，該時(shí)期，煙葉正處于變黃后期；定色前中期，煙葉整體未達(dá)到特征相近的階段，特征提取難度較大。

而MobileNetv3-ECA模型的識(shí)別準(zhǔn)確率達(dá)到了91.38%。該模型在3—6階段的識(shí)別錯(cuò)誤率明顯降低，對(duì)變黃定色的關(guān)鍵時(shí)期有更好的識(shí)別效果，在7—10段的錯(cuò)誤率略有提高，該時(shí)期處于烘烤過程的定色后期和干筋期，此時(shí)煙葉烘烤大部分已經(jīng)完成，主要對(duì)煙筋進(jìn)行脫水處理，對(duì)煙葉整體烘烤質(zhì)量影響不大。

4 結(jié)束語

本研究表明，在不使用其他輔助特征提取設(shè)備和人為對(duì)特征進(jìn)行提取的情況下，只通過攝像頭采集數(shù)據(jù)，使用神經(jīng)網(wǎng)絡(luò)自主提取特征進(jìn)行煙葉烘烤階段識(shí)別是可行的，這對(duì)于輕便型易布置的煙葉烘烤階段識(shí)別裝置研發(fā)提供了理論基礎(chǔ)。使用雙邊濾波法對(duì)圖像進(jìn)行去噪，在MobileNetv3-ECA深度神經(jīng)網(wǎng)絡(luò)模型上，對(duì)煙葉烘烤質(zhì)量影響較大，特征難以提取的3—6階段識(shí)別準(zhǔn)確率得到了明顯提升，但由于識(shí)別需要上傳服務(wù)器進(jìn)行，在信號(hào)較差的地區(qū)實(shí)施具有一定難度，本地識(shí)別往往對(duì)計(jì)算機(jī)性能要求較高，這為后續(xù)研究提供了方向，可以進(jìn)一步優(yōu)化搭建更輕量級(jí)的模型，從而在微型設(shè)備上進(jìn)行識(shí)別。