基于深度學習的煙葉等級分類及特征可視化

魯夢瑤，陳 棟，2，周 強，王志勇，陳天恩*，2，姜舒文

1. 北京市農(nóng)林科學院信息技術研究中心，北京市海淀區(qū)曙光花園中路11 號 100097

2. 農(nóng)芯（南京）智慧農(nóng)業(yè)研究院，南京市浦口區(qū)行知路8 號南京國家農(nóng)創(chuàng)園科創(chuàng)中心1022 號 211800

3. 安徽皖南煙葉有限責任公司，安徽省宣城市鰲峰中路72 號 242000

4. 國家農(nóng)業(yè)信息化工程技術研究中心，北京市海淀區(qū)曙光花園中路11 號 100097

煙葉是中式卷煙生產(chǎn)的主要原料，根據(jù)質(zhì)量優(yōu)劣對煙葉進行科學、合理的等級劃分，對于原料煙葉收購和卷煙配方設計具有重要意義［1］。目前，煙葉等級劃分主要依靠人工經(jīng)驗，而人工分級容易受到主觀經(jīng)驗和環(huán)境條件的影響，存在分級準確率低、一致性差等問題［2］。近年來，涌現(xiàn)出許多基于圖像識別的煙葉智能分級研究，一些學者利用數(shù)字圖像處理技術提取煙葉RGB（Red-Green-Blue）彩色圖像的形狀、顏色、紋理等特征，結(jié)合SVM［3］、ANN神經(jīng)網(wǎng)絡［4］、模糊識別［5］等算法構(gòu)建煙葉分級模型。圖像是煙葉外觀信息最直接的表現(xiàn)形式，具有快速、便捷和實用等檢測優(yōu)勢，但傳統(tǒng)圖像處理技術解決煙葉分級問題的效果并不理想，原因在于：主要基于人工經(jīng)驗選擇圖像特征，特征提取的精度以及特征對于分級的貢獻程度均需大量試驗進行優(yōu)化［6］；煙葉油分、身份和成熟度等影響煙葉等級的重要屬性均屬于圖像的高級語義特征，僅依賴圖像低層特征（如形狀、顏色和紋理）無法實現(xiàn)這些高級語義的表達［7］，造成某些分級特征缺失，影響分級準確率的提升。

隨著人工智能技術的高速發(fā)展，以CNN（Convolutional Neural Network）為代表的深度學習技術在圖像分類識別領域得到廣泛應用。CNN 通過交替的卷積層和池化層可以自動提取目標任務所需的圖像特征，無需人工設計和提取特征［8］；通過多層CNN 提取的深層特征圖像具有較高的抽象程度和語義信息。CNN 彌補了傳統(tǒng)圖像處理技術的不足，適用于煙葉分級任務。雒慧心［9］提出一種融合顯式特征和深度特征的方法以減小分級錯誤率；Dasari 等［10］采用CNN 訓練3 個等級煙葉120 張圖像獲得85.10%的準確率；蘇明秋［6］提出多尺度特征提取的卷積模塊，提升了基于Res2Net-18 煙葉分級模型的精度；劉振［11］利用SVM 分別對煙葉傳統(tǒng)特征、VGG16 和B-CNN 提取的煙葉高級語義特征構(gòu)建3 個模型，通過集成分類結(jié)果獲得最優(yōu)分級效果；Lu 等［12］利用ResNet-34 和構(gòu)建的A-ResNet-65 網(wǎng)絡分別訓練煙葉子圖和全局圖像分級模型，通過融合2 個模型的結(jié)果獲得91.30%的準確率。雖然深度學習技術在煙葉分級方面已有應用，但其黑盒化的特征提取和決策依據(jù)方式一直為人詬病［13-14］，用戶對于模型的理解和信任度較低，使得深度學習技術在煙草研究中的應用和發(fā)展受到限制。類別激活圖（Class Activation Map，CAM）可視化技術［15］通過計算特征圖中每個像素對于分類結(jié)果的貢獻值來繪制特征熱力圖，定位CNN 模型在圖像分類中關注的關鍵區(qū)域，對于解釋模型決策、輔助評估模型性能具有重要意義。目前CAM 可視化技術被廣泛應用于細粒度圖像分類模型的性能評估，但關于CNN 模型在煙葉等級決策分類時依據(jù)視覺特征進行分析則鮮見報道。為此，利用搜集的104數(shù)量級的煙葉圖像，提出一種基于CNN 模型的煙葉等級分類方法，基于CNN 構(gòu)建煙葉全局圖像特征提取模型、局部圖像特征提取模型和分類器，并采用CAM 技術定位CNN 在煙葉圖像分級中的關鍵區(qū)域，以期為實現(xiàn)煙葉機械化、智能化分級提供技術支撐。

1 材料與方法

1.1 儀器與設備

煙葉成像裝置由相機、鏡頭和光源組成，采用黑色啞光柵欄式背景板，見圖1。傳送帶夾持葉柄將煙葉傳送至成像裝置，工業(yè)線陣相機連接鏡頭固定在支架上，白色隧道式面光源背對相機安裝，光源照射在煙葉表面，鏡頭正對光源隧道采集高速傳送的煙葉反射圖像。工業(yè)相機采用LT-400CL-F 型RGB 線陣棱鏡相機（日本分析工業(yè)株式會社），分辨率為4 096 px×3 px，行頻為16 kHz；鏡頭采用BVL1024-F 型鏡頭（日本Blue Vision 公司），定焦24 mm。定制光源（上海海之凝自動化科技有限公司）由2個高亮度、高均勻的白色面光源組成，中間為隧道，單個光源的發(fā)光面積為1 000 cm×300 cm。

圖1 煙葉成像裝置結(jié)構(gòu)示意圖Fig.1 Structure of tobacco leaf imaging device

1.2 煙葉圖像采集

煙葉樣品為2020 年安徽省皖南地區(qū)初烤后云煙87，由皖南煙葉公司專業(yè)技術人員按照烤煙國家標準GB 2635—1992 進行煙葉等級標注。挑選出B2F、B3F、C2F、C3F、GY、K 共6 個等級40 588 個煙葉，各等級煙葉數(shù)量分別為7 138、6 692、7 038、7 914、5 892 和5 914 個。由于影響煙葉等級的外觀特征主要集中在煙葉正面，故主要采集煙葉正面圖像用于等級識別。采集的煙葉RGB 圖像分辨率為1 500 px×750 px，各等級煙葉圖像見圖2。

圖2 各等級煙葉正面圖像Fig.2 Frontal images of tobacco leaves of different grades

1.3 煙葉分級模型設計

針對不同等級煙葉外觀差異小、等級識別易混淆等問題，提出了一種不同感受野的圖像分類結(jié)果融合的煙葉分級方法，利用CNN 分別提取煙葉全局和局部圖像特征并進行結(jié)果分類和融合，以實現(xiàn)不同等級的煙葉分類。

（1）模型整體框架。包括煙葉圖像特征提取和特征分類結(jié)果融合兩部分，整體流程見圖3。在特征提取階段，利用煙葉圖像和等級標簽有監(jiān)督地訓練煙葉全局和局部圖像分級模型；通過訓練模型獲取煙葉圖像的特征圖和特征向量，特征圖用于生成特征熱力圖，特征向量用于計算分類結(jié)果。在特征分類結(jié)果融合階段，對全局和局部圖像各分類類別對應的置信度進行加權(quán)平均，最大置信度所在類別即為最終分類結(jié)果。

（2）圖像預處理。由于不同等級煙葉外觀差異較小，在形狀、顏色、組件等圖像全局特征上極為相似，僅依靠煙葉全局圖像難以提取到具有類別分辨信息的特征，且原始圖像（像素為1 500 px×750 px）經(jīng)過雙線性插值方法縮放至CNN 要求的輸入圖像尺寸（像素為224 px×224 px）會導致圖像形變和細粒度信息消失，故采用高分辨率的煙葉局部圖像作為CNN 的輸入圖像，便于模型提取煙葉局部細節(jié)特征。由于靠近主脈的葉片中心區(qū)域包含的煙葉特征較為全面，避免了邊緣卷曲、缺少主脈、背景冗余等干擾，因此將葉片中心區(qū)域作為局部圖像。處理方法為：檢測原始圖像的煙葉最小外接矩形框，裁剪矩形框居中位置224 px×224 px 的區(qū)域作為局部圖像。

（3）煙葉特征提取。對AlexNet［16］、VGG［17］、ResNet［18］、DenseNet［19］等 網(wǎng) 絡 結(jié) 構(gòu) 不 同 的 經(jīng) 典CNN 分類模型進行改進，用于煙葉圖像特征提取。將CNN 模型最后的池化層和全連接層替換為全局平均池化層（Global Average Pooling，GAP）［20］，再連接一個Softmax層（GAP層和Softmax層之間的權(quán)重為w11，w12，...，w1n和w21，w22，...，w2n），構(gòu)建新的模型；GAP 層無需池化參數(shù)，在降低模型參數(shù)數(shù)量的同時保留了特征的空間信息和定位［15］。

遷移預處理的模型參數(shù)有助于CNN 模型提取圖像低層特征。首先訓練煙葉分組模型，劃分為上部煙、中部煙、青雜煙3 個組，不同組間的煙葉差異較大，在形狀、顏色等特征上具有明顯差異［21］；然后利用分組模型的權(quán)重對分級模型進行初始化；再結(jié)合煙葉圖像和等級標簽對模型權(quán)重進行微調(diào)，以訓練分級模型。由于分級模型包含全局、局部特征提取兩個支路，網(wǎng)絡權(quán)重數(shù)量大、模型訓練不易擬合，在端到端的訓練中，梯度反向傳播方式較為復雜。因此，先分別訓練煙葉全局、局部圖像分級模型，再刪除這兩個模型的分類器，僅保留特征向量提取部分，即可通過模型獲取全局和局部圖像的特征向量。煙葉特征提取與特征可視化算法見圖4。

圖4 基于CNN模型的煙葉特征提取算法與特征圖可視化算法Fig.4 Tobacco leaf feature extraction algorithm and feature map visualization method based on CNN model

（4）特征可視化。通過CAM 技術計算煙葉圖像上每個像素對分類結(jié)果的貢獻值并形成熱力圖，進而得到模型對于煙葉圖像局部區(qū)域的關注程度，輔助理解模型的分類決策規(guī)則。煙葉圖像在經(jīng)過最后一層卷積層后，獲得n個通道的具有高度抽象性的特征圖An（圖3a 中GAP 層前最后一層特征圖）；采用線性融合方式，將GAP 層到Softmax 層之間的n個權(quán)重與n個通道的特征圖對應相乘后再相加得到特征熱力圖；將特征熱力圖通過插值方式上采樣到原始圖像大小即可得到類激活映射圖CAM。計算公式為：

式中：M（i，j）表示最終分類類別在像素點（i，j）處的響應值；wk表示GAP 層和Softmax 層之間的權(quán)重；表示第k個特征圖在像素點（i，j）處的像素值。

式中：LCAM表示類激活映射圖；Upsample 表示上采樣作用。

式中：Iinput表示輸入的原始圖像；ICAM表示模型對原始圖像關注區(qū)域的熱力圖。

（5）特征分類與結(jié)果融合。構(gòu)建一個包含全連接層、Softmax 層和加權(quán)平均層的分類器，對提取到的煙葉全局和局部特征向量進行分類和融合，流程見圖3b。利用訓練模型提取煙葉圖像的特征向量（記為global feature 和local feature），通過一個全連接層（引入dropout技術防止過擬合，設置為0.5）將特征向量的個數(shù)映射為最終類別個數(shù)（本研究中為6），采用Softmax層將全連接層的輸出值映射為［0，1］之間的概率。對全局、局部特征分類結(jié)果的置信度分別賦予一個權(quán)重（記為μ1和μ2，μ1+μ2=1），計算每個類別關于全局和局部置信度的加權(quán)平均置信度，即為該類煙葉的分類類別置信度，最大置信度所在類別即為分類結(jié)果。

（6）模型測試。利用訓練的煙葉特征提取模型和分類器對煙葉等級分類進行測試，流程見圖5。

圖5 煙葉等級分類測試流程Fig.5 Test process of tobacco leaf grading

1.4 模型評價指標

訓練煙葉特征提取模型和分類器時，采用模型損失值（loss）和準確率（accuracy）作為評價指標。采用煙葉原級分級準確率和相鄰等級分級準確率，評價煙葉分級方法的性能。其中，原級指分類為正確的等級，相鄰等級分類指同一部位的相鄰等級［22］。

1.5 模型訓練

在Windows Server 2010 操作系統(tǒng)的Pytorch 1.9.0 深度學習框架下完成。采用Intel Xeon Silver 4110 CPU 處理器和NVIDIA GeForce GTX1080Ti GPU 將圖像以4∶1∶1 的比例劃分為訓練集、驗證集和測試集，對訓練集圖像進行數(shù)據(jù)增廣（旋轉(zhuǎn)，隨機比例裁剪，色彩抖動，增加高斯噪聲），以增加圖像的多樣性。訓練過程中，通過監(jiān)督驗證集的損失值和準確率輔助調(diào)整超參數(shù)；模型訓練結(jié)束后，保存驗證集分級準確率最高的模型。測試集用于評價模型的泛化能力。

采用隨機梯度下降算法訓練煙葉全局圖像特征提取模型、煙葉局部圖像特征提取模型、模型分類器。訓練時設置圖像批處理大小為16，最大迭代次數(shù)設置為100 輪。模型的初始學習率設置為0.001，每10輪衰減0.1。

2 結(jié)果與分析

2.1 特征提取模型和分類器的測試結(jié)果

采用煙葉全局圖像訓練的煙葉分組模型準確率見表1。可見，隨著網(wǎng)絡層數(shù)的增加，模型在驗證集上的準確率有所提高；DenseNet-121 訓練的煙葉分組模型準確率達到89.48%。

表1 預訓練的煙葉分組模型準確率Tab.1 Accuracy of pre-trained tobacco leaf grouping model （%）

不同CNN 模型和不同訓練方式下訓練的煙葉分級模型分類結(jié)果見表2 和表3。可見：①通過微調(diào)煙葉分組模型的權(quán)重訓練的分級模型結(jié)果最佳，與其他兩種訓練方式相比，分級準確率整體上有所提升；②基于微調(diào)訓練方式，采用VGG-16 和ResNet-50 訓練的全局、局部煙葉圖像分級模型結(jié)果最佳，準確率分別達到62.80%和83.39%；③采用局部煙葉圖像訓練的煙葉分級模型（驗證集準確率67.48%～83.39%）相較于全局圖像（驗證集準確率50.08%～62.80%）分類性能更優(yōu)，這是由于高清晰度的局部圖像有助于提升煙葉分級準確率，不同等級煙葉特征差異主要集中在煙葉局部細節(jié)上。

表2 煙葉全局圖像特征提取模型的等級分類結(jié)果對比①Tab.2 Grading accuracies of global tobacco leaf image feature extraction models （%）

表3 煙葉局部圖像特征提取模型的等級分類結(jié)果對比Tab.3 Grading accuracies of local tobacco leaf image feature extraction models （%）

基于VGG-16 和ResNet-50 訓練的全局、局部煙葉圖像特征提取模型，可以獲取煙葉圖像的特征向量。利用特征向量訓練煙葉分級模型的分類器（圖3b），得到全局特征分類置信度的權(quán)重μ1=0.375 4，局部特征分類置信度的權(quán)重μ2=0.624 6，最終分類器對于融合全局、局部特征向量后的分級準確率為86.50%。可見，經(jīng)過分類器融合后的分類結(jié)果優(yōu)于單獨采用全局或局部圖像的分類結(jié)果，準確率分別提高23.70%和3.11%。

2.2 煙葉局部特征可視化分析

為了評價模型是否在局部煙葉圖像上學習到關鍵特征，基于訓練的煙葉局部圖像特征提取模型，使用CAM 技術生成不同等級煙葉局部圖像的特征可視化熱力圖，見圖6。可見，隨著CNN 模型層數(shù)的加深，模型關注的區(qū)域逐漸由抽象到具體，即由廣泛的大面積聚焦到局部的特定細節(jié)特征。通過對比不同CNN 的特征可視化結(jié)果可以看出，包含5 個卷積層的AlexNet 模型對于特征提取的效果最差。AlexNet 對于不同組別的煙葉區(qū)分較為敏感（關注上部煙的葉片邊緣形狀信息、中部煙和青雜煙的葉片中心區(qū)域），但對于區(qū)分等級的特征關注程度較差，特征的抽象表達能力有限，同時AlexNet 對局部圖像的分級準確率僅為71.95%，與其他模型有明顯差異。VGG-16、ResNet-50 和DenseNet-121 模型對于特征提取的效果相似，較AlexNet 有較大提升。其中，VGG-16 模型關注到一些區(qū)分煙葉等級的特征，但是較ResNet-50 和DenseNet-121 關注的特征區(qū)域更大，提取的特征粗糙、抽象程度不足（如B2F，B3F，C3F，K）；ResNet-50模型提取的特征與人工分級關注的特征較為接近，特征精確且完整；DenseNet121 模型關注的特征區(qū)域較ResNet-50 稍大（如B2F，C2F，C3F，K），其可視化結(jié)果符合DenseNet 模型層間的密集連接和特征重組的特性。

圖6 不同CNN 提取煙葉局部圖像的特征熱力圖Fig.6 Thermodynamic charts of local tobacco leaf feature extracted by different CNN models

由ResNet-50 模型的可視化結(jié)果可知：① 對于B2F 和B3F 等級煙葉，模型對于煙葉特征的關注主要集中在顏色較深的皺褶區(qū)域和煙葉主脈區(qū)域。②對于葉片顏色均勻、表面光滑平整、褶皺較少的C2F和C3F等級煙葉，模型關注的特征面積較大，覆蓋葉片的大部分區(qū)域；特征主要集中在紋理呈現(xiàn)變化的區(qū)域，與紋理走勢具有相關性。③ 對于葉片具有明顯殘傷的GY 和K 等級煙葉，模型對于煙葉的關注集中在煙葉局部的病斑、殘傷等非基本色塊上。綜上可見，CNN 模型與人工分級所關注的煙葉特征相一致，關注程度依次是病斑＞皺褶＞主脈＞紋理走勢，依據(jù)上述條件逐層判斷即可推測煙葉等級。

2.3 模型驗證

對測試集的煙葉圖像進行等級識別以驗證模型的泛化性能，得到煙葉的原級分級準確率為84.71%，相鄰等級分級準確率為94.50%，混淆矩陣見圖7。由圖7a 可知，各等級煙葉的原級分級準確率均在80%以上，C2F 和C3F 等級煙葉識別準確率相對較低，錯判的煙葉主要被分類成相鄰等級。由圖7b可知，各等級煙葉的相鄰等級分級準確率達到90%左右，分級效果良好。由表4 可見，單張煙葉圖像的平均檢測時間為17.87 ms。

圖7 測試集分類結(jié)果的混淆矩陣Fig.7 Confusion matrix of grading results of test sets

3 結(jié)論

提出了一種煙葉全局和局部圖像特征提取和分類融合的煙葉分級模型，結(jié)果表明：① 基于VGG-16訓練的全局圖像特征提取模型和ResNet-50 訓練的局部圖像特征提取模型，得到的煙葉分級模型結(jié)果最佳，煙葉分級模型對6個等級煙葉測試集分級準確率為84.71%，單張煙葉圖像檢測時間為17.87 ms。②與僅使用縮放后的全局煙葉圖像訓練模型相比，融合高分辨率的局部煙葉圖像構(gòu)建的煙葉分級模型分級精度提高23.70%。表明CNN 能夠提取高清晰度的局部煙葉圖像中有效的煙葉等級特征，利用局部圖像可大幅提升煙葉分級效果。 ③ResNet-50 模型對于局部煙葉圖像的特征可視化結(jié)果表明，模型對于煙葉特征的關注程度依次是病斑＞皺褶＞主脈＞紋理走勢，與人工分級所關注的煙葉特征具有一致性。 ④提出的煙葉分級方法具有分級結(jié)果良好、檢測時間短、特征可解釋性強等優(yōu)勢，對于深度學習技術在煙葉圖像分類中的應用研究具有參考意義。