基于稠密連接卷積神經網絡與混合注意力的煙葉圖像分級方法

江 浩，羅瑞林，金雪松，陳載清，云利軍

（1.云南師范大學 信息學院，云南 昆明 650500；2.云南省煙草煙葉公司 設備信息科，云南 昆明 650218；3.玉溪市第二人民醫院 信息網絡中心，云南 玉溪 653100）

0 引言

隨著烤煙收購工作規范化提升，煙葉質量要求不斷提高，但在實際煙葉收購過程中仍存在煙葉質量不達標等情況［1］。影響煙葉質量不達標的因素多種多樣，其中在人為劃分煙葉等級過程中，會因環境因素或員工精神狀態不好等原因導致煙葉等級分類不準確，分類精度降低。

隨著科技進步，煙葉種植、烘烤、收購等環節不斷引入許多信息化手段提升效率、產量、質量［2］。為此，本文通過深度學習方法實現在煙葉收購過程中識別、劃分不同等級煙葉，以減少人為誤差造成的損失。

目前，在煙葉自動化分級方面的研究主要分為兩條思路。第一種是按照煙葉的著生部位、顏色、光譜、氣味及其他與總體質量相關的主要特征將煙葉劃分為若干等級［3］，通過人為提取的特征采用機器學習算法進行識別。例如，趙世民等［4］提出基于圖像特征的煙葉分級方法，將采集的煙葉圖像灰度化處理以減少后續圖像處理的工作量，提高模型檢測效率，再提取顏色、形狀、紋理等煙葉圖片特征對煙葉進行分級。袁奎［5］在RGB 與HSV 顏色空間下提取顏色分量特征信息，采用灰度系統理論對煙葉的各種特征進行定量化研究，再通過一種基于煙葉特征視覺信息的機器學習算法實現煙葉分級。李勝［6］通過煙葉長度、寬度等特征信息提取煙葉紋理參數，并將提取的參數作為BP 神經網絡的輸入實現煙葉分級，但這種先提取煙葉特征進行分析，再使用機器學習分級的方法不僅需要人工手動操作，而且通常情況下分級的準確率不高。

第二種則是通過深度學習方法采集不同等級煙葉圖像進行特征提取與識別，相較于第一種方法更具有實際操作性，且分級準確率更高。例如，王士鑫等［7］提出一種基于卷積神經網絡（Convolutional Neural Networks，CNN）的煙葉分級處理算法，使用CNN 神經網絡結合Inception V3分支結構并行處理特征信息得到分級結果，但該方法并未使用經典的分類網絡進行比較實驗，無法判斷相同數據及環境情況下經典卷積神經網絡是否具有更優的分類結果。魯夢瑤等［8］在原有傳統分支卷積網絡基礎上，采用特征金字塔、殘差網絡結構，并引入基于注意力機制的縮聚激發模塊獲得更多尺度特征，實驗表明該方法相較于經典卷積神經網絡在煙葉分級方面提升5.1%，雖然該方法在殘差網絡結構基礎上引入了注意力機制，但并未考慮模型推理時間及模型參數量對工程應用的重要性。

在實際煙葉采購過程中，不僅需要保證識別煙葉等級的精確性，還需保證模型在硬件設備上的可用性。在使用各種神經網絡進行煙葉等級分類實驗過程中，殘差注意力網絡（Residual Attention Network，RAN）［9］對紋路、形狀等煙葉特征表現出更優的提取能力，同時網絡運算量與參數量方面相較于其他主流分級網絡更優。RAN 主要通過堆疊注意力結構模塊構建網絡，但直接堆疊注意力模塊會導致模型性能下降，因此在原網絡中使用殘差學習機制在增加網絡層數時不會丟失太多信息。同時，每個注意力模塊分為mask、trunk 分支，mask 分支中通過先連續下采樣再連續上采樣的結構獲得特征權重，trunk分支負責特征處理功能。此外，注意力機制的重要性在以往文獻中已被廣泛研究［10-15］，但實際測試過程中會發生訓練速度較慢、識別準確率較低等問題。研究發現，稠密連接卷積模塊能讓每層網絡特征圖均能影響后面的所有層，既能讓特征在整個網絡中復用，還緩解了梯度消失問題，降低了網絡參數量［16］。研究表明，結合通道注意力［17］與空間注意力［18］也能增強特征信息，提升識別準確率。

為此，本文結合稠密連接卷積神經網絡與混合注意力機制，提出一種改進的RAN，以達到提升精度的同時有效降低網絡參數量，并且運算量較低。

1 實驗數據集

本文實驗為云南某煙葉收集站實地采集的煙葉圖像數據集，包括10 種等級煙葉，3 個不同品質。其中，上等煙葉品質B1F、B2F、C3F，中等煙葉品質C4F、B3F、X2F、X3F，下等煙葉品質B1K、CX2K、X4F。每種等級煙葉圖片500張，圖片大小為224×224，將每種等級煙葉數據按4∶1 劃分，即4 000 張圖片用于訓練，1 000 張圖片用于測試，部分煙葉數據如圖1所示。

Fig.1 Image data of tobacco leaf圖 1 煙葉圖像數據

2 改進RAN模型

本文所提改進RAN 的具體思路與方法包括以下3 個步驟：

步驟1：ResNet 中擁有兩種模式的卷積塊，分別為3 層的1×1 卷積、3×3 卷積、1×1 卷積和2 層的2 個3×3 卷積［19］，56 層殘差注意力網絡中只使用3 層卷積結構。在網絡層數相對較小的網絡中，使用2 層結構卷積往往能取得更好的效果，通過比較不同模式卷積塊對網絡特征提取的影響，發現采用2 層卷積和3 層卷積的混合結構，效果相較于僅使用3層卷積策略更好。

步驟2：改進原殘差注意力56 層網絡的3 個注意力模塊與網絡輸出階段的殘差塊，其中注意力模塊中的trunk分支為殘差模塊堆疊而成。為此，本文將殘差模塊替換為稠密連接模塊，以疊加不同層的特征圖。由于網絡輸出階段堆疊了多個殘差塊，網絡深度較深，為避免丟失上層信息使用稠密連接模塊保留更好的特征。由于在擴張特征通道時，不斷使用稠密連接模塊會出現內存占用過高的情況，因此將稠密連接放入trunk 分支，而mask 分支作為特征選擇器來提升trunk 分支中的有用特征，并抑制噪聲特征。在處理過程中，trunk 分支需要與mask 的輸出特征圖、輸出通道保持一致。為此，本文提出一種用于壓縮特征通道的預稠密連接模塊，將通道通過卷積操作壓縮為原有輸入通道數，再通過稠密連接卷積模塊擴張通道，具體公式為：

式中，IC、OC表示輸入輸出通道數，ICE表示壓縮后的通道數，N表示該分支稠密連接模塊數量，ICk表示第k個稠密連接模塊輸入通道數，當k=N時滿足式（1）。

步驟3：將RAN 中間的殘差注意力模塊替換為空間注意力模塊，由于先進行通道注意力再進行空間注意力的效果更好［20］，且優于僅使用通道注意力的縮聚激發網絡（Squeeze-and-Excitation Networks，SENet）。其中，通道注意力模塊使用步驟2改進后的模塊，具體公式為：

式中，σ表示Sigmoid 函數，F代表特征圖，MLP為多層感知機（Multilayer Perceptron，MLP）獲取AvgPool均值池化下采樣與通道累加的稠密連接模塊不同空間通道上的特征。使用兩種不同空間通道元素的乘積來突出注意力mask。同時，為強調主分支稠密連接模塊提取的全局特征，通過主分支與mask 相加的方式輸出通道注意力圖Mc(F)。空間注意力與通道注意力不同，空間注意力更關注特征圖的特征信息位置，具體公式為：

式中，f1×1，3×3，1×1代表1×1、3×3、1×1的3層卷積結構。

為了計算空間注意力，本文在通道軸使用均值池化與最大值池化，并連接它們的特征圖使用卷積層生成空間注意力圖Ms(F)。然后，使用通道注意力模塊進一步提取特征。實驗表明，稠密連接卷積結構相較于原模型的殘差卷積結構參數量更少，更加有效利用了通道特征圖，加強了傳遞不同通道特征。

網絡沿著通道—空間—通道兩種維度3 個注意力模塊依次進行訓練，使用稠密連接的trunk 分支與混合注意力提取煙葉特征。實驗表明，所提模型相較于原模型性能更優，特征提取結果如圖2所示。

Fig.2 Comparison of characteristic maps圖 2 特征圖比較

由圖2 可見，稠密連接在提取特征過程中保留了較多顏色信息，混合注意力相較于通道注意力提取的煙葉形狀、紋路特征更明顯，改進后的網絡結構圖如圖3所示。

由圖3 可見，與殘差注意力網絡結構一樣，通過卷積操作將初始的3 通道圖擴張至64 通道，mask 分支與原網絡結構保持一致，包含前饋掃描與自上而下的反饋步驟。其中，前饋掃描用于快速獲取整個圖像的全局信息，自上而下的反饋通過在近鄰上采樣過程中添加前饋掃描權重的方式獲得反饋信息，使此過程中不會丟失過多全局信息。注意力模塊的trunk 分支則將初始的兩個殘差結構替換為具有壓縮特征通道的預稠密連接模塊與3 個稠密連接模塊，將第一個通道注意力模塊處理后的特征圖輸入空間注意力機制模塊，通過混合注意力廣泛捕獲各位置和通道的特征，以獲得更優的性能，接下來通過第二個通道注意力模塊加深網絡層數，進一步提取更抽象的特征，最后通過4個稠密連接模塊進一步擴張特征通道，壓縮特征圖，提取特征信息，輸出均值池化、全連接層后預測的煙葉圖像數據分類。模型部分結構參數如表1所示。

Fig.3 Improved model structure圖3 改進后的模型結構

Table 1 Partial parameters of model structure表1 模型部分結構參數

3 實驗設置與結果分析

3.1 實驗設置

本文實驗顯卡為GTX1060 6G，處理器為I5-6500，實驗數據從10 個樣本分類中隨機抽取，每種類別隨機抽取400 張圖片作為訓練集，共4 000 張訓練樣本，剩余樣本作為驗證集，并確保數據集中的驗證集與訓練集數據不重復。以相同的數據集、損失函數、訓練輪次等為前提，實驗主要比較使用兩層卷積結構與原網絡的3 層卷積結構，主干網絡使用稠密連接卷積結構與原網絡的殘差連接卷積結構，Residual Attention56 與總體改進后的模型及改進后的網絡與經典分類網絡VGGNet19、ResNet34。

3.2 實驗結果分析

首先使用原始Residual Attention56 進行實驗，在此基礎上將網絡輸入注意力模塊前的3 層殘差卷積結構替換為兩層殘差卷積結構，進行100 輪迭代訓練后使用相同測試集進行測試，實驗準確率曲線如圖4所示。

圖4 中上方曲線為更改后的兩層卷積結構模型測試結果，下方曲線為原網絡測試結果，兩層卷積結構改進后的模型測試集準確率接近84%，原網絡接近81%，可證明使用兩層卷積結構在網絡深度較低的情況下能有效提高模型準確率。接下來，使用稠密連接卷積模塊替換原始Residual Attention56 主干網絡中的殘差模塊，實驗中首先使用預稠密連接，將通道壓縮，類似于瓶頸層結構，并將初始的兩個殘差連接模塊替換為3 個稠密連接模塊，在特征得到復用的同時進一步加深網絡深度。相同測試集下與原版Residual Attention56測試比較結果如圖5所示。

Fig.4 Comparison of test accuracy between two-layer convolution residual attention network and 56-layer residual attention network圖4 兩層卷積殘差注意力網絡與56層殘差注意力網絡測試準確率比較

Fig.5 Comparison of test accuracy between two-layer convolution dense attention network and 56-layer residual attention network圖5 兩層卷積稠密注意力網絡與56層殘差注意力網絡測試準確率比較

圖5 中上方曲線為稠密連接卷積模塊替換殘差連接卷積后的測試結果，下方曲線為原始Residual Attention56測試結果，由此可見使用稠密連接卷積模塊后，稠密連接卷積的多特征圖特征復用能進一步提升模型準確率，測試集準確率接近89%。為了減少稠密連接卷積主干網絡在不斷加深過程中運算量與參數量增加所造成的影響，本文將中間通道注意力模塊替換為空間注意力模塊，使用原始模型與總體改進后的模型進行100 輪迭代訓練，實驗訓練集準確率曲線如圖6所示。

Fig.6 Comparison of test accuracy of the overall improved model圖6 總體改進后模型的測試準確率比較

由圖6 可見，原始網絡在第一個訓練迭代后準確率為34.47%，改進后的網絡第一個訓練迭代后準確率達到44.9%，迭代100 次后改進后的網絡為99.05%。由此可見，改進后的模型無論在收斂速度還是最后收斂趨于穩定時的準確率上，相較于原始殘差注意力網絡模型更優。

損失函數的主要作用是衡量當前模型樣本的預測值與真實值間的大小，交叉熵損失函數在使用sigmoid 函進行梯度下降時，能有效避免梯度彌散而導致學習速率下降的問題，通過交叉熵損失函數得到原模型與改進模型的損失函數曲線，如圖7所示。

Fig.7 Comparison of cross entropy loss function of the overall improved model圖7 總體改進后模型的交叉熵損失函數比較

由圖7 可見，模型在迭代100 次過程中，改進后的模型始終保持著更低的損失值，且模型訓練時間相較于原始模型更少，之后還與ResNet34、VGGNet19 進行比較，發現改進后的網絡訓練所需時間最少。

混淆矩陣通常用于總結網絡分類結果，能可視化記錄分類器預測結果的誤差，改進殘差注意力模型的混淆矩陣如圖8 所示。由此可見，實驗中使用的10 種等級煙葉，在實際分類標簽為C3F、B2F、CX2K、X2F 中誤差較高，通過比較其他模型混淆矩陣發現所有測試模型對這4 種分類均存在較大的分類誤差，并且錯誤預測等級種類分布相似，原因可能手工進行煙葉圖像分類存在一定的誤差。

Fig.8 Confusion matrix of overall improved network圖 8 總體改進網絡混淆矩陣

通過消融實驗總結以上3 種改進策略測試結果與總體改進后的模型測試結果，統計每次改進后的測試集平均準確率、運算量、模型參數，如表2所示。

由表2 可知，兩層卷積結構與稠密連接卷積模塊能可有效提升模型分類準確率；在相同深度的改進模型結構下，使用稠密卷積模塊相較于殘差卷積模塊能降低參數量，但由于兩層卷積模塊保留了更多圖像信息，較多的稠密連接卷積模塊加深了主干網絡層數，將顯著增加運算量與參數量。

Table 2 Comparison of ablation experimental results of improved network表 2 改進網絡的消融實驗結果比較

本文將第二個注意力模塊替換為空間注意力模塊以提升模型準確率，減少網絡層數，降低網絡運算量與參數量。利用改進后的網絡、原殘差注意力網絡、ResNet34、VGGNet19 對隨機抽取的10 個分類（每個分類100 張，共1 000 張）煙葉圖像測試集進行測試，并對所有測試集圖像重復分類預測100次，結果如圖9所示。

Fig.9 Comparison of classification prediction results圖9 分類預測結果比較

由圖9 可見，改進后的網絡與ResNet34 預測準確率相似，相較于RAN 與VGGNet19 預測準確率更高。同時，本文還通過macro-F1 指標評價模型預測結果，具體計算式為：

其中，Ri表示第i種等級煙葉的召回率，Pi表示第i種等級煙葉的預測準確率，n為分級種類數。macro-F1 是對各等級煙葉的F1-score 相加后求均值，通常為多分類任務中的評價指標。通過統計各網絡100 次測試的平均準確率、macro-F1、浮點運算數量與參數量分析網絡性能，得到各網絡分類性能指標如表3所示。

Table 3 Performance indicators of each classification network表 3 各分類網絡性能指標

表3 中所選比較模型均屬于多分類預測中的經典網絡，通過分析平均測試準確率、測試集macro-F1、參數量、運算量可知，改進后的網絡與ResNet34 測試平均準確率幾乎相同，相較于原測試集預測精度提升8.19%，相較于VGGNet19 提升7.72%。分析macro-F1 值可知，改進后的網絡對每個分類進行預測均具有較高的準確率，在FLOPs 運算量上相較于原網絡具有明顯提升，這是由于在稠密連接卷積過程中多次將不同特征通道進行加操作，提升了模型計算量，參數量方面相較于其他網絡最小，因此部署在硬件上會更靈活。此外，改進的模型能在縮減參數量的同時保證準確率，相較于ResNet34 還降低了運算量，提升了模型識別速度。

4 結語

本文提出一種基于稠密連接卷積神經網絡與混合注意力的煙葉圖像分級方法，模型主要框架來源于殘差注意力網絡。在對實驗室采集的10 種分類煙葉圖像數據的測試表明，改進后的網絡在所用煙葉數據集上的參數量、精準度較原網絡及常用的分級網絡均具有較大提升，但本文提出的殘差注意力網絡修改方法仍存在進一步優化的方面，還需要進一步提升運算量，減少模型參數量。

此外，將所提模型應用于工程實踐中還需要研究更多方面，由于數據集較少、采集煙葉圖像標準化程度不足等原因會導致模型識別精度降低，后續工作中需要不斷擴充數據庫并較少采集數據過程中的圖像差異，以進一步提升模型識別精度。