基于殘差網絡的烤煙煙葉分級

陳思昂 ， 趙海瑞 ，申屠洪釬 ，鄧羽翔 ，楊 杰 ，周 東 ，高 旭 ，袁 凱 ，劉 冰

（1.四川中煙工業有限責任公司技術中心，四川 成都 610000；2.上海創和億電子科技發展有限公司，上海 200082）

0 引言

近年來，重點卷煙品牌不斷發展壯大，產銷量不斷增加，高規煙占比不斷提高，企業對于原料的質量把控愈發嚴格，使得煙葉原料質量保障戰略變得尤為重要，而煙葉原料質量保障離不開煙葉分選的準確性。目前，煙葉分選主要依賴于人工，但每個人的評選標準存在偏差，導致煙葉質量標準不一，且人工分選效率低下，該方式已無法滿足現階段煙葉分選標準、規范、高效的客觀要求。隨著深度學習卷積神經網絡的飛速發展，其已廣泛應用于農作物病蟲害監測、農作物分類等農業生產活動上，并取得了一定成果[1]。在煙葉分級領域，傳統的分級方法主要有機器學習和模糊數學，姚學練等[2]基于主成分分析、遺傳算法和支持向量機提出了PCA-GA-SVM的煙葉分級方法，煙葉分級的準確率相較于單一的SVM、GASVM模型有一定提升；戴建民等[3]則基于多特征模糊識別進行了煙葉分級。在煙葉分級領域使用相對廣泛的是卷積神經網絡，因其具有更強的非線性能力，可以表征圖像更深層次的特征。李勝[4]采用傳統的圖像特征提取技術獲取到煙葉外觀特征，再運用深度卷積神經網絡對其進行分類。王士鑫等[5]結合inceptionV3卷積神經網絡與極值點跳躍算法對煙葉進行分級，一定程度上解決了人工煙葉分級造成的合格率低、分級標準不一致的問題。以上研究在煙葉分級中取得了一定成效，但仍舊存在不足。因此，亟需研究一種能夠提高分級準確率的煙葉自動化分級方法。

本研究采用深度學習方法，設計了一種更適合煙葉分級的細粒度卷積神經網絡模型，并且采取了合適的數據增強方式和訓練方式增強了網絡的識別能力，再通過設計對比實驗，將原始模型與改進后模型進行對比，驗證了本研究提出的算法在煙葉分級任務上的優勢。

1 數據與設備

1.1 數據樣品

本研究采集了四川省會東縣2021年的烤煙煙葉，由煙葉分級專家按照烤煙國家標準GB 2635—1992進行等級分選形成烤煙煙葉數據集，該數據集包含上部橘黃一級煙（B1F）、上部橘黃二級煙（B2F）、上部橘黃三級煙（B3F）、中部橘黃二級煙（C2F）、中部橘黃三級煙（C3F）、中部橘黃四級煙（C4F）、下部橘黃二級煙（X2F）共7個等級5 033片煙葉。每個等級的煙葉圖像數量分別為724、689、846、745、634、672、723，煙葉圖像分辨率為4 352×1 960。

1.2 圖像采集設備

本實驗使用煙葉綜合測試臺（廠家：上海創和億電子科技發展有限公司；型號：GTM-600Pro）采集圖像，該設備主要由一個避光箱體及位于箱體內部上方的光源和相機組成，能夠提供一個穩定的拍攝環境。該綜合測試臺的圖像采集設備信息如表1所示。

表1 圖像采集設備信息表

1.3 實驗環境

為保證本實驗的準確性，除綜合測試臺外，還需提供一定標準的實驗配置環境，如表2所示。

表2 實驗配置環境表

2 研究方法

2.1 CA注意力機制模塊

本研究采用了屬于通道-空間類型的注意力機制模塊CA（Coordinate Attention）[6]，包括坐標信息嵌入和坐標信息生成兩個步驟，通過上述步驟給予特征圖的通道和空間注意力權重，以此將網絡關注點聚焦于圖像的重要特征，減少冗余信息，提高網絡的特征提取能力。CA模塊的結構如圖1所示。

圖1 CA模塊結構示意圖

坐標信息嵌入階段通過全局池化方法實現，分別沿水平和垂直方向進行全局池化，這種轉換方式使得注意力機制模塊能夠捕捉到沿著不同空間方向上的長期依賴關系，并保存空間方向上的精確位置坐標，有助于網絡更準確地定位感興趣區域。給定輸入大小為C×H×W的特征圖xc(i,j)，在水平和垂直方向分別使用大小為（H，1）和（1，W）的池化核進行編碼得到輸出，編碼公式分別如式（1）和式（2）所示。

通過坐標信息嵌入變換后進行坐標信息生成操作，首先將輸出的兩個變換結果使用concatenate操作進行級聯，再進行F1變換（使用一個1×1卷積）實現對數據的降維以減少計算開銷，然后對降維后的數據使用批歸一化操作BN和激活函數h-swish進行非線性映射，即變換δ，生成的空間信息在水平和豎直方向的中間特征圖f∈RC/r×(H+W)，此處的r是數據降維的倍率，本實驗取r=32。變換公式如式（3）所示。將中間特征圖f切分為兩個單獨的張量fh∈RC/r×H和fw∈RC/r×W，再利用兩個1×1卷積Fh和Fw將張量fh和fw的通道維度變換到與輸入特征圖xc(i,j)相同的維度，然后將變換后的張量通過Sigmoid函數進行非線性激活得到gh和gw，變換公式如式（4）和式（5）所示。最后將gh和gw作為注意力權重與輸入xc(i,j)進行Scale操作結合，即相乘，得到CA模塊完整表達式如式（6）所示。

將CA模塊嵌入到網絡ResNext50的殘差模塊中，輸入圖像Xi分別經過殘差模塊和CA模塊后，通過Scale操作將CA模塊得到的權重作用于殘差模塊（Residual）的輸出上，最后與殘差模塊的短連接（shortcut）進行相加操作，輸出為Xi+1，殘差結構圖如圖2所示。

圖2 嵌入CA模塊的殘差結構圖

2.2 空間空洞金字塔

不同等級煙葉圖像之間的差異不僅由全局的顏色、形狀等信息決定，還需要關注煙葉圖像的紋理信息，而紋理信息在不同尺度具有不同的表現形式[7-8]。因此，需要引入空間空洞金字塔解決這一問題。空間空洞金字塔的主要組成模塊為空洞卷積，其相較于正常卷積具有擴大網絡感受野的作用，且多個不同擴張率的空洞卷積并聯在一起可以捕獲上一層特征圖的多尺度信息，將其應用于模型中可以更好地將低層特征圖中蘊含的多尺度信息向高層傳遞[9]。獲取空洞卷積的感受野，首先要計算與空洞卷積等效的標準卷積的核大小，如式（7）所示，而后計算空洞卷積的感受野大小，如式（8）和式（9）所示。

式中，k為空洞卷積核大小，k'表示等效標準卷積核大小，d表示空洞率，RFi+1表示當前層的感受野，RFi表示上一層的感受野，Si表示當前層之前所有層步長的連乘。

空間空洞金字塔被稱為F E M（F e a t u r e Enhancement Module）[10]，由多分支空洞卷積層和分支池化層構成，模塊結構如圖3所示。

圖3 FEM結構示意圖

多分支空洞卷積層由具有不同擴張率的空洞卷積、批歸一化層和ReLU激活函數構成，在每個分支卷積層后面連接一個分支池化層，用來融合不同分支卷積層的輸出。分支池化層的計算公式如式（10）所示。

式中，yp表示分支池化層的輸出，B表示分支卷積層的分支數量，當前網絡將其設置為3，不同層的空洞率分別設置為3、5、7。

2.3 整體網絡設計

本研究基于深度學習卷積神經網絡，設計了一種由ResNext50改進的用于煙葉等級判定的方法（BCFEM-CA-ResNext50），該方法的整體網絡架構如圖4所示。改進主要包括向傳統殘差模型ResNext50的基礎殘差塊中添加CA注意力機制模塊[11]，并在模型的4倍降采樣處引入FEM模塊以增強后續特征圖的多尺度信息，最后采用雙分支融合結構（BC）將高層特征圖和低層特征圖進行融合，來增強用于分類的特征信息。

圖4 整體網絡架構圖

如圖4所示，將煙葉圖像輸入網絡前等比例縮放至544×240×3大小，逐級采用包含CA注意力機制的殘差模塊進行特征提取，即在經過Conv1和Conv2殘差模塊后，原圖像進行了4倍降采樣，此時的特征圖包含大量的紋理信息，因此緊跟一個FEM模塊將紋理信息進行增強便于后續的特征提取。后續的特征提取模塊Conv3、Conv4、Conv5提取的特征圖依次具有更高的語義信息，但是同時也會丟失原始圖像中較多的細節信息，不適用于進行直接分類，所以此處將FEM模塊增強后的特征圖與經過Conv5后的特征圖分別進行全局池化，以實現特征的降維和非線性整合，輸出兩個全連接層Fc1（1×1×256）和Fc2（1×1×2 048）并進行concatenate操作拼接為一個全連接層Fc3（1×1×2 304），再經過Fc4，使用softmax函數作為當前模型的分類器對Fc4（1×1×2 048）進行分類。上述不同網絡層特征圖大小如表3所示。

表3 不同網絡層的輸出特征圖大小

3 實驗

3.1 數據預處理

在采集圖像時，由于拍攝環境的影響給圖片帶來了背景本身的顏色不均勻或背景中存在許多雜質等背景噪聲，煙葉原圖如圖5（a）所示，通過圖像二值化操作將其可視化，如圖5（b）所示，而噪聲會影響圖像的細節信息，所以必須采取相應的背景處理手段來保證圖像的品質。根據如式（11）所示的直方圖雙峰法[12]，對圖像進行閾值分割，生成去背景的二值化圖像，如圖5（c）所示，將其作為掩膜與原圖像對應位置像素值相乘達到去除原圖背景的目的，如圖5（d）所示，消除背景對模型分類的影響。

圖5 煙葉預處理過程

式中，R為圖像紅色分量，B為圖像藍色分量，k為圖像分割的閾值，此處設置k=0.65。

3.2 數據擴增

本實驗使用的數據集圖像數量較少，容易導致模型訓練過程產生過擬合的現象，所以采用數據擴增的方式增加數據量。考慮到決定煙葉等級的主要因素為顏色，故作顏色空間的變換會影響模型對數據的擬合效果。因此，本實驗選擇作水平和垂直翻轉、旋轉、平移的幾何變換組合，生成的圖像如圖6所示。

圖6 數據擴增生成的圖像

3.3 訓練過程

本研究使用分類任務中的常用評價指標：準確率（Accuracy）、召回率（Recall）和精確率（Precision）作為煙葉分類數據集的評價指標。三個指標的數值范圍是在0和1之間，數值越大，模型分類效果越好。

模型訓練之前，首先將數據集按照6∶2∶2的比例劃分為訓練集、驗證集、測試集，對訓練集和驗證集的圖像進行數據擴增，模型主要學習訓練集中數據的先驗知識，配合驗證集對模型性能實時監測并進行參數調優。已經訓練好的模型在不做任何數據擴增的測試集上進行測試以評估模型的泛化能力。

本研究考慮到訓練數據整體數量相對較少，所以直接采用遷移學習的方法加載在ImageNet分類數據集上，將預訓練好的ResNext50預訓練權重進行模型參數的初始化，自定義部分的網絡結構采用Kaiming初始化方法。訓練時采用模型微調的訓練手段，設置較小的初始學習率為1e-3，優化器選擇隨機梯度下降算法和線性衰減策略進行梯度更新，線性衰減策略的公式如式（12）所示。L2正則化參數設置為1e-5，全連接層Fc3和Fc4使用神經元隨機失活，設置隨機失活率為0.5，設置批處理大小為32，迭代輪次為200個Epoch，完成訓練過程。

式中，lri+1為當前輪次學習率，lri為上一輪次的學習率，t為迭代總輪次，c為當前迭代輪次。

3.4 結果與分析

對于本研究提出的幾種基于網絡ResNext50進行的改進方法，為驗證改進的有效性，在測試集進行測試，實驗結果如表4所示。

從表4中的測試結果來看，基礎深度學習網絡ResNext50添加注意力機制（CA）模塊后，模型預測的準確率提高了2.3%，由于煙葉不同等級之間差別細微，CA模塊降低了網絡對冗余信息通道和圖像背景的關注，讓網絡進一步提高了關注細節變化的能力，由此達到了模型準確率提升的效果。

烤煙煙葉的紋理特征具有多尺度的特點，而分支空洞卷積層在不進行降采樣的作用下，既擴大了模型的感受野又獲取了多尺度信息，同時加強了網絡的表征能力。因此，在網絡中進一步加入空間空洞金字塔模塊，從表4中數據得知，模型預測準確率提升了2.5%，較基準模型提升了4.8%，該結果表明空間空洞金字塔模塊可以提高模型對烤煙煙葉的識別能力。在網絡進一步引入雙分支結構后，模型的預測準確率提高了4.6%，較基準模型提升了9.4%，結果證明，將網絡包含更多細節信息的低層特征圖與具有高級語義信息的高層特征圖同時用于分類，能進一步加強模型對圖像的非線性表達能力，提升模型對數據的擬合效果。

表4 實驗結果

4 結論

針對烤煙煙葉自動分級效果不理想的問題，本研究提出基于ResNext50殘差網絡的雙分支網絡，加入空間空洞金字塔模塊和注意力機制模塊對煙葉進行分類，研究結論如下：

1）注意力機制模塊可以很好地解決不同等級煙葉的外觀由于存在局部差異而導致的基礎深度學習網絡難以有效提取特征的問題。

2）空間空洞金字塔模塊可以提高深度學習網絡的表征能力，更有利于提取煙葉紋理的多尺度特征。

3）本研究提出的雙分支網絡豐富了模型用于分類的特征，可以有效識別煙葉等級且具有很強的泛化能力，進一步提高了煙葉分級的質量。