基于深度學習的皖南煙區煙葉分級模型構建與應用研究

潘 敏 王志勇 李國歡

（安徽皖南煙葉有限責任公司，安徽宣城 242000）

煙葉原料是煙葉產業鏈的開端，煙葉原料質量直接影響后期工業可用性。目前，我國煙葉分級主要采用人工分級方式， 分級精度低， 煙葉等級一致性差。為了解決當前煙葉生產問題，亟須實現煙葉自動化分級。 實現煙葉自動化分級的關鍵主要是攻破煙葉分級模型研發和煙葉自動化分級設備設計2 個問題。

基于機器視覺系統的煙葉分級識別可滿足分級的實時性和高效性。 機器視覺系統可以獲取目標物的形態、像素分布、亮度和顏色等信息，將數字圖像處理的知識與模糊規則分類方法相結合，提取煙葉的形狀、顏色、紋理等特征，采用先分組、后分級的方法對煙葉進行自動分級[1-2]。張建平等[3]應用計算機圖像處理技術和色度學理論，提出使用葉片的平均長寬比和平均葉尖角來描述葉片形狀特征。 本研究針對當前煙葉人工分級的弊端，開展自動化分級研究，研究煙葉分級模型的構建，并設計煙葉自動化分級設備，將理論與實際應用充分結合，實現煙葉自動化分級。

1 材料與方法

1.1 材料及儀器

1.1.1試驗材料。供試材料是皖南地區2021 年煙葉，品種為云煙97，涉及B2F、C3F、X2F、X3F 4 個等級，各等級煙葉樣本分別有890、962、1 277、486 個，共計3 615 個煙葉樣本。

1.1.2儀器與設備。根據煙葉圖像采集試驗需求，本研究定制了一臺機器視覺設備，其擁有符合國標需求的光源、滿足圖像采集清晰度的相機鏡頭等，通過手動上料方式進行煙葉數據采集。 CCD 工業相機選用Sony 公司的TGX-2000 型，2 000 萬像素， 行頻5.8 fps，像元達到2.4 μm；采用高標準光學性能和高分辨率UST-MMD-X1625 型鏡頭，全視場分辨率可達140 lp/mm，保證圖像清晰度，最小畸變可達0.1%。

1.2 試驗方法

1.2.1數據采集。 利用1.1.2 圖像采集裝置，開展單張煙葉圖像采集工作。 由于煙葉等級特征主要反映在正面，故本研究僅采集煙葉正面圖像，共3 615 張煙葉圖像作為試驗數據。 采集到的各等級煙葉圖像如圖1 所示。

1.2.2分析方法。 具體的分析方法主要包括以下幾個方面的內容。

（1）卷積神經網絡及模型。卷積神經網絡是一個多層非全連接的神經網絡，在正向傳播過程中利用卷積層和池化層相互交替學習，提取原始數據的特征[4]；在反向傳播過程中利用梯度下降算法最小化誤差函數來調整參數，完成權值更新[5]。

在卷積層中，輸入數據與可訓練的卷積核做卷積運算，通過滑動平移、加權求和的方式提取不同位置的特征，計算過程可表示為：

池化即為降采樣，假定池化窗口大小為n×n，取該窗口區域內n×n 個特征值的最大（或平均）作為新的特征值， 將這些新的特征值按序排列后得到的新向量即為降維后池化層的輸出。 池化層特征向量的大小為上一層卷積層的1/n。池化層的計算過程可表示為：

卷積神經網絡經典模型有LeNet-5、VGG-16、GoogleNet（Inception-V3）、ResNet-50，其中：LeNet-5是用于手寫數字識別的卷積神經網絡，有5 層卷積神經網絡；VGG-16 簡化了卷積神經網絡的結構，全部使用3×3 的小型卷積核，使用Dropout 防止過擬合結構，用Relu 激活函數代替sigmoid；GoogleNet（Inception-V3）引入Inception 模塊，使用密集結構設計稀疏CNN，使用1×1 卷積核來降低計算量，全局均值池化層；ResNet-50 設計了殘差模塊解決網絡加深、梯度消失的問題，允許人們訓練更深的網絡。

（2）圖像預處理。 ①圖像分割。 對于深度神經網絡來說，如像素點過大的圖像訓練起來耗時耗力，網絡無法達到擬合狀態。若直接調整圖像像素大小，會流失大量的煙葉紋理細節信息。 考慮到本研究中所采集的圖像，煙葉占圖片總面積的比例較小，故圖像前景背景分割是一種較合適的預處理手段。 圖像前景背景分割包括圖像灰度化、Canny 算子邊緣檢測、圖像二值化、圖像形態學運算、目標包圍輪廓計算、裁剪、分割等步驟。 通過上述步驟將感興趣區域（即煙葉）從背景中分割出來，最大限度地減少背景對圖像分類的干擾。②圖像特征縮放。對于深度學習網絡的訓練和梯度下降算法來說，將特征值縮放到相同區間可以獲取性能更好的模型。 通過非線性變化歸一化，將圖像像素壓縮在[0，1]，有利于深度神經網絡的收斂。 通過標準化處理，使訓練數據服從標準正態分布，有利于網絡學習過程中權值的更新。本研究采用這2 種方法對數據進行縮放。③圖像增強。本研究中圖像增強的方法使用旋轉、縮放、剪切變換、隨機放大、水平垂直隨機移動，隨機產生煙葉圖像，擴大神經網絡訓練集樣本數量，增加網絡對不同形態樣本的魯棒性。

（3）模型評價方法。通過訓練集判別準確率和測試集判別準確率2 個指標對本研究設計的模型進行性能評估。 判別準確率PA可表示為：

式（3）中：Nc為判別正確的樣本數；Nr為總樣品數。

2 結果與分析

2.1 圖像預處理

以一張B2F 等級煙葉為例，煙葉預處理過程如圖2 所示。

采集的煙葉圖像原始尺寸為5 184×3 456 像素，經過灰度化、邊緣檢測、形態學運算、煙葉輪廓提取、裁剪、像素填充[5]等步驟得到分割后的煙葉圖像。 將圖像縮放到適應深度學習網絡的尺寸大小300×300像素。 對圖像進行批量預處理，得到的圖像如圖3所示。

圖像預處理算法可以很好地分割出煙葉圖像，實現煙葉前景背景分割。 綜合考慮烘烤后的煙葉實際狀態以及拍攝的圖像信息，主要從標準差中心化（變暗）、白化、隨機角度旋轉、水平位置平移、豎直位置平移、錯切變換、放縮操作、填充模式、水平翻轉、垂直翻轉等方面對煙葉圖像進行增強。

2.2 建立基于深度學習的煙葉分級模型

深度學習網絡只有經過大量數據訓練才會有良好的分類表現。然而，本研究采集到的煙葉圖像數據量有限，故選取面向小型數據集模型構建的方法——遷移學習來構建煙葉分級模型。

2.2.1基于遷移學習構建的皖南煙葉分級模型。 本研究采用的預訓練網絡有LeNet-5、VGG-16、Google-Net（Inception-V3）、ResNet-50。 首先，將這些網絡在ImageNet 數據集訓練好；其次，利用預訓練網絡計算煙葉圖像的bottleneck（瓶頸）特征，并在網絡最后接上全連接層和分類器，利用煙葉圖像訓練全連接層和分類器參數。

將煙葉圖像以4∶1 的比例劃分為訓練集和測試集。 將訓練集圖像通過圖像增強技術擴充10 倍，得到訓練集圖像為28 920 張、 測試集圖像為723 張。采用上述方式對模型進行訓練， 通過參數調節與優化，建立的煙葉圖像等級識別模型預測結果如表1所示。

表1 煙葉分級模型結果 單位：%

2.2.2基于VGG-16 構建的皖南煙葉分級模型。 通過上述模型對比試驗，VGG-16 在煙葉分級任務中表現出色。 本研究對該模型的調優主要采用了以下幾種方式：改變輸出神經元節點個數；調節Epoch、Batchsize 參數，對比激活函數；網絡優化器調優。 固定輸出節點為4 個，通過大量試驗對比，最終選取Epoch=500、Batchsize=16。在此參數設置下，表2 列出了不同網絡優化器對模型結果的影響。 通過對比分析可知，采用Adagrad 優化器時，模型的總體性能最好，訓練集誤差約為10-3數量級，正確率約100%，模型在訓練集上的擬合效果較好。 測試集正確率達到96%。

表2 優化器對VGG-16 模型訓練與測試效果的影響

2.3 煙葉分級自動化設備設計

以煙葉分級模型構建為基礎，結合光機電一體化技術等，研發煙葉分級自動化裝備原型樣機，研究高效率上料機構、煙葉圖像采集、煙葉等級高速識別系統與高通量煙葉分揀稱重系統于一體的技術設備，完成煙葉分級自動化裝備原型樣機的研發。設備設計如圖4 所示。

3 結論與討論

本研究構建了一種基于機器視覺技術與深度學習技術的皖南煙區煙葉分級模型。 運用設計的煙葉預處理算法進行煙葉分割，并通過遷移學習的方法對皖南煙區B2F、C3F、X2F、X3F 4 個等級煙葉圖像進行建模。結果表明，基于預訓練的VGG-16 模型在皖南煙區煙葉分級上的建模結果表現良好，模型預測能力較強。

結合煙葉模型分級算法，本研究設計了煙葉自動化分級設備。該設備集上料、圖像采集、高速識別、分揀稱重于一體，可初步實現煙葉分級自動化，提升煙葉分級工作效率，降低人員投入，提高煙葉分級質量一致性。