機器視覺的煙葉物理特性表征方法

梁耀星　古政坤　劉曉涵　曹燕瓊　李俊鑫　劉程煒　張建　羅海燕

摘要：為了研究梅州地區各等級煙葉的外觀特征與物理特性間的關系，找到一種通過煙葉外觀特征表征其物理特性的方法，選取了梅州6個產地、12個等級的初烤煙葉共977片。使用機器視覺設備和質構儀分別檢測了煙葉樣本的外觀特征和物理特性。選取其中781片煙葉樣本作為訓練集，使用了彈性網絡、極端隨機樹、支持向量機等回歸模型以及模型融合技術分別構建了基于煙葉外觀特征的最大拉力、剪切力和撕裂度的表征模型。選取196片煙葉樣本作為測試集，以平均絕對誤差為模型評價指標，評估了3種表征模型的泛化性能。結果表明，對于最大拉力的表征模型而言，模型在測試集上的預測值與真實值的相關系數超過0.73，擬合優度為0.54；對于剪切力的表征模型而言，模型在測試集上的預測值與真實值的相關系數超過0.78，擬合優度為0.60；對于撕裂度的表征模型而言，模型在測試集上的預測值與真實值的相關系數超過0.75，擬合優度為0.56。煙葉的外觀特征對于煙葉的最大拉力、剪切力和撕裂度具有一定的表征能力。

關鍵詞：物理特性；外觀特征；機器視覺；表征模型

中圖分類號：S-3? ? ? ? ? ? ? ? 文獻標志碼：A? ? ? ? ? ? ? ?文章編號：2097-2172（2023）10-0952-010

doi：10.3969/j.issn.2097-2172.2023.10.013

Characterization Method of Tobacco Leaves Physical

Properties Based on Machine Vision

LIANG Yaoxing 1， GU Zhengkun1， LIU Xiaohan 2， CAO Yanqiong 2， LI Junxin 2， LIU Chengwei 4，

ZHANG Jian 3， LUO Haiyan 2

（1. China Tobacco Guangdong Industrial Co.， Ltd.， Guangzhou Guangdong 510385， China; 2. Guangdong Shaoguan Tobacco

Recuring Co.， Ltd.， Shaoguan Guangdong 512000， China; 3. Shanghai Micro Vision Technology Ltd.， Shanghai 200082， China;

4. Mc Master University， Hamilton Ontario L8S4L8， Canada）

Abstract： In order to study the relationship between the appearance characteristics and the physical properties of various grades of tobacco in Meizhou， an attempt was made to find a method about characterizing the physical properties of tobacco through its appearance characteristics. A total of 977 pieces of first-roasted tobacco leaves of 12 grades from six origins in Meizhou were selected. The appearance characteristics and physical properties of the tobacco samples were examined using machine vision equipment and texture analyzer， respectively. A total of 781 tobacco samples were selected as the training set. Regression models such as Elastic Net， Extremely Randomized Trees and Support Vector Machine were used along with the Ensemble technique to construct the characterization models of maximum tensile force， shear force and tearing degree based on the appearance characteristics of tobacco samples. A total of 196 tobacco samples were selected as the test set， and the generalization performance of the three characterization models were evaluated using the mean absolute error. The results indicated that the maximum tensile force model exhibited a correlation coefficient over 0.73 between the predicted and true values of the samples in the test set， with a goodness of fit of 0.54. Similarly， the shear force model demonstrated a correlation coefficient exceeding 0.78 and a goodness of fit of 0.60. Additionally， the tearing degree model displayed a correlation coefficient surpassing 0.75 and a goodness of fit of 0.56 for the predicted and true values of the samples in the test set. The appearance characteristics of tobacco leaves have certain ability to characterize the maximum tensile force， shear force and tearing degree of tobacco leaves.

Key words： Physical characteristic; Appearance characteristic; Machine vision; Characterization model

煙葉的物理特性是煙葉加工的重要指標之一，直接影響加工過程的造碎程度，進而影響煙葉原料的損耗及其加工質量［1 ］。煙葉的物理特性與其部位等級密切相關，此外，煙葉的部位等級又與其外觀特征有著強烈的相關性［2 ］，因此，煙葉的物理特性在一定程度上可由煙葉的外觀特征進行表征。長期以來，人們都在對煙葉加工過程中葉梗分離段如何提高煙葉質量并減少造碎進行研究，提高加工中的煙葉質量并減少造碎對各工業公司具有非常重要的作用和影響［3 ］。馬雨佳等［4 ］研究了煙葉抗破碎指數與物理特性的關聯性，發現煙葉抗破碎指數與抗張強度、延伸率、回復性、厚度呈顯著正相關。另外，在基于理化特性的煙葉耐加工性研究中發現煙葉耐加工性與主要物理特性間存在不同程度的相關，但目前少有學者對煙葉外觀特征與物理特性之間的關系進行研究。為此，我們選取了梅州6個產地、12個等級的初烤煙葉共977片。使用機器視覺設備和質構儀分別檢測了煙葉樣本的外觀特征和物理特性。選取其中781片煙葉樣本作為訓練集，使用了彈性網絡（Elastic Net）、極端隨機樹（Extremely Randomized Trees）、支持向量機（Support Vector Machine）等回歸模型以及模型融合（Ensemble）技術分別構建了基于煙葉外觀特征的最大拉力、剪切力和撕裂度的表征模型。選取196片煙葉樣本作為測試集，以平均絕對誤差為模型評價指標，評估了3種表征模型的泛化性能，探討了煙葉外觀特征與物理特性間的關系，并嘗試通過構建機器學習回歸模型以基于煙葉外觀特征表征物理特性。與生產線上工人們根據經驗及眼觀手摸的方式來評估煙葉物理特性相比，基于機器學習算法的物理特性表征模型更具客觀性和準確性，這種表征模型在煙葉加工中能夠更好地評估煙葉物理特性，進而對后續潤葉、打葉過程中工藝參數的調節提供可靠的數據支持。

1? ?材料與方法

1.1? ?材料

1.1.1? ? 供試樣品? ? 于2020年和2021年采集梅州6個地區、12個等級的初烤煙葉樣本共977片。由煙葉分級專家按照烤煙國家標準（GB2635—1992）進行等級分選［5 ］，所選初烤煙葉產地為廣東省梅州市下的大埔縣、豐順縣、蕉嶺縣、梅縣區、平遠縣和五華縣，等級分別為上部橘黃一級煙（B1F）、上部橘黃二級煙（B2F）、上部橘黃三級煙（B3F）、上部橘黃四級煙（B4F）、中部橘黃一級煙（C1F）、中部橘黃二級煙（C2F）、中部橘黃三級煙（C3F）、中部橘黃四級煙（C4F）、下部橘黃一級煙（X1F）、下部橘黃二級煙（X2F）、下部橘黃三級煙（X3F）、下部橘黃四級煙（X4F）。

1.1.2? ? 實驗設備? ? 煙葉綜合測試臺 GTM 600（上海創和億，中國）；質構儀 CTX（AMETEK Brookfield，美國）；恒溫恒濕箱 KBF115-E6（Binder，德國）。

1.2? ?方法

1.2.1? ?外觀特征測定? ? 將采集的煙葉樣本展平后置于綜合測試臺內采集煙葉樣本圖像，從中提取外觀特征，包括重量、長度、寬度、周長、面積、顏色深淺、顏色均勻度、油分、厚度和結構；并從圖像中提取更細致的顏色特征［6 ］，包括RGB顏色空間中的B均值、G均值、R均值，HSV顏色空間中的V均值、S標準偏差以及Lab顏色空間中的L均值、a均值和b均值。煙葉的顏色深淺和均勻度分別以煙葉顏色的H均值和H標準偏差表征，油分以S均值來表征，厚度以煙葉透光強度的倒數來表征，結構則由煙葉重量與煙葉面積之比來表征。

1.2.2? ? 物理特性測定? ? 將每個產地、每個部位等級的煙葉樣本置于恒溫恒濕箱內，對恒溫恒濕箱設置不同的溫度和濕度，平衡48 h后將煙葉樣本取出。將每片煙葉樣本按葉尖、葉腰、葉基裁剪出檢測葉片，每張檢測葉片要求寬度為15 mm、長度不小于40 mm。使用質構儀對裁剪好的檢測葉片測量最大拉力和剪切力，進而通過計算得到撕裂度、拉伸長度和撕裂距離。平衡煙葉樣本時恒溫恒濕箱設定的溫度分別為20.0、25.0、30.0 ℃，濕度分別為60.0%、65.0%、70.0%（表1）。

1.3? ?數據挖掘

1.3.1? ? 數據劃分? ? 按照煙葉的部位等級對樣本數據集進行分層抽樣，訓練集與測試集比例設定為80%∶20%。為進一步判斷數據劃分合理性，使用主成分分析（Principal Component Analysis， PCA）方法將訓練集和測試集樣本投影至二維平面并觀察它們的分布情況。

主成分分析是一種數據降維技術［7 ］，其本質是一個線性變換，通過該線性變換，數據集被變換至一個新的坐標系中，使數據投影的第一大方差對應的方向在第一個坐標軸上（稱為第一主成分），第二大方差對應的方向在第二個坐標軸上（第二主成分），依此類推。通過主成分分析，通常能夠使原始數據集的維數降低，同時保留數據集中盡可能多的信息［8 ］。

1.3.2? ? 數據探索? ? 對煙葉樣本的各物理特性指標以及外觀特征指標繪制頻數直方圖，檢查數據分布情況。對煙葉樣本的各外觀特征及物理特性指標繪制相關系數熱力圖，檢查各指標之間的線性相關程度。特征間的線性相關程度很高說明不同特征所包含的信息存在一定重復，即數據集中存在冗余信息，若不對這些冗余信息加以處理，則可能導致后續機器學習模型的訓練和推斷速度變慢。為此以0.8作為相關系數的閾值，對外觀特征進行篩選，以消除數據集中的冗余信息。最后繪制經過篩選后的外觀特征與物理特性之間的相關系數熱力圖，據此確定要構建回歸模型的物理特性。

1.3.3? ? 特征工程? ? 在現有外觀特征的基礎上，通過構建如下組合特征可以擴充特征空間，以得到更為豐富且全面的煙葉外觀特征，組合特征的定義方式如表2所示。繪制擴充后的外觀特征與物理特性之間的相關系數熱力圖，并計算所有煙葉外觀特征與各物理特性的皮爾遜相關系數r的95%置信區間和對應的p值，以觀察各外觀特征與目標物理特性之間的相關性。

1.3.4? ? 模型訓練與融合? ? 常用的機器學習回歸模型包括：彈性網絡（Elastic Net， EN），極端隨機樹（Extremely Randomized Trees， ERT），支持向量機（Support Vector Machine， SVM）和多層感知機（Multi-layer Perceptron， MLP）等。彈性網絡是一種同時具有L1和L2正則化的線性模型［9 ］，它具備自動選擇特征的能力。極端隨機樹與隨機森林類似，都是由許多決策樹集成的模型，但其完全隨機的分裂方式使其在模型訓練上比隨機森林更快。另外在各種實踐中，極端隨機樹與隨機森林在泛化性能上往往難分伯仲。支持向量機原本是基于最大化分類間隔的一種分類算法，對其方法稍做修改，將數據盡可能多地納入“間隔”中，即可得到一種強有力的回歸模型，該算法尤其適用于中小型復雜數據集。多層感知機是一種前向結構的人工神經網絡，包含輸入層、輸出層及若干隱藏層［10 ］，理論上它能夠擬合任何函數，并且已被證明是一種通用的近似算法［11 ］。基于擴充后的外觀特征分別構建上述4種基礎機器學習回歸模型：彈性網絡、極端隨機樹、支持向量機和多層感知機，并在訓練集上進行五折交叉驗證，通過網格搜索獲得各模型的最佳超參數組合。在最佳超參數組合下計算各回歸模型在訓練集上交叉驗證的平均絕對誤差，以判斷各物理特性下的每個回歸模型的泛化性能的優劣。

為進一步提升模型泛化能力，針對每個目標物理特性，選擇對應平均絕對誤差的均值最小的3個模型進行等權重的模型融合。一般而言，不同的基礎模型基于不同的假設，對同一數據集的適應程度也各不相同，因此在預測新樣本時，不同模型“所犯的錯誤”也有所不同（即不同基礎模型給出的預測值與真實值之差也不相同），因此，將基礎模型進行融合得到的融合模型通常比單個基礎模型有著更強的泛化能力［12 ］。

1.3.5? ? 模型測試及評估? ? 本文選用平均絕對誤差作為評價融合回歸模型泛化性能的指標，這種評價指標在數據集中可能存在異常值時表現較好，因此適合于使用質構儀檢測得到的煙葉物理特性數據［13 ］。平均絕對誤差的計算公式如下：

2? ?結果與分析

2.1? ? 數據劃分結果

將完整數據集（c）劃分為訓練集（a）與測試集（b），并分別繪制三個數據集中所有部位等級的分布圖。從圖1可見，采用分層抽樣法可以基本保持訓練集與測試集中每個部位等級的樣本所占的比例。

全部梅州煙葉樣本經分層抽樣后，781個樣本用于構建預測煙葉物理特性的回歸模型，196個樣本用于評估所建回歸模型的泛化性能（在未知數據上給出準確預測值的能力）。

訓練集與測試集經過主成分分析法投影至二維平面后，所得散點圖如圖2所示。從圖2可以看出，訓練集與測試集的樣本點在二維平面上的分布基本一致，說明測試集的選取對全體樣本數據集有較好的代表性，因而使用該測試集對模型進行泛化性能評估所得的結果具有較高的可靠性。

2.2? ?數據探索結果

各煙葉外觀特征的分布情況如圖3所示，各煙葉物理特性的分布情況如圖4所示。

觀察圖3與圖4，發現多數煙葉外觀特征基本呈現正態分布，長度、油分和厚度則呈現出一定的偏態分布。煙葉物理特性則基本呈現正態分布，沒有明顯異常。對訓練集中所有18個外觀特征繪制相關系數熱力圖，如圖5所示。

從圖5可以發現，重量和寬度均與面積存在較高的相關性，深淺和部分顏色特征（如B均值、G均值、R均值、L均值和b均值等）也存在線性相關程度較高的現象。除此之外，B均值、G均值、R均值、L均值和b均值之間也存在強烈的線對這些冗余信息進行剔除，通常可以在不顯著降低模型泛化性能的情況下縮短模型的訓練和推斷時間，同時也能夠得到更具解釋性的機器學習模型。由于本研究的數據集中包含了不同顏色空間的顏色特征，這些特征之間必然存在較高的相關性，也即特征中的信息存在冗余，為此采用了Drop CorrelatedFeatures特征選擇算法，將原始的18個外觀特征篩選為12個，同時確保了篩選后的外觀特征間的相關系數均不超過0.8。在此基礎上探索外觀特征與物理特性間的相關系數，進而確定最大拉力、剪切力和撕裂度作為煙葉外觀特征來表征其物理特性，而其他物理特性因其與外觀特征相關性較弱，可以預見對它們構建表征模型的效果不會很好，因此本研究中放棄對它們建模。

本研究表明，基于煙葉的外觀特征，表征梅州煙葉的物理特性，在一定程度上具有可行性的，從融合模型在測試集上的泛化性能展示的結果看，當前的外觀特征對剪切力有較好的表征能力，而對最大拉力的表征能力稍弱，表征效果仍有待提高。一個值得嘗試的思路是尋找一些與最大拉力的相關性更強的外觀特征，例如煙葉的紋理等，這需要將煙葉紋理進行數字化表征［17 ］。本研究選取了彈性網絡、極端隨機樹、支持向量機和多層感知機算法對所選煙葉物理特性進行建模，結果表明，對于最大拉力的表征模型而言，模型在測試集上的預測值與真實值的相關系數超過0.73，擬合優度為0.54；對于剪切力的表征模型而言，模型在測試集上的預測值與真實值的相關系數超過0.78，擬合優度為0.60；對于撕裂度的表征模型而言，模型在測試集上的預測值與真實值的相關系數超過0.75，擬合優度為0.56。煙葉的外觀特征對于煙葉的最大拉力、剪切力和撕裂度具有一定的表征能力。SVR對3種物理特性的泛化性能最優，為打破模型假設的限制，進一步提升模型泛化性能，本研究中還采取了模型融合技術，將在每個物理特性上泛化性能最佳的前3個基礎模型進行融合，分別得到了對物理特性有著更強泛化性能的3個融合回歸模型。在這3個模型中，剪切力模型具有最優的泛化能力，這得益于剪切力與外觀特征之間有著更高的相關性。與此同時，最大拉力與外觀特征之間的相關性相對較弱，這也在一定程度上導致了最大拉力模型的泛化能力稍差。

參考文獻：

［1］ 馬雨佳.? 基于理化特性的煙葉耐加工性模型建立及應用［D］.? 鄭州：鄭州輕工業大學，2022.

［2］ 李? ?波，張仲文，章? ?程，等.? 淺談不同顏色模型在煙葉顏色數字化中的運用［J］.? 天津農業科學，2021，

27（7）：48-51.

［3］ 鄧? ?凱.? 煙葉初加工過程中葉梗分離線三級打葉風分提高煙葉品質及減少造碎的相關研究［J］.? 中國標準化，2017（18）：50-51.

［4］ 馬雨佳，紀曉楠，劉志洋，等.? 煙葉抗破碎指數與物理特性的關聯性分析［J］.? 輕工學報，2022，37（3）：101-107.

［5］ 國家技術監督局.? 中華人民共和國國家標準：烤煙 GB2635-1992［Ｓ］.? 北京：中國標準出版社，1992.

［6］ 唐? ?嵐.? 密集化煙葉烘烤中圖像特征提取及應用研究［D］.? 重慶：重慶大學，2015.

［7］ 郭奕通.? 主成分分析在球坐標系下的分析與研究［D］.? 廣州：廣東工業大學，2020.

［8］ 池陳帆.? 福建省耕地面積變化及其驅動因子研究［D］.? 福州：福建農林大學，2011.

［9］ 馮明皓.? 自適應彈性網神經網絡模型及算法研究［D］.? 大連：大連海事大學，2020.

［10］ 王春柳，楊永輝，賴輝源，等.? ?基于開放域對話系統的自動化評測方法研究［J］.? 計算機應用研究，2020，

37（5）：1456-1459.

［11］ 顧成露.? 基于神經網絡的直擴信號捕獲算法研究［D］.? 成都：電子科技大學，2020.

［12］ AUR？魪LIEN G. Hands-on machine learning with scikit-learn， keras， and tensorflow［M］.? Sebastopol： O'Reilly Media， 2019.

［13］ 李? ?曉，陳科冰，韓? ?明，等.? 質構儀在煙葉力學特性檢測中的應用進展［J］.? 輕工學報，2021，36（3）：63-69.

［14］ 秦? ?瑯.? 基于模型融合的煙葉烘烤過程狀態預測方法研究［D］.? 武漢：華中科技大學，2022.

［15］ 陳思昂，王? ?敏，杜? ?薇，等.? 基于原煙外觀圖像和近紅外光譜的煙葉感官質量模型研究［J］.? 寒旱農業科學，2023，2（3）：260-269.

［16］ 姜有虎，李玉梅，李旭林，等.? 基于主成分分析的嘉峪關產區馬瑟蘭葡萄最佳采收期確定［J］.? 甘肅農業科技，2022，53（1）：94-98.

［17］ 李嘉康，陶智麟，徐? ?波，等.? 基于隨機森林的煙葉紋理定量分析［J］.? 湖北農業科學，2022，61（14）：155-159.

收稿日期：2023 - 05 - 25；修訂日期：2023 - 09 - 07

基金項目：廣東中煙工業有限責任公司項目（Q/GDZY 207 011-02）。

作者簡介：梁耀星（1984 — ），男，廣東陽江人，農藝師，碩士，主要從事煙葉質量檢驗及研究工作。Email： liangyaoxing@gdzygy.com。

通信作者：羅海燕（1965 — ），女，廣東梅州人，高級農藝師，主要從事打葉復烤工藝技術研究工作。Email： sgxcl@126.com。