基于YOLO v5s目標檢測算法的烤煙鮮葉成熟度識別方法

杜鵬程, 蔣篤忠, 向 陽, 敬禮恒, 伍守貴, 駱君華

(1.湖南農業大學機電工程學院,湖南長沙 410128; 2.湖南省煙草公司永州市公司,湖南永州 425099)

不同成熟度的新鮮煙葉中,色素含量、組織結構與生化成分等都有顯著差異[1]。針對不同成熟度的新鮮煙葉,采用不同烘烤工藝等手段,可以顯著提升煙葉的總含糖量、外觀質量、中性致香物質含量[2],從而提高煙葉的經濟效益。因此,對新鮮煙葉進行成熟度分選,可有效提高煙葉利用率與價值。目前,我國對煙葉成熟度的鑒別主要依靠煙農與技術人員的經驗,通過辨別煙葉的葉面顏色、茸毛脫落狀態以及采摘斷面情況等來分選煙葉的成熟度[3]。對個人經驗的依賴,使得對煙葉成熟度的鑒別結果存在不穩定性與差異性,不同的人甚至同一人的不同次鑒別,結果均可能存在差異。

為了保證煙葉成熟度分選的準確性與穩定性,已有學者做了大量相關研究。李佛琳等通過計量不同成熟度煙葉的葉綠素含量,構建TMDSPADV分類模型,實現對煙葉成熟度的分選[4]。李佛琳等利用ASD Fieldspec FR2500光譜儀,收集5種新鮮煙葉的不同反射特征光譜,實現對不同煙葉成熟度的量化判斷[5]。韓龍洋等對4種不同成熟度煙葉進行高光譜分析,利用最小二乘法(PLS)建立煙葉成熟度判別模型,實現對煙葉成熟度的定性鑒別[6]。刁航等分析5種成熟度煙葉的可見光反射光譜,采用支持向量機的方法,建立煙葉成熟度田間原地分析模型[7]。王承偉等利用近紅外光譜結合隨機森林算法(RF)建立新鮮煙葉成熟度判別模型,對上、中、下部成熟度煙葉的預測準確率均在90%以上[8]。楊睿等提出近紅外光譜與圖像識別相結合方式,建立新鮮煙葉成熟度識別模型,針對3種烤煙品種煙葉成熟度的識別準確率分別為94.08%、94.78%、92.96%[9]。Chen等利用近紅外(NIR)光譜與卷積神經網絡(CNN)相結合,構建不同成熟度的新鮮煙葉識別模型,針對上、中、下部煙葉進行成熟度識別,準確率分別為96.18%、95.20%、97.31%[10]。Li等基于MobileNetV2建立輕量級神經網絡模型,對新鮮煙葉的3種不同部位、不同成熟度進行識別訓練,準確率為95%[11]。現有煙葉成熟度鑒別技術中,基于近紅外光譜的檢測方式均取得較好的效果,可實現對煙葉成熟度的智能分選。但近紅外光譜儀造價昂貴,操作復雜,對于普通煙農或者中小企業而言,接受程度不高,實用性不強,難以運用到日常生產過程中。

近年來,基于深度學習的目標檢測算法在農產品圖像識別與分析領域顯現出巨大的優越性,已在烤煙分級中得到應用。曾祥云將深度學習應用于烤煙分級中,運用軟件工程方法設計試驗系統并通過功能測試與集成測試,驗證該系統滿足烤煙日常生產需求[12]。王士鑫基于卷積神經網絡,實現對烤煙質量的分級,對烤煙煙葉分級的識別準確率高達97.21%[13]。謝濱瑤等采用機器學習方法,利用BP神經網絡、支持向量機對新鮮煙葉的下部葉成熟度進行鑒別,其準確率分別為93.83%、97.53%[14]。

本研究將YOLO v5s目標檢測算法應用于新鮮煙葉的成熟度識別,進一步探究深度學習在煙葉成熟度識別領域中的可行性。

1 材料與方法

1.1 圖像采集與煙葉數據集構建

試驗煙葉品種為云煙87,采集于湖南省永州市江華縣白芒營鎮上崗村、永州市藍山縣土市鎮三廣村。在煙葉種植田塊中,隨機選取長勢一致的植株,分別采集上、中、下部煙葉。將采集得到的煙葉樣本平展于白色幕布上,用OPPO R15手機對樣本進行拍照,照片圖像尺寸為1 080像素×1 440 像素,保存格式為JPG。依據煙葉成熟度分級標準和專家意見,將不同部位的煙葉圖像劃分成欠成熟、成熟、過成熟。數據集部分樣本圖像如圖1所示。共采集1 500份新鮮煙葉樣本,并通過左右翻轉、上下翻轉、增加圖像對比度等方式對數據集進行擴充,以提升檢測模型的泛化能力和魯棒性,最終獲得2 460份訓練樣本,不同部位各成熟度樣本種類與數量詳見表1。

表1 煙葉樣本種類及其數量

將數據樣本按照上部葉、中部葉、下部葉劃分為3類數據集,采用LabelImg標注工具對訓練集、驗證集照片進行標注,標注界面如圖2所示。訓練集、驗證集、測試集的數量比為7 ∶2 ∶1。因原始圖像尺寸太大,為提高YOLO v5s目標檢測算法的訓練速度,將標注好的圖像尺寸重新設置為640像素×640像素大小。

1.2 YOLO v5s模型建立

深度學習在目標檢測領域中得到了廣泛的應用。常見的目標檢測算法有R-CNN[15]、Fast R-CNN[16]、YOLO[17]、SSD[18]等,其中YOLO目標檢測算法具有極快的檢測速度與較高的精準度。本研究使用于2020年6月推出的YOLO v5目標檢測算法,對新鮮煙葉成熟度進行識別。該算法依據特征提取模塊與卷積核數量的不同,網絡結構從簡單到復雜可以分為YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x,且基本框架大致相同。網絡結構越復雜,模型檢測精度越高,速度越慢。從實際生產出發,綜合考慮模型檢測精度與速度的關系,本研究采用YOLO v5s目標檢測算法進行試驗。 YOLO v5s目標檢測算法的網絡結構分為輸入層(Input)、骨干網(Backbone)、頸部(Neck)、輸出層(Output)4個部分[19],其網絡結構如圖3所示。

輸入層上采用Mosaic增強方法,在原有數據集的基礎上,隨機選取4幅圖像,進行隨機裁剪、縮放、分布,使得原有數據集更加豐富,減少模型過擬合的風險。

骨干網主要包括了Focus、BottleneckCSP與SPP,作用為對輸入層處理后的數據集進行特征提取。Focus模塊如圖4所示,將1幅640×640×3的圖像經過4次切片與32次卷積操作,最終會得到320×320×12的特征圖,提高了模型的運算速度。BottleneckCSP模塊由Conv與X個Resnet模塊組成,能在降低模型參數與內存成本的同時,保證準確率。SPP模塊將提取出的特征進行融合,通過3種尺度的池化,解決輸入圖像大小固定化的問題。

為加強骨干網提取特征的聚合能力,頸部通過多個CBL與CSP2_1構成FPN與PAN結構,如圖5所示。FPN結構采取自上而下的方式,將高層特征與Backbone中對應層CSP模塊輸出特征進行聚合,再由PAN結構自下而上與FPN對應層聚合淺層特征,使高層特征與淺層特征完成聚合,減少特征丟失,提高檢測準確度。

輸出層采用GIOU_LOSS(廣義交叉聯合)作為Boundingbox(邊框回歸)的損失函數,確定最佳邊界框,并輸出3種大小不同的特征圖,對應3種圖像區域。針對目標框的篩選,采用NMS非極大值抑制操作。

1.3 模型評價

為保證本試驗提出模型的有效性與可用性,采用召回率(R)、精準度(P)、平均精準度(mAP)、單幅圖像檢測耗時這4個指標來評價YOLO v5s目標檢測算法訓練出的模型,相關指標的計算公式如下所示。

(1)

(2)

(3)

式中：TP表示真正樣本數量;FP表示假正樣本數量;FN表示假負樣本數量;N表示樣本中種類數量;AP表示單個樣本的平均精準度,n為樣本總數。

1.4 模型訓練試驗平臺

2022年9月,在湖南農業大學蟻工團隊實驗室服務器上完成試驗。試驗采用的計算機型號為DELL T5820,搭載CPU 為XEON W2155,內存32G,顯卡為NVIDIA RTX3080 8G。軟件操作系統為Windows 10,使用的編程語言為Python3.9,深度學習的框架為Pytorch 1.8。

針對不同部位新鮮煙葉的訓練參數具體如下：總迭代周期設為300,權重衰減系數設為0.000 5,迭代批次大小設為8,初始化學習效率設為0.01,采用余弦退火的衰減方式,其衰退率為0.01,置信度閾值設為0.5。

2 結果與分析

2.1 模型訓練結果

采用YOLO v5s目標檢測算法,分別對新鮮煙葉的上、中、下部葉數據集進行訓練,不同部位新鮮煙葉的成熟度模型訓練過程的mAP值與損失函數值隨迭代周期變化的結果如圖6至圖8所示。mAP值與損失函數值均在前50次迭代周期內迅速變化,訓練在180次迭代周期后模型逐漸穩定。

2.2 模型效果評估

各模型精確度(P)、召回率(R)、平均精準度(mAP)、單幅圖檢測耗時如表2所示。不同部位新鮮煙葉測試集的檢測效果如圖9至圖11所示。

表2 各模型測試效果

由測試結果可知,中部葉模型對欠熟、成熟的檢測精準度分別只有91.8%、93.8%,這是因為新鮮中部煙葉欠熟與成熟煙葉的表面顏色特征比較接近,對識別造成干擾,使得檢測結果偏低。但不同部位新鮮煙葉的成熟度模型在各自測試集上的總體mAP值均在97%及以上,且單幅圖的測量時間為29～30 ms,滿足在高精準度水平的條件下穩定檢測圖片的高速度。

2.3 與常見檢測模型的對比

本試驗在相同的訓練環境與訓練參數下,利用目前常見的目標檢測模型,對新鮮煙葉各部分數據集分別進行訓練。各模型測試結果如表3所示。

表3 各檢測模型測試效果

從YOLO v5s、Mask-RCNN、Faster-RCNN這3種模型的對比試驗中可以看出,Mask-RCNN、Faster-RCNN模型的mAP值均低于YOLO v5s模型,單幅圖像檢測平均時間均遠高于YOLO v5s模型,說明通過YOLO v5s訓練的不同部位新鮮煙葉的檢測模型,在mAP值、單幅圖像平均檢測時間方面,均明顯優于另外2種常見的目標檢測模型(表3)。圖像的標注方式影響模型的訓練結果,Faster-RCNN、YOLO v5s的圖像標注方式一致,兩者的測試結果基本一致,均是以上部葉測試結果為最佳。

3 結論

本試驗針對新鮮煙葉成熟度實時檢測要求,研究基于YOLO v5s目標檢測算法對不同部位新鮮煙葉成熟度的檢測方法。依據煙葉所在位置將新鮮煙葉分為上、中、下部葉,經過訓練得到3種測試集,且在3種測試集上的總體mAP值均在97%及以上,單幅圖的測量時間在29～30 ms之間,滿足對不同部位新鮮煙葉檢測實際要求。試驗對比了3種常見的目標檢測模型——YOLO v5s、Mask-RCNN、Faster-RCNN,其中通過YOLO v5s訓練的不同部位的新鮮煙葉的檢測模型均優于其余2種。