呂丹瑜,金子晶,陸璐,何衛中,疏再發,邵靜娜,葉儉慧*,梁月榮
基于圖像處理技術的茶樹新梢識別和葉面積計算的探索研究
呂丹瑜1,金子晶2,陸璐1,何衛中3,疏再發3,邵靜娜3,葉儉慧1*,梁月榮1
1. 浙江大學茶葉研究所,浙江 杭州 310058;2. 浙江省農業技術推廣中心,浙江 杭州 310000; 3. 麗水市農林科學研究院,浙江 麗水 323000
基于田間采集的大量茶樹春梢生育圖片,借助計算機視覺技術,利用目標檢測算法YOLOv5構建茶樹新梢不同生育階段的識別模型,測試結果表明該模型具有較高的檢測精度。進一步探究了Image-J軟件處理以及基于Gray值、RGB值、HSV值的閾值切割圖像處理方法在茶葉面積處理方面的應用,比較了不同方法的準確度和運行效率。結果表明,基于HSV閾值切割法的茶樹葉片面積算法準確率在94%以上,表現優于RGB閾值切割法。研究結果為開發茶樹新梢生育進度智能識別模型和葉片性狀信息提取算法提供了技術支撐,為采茶機械的茶芽自動識別模塊的研發提供了理論基礎。
計算機圖像處理技術;YOLO;茶樹新梢;生育階段;葉面積;模型構建
我國茶產業的數字化改革是茶產業向自動化、智能化發展的重要戰略步驟[1]。由于勞動力轉移和用工成本的逐年增加,茶園的田間工作和栽培管理越來越需要機械化、智能化工業技術的加持。然而,目前我國的智慧茶園建設仍主要處于大數據監測和數據收集階段,如何對收集到的數據進行深度分析并獲得具有指導意義的結論,以及如何將環境數據與茶樹生長發育、生理狀態指標結合,進而指導茶園農藝操作或應用于開發農藝操作裝備的智能芯片,仍需要開展大量的基礎研究工作[2]。這是一個多學科融合的新領域,信息技術的單獨運用并不能有效解決農藝實踐、作物生長調控等綜合性問題,因此需要多領域專家的通力合作。目前,我國智慧茶業仍缺乏基礎研究、技術積累和創新研發,缺少茶葉與信息多學科交叉的應用型人才。
計算機圖像處理技術越來越廣泛地應用于模擬仿真、質量安全監控、人工智能開發等領域。該技術通過提取圖像中包含的某些特征或特殊信息,如灰度或顏色特征、邊界特征、區域特征、紋理特征、形狀特征等,為計算機分析圖像提供便利,可用于圖像識別或劃分等級[3]。計算機視覺技術具有無損、實時、快速、客觀等優勢,近年來逐漸應用于茶樹的栽培、病蟲害防治[4-5]、茶葉加工和品控等領域[6-7]。為了更好地模仿人類行為處理圖像信息數據,可通過機器學習算法進行數據解析。劉鵬等[8]利用隨機森林方法篩選出了對茶葉外形特征屬性貢獻最大的幾個特征并建立模型,能較好地實現茶葉感官審評分級。YOLO是一種基于卷積神經網絡(Convolutional neural network,CNN)的目標檢測算法,其核心是卷積層,能夠自動學習圖像特征和模式,并利用這些特征在后續神經網絡層上完成分類、識別和圖像處理任務[9],已應用于圖像識別、醫療影像、語音識別、自動駕駛等領域。YOLO模型的網絡結構主要分為Backbone(用于提取圖像的特征信息)、Neck(用于加強不同分辨率特征融合的能力)和Head(用于輸出目標檢測結果)3部分[10],實現了高效而準確的目標檢測和分類。目前,YOLO算法已應用于農作物生長發育階段或品質等級等識別模型的創建,并呈現出優秀的工作性能,例如基于YOLO模型的棉花發育期自動識別算法[11]、小麥外觀分類器[12]、名優綠茶品質檢測模型[13]。此外,YOLO網絡模型亦可應用于茶樹栽培相關領域,如檢測茶園中雜草的位置[14],檢測復雜背景下茶葉嫩芽[15]等。
智慧茶園建設是我國茶園田間管理設施化、數字化、智能化發展和應對勞動力緊張的重要舉措,是未來茶園建設和管理的重點內容之一。但目前智慧茶園的建設多數仍處于對茶樹長勢、茶園氣象要素、水肥水平監測的階段,尚缺乏解析監測所得圖像、數據信息的模型或算法,以及將監測信息與茶樹本身的生長狀態、抗逆措施、水肥管理措施等指令的耦合機制。另一方面,目前關于茶葉開采期和產量的預測模型多屬于半經驗模型,遙感模型中茶葉產量等相關的數據需人為提供。因此,所采納基礎數據的真實性和可靠性直接影響遙感預測模型的準確性。再者,同一品種的茶樹新梢生育和鮮葉產量往往受到栽培方式、氣象、水肥等因素的影響,而鮮葉產量與采摘標準直接相關,每年的田間情況均有可能發生變動,這使得基于歷史數據建立的預測模型缺失了一定的實時效應。因此,需要開發基于茶樹生育規律、生長狀態的相關模型或算法對茶園監測圖像及數據進行關聯解析,并對遙感模型的預測結果進行補充和校準。本研究收集了不同生育階段茶樹春梢照片,采用YOLO深度學習模型建立茶樹新梢不同生育階段的識別算法,并采用計算機圖像處理技術計算不同葉位葉片的面積。通過探索圖像處理技術和人工智能在茶樹新梢識別和葉面積計算方面的應用潛力,旨在為茶園監測圖像信息處理和茶樹新梢生育狀態識別模型的創建提供技術支持,為未來基于新梢密度和葉片面積測算茶園鮮葉產量模型的開發提供理論基礎。
試驗和樣品采集地為麗水市農林科學研究院松陽茶葉基地。茶樹春梢生育階段識別的數據集構建采用的研究對象主要為龍井43的茶樹春梢,部分白葉1號的茶樹春梢作為補充數據。對不同生育程度的新梢進行高清拍照。
葉片面積測算試驗采用的龍井43和白葉1號春梢圖片由4?000萬像素超感光鏡頭(索尼IMX600)拍攝,采用自動對焦模式,拍攝條件為正常室內無遮擋的光照環境(光照強度約100?lx),圖像分辨率為3?024×4?032。從春梢第一真葉的下端部分進行采集,同時按照順序,依次擺放第一真葉、第二真葉、第三真葉、……、春梢莖部。為了對所采集的圖片進行歸一化處理,在拍攝照片中放置同一標尺作為葉片大小的參照物(圖1),獲取單位長度,計算單位標準面積。
對數據集進行打標處理,采用LabelImg軟件對圖片中的茶芽種類進行識別和框取,采用yolo格式,進行標記的記錄和存儲,單芽、一芽一葉、一芽二葉、一芽三葉、一芽四葉、一芽五葉分別標記為singleBud、oneLeaf、twoLeaves、threeLeaves、fourLeaves、fiveLeaves。然后隨機劃分數據集,如表1所示,采取的比例約為訓練集∶驗證集∶測試集=7∶2∶1。
由于訓練數據集只有白色背景,所以需要增加一些背景干擾以適應真實生產環境,并且在訓練時進行數據增強,可以使模型更好地學習抵抗環境因素噪聲。在YOLOv5中除了使用隨機裁剪、隨機旋轉、隨機平移、隨機縮放、隨機亮度、對比度和色調調整、隨機擦除等基本的數據增強方法,還使用了Mosaic數據增強方法。如圖2所示,Mosaic數據增強法的核心是將4張不同的圖片隨機裁剪,然后隨機拼接形成1個新的圖像,可以有效實現豐富數據集大小,同時增加了小樣本目標,提高模型的泛化能力,防止模型過擬合。

圖1 葉片信息采集展示

表1 數據集的劃分
本研究的模型采取了GPU加速,運行環境為VOLOv5-5.0,Pthon3.8,torch 2.0.0,CUDA 11.3,主機顯卡RTX3060Ti,RAM 16?G×2。為了提高試驗效率,設置了YOLO5s的預處理權重,YOLO5s是YOLOv5系列中較為簡潔的模型,具有較快的處理速度和較低的GPU顯存消耗,同時識別精度也較高。試驗設定的模型參數為總迭代次數為300,圖片大小為640×640,批量處理張數為16,線程數為8,類別數量為6。圖3為輸入訓練集的具體標簽數據。

圖2 增強數據過程展示
本研究采用損失函數(Loss function)作為衡量YOLOv5模型性能的指標,采用準確率(Precision)和召回率(Recall)作為模型效果的評價指標。準確率是針對預測結果而言,指被預測為正的樣品中實際為正樣本的概率,計算公式見公式(1);召回率是針對原樣本而言,指在實際為正的樣本中被預測為正樣本的概率,計算公式為公式(2)。


其中,為真陽性,為假陽性,為假陰性。
準確率和召回率通常為一對互相影響的性能度量指標。為了更加全面地評估模型性能,本研究使用F1值作為綜合測評的指標,其計算公式見公式(3)。F1值越接近1,說明模型的預測性能越佳。

(1)將茶葉新梢的莖干部分采用背景色進行遮蔽,同時利用標尺繪制出對照的標準單位面積;(2)利用閾值切割的方法(分別基于Gray、RGB、HSV值)選取出屬于茶樹葉片的像素點區域,此時仍然有小部分光斑的區域未被選擇;(3)將圖片轉換為二值圖(0-1,像素表示);(4)進行閉運算,膨脹和腐蝕的組合操作,消除噪聲,彌補圖片中的一些小空洞,平滑葉片的邊緣;(5)進行圖片區域閉合運算后,刪除與葉片無關的背景信息,得到最終需要的茶樹葉片二值圖像(從左到右依次為第一葉、第二葉、第三葉、第四葉、莖);(6)利用算法內嵌公式自動計算出每張葉片的面積。

注:A為訓練集中各個目標類別數量的統計圖;B為目標框的尺寸與數量;C為目標中心相對于整個圖像的位置;D為目標框與整個圖像的高寬比例
經過訓練集訓練了300輪之后,由圖4可知,隨著迭代次數的增加,Loss曲線在訓練集和驗證集下降明顯,說明模型的學習效果良好。Loss隨著訓練步數增加而逐漸減小,并最終接近于零,Loss越小即損失越小,即方框框定的越準確。
圖5為不同模型準確度與置信度之間的關系圖,其中準確率在最后1次迭代之后的值為0.907?5,召回率為0.898?2。PR-curve為均值平均精度,精度越高,召回率就越低。一般來說,模型最理想的狀態是能夠盡可能覆蓋全部類別,即接近(1,1),面積接近1。如圖5所示,本次試驗生成的茶樹春梢分類模型的面積接近1,表現出色;同時,F1作為準確率和召回率的調和平均數,也接近1,最后1次迭代的值為0.902?8。
圖6為最終結果的混淆矩陣。混淆矩陣的每1列代表1個類的實例預測,而每1行表示1個實際的類的實例。singleBud和oneLeaf,threeLeaves和fourLeaves之間雖然仍有極小的可能性被混淆,但基本可忽略不計,模型總體的識別分類能力非常完備。此外,所創建的模型對驗證集的識別效果較好,識別分類能力完備,能夠準確識別驗證集中茶樹春梢的種類。圖7為驗證集部分測試結果展示。

圖4 模型構建的損失函數

圖5 不同模型準確度與置信度之間的關系圖

圖6 混淆矩陣

圖7 驗證集部分測試結果展示
采用測試集進一步驗證YOLO模型識別茶芽的準確度,結果如圖8所示。測試集的29張圖片均測試通過,準確率達到了100%,說明該模型可以準確識別不同生育階段的茶樹新梢。進一步分析發現,對于一芽四葉及以上的新梢識別雖然識別結果正確,但相較于其他生育階段的新梢其置信度偏低,觀察PR-curve和F1-curve,F1值也相對偏低。這可能由于一芽四葉、一芽五葉等的新梢較大,框取的面積也較大,增大了識別誤差,交并比(IOU)降低。IOU用于衡量真實值和預測值之間的相關度,IOU值越大,相關度越高。此外,一芽四葉及以上的新梢本身同時包含了一芽二葉、一芽三葉的形態,新梢存在一定的概率僅被框取一半或部分,從而被模型錯誤識別成一芽二葉或一芽三葉,導致了置信度偏低。
科研中常用圖像處理軟件為Image-J,主要采用內嵌的BW二維分割算法。采用的像素分割閾值是基于Gray值,將圖片導入即可實現圖像的切割。圖9為不同切割算法的圖像處理過程。如圖9A所示,采用Image-J處理會出現葉片面積損失的情況。本研究對葉片面積數據敏感,如果葉片面積識別出現偏差會導致試驗結果出現誤差。由于Image-J中的算法為內嵌的,通用于大部分背景簡單、物體色相單一的情況,靈活度不高,無法適應茶葉葉面積的提取。
傳統的灰度顏色提取對閾值的要求較為敏感,調整輸入參數往往耗費大量時間,即使手動調整參數至最適宜的閾值,該識別算法對一些陰影部分和葉片邊緣部分信息仍無法精準地提取(圖9B)。
采取HSV法,即將圖像從RGB格式轉化為HSV格式,根據葉片特征設定H、S、V的閾值進行圖像分割,效果較好,操作流程如圖9C所示。HSV法通過限定HSV顏色的范圍把帶有綠色和黃色的像素點切割出來,避免了因葉面蠟質導致光照不均勻引起的像素點劃分錯誤,有效提取了葉面的像素點,同時結合閉運算能夠精準切割葉片邊緣,從而計算得到更為準確的茶樹春梢葉片面積。

圖8 測試集的部分測試結果展示

圖9 不同切割算法的圖像處理過程
圖10為3種切割算法圖像結果的比較。可見,基于Gray值和RGB值進行閾值切割的葉片,都出現了不同程度的葉面積損失、葉邊緣識別精度不足的現象。相較而言,HSV切割具有明顯的優勢,對茶樹葉片邊緣處理極佳,能夠有效、準確地進行植物葉片邊緣提取。如圖11所示,在不調整參數的情況下,Gray閾值切割沒有普適性,在多數情況下表現較差,甚至無法完整切割茶葉,故沒有進行比較。本研究采用不同葉面積計算方法對試驗數據集中的龍井43和白葉1號樣本分別進行了葉面積計算,結果如表2所示。標準面積為手動套索得到,設為100%。結果表明,HSV閾值切割法計算葉面積的平均準確率在94%以上,明顯高于RGB閾值切割法。

圖10 不同處理方法圖像比較

圖11 Gray閾值切割法在普通情況下的表現

表2 不同處理方法的面積計算結果比較
注:準確率=(1-|計算面積-標準面積|標準面積)100%;其中標準面積為通過Photoshop軟件手動套索獲得的葉片面積
Note: Precision (%)= (1-|calculation area - standard area|standard area)100%; The standard area is achieved by manual lassoing using photoshop software
利用YOLO5建立的茶樹新梢識別算法具有速度快、準確率高的優點,能夠精準地區分和判定不同茶樹新梢類型。建立茶樹新梢生育階段的計算機識別模型,主要是為茶園田間的高清監測和智能信息處理、反饋系統的建設提供基礎模型和算法理論。例如,當多個高清攝像頭監測茶樹新梢生育進度時,借助計算機模型識別的多張反饋照片形成機器指令,能夠得到茶樹生育進度(是否是開采期),可與其他茶園智能監管系統耦合,進行茶園的智能管理。本研究探索了利用圖像處理技術識別不同類型茶樹新梢的可能性,為后續數字化茶園建設相關工作的開展提供初步的理論基礎。可見,YOLO5模型具有高效識別茶樹新梢生育階段的潛力,為未來開發茶樹生長模型、研發智能采茶機提供算法支持,有助于推動茶園栽培管理智能化的實現。由于本研究訓練和驗證時采用的背景較為簡單,噪聲較低,所以YOLO模型在茶園實際復雜背景下的識別效果仍有待進一步研究和完善。同時,該識別模型也可用于不同等級茶鮮葉的篩選,為未來開發茶鮮葉分級的人工智能技術提供研究基礎。
在不同栽培條件下,即便是同一茶樹品種同一葉位葉片的大小亦有所不同,從而造成同一采摘標準下相同品種茶樹在不同種植區產量的差異。常規的基于栽培模式、氣象因子、水肥因子等多個自變量建立的茶鮮葉產量測算模型需要大量的基礎研究數據,涉及長時間、多種環境因素的監測和單位面積鮮葉產量的計算。工作量巨大,且數據的準確性仍需進一步驗證。借助智慧茶園攝像頭監測的實時性,通過多個攝像頭的實時監控,獲得一定數量的照片,通過深度學習識別茶樹新梢生育進度,以及測算單位面積的茶樹新梢密度,結合葉片面積、葉片單位面積質量、采摘標準等信息,有助于實現對茶園鮮葉產量的實時預測。這種方式能夠有效規避栽培方式、氣象因子、水肥條件等多因素對茶園鮮葉產量的影響,所獲數據具有較高的準確度和明顯的實時效應。本研究采用Matlab圖像處理技術提取茶樹葉片信息并進行計算,發現針對茶樹葉面特點優化改進的HSV圖像提取算法結果優于傳統葉面積計算算法,準確度高,能夠達到94%以上,可滿足植物葉片面積計算需求。該算法高效省力,提高了葉面積計算效率,優化了數據集建立流程,為建立植物葉片信息大數據模型提供了良好的技術支持。結合茶園新梢識別和新梢密度測算,有助于將來開發基于葉片面積大小測算區域產量的預測模型,指導茶園精準管理和勞動力資源配置。此外,將來亦可開發復雜背景下的葉片面積計算,實現葉片面積的原位測算。
[1] 唐小林, 王家鵬, 范起業. 我國茶業裝備數字化現狀及路徑分析[J]. 中國茶葉加工, 2022, 169(3): 69-72. Tang X L, Wang J P, Fan Q Y. Current situation and path analysis of digitalization of the tea industry equipment in China [J]. China Tea Processing, 2022, 169(3): 69-72.
[2] 金晶. 浙江省茶產業數字化改革進程與展望[J]. 中國茶葉加工, 2022, 169(3): 6-10, 33. Jin J. Progress and prospect of the tea industry digital reform in Zhejiang [J]. China Tea Processing, 2022, 169(3): 6-10, 33.
[3] 許云召. 計算機圖像處理技術在茶葉感官品質檢測中的應用研究[J]. 福建茶葉, 2022, 44(8): 13-15. Xu Y Z. Research on the application of computer image processing technology in sensory quality detection of tea [J]. Tea in Fujian, 2022, 44(8): 13-15.
[4] 陳晶, 朱啟兵, 黃敏, 等. 基于機器視覺的茶小綠葉蟬識別方法研究[J]. 激光與光電子學進展, 2018, 55(1): 348-355. Chen J, Zhu Q B, Huang M, et al. Recognition ofbased on machine vision [J]. Laser & Optoelectronics Progress, 2018, 55(1): 348-355.
[5] 封洪強, 姚青. 農業害蟲自動識別與監測技術[J]. 植物保護, 2018, 44(5): 127-133. Feng H Q, Yao Q. Automatic identification and monitoring technologies of agricultural pest insects [J]. Plant Protection, 2018, 44(5): 127-133.
[6] 黃藩, 劉飛, 王云, 等. 計算機視覺技術在茶葉領域中的應用現狀及展望[J]. 茶葉科學, 2019, 39(1): 81-87. Huang F, Liu F, Wang Y, et al. Research progress and prospect on computer vision technology application in tea production [J]. Journal of Tea Science, 2019, 39(1): 81-87.
[7] 李素朵. 計算機視覺技術在茶葉等級檢測中的應用研究[J]. 農機化研究, 2019, 41(5): 219-222. Li S D. Application of computer vision in tea grade testing [J]. Journal of Agricultural Mechanization Research, 2019, 41(5): 219-222.
[8] 劉鵬, 吳瑞梅, 楊普香, 等. 基于計算機視覺技術的茶葉品質隨機森林感官評價方法研究[J]. 光譜學與光譜分析, 2019, 39(1): 193-198. Liu P, Wu R M, Yang P X, et al. Study of sensory quality evaluation of tea using computer vision technology and forest random method [J]. Spectroscopy And Spectral Analysis, 2019, 39(1): 193-198.
[9] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection [C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 779-788.
[10] Lei F, Tang F, Li S. Underwater target detection algorithm based on improved YOLOv5 [J]. Journal of Marine Science and Engineering, 2022, 10(3): 310. doi: 10.3390/jmse10030310.
[11] 毋立芳, 汪敏貴, 付亨, 等. 深度目標檢測與圖像分類相結合的棉花發育期自動識別方法[J]. 中國科技論文, 2018, 13(20): 2309-2316. Wu L F, Wang M G, Fu H, et al. Automatic recognition of cotton growth by combining deep learning based object recognition and image classification [J]. China Sciencepaper, 2018, 13(20): 2309-2316.
[12] 徐佳鵬, 張朝暉, 李智, 等. 基于YOLO模型的小麥外觀分類算法研究[J]. 自動化儀表, 2023, 44(3): 83-87.Xu J P, Zhang Z H, Li Z, et al. Research on wheat appearance classification algorithm based on YOLO model [J]. Process Automation Instrumentation, 2023, 44(3): 83-87.
[13] 尹川, 蘇議輝, 潘勉, 等. 基于改進YOLOv5s的名優綠茶品質檢測算法[J]. 農業工程學報, 2023, 39(8): 179-187. Yin C, Su Y H, Pan M, et al. Detection of the quality of famous green tea based on improved YOLOv5s [J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(8): 179-187.
[14] 王根, 江曉明, 黃峰, 等. 基于改進YOLOv3網絡模型的茶草位置檢測算法[J]. 中國農機化學報, 2023, 44(3): 199-207. Wang G, Jiang X M, Huang F, et al. An algorithm for localizing tea bushes and green weeds based on improved YOLOv3 network model [J]. Journal of Chinese Agricultural Mechanization, 2023, 44(3): 199-207.
[15] 孫肖肖, 牟少敏, 許永玉, 等. 基于深度學習的復雜背景下茶葉嫩芽檢測算法[J]. 河北大學學報(自然科學版), 2019, 39(2): 211-216. Sun X X, Mou S M, Xu Y Y, et al. Detection algorithm of tea tender buds under complex background based on deep learning [J]. Journal of Hebei University (Natural Science Edition), 2019, 39(2): 211-216.
Exploratory Study on the Image Processing Technology-based Tea Shoot Identification and Leaf Area Calculation
Lü Danyu1, JIN Zijing2, LU Lu1, HE Weizhong3, SHU Zaifa3, SHAO Jingna3, YE Jianhui1*, LIANG Yuerong1
1. Tea Research Institute, Zhejiang University, Hangzhou 310058, China; 2. Zhejiang Agricultural Technical Extension Center, Hangzhou 310000, China; 3. Lishui Institute of Agriculture and Forestry Sciences, Lishui 323000, China
In this study, based on the picture collection of tea shoot growth in the field, we used deep learning target detection algorithm YOLOv5 to construct a model for identifying different growth stages of tea shoots, and the testing results indicate that the model had high accuracy. Furthermore, the Image-J software and the image processing methods of threshold cutting based on Gray, RGB and HSV values were applied to process tea leaf area, and the accuracy and efficiency of different methods were compared. The results show that the accuracy of HSV-based algorithm system of cutting tea leaves and automatically calculating tea leaf area was over 94%, which had better performance than RGB-based algorithm system. The research results provide technical support for the intelligent recognition model of tea growth state and information extraction algorithm of leaf traits, and also build a theoretical basis for the development of tea bud automatic recognition module of tea plucking machinery.
computer image processing technology, YOLO, tea shoot, growth stage, leaf area, model building
S571.1;TP391.41
A
1000-369X(2023)05-691-12
2023-05-29
2023-08-23
浙江省農業重大技術協同項目(2020XTTGCY04)、浙江省農業(茶樹)新品種選育重大科技專項(2021C02067-5-1)
呂丹瑜,女,主要從事茶葉生產數字化品控技術方面研究,3190101348@zju.edu.cn。*通信作者:jianhuiye@zju.edu.cn