基于深度學習的自動判別茶葉生長的物候期模型的建立

王志毅 王嘉佩 杜愛軍 劉麗霞 喻寶龍 王旭

（重慶市氣象臺，重慶 401147）

0 引言

在為茶葉生產的氣象服務中，大部分茶葉生產企業沒有開展專門的茶葉物候期觀測，只有每年的開采日期的簡單記錄，因而無法形成全面的茶葉生長物候期與氣象要素相關聯的關鍵性資料，不便于建立茶葉生長物候期預測模型以進行物候期預測，也不便于探尋茶葉品質與氣候條件的關系以進行茶葉品質認證。為了全面開展茶葉氣象服務以提高企業生產效益，進行茶葉物候期自動判別的研究就顯得非常有必要。

本研究的主要目的是利用多年來安吉白茶實景監控資料，基于機器學習，建立物候期自動判別模型，同時結合同期的氣象觀測數據，建立白茶物候期預測模型，從而開展業務服務。此項研究可減少茶葉物候期觀測的人力成本及經濟的投入，科學和智能地提高企業生產效益。

1 研究方法

研究采用了監督學習的方法來對白茶生育期識別問題進行建模，在模型的訓練階段需要圖像、積溫以及其所屬的生長物候期作為標注信息輸入模型訓練參數。

yolov3-tiny模型是深度學習中計算機視覺領域應用得比較廣泛的模型，適用于對圖像上的特定目標進行檢測（例如：茶葉圖像中茶葉發芽區域的位置檢測），同時還可以進行分類，其對圖像分類的功能適用于茶樹生長期識別任務由于yolov3-tiny模型用于目標檢測和分類，而本研究的目的只是進行分類，目標檢測過程已經由圖像預處理的裁剪過程代替，所以對yolov3-tiny模型進行了改變，同時將氣象數據和圖像特征進行融合，去掉了yolo層（目標識別的模型名稱），而且對氣溫數據進行融合。

2 研究過程

2.1 數據來源

白茶茶園的監控圖像來源于氣象部門的網站，選取2016—2019年白茶生長物候期內每天3張的監控圖像，即大約每年2月下旬—5月上旬，使用的原始圖像合計約500張。

茶樹生長的氣象環境數據主要是來源于區域自動氣象觀測站觀測的溫度數據，數據的觀測日期與圖像生成日期一一對應。

2.2 數據處理

1）裁剪圖像

yolov3-tiny模型包含了卷積神經網絡（CNN），在yolov3-tiny模型中CNN的各層參數設置是按模型的選擇來進行設定的，其輸入是416×416的圖像，通過CNN可以提取到很多用于分類的特征，而這些特征是傳統圖像特征提取方法難以提取，但又對圖像分類貢獻比較大的特征。此次模型選擇“深度學習法”作為提取圖像特征的方法，用卷積神經網絡CNN來提取圖像的特征，選取的CNN網絡的輸入是416×416的圖像。

用于研究的原始圖像尺寸是1600×1200（寬×高），對于CNN的輸入而言，原始圖像的尺寸顯然較大，并且500張圖像的數量少，不宜直接輸入CNN網絡提取特征并訓練。例如，任意選取一張原始圖像（圖1）。

圖1 監控相機拍攝的茶樹圖像（1600×1200）Fig. 1 Tea tree image taken by surveillance camera（1600×1200）

圖1 中存在部分干擾識別的物體，如白色的圍欄。而對于白茶生育期識別分類的關鍵信息是發芽中心一定區域的圖像特征，基于以上思路，首先需要對原始圖像進行特定區域的裁剪。

根據圖像的實際情況（每年攝像機取景的遠近和角度不同），選擇了5～10個圖像中有白茶集中生長的區域，即在發芽點和附近一定范圍的區域進行裁剪。以此初步剔除一些對物候期判斷會產生干擾的圖像內容，同時產生更多的圖像，在數量上保證網絡提取特征和訓練學習的準確度。裁剪的尺寸選擇的CNN接受輸入圖片的尺寸，即416×416。經過這一步的處理，可以得到了約5000張圖像的數據集。經裁剪處理后的圖像見圖2。

圖2 裁剪后的茶樹圖像（416×416）Fig. 2 Cropped tea tree image (416×416)

2）圖像生育期標注

由專業人員對這些圖像進行生育期的標記，從而進行有監督的學習。使每一張圖像都對應有時間信息（年月日）和生育期分類標注信息（表1）。

表1 生育期標注對應關系Table 1 Corresponding relation of growth period labeling

在進行生育期標注時，分別嘗試三分類（表2）和四分類（表3）2種方法。

表2 三分類方法的類別劃分Table 2 Categories of the three classification methods

表3 四分類方法的類別劃分Table 3 Categories of the four classification methods

3）氣象數據的融合

只利用從圖像提取的特征進行分類會出現錯分跨度比較大的問題，而白茶的生長和氣象因素關系密切，因此考慮在模型中融入氣象數據進行優化。研究發現，溫度是影響植物生長的關鍵因素，而溫度對植物的生長有一個累積的效應，所以研究對于溫度的處理采取積溫的方式，同時產生序列化的數據，降低只由圖片特征進行分類帶來的錯誤率。因此，將白茶生長地的溫度數據進行累積處理和0-1標準化處理后再拼接到所對應的圖像特征上。由于一天采集了3天圖像，并且對圖像進行了剪裁，所以圖像特征會拼接對應當天的積溫特征。

將圖像特征提取得到的向量特征通過兩次全連接后轉化為64×1的特征向量。然后將拍攝圖像當天的積溫數據拼接到溫度數據之后，得到一個65×1的向量，表示圖像特征和氣象溫度特征融合之后的特征。

2.3 實驗結果

利用TensorFlow框架（此框架可以理解為編寫深度學習模型的實現代碼帶來便捷的一種工具，使用此框架可以更高效地實現模型，減少代碼量）。構建CNN特征提取網絡和分類網絡，根據白茶生長物候期的萌芽期、一芽一葉期、一芽多葉期、白茶轉綠期的分類，利用圖像數據得到三分類和四分類結果，同時對于是否融合氣象數據的實驗結果進行了對比，多次測試取平均值得到分類準確率（表4）。

表4 分類方法的準確率Table 4 Accuracy of classification method

沒有融合氣象數據，沒有進行圖像增強的三分類準確率為78%，融合氣象數據的四分類準確率為83%，融合氣象數據和進行圖像增強的四分類結果為72%。 可見氣象數據的融合可以提高分類的準確率，主要減少了跨度較大的誤分類的出現。但是在四分類的情形下，由于各個分類的數據量有不均衡的情況，以及植物生長的連續性造成的人工標注的困難，其準確率比三分類低。對比數據表明，加入氣象數據作為輔助特征比單一使用圖像特征的準確率更高，減少了鄰近分類的誤分類的情況。

3 小結與進一步工作

本研究通過利用深度學習的方法建立一個自動判別模型來識別白茶生長物候期，實驗通過深度學習的方法來將白茶的圖像作為輸入，使用卷積神經網絡CNN來提取圖像特征，然后在此基礎上進行分類從而實現對圖像內白茶生長物候期的識別，再融合氣象特征對識別效果進行優化，從而得出了準確率較高的識別模型。通過實驗，此模型能夠將圖像內的白茶所處的生長物候期進行準確的識別。

茶葉的生長除積溫外，還會受光照、空氣濕度、土壤含水量、日較差等其他氣象要素影響。在下一步研究中，可以在模型中融合進更多的氣象數據以完善“由白茶圖像自動判別生長物候期的模型”，進一步提高模型識別準確率。