基于深度學習、 小波變換和可見光譜的茶樹凍害程度評估

李 赫,王 玉,范 凱,毛藝霖,丁仕波,宋大鵬,王夢琪,丁兆堂*

1. 山東省農業科學院茶葉研究所,山東 濟南 250108 2. 青島農業大學茶葉研究所,山東 青島 266109 3. 日照市農業科學研究院茶葉研究所,山東 日照 276827

引 言

茶樹(CamelliasinensisL.)是中國、 印度、 斯里蘭卡、 肯尼亞等國家最重要的經濟作物之一。 由于茶樹具有不耐寒性,中國北方的茶樹容易遭受低溫天氣,導致茶樹大面積凍死,大大降低了寒冷地區茶樹的產量[1]。 有必要了解茶園凍害情況,分析凍害原因,提出預防措施。 及時進行災后恢復,將茶葉生產的損失降到最低。

茶樹的受凍過程往往首先表現在葉片上,只有在極端寒冷的情況下,根部才會受損死亡。 因此,葉片凍害的識別和分類對茶園凍害的評價和防治具有重要意義。 目前,茶園凍害程度的識別主要依靠人工觀測和計算,主觀性強,耗時長。 近年來,深度學習的目標檢測算法發展迅速,一系列框架的出現為精確的目標定位和檢測奠定了基礎。 例如,R-CNN作為深度學習對象檢測應用領域的先驅,將傳統機器學習與深度學習相結合。 隨即出現一些目標檢測網絡的優化算法,如SPP-net (spatial pyramid pooling networks)[2],Faster R-CNN(faster regions with convolutional neural network)[3],YOLO (you only look once)[4]等,這些深度學習的方法在作物病害和蟲害的識別和分類取得了較好的進展。 例如,研究人員采用深度卷積神經網絡(DCNN)對黃瓜葉部的病害進行識別,將隨機森林、 支持向量機和AlexNet網絡對葉部病害的檢測結果與DCNN的葉部病害的檢測結果進行了比較。 結果表明,DCNN模型的準確率為93.4%明顯高于其他常規分類器[5]。 研究人員采用YOLO V3對水稻的5種蟲害進行識別,結果表明,YOLO V3平均精度為91.93%,這說明YOLO V3網絡可以很好地識別水稻的蟲害[6]。 上述研究為采用深度學習方法評價茶樹葉片凍害程度提供了重要的參考。

圖像增強技術是圖像識別的前提,可以提高采用深度學習方法進行目標檢測的精度。 例如研究人員通過對傳統方法進行改進,提出了一種利用奇異值分解(SVD)的圖像增強方法。 該方法對圖像的不同顏色空間、 顏色索引以及彩色到灰度轉化進行綜合特征的提取; 然后采用區域生長法對病斑進行分割[7]。 謝新輝等[8]提出一種基于傅里葉變換的指紋圖像增強方法,通過對圖像分塊進行傅里葉變換,用求期望值的方法獲取指紋圖像的頻率、 方向以及能量分布,在此基礎上根據指紋紋線分布以及脊線方向變化劇烈的特殊性,采用在徑向濾波器濾波后增加角方向濾波器的濾波方法,對圖像進行濾波增強。 結果表明,基于傅里葉變換的指紋圖像增強方法能夠提高識別指紋的精度。 然而,采用傅里葉變換在精確分析時存在很大的局限性,只能實現基本、 大致上的定位。 本研究提出一種基于小波變換的圖像增強技術,在傅里葉變換的基礎上進行了本質上的改變,通過不斷改變時間窗的寬度,實現對信號低頻部分采用較低的時間分辨率而實現精確的頻率定位,對信號高頻部分采用較低頻率分辨率以實現精確的時間定位。

目前對于茶樹凍害程度的快速準確評估相關研究較少,本工作提出一種基于深度學習的茶樹凍害評估框架。 首先利用Faster R-CNN網絡對茶樹的凍害葉片進行提取,再將提取到的茶樹的凍害葉片圖像進行小波變換增強處理,從而得到了四張頻率的圖像; 然后將四個頻率的圖像輸入到VGG(visual geometry group network)16[9]網絡對凍害葉片進行分級。 最后根據得到的茶樹不同分級的凍害葉片權重系數,對茶樹整體的凍害程度進行評估。

1 實驗部分

1.1 數據采集

為了提高模型的識別效果,采集了大量的訓練圖像。 2020年12月,在山東省日照市茶葉研究所(北緯35°40′,東經119°33′,海拔23 m)采集了圖像。 使用CANEO-EOS 6D相機采集茶樹樹冠圖像。 圖像以JPEG格式存儲,分辨率分別為3 024×4 032。 拍攝角度和拍攝距離隨機。 共采集了1 000張圖像。 圖1顯示了茶樹凍害的樹冠照片。 圖1(a)是鳩坑品種,圖1(b)是中茶108品種。

圖1 茶樹受凍害的樹冠圖像(a): 鳩坑; (b): 中茶108Fig.1 Image of tea plant crown damaged by freezing(a): Jiukeng; (b): Zhongcha 108

1.2 圖像的標記

對茶樹葉片的受凍害程度進行分級,分為輕度,中度,重度。 表1為不同凍害程度茶樹葉片的癥狀。 將訓練圖像的分辨率調整為1 800×1 800,采用MATLAB軟件中的Imagelabeler 9.2對800張增強照片進行標記,得到訓練集。 一、 二、 三級分別用紅色、 橙色、 藍色三種顏色標記,圖2為標記的凍害圖像。 圖2(a)是鳩坑品種,圖2(b)是中茶108品種。 標簽數據以mat格式保存。 將其轉換成表格數據集格式,輸入Faster R-CNN網絡。

表1 不同凍害程度茶樹的癥狀及影響Table 1 Symptoms and effects of tea plants with different degrees of freezing injury

圖2 標記的茶樹凍害圖像(a): 鳩坑; (b): 中茶108Fig.2 Marking image of freezing injury of tea plant(a): Jiukeng; (b): Zhongcha 108

1.3 Faster R-CNN

圖3為Faster R-CNN的結構框架,首先采用卷積網絡提取圖像的特征,并計算特征圖。 選擇了具有良好特征抽取能力的AlexNet[10]、 ResNet50[11]、 VGG19三種特征提取器分別作為提取特征的主干。 表2列出了三個特征提取器的層數和性能。 區域候選網絡(RPN)負責接收特征提取器提取到的特征圖。 將圖像分為兩類: 凍害葉片和背景; 此時只能區分出凍害葉片的大概區域和背景,無法對凍害葉片進行細致的分類。 然后,感興趣區域池化層收集輸入的特征圖和提議,綜合這些信息后提取提議,計算形成特征圖,送入后續的全連接層來判定目標的類別。 采用提議特征圖計算提議的類別,同時邊框回歸器調整感興趣區域的中心點位置和長寬比,目的是更精準地檢測到凍害葉片。

表2 深度特征提取器的特性及其在ImageNet挑戰中的性能Table 2 Characteristics of depth feature extractor and its performance in ImageNet challenge

圖3 Faster R-CNN的結構框架Fig.3 Structural framework of Faster R-CNN

1.4 凍害葉片圖像的二維離散小波變換

小波變換可以通過選取合適的濾波器,減小或去除所提取凍害葉片圖像的不同特征之間的相關性。 為了更好提取茶樹凍害葉片的特征信息,將凍害葉片圖像通過小波變換進行增強處理。 小波變換將圖像轉換為信號,然后將信號按低頻率和高頻率分離,從而得到四個分量,如圖4(a)所示。 其中,LL分量代表圖像的低頻信息,HL分量代表圖像水平方向上的高頻信息,LH分量代表圖像垂直方向上的高頻信息,HH分量代表圖像對角線上的高頻信息。 圖4(b)顯示了經過小波變換處理后第一級凍害程度的葉片圖像。 圖4(c)顯示了經過小波變換處理后第二級凍害程度的葉片圖像。 圖4(d)顯示了經過小波變換處理后第三級凍害程度的葉片圖像。

圖4 小波變換處理后不同程度凍害的葉片圖像(a): 示意圖; (b): 一級凍害葉片; (c): 二級凍害葉片; (d): 三級凍害葉片Fig.4 Leaf images of different degrees of freezing damage after wavelet transform(a): Sketch map; (b): First level frost damaged leaves; (c): Secondary frost damaged leaves; (d): Third level frost damaged leaves

在小波變換對圖像的分解過程中,LL分量可以進行多次循環,直到滿足要求,本研究LL分量只循環一次。 對于大小為A×B的圖像f(x,y)的離散小波變換公式為

(1)

式(1)中,j0是一個任意的開始尺度;wφ是在尺度j0處的近似系數;φj0,a,b(x,y)表示尺度函數。

1.5 VGG16

將小波變換處理后的圖像用cat連接,輸入到VGG16網絡來進一步分類不同程度的凍害葉片。 VGG16 共有16層包括13個卷積層和3個全連接層,如圖5所示。 首先將VGG16 輸入的圖像大小調整為224×224,然后輸入到含有64個卷積核的2個卷積層對圖像進行卷積,再進行最大池化操作,又輸入到含有 128 個卷積核的2個卷積層,兩次卷積后進行最大池化操作,再經過三次含有256個卷積核的卷積之后,進行最大池化操作,然后重復兩次三個含有512個的卷積核卷積之后再進行最大池化操作,最后將提取后的特征圖送入到三個全連接層中。 全連接層將卷積層提取到的特征圖進行整合,判斷葉片的凍害程度。

圖5 VGG16的網絡框架Fig.5 Network framework of VGG16

2 結果與討論

2.1 實驗環境和評估方法

實驗處理數據的環境中,硬件: 處理器Inter Xeon CPU E5-2640 v4 @2.4GHz 2.40 GHz(2個處理器); 機帶RAM: 128 GB。 軟件環境: CUDA Toolkit 10.1; CUDN V7.6.0; Python 3.8; MATLAB 2020; Pytorch-GPU 1.6.0; 操作系統: Windows10。

為了評估模型對所有凍害葉片整體檢測的性能,采用準確率指標。 為了評估模型對每個級別凍害程度檢測的性能,采用精準率和召回率指標。 為了評估模型對每個級別凍害程度檢測的綜合性能,采用F1分數指標。 如式(2)—式(5)

(2)

(3)

(4)

(5)

式(2)—式(5)中,A為凍害葉片檢測的準確率;P為凍害葉片檢測的精確率;R為凍害葉片檢測的召回率;F為凍害葉片檢測的F1分數;TP為指標簽為正樣本,分類為正樣本的數目。FP標簽為負樣本,分類為正樣本的數目。FN指標簽為正樣本,分類為負樣本的數目[12]。

2.2 Faster R-CNN提取茶樹凍害葉片

2.2.1 Faster R-CNN的訓練

使用800張圖像訓練模型,200張圖像測試模型的精度。 用各種參數組合對模型進行了測試。 最終選擇的最大迭代、 學習率、 學習率下降因子分別為20、 0.000 1和0.001。

2.2.2 Faster R-CNN提取茶樹凍害葉片

為了更好地對茶樹的凍害葉片進行分級,使用Faster R-CNN提取茶樹凍害葉片。 表3為三種特征提取器作為主干網絡對茶樹凍害葉片的提取結果,表明VGG19模型的查準率最高,ResNet50的查全率最高,AlexNet模型的查準率和查全率都最低。 因此,單憑查準率和查全率很難判斷出哪個模型最好。 比較三個模型的F1分數,ResNet50的F1分數最高為92.96%,ResNet50模型提取茶樹凍害葉片的綜合性能最好。 采用ResNet50模型為主干網絡提取茶樹凍害葉片。

表3 三種不同特征提取器的Faster R-CNN模型的精度Table 3 Accuracy of Faster R-CNN model of three different feature extractors

2.2.3 Faster R-CNN對茶樹凍害葉片分級

分析了Faster R-CNN對不同凍害程度的葉片分級結果,如表4。 結果表明,Faster R-CNN能較好的區分一級凍害程度的葉片; 然而,對于分類第二級和第三級凍害程度葉片,結果較差,且F1分數都低于75%。 分析認為第二級和第三級凍害程度的葉片存在一定的相似性。 因此需要應用二維離散小波變換技術對凍害葉片的紋理特征進一步的放大,然后小波變換與卷積神經網絡結合對凍害葉片進行細致區分。 圖6為Faster R-CNN對不同凍害程度的葉片的分級圖像。

表4 Faster R-CNN對不同凍害程度的葉片分級結果Table 4 Classification results of leaves with different degrees of freezing injury by Faster R-CNN

圖6 Faster R-CNN模型評估不同凍害程度的茶樹葉片Fig.6 Faster R-CNN model for evaluating tea leaves with different degrees of freezing injury

2.3 VGG16模型對茶樹凍害葉片分級

2.3.1 VGG16模型的訓練

將Faster R-CNN提取到的1600張凍害葉片,按照7∶1∶2分為訓練集、 測試集、 驗證集。 將凍害葉片進行小波變換處理,將處理后的葉片信息輸入到VGG16網絡進行訓練。 初始學習率為0.001,epoch為50,Batchsize為32,momentum parameter為0.9。 為防止模型過擬合,每循環27次學習率降低三分之一,最終學習率為0.000 037。 另外,該模型使用Adam優化器,其收斂速度快、 參數調整簡單。 圖7為VGG16模型訓練過程的損失率和準確率的變化趨勢。

圖7 VGG16模型訓練過程的損失率和準確率的變化趨勢Fig.7 Variation Trend of loss rate and accuracy rate during VGG16 model training

2.3.2 VGG16網絡對不同程度的凍害葉片分級

為了驗證VGG16網絡的性能,將VGG16網絡與其他的網絡(SVM[13]、 AlexNet、 ResNet18)在相同的測試環境中對相同的測試集進行了試驗。 為了比較小波變換處理后的凍害圖像能否提高網絡精度,將小波變換處理后的圖像和未經過小波變換處理的圖像輸入到不同的網絡進行訓練。 表5為茶樹不同凍害程度圖像在不同網絡的測試準確率。 結果表明,基于圖像經過小波變換處理的VGG16模型的總體準確率是為89%,是8個網絡中總體準確率最高的模型。 圖像經過小波變換處理后模型的總體準確率比圖像未經過小波變換處理模型的總體準確率高2%～6%,其中VGG16模型提升最大。 結果表明,圖像經過小波變換處理能提高網絡模型泛化能力。

表5 不同網絡和不同處理圖像評估茶樹不同程度凍害葉片Table 5 Evaluation of different degrees of freezing injury of tea leaves by different networks and different processed images

為了進一步比較不同模型對每個凍害程度葉片的分類性能,通過精準率,召回率和F1分數指標評估圖像經過小波變換處理后4個網絡模型,如圖8(a,b,c)所示。 結果表明,對于第一級凍害程度葉片和第三級凍害程度葉片的分級,VGG16,AlexNet、 ResNet50模型的F1分數都大于85%,其中VGG16的精準率和召回率最高。 對于第二級凍害程度葉片的分類,VGG16的精準率為83.5%,召回率為84.3%,F1分數為83.9%,在四個模型中精度最高。 基于小波變換的VGG16模型可以較好地對茶樹葉片凍害程度進行分級。

圖8 基于小波變換處理后不同網絡評估茶樹葉片的凍害程度(a): 一級凍害程度葉片; (b): 二級凍害程度葉片; (c): 三級凍害程度葉片Fig.8 Evaluation of freezing injury degree of tea leaves based on different networks after wavelet transform(a): First level frost injury degree; (b): Secondary level frost injury degree; (c): Third level frost injury degree

2.4 茶樹凍害程度整體評價

茶樹葉片的凍傷數量和凍傷程度是判斷茶樹凍害程度的關鍵指標[14]。 為了評價茶樹的整體凍害程度,對第一級、 第二級、 第三級凍害程度的葉片做加權平均計算。 第一級凍害程度的葉片權重系數為0.5,第二級凍害程度的葉片權重系數為0.3,第三級凍害程度的葉片權重系數為0.2。 表6為茶樹受凍害程度的評分標準。 計算公式如式(6)

表6 茶樹受凍害程度的評分標準Table 6 Scoring criteria of freezing injury degree of tea plants

(6)

式(6)中,D為茶樹受凍害程度的評分,X1為第一級凍害葉片的數量,X2為第二級凍害葉片的數量,X3為第三級凍害葉片的數量。

3 結 論

提出了一種基于深度學習、 小波變換和可見光譜的茶樹凍害程度評估框架。 首先采用Faster R-CNN網絡對茶樹的凍害葉片進行提取。 其次將提取到的茶樹的凍害葉片圖像進行小波變換增強處理,從而得到了四張頻率圖像。 然后將小波變換處理后的圖像被輸入VGG16網絡這對凍害葉片進行分級。 最后根據得到的茶樹不同分級的凍害葉片權重系數,對茶樹整體的凍害程度進行評估。 結果表明,Faster R-CNN模型提取茶樹凍害葉片的查準率為93.33%,查全率為92.57%,能保證幾乎所有的受凍害葉片都能被提取出來,為進一步對凍害葉片分級奠定基礎。 VGG16模型的整體準確率為89%。 高于其他模型(SVM、 AlexNet、 ResNet18)的準確率。 凍害葉片圖像經過小波變換處理后能提升模型準確率2%～6%。 本實驗框架可以準確地將茶樹凍害葉片進行分級,對于茶園凍害程度的評估具有重要價值,同時對評價茶樹抗逆性、 指導茶園越冬管理具有重要意義。 對于其他作物凍害程度的評估提供了參考。