基于計算機(jī)視覺的玉米葉片表型檢測方法研究

楊琳琳 王建坤 別書凡 白振江 常金攀 賀小梅 李文峰 施杰

摘要：針對玉米葉片表型檢測傳統(tǒng)方式存在耗費(fèi)大量人力物力且存在人工主觀性誤差等問題，提出了一種基于計算機(jī)視覺技術(shù)和深度學(xué)習(xí)方法的玉米葉片表型檢測方法，建立了玉米葉片表型回歸檢測模型。首先采集玉米葉片圖像及對應(yīng)的表型數(shù)據(jù)，然后搭建淺層卷積神經(jīng)網(wǎng)絡(luò)，通過調(diào)整淺層卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，添加注意力機(jī)制以及RGB三通道分離結(jié)構(gòu)對搭建的網(wǎng)絡(luò)進(jìn)行優(yōu)化，最后將圖像和表型數(shù)據(jù)輸入到模型進(jìn)行訓(xùn)練，并對不同任務(wù)組合分別進(jìn)行模型訓(xùn)練，分析不同任務(wù)組合對模型預(yù)測精度的影響。結(jié)果表明，三通道分離結(jié)構(gòu)和通道注意力機(jī)制的添加提高了模型在所有任務(wù)組合上的性能，且不同任務(wù)組合試驗(yàn)的結(jié)果表明，玉米葉片各個表型的檢測在不同任務(wù)搭配后檢測效果有較大波動，基于三通道分離結(jié)構(gòu)和通道注意力機(jī)制的模型檢測葉片葉面積的結(jié)果最高決定系數(shù)r²達(dá)到0.997，鮮質(zhì)量r²達(dá)到0.988，葉寬r²達(dá)到0.982，SPAD值r²達(dá)到0.901。研究結(jié)果表明，三通道分離可以降低R、G、B三通道帶來的影響，添加通道注意力機(jī)制，可以提高玉米葉片表型檢測的模型性能。

關(guān)鍵詞：葉片表型；表型回歸檢測；注意力機(jī)制；通道分離

中圖分類號：TP391.41文獻(xiàn)標(biāo)志碼：A

文章編號：1002-1302（2023）16-0195-07

收稿日期：2022-10-04

基金項(xiàng)目：國家自然科學(xué)基金（編號：31860331、32160420）；云南省作物生產(chǎn)與智慧農(nóng)業(yè)重點(diǎn)實(shí)驗(yàn)室開放基金課題；云南省重大科技項(xiàng)目高原特色農(nóng)產(chǎn)品無損檢測子課題果蔬無損檢測。

作者簡介：楊琳琳（1979—），女，山東壽光人，博士，副教授，研究方向?yàn)橹悄軝z測及自動控制。E-mail：29545343@qq.com。

通信作者：施 杰，博士，副教授，研究方向?yàn)樯疃葘W(xué)習(xí)。E-mail：km_shijie@126.com。

隨著我國人口增長，糧食安全問題日益嚴(yán)峻，培育優(yōu)良作物品種，提高糧食產(chǎn)量勢在必行。作物表型檢測能夠精確分析作物表型、基因以及環(huán)境之間的相互關(guān)系^［1］，可為提高糧食產(chǎn)量、保障我國糧食安全提供技術(shù)支撐^［2］。人工表型測量手段費(fèi)時費(fèi)力，且有人工主觀性，易出現(xiàn)誤差^［3］；基于光譜技術(shù)的植物葉片表型檢測成本較高，過程比較復(fù)雜，不適合大規(guī)模推廣使用；通過提取圖像特征進(jìn)行作物表型檢測的方法獲得了較高的精度^［4-5］，但此方法只考慮了圖像像素數(shù)量和圖像顏色分量等特征與測量值的相關(guān)性，沒有考慮到圖像中的空間位置和紋理等特征，基于深度學(xué)習(xí)的檢測方法能夠?qū)ψ魑飯D像的結(jié)構(gòu)、紋理和空間信息充分利用，能夠獲得更精確的檢測結(jié)果^［6］。

植物葉片是植物生長發(fā)育過程中最重要的器官，植物葉片的葉面積、葉寬、鮮質(zhì)量和SPAD值等表型對評估植物的營養(yǎng)狀況和生長發(fā)育情況，以及預(yù)測作物產(chǎn)量都有很大的作用^［7-11］。本研究將玉米葉片的葉面積、鮮質(zhì)量、葉寬和SPAD值作為研究對象，使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對玉米葉片葉面積等表型的回歸檢測，通過搭建淺層神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了對玉米葉片表型的快速精確檢測，對比不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及注意力機(jī)制的使用，建立了基于通道注意力機(jī)制及顏色通道分離的最優(yōu)模型，對比提取圖像特征值回歸的方式，基于深度學(xué)習(xí)的回歸檢測達(dá)到了更高的精度。

1 材料與方法

1.1 試驗(yàn)數(shù)據(jù)

1.1.1 試驗(yàn)數(shù)據(jù)采集 試驗(yàn)數(shù)據(jù)于2022年5月在云南農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院實(shí)驗(yàn)樓209采集。試驗(yàn)種植玉米品種為鳳糯6號，圖像采集時玉米植株處在5～7葉時期，圖像使用?？低昅V-CA060-10GC彩色工業(yè)相機(jī)進(jìn)行采集，搭配?？低昅VL-HF0628M-6MPE鏡頭，鏡頭距離葉片75 cm，共采集玉米葉片圖像313張。葉面積和葉寬的測量使用常州三豐儀器科技有限公司的YMJ-A型號的葉面積指數(shù)測量儀。SPAD值使用日本KONICA MINOLTA生產(chǎn)的 SPAD-502Plus 測量儀，該儀器是點(diǎn)檢測，因此選取葉尖、葉中部和葉尾部各2點(diǎn)，避開葉脈進(jìn)行測量，每部分重復(fù)測量2次，取總平均值作為葉片的SPAD值^［12］。葉鮮質(zhì)量使用精度為0.01 g的電子秤進(jìn)行測量。

1.1.2 圖像預(yù)處理 圖像拍攝過程中存在一定的噪音和無用背景，通過使用中值濾波圖像進(jìn)行降噪處理，中值濾波是一種非線性濾波，將某一點(diǎn)像素灰度設(shè)置為鄰域各點(diǎn)灰度值的中值，能有效地消除噪音。試驗(yàn)條件下獲取的圖像背景較簡單，將圖像三通道分離后進(jìn)行二值化處理，得到葉片輪廓，將葉片輪廓以外部分置0，得到無背景葉片圖像，處理前后圖像如圖1所示。

1.1.3 試驗(yàn)數(shù)據(jù)集擴(kuò)充 數(shù)據(jù)集共313張玉米葉片圖片，預(yù)留12張圖片做測試集，訓(xùn)練集和驗(yàn)證集共301張圖片，按照7∶3的比例劃分為訓(xùn)練集和驗(yàn)證集，為了避免過擬合問題，使用keras框架中圖像生成器將圖像隨機(jī)水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)。

1.1.4 不同任務(wù)分組 主要針對玉米葉片的葉面積、鮮質(zhì)量、葉寬和SPAD值的回歸檢測進(jìn)行研究，在多任務(wù)學(xué)習(xí) （Multi-task learning） 領(lǐng)域中，模型對多個任務(wù)進(jìn)行訓(xùn)練時，多項(xiàng)相關(guān)任務(wù)學(xué)習(xí)能夠提升模型的性能^［13］?？紤]到不同玉米表型檢測任務(wù)之間相關(guān)性相差較大，因此將葉面積、鮮質(zhì)量、葉寬和SPAD值進(jìn)行不同組合（表1），尋找最優(yōu)的任務(wù)組合。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的主要算法之一，典型的卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層、全連接層組成，卷積層通過卷積核提取特征，卷積核參數(shù)通過反向傳播進(jìn)行參數(shù)更新，池化層將卷積層輸出的特征圖進(jìn)行區(qū)域劃分，并取每個區(qū)域的最大值或平均值，得到更小的特征圖，全連接層把局部特征整合為全局特征。目前經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)有LeNet^［14］、AlexNet^［15］、VGGNet^［16］、GoogleNet^［17］、ResNet^［18］、MobileNet等。AlexNet首次使用ReLU激活函數(shù)，在全連接層部分使用了Dropout避免了模型過擬合，提高了準(zhǔn)確率和計算速度。VGGNet不斷加深了網(wǎng)絡(luò)深度，使用3×3小卷積核代替大卷積核，大大提高了模型性能。GoogleNet在增加網(wǎng)絡(luò)深度的同時增加了網(wǎng)絡(luò)寬度，同時使用1×1卷積核降低特征圖尺寸，降低了模型計算量。ResNet使用殘差結(jié)構(gòu)解決了深層網(wǎng)絡(luò)梯度消失問題，進(jìn)一步加深了網(wǎng)絡(luò)層數(shù)。MobileNet使用深度可分離卷積替代傳統(tǒng)卷積，模型體積小，適用于部署到嵌入式設(shè)備和移動設(shè)備上。

1.2.1 回歸任務(wù)loss函數(shù) 不同于分類任務(wù)中的離散變量預(yù)測，回歸任務(wù)主要對連續(xù)變量進(jìn)行預(yù)測，回歸任務(wù)中常用的loss函數(shù)是均方誤差（mean squared error，簡稱MSE），預(yù)測值與目標(biāo)值之差的均方和，如式（1）所示：

訓(xùn)練過程中使用平均絕對誤差（mean absolute error，簡稱MAE）進(jìn)行精度評估，預(yù)測值與目標(biāo)值之差絕對值的均值，如式（2）所示：

1.2.2 評價函數(shù) 相關(guān)系數(shù)r可以描述2個變量之間的相關(guān)程度，r值越接近1表示2個變量相關(guān)程度越強(qiáng)。決定系數(shù)r²可以表示2個變量回歸方程擬合度的高低，r²越接近1表示2個變量回歸擬合越好。因此使用相關(guān)系數(shù)r和決定系數(shù)r²評估模型在測試集上的預(yù)測精度，如式（3）和式（4）所示：

1.2.3 通道注意力機(jī)制 通道注意力機(jī)制^［19］通過對特征圖進(jìn)行全局平均池化和全局最大池化操作，并將池化后的特征向量輸入到2層全連接層中進(jìn)行Squeeze和Excitation操作，得到對應(yīng)特征圖的權(quán)重，將該權(quán)重與特征圖相乘，如圖2所示。實(shí)現(xiàn)了有選擇性地對有用通道特征的增強(qiáng)和無用特征通道的抑制。

模型中的通道注意力層將輸入張量分別進(jìn)行全局平均池化和全局最大池化，得到2個大小為（1，1，C）的向量，將2個向量分別輸入到通道為C/8的2個全連接層中，實(shí)現(xiàn)Squeeze操作，將Squeeze后得到的2個向量分別輸入到通道為C的2個全連接層中，實(shí)現(xiàn)Excitation操作，得到2個特征圖權(quán)重，將2個權(quán)重相加后與特征圖相乘，得到權(quán)重增強(qiáng)后的特征圖。

1.2.4 基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計 考慮到葉面積、葉寬、鮮質(zhì)量、SPAD值等葉片表型特征較明顯，任務(wù)相對簡單，因此本研究通過搭建包含6層卷積層的神經(jīng)網(wǎng)絡(luò)，并添加通道注意力機(jī)制，賦予不同的通道對應(yīng)的權(quán)重，以實(shí)現(xiàn)玉米葉片表型精確檢測，本研究4種模型均使用3×3大小的卷積核，每層卷積核個數(shù)為32。

在卷積層和全連接層之間通常使用Flatten操作把卷積輸出的特征圖展平成一維向量（圖3），考慮到6層卷積輸出的特征圖尺寸較大，使用Flatten操作會產(chǎn)生大量參數(shù)，并且包含復(fù)雜且對本任務(wù)作用不大的特征，因此使用全局平均池化代替Flatten操作。Lin等研究提出全局平均池化（Global Average Pooling）^［20］，全局平均池化操作對單張?zhí)卣鲌D所有元素相加求均值得到該特征圖的特征值，輸出所有特征值組成的一維向量。尺寸為［H，W，C］的特征圖經(jīng)過Flatten操作后大小為［H，W，C］，而經(jīng)過全局平均池化后為［1，1，C］，如圖3所示，全局平均池化操作大大減少了參數(shù)量，對避免過擬合也有很好的作用。

相對于分類神經(jīng)網(wǎng)絡(luò)最后的Softmax激活函數(shù)，回歸神經(jīng)網(wǎng)絡(luò)需要輸出連續(xù)特征值，因此，全連接層最后一層使用線性激活函數(shù)?；A(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。

將表1的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)命名為M1。在AveragePooling1、Conv4和Conv6層后加入通道注意力層，將加入注意力層的模型命名為M2。

1.2.5 分離RGB通道模型 將葉片RGB圖像三通道分離（圖4），不同通道灰度圖葉片結(jié)構(gòu)特征基本一致，不同通道灰度圖灰度值相差較大。提取葉片R、G、B三顏色特征值和SPAD值進(jìn)行相關(guān)性分析，發(fā)現(xiàn)葉片R、G、B三顏色特征值對SPAD值有不同的相關(guān)性（表4）。常見的卷積神經(jīng)網(wǎng)絡(luò)將RGB圖像使用參數(shù)共享的卷積核，第1層卷積每個卷積核對R、G、B三通道進(jìn)行卷積并生成1個包含R、G、B三通道特征的特征圖?？紤]到三通道灰度圖特征可能對預(yù)測結(jié)果有不同的影響，因此本研究嘗試通過分離三顏色通道并分別進(jìn)行卷積操作，以達(dá)到不同通道特征賦以不同的權(quán)重的目的。

將三通道分離并分別進(jìn)行卷積的模型命名為Split_M1，在該模型基礎(chǔ)上添加注意力機(jī)制的模型命名為Split_M2，模型結(jié)構(gòu)如圖5所示。

1.2.6 卷積可視化分析 將M2和Split_M2在最后一層通道注意力層的輸出可視化，觀察可視化特征圖，發(fā)現(xiàn)M2可視化特征圖較為單一（圖6），其中通過輸出全部黑色特征圖矩陣，發(fā)現(xiàn)全部特征值為負(fù)數(shù)，經(jīng)過Relu激活函數(shù)輸出為0，對最終精度沒有影響。觀察Split_M2卷積可視化特征圖發(fā)現(xiàn)，不同通道特征圖相差較大（圖7、圖8、圖9），相比M2輸出特征圖，Split_M2輸出特征圖明顯包含更多特征，且三通道特征圖有較大差異。

2 結(jié)果與分析

2.1 圖像特征提取

基于圖像特征提取的葉片表型回歸方式通過對圖像像素數(shù)據(jù)的統(tǒng)計，提取圖像R、G、B特征值，圖像中葉片像素個數(shù)，葉片最小包圍盒等操作提取葉片圖片特征，將葉片圖片特征與葉片表型實(shí)測值進(jìn)行線性回歸擬合，得到圖片特征值與葉片實(shí)測值的回歸函數(shù)，以實(shí)現(xiàn)對葉片表型的快速檢測。

部分葉片圖像提取特征值與實(shí)測值見表3。

將圖片特征值與葉片表型實(shí)測值進(jìn)行相關(guān)性分析，結(jié)果見表4。

由表4可知，葉片特征值與表型實(shí)測值r²均達(dá)到0.8以上，r均達(dá)到0.9以上，有很好的相關(guān)性。

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的檢測

本研究模型使用Keras深度學(xué)習(xí)框架，采用Python 3.8編程語言實(shí)現(xiàn)。模型訓(xùn)練Batch_size設(shè)置為8，訓(xùn)練Epochs設(shè)置為300，保存驗(yàn)證集MAE最優(yōu)的模型權(quán)重。4種模型對不同任務(wù)組合在驗(yàn)證集上的MAE如圖10所示。

由圖10可知，注意力機(jī)制和通道分離操作的使用提高了模型在大部分任務(wù)上的精度，Split_M2獲得了最好的效果。

使用各任務(wù)訓(xùn)練得到的Split_M2模型權(quán)重對測試集進(jìn)行預(yù)測，使用相關(guān)系數(shù)r和決定系數(shù)r²評估模型在測試集上的表現(xiàn)，檢驗(yàn)?zāi)Ｐ偷姆夯芰Α?/p>

由圖11可知，葉面積在各個任務(wù)分組中，在測試集上的相關(guān)系數(shù)r均達(dá)到0.998，鮮質(zhì)量在任務(wù)8及任務(wù)15中相關(guān)系數(shù)r最高，為0.994，葉寬在任務(wù)6中相關(guān)系數(shù)r最高，為0.991，SPAD在任務(wù)7中相關(guān)系數(shù)r最高，為0.949。

由圖12可知，葉面積在各個任務(wù)分組中，決定系數(shù)r²均達(dá)到0.997，鮮質(zhì)量在任務(wù)8及任務(wù)15中r²達(dá)到0.988，葉寬在任務(wù)6中r²最高，為0.982，SPAD在任務(wù)7中r²最高，達(dá)到0.901。

上述結(jié)果表明，基于通道分離和注意力機(jī)制的Split_M2在精度方面超過了其他模型和基于圖像特征進(jìn)行回歸的傳統(tǒng)方法，各個表型預(yù)測在不同任務(wù)中達(dá)到不同的預(yù)測精度，表明玉米葉片各表型不同組合進(jìn)行模型訓(xùn)練對模型精度有直接影響。

4 結(jié)論

本研究提出的分離RGB三通道的模型通過對RGB三通道分別進(jìn)行卷積，對不同通道特征調(diào)整了權(quán)重，增強(qiáng)了有效特征，相對于普通網(wǎng)絡(luò)在驗(yàn)證集上取得了更低的MAE，通道注意力機(jī)制的使用進(jìn)一步提高了模型的性能，由測試集結(jié)果可知，Split_M2預(yù)測結(jié)果與實(shí)際值有較高的相關(guān)性，達(dá)到了預(yù)期效果，結(jié)果優(yōu)于提取圖像特征的檢測方法和普通深度學(xué)習(xí)模型，能夠滿足玉米葉片表型檢測的精度要求。

不同任務(wù)組合的對比試驗(yàn)結(jié)果表明，不同任務(wù)組合在同一網(wǎng)絡(luò)下有較大差距，葉面積與其余3種表型進(jìn)行訓(xùn)練，均可達(dá)到較高精度，鮮質(zhì)量在與葉寬組合，以及4種表型組合進(jìn)行訓(xùn)練得到的模型精度較高，葉寬在與葉面積組合進(jìn)行訓(xùn)練得到的模型精度最高，SPAD值在與葉面積組合進(jìn)行訓(xùn)練得到的模型精度最高，上述結(jié)果為基于深度學(xué)習(xí)的作物葉片表型檢測提高精度提供了方向。本研究在實(shí)驗(yàn)室環(huán)境下進(jìn)行試驗(yàn)，在真實(shí)環(huán)境中由于光照強(qiáng)度問題需進(jìn)一步優(yōu)化，如采用標(biāo)準(zhǔn)比色板調(diào)整圖像等方式，避免實(shí)際應(yīng)用時光照強(qiáng)度和復(fù)雜背景帶來的影響。

參考文獻(xiàn)：

［1］岑海燕，朱月明，孫大偉，等. 深度學(xué)習(xí)在植物表型研究中的應(yīng)用現(xiàn)狀與展望［J］. 農(nóng)業(yè)工程學(xué)報，2020，36（9）：1-16.

［2］劉建剛，趙春江，楊貴軍，等. 無人機(jī)遙感解析田間作物表型信息研究進(jìn)展［J］. 農(nóng)業(yè)工程學(xué)報，2016，32（24）：98-106.

［3］翁 楊，曾 睿，吳陳銘，等. 基于深度學(xué)習(xí)的農(nóng)業(yè)植物表型研究綜述［J］. 中國科學(xué)（生命科學(xué)），2019，49（6）：698-716.

［4］吳澤江. 基于RGB圖像方法預(yù)測玉米表型特征［D］. 合肥：安徽農(nóng)業(yè)大學(xué)，2020.

［5］孫 俊，張國坤，毛罕平，等. 基于介電特性與回歸算法的玉米葉片含水率無損檢測［J］. 農(nóng)業(yè)機(jī)械學(xué)報，2016，47（4）：257-264，279.

［6］Montes Condori R H，Romualdo L M，Martinez Bruno O，et al. Comparison between traditional texture methods and deep learning descriptors for detection of nitrogen deficiency in maize crops［C］//2017 Workshop of Computer Vision （WVC）.October 30-November 1，2017，Natal，Brazil.IEEE，2018：7-12.

［7］陳 防，魯劍巍. SPAD－502葉綠素計在作物營養(yǎng)快速診斷上的應(yīng)用初探［J］. 湖北農(nóng)業(yè)科學(xué)，1996，35（2）：31-34.

［8］甘海明，岳學(xué)軍，洪添勝，等. 基于深度學(xué)習(xí)的龍眼葉片葉綠素含量預(yù)測的高光譜反演模型［J］. 華南農(nóng)業(yè)大學(xué)學(xué)報，2018，39（3）：102-110.

［9］榮民希，班 彬，王智崢，等. 基于Macbm-RCNN的葉片周長和面積測量方法［J］. 江蘇農(nóng)業(yè)科學(xué)，2022，50（13）：199-206.

［10］袁自然，葉 寅，武 際，等. 基于高光譜成像技術(shù)的辣椒葉片葉綠素含量估算［J］. 江蘇農(nóng)業(yè)科學(xué)，2021，49（16）：189-193.

［11］張 伏，張亞坤，毛鵬軍，等. 植物葉綠素測量方法研究現(xiàn)狀及發(fā)展［J］. 農(nóng)機(jī)化研究，2014，36（4）：238-241.

［12］李媛媛，常慶瑞，劉秀英，等. 基于高光譜和BP神經(jīng)網(wǎng)絡(luò)的玉米葉片SPAD值遙感估算［J］. 農(nóng)業(yè)工程學(xué)報，2016，32（16）：135-142.

［13］Vandenhende S，Georgoulis S，van Gansbeke W，et al. Multi-task learning for dense prediction tasks：a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（7）：3614-3633.

［14］LeCun Y，Bottou L，Bengio Y，et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE，1998，86（11）：2278-2324.

［15］Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM，2017，60（6）：84-90.

［16］Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［EB/OL］. ［2022-09-05］. https：//arxiv.org/abs/1409.1556.

［17］Szegedy C，Liu W，Jia Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 7-12，2015，Boston，MA，USA.IEEE，2015：1-9.

［18］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

［19］Hu J，Shen L，Sun G.Squeeze-and-excitation networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：7132-7141.

［20］Lin M，Chen Q，Yan S C.Network in network［EB/OL］. 2013：arXiv：1312.4400.https：//arxiv.org/abs/1312.4400