基于深度學習的大豆生長期葉片缺素癥狀檢測方法

熊俊濤 戴森鑫 區炯洪 林筱蕓 黃瓊海 楊振剛

(1.華南農業大學數學與信息學院， 廣州 510642; 2.華南農業大學電子工程學院， 廣州 510642)

0 引言

農作物在生長過程中，自然條件和人為操作等諸多因素影響其營養情況，導致出現缺素癥狀[1]，影響了農產品的產量和質量，進而影響高效益農業的可持續發展。農作物營養狀況的變化可較大程度從植株的葉片顏色、紋理等特征表現出來[2]，國內外學者運用圖像處理技術將作物營養缺乏所引起的顏色、紋理變化進行可視化分析，取得了諸多成果[3-16]。關海鷗等[3]利用正則模糊神經網絡及多顏色空間的多維特征參數,解決了農作物植株的單葉及冠層圖像與缺素癥狀之間的模糊映射關系。YAO等[4]在不同土壤背景下，通過3個生長季節、不同施氮量和不同種植密度的田間試驗，獲得了冬小麥冠層光譜和葉片含氮量。張凱兵等[5]利用基于HSV(Hue, Saturation, Value)顏色空間的非均勻直方圖，組合多個支持向量機分類器，診斷油菜缺素。YUTTANA等[6]提出了一種基于移動設備的水稻葉片顏色分析儀，以估計稻田所需的氮肥量。尚艷等[7]通過分析不同生育期及整個生育期小麥葉片氮含量與冠層光譜反射特征的關系,建立了小麥葉片氮含量的最佳模型,實現了對田間小麥活體氮素營養狀況的監測。以上研究均在較為簡單的背景下對機器視覺獲取的數字圖像特征進行分析，應用條件比較苛刻，導致其應用的適應性較差。

植物生長在不同的環境中，經常有不同的背景，而背景中經常包含與缺素特征無關的干擾信息，影響分類任務的最終結果。使用機器視覺技術在復雜背景下突出有價值的圖像、弱化或清除背景的影響，能增加分類任務的精度和穩定性。趙熙臨等[17]提出一種基于形態學變換的標記分水嶺算法，用于復雜背景下的葉片分割。賈麗麗等[18]在對圖像的背景及其RGB顏色分量特征進行分析后，采用超綠算法和底帽變換算法相結合的方法對目標樹葉進行分割。WANG等[19]提出了一種新的自適應閾值算法，結合Otsu、Canny算法和模式識別，選擇閾值來分割目標葉片的區域。這些利用傳統圖像處理方法分割葉片的方式強調觀察和分析，應用的方法常常隨背景特點變化而變化，難以達到通用的葉片分割效果。在實例分割任務上，深度學習可以根據數據和標簽，有監督地訓練神經網絡，得到在各種背景下都能發揮作用的靈活分割工具。

本文重點研究在復雜背景下獲得大豆葉片的缺素分類，利用Mask R-CNN網絡[20]分割復雜背景下的葉片，使用基于VGG網絡(Visual geometry group network)[21]的遷移學習方法提取葉片特征，并得到葉片缺素分類的方法，為構建智能化的缺素分析技術提供參考。

1 材料與方法

1.1 視覺系統

圖像采集設備如圖1所示。圖像采集端使用嵌入式樹莓派3B作為采集控制器，所使用的圖像采集設備為800萬像素工業攝像頭，其CMOS彩色感光元件尺寸為1/3.2，拍攝圖像有效最大分辨率為3 264像素×2 448像素，最大光圈為F3.5，手動變焦(焦距范圍)鏡頭，焦距范圍2.8～12 mm。在使用樹莓派接口接入互聯網并插入電源后，設置定時采集目標圖像并通過socket網絡協議傳輸至指定云端服務器供后續客戶端軟件分析使用。攝像機三腳架可升降高度范圍為45～138 cm，在試驗時可以根據需要調整攝像頭的高度和角度，以滿足多角度拍攝葉片的需要。攝像機拍攝葉片的最佳距離為20～60 cm之間，與葉片表面形成10°～90°的夾角拍攝。

圖1 葉片圖像采集試驗場景圖Fig.1 Picture of image acquiring scene1.采集控制器 2.攝像頭 3.大豆葉片

1.2 特征分析

圖像采集到的葉片特征有：葉片顏色特征，如葉脈間葉肉顏色、葉脈顏色、葉片顏色等；葉片紋理特征，如褶皺、斑點、葉脈形態等；葉片空間特征，如葉片在圖像中的位置、葉片相對于圖像的大小、葉片形狀等。除葉片特征外，還會采集到的無關特征有：拍攝狀況，如對焦、光照等；場景特征，如背景葉片、環境等。

分類過程中必要的圖像特征有：葉片顏色、葉片紋理、葉片形狀特征。為了進行有效的分類，使用Mask R-CNN網絡去除背景特征，通過對分割得到的圖像進行平移和壓縮，去除圖像中除葉片以外的空間特征，僅有光照特征沒有很好的處理方法。

1.3 網絡模型

首先使用Mask R-CNN網絡分割植株圖像以獲得葉片圖像，然后使用VGG16網絡提取葉片圖像的瓶頸特征，并使用分類網絡預測葉片的缺素分類。最終再根據預先設定的分類規則由葉片分類概率得到植株的缺素情況。整體流程如圖2所示。

對采集到的植株葉片圖像進行輪廓標記，訓練Mask R-CNN分割網絡。在分割效果滿意后，將分割獲得的葉片圖像制作分類網絡的數據集；然后將預訓練的VGG16網絡作為特征提取器，提取葉片圖像的瓶頸特征，訓練識別網絡。

圖2 整體流程圖Fig.2 Structure diagram of whole process

1.3.1Mask R-CNN實例分割網絡

Mask R-CNN是基于Faster R-CNN[22]的網絡框架，在基礎特征網絡(ResNet101[23]+FPN[24])處理之后又加入了全卷積的Mask分割子網，使得網絡處理由原來的分類、回歸檢測，變成了分類、回歸檢測和個例分割。Mask R-CNN對數據的處理分為2個階段：第1階段，由Mask R-CNN基礎特征網絡(ResNet101+FPN)提取大豆葉片圖像的特征圖，然后使用區域候選網絡 (Region proposal network,RPN)生成針對目標的建議框，并對建議框篩選得到感興趣區域 (Regions of interest, ROI)；第2階段，利用ROI Align層(Regions of interest align layer)對特征圖進行像素校正，即通過ROI Align層使每個ROI生成固定尺寸特征圖，然后對每個ROI預測類別、位置和對應葉片的掩碼。Mask R-CNN實例分割網絡模型結構如圖3所示。

圖3 Mask R-CNN實例分割網絡模型結構圖Fig.3 Structure diagram of Mask R-CNN

Mask R-CNN采用多任務的損失函數，每個ROI區域的損失函數包含3部分：邊界框的分類損失值、邊界框位置回歸損失值和掩碼部分的損失值。所以，Mask R-CNN的損失函數Loss定義如下

Loss=Lcls+Lreg+Lmask

(1)

其中

(2)

(3)

(4)

Lmask=[Km2]i

(5)

式中Lcls——分類誤差

Lreg——檢驗誤差，即邊界框回歸誤差

Lmask——平均相對熵誤差

i——特征圖中ROI下標，即映射ROI的索引

N——歸一化參量，表示類別數

Pi——第i個ROI預測為正樣本的概率

ti——正樣本ROI到預測區域的4個平移縮放參數

R——損失函數

m——掩碼分支對每個ROI產生的m×m的掩碼

K——分類物體的種類數

假設一共有K個類別，則Mask分割分支的輸出維度是Km2,對于m2中的每個點，都會輸出K個二值掩碼,其中K個不同的分類對應不同的m×m區域，對于每一個類都有一個對應的像素，然后用sigmod函數求相對熵，得到平均相對熵誤差Lmask。

1.3.2VGG16網絡和分類器

SIMONYAN等[21]提出的VGG模型，在ImageNet數據集分類上具有較理想的分類效果。由于VGG模型在ImageNet上的優秀表現，被認為在基礎圖形特征上有一定的抽象能力。常用的遷移學習方法是使用VGG網絡的卷積部分提取瓶頸特征(Bottleneck feature)，然后訓練一個分類器。

將葉片輸入VGG16網絡，提取中間層的輸出，可以在一定程度上分析VGG16網絡的特征提取能力。圖4為VGG16網絡處理的原圖和處理后輸出圖像。

圖4 VGG16第1層卷積層的部分輸出Fig.4 Some output from the first convolutional layer

圖4b為從第1層卷積層中挑選的6個卷積核對輸入圖像卷積后的輸出圖像，可以看出，卷積神經網絡具有邊緣提取能力以及一定程度上的去噪聲能力。其次，從圖中還能看出，第1層卷積層雖然抽象程度不高，但是已經可以提取出不同顏色塊的空間特征，包括葉脈、斑點等都清晰可見。

圖5 VGG16網絡提取葉片瓶頸特征流程圖Fig.5 Flow chart of extracting bottleneck feature by VGG16 model

圖5所示為VGG16網絡提取葉片瓶頸特征的流程圖。在使用ImageNet數據集訓練的VGG16模型(預訓練權值由 VGG at Oxford 發布)的基礎上，對結構修改進行遷移學習。具體做法是將輸入尺寸改為256×256×3，并將接近輸出的3個全連接層去掉，以將預訓練的VGG網絡用作一個特征提取器。然后構建一個新的全連接網絡作為分類器，并確保輸入層輸入張量形狀與VGG網絡的卷積層輸出一致，連接一個128個神經元的全連接層，最后使用Softmax分類激活函數對其進行處理。將預處理過的圖像輸入VGG16模型進行計算，從最后一層卷積層提取出瓶頸特征，然后使用瓶頸特征訓練分類器。

實際使用時，將去除全連接層的VGG16預訓練網絡和訓練好的全連接網絡分類器相連，然后將尺寸合適的圖像輸入VGG16網絡后，經過計算，得出葉片缺素癥狀的分類預測。

1.4 訓練方法

1.4.1Mask R-CNN實例分割網絡訓練

訓練在臺式計算機(Intel i7-8700 CPU，Windows 10專業版，GTX 1080 8GB GPU)上進行，主要使用的庫有TensorFlow、Keras、PyQt5。訓練模型時設置100個批次，每256幅圖像為1個批次，直到損失值穩定后停止訓練。

將基于Mask R-CNN自動分割出的前景和背景圖像與人工分割出的基準圖像進行對比，以馬修斯相關系數(Matthews correlation coefficient, MCC)與精確度(Accuracy, ACC)作為本文算法分割精度的評價指標。

MCC是一種常用且成熟的測量二分類的機器學習評估指標，也是評價一種分類器在最優參數情況下所擁有的預測性能指標。MCC 的計算公式為

(6)

式中MCC——馬修斯相關系數

TP——真陽性，表示人工分割的葉片前景區域像素和運用Mask R-CNN自動分割的葉片前景區域像素的重合數量

FP——假陽性，表示人工分割的葉片背景區域像素被Mask R-CNN標注為葉片前景區域像素的數量

TN——真陰性，表示人工分割的葉片背景區域像素和Mask R-CNN自動分割出的葉片背景區域像素的重合數量

FN——假陰性，表示人工分割的葉片前景區域像素被Mask R-CNN標注為葉片背景區域像素的數量

MCC值在[-1,1]之間波動，其數值越大，分割越精細。

ACC的計算公式為

(7)

式中f——人工分割所得的葉片基準區域像素數

f0——人工分割區域與本算法分割區域的交集像素數

ACC——精確度

1.4.2分類網絡訓練

在提取瓶頸特征時，將增強后的尺寸為256像素×256像素的3通道圖像訓練集和測試集數據輸入到VGG16模型，將得到的瓶頸特征以二進制字符串形式保存到文件中。訓練分類器時，從二進制文件中提取瓶頸特征用于訓練，避免用VGG16網絡反復計算同樣的數據。使用訓練集訓練20輪(epoch)，每輪包含3 000幅圖像，每輪分94個批次進行。

2 試驗與結果分析

2.1 數據集

文中數據均為水培墾農18號大豆葉片圖像，并根據生長階段、缺素種類進行分類拍攝。在試驗時，根據Mask R-CNN實例分割網絡需要，人工標記葉片輪廓制作分割網絡數據集；分割網絡訓練完成后，根據分類網絡的需要，人工篩選利用分割網絡分割得到的葉片圖像，制作分類網絡數據集。

2.1.1數據來源

使用的葉片來源于華南農業大學資源環境學院大豆缺素相關試驗的溫室水培大豆植株，試驗用的大豆植株生長條件處于人工控制下，元素供給條件分為高磷高氮、高磷低氮、低磷高氮、低磷低氮4種。采集時葉片按照植株所處生長條件分成4類：正常、缺氮、缺磷、缺磷氮。試驗環境為圖6所示的溫室。

圖6 試驗環境Fig.6 Experiment scene

在大豆發芽后的早期生長期的不同時間點對葉片進行采集，采集時間分別為2018年7月31日(早期生長期早期)、2018年8月4日(早期生長期中期)、2018年8月9日(早期生長期晚期)。在拍攝時對各個分類的葉片都用A4紙進行不同程度的葉片背景遮擋處理，如圖7所示。

圖7 不同程度的背景遮擋Fig.7 Three levels of background complexity on collected pictures

大豆葉片缺素時，外觀會與正常葉片有所區別，如圖8所示。根據相關文獻可知，大豆缺氮的圖像特征為：葉片顏色變為淡綠，出現沿葉脈的鐵色斑塊，葉片薄而小，從葉尖到葉基發黃；或全葉呈黃色、葉脈失綠。

圖8 不同時期不同缺素條件下的葉片圖像Fig.8 Leaf images of different periods with different dificiency

大豆缺磷的圖像特征為：葉片顏色變為深綠、無光澤、葉片尖而窄，葉片變厚；或脈間失綠；或葉脈黃褐色；或全葉呈黃色，或者暗紅色。

在大豆生長期早期、中期和晚期，對缺氮、缺磷、缺磷氮、正常4種類型的大豆按照試驗階段需求拍攝圖像，共拍攝1 578幅圖像，其中264幅為未分類圖像，用于分割。最終拍攝圖像數量統計如表1所示。

表1 最終拍攝圖像數量統計Tab.1 Statistics of collected pictures

2.1.2分割網絡數據集制作

采用圖像語義分割標注工具labelme制作Mask R-CNN實例分割網絡的數據集。數據集包含訓練集1 200幅，測試集218幅，比例大致為6∶1。

由于Mask R-CNN的網絡結構和設置的網絡各層參數特點，圖像的分辨率高度和寬度要求可以整除64。在保證原始圖像寬、高比例不變的情況下，為了使網絡更快收斂，在圖像預處理的過程中將圖像壓縮至1 344像素×896像素。最終選取1 200幅圖像作為Mask R-CNN訓練集，218幅圖像作為Mask R-CNN測試集。

2.1.3分類網絡數據集制作

使用訓練后的Mask R-CNN實例分割網絡分割采集到的圖像，并壓縮成256像素×256像素，得到圖9所示的葉片圖像。

圖9 分割后的葉片圖像Fig.9 Leaf diagram after segmentation

由于拍攝時隨機選取葉片拍攝，部分葉片特征不明顯，根據缺素特征，手工篩選圖像，葉片保留特征如表2、3所示。

表2 保留的缺氮葉片圖像的葉片特征Tab.2 Types of anazotic leaf images to be retained

表3 保留的缺磷葉片圖像的葉片特征Tab.3 Types of aphosphagenic leaf images to be retained

將篩選后的葉片圖像作為分類網絡的原始數據集，共包含訓練集圖像161幅，測試集圖像69幅，比例為7∶3。其中訓練集包含缺氮28幅，缺磷33幅，正常100幅；測試集包含缺氮12幅，缺磷15幅，正常42幅。

數據增強時，將訓練用的葉片圖像旋轉隨機角度、平移一定距離、按一定比例縮放；添加高斯噪聲。通過這些操作為訓練圖像的無關分類特征，增加不變性。每個分類固定增強數據為1 000幅。為了得到穩定的評估結果，對測試數據做相同增強，每幅圖像增強10次。最終得到訓練集3 000幅圖像，測試集690幅圖像，其中訓練集包含缺氮1 000幅，缺磷1 000幅，正常1 000幅；測試集包含缺氮120幅，缺磷150幅，正常420幅。

實際訓練時，將利用VGG16預訓練網絡提取葉片的瓶頸特征以訓練分類網絡。

2.2 模型評估

2.2.1Mask R-CNN分割網絡評估

由于圖像中目標的數量對分割效果影響較大，本研究根據所采集的大豆葉片的數量和背景，對葉片進行分類分割。分割效果如圖10所示，圖像分割精度如表4所示。由圖10可以看出，本文所訓練的Mask R-CNN模型對葉片圖像具有較好的分割效果。

圖10 大豆葉片分割效果Fig.10 Soybean leaf image segmentation results

類型MCCACC/%背景遮擋的局部單葉片0.84796.1背景遮擋的局部多葉片0.78893.3背景無處理的多葉片0.62175.6平均值0.75288.3

在搭載GTX 1080顯卡的臺式計算機上，尺寸為1 344像素×896像素的圖像平均分割時間為0.8 s。圖10c的分割結果如圖11所示。

圖11 分割后的單葉圖像Fig.11 Segmented soybean leaf images

2.2.2VGG16卷積神經網絡評估

訓練過程中，全連接分類網絡的準確率和損失值的變化如圖12所示。經過訓練，模型對訓練集數據預測的準確率達到98.60%，說明分類器充分地擬合了訓練數據。模型對測試集數據預測的準確率達到89.42%。表5為分類器對訓練集預測的混淆矩陣，表6為測試集預測的混淆矩陣及召回率指標。

從混淆矩陣上看，缺磷葉片被錯誤分類為正常葉片的比例較大。根據人工篩選時的選擇標準，猜測是第1種缺磷葉片(深綠色，無光澤)以及第4種缺磷葉片(葉片尖且窄，厚且無光澤)被錯誤分類為正常葉片。涉及的特征有顏色特征(深綠色，無光澤)、形態特征(尖且窄且厚)，其中，顏色特征為深綠色的容易與陰暗環境下的正常葉片發生混淆，形態特征為尖且窄的缺磷葉片容易與細長的正常葉片發生混淆，兩種缺磷葉片如圖13所示，與其相似的正常葉片如圖14所示。

將第1類和第4類缺磷葉片剔除，則測試集準確率從89.42%上升到94.92%，同時被錯分類為正常的缺磷葉片數量和被錯分類為缺磷的正常葉片的數量都將大幅減少。由此認為ImageNet預訓練的VGG16網絡不能很好地在不同光照下提取到區分深綠色和正常葉片顏色的特征，不能很好地提取到一些整體的形態特征、光澤特征；而對如葉脈顏色、鐵色斑塊等局部空間特征以及葉片呈黃色、暗紅色等明顯的顏色特征提取效果較好。

圖12 準確率和損失值隨訓練代數變化曲線Fig.12 Changing curves of accuracy and loss of VGG16 training process

表5 分類器對訓練集預測的混淆矩陣
Tab.5 Confusion matrix of classification on train set

真實標簽預測為缺氮預測為缺磷預測為正常數量/幅比例/%數量/幅比例/%數量/幅比例/%缺氮100033.330000缺磷20.0799233.0760.20正常0000100033.33

表6 分類器對測試集預測的混淆矩陣及召回率Tab.6 Confusion matrix and recall of classification on test set

圖13 難以被神經網絡正確分類的缺磷葉片Fig.13 Aphosphagenic leaves that network failed to classify correctly

圖14 相似的正常葉片Fig.14 Normal leaves that shared similar features

3 結論

(1)提出了一種多葉片背景下大豆葉片圖像分割方法，使用攝像機采集圖像，人工標記葉片所在區域，通過預訓練確定了Mask R-CNN模型訓練的初始參數，利用預訓練確定的參數訓練Mask R-CNN模型，訓練得到的模型在大豆葉片分割上具有較高的準確率。本文算法對背景遮擋的局部單葉片圖像分割準確率為96.1%，對背景遮擋的局部多葉片圖像分割準確率為93.3%，對背景無處理的多葉片圖像分割準確率為75.6%，平均準確率為88.3%。

(2)提出了一種大豆葉片缺素的分類方法，通過預訓練確定了VGG16模型卷積部分的參數并利用確定的參數訓練分類器部分，訓練得到的模型對大豆葉片缺素分類具有較高的準確率。本文算法對各個分類的召回率分別為：缺氮分類召回率95.00%，缺磷分類召回率66.67%，正常分類召回率為95.95%。在測試集上的準確率為89.42%。

(3)本文算法對大豆缺磷葉片的分類上仍存在不足，推測是ImageNet預訓練的VGG16網絡在整體形態特征和光照變化下對顏色特征的提取能力不足。本文算法識別一幅圖像中的大豆葉片缺素癥狀的平均時間為0.8 s，對各種缺素癥狀分類準確率較高。