基于RGB-D相機(jī)的黃瓜苗3D表型高通量測(cè)量系統(tǒng)研究

徐勝勇 李 磊 童 輝 王成超 別之龍 黃 遠(yuǎn),

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院, 武漢 430070; 2.華中農(nóng)業(yè)大學(xué)深圳營養(yǎng)與健康研究院, 深圳 518000;3.中國農(nóng)業(yè)科學(xué)院深圳農(nóng)業(yè)基因組研究所, 深圳 518000; 4.華中農(nóng)業(yè)大學(xué)園藝林學(xué)學(xué)院, 武漢 430070)

0 引言

種苗培育是蔬菜生產(chǎn)的重要環(huán)節(jié)。種苗表型測(cè)量是品種選育、栽培管理、生長建模等研究中必需的重要環(huán)節(jié)。植物葉片大小是監(jiān)測(cè)植物生長及預(yù)測(cè)植物生長的重要參數(shù)[1-2],而葉面積是衡量葉片大小的重要特征,葉面積對(duì)農(nóng)作物產(chǎn)量構(gòu)成具有重要作用,是作物栽培和育種實(shí)踐中常用的指標(biāo),對(duì)植物的生長發(fā)育有著顯著影響。真葉數(shù)量是判斷種苗生長階段的重要依據(jù),真葉也是植物后期進(jìn)行光合作用和蒸騰作用的主要器官。下胚軸長、莖粗和株高等莖稈表型參數(shù)可以反映種苗的生長狀況,是壯苗評(píng)價(jià)的重要表型參數(shù)。當(dāng)前種苗表型檢測(cè)方法依賴于傳統(tǒng)的人工測(cè)量,存在效率低、主觀性強(qiáng)、誤差大、破壞種苗等問題,限制了數(shù)字化育苗的發(fā)展[3]。傳統(tǒng)依賴于人工的數(shù)據(jù)采集方式正面臨轉(zhuǎn)型升級(jí)。計(jì)算機(jī)視覺和人工智能等先進(jìn)技術(shù)的應(yīng)用使得無損測(cè)量作物表型成為可能。Kinect傳感器是一種經(jīng)典的RGB-D相機(jī),能夠同時(shí)獲取目標(biāo)的彩色、紅外和深度信息,具有成本低廉、體積小巧的特性和優(yōu)勢(shì),使得該傳感器在現(xiàn)代農(nóng)業(yè)信息領(lǐng)域獲得了推廣和應(yīng)用。

RBG-D相機(jī)在點(diǎn)云精度、處理速度和可自動(dòng)化3方面表現(xiàn)較為均衡,廣泛應(yīng)用于表型測(cè)量[4]。RGB-D相機(jī)是在RGB攝像頭的基礎(chǔ)上增加了深度測(cè)量,主流深度測(cè)量方案包括結(jié)構(gòu)光、飛行時(shí)間(TOF)和雙目視覺等3種。①結(jié)構(gòu)光:它的基本原理是通過近紅外激光器主動(dòng)發(fā)射一定結(jié)構(gòu)光到被測(cè)物體,再由紅外相機(jī)捕捉被測(cè)物體表面的結(jié)構(gòu)光圖案,再結(jié)合三角測(cè)量原理計(jì)算被測(cè)物體的位置和深度信息。這類深度相機(jī)主要包括Kinect V1、RealSense SR300/D415/D435、DKam 130和Asus Xtion Pro。文獻(xiàn)[5]基于RealSense SR300型深度相機(jī)采集褐蘑菇床圖像進(jìn)行原位測(cè)量,計(jì)算出單體蘑菇的位置、直徑、偏向角、傾斜角。文獻(xiàn)[6]研究了通過使用RealSense D415型相機(jī),基于深度學(xué)習(xí)的融合二維彩色圖像和深度圖像的生菜表型參數(shù)(濕質(zhì)量、干質(zhì)量、株高、直徑、葉面積)高精度估算算法。文獻(xiàn)[7]基于RealSense D435型相機(jī)建立了棉花生長點(diǎn)三維空間坐標(biāo)的計(jì)算模型,有助于實(shí)現(xiàn)棉花生長點(diǎn)的檢測(cè)和定位。②飛行時(shí)間(TOF):它的基本原理是根據(jù)發(fā)射的紅外光脈沖被物體反射返回傳感器之間的時(shí)間差來測(cè)量每個(gè)像素的距離。基于飛行時(shí)間測(cè)距的RGB-D相機(jī)主要包括Azure Kinect、Kinect V2、PMD深度相機(jī),文獻(xiàn)[8]利用Azure Kinect對(duì)南瓜砧木根系表型進(jìn)行無損測(cè)量。文獻(xiàn)[9]研究了利用Kinect V2深度相機(jī)基于幾何模型測(cè)量出綠蘿葉片外部表型參數(shù),包括葉長、葉寬和葉面積。文獻(xiàn)[10]基于Kinect V2相機(jī),通過測(cè)量穴盤苗發(fā)芽率、株高、葉面積、壯苗指數(shù)實(shí)現(xiàn)了穴盤苗生長過程的無損監(jiān)測(cè)。③雙目視覺:它的基本原理是模擬人眼對(duì)周圍環(huán)境距離的感知,從兩部相機(jī)拍攝同一景物獲得左右兩幅視圖,進(jìn)行立體匹配,計(jì)算出圖像對(duì)應(yīng)點(diǎn)間的位置偏差,從而獲取物體的三維信息的方法。基于雙目視覺測(cè)距的RGB-D相機(jī)主要包括ZED、小覓智能S1030-IR-120和Bumblebee2相機(jī)。文獻(xiàn)[11]提出了一種雙目相機(jī)結(jié)合改進(jìn)YOLO v3目標(biāo)檢測(cè)算法的行人障礙物檢測(cè)和定位方法。文獻(xiàn)[12]將小覓智能S1030-IR-120型標(biāo)準(zhǔn)版雙目相機(jī)部署在拖拉機(jī)前方并結(jié)合噴霧機(jī)前進(jìn)速度計(jì)算冠層體積。文獻(xiàn)[13]通過雙目立體視覺拍攝不同視角的擬南芥圖像,將二維圖像信息重建為三維模型,實(shí)現(xiàn)了對(duì)作物葉片長度、寬度和莖稈長度的測(cè)量,測(cè)量誤差均在5%以內(nèi)。

綜上所述,基于結(jié)構(gòu)光的深度相機(jī),易受強(qiáng)光干擾且不適合遠(yuǎn)距離深度信息采集;基于飛行時(shí)間的深度相機(jī)的分辨率較低,但其運(yùn)算速度快能夠?qū)崟r(shí)測(cè)量且功耗較低;基于雙目立體視覺的深度相機(jī)重建速度快、結(jié)構(gòu)最簡單,但其高精度點(diǎn)云需要高性能的圖像和穩(wěn)定的成像環(huán)境[14]。而以Kinect為代表的深度相機(jī)(RGB-D)在提供深度信息的同時(shí)可以生成深度圖像,在機(jī)器視覺測(cè)量領(lǐng)域得到了廣泛應(yīng)用。目前,對(duì)于種苗表型的無損檢測(cè)技術(shù)研究相對(duì)較少,已經(jīng)成為限制種苗相關(guān)研究的瓶頸。本文以Azure Kinect深度相機(jī)為采集設(shè)備,以子葉期到2葉1心期共3個(gè)生長時(shí)期的黃瓜苗為實(shí)驗(yàn)對(duì)象,開發(fā)一系列種苗表型無損測(cè)量算法,并研制自動(dòng)化圖像采集平臺(tái)。

1 材料與方法

1.1 實(shí)驗(yàn)材料與數(shù)據(jù)采集

實(shí)驗(yàn)樣本為黃瓜,品種為津春4號(hào)。樣本于2021年12月到2022年1月在華中農(nóng)業(yè)大學(xué)園藝林學(xué)學(xué)院人工氣候室培育。溫湯浸種,處理后放置在28℃恒溫箱中催芽,待90%種子露白后播種到50孔的穴盤,播種前向基質(zhì)中添加雅苒苗樂復(fù)合肥料(1.0 kg/m3),基質(zhì)中草炭、蛭石、珍珠巖體積比為3∶1∶1。播種完成后將穴盤放置于溫室苗床上,晝/夜溫度為28℃/18℃,相對(duì)濕度為65%～85%。在1葉1心期后噴施1 000倍液萊瑞育苗專用肥1號(hào),培育至2葉1心期結(jié)束。共培育10盤黃瓜苗。其中6盤黃瓜苗用于算法設(shè)計(jì),另4盤黃瓜苗共197株用于驗(yàn)證算法,其中對(duì)子葉展平時(shí)期、1葉1心時(shí)期和2葉1心時(shí)期共 150株黃瓜苗采取破壞性實(shí)驗(yàn)進(jìn)行表型算法驗(yàn)證。

如圖1所示,通過使用自動(dòng)化圖像采集平臺(tái)采集黃瓜苗圖像。為了確保獲取到高質(zhì)量的黃瓜苗的彩色圖和深度圖像,一臺(tái)Azure Kinect相機(jī)被安裝在距黃瓜苗正上方25～30 cm,用于獲取黃瓜苗的俯視圖像序列;另一臺(tái)被安裝在距黃瓜苗正前方25～30 cm,用于獲取黃瓜苗的側(cè)視圖像序列。自動(dòng)化采集平臺(tái)通過機(jī)械手夾取分體式苗缽,移動(dòng)穴盤苗到旋轉(zhuǎn)平臺(tái),對(duì)黃瓜苗進(jìn)行俯視視角和側(cè)視視角的圖像采集。圖像采集完成后,機(jī)械手夾取苗缽移動(dòng)到空穴盤對(duì)應(yīng)位置。本文在SolidWorks、LabVIEW、OpenCV基礎(chǔ)上開發(fā)了圖像處理算法與控制電路。通過基于LabVIEW軟件開發(fā)的黃瓜苗表型測(cè)量軟件調(diào)用圖像采集與處理算法程序,控制兩臺(tái)相機(jī)拍攝黃瓜苗,得到4 096像素×3 072像素的彩色圖、1 024像素×1 024像素的深度圖、1 024像素×1 024像素的近紅外圖和1 024像素×1 024像素的RGB-D對(duì)齊圖。使用相機(jī)提供的SDK函數(shù),將RGB-D對(duì)齊圖和深度圖轉(zhuǎn)換為3D點(diǎn)云[4]。

圖1 自動(dòng)化圖像采集平臺(tái)設(shè)計(jì)圖和實(shí)物圖

對(duì)采集圖像后的黃瓜苗,人工使用直尺測(cè)量生長點(diǎn)到基質(zhì)平面的距離作為株高,測(cè)量子葉節(jié)點(diǎn)到基質(zhì)表面的距離作為下胚軸長(精度1 mm);采用數(shù)顯游標(biāo)卡尺3次測(cè)量莖稈取平均值得到莖粗(精度為0.01 mm);使用Epson Expression 12000XL型掃描儀(愛普生公司,分辨率0.01 mm2)掃描人工采摘并鋪平的葉片,得到葉面積數(shù)據(jù)。

1.2 深度學(xué)習(xí)使用的訓(xùn)練數(shù)據(jù)集制作

利用自動(dòng)化圖像采集平臺(tái),共拍攝了281幅原始圖像數(shù)據(jù)集。為了提高網(wǎng)絡(luò)模型的精度和泛化性能,將訓(xùn)練集通過數(shù)據(jù)增強(qiáng)的方式進(jìn)行擴(kuò)充。分別通過圖像旋轉(zhuǎn)(45°、90°)、亮度調(diào)整(0.8倍和1.3倍)、對(duì)比度增強(qiáng)至0.8,數(shù)據(jù)集擴(kuò)充到原來的5倍,其中訓(xùn)練集975幅,測(cè)試集430幅。人工使用數(shù)據(jù)標(biāo)注軟件對(duì)黃瓜苗的近紅外圖像進(jìn)行標(biāo)注,以生成深度學(xué)習(xí)需要的訓(xùn)練數(shù)據(jù)集。使用 LabelMe 軟件對(duì)黃瓜苗近紅外圖像中的葉片和莖稈輪廓進(jìn)行標(biāo)注,只標(biāo)注未遮擋部分的輪廓,對(duì)于一幅圖中的同一類標(biāo)簽用不同的順序進(jìn)行標(biāo)注,標(biāo)注信息將會(huì)保存到與原圖像對(duì)應(yīng)的json文件中;使用LabelImg軟件對(duì)冠層RGB-D圖像中的生長點(diǎn)用矩形框進(jìn)行標(biāo)注,標(biāo)注信息將會(huì)保存到與原圖像對(duì)應(yīng)的xml文件中。共制作了1 405幅近紅外圖、RGB-D對(duì)齊圖用于網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練數(shù)據(jù)集的制作如圖2所示。

圖2 訓(xùn)練數(shù)據(jù)集制作

2 黃瓜苗3D表型無損測(cè)量方法

本文技術(shù)流程圖如圖3所示。使用自動(dòng)化圖像采集平臺(tái)拍攝俯視視角和側(cè)視視角下的黃瓜苗。俯視視角圖像用于葉片數(shù)、葉面積、株高、生長點(diǎn)等表型參數(shù)測(cè)量;側(cè)視視角圖像序列用于下胚軸長、莖粗表型參數(shù)測(cè)量。為驗(yàn)證無損測(cè)量的準(zhǔn)確程度,對(duì)無損測(cè)量結(jié)果與人工測(cè)量結(jié)果進(jìn)行了比較分析。

圖3 黃瓜苗3D表型無損測(cè)量技術(shù)流程圖

2.1 基于Mask R-CNN的黃瓜苗圖像分割算法

Mask R-CNN是在Faster R-CNN目標(biāo)檢測(cè)模型的基礎(chǔ)上增加了Mask分支,并用ROI Align改進(jìn)原有的ROI Pooling模塊,解決了Faster R-CNN區(qū)域匹配存在誤差的問題[15]。Mask R-CNN網(wǎng)絡(luò)的處理流程如圖4所示,Mask R-CNN網(wǎng)絡(luò)模型由主干網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)、感興趣區(qū)域?qū)R層和R-CNN共 4個(gè)模塊構(gòu)成[16]。主干網(wǎng)絡(luò)由殘差網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)構(gòu)成,對(duì)輸入圖像進(jìn)行特征提取并生成多尺度特征圖,區(qū)域生成網(wǎng)絡(luò)的作用是生成目標(biāo)候選區(qū)域,完成特征圖中前后景目標(biāo)分類和邊界框的回歸,并獲取前景目標(biāo)的粗略位置;感興趣區(qū)域?qū)R層是進(jìn)一步對(duì)特征圖進(jìn)行像素校正,然后分別輸入全連接層與全卷積網(wǎng)絡(luò)層;全連接層輸出含葉片邊緣邊界框位置和分類得分,全卷積網(wǎng)絡(luò)層輸出葉片區(qū)域掩膜。最后,R-CNN模塊綜合各分支輸出信息,得到一幅包含黃瓜苗器官類別、器官定位邊界框和器官分割掩膜的圖像。Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)模型是在Tensorflow-Gpu 1.13.2,Keras 2.1.5深度學(xué)習(xí)框架下展開,基于Windows 10 64位操作系統(tǒng),處理器為Inter Xeon E5-2650,顯卡為Nvidia Quadro p4000,訓(xùn)練每次迭代批處理量為1。

圖4 Mask R-CNN網(wǎng)絡(luò)分割葉片和莖稈示意圖

在使用Azure Kinect相機(jī)時(shí),由于深度攝像頭和彩色攝像頭相機(jī)間的視差導(dǎo)致使用開源函數(shù)Depth_Image_to_Color_Camera進(jìn)行RGB-D對(duì)齊造成明顯的顏色映射錯(cuò)誤,產(chǎn)生重影。為了解決此問題,本文提出一種改進(jìn)的RGB-D對(duì)齊方法,如圖5所示。先對(duì)近紅外圖像使用實(shí)例分割網(wǎng)絡(luò)Mask R-CNN生成預(yù)測(cè)結(jié)果,再對(duì)預(yù)測(cè)結(jié)果進(jìn)行二值化,二值化結(jié)果與相機(jī)對(duì)齊結(jié)果進(jìn)行掩膜,該方法可以得到高質(zhì)量的對(duì)齊結(jié)果與器官圖像分割結(jié)果。

圖5 改進(jìn)冠層、側(cè)視視角RGB-D對(duì)齊方法流程圖

2.2 基于YOLO v5s網(wǎng)絡(luò)的黃瓜苗生長點(diǎn)檢測(cè)算法

YOLO v5網(wǎng)絡(luò)模型共有YOLO v5s、YOLO v5m、YOLO v5l和YOLO v5x等4個(gè)版本,其主要區(qū)別是網(wǎng)絡(luò)特征提取模塊的寬度和深度不同[17]。自動(dòng)化圖像采集平臺(tái)獲取的黃瓜苗圖像背景相對(duì)簡單,生長點(diǎn)與周圍壞境相比特征明顯,故選用YOLO v5系列中深度最小、速度最快的YOLO v5s網(wǎng)絡(luò)進(jìn)行黃瓜苗生長點(diǎn)的檢測(cè)。圖6為YOLO v5s的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。YOLO v5s 在結(jié)構(gòu)上分為 4 部分,分別為:①輸入端:將輸入圖像進(jìn)行預(yù)處理,調(diào)整到與網(wǎng)絡(luò)輸入的大小保持一致,進(jìn)行歸一化等操作,通過使用 Mosaic 數(shù)據(jù)增強(qiáng)提高目標(biāo)檢測(cè)的準(zhǔn)確性和訓(xùn)練速度。②Backbone:對(duì)圖像進(jìn)行卷積和切片操作,用于提取輸入圖像的特征。③Neck網(wǎng)絡(luò):采用 FPN+PAN 結(jié)構(gòu)進(jìn)一步提高對(duì)圖像的檢測(cè)精度。④預(yù)測(cè):采用非極大抑制的方法,消除干擾框,用于對(duì)目標(biāo)位置進(jìn)行預(yù)測(cè)。YOLO v5s網(wǎng)絡(luò)模型是在Tensorflow-Gpu 1.13.2,Keras 2.1.5深度學(xué)習(xí)框架下展開,基于Windows 10 64位操作系統(tǒng),處理器為Inter Xeon E5-2650,顯卡為Nvidia Quadro p4000,訓(xùn)練每次迭代批處理量為1。

圖6 YOLO v5s網(wǎng)絡(luò)預(yù)測(cè)流程圖

2.3 鄰域最值濾波改進(jìn)算法

點(diǎn)云中存在背景、離群和懸浮點(diǎn)這3種類型的噪聲。對(duì)點(diǎn)云進(jìn)行濾波是提高點(diǎn)云質(zhì)量和測(cè)量準(zhǔn)確性的重要環(huán)節(jié)。背景噪聲在上述的改進(jìn)RGB-D對(duì)齊方法中已被消除。離群噪聲使用統(tǒng)計(jì)濾波[18]去除。懸浮點(diǎn)噪聲使用鄰域最值濾波方法。然而該方法在有效去除懸浮點(diǎn)的同時(shí)也將部分目標(biāo)點(diǎn)云錯(cuò)誤剔除了,這不僅降低了點(diǎn)云質(zhì)量還影響了測(cè)量的結(jié)果。因此,本文提出了一種深度圖插值法,對(duì)鄰域最值濾波[4]的結(jié)果進(jìn)行進(jìn)一步處理,以恢復(fù)誤剔除的目標(biāo)點(diǎn)云。主要算法流程包括:

(1)首先,利用訓(xùn)練好的Mask R-CNN模型對(duì)黃瓜苗葉片進(jìn)行分割。

(2)然后,通過遍歷步驟(1)葉片分割后對(duì)應(yīng)的深度圖,檢索非0像素點(diǎn)的位置坐標(biāo)(xi,yi)。

(3)針對(duì)深度圖中坐標(biāo)為(xi,yi)的像素點(diǎn),計(jì)算其像素距離小于等于N的鄰域范圍內(nèi)某像素點(diǎn)的深度信息,并計(jì)算鄰域范圍內(nèi)的最值Zm。

(4)計(jì)算并與給定的閾值D比較,若任意一個(gè)大于D即判斷為懸浮點(diǎn),令像素點(diǎn)的像素值為0,去除該懸浮點(diǎn)。

(5)重復(fù)上述步驟,遍歷整幅深度圖。

(6)在步驟(5)結(jié)束后,同時(shí)遍歷二值圖和深度圖,檢索二值圖中像素值為255、深度圖中像素值為0的像素點(diǎn),搜索其像素距離小于等于M的鄰域范圍,將距離該像素點(diǎn)最近的像素點(diǎn)的深度信息進(jìn)行填充。

通過多次實(shí)驗(yàn)發(fā)現(xiàn),N為3、D為5、M為5時(shí)對(duì)黃瓜苗懸浮點(diǎn)的剔除效果最好,能夠?qū)崿F(xiàn)保邊去噪的效果。圖7展示了改進(jìn)鄰域最值濾波算法的效果,可以明顯看出葉片和莖稈點(diǎn)云在邊緣處的質(zhì)量得到大幅度的提升。

圖7 改進(jìn)的領(lǐng)域最值濾波算法效果

2.4 黃瓜苗表型計(jì)算方法

2.4.1葉片表型無損測(cè)量

Mask R-CNN網(wǎng)絡(luò)屬于實(shí)例分割網(wǎng)絡(luò),它不僅能夠分辨圖像中每個(gè)實(shí)例所包含的像素,也能統(tǒng)計(jì)每個(gè)類別的數(shù)量。本文利用Mask R-CNN網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果可同時(shí)獲取子葉和真葉的葉片數(shù)量與分割結(jié)果。利用Mask R-CNN生成的預(yù)測(cè)二值圖與原圖相乘,獲得僅包含葉片的圖像。再采用本文提出的鄰域最值濾波改進(jìn)算法,獲得單片葉片的三維點(diǎn)云。由于本文采用單視角測(cè)量黃瓜苗冠層表型,在拍攝時(shí)可能會(huì)存在葉片的遮擋,葉片遮擋處理有基于點(diǎn)云修復(fù)[19]和二維彩色信息修復(fù)。本文使用文獻(xiàn)[20]提出的一種針對(duì)無監(jiān)督圖像翻譯的循環(huán)生成對(duì)抗網(wǎng)絡(luò)CycleGAN對(duì)葉片的二維圖像進(jìn)行修復(fù)。因?yàn)橥N苗的同種類的葉片形狀具有高度的相似性,可以使用CycleGAN網(wǎng)絡(luò)對(duì)遮擋葉片進(jìn)行修復(fù),具體測(cè)量流程包括:

(1)Mask R-CNN分割種苗RGB-D圖像得到二值圖,遍歷二值圖中像素值為255的像素點(diǎn),計(jì)算其平均深度。

(2)使用CycleGAN網(wǎng)絡(luò)修復(fù)葉片RGB-D圖像。

(3)將修復(fù)結(jié)果的二值圖與原分割結(jié)果的二值圖相減,得到葉片被修復(fù)的部分。

(4)將步驟(1)得到的平均深度賦值給步驟(3)的修復(fù)部分對(duì)應(yīng)的深度圖。

(5)經(jīng)過以上步驟得到修復(fù)后的RGB-D葉片圖像和深度圖像,葉片的遮擋部分被修復(fù),轉(zhuǎn)換為葉片點(diǎn)云。

將得到的葉片點(diǎn)云進(jìn)行下采樣、點(diǎn)云濾波處理,再使用最小二乘法平滑點(diǎn)云數(shù)據(jù),最后采用貪婪投影三角化對(duì)葉片點(diǎn)云進(jìn)行三角面片化[21]。經(jīng)三角面片化后的葉片由若干個(gè)三角面片組成,再利用海倫公式,計(jì)算葉片包含的所有三角面片,累加求和后得到葉片面積A,公式為

(1)

其中

(2)

(3)

式中A——葉片面積,mm2

Ai——第i個(gè)三角形面積,mm2

a、b、c——三角形邊長,mm

pi——第i個(gè)三角形周長的一半,mm

n——三角形個(gè)數(shù)

2.4.2株高無損測(cè)量

株高是幼苗品質(zhì)判別的關(guān)鍵因子,株高定義為植株基部至主莖頂部即生長點(diǎn)的距離[10]。單株黃瓜苗株高測(cè)量示意圖如圖8所示。利用訓(xùn)練好的YOLO v5s網(wǎng)絡(luò)模型識(shí)別黃瓜苗的生長點(diǎn),然后將生長點(diǎn)像素坐標(biāo)映射到相應(yīng)深度圖中,可以測(cè)量出生長點(diǎn)距離相機(jī)平面的深度信息H2。為減小因深度相機(jī)成像誤差對(duì)測(cè)量精度造成的影響,本文在拍攝前,使用深度相機(jī)測(cè)量拍攝平面到相機(jī)平面的距離H1,使用直尺測(cè)量苗缽高度H3。株高測(cè)量示意圖如圖8所示,黃瓜種苗株高計(jì)算公式為

圖8 莖稈表型測(cè)量示意圖

(4)

式中H——株高,mm

β——最小外接矩形的傾斜角,(°)

2.4.3莖粗無損測(cè)量

莖稈與種苗的生長狀況密切相關(guān)[22]。黃瓜種苗莖稈較細(xì)且在整個(gè)生長期間粗細(xì)不均勻和Azure Kinect相機(jī)精度影響,莖粗無損測(cè)量的準(zhǔn)確率一直難以得到較高提升[23]。本文為提高黃瓜苗莖粗測(cè)量的準(zhǔn)確性,首先在測(cè)量時(shí)選擇固定的莖粗測(cè)量位置作為測(cè)量結(jié)果。本文莖粗測(cè)量方法是先利用Mask R-CNN對(duì)莖稈的分割圖使用minAreaRect函數(shù)找到莖稈的最小外接矩形,并得到最小外接矩形的參數(shù),包括傾斜角β。之后將莖稈部分4等分并計(jì)算等分線y1、y2和y3的y軸坐標(biāo),通過測(cè)量坐標(biāo)((xi,y1),(xi+1,y1),…,(xi+n1,y1));((xj,y2),(xj+1,y2),…,(xj+n2,y2));((xz,y3),(xz+1,y3),…,(xz+n3,y3))在深度中x軸方向上的相鄰像素點(diǎn)的實(shí)際距離并取其平均值作為相鄰兩點(diǎn)的實(shí)際距離。又因?yàn)榍o稈在生長過程中并不是直立生長的,會(huì)由于環(huán)境等因素造成莖稈產(chǎn)生不同程度的傾斜,故在y1、y2和y3處的莖粗只是莖稈在水平方向上的莖粗P1、P2和P3,再通過結(jié)合莖稈的傾斜角β,由Mask R-CNN提取出的下胚軸區(qū)域,即可測(cè)量出莖稈的實(shí)際莖粗d,莖粗測(cè)量示意圖如圖8所示,莖粗計(jì)算公式為

(5)

其中

式中d——莖稈的實(shí)際莖粗,mm

d1——y1位置的實(shí)際莖粗,mm

d2——y2位置的實(shí)際莖粗,mm

d3——y3位置的實(shí)際莖粗,mm

devx——x軸相鄰像素點(diǎn)的平均距離,mm

2.4.4下胚軸長度無損測(cè)量

下胚軸長度是地面與子葉節(jié)之間的距離[24]。為準(zhǔn)確測(cè)量黃瓜苗下胚軸長度,利用Mask R-CNN生成的莖稈的二值圖像與原圖像進(jìn)行像素相乘,獲得莖稈圖像。結(jié)合只包含有莖稈的二值圖像與深度圖像,通過測(cè)量y軸方向相鄰像素點(diǎn)之間的歐氏距離取平均值獲得黃瓜苗的胚軸部位在y軸方向的平均深度距離,再通過對(duì)二值圖中的下胚軸區(qū)域進(jìn)行骨架提取,計(jì)算出骨架所包含的像素?cái)?shù)量,根據(jù)計(jì)算出的深度圖在y軸方向上的兩點(diǎn)像素之間的平均距離,得到下胚軸長度,下胚軸長度測(cè)量示意圖如圖8所示,下胚軸長度計(jì)算公式為

L=Ndevy

(6)

式中L——下胚軸長度,mm

N——骨架所包含的像素?cái)?shù)量

devy——y軸相鄰像素點(diǎn)的平均距離,mm

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)例分割網(wǎng)絡(luò)檢測(cè)和分割性能評(píng)估

為了更加全面、客觀評(píng)價(jià)分析Mask R-CNN對(duì)黃瓜苗器官分割數(shù)據(jù)處理的可行性,將本文算法與使用場(chǎng)景較多的實(shí)例分割算法YOLACT進(jìn)行實(shí)驗(yàn)對(duì)比。YOLACT算法是一階段實(shí)例分割算法,即利用網(wǎng)絡(luò)自身的平移可變性這一特性,生成對(duì)不同實(shí)例產(chǎn)生不同響應(yīng)的特征圖,將特征圖進(jìn)行線性組合,進(jìn)而區(qū)分不同實(shí)例[25]。Mask R-CNN是二階段算法,即先通過錨框產(chǎn)生ROI區(qū)域,再對(duì)該區(qū)域進(jìn)行分類、邊界框回歸和掩膜預(yù)測(cè)。利用已有的黃瓜苗數(shù)據(jù)集分別對(duì)Mask R-CNN、YOLACT網(wǎng)絡(luò)進(jìn)行訓(xùn)練,并將訓(xùn)練好的網(wǎng)絡(luò)模型在測(cè)試集上進(jìn)行了實(shí)驗(yàn)分析。本實(shí)驗(yàn)采用掩膜交并比、準(zhǔn)確率、召回率和F1值作為模型指標(biāo)評(píng)價(jià)黃瓜苗器官分割數(shù)據(jù)處理結(jié)果。算法分割結(jié)果和真實(shí)結(jié)果區(qū)域面積的交并比,用以衡量模型器官分割精確度;又因?yàn)辄S瓜苗的葉片檢測(cè)包括葉片類型和數(shù)量,故采用準(zhǔn)確率、召回率和F1值作為模型評(píng)價(jià)指標(biāo)。準(zhǔn)確率表示在預(yù)測(cè)中正確預(yù)測(cè)樣本占模型認(rèn)為是正樣本的比例;召回率表示正確預(yù)測(cè)樣本占所有正樣本的比例,F1值表示準(zhǔn)確率和召回率的調(diào)和平均。考慮到真葉對(duì)作物生長后續(xù)階段的作用更大,故選用真葉的分割情況作為黃瓜苗真葉分割模型算法性能評(píng)估,表1是黃瓜苗真葉分割模型性能評(píng)價(jià)對(duì)比。

表1 黃瓜苗真葉分割模型性能評(píng)價(jià)對(duì)比

從表1可以看出,Mask R-CNN和YOLACT在紅外圖中對(duì)真葉識(shí)別的準(zhǔn)確率、F1值相同,但在掩膜交并比評(píng)價(jià)指標(biāo)下,Mask R-CNN高于YOLACT,而掩膜交并比數(shù)值越接近于1,該模型的分割性越好。因此,本文選擇了Mask R-CNN算法作為葉片分割算法,可以滿足后續(xù)表型測(cè)量的分割要求。

3.2 葉片表型檢測(cè)結(jié)果與分析

圖9為3個(gè)生長時(shí)期黃瓜苗真葉數(shù)和子葉數(shù)的算法計(jì)算與人工測(cè)量結(jié)果的對(duì)比圖。測(cè)量結(jié)果證明Mask R-CNN網(wǎng)絡(luò)能夠有效對(duì)黃瓜苗葉片進(jìn)行分類、識(shí)別、計(jì)數(shù)。隨著生長時(shí)期的變化,黃瓜苗葉片數(shù)測(cè)量產(chǎn)生的誤差也增大。誤差產(chǎn)生的主要原因是黃瓜苗從子葉時(shí)期到2葉1心時(shí)期,真葉從發(fā)芽到變大變多,導(dǎo)致子葉和真葉遮擋情況的發(fā)生,從而造成子葉和真葉的誤檢測(cè)。

圖9 黃瓜苗真葉和子葉數(shù)量的測(cè)量結(jié)果

利用冠層視角測(cè)量黃瓜苗葉面積時(shí),會(huì)因?yàn)橐暯菃栴},造成子葉和真葉的遮擋。但在大部分的遮擋情況是只存在于子葉的遮擋,又因?yàn)辄S瓜苗的子葉近似于橢圓形,故先通過改進(jìn)IP-basic算法[26]利用葉片未遮擋部分的輪廓對(duì)子葉進(jìn)行擬合,并對(duì)發(fā)生遮擋的子葉利用臨近像素間的深度信息恢復(fù)其缺失的深度信息。圖10為經(jīng)過改進(jìn)IP-basic算法對(duì)子葉進(jìn)行橢圓擬合后,真葉未處理,每一片葉面積的算法計(jì)算結(jié)果與人工測(cè)量結(jié)果擬合圖,葉面積測(cè)量結(jié)果與真實(shí)值相比決定系數(shù)R2分別為0.91、0.93、0.96,均方根誤差分別為0.25、1.00、1.14 mm2,平均絕對(duì)誤差分別為4.22%、9.62%、11.10%。

圖10 單片葉面積使用改進(jìn)IP-basic算法計(jì)算與人工測(cè)量的線性擬合結(jié)果

但是,僅考慮子葉的遮擋是不恰當(dāng)?shù)?在2葉1心時(shí)期,黃瓜苗的第2片真葉逐漸變大,可能會(huì)造成真葉的遮擋。為了解決子葉和真葉在葉面積測(cè)量中的遮擋問題,采用CycleGAN對(duì)抗網(wǎng)絡(luò)修復(fù)子葉和真葉的遮擋。圖11為經(jīng)過網(wǎng)絡(luò)修復(fù)的葉面積計(jì)算值與人工測(cè)量結(jié)果擬合圖,葉面積測(cè)量結(jié)果與真實(shí)值相比決定系數(shù)R2分別為0.95、0.95、0.83,均方根誤差分別為0.41、1.39、2.71 mm2,平均絕對(duì)誤差分別為3.80%、6.23%、7.20%。該測(cè)量結(jié)果表明,基于CycleGAN修復(fù)子葉和真葉,在單視角黃瓜苗測(cè)量是可行的。葉面積測(cè)量產(chǎn)生誤差的原因如下:部分葉片表面與相機(jī)成像平面成一個(gè)陡峭的角度,導(dǎo)致相機(jī)無法捕獲反射回的深度信息,造成了葉片點(diǎn)云缺失;在對(duì)鄰域最值濾波后的點(diǎn)云進(jìn)行矯正修補(bǔ)時(shí),存在誤差,造成了無損測(cè)量值的增大;在子葉時(shí)期和1葉1心時(shí)期,子葉幾乎是展平的,但是在2葉1心時(shí)期,子葉逐漸彎,導(dǎo)致利用基于CycleGAN葉面積測(cè)量時(shí)造成較大誤差。

圖11 CycleGAN修復(fù)葉面積與人工測(cè)量葉面積的線性擬合分析

3.3 株高測(cè)量結(jié)果與分析

本文通過準(zhǔn)確率、召回率和F1值來評(píng)價(jià)黃瓜苗生長點(diǎn)模型的檢測(cè)性能,表2為不同生長時(shí)期黃瓜苗在置信度為0.7時(shí)生長點(diǎn)模型評(píng)價(jià)數(shù)據(jù)。通過表2可以看出YOLO v5s對(duì)子葉、1葉1心、2葉1心時(shí)期的黃瓜苗生長點(diǎn)識(shí)別具有較為準(zhǔn)確的識(shí)別精度。

表2 置信度為0.7時(shí)生長點(diǎn)檢測(cè)結(jié)果評(píng)估

圖12為3個(gè)生長期黃瓜苗的株高算法計(jì)算與人工測(cè)量結(jié)果擬合圖。株高測(cè)量結(jié)果與真實(shí)值相比決定系數(shù)R2分別為0.90、0.90、0.92,均方根誤差分別為1.78、1.52、1.73 mm,平均絕對(duì)誤差分別為4.72%、3.56%、3.83%。

圖12 黃瓜苗株高算法計(jì)算值與人工測(cè)量值線性擬合分析

株高產(chǎn)生測(cè)量誤差原因如下:植物在生長過程中具有趨光性,這導(dǎo)致在整盤育苗時(shí)位于穴盤邊緣的種苗會(huì)出現(xiàn)向光源彎曲生長,這造成了株高測(cè)量誤差較大;在進(jìn)行人工測(cè)量時(shí),穴盤基質(zhì)平面不平整導(dǎo)致了測(cè)量誤差。

3.4 莖粗測(cè)量結(jié)果與分析

圖13為3個(gè)生長時(shí)期莖粗算法計(jì)算和人工測(cè)量結(jié)果擬合圖。莖粗測(cè)量結(jié)果與真實(shí)值相比決定系數(shù)R2為0.83、0.88、0.91,均方根誤差分別為0.14、0.16、0.12 mm,平均絕對(duì)誤差分別為8.59%、6.79%、4.16%。該測(cè)量結(jié)果表明,算法測(cè)量黃瓜苗莖粗誤差較大。實(shí)驗(yàn)結(jié)果雖在誤差允許的范圍內(nèi),但仍需要進(jìn)一步改善,提高表型測(cè)量的精度。

圖13 黃瓜苗莖粗算法計(jì)算值與人工測(cè)量值線性擬合分析

莖粗測(cè)量誤差主要原因如下:子葉時(shí)期的黃瓜苗莖稈部分纖細(xì),一旦獲取到的莖稈深度數(shù)據(jù)缺失一部分,莖粗測(cè)量誤差就較大;莖稈的橫截面類似橢圓,測(cè)量結(jié)果與相機(jī)正對(duì)被測(cè)苗的方向有關(guān)。

3.5 下胚軸長測(cè)量結(jié)果與分析

圖14為3個(gè)生長期黃瓜苗下胚軸長算法計(jì)算和人工測(cè)量結(jié)果擬合圖。下胚軸長測(cè)量結(jié)果與真實(shí)值相比決定系數(shù)R2為0.90、0.92、0.92,均方根誤差分別為1.12、0.88、1.02 mm,平均絕對(duì)誤差分別為4.61%、2.69%、2.49%。測(cè)量結(jié)果表明,本研究提出的測(cè)量方法精確度較高,可以較好地替代人工測(cè)量。下胚軸長產(chǎn)生誤差原因:受子葉時(shí)期的黃瓜苗莖稈纖細(xì)程度和相機(jī)精度影響,深度圖可能丟失部分深度信息,造成測(cè)量誤差。

圖14 黃瓜苗下胚軸長算法計(jì)算值與人工測(cè)量值線性擬合分析

4 結(jié)論

(1)設(shè)計(jì)了一套自動(dòng)化的RGB-D圖像采集平臺(tái),可以滿足自動(dòng)化的種苗表型檢測(cè)需求,不僅減輕了圖像數(shù)據(jù)采集的工作強(qiáng)度,還提高了黃瓜苗表型檢測(cè)的效率,兼顧測(cè)量的全面性、精確性和高通量需求。

(2)設(shè)計(jì)了一系列基于黃瓜苗圖像的深度學(xué)習(xí)分割算法。通過Mask R-CNN網(wǎng)絡(luò)分割俯視角度下的黃瓜苗紅外圖,再將Mask R-CNN的分割結(jié)果與RGB-D對(duì)齊圖掩膜,得到RGB-D圖像中真葉、子葉的分割結(jié)果,其中真葉分割結(jié)果的掩膜交并比在0.94以上;使用YOLO v5s網(wǎng)絡(luò)檢測(cè)RGB-D圖像中的黃瓜苗生長點(diǎn),置信度為0.7的情況下生長點(diǎn)預(yù)測(cè)準(zhǔn)確率均在97.96%以上。

(3)提出了單株黃瓜苗表型參數(shù)的計(jì)算方法。針對(duì)獲取的黃瓜苗三維點(diǎn)云,設(shè)計(jì)了一系列點(diǎn)云計(jì)算方法,通過相關(guān)的方法計(jì)算黃瓜苗葉片數(shù)、葉面積、株高、下胚軸長和莖粗等參數(shù)。實(shí)驗(yàn)結(jié)果表明,本文方法滿足種苗科研所需的測(cè)量精度要求,可較好地替代人工測(cè)量方式。