基于多視角時(shí)間序列圖像的植物葉片分割與特征提取

婁 路 呂 惠 宋 然

(1.重慶交通大學(xué)信息科學(xué)與工程學(xué)院, 重慶 400074; 2.山東大學(xué)控制科學(xué)與工程學(xué)院, 濟(jì)南 250061)

0 引言

植物表型是指植物可測(cè)量的特征和性狀, 是植物受自身基因和生長環(huán)境相互作用的結(jié)果, 也是決定農(nóng)作物產(chǎn)量、品質(zhì)和抗逆性等性狀的重要因素[1]。傳統(tǒng)的植物表型研究主要依靠手動(dòng)測(cè)量和專家經(jīng)驗(yàn),效率低且具有很強(qiáng)的主觀性。隨著植物功能基因組學(xué)和作物分子育種研究的深入,傳統(tǒng)的表型觀測(cè)已經(jīng)成為制約其發(fā)展的主要瓶頸,而新興的植物表型分析技術(shù)成為解決這一問題的有效途徑[2]。在植株表型測(cè)量中,為實(shí)現(xiàn)各器官相關(guān)表型的精確測(cè)量,比如對(duì)葉子形態(tài)(包括葉面積、葉片數(shù)量、葉傾角、葉脈等)、莖形態(tài)、果實(shí)特征等表型的測(cè)量,則對(duì)植物的各器官進(jìn)行高精度分割是非常重要的前提條件[3]。其中,植物莖葉自遮擋現(xiàn)象比較嚴(yán)重,因此植物莖葉的高精度分割研究成為植物表型研究領(lǐng)域的熱點(diǎn)與難點(diǎn)之一。

近年來,隨著計(jì)算機(jī)視覺技術(shù)的不斷成熟,基于圖像的植物表型研究成為農(nóng)業(yè)研究的熱門領(lǐng)域。早期基于圖像的植物表型研究主要是利用圖像處理技術(shù)、機(jī)器學(xué)習(xí)算法和葉子的形狀特征等[4-12]實(shí)現(xiàn)植物葉片的分割,并進(jìn)行葉片計(jì)數(shù)、病蟲害檢測(cè)和植物識(shí)別等表型研究。隨著植物表型研究的深入以及深度學(xué)習(xí)算法的快速發(fā)展,在植物圖像的分析和識(shí)別中出現(xiàn)了新的挑戰(zhàn)和需求,即滿足高精度的植物表型數(shù)據(jù)需求成為植物表型研究的重點(diǎn)[13-22]。深度學(xué)習(xí)算法能夠?qū)崿F(xiàn)植物表型更高精度地提取和測(cè)量,這不僅僅局限于植物的單一器官。在植物分割領(lǐng)域目前仍集中于葉片分割[14]。針對(duì)植物幼苗時(shí)期葉片的表型研究問題(如葉片分割、葉片計(jì)數(shù)、葉子跟蹤和定位等),2014年召開的歐洲計(jì)算機(jī)視覺會(huì)議上舉辦了葉子分割挑戰(zhàn)賽并公開了其數(shù)據(jù)集[15](Computer vision problems in plant phenotyping, CVPPP)。國內(nèi)外的研究者基于此數(shù)據(jù)集進(jìn)行研究并取得了很多成果[16-22]。XI等[16]提出利用具有10個(gè)單位隱藏層的前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行前景/背景分割,降低背景干擾,再利用分水嶺算法進(jìn)行葉片分割,并實(shí)現(xiàn)葉片計(jì)數(shù),但分割效果并不理想,對(duì)稱最佳骰子(Symmetric best dice, SBD)分?jǐn)?shù)[17]只有71.1%。ROMERA-PAREDES等[18]首先提出基于遞歸神經(jīng)網(wǎng)絡(luò)的循環(huán)實(shí)例分割算法,但葉子分割效果很差,之后在此算法基礎(chǔ)上進(jìn)行改進(jìn),使用條件隨機(jī)場(chǎng)(Conditional random field, CRF)作為后處理,盡管分割結(jié)果有所改善,SBD分?jǐn)?shù)提升了10個(gè)百分點(diǎn)左右,但SBD分?jǐn)?shù)也只達(dá)到66.6%。隨后,REN等[19]提出一種具有注意力機(jī)制的端到端遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)用于植物葉片的實(shí)例分割,該算法不僅解決了部分遮擋問題,且實(shí)現(xiàn)了精細(xì)分割,分割效果有很大提升,即SBD分?jǐn)?shù)達(dá)到84.9%。KULIKOV等[20]從語義分割角度思考,首先提出一種將實(shí)例分割簡(jiǎn)化為語義分割的新方法,以端到端的方式訓(xùn)練實(shí)例分割,網(wǎng)絡(luò)架構(gòu)可以利用標(biāo)準(zhǔn)的語義分割架構(gòu)。此算法不需要受到常規(guī)實(shí)例分割方法中的對(duì)象建議和邊界框檢測(cè)的限制,因此在小型數(shù)據(jù)集上也能得到很好的分割效果。同樣地,BRABANDERE等[21]和KULIKOV等[22]分別提出基于判別損失函數(shù)和基于正弦波嵌入式網(wǎng)絡(luò)對(duì)植物圖像進(jìn)行實(shí)例分割,2種方法在葉子實(shí)例細(xì)分上表現(xiàn)出很大競(jìng)爭(zhēng)優(yōu)勢(shì),且后一種方法是目前在擬南芥幼苗期的葉片分割算法中表現(xiàn)最好的,其SBD分?jǐn)?shù)達(dá)到89.9%。

上述研究大多是以植物幼苗為研究對(duì)象,即分割類別只有葉子一類,并沒有實(shí)現(xiàn)植物莖葉的分割,也沒有實(shí)現(xiàn)針對(duì)植物全生長周期的通用性分割模型。隨著植物的生長,植物的自遮擋問題越來越嚴(yán)重,導(dǎo)致植物表型測(cè)量更加困難。Mask-RCNN[23]是專門進(jìn)行實(shí)例分割的深度學(xué)習(xí)算法,能同時(shí)實(shí)現(xiàn)多目標(biāo)檢測(cè)和實(shí)例分割。因此本文擬采用Mask-RCNN算法實(shí)現(xiàn)植物莖葉的實(shí)例分割,然后結(jié)合目標(biāo)檢測(cè)結(jié)果,以期利用基于多視角圖像的葉子跟蹤算法解決葉片遮擋問題,并能夠計(jì)算出葉片數(shù)量和葉片面積。

1 材料與方法

1.1 數(shù)據(jù)集

使用CVPPP數(shù)據(jù)集中常用的A1序列(擬南芥幼苗),該序列有128幅圖像,每幅圖像的分辨率為500像素×530像素。該數(shù)據(jù)集是擬南芥幼苗的單視角圖像(俯視圖)。

除公共數(shù)據(jù)集外,本文還使用了自采集的擬南芥、玉米和酸漿屬植物3種植物在不同生長時(shí)期的多角度圖像。這些植物生長在自動(dòng)控制環(huán)境(溫室大棚)中,溫度設(shè)置在15～20℃之間,并配有輔助燈光照明。自采集設(shè)備主要是帶有變焦鏡頭的普通高分辨率數(shù)碼相機(jī)(佳能Canon 600D型)、三角支架、漫反射補(bǔ)光燈和一個(gè)簡(jiǎn)易電動(dòng)轉(zhuǎn)盤。在拍攝時(shí),相機(jī)的擺放位置距離植物0.5～2 m,根據(jù)植物形態(tài)不同,可采用豎向(肖像模式)或橫向(風(fēng)景模式)拍攝,確保整個(gè)植物位于相機(jī)取景框范圍之內(nèi)。相機(jī)鏡頭的水平位置略高于植物,拍攝角度約為45°,鏡頭聚焦點(diǎn)瞄準(zhǔn)植物主莖的下部而不是頂部或葉片表面,拍攝開始前鎖定自動(dòng)變焦開關(guān)(禁止自動(dòng)調(diào)焦)。同時(shí),為了提高拍攝圖像的清晰度,減少陰影(通常是由植物自身遮擋引起的),使用了2個(gè)漫射照明燈和黑色背景[24],拍攝實(shí)際場(chǎng)景如圖1所示,拍攝裝置平面示意圖如圖2所示。在成像過程中,植物臨時(shí)從溫室大棚轉(zhuǎn)移到轉(zhuǎn)盤上。轉(zhuǎn)盤勻速順時(shí)針轉(zhuǎn)動(dòng),約1.5 r/min,相機(jī)采用自動(dòng)快門連續(xù)拍攝模式,從而得到360°全方位視角的植物圖像序列,拍攝圖像編號(hào)依次遞增,原始圖像分辨率很高,為2 304像素×3 456像素。植物的整個(gè)拍攝過程通常在2～3 min內(nèi)可以完成。針對(duì)植物形態(tài)結(jié)構(gòu)的復(fù)雜程度,本文選擇間隔3°～6°拍攝1幅圖像,并將原始圖像分辨率降低一半進(jìn)行實(shí)驗(yàn),以提高運(yùn)算性能。實(shí)驗(yàn)由英國阿伯里斯特威斯大學(xué)IBERS學(xué)院英國國家植物表型組研究中心(NPPC)[25]的成員提供了植物樣本和圖像采集方面的幫助,由中心主任JOHN H D教授提供實(shí)驗(yàn)指導(dǎo)。

圖1 多視角二維圖像拍攝裝置Fig.1 Multi-view 2-D imaging setup

圖2 拍攝裝置示意圖Fig.2 Illustration of imaging setup1.背景 2.照明燈 3.相機(jī) 4.計(jì)算機(jī) 5.轉(zhuǎn)盤

本文自采集的擬南芥數(shù)據(jù)包括4個(gè)時(shí)間序列的圖像,按照擬南芥的生長周期長短依次命名為M1～M4,其中M1數(shù)據(jù)集圖像是在擬南芥播種后28 d左右拍攝的,M2～M4數(shù)據(jù)集圖像則是在M1數(shù)據(jù)采集之后每間隔3～4 d持續(xù)追蹤同一株擬南芥生長過程拍攝的。自采集的酸漿屬植物數(shù)據(jù)集(L1、L2)和玉米數(shù)據(jù)集(P1、P2)是分別拍攝采集2株酸漿屬植物和2株玉米得到的。本文將擬南芥的M1數(shù)據(jù)集、玉米的P1數(shù)據(jù)集和酸漿屬植物的L1數(shù)據(jù)集作為訓(xùn)練集,分別為166、60、120幅圖像,樣本圖像如圖3所示。本文為測(cè)試模型對(duì)植物分割的通用性,將擬南芥的M2～M4數(shù)據(jù)集、玉米的P2數(shù)據(jù)集和酸漿屬植物的L2數(shù)據(jù)集作為測(cè)試集,每個(gè)測(cè)試集各包含10幅圖像。

圖3 標(biāo)注過程Fig.3 Illustration of labelling process

1.2 圖像標(biāo)注

采用Labelme工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注。CVPPP數(shù)據(jù)集的A1序列(擬南芥)有128幅圖像,且分辨率不高,均為500像素×530像素。A1序列中擬南芥是幼苗植株,因此只有葉子1個(gè)標(biāo)注類,標(biāo)注后的結(jié)果如圖3第1行圖像所示。

在自采集的訓(xùn)練數(shù)據(jù)集中,擬南芥(M1)、玉米(P1)和酸漿屬植物(L1)3種植物的樣本圖像數(shù)量分別為166、60、120幅。由于圖像中擬南芥幼苗體積小,所占圖像面積的比例較小(無用背景區(qū)域較多),本文先裁剪出圖像中擬南芥區(qū)域后再進(jìn)行標(biāo)注,裁剪后圖像分辨率為800像素×380像素。自采集擬南芥數(shù)據(jù)集與CVPPP數(shù)據(jù)集的A1序列中標(biāo)注類別相同,只有葉子1個(gè)類,標(biāo)注后的樣本圖像如圖3第2行所示。由于實(shí)驗(yàn)平臺(tái)采用的圖形處理器(Graphics processing unit, GPU)的顯存容量限制, 自采集的玉米和酸漿屬植物圖像需要進(jìn)一步降低圖像分辨率才能保證訓(xùn)練實(shí)驗(yàn)正常進(jìn)行。玉米和酸漿屬植物數(shù)據(jù)集的圖像分辨率分別被降至600像素×400像素和400像素×600像素。玉米的標(biāo)注類別分為葉子和莖2類,而酸漿屬植物的標(biāo)注類別分為莖、葉柄和葉3類, 其中葉柄是指葉子和莖干相連的部分,具體的標(biāo)注結(jié)果如圖3第3行和第4行所示。

1.3 植物分割實(shí)驗(yàn)方法

1.3.1Mask-RCNN算法基礎(chǔ)框架

Mask-RCNN算法因能精確地保存像素的空間位置以及完成逐像素的掩膜預(yù)測(cè),使得最終的模型不僅能夠進(jìn)行目標(biāo)檢測(cè)和分類,也能進(jìn)行實(shí)例分割,而其他的神經(jīng)網(wǎng)絡(luò)算法(如YOLO、RCNN等)并不能滿足本文的要求,即同時(shí)實(shí)現(xiàn)目標(biāo)檢測(cè)和實(shí)例分割。Mask-RCNN算法的主干網(wǎng)絡(luò)通常是采用殘差網(wǎng)絡(luò)ResNet101或ResNet50,經(jīng)過實(shí)驗(yàn)對(duì)比,本文決定采用ResNet101。從網(wǎng)絡(luò)的底層到高層依次提取出植物圖像的低級(jí)特征(邊緣和角等)和高級(jí)特征(葉片和莖等),再使用特征金字塔網(wǎng)絡(luò)(Feature pyramid networks, FPN)將高級(jí)特征傳入底層,使其與低級(jí)特征融合,形成特征圖輸入到區(qū)域建議網(wǎng)絡(luò)(Region proposal networks, RPN)中。RPN通過分布在特征圖中不同尺寸的錨框(anchor)尋找存在目標(biāo)的區(qū)域,形成區(qū)域建議框,并且每個(gè)建議框有2個(gè)輸出,分別是anchor的前景/背景分類和前景邊框。隨后對(duì)建議框進(jìn)行分類并生成掩膜(Mask)和邊界框(BBox)。其中,分類器是對(duì)建議框進(jìn)行具體分類(葉子、莖等類別)和邊框精調(diào),實(shí)現(xiàn)目標(biāo)檢測(cè)功能。最后經(jīng)過1個(gè)全卷積網(wǎng)絡(luò)(Fully convolutional network, FCN)對(duì)建議框進(jìn)行掩膜生成,完成圖像實(shí)例分割,具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 Mask-RCNN 結(jié)構(gòu)圖Fig.4 Framework of Mask-RCNN

1.3.2模型訓(xùn)練

本文的實(shí)驗(yàn)運(yùn)行環(huán)境為安裝Windows 10操作系統(tǒng)的計(jì)算機(jī)服務(wù)器,CPU為Intel E5-2678V3,GPU顯卡為GTX1080Ti。編程語言為Python 3.7,采用Tensorflow 1.12.0和OpenCV 3.4軟件庫。模型訓(xùn)練時(shí),將學(xué)習(xí)率設(shè)置為0.01,動(dòng)量默認(rèn)設(shè)置為0.9,batch size設(shè)為4,其他參數(shù)為默認(rèn)值。實(shí)驗(yàn)選擇的Mask-RCNN的主干網(wǎng)絡(luò)為 ResNet101,訓(xùn)練階段首先迭代40次用于訓(xùn)練調(diào)整網(wǎng)絡(luò)的heads層,然后迭代80次用于從ResNet的階段4開始微調(diào),最后對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行調(diào)整,迭代40次。每一個(gè)訓(xùn)練總共迭代160次,大約需要訓(xùn)練8 h。

1.3.3評(píng)估方法

本文目的是對(duì)植物的莖葉進(jìn)行較好的分割和分類,即實(shí)現(xiàn)目標(biāo)檢測(cè)和實(shí)例分割,因此需要采用不同的評(píng)價(jià)指標(biāo)分別對(duì)模型性能進(jìn)行評(píng)估。針對(duì)模型的目標(biāo)檢測(cè)性能,本文采用的評(píng)價(jià)指標(biāo)是類別平均精度[26](Mean average precision, mAP0.5),當(dāng)交并比(IOU)大于等于0.5時(shí)精度(AP)定義為AP0.5。對(duì)于實(shí)例分割部分,本文采用平均交并比(Mean intersection over union, mIOU)進(jìn)行評(píng)價(jià)。因此,在目標(biāo)檢測(cè)中,當(dāng)IOU大于等于0.5時(shí),該預(yù)測(cè)框檢測(cè)正確;當(dāng)IOU小于0.5時(shí),該預(yù)測(cè)框檢測(cè)錯(cuò)誤。

1.4 葉子跟蹤方法

遮擋問題是基于圖像的植物表型研究的難點(diǎn)之一,在單一視角采集的植物圖像中,感興趣的表型特征可能因?yàn)槠鞴僬趽鯇?dǎo)致提取困難或提取錯(cuò)誤。本文針對(duì)該問題提出了新思路:利用多視角植物圖像中的特征匹配實(shí)現(xiàn)葉子目標(biāo)的跟蹤,部分解決遮擋導(dǎo)致的葉子識(shí)別問題。以本文使用的酸漿屬植物數(shù)據(jù)集(L1)為例,采用尺度不變特征變換(Scale invariant feature transform, SIFT)[27]算法進(jìn)行特征點(diǎn)檢測(cè)與匹配,利用投票策略和選取最大值的方法,完成時(shí)間序列圖像中多葉子目標(biāo)的動(dòng)態(tài)跟蹤與計(jì)數(shù)。詳細(xì)的跟蹤實(shí)現(xiàn)方法描述為：

Input:2幅植物不同角度圖像(原圖像Pt+1和目標(biāo)圖像Pt+2)

(1)對(duì)Pt+1和Pt+2進(jìn)行特征點(diǎn)檢測(cè)和匹配

(3)使用Mask-RCNN模型對(duì)Pt+1和Pt+2進(jìn)行分割

(4)得到Pt+1和Pt+2目標(biāo)識(shí)別框bi(i=0,1,…,n)和bj(j=0,1,…,m)

(5)初始化k=0,i=0,j=0,matches=[]∥k為特征點(diǎn)對(duì)序號(hào),i和j分別為Pt+1和Pt+2的識(shí)別框下標(biāo),matches用于存儲(chǔ)匹配好的實(shí)例

(6) ifk≤r

(7) ifj≤mand (xk2,yk2)?bj

(8) ifi≤nand (xk1,yk1)?bi

(9) 將(i,j)保存到matches中

(10) elsei+1 then Goto(9)

(11) elsej+1 then Goto(8)

(12) elsek+1 then Goto(8)

(13)matches集合中每個(gè)實(shí)例對(duì)應(yīng)關(guān)系以少數(shù)服從多數(shù)原則,確定最后的匹配結(jié)果

output:輸出葉子跟蹤后的分割效果圖

2 實(shí)驗(yàn)與結(jié)果分析

2.1 擬南芥數(shù)據(jù)集分割

針對(duì)單視角的CVPPP數(shù)據(jù)集,本文將其A1序列按照4∶1∶1的比例隨機(jī)取樣構(gòu)建了訓(xùn)練集、驗(yàn)證集和測(cè)試集[28]。所采用的Mask-RCNN模型在訓(xùn)練集和驗(yàn)證集上的實(shí)驗(yàn)耗時(shí)約8 h,最終損失率降低至0.092。然后將訓(xùn)練好的模型在測(cè)試集上進(jìn)行測(cè)試,實(shí)驗(yàn)效果良好,精度性能指標(biāo)mAP0.5和mIOU分別為85.3%和73.4%。某個(gè)測(cè)試的可視化結(jié)果如圖5第1行第3列圖像所示,葉片遮擋對(duì)檢測(cè)精度有一定影響:對(duì)于遮擋較重的2片葉子,模型不能正確地將它們分割為不同的實(shí)例對(duì)象;而被莖干遮擋分成2部分的同片葉片(遮擋不嚴(yán)重),模型識(shí)別基本正確,仍將其分類為一個(gè)實(shí)例對(duì)象。由此可以看出,基于單一視角的植物圖像分割受遮擋影響較大且很難解決。

圖5 擬南芥分割可視化結(jié)果Fig.5 Visualization results of Arabidopsis segmentation

對(duì)于自采集的擬南芥數(shù)據(jù)集,本文進(jìn)行了組合對(duì)比實(shí)驗(yàn),即從M1數(shù)據(jù)集中隨機(jī)抽取100幅圖像作為訓(xùn)練集B,也將訓(xùn)練集B與CVPPP的A1序列中的80幅圖像混合為1個(gè)訓(xùn)練集C。在這2個(gè)訓(xùn)練集上分別進(jìn)行實(shí)驗(yàn),模型訓(xùn)練精度較高,損失率分別降至0.094和0.090。

為驗(yàn)證Mask-RCNN算法在植物莖葉分割領(lǐng)域的泛化能力,本文繼續(xù)進(jìn)行對(duì)比分析實(shí)驗(yàn),將以上3個(gè)數(shù)據(jù)集訓(xùn)練得到的Mask-RCNN模型分別在擬南芥不同生長周期的數(shù)據(jù)集(A1和M1～M4)上進(jìn)行分割測(cè)試實(shí)驗(yàn),目標(biāo)檢測(cè)和分割評(píng)估結(jié)果如表1和表2所示。從表1、2可以得到:①隨著生長周期的延展,擬南芥不斷長出了新葉片,形態(tài)變化顯著,整體上分割精度有小幅度的下降,但是mAP0.5基本都大于70.0%,mIOU也基本都在60.0%以上。②如果訓(xùn)練集中植物樣本類型越多(包含更多生長周期植物圖像),分割和識(shí)別精度也將會(huì)有所提高。如M4測(cè)試集的分割可視化樣本圖像所示,A1序列的訓(xùn)練模型(圖5c)在測(cè)試時(shí)存在一片葉片的一部分被重復(fù)識(shí)別為單個(gè)實(shí)例,訓(xùn)練集B訓(xùn)練出的模型(圖5d)對(duì)部分葉片的識(shí)別和分割不完全,存在葉片部分邊緣分割缺失,導(dǎo)致分割精度降低,而訓(xùn)練集C訓(xùn)練出的模型(圖5e)并沒有出現(xiàn)重復(fù)識(shí)別的情況,且分割精度較高。

表1 擬南芥在不同時(shí)期目標(biāo)檢測(cè)結(jié)果(mAP0.5)Tab.1 Target detection results of Arabidopsis in different periods (mAP0.5) %

表2 擬南芥在不同時(shí)期的分割評(píng)估結(jié)果(mIOU)Tab.2 Segmentation results of Arabidopsis in different periods (mIOU) %

2.2 玉米和酸漿屬植物分割

玉米和酸漿屬植物屬于多實(shí)例分割,其中玉米分為葉子和莖2類,而酸漿屬植物則有葉子、莖干和葉柄3類。本實(shí)驗(yàn)從自采集的玉米(P1)和酸漿屬植物(L1)數(shù)據(jù)集中分別隨機(jī)抽取40幅和72幅圖像作為訓(xùn)練集,玉米和酸漿屬植物的分割模型在訓(xùn)練時(shí)參數(shù)與擬南芥分割模型訓(xùn)練時(shí)的參數(shù)設(shè)置保持一致,2個(gè)模型訓(xùn)練的最終損失率分別降至0.075和0.083。

與擬南芥的分割模型測(cè)試方式相同,本文將訓(xùn)練好的模型在同一植物不同生長時(shí)期進(jìn)行對(duì)比測(cè)試,盡管玉米結(jié)構(gòu)相對(duì)復(fù)雜和葉片扭曲嚴(yán)重,酸漿屬植物存在葉片遮擋等問題,但最終2個(gè)分割模型測(cè)試實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)mAP0.5也都達(dá)到70.0%。玉米的分割可視化結(jié)果如圖6第1行所示。從圖6中可以看出:①玉米葉片細(xì)長且存在扭曲,表面紋理差異明顯,導(dǎo)致該葉片可能被錯(cuò)誤識(shí)別成2段。②在玉米的P2時(shí)期,mAP0.5仍達(dá)到74.4%,但mIOU僅為54.4%,主要原因也在于玉米葉片的扭曲,使得在分割時(shí)識(shí)別不完全,從而導(dǎo)致分割精度很低。酸漿屬植物的測(cè)試結(jié)果可視化樣本如圖6第2行所示。可以看出,在L2測(cè)試集上,由于酸漿葉之間相互遮擋嚴(yán)重,導(dǎo)致實(shí)例對(duì)象的漏檢,最后的mAP0.5只為70.0%左右,mIOU也只達(dá)到58.1%。遮擋問題一直是植物表型研究中的一個(gè)重點(diǎn)和難點(diǎn)[11]。

圖6 玉米和酸漿屬植物分割可視化結(jié)果Fig.6 Visualization results of maize and physalis segmentation

2.3 葉片跟蹤和葉面積估算實(shí)驗(yàn)

在植物表型研究中,葉片數(shù)目的準(zhǔn)確計(jì)算和葉面積的無損測(cè)量是研究目標(biāo)之一。本文在完成植物分割基礎(chǔ)上,首先采用分辨率為400像素×600像素的酸漿屬植物圖像進(jìn)行特征匹配, 但是跟蹤效果較差,只有50%左右的葉片跟蹤正確。通過實(shí)驗(yàn)對(duì)比,本文最終采用分辨率為800像素×1 200像素的圖像進(jìn)行實(shí)驗(yàn),效果較好,實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 在L1數(shù)據(jù)集上的跟蹤結(jié)果Fig.7 Results of leaf tracking on L1 dataset

本實(shí)驗(yàn)輸出可視化圖像結(jié)果時(shí),按照拍攝時(shí)間的前后順序,t+1時(shí)刻圖像與t時(shí)刻圖像中同一片葉片對(duì)象的掩膜顏色和標(biāo)簽編號(hào)保持一致,便于匹配跟蹤結(jié)果的觀測(cè)與分析。在實(shí)驗(yàn)中發(fā)現(xiàn),相鄰2幅圖像的間隔角度在3°～6°時(shí)跟蹤效果最好。若選取的圖像間隔角度過大,將導(dǎo)致特征點(diǎn)匹配數(shù)量降低,大約只有50%的葉子能夠正確匹配。本實(shí)驗(yàn)可視化結(jié)果見圖7,由t時(shí)刻的結(jié)果圖像可以看到,標(biāo)號(hào)為3的葉片由于莖干的遮擋,被錯(cuò)誤分割成2片葉片(標(biāo)記為3和8),導(dǎo)致最終的葉片總數(shù)暫時(shí)被錯(cuò)誤統(tǒng)計(jì)為9片。而在t+2時(shí)刻之后的圖像中,因?yàn)橹罢趽醪粡?fù)存在,標(biāo)號(hào)8的“葉片”消失,只出現(xiàn)標(biāo)號(hào)3的葉片，說明跟蹤方法有效地進(jìn)行了糾錯(cuò)。在全部序列即將結(jié)束的t+8和t+9時(shí)刻圖像中,標(biāo)號(hào)6和標(biāo)號(hào)3的葉片盡管分別因?yàn)檎趽醣诲e(cuò)誤分割為2片葉片,但均被跟蹤算法檢測(cè)為同一個(gè)分類,糾正為1片葉片,葉片總數(shù)最終也統(tǒng)計(jì)為正確的8片。由此可以看出,雖然也有遮擋,但是可以通過對(duì)多視角圖像的葉片跟蹤,從其他角度的圖像中得到葉片的精確數(shù)目。

葉片面積是植物學(xué)家一直比較關(guān)注的植物表型特征之一。由于單視角的2D圖像存在投影變換和遮擋的問題,基于圖像對(duì)植物葉面積進(jìn)行測(cè)量的方法難于進(jìn)行。傳統(tǒng)方法一般采取專門手持的葉面積測(cè)量?jī)x器對(duì)葉片進(jìn)行手工測(cè)量[29];或者把葉片裁剪下來,平鋪后用相機(jī)進(jìn)行俯視拍攝(正投影),然后用專門的植物圖像處理軟件進(jìn)行葉面積的計(jì)算[30]。傳統(tǒng)方法需要人工介入,較為耗時(shí)低效,本文采用酸漿屬植物(L1)的實(shí)例分割和葉跟蹤實(shí)驗(yàn)結(jié)果,可以簡(jiǎn)單便捷地對(duì)葉面積進(jìn)行估測(cè)。因?yàn)镸ask-RCNN是基于像素點(diǎn)的實(shí)例分割算法,其輸出結(jié)果中邊界框(BBox)和掩膜(Mask)是由包含像素點(diǎn)位置和分類類別的多維數(shù)組表示,二值Mask數(shù)組用“1”代表該像素屬于分類目標(biāo)。因此,Mask中的“1”的統(tǒng)計(jì)數(shù)量就近似對(duì)應(yīng)每片葉片分割區(qū)域的像素總數(shù)。本文在對(duì)序列圖像進(jìn)行葉子跟蹤的同時(shí),將每片葉片的像素總數(shù)按照標(biāo)簽編號(hào)順序依次存儲(chǔ)在一個(gè)二維數(shù)組中,通過排序?qū)Ρ?提取每片葉片對(duì)應(yīng)的最大像素?cái)?shù)量(近似認(rèn)為最接近正投影角度)。然后對(duì)每片葉片的最大像素?cái)?shù)量進(jìn)行等比例換算(還原到原始采集圖像分辨率),即可粗略地估算出葉子的2D投影圖像面積(像素)。通過以上方法,本實(shí)驗(yàn)得到的葉片1～8的投影面積分別為64 812、51 732、244 312、116 619、558 213、541 326、62 482、285 560像素。通過已知的拍攝相機(jī)參數(shù)(鏡頭焦距、圖像分辨率、CCD物理尺寸等)與固定參照物尺寸(花盆和標(biāo)定板),可計(jì)算出原始圖像中每個(gè)像素面積近似對(duì)應(yīng)0.02 mm2,因此換算出葉片1～8的實(shí)際物理面積分別約為12.96、10.35、48.86、23.32、111.64、108.27、12.50、57.11 cm2。由于缺少拍攝采集時(shí)刻這株酸漿植物葉面積的手工真實(shí)測(cè)量值(ground truth),目前無法對(duì)本文葉片面積估算方法的準(zhǔn)確率進(jìn)行定量分析,有待進(jìn)一步實(shí)驗(yàn)驗(yàn)證。

3 結(jié)論

(1)基于Mask-RCNN的實(shí)例分割算法對(duì)于植物莖葉分割的通用性能好,mAP0.5大部分在70.0%以上,單實(shí)例分割的mIOU大多在60.0%以上。

(2)在嚴(yán)重遮擋及分割目標(biāo)較小的情況下,基于Mask-RCNN的實(shí)例分割算法的準(zhǔn)確性不高,有待進(jìn)一步提高。

(3)借助多視角時(shí)間序列圖像,通過葉片圖像的特征點(diǎn)匹配進(jìn)行植物葉片跟蹤的方法,在一定程度上能有效解決由遮擋導(dǎo)致的葉片表型參數(shù)提取準(zhǔn)確率下降的問題。