基于改進(jìn)Mask R-CNN的水稻莖稈截面參數(shù)檢測(cè)方法

張高亮 劉兆朋 劉木華 方 鵬 陳雄飛 梁學(xué)海

(江西農(nóng)業(yè)大學(xué)工學(xué)院， 南昌 330045)

0 引言

維管束作為一種木質(zhì)部和韌皮部束狀排列的組織結(jié)構(gòu)，在水稻莖稈、葉片中廣泛存在[1-2]。水稻維管束是水分、離子和有機(jī)養(yǎng)分運(yùn)輸?shù)闹匾ǖ溃瑫r(shí)與光合產(chǎn)物的輸送息息相關(guān)，在水稻產(chǎn)量形成過程中扮演重要角色[3-4]。同時(shí)，水稻維管束微觀結(jié)構(gòu)也與其莖稈的力學(xué)特性密切相關(guān)，對(duì)作物的抗倒伏能力有重要影響[5-6]。因此，水稻莖稈維管束微觀結(jié)構(gòu)特征的測(cè)量分析，對(duì)篩選培育高產(chǎn)抗倒伏水稻品種有重要作用[6]，同時(shí)可為相關(guān)作業(yè)機(jī)械的開發(fā)設(shè)計(jì)提供理論依據(jù)[7-8]。

利用顯微成像技術(shù)對(duì)作物莖稈進(jìn)行切片觀察是一種主要的作物維管束微觀結(jié)構(gòu)表征方法。王芬娥等[9]得到了小麥莖稈在掃描電鏡下的解剖構(gòu)造圖像，分析了小麥莖稈承載能力與微觀組織結(jié)構(gòu)的相互關(guān)系，建立了莖稈橫截面的力學(xué)模型。ZHANG等[10]研究了毛竹的壓縮特性與維管束的關(guān)系，通過掃描電鏡圖像獲取了毛竹樣品的維管束體積分?jǐn)?shù)，并測(cè)定了不同維管束體積分?jǐn)?shù)毛竹樣品的抗壓強(qiáng)度，研究表明維管束屈曲是毛竹樣品破壞的主要原因。趙春花等[11]研究了牧草莖稈力學(xué)性能與顯微結(jié)構(gòu)的相互關(guān)系，結(jié)果表明莖稈的強(qiáng)度和剛度主要取決于各自機(jī)械組織的厚度、維管束的數(shù)量以及各組織及其細(xì)胞之間的連接形式和連接強(qiáng)度。段傳人等[12]對(duì)機(jī)械組織厚度、維管束特征等與水稻莖稈抗折力的相關(guān)性進(jìn)行了研究，表明維管束數(shù)量、面積與莖稈抗折力顯著相關(guān)。

上述研究中，顯微鏡和數(shù)碼成像裝置構(gòu)成的顯微成像系統(tǒng)可以方便快捷的獲取微觀組織圖像，但維管束數(shù)目、面積等關(guān)鍵參數(shù)仍需人工測(cè)量統(tǒng)計(jì)，費(fèi)時(shí)費(fèi)力，嚴(yán)重制約了參數(shù)獲取的效率。針對(duì)這一問題，部分學(xué)者對(duì)高通量、自動(dòng)化的作物微觀結(jié)構(gòu)參數(shù)獲取系統(tǒng)進(jìn)行了研究，實(shí)現(xiàn)了對(duì)微觀結(jié)構(gòu)參數(shù)，如維管束數(shù)量、面積等的自動(dòng)統(tǒng)計(jì)與測(cè)量[13-14]。但現(xiàn)有相關(guān)研究中主要基于顏色空間轉(zhuǎn)換、閾值分割等傳統(tǒng)圖像分割方法實(shí)現(xiàn)組織結(jié)構(gòu)的分割識(shí)別，算法通用性不強(qiáng)。

深層卷積神經(jīng)網(wǎng)絡(luò)的興起為作物微觀結(jié)構(gòu)圖像的分割識(shí)別提供了新思路。由于卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)颖緢D像特征進(jìn)行自主學(xué)習(xí)[15]，具有極強(qiáng)的表征能力，可以自動(dòng)提取圖像特征，在圖像分割和目標(biāo)檢測(cè)領(lǐng)域均有優(yōu)異表現(xiàn)[16-17]，在作物微觀結(jié)構(gòu)參數(shù)測(cè)量統(tǒng)計(jì)上也已有相關(guān)研究。陳燕等[18]為實(shí)現(xiàn)小麥莖稈截面微觀參數(shù)測(cè)量，提出了一種融合ResNet 50和Unet網(wǎng)絡(luò)的維管束和背景區(qū)域語(yǔ)義分割模型，實(shí)現(xiàn)對(duì)小麥莖稈截面尺寸、維管束面積等微觀結(jié)構(gòu)參數(shù)的檢測(cè)。LI等[19]將YOLO目標(biāo)檢測(cè)算法應(yīng)用于毛竹微觀結(jié)構(gòu)解析領(lǐng)域，實(shí)現(xiàn)了毛竹維管束相關(guān)參數(shù)的自動(dòng)檢測(cè)、定位、計(jì)數(shù)和自動(dòng)測(cè)量，檢測(cè)模型的精度達(dá)到99.59%。目前將深度學(xué)習(xí)相關(guān)技術(shù)應(yīng)用于水稻莖稈截面微觀結(jié)構(gòu)分析的研究尚未見報(bào)道。

為實(shí)現(xiàn)水稻莖稈維管束微觀結(jié)構(gòu)特征的分析，搭建基于深度學(xué)習(xí)的莖稈切片圖像大、小維管束的檢測(cè)分割模型，提出一種基于邊緣檢測(cè)的莖稈截面圖像分割方法，對(duì)水稻莖稈截面面積、直徑以及大、小維管束面積和大、小維管束數(shù)量等相關(guān)參數(shù)進(jìn)行自動(dòng)檢測(cè)。

1 水稻莖稈截面顯微圖像采集與訓(xùn)練數(shù)據(jù)集建立

將水稻莖稈進(jìn)行切片后用Pannoramic 250FLASH型切片掃描儀進(jìn)行微觀顯微成像，在切片掃描儀的顯微鏡頭下快速移動(dòng)進(jìn)行掃描成像，并通過專用軟件系統(tǒng)無(wú)縫拼接生成一幅完整的高清全視野數(shù)字化切片圖像，圖像分辨率約為30 000像素×30 000像素，如圖1所示。

圖1 水稻莖稈切片圖像Fig.1 Slice image of rice stem

現(xiàn)有的計(jì)算機(jī)硬件(處理器I Intel(R) Xeon(R) Platinum 8255C，內(nèi)存39 GB)很難直接使用超高分辨率的掃描圖像做特征提取和模型訓(xùn)練，同時(shí)在進(jìn)行數(shù)據(jù)集制作時(shí)也很難直接對(duì)原圖像進(jìn)行人工標(biāo)注。因此在標(biāo)注之前首先對(duì)超高分辨率的原圖像進(jìn)行預(yù)處理。綜合考慮圖像尺寸和圖像細(xì)節(jié)變化，將原圖像等比例壓縮90%，得到水稻莖稈切片圖像分辨率為3 000像素×3 000像素。

壓縮處理后的圖像通過顏色變換、添加高斯噪聲等方式擴(kuò)增后，最終獲得800幅切片圖像，建立樣本集。隨后在Labelme軟件中采用多邊形標(biāo)注工具對(duì)圖像進(jìn)行人工標(biāo)注，標(biāo)注類別為大維管束、小維管束。參照文獻(xiàn)[20-21]，依據(jù)其在維管束細(xì)胞中的位置判斷維管束的類別，靠近維管束外側(cè)細(xì)胞壁邊緣位置為小維管束(面積較小)，靠近中間位置的維管束細(xì)胞為大維管束(面積較大)。大、小維管束的圖像特征如圖2所示。在樣本集中隨機(jī)選取70%(560幅)圖像作為訓(xùn)練集，選取20%(160幅)圖像作為驗(yàn)證集，選取10%(80幅)圖像作為測(cè)試集。

圖2 維管束圖像Fig.2 Image of vascular bundle

2 基于Mask R-CNN的水稻維管束圖像提取分割網(wǎng)絡(luò)構(gòu)建

本文旨在通過深層卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)水稻莖稈切片掃描圖像中維管束的分割提取，為后續(xù)莖稈截面參數(shù)的自動(dòng)檢測(cè)提供技術(shù)支撐。本文在Mask R-CNN[22]網(wǎng)絡(luò)架構(gòu)上進(jìn)行水稻莖稈切片圖像的實(shí)例分割模型研究。

現(xiàn)有的Mask R-CNN網(wǎng)絡(luò)在低分辨率(28像素×28像素)下進(jìn)行掩膜分割，分割結(jié)果不精細(xì)，尤其在邊緣位置分割模糊。針對(duì)現(xiàn)有實(shí)例分割網(wǎng)絡(luò)存在的此類缺陷，文獻(xiàn)[23]提出了一種PointRend高精度圖像分割模塊，該模塊在每一次點(diǎn)分類預(yù)測(cè)中采用一種多層感知機(jī)對(duì)實(shí)例邊緣中不確定類別的點(diǎn)進(jìn)行細(xì)分預(yù)測(cè)，通過逐步迭代最終生成高質(zhì)量的分割掩膜。

要實(shí)現(xiàn)水稻莖稈切片圖像中維管束的計(jì)數(shù)及面積提取，需首先完成維管束細(xì)胞圖像高質(zhì)量掩膜的分割提取。因此，本文將PointRend模塊引入水稻莖稈維管束圖像的分割提取網(wǎng)絡(luò)中，實(shí)現(xiàn)維管束區(qū)域圖像的高精度分割。水稻莖稈維管束圖像分割提取網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，網(wǎng)絡(luò)主要由特征提取網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)以及后續(xù)實(shí)現(xiàn)目標(biāo)分類、分割、定位的頭部網(wǎng)絡(luò)組成。

圖3 水稻莖稈圖像分割提取網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of rice stem image segmentation

2.1 基于多尺度特征學(xué)習(xí)的特征提取網(wǎng)絡(luò)構(gòu)建

在水稻莖稈切片掃描圖像中，大部分區(qū)域?yàn)榧?xì)胞薄壁組織，大、小維管束細(xì)胞只占少部分區(qū)域，可供利用的像素特征較少，深度網(wǎng)絡(luò)難以提取到有效的特征。因此在對(duì)水稻莖稈維管束細(xì)胞的檢測(cè)中，需同時(shí)利用深層網(wǎng)絡(luò)的語(yǔ)義信息和淺層網(wǎng)絡(luò)的表征信息，現(xiàn)有實(shí)例分割及目標(biāo)檢測(cè)網(wǎng)絡(luò)通過特征金字塔網(wǎng)絡(luò)[24](Feature pyramid network, FPN)來實(shí)現(xiàn)這一目的。

雖然FPN網(wǎng)絡(luò)通過特征融合的方式利用了不同層的特征信息，但是在進(jìn)行特征融合之前，主干網(wǎng)絡(luò)不同層提取的特征需經(jīng)過1×1卷積降維至相同通道數(shù)后才能進(jìn)行特征相加。然而，主干網(wǎng)絡(luò)不同階段的特征圖感受野不一樣，包含的語(yǔ)義信息差異較大，直接進(jìn)行特征融合勢(shì)必會(huì)減弱多尺度特征的表達(dá)能力。同時(shí)頂層的高級(jí)特征和底層的低級(jí)特征以“自上而下”的方式進(jìn)行融合的過程中，來自高層特征的更強(qiáng)語(yǔ)義信息加強(qiáng)了底層特征的表達(dá)能力，但高層特征經(jīng)過1×1卷積降維后，其攜帶的語(yǔ)義信息勢(shì)必會(huì)丟失，一定程度上削弱了網(wǎng)絡(luò)的表征能力。文獻(xiàn)[25]提出一種用于目標(biāo)檢測(cè)領(lǐng)域的多尺度特征學(xué)習(xí)方法，通過殘差特征增強(qiáng)和自適應(yīng)空間融合等方式，減小了不同尺度特征之間的語(yǔ)義差距及高層特征的信息丟失，顯著提升了網(wǎng)絡(luò)的檢測(cè)性能。

圖4 基于多尺度特征學(xué)習(xí)的特征提取網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Feature extraction network structure based on multi-scale feature learning

本文將殘差特征增強(qiáng)和自適應(yīng)空間融合方法引入特征提取網(wǎng)絡(luò)構(gòu)建中，用于水稻莖稈維管束微觀結(jié)構(gòu)的分割提取。圖4所示為以深度殘差網(wǎng)絡(luò)(以ResNet 50為例)為主干網(wǎng)絡(luò)的改進(jìn)特征提取網(wǎng)絡(luò)結(jié)構(gòu)圖。殘差特征增強(qiáng)模塊解決了金字塔網(wǎng)絡(luò)高層特征信息缺失的問題。如圖4所示，主干網(wǎng)絡(luò)第5階段輸出的特征圖進(jìn)行比例不變自適應(yīng)池化后獲得了圖像多尺度上下文特征，通過1×1卷積將特征降維到256通道，隨后對(duì)降維后的特征圖進(jìn)行雙線性插值上采樣，將特征圖尺寸統(tǒng)一至相同尺度，并采用自適應(yīng)空間融合模塊將上下文特征聚合成為新特征，將該特征圖與C5降維后的特征圖相加得到?jīng)]有信息損失的特征圖P5，隨后通過3×3卷積向下進(jìn)行特征融合。圖中C1～C5為ResNet 50網(wǎng)絡(luò)的5個(gè)階段，M2～M5分別為ResNet 50網(wǎng)絡(luò)5個(gè)階段生成的特征圖經(jīng)過1×1卷積降維后的特征圖，P2～P5分別為不同階段經(jīng)過特征融合后生成的特征圖。

在FPN網(wǎng)絡(luò)中，通過感興趣區(qū)域(Region of interest, ROI)的尺度來提取對(duì)應(yīng)層的特征，一般小尺度ROI對(duì)應(yīng)低層級(jí)特征，大尺度ROI對(duì)應(yīng)高層級(jí)特征，此種機(jī)制可能導(dǎo)致描述ROI的特征缺失，不利于最終的分類和分割。因此，對(duì)于任意一個(gè)ROI，有必要綜合考慮其在不同層級(jí)對(duì)應(yīng)的特征。文獻(xiàn)[23]提出一種利用網(wǎng)絡(luò)自身進(jìn)行權(quán)重參數(shù)學(xué)習(xí)、然后對(duì)不同層級(jí)的特征進(jìn)行加權(quán)求和作為ROI最終特征表達(dá)的方法，有效利用了不同層級(jí)的ROI特征。基于上述兩種方法，構(gòu)建了基于殘差特征增強(qiáng)和自適應(yīng)空間融合的特征提取網(wǎng)絡(luò)(Augmentation FPN, AugFPN)。

2.2 損失函數(shù)優(yōu)化

Mask R-CNN網(wǎng)絡(luò)的損失主要來自區(qū)域生成網(wǎng)絡(luò)(Region proposal network, RPN)的分類損失和回歸損失。Mask R-CNN網(wǎng)絡(luò)以smoothL1函數(shù)作為網(wǎng)絡(luò)的回歸損失函數(shù)，其表達(dá)式為[22]

(1)

其中

(2)

式中Lreg——網(wǎng)絡(luò)回歸損失值

Nreg——錨框數(shù)量

ti——預(yù)測(cè)邊界框坐標(biāo)向量

在通過smoothL1函數(shù)計(jì)算網(wǎng)絡(luò)的回歸損失時(shí)，實(shí)質(zhì)上是將預(yù)測(cè)框的邊界視為相互獨(dú)立的4個(gè)點(diǎn)，分別求出4個(gè)點(diǎn)的損失值然后相加得到整體損失值，而實(shí)際上4個(gè)點(diǎn)存在相關(guān)性。同時(shí)，在評(píng)價(jià)預(yù)測(cè)框與真實(shí)框的接近程度時(shí)，通常使用交并比(Intersection over union, IoU)這一指標(biāo)，當(dāng)多個(gè)預(yù)測(cè)框具有相同的smoothL1損失函數(shù)時(shí)，其IoU值可能差異很大。因此，孤立地對(duì)4個(gè)點(diǎn)進(jìn)行優(yōu)化回歸是不合適的，需將4個(gè)點(diǎn)構(gòu)成的預(yù)測(cè)框看成一個(gè)整體進(jìn)行回歸。基于此，有學(xué)者提出IoU損失函數(shù)[26]，其表達(dá)式為

LIoU=-lnIoU

(3)

(4)

式中LIoU——交并比損失值

IoU——目標(biāo)檢測(cè)網(wǎng)絡(luò)中預(yù)測(cè)框與真實(shí)框的交并比

I——預(yù)測(cè)框與真實(shí)框的交集區(qū)域面積

U——預(yù)測(cè)框與真實(shí)框的并集區(qū)域面積

IoU損失值越小，說明網(wǎng)絡(luò)生成的預(yù)測(cè)框與真實(shí)框之間的差異越小，重合度越高，即模型精度越高。

本文使用IoU損失函數(shù)替換原有的smoothL1函數(shù)，作為RPN的回歸損失函數(shù)。

3 水稻莖稈維管束圖像分割及截面參數(shù)提取試驗(yàn)

3.1 試驗(yàn)條件及參數(shù)設(shè)置

試驗(yàn)在Ubuntu 18.04系統(tǒng)下進(jìn)行，試驗(yàn)用計(jì)算機(jī)處理器為Intel(R) Xeon(R) Platinum 8255C， 內(nèi)存為39 GB，顯卡為Tesla V1001(顯存32 GB)，使用GPU加速計(jì)算，在Python語(yǔ)言環(huán)境中選擇Pytorch框架實(shí)現(xiàn)網(wǎng)絡(luò)模型的搭建、訓(xùn)練和調(diào)試。所有分割網(wǎng)絡(luò)均按表1對(duì)模型參數(shù)進(jìn)行初始化，采用隨機(jī)梯度下降法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練迭代35個(gè)周期，每10個(gè)周期保存一次權(quán)重參數(shù)，取精度最高的權(quán)重為最終模型。

表1 水稻莖稈圖像分割網(wǎng)絡(luò)初始化訓(xùn)練參數(shù)Tab.1 Training parameters for rice stem segmentation network

3.2 模型測(cè)試結(jié)果分析

對(duì)采用不同方式構(gòu)建的水稻莖稈維管束圖像分割模型進(jìn)行性能試驗(yàn)，具體如下：①ResNet 50和FPN為特征提取網(wǎng)絡(luò)，以smoothL1函數(shù)為回歸損失函數(shù)的Mask R-CNN模型(簡(jiǎn)稱為ResNet_FPN_Smooth)。②以ResNet 50和FPN為特征提取網(wǎng)絡(luò)，以smoothL1函數(shù)為回歸損失函數(shù)，且引入Po-intRend模塊的Mask R-CNN模型(簡(jiǎn)稱為ResNet_FPN_Smooth_PointRend)。③以ResNet 50和Aug-FPN為特征提取網(wǎng)絡(luò)，以smoothL1函數(shù)為回歸損失函數(shù)，且引入PointRend模塊的Mask R-CNN模型(簡(jiǎn)稱為ResNet_AugFPN_Smooth_PointRend)。④以ResNet 50和AugFPN為特征提取網(wǎng)絡(luò)，以IoU函數(shù)為回歸損失函數(shù)，且引入PointRend模塊的 Mask R-CNN模型(簡(jiǎn)稱為ResNet_AugFPN_IoU_ PointRend)。⑤以MobilenetV2和AugFPN為特征提取網(wǎng)絡(luò)，以IoU函數(shù)為回歸損失函數(shù)，且引入Poi-ntRend模塊的Mask R-CNN模型(簡(jiǎn)稱為Mobilenet_AugFPN_IoU_PointRend)。

上述5個(gè)模型訓(xùn)練完成后，用測(cè)試集數(shù)據(jù)對(duì)其性能進(jìn)行測(cè)試。將同一幅圖像分別輸入上述5個(gè)模型中，得到圖5中的5組預(yù)測(cè)結(jié)果。在分割結(jié)果中，為區(qū)分大、小維管束，分割結(jié)果圖像中大、小維管束的分割用不同顏色的掩膜作區(qū)分，紅色區(qū)域?yàn)榇缶S管束，藍(lán)色區(qū)域?yàn)樾【S管束，對(duì)比原圖和分割結(jié)果圖可以看到，每一個(gè)大、小維管束區(qū)域均能被準(zhǔn)確檢測(cè)及分割。

圖5 不同水稻莖稈圖像分割模型分割結(jié)果Fig.5 Segmentation results of different rice stem segmentation models

用平均交并比(Mean intersection over union，mIoU)、平均精確率(Precision,P)、召回率(Recall,R)、F1值(F1-score)、平均檢測(cè)耗時(shí)t作為評(píng)價(jià)指標(biāo)，衡量模型的分割性能，模型的性能如表2所示。

圖6為模型ResNet_FPN_Smooth和ResNet_FPN_Smooth_PointRend分割結(jié)果放大相同倍數(shù)后的局部細(xì)節(jié)圖，可以清晰看出，圖6a分割掩膜邊緣區(qū)域較粗糙，呈現(xiàn)不規(guī)則鋸齒狀，而圖6b掩膜的邊緣區(qū)域分割更加精細(xì)，分割誤差更小。PointRend模塊的引入顯著提升了模型在圖像邊緣區(qū)域的分割效果，同時(shí)由表2可知，模型的F1值也有一定程度的提升，而平均檢測(cè)耗時(shí)卻未有明顯增加，說明PointRend模塊的引入并未增加網(wǎng)絡(luò)的計(jì)算量。這對(duì)于后續(xù)實(shí)現(xiàn)維管束面積檢測(cè)具有重要意義。

表2 不同模型性能對(duì)比Tab.2 Performance comparison of different models

圖6 模型分割結(jié)果局部細(xì)節(jié)圖Fig.6 Partial details of model segmentation results

由表2可知，將殘差特征增強(qiáng)和自適應(yīng)空間融合方法引入特征提取網(wǎng)絡(luò)后，分割模型性能指標(biāo)有較大程度的提升，其F1值、平均交并比、平均精確率和召回率分別從85.99%、84.45%、90.67%、81.78%提升至90.56%、89.16%、94.56%、86.89%。殘差特征增強(qiáng)和自適應(yīng)空間融合增強(qiáng)了分割網(wǎng)絡(luò)多尺度特征的表達(dá)能力，并更加充分地利用了不同層級(jí)的ROI特征，顯著提升了分割模型的性能。但同時(shí)網(wǎng)絡(luò)的計(jì)算量和復(fù)雜程度也有一定程度的增加，模型推理單幅圖像的時(shí)間從1.92 s增加到3.13 s。

在此基礎(chǔ)上，以IoU函數(shù)作為RPN網(wǎng)絡(luò)的回歸損失函數(shù)，網(wǎng)絡(luò)性能有小幅提升。網(wǎng)絡(luò)在訓(xùn)練過程中損失函數(shù)的變化情況可以在一定程度上反映訓(xùn)練完成的模型性能。圖7為以smoothL1函數(shù)為回歸損失函數(shù)和以IoU函數(shù)為回歸損失函數(shù)的模型訓(xùn)練損失值曲線。訓(xùn)練初期，兩個(gè)網(wǎng)絡(luò)損失值均在較短時(shí)間內(nèi)下降到低值。隨著訓(xùn)練過程的持續(xù)，網(wǎng)絡(luò)損失值緩慢下降，當(dāng)訓(xùn)練迭代到第800個(gè)步長(zhǎng)左右時(shí)，網(wǎng)絡(luò)損失值幾乎不再下降，網(wǎng)絡(luò)達(dá)到收斂。從圖7可以看出，以IoU函數(shù)為回歸損失函數(shù)的網(wǎng)絡(luò)訓(xùn)練過程較為平穩(wěn)，損失值一直處于緩慢、平滑下降的狀態(tài)，而以smoothL1函數(shù)為損失函數(shù)的網(wǎng)絡(luò)訓(xùn)練過程中損失值震蕩相對(duì)較大。兩個(gè)網(wǎng)絡(luò)收斂后，以IoU函數(shù)為回歸損失函數(shù)的模型最終損失值相對(duì)更低。IoU函數(shù)有效改善了網(wǎng)絡(luò)的訓(xùn)練過程，模型獲得了更優(yōu)的性能。

圖7 網(wǎng)絡(luò)訓(xùn)練損失值變化曲線Fig.7 Change curves of network training loss

采用殘差特征增強(qiáng)和自適應(yīng)空間融合并以IoU函數(shù)作為網(wǎng)絡(luò)回歸損失函數(shù)優(yōu)化得到的維管束圖像分割模型性能較優(yōu)異，但由于模型結(jié)構(gòu)復(fù)雜、參數(shù)量較大，導(dǎo)致模型推理時(shí)間較長(zhǎng)，單幅圖像平均檢測(cè)時(shí)間在3 s左右。為降低模型推理時(shí)間，提高模型的實(shí)時(shí)性，在前述模型優(yōu)化方式的基礎(chǔ)上，用輕量化的MobilenetV2網(wǎng)絡(luò)替代ResNet 50網(wǎng)絡(luò)作為分割網(wǎng)絡(luò)的主干網(wǎng)絡(luò)。從表2可以看出，輕量化后的模型分割性能略有下降，其F1值、平均交并比、平均精確率和召回率分別下降1.15、2.07、0.17、0.95個(gè)百分點(diǎn)，對(duì)模型的分割效果幾乎沒有影響，而平均檢測(cè)耗時(shí)卻大幅降低，有效提升了分割模型的實(shí)時(shí)性。

3.3 水稻莖稈截面參數(shù)提取

本文構(gòu)建的水稻莖稈切片圖像分割模型可以有效地對(duì)切片圖像中的大、小維管束進(jìn)行分類、分割和提取。模型分割后處理的結(jié)果如圖8所示，由此分別獲得大、小維管束的數(shù)量和像素面積。

圖8 水稻莖稈圖像后處理結(jié)果Fig.8 Post processing results of rice stem image

圖9 水稻莖稈圖像截面分割結(jié)果Fig.9 Segmentation results of rice stem cross section

采用數(shù)字圖像處理方法，通過邊緣檢測(cè)、形態(tài)學(xué)處理及輪廓提取等方法，對(duì)莖稈切片截面圖像進(jìn)行分割，分割結(jié)果如圖9所示。在此基礎(chǔ)上輸出莖稈截面切片圖像的截面像素面積和最大直徑。

為將切片圖像處理中的像素度量單位轉(zhuǎn)換成物理尺寸單位(μm或μm2)，需將人工測(cè)量的尺寸與圖像處理輸出的像素單位建立比例關(guān)系。人工測(cè)量方法為：采用專用的數(shù)字切片瀏覽軟件CaseViewer讀取莖稈切片圖像文件，人工對(duì)圖像中的截面、大小維管束區(qū)域進(jìn)行標(biāo)注，由軟件測(cè)量出對(duì)應(yīng)區(qū)域的實(shí)際面積，同時(shí)由人工對(duì)大小維管束的數(shù)量進(jìn)行統(tǒng)計(jì)。本文對(duì)10幅切片圖像進(jìn)行了人工測(cè)量及模型分割試驗(yàn)，分別得到莖稈截面面積、直徑，大小維管束面積的人工測(cè)量值及對(duì)應(yīng)的模型預(yù)測(cè)輸出像素值，得到尺寸比例系數(shù)分別為0.686 μm/像素和0.472 μm2/像素。

用水稻莖稈切片圖像分割算法對(duì)120幅水稻莖稈切片圖像進(jìn)行檢測(cè)，采用均方根誤差和平均相對(duì)誤差來衡量檢測(cè)精度，同時(shí)用專用的數(shù)字切片瀏覽軟件CaseViewer讀取相應(yīng)莖稈切片圖像文件，人工標(biāo)注維管束相應(yīng)區(qū)域，由軟件測(cè)量出維管束6個(gè)指標(biāo)的參數(shù)值，對(duì)比檢測(cè)結(jié)果和人工測(cè)量值的差異，結(jié)果如表3所示。

表3 檢測(cè)結(jié)果精度Tab.3 Accuracy of measurement result

由表3可知，本文基于圖像處理的水稻莖稈截面參數(shù)提取方法具有很高的檢測(cè)精度，6個(gè)參數(shù)的平均相對(duì)誤差均在4.6%以內(nèi)。小維管束面積檢測(cè)的平均相對(duì)誤差最大，達(dá)到4.60%，均方根誤差為 2 286.79 μm2，這主要是由于小維管束目標(biāo)較小，模型檢測(cè)及分割的誤差較大，導(dǎo)致檢測(cè)得到的小維管束面積相對(duì)誤差較大。由于小維管束的檢測(cè)難度比大維管束大，小維管束面積和數(shù)量檢測(cè)的平均相對(duì)誤差均較大。大維管束面積的均方根誤差和平均相對(duì)誤差分別為7 304.74 μm2和3.8%，大維管束數(shù)量的均方根誤差和平均相對(duì)誤差分別為0.79個(gè)和1.34%，小維管束數(shù)量的均方根誤差和平均相對(duì)誤差分別為1.21個(gè)和1.92%。由于掃描得到的莖稈切片圖像輪廓清晰，背景簡(jiǎn)單，因此通過邊緣檢測(cè)及輪廓提取可以較完整的分割出莖稈截面，最終的檢測(cè)結(jié)果誤差極小，平均相對(duì)誤差僅為0.58%，均方根誤差為202 515.77 μm2。截面直徑的均方根誤差和平均相對(duì)誤差分別為183.95 μm和2.00%。

維管束6個(gè)參數(shù)人工測(cè)量值與檢測(cè)值的對(duì)照情況如圖10所示，可以看到測(cè)量值和檢測(cè)值擬合決定系數(shù)均不小于0.96，各參數(shù)檢測(cè)精度較高，本文方法具有可行性。

圖10 維管束各參數(shù)人工測(cè)量值與檢測(cè)值對(duì)比Fig.10 Comparison of manually measured and detected values of parameters

4 結(jié)論

(1)構(gòu)建了一種基于改進(jìn)Mask R-CNN網(wǎng)絡(luò)的水稻莖稈切片圖像分割模型，實(shí)現(xiàn)了水稻莖稈切片圖像中大、小維管束區(qū)域的定位、檢測(cè)和分割。網(wǎng)絡(luò)以輕量化網(wǎng)絡(luò)MobilenetV2和殘差特征增強(qiáng)及自適應(yīng)空間融合的FPN網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)，同時(shí)引入PointRend增強(qiáng)模塊，并將網(wǎng)絡(luò)回歸損失函數(shù)優(yōu)化為IoU函數(shù)，最終得到綜合性能最優(yōu)的模型，其F1值為91.21%，平均交并比為90.80%，平均精確率為94.37%，召回率為88.25%，單幅圖像平均檢測(cè)耗時(shí)為0.50 s。

(2)提出一種基于圖像處理的水稻莖稈截面參數(shù)自動(dòng)檢測(cè)方法，截面面積、截面直徑、大維管束面積、小維管束面積、大維管束數(shù)量、小維管束數(shù)量6個(gè)參數(shù)檢測(cè)的均方根誤差分別為202 515.77 μm2、183.95 μm、7 304.74 μm2、2 286.79 μm2、0.79個(gè)和1.21個(gè)，平均相對(duì)誤差分別為0.58%、2.00%、3.80%、4.60%、1.34%和1.92%。