基于K-means聚類和RF算法的葡萄霜霉病檢測分級方法

李翠玲 李余康 譚昊然 王 秀 翟長遠(yuǎn)

(1.北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心， 北京 100097；2.國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心， 北京 100097；3.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院， 陜西楊凌 712100)

0 引言

霜霉病是全球葡萄生產(chǎn)中危害程度最大的葉片病害之一，具有分布廣、流行性強(qiáng)的特點(diǎn)。傳統(tǒng)的葡萄霜霉病檢測大多依靠有經(jīng)驗(yàn)的專家和農(nóng)戶在田間進(jìn)行識別，這種人工檢測方式效率低、耗時(shí)長，準(zhǔn)確率受到專家和農(nóng)戶的經(jīng)驗(yàn)影響[1-3]。葡萄霜霉病病害程度不同，其防治措施和施藥用量存在差異，果園精準(zhǔn)變量施藥裝備需要根據(jù)植株病害等級按需施藥[4]。病害信息感知是葡萄果園精準(zhǔn)變量施藥的前提，關(guān)鍵在于實(shí)現(xiàn)果園環(huán)境下的葡萄霜霉病等級的精準(zhǔn)識別。

目前國內(nèi)外很多學(xué)者將光譜技術(shù)應(yīng)用于植物病害檢測領(lǐng)域，常用的光譜檢測方法有：近紅外光譜技術(shù)[5-6]、高光譜成像技術(shù)[7]、多光譜成像技術(shù)[8]、日光誘導(dǎo)葉綠素?zé)晒饧夹g(shù)[9]、多光譜熒光成像技術(shù)[10]等，這類方法可以對植物病害進(jìn)行早期探測，模型精度較高。但是，光譜檢測技術(shù)需要精密的儀器和昂貴的傳感器，同時(shí)需要較為苛刻的實(shí)驗(yàn)環(huán)境，實(shí)驗(yàn)成本高、效率低，而且不適合在復(fù)雜的農(nóng)業(yè)場景應(yīng)用。

近年來，基于傳統(tǒng)圖像處理的植物病害檢測技術(shù)得到了廣泛應(yīng)用，研究集中于植物病害特征提取，采用分類器對病害進(jìn)行分類[11-12]。此類方法使用較為容易，不需要較多的人工處理便能取得較好的結(jié)果。然而，在田間或果園采集的病害圖像不可避免地存在光照不均勻和背景復(fù)雜的問題，傳統(tǒng)的圖像處理方法適用于具有單一背景或者簡單背景的植物病害識別，對于復(fù)雜自然環(huán)境的植物病害識別效果較差。

基于深度學(xué)習(xí)[13-14]的病害識別已成為研究熱點(diǎn)，深度學(xué)習(xí)可以通過構(gòu)建較深的網(wǎng)絡(luò)結(jié)構(gòu)，來學(xué)習(xí)高維信息特征。文獻(xiàn)[15]在識別精度上取得了較好的結(jié)果，但是這種方法采用大量標(biāo)簽訓(xùn)練的方式進(jìn)行學(xué)習(xí)，對于一些病斑邊界模糊的研究對象制作標(biāo)簽較為困難。

葡萄霜霉病的分級標(biāo)準(zhǔn)是根據(jù)病斑占葉片的面積比例確定的，需要分別計(jì)算出病斑的面積和葉片的面積。基于圖像處理的葡萄霜霉病分級中存在以下問題：①果園環(huán)境復(fù)雜，通常會出現(xiàn)光照不均勻、陰影、圖像采集背景復(fù)雜等問題，導(dǎo)致難以準(zhǔn)確地分割出葡萄葉片。②葡萄霜霉病為真菌類病害，病斑的邊界不規(guī)則、不清晰，很難對病斑區(qū)域進(jìn)行像素級別標(biāo)注，無法直接采用監(jiān)督學(xué)習(xí)分割霜霉病病斑區(qū)域。

綜上所述，結(jié)合傳統(tǒng)圖像處理和深度學(xué)習(xí)的各自優(yōu)點(diǎn)和特長，本文提出基于K-means聚類和隨機(jī)森林算法的葡萄霜霉病檢測分級方法。首先建立葡萄葉片語義分割模型，以實(shí)現(xiàn)葡萄葉片區(qū)域像素和其他像素的二分類，在復(fù)雜背景中提取葡萄葉片；然后在確定葡萄葉片像素區(qū)域的基礎(chǔ)上，構(gòu)建葡萄霜霉病病斑分割算法，實(shí)現(xiàn)從葡萄葉片中分離出葡萄霜霉病病斑區(qū)域；最后通過獲取葉片區(qū)域像素和病斑區(qū)域像素的面積占比，計(jì)算出葡萄葉片的病害等級。以期為葡萄霜霉病精準(zhǔn)防治提供模型支持，為其他病害分割、病害等級檢測提供思路。

1 材料與分級方法

1.1 葡萄霜霉病特點(diǎn)與分級標(biāo)準(zhǔn)

1.1.1葡萄霜霉病發(fā)病特征

葡萄霜霉病是受葡萄生單軸霉侵染所引起，當(dāng)葉片被感染時(shí)，病害部位僅在葉脈區(qū)域出現(xiàn)油浸狀或角型的淡黃色或紅褐色小斑點(diǎn)，后逐漸發(fā)展擴(kuò)大為褐色不規(guī)則形或多角形病斑，多個(gè)病斑相連變成不規(guī)則形大斑，天氣潮濕時(shí)，病斑背面產(chǎn)生白色霜霉?fàn)钗铮床【逆吣夜：玩咦幽遥l(fā)病嚴(yán)重時(shí)病葉會早枯早落[16-17]。葡萄霜霉病發(fā)病時(shí)通常是嫩葉的背部首先感染病菌，并在背部出現(xiàn)白色的霜狀物，然后背部的白色霜狀物向葉片的正面侵蝕，正面呈現(xiàn)淡黃色至黃褐色病斑。輕度發(fā)病和重度發(fā)病的葡萄葉片霜霉病病斑如圖1所示。圖1a為葡萄霜霉病患病較輕的葉片反面圖像，葡萄霜霉病在患病較輕時(shí)通常出現(xiàn)幾個(gè)病菌菌落，同時(shí)病菌菌落中間清晰，病菌向未感染區(qū)域侵蝕，病斑呈現(xiàn)白色霜狀朦朧狀態(tài)，病斑邊界不清晰；圖1b為葡萄霜霉病較輕的葉片正面圖像，病菌從反面向正面感染，病斑呈現(xiàn)黃色，邊界較為不清晰；圖1c為葡萄霜霉病患病較重的葉片反面圖像，在患病較重時(shí)病斑呈現(xiàn)白色霜狀邊界，邊界形狀不規(guī)則，邊界不清晰；圖1d為葡萄霜霉病患病較重的葉片正面圖像，病斑呈現(xiàn)黃色、黃褐色，邊界形狀不規(guī)則，病斑邊界不清晰。

圖1 葡萄葉片霜霉病圖像Fig.1 Leaf images of grape downy mildew

1.1.2葡萄霜霉病分級標(biāo)準(zhǔn)

根據(jù)國家標(biāo)準(zhǔn)GB/T 17980.122—2004，葡萄霜霉病以病斑面積占整個(gè)葉片的面積占比區(qū)分病害等級，分為6個(gè)級別，具體分級標(biāo)準(zhǔn)如表1所示。

表1 葡萄霜霉病的分級標(biāo)準(zhǔn)Tab.1 Grading criteria for grape downy mildew

圖2 不同病害等級的葡萄霜霉病圖像Fig.2 Images of grape downy mildew with different disease levels

病斑面積占整個(gè)葉面積的比值可以用圖像中的像素?cái)?shù)比值確定，即病斑區(qū)域的像素個(gè)數(shù)與葉片區(qū)域像素個(gè)數(shù)的比值[18]。病斑面積占整個(gè)葉面積的百分比s的計(jì)算公式為[19-20]

(1)

式中Ad——病斑區(qū)域面積

Al——葉片區(qū)域面積

p——單位像素面積

Rd——病斑區(qū)域Rl——葉片區(qū)域

利用像素統(tǒng)計(jì)方法計(jì)算分割的二值圖像中病斑區(qū)域和葉片區(qū)域的像素個(gè)數(shù)，進(jìn)而計(jì)算像素?cái)?shù)比值，可以得到病斑面積占整個(gè)葉面積的百分比s，并根據(jù)葡萄霜霉病分級標(biāo)準(zhǔn)得出病害等級。

1.2 數(shù)據(jù)采集與處理

1.2.1數(shù)據(jù)采集

考慮到溫度、光照會對葡萄霜霉病圖像采集產(chǎn)生影響，分別在早晨、正午和傍晚3個(gè)時(shí)間段于北京市房山區(qū)波龍堡酒莊 (116°02′E，39°75′N) 采集圖像，葡萄品種為赤霞珠，手持手機(jī)垂直葉片拍攝圖像，圖像分辨率為3 120像素×4 160像素，共采集1 082幅圖像。兼顧不同光照條件和不同背景，采集不同病害等級的霜霉病葉片和正常葉片圖像，包含葉片正面和反面。葡萄霜霉病等級由相關(guān)領(lǐng)域?qū)＜掖_定，包含6個(gè)病害等級，具體圖像采集情況如表2所示，不同病害等級的霜霉病代表圖像如圖2所示，葉片與背景邊界明顯，分界線清晰，病斑邊界不規(guī)則、不清晰，與葡萄霜霉病病斑的特點(diǎn)相符。

表2 葡萄霜霉病圖像數(shù)據(jù)集Tab.2 Image data set of grape downy mildew 幅

1.2.2數(shù)據(jù)集制作

圖像標(biāo)注是采用深度學(xué)習(xí)方法提取葡萄葉片最重要步驟。將采集的圖像人工裁剪為3 120像素×3 120像素，圖像主要顯示葡萄葉片區(qū)域。采用Labelme軟件對圖像進(jìn)行語義分割標(biāo)注，使葡萄葉片從圖像背景中分離，將背景模糊的葡萄葉片當(dāng)作背景標(biāo)注，將葡萄葉柄當(dāng)作背景標(biāo)注，得到帶有葉片邊界點(diǎn)的json格式文件，經(jīng)過深度學(xué)習(xí)處理得到葡萄葉片的掩膜圖像。圖3中紅色部分為葉片區(qū)域，黑色為背景區(qū)域。

圖3 原始圖像和掩膜圖像Fig.3 Raw image and mask image

采用數(shù)據(jù)擴(kuò)充方法，克服卷積神經(jīng)網(wǎng)絡(luò)(CNN)訓(xùn)練階段時(shí)間過長問題，增加訓(xùn)練樣本的數(shù)量以及多樣性，增加噪聲數(shù)據(jù)，提升模型魯棒性。隨機(jī)改變訓(xùn)練樣本可以降低模型對某些屬性的依賴，從而提高模型的泛化能力。采用Augmentor工具包對圖像進(jìn)行隨機(jī)旋轉(zhuǎn)、鏡像、水平翻轉(zhuǎn)、添加高斯噪聲、調(diào)整亮度等操作，將數(shù)據(jù)集擴(kuò)充到6 000幅。

葡萄葉片分割數(shù)據(jù)集按照比例6∶2∶2隨機(jī)劃分為訓(xùn)練集、測試集和驗(yàn)證集，訓(xùn)練集、測試集和驗(yàn)證集分別包含3 600、1 200、1 200幅圖像，共計(jì)6 000幅圖像。

葡萄霜霉病病斑分割數(shù)據(jù)集由兩部分組成，從采集的1 082幅葡萄霜霉病圖像和相關(guān)領(lǐng)域?qū)＜医o出的葡萄霜霉病等級信息組成病害分級評價(jià)的數(shù)據(jù)集；從1 082幅圖像中選取100幅包含正反面、代表不同病害等級的圖像作為分解圖像融合得到訓(xùn)練集，將100幅圖像通過K-means算法進(jìn)行分解，并標(biāo)注每幅分解圖像的葡萄霜霉病病斑類別或者葉片類別。

1.3 葡萄霜霉病檢測分級框架

將葡萄霜霉病檢測分級分為葡萄葉片提取和病斑分割2個(gè)主要過程，如圖4所示。首先建立葡萄葉片語義分割模型，實(shí)現(xiàn)復(fù)雜環(huán)境下葡萄葉片提取；然后采用機(jī)器學(xué)習(xí)方法將提取的葡萄葉片分割為葉片區(qū)域和病斑區(qū)域，計(jì)算面積占比得到葡萄霜霉病等級。

圖4 葡萄霜霉病檢測分級原理框圖Fig.4 Schematic of grading detection of grape downy mildew

1.4 葡萄葉片區(qū)域提取

考慮到葡萄葉片圖像的復(fù)雜性，以及提取葉片區(qū)域存在耗時(shí)長和精度低的問題，采用在Cityscapes數(shù)據(jù)集中語義分割效果最好的HRNet v2+OCR語義分割算法，對復(fù)雜背景下的葡萄葉片圖像進(jìn)行自動分割。

1.4.1HRNet v2網(wǎng)絡(luò)框架

HRNet[21]是由微軟亞洲研究院和中國科學(xué)技術(shù)大學(xué)在2019年提出的神經(jīng)網(wǎng)絡(luò)算法，能夠全程保持高分辨率的特征圖，同時(shí)可以得到高級的語義特征，采用多尺度融合策略得到的高分辨率表示不僅信息豐富而且空間精確。為了提高語義分割的精度，目前主流的趨勢是先降低分辨率提取高級的語義特征，再采取多樣的方法從低分辨率表示恢復(fù)到高分辨表示。HRNet通過并行連接高分辨率到低分辨率卷積來保持高分辨率表示，并通過重復(fù)跨并行卷積執(zhí)行多尺度融合來增強(qiáng)高分辨率表示，使得網(wǎng)絡(luò)在整個(gè)過程中都能保持高分辨率的表征。HRNet v2[22]對HRNet進(jìn)行簡單的修改，將網(wǎng)絡(luò)的4種分辨率輸出中的低分辨輸出進(jìn)行雙線性上采樣，還原到高分辨率輸出的尺寸，并將這4種高分辨率輸出連接起來作為高分辨率的特征表示。HRNet v2增加了較小的計(jì)算消耗，而獲得了更強(qiáng)的高分辨率表示能力。

1.4.2并行多分辨率子網(wǎng)

并行多分辨率子網(wǎng)通過并行連接由高分辨率到低分辨率的子網(wǎng)構(gòu)建而成，每個(gè)子網(wǎng)內(nèi)部采用多條并行卷積序列，鄰近的子網(wǎng)間存在降采樣層，以將特征圖分辨率減半，HRNet網(wǎng)絡(luò)結(jié)構(gòu)如圖5[22]所示。整個(gè)模塊由Stem、Stage1、Stage2、Stage3和Stage4共5個(gè)階段組成。Stem通過3個(gè)連續(xù)不同的卷積操作，對原始圖像進(jìn)行特征提取。將產(chǎn)生低分辨率分支的功能以及重復(fù)的多尺度融合功能進(jìn)行了分離，產(chǎn)生低分辨率分支的功能在Stage1、Stage2、Stage3階段開頭，重復(fù)的多尺度融合功能在Stage1、Stage2、Stage3階段的結(jié)尾。Stage4首先將3個(gè)并行低分辨率子網(wǎng)的輸出上采樣到高分辨率子網(wǎng)的尺寸，然后通過簡單的連接操作連接同樣尺寸的4個(gè)分支的結(jié)果。

1.4.3重復(fù)的多尺度融合

HRNet采用不同分辨率特征圖像交換單元，使每個(gè)子網(wǎng)融合其他分辨率的特征信息。信息交換單元如圖6所示[21]，上采樣時(shí)，采用雙線性插值，然后采用1×1的卷積進(jìn)行處理；下采樣時(shí)，采用步長為2、卷積核為3×3的卷積處理；相同分辨率的層采用直接復(fù)制的方式進(jìn)行處理；3個(gè)特征融合的方式采用直接相加。

圖6 HRNet信息交換單元Fig.6 HRNet information exchange unit

1.4.4基于物體區(qū)域的上下文信息

OCR (Object-contextual representations)[23]是顯式地把像素分類問題轉(zhuǎn)換成物體區(qū)域分類問題，網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，與DeepLab v3+的上下文信息不同的是顯式地增強(qiáng)了物體信息。OCR的實(shí)現(xiàn)分3個(gè)部分：①根據(jù)主干網(wǎng)絡(luò)的特征圖估測一個(gè)簡單語義分割結(jié)果，即軟物體區(qū)域，將其作為OCR的輸入。②根據(jù)軟物體區(qū)域和最深層網(wǎng)絡(luò)的像素特征計(jì)算得到物體區(qū)域，用最深層網(wǎng)絡(luò)的像素特征和物體區(qū)域計(jì)算得到物體的像素區(qū)域，然后根據(jù)每個(gè)像素和物體區(qū)域特征表示在關(guān)系矩陣中的數(shù)值把物體區(qū)域特征加權(quán)求和，得到最后的物體上下文特征。③把物體的上下文特征和最深層網(wǎng)絡(luò)的像素特征作為上下文增強(qiáng)特征。OCR可計(jì)算一組物體區(qū)域的特征表達(dá)，然后根據(jù)物體區(qū)域特征表示與像素特征表示之間的相似度將這些物體區(qū)域特征表示傳播給每個(gè)像素。

圖7 OCR網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 OCR network structure

1.5 葡萄霜霉病病斑分割

根據(jù)霜霉病發(fā)病特點(diǎn)，病斑區(qū)域標(biāo)注非常困難，需要消耗大量的資源，病斑較難直接采取標(biāo)簽標(biāo)記的方式進(jìn)行訓(xùn)練學(xué)習(xí)。而采用傳統(tǒng)圖像處理或無監(jiān)督學(xué)習(xí)的方式提取病斑，需要從大量的數(shù)據(jù)中尋找一些便于提取的數(shù)據(jù)特征，要求研究人員具有一定的開發(fā)經(jīng)驗(yàn)，實(shí)現(xiàn)難度較大。同時(shí)又由于不同葡萄葉片的亮度不同、光照不均勻以及不同病害等級的病斑的特征有差異，采用人工尋找數(shù)據(jù)特征將會非常困難。本研究設(shè)計(jì)了先通過無監(jiān)督學(xué)習(xí)將圖像分解為若干子區(qū)域圖像，每個(gè)子區(qū)域圖像內(nèi)顏色特征一致，然后對分割開的若干子區(qū)域圖像進(jìn)行有監(jiān)督訓(xùn)練，將分割開的部分重新合并得到病斑區(qū)域和葉片區(qū)域，間接地采用有監(jiān)督學(xué)習(xí)提取病斑，實(shí)現(xiàn)自動提取病斑特征。設(shè)計(jì)了一種基于K-means和隨機(jī)森林算法的病斑分割算法，如圖8所示。采用K-means算法將葉片圖像分解成若干部分，然后采用隨機(jī)森林算法將若干子區(qū)域圖像進(jìn)行合并得到病斑區(qū)域和葉片區(qū)域。對葡萄霜霉病病斑提取分為葡萄葉片圖像分解和葡萄葉片碎片圖像合并2個(gè)過程。

圖8 葡萄霜霉病病斑分割Fig.8 Segmentation of grape downy mildew spots

1.5.1葡萄葉片圖像分解

顏色特征是區(qū)分葡萄霜霉病病斑和正常葉片區(qū)域最直接的特征。在田間采集的圖像光照強(qiáng)度不同，葡萄葉片圖像分解需要克服光照強(qiáng)度不均勻的干擾。RGB顏色特征極容易受到光照條件影響[24-25]，Lab色彩空間的a分量代表從綠色到紅色，HSV色彩空間的S分量代表飽和度，YCrCb色彩空間的Cr分量和Cb分量代表色度，此4個(gè)色彩特征受光照影響較小。綜合考慮到光照強(qiáng)度的影響和霜霉病病斑的顏色特點(diǎn)，選取HSV色彩空間的S分量、YCrCb色彩空間的Cr與Cb分量和Lab色彩空間的a分量作為葡萄葉片圖像分解的特征向量。

K-means聚類算法是一種最常見的迭代求解的聚類分析算法，是在最小誤差函數(shù)的基礎(chǔ)上將原始的數(shù)據(jù)劃分為預(yù)定的類數(shù)K。本研究設(shè)計(jì)了一種基于K-means的葡萄圖像分解算法，具體實(shí)現(xiàn)過程如圖9所示。

圖9 基于K-means的葡萄圖像分解算法流程圖Fig.9 Flowchart of grape image decomposition algorithm based on K-means

獲取去除背景的葡萄葉片圖像后，將圖像進(jìn)行色彩空間變換，將RGB色彩空間的圖像轉(zhuǎn)換為HSV、Lab和YCrCb色彩空間，分別提取S分量、a分量、Cr分量、Cb分量，然后利用通道融合的方式將圖像融合成為多通道圖像。聚類中心的數(shù)量等于子區(qū)域圖像的數(shù)量，子區(qū)域圖像的數(shù)量不少于2個(gè)，子區(qū)域圖像的數(shù)量越多，圖像分解得越細(xì)致，子區(qū)域圖像內(nèi)部的紋理和顏色特征的相似度也越高，但是子區(qū)域圖像的數(shù)量會帶來較大的計(jì)算開銷，本研究選取聚類中心數(shù)量為10。隨機(jī)選取10個(gè)像素點(diǎn)作為K-means算法的聚類中心，然后計(jì)算每個(gè)像素點(diǎn)xi距離聚類直線的歐氏距離，根據(jù)距離將每個(gè)像素點(diǎn)分配到距離聚類中心最近的簇中。針對每個(gè)簇的類別aj，重新計(jì)算它的聚類中心，觀察聚類中心是否改變，如果改變則需要重復(fù)進(jìn)行計(jì)算每個(gè)像素點(diǎn)與聚類中心的距離并重新進(jìn)行分簇，直至聚類中心不發(fā)生改變?yōu)橹埂８鶕?jù)聚類結(jié)果將去除背景的葡萄葉片圖像分解成10個(gè)圖像，每幅圖像內(nèi)的顏色特征十分接近，可以將病斑區(qū)域和葉片區(qū)域分割開。

1.5.2葡萄葉片碎片圖像合并

紋理在圖像中以某種局部排列模式反復(fù)出現(xiàn)，排列規(guī)則不依賴于顏色或者光照，可以反映圖像同質(zhì)現(xiàn)象的特點(diǎn)，是一種有效的圖像特征。灰度共生矩陣能反映圖像灰度關(guān)于方向、相鄰間隔、變化幅度的綜合信息，它是分析圖像的局部模式和它們排列規(guī)則的基礎(chǔ)。本研究采用基于統(tǒng)計(jì)方法的灰度共生矩陣[26]提取圖像的目標(biāo)紋理參數(shù)。根據(jù)灰度共生矩陣法，分別提取圖像的對比度、能量、熵和逆方差。對比度表示度量矩陣的值如何分布和圖像中局部變化情況，反映了圖像的清晰度和紋理的溝紋深度；能量變換反映了圖像灰度分布均勻程度和紋理粗細(xì)度；熵表明了圖像灰度分布的復(fù)雜程度，熵越大，圖像越復(fù)雜；方差分矩陣又稱逆方差，反映了圖像紋理局部變化量，若圖像紋理的不同區(qū)域間較均勻，變化緩慢，逆方差會較大。

選取S分量、a分量、Cr分量和Cb分量作為病斑分割的顏色特征，選取灰度共生矩陣的能量、對比度、熵和逆方差作為紋理特征，選取這個(gè)8個(gè)特征的均值和方差作為特征向量。

圖10 基于隨機(jī)森林算法的葡萄葉片碎片圖像合并算法流程圖Fig.10 Flowchart of fragment images merging algorithm of grape leaf based on random forest algorithm

隨機(jī)森林算法是多棵決策樹為基分類器構(gòu)建集成分類器，它通過提取多個(gè)不同的訓(xùn)練集和隨機(jī)選取節(jié)點(diǎn)分類特征來增大分類模型之間的差異，從而提高模型的泛化和預(yù)測能力[27]。本文設(shè)計(jì)了一種基于隨機(jī)森林算法的葡萄葉片碎片圖像合并算法，具體實(shí)現(xiàn)過程如圖10所示。

從數(shù)據(jù)中選取可以代表不同病害等級、不同光照條件的葡萄霜霉病圖像正反面各50幅作為訓(xùn)練集。將選取的特征向量輸入隨機(jī)森林算法分類器進(jìn)行訓(xùn)練，設(shè)置超參數(shù)決策樹數(shù)量為100，訓(xùn)練完成后保存模型的權(quán)值文件。推理時(shí)，隨機(jī)森林算法加載模型的權(quán)值文件，輸入一個(gè)碎片圖像的特征向量，即可判斷一個(gè)碎片圖像屬于病斑還是葉片正常部分。輸入一個(gè)完整葡萄葉片圖像的分解圖像，通過合并病斑區(qū)域和葉片區(qū)域的分解圖像即可將該完整葡萄葉片圖像分為病斑區(qū)域和葉片區(qū)域。

1.5.3像素尺寸變換

因?yàn)檎Z義分割算法參數(shù)較多，直接輸入原始的高分辨率的圖像會占用較大的顯存，甚至?xí)斐娠@存溢出無法訓(xùn)練和推理圖像，因此本研究采用較低分辨率的圖像用于語義分割算法，分辨率為513像素×513像素。而葡萄霜霉病病斑分割算法采用的是傳統(tǒng)機(jī)器學(xué)習(xí)和圖像處理的方式，較高的分辨率可以讓病斑提取效果更顯著、細(xì)致，葡萄霜霉病病斑分割算法采用原始的高分辨率圖像作為處理對象，分辨率為3 120像素×3 120像素。為了使葉片提取結(jié)果和葡萄霜霉病病斑分割輸入圖像相匹配，本文設(shè)計(jì)一種像素尺寸變換的策略，具體分辨率變換流程如圖11所示。

圖11 分辨率變換流程圖Fig.11 Flowchart of resolution transformation

1.6 模型訓(xùn)練與測試

1.6.1實(shí)驗(yàn)平臺

葡萄葉片提取采用Pytorch深度學(xué)習(xí)框架搭建深度學(xué)習(xí)網(wǎng)絡(luò)，結(jié)合OpenCV和PIL模塊開發(fā)，Python版本為3.6，Pytorch版本為1.7；葡萄霜霉病病斑提取采用scikit-learn機(jī)器學(xué)習(xí)框架，結(jié)合NumPy軟件包開發(fā)，scikit-learn版本為0.23.2。實(shí)驗(yàn)用計(jì)算機(jī)平臺配置CPU為Intel酷睿i9-10900k @3.80 GHz×20，內(nèi)存為48 GB的DDR4，顯卡為英偉達(dá)GeForce RTX3090，顯存24 GB，CUDA為10 496個(gè)，顯卡核心頻率為1 785 MHz，算力為35.7 TFLOPS。

1.6.2葡萄葉片區(qū)域提取網(wǎng)絡(luò)訓(xùn)練策略

為了驗(yàn)證HRNet v2+OCR網(wǎng)絡(luò)的有效性，將HRNet v2+OCR網(wǎng)絡(luò)應(yīng)用到葡萄葉片提取中，并與其他模型進(jìn)行比較。本研究對傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)DeepLab v3+、FCN、FastFCN、UNet和UNet++進(jìn)行訓(xùn)練和測試，比較傳統(tǒng)的語義分割網(wǎng)絡(luò)和HRNet v2+OCR網(wǎng)絡(luò)在葡萄葉片區(qū)域提取性能上的差異。不同參數(shù)量的主干網(wǎng)絡(luò)會對語義分割的精度產(chǎn)生影響，因此本研究還對比了不同參數(shù)量的主干網(wǎng)絡(luò)在不同語義分割算法上對于葡萄葉片分割產(chǎn)生的影響。

在訓(xùn)練過程中采用隨機(jī)梯度下降法(Stochastic gradient descent, SGD)作為神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，采用交叉熵?fù)p失函數(shù)作為優(yōu)化誤差函數(shù)。批處理大小設(shè)置為16，學(xué)習(xí)率設(shè)置為0.01，為了提高SGD算法的收斂速度，提高訓(xùn)練效果，設(shè)置動量為0.9，權(quán)值衰減為0.000 5，采用ImageNet的預(yù)訓(xùn)練權(quán)重，迭代次數(shù)為100。

1.6.3葡萄葉片區(qū)域提取網(wǎng)絡(luò)評價(jià)指標(biāo)

采用準(zhǔn)確率(Accuracy)和平均交并比(Mean inetersection over union)作為HRNet v2+OCR模型對葡萄葉片區(qū)域分割精度的評價(jià)指標(biāo)。

1.6.4葡萄霜霉病病斑分割算法評價(jià)指標(biāo)

采用病害分級準(zhǔn)確率(Disease grade accuracy，PDGACC)和病害分級誤差(Disease grade error，EDG)作為葡萄霜霉病病斑分割算法的評價(jià)指標(biāo)。

傳統(tǒng)的病害檢測分級通常采用病害分級準(zhǔn)確率來評價(jià)算法優(yōu)劣，但當(dāng)1級病斑誤劃分為3級和1級病斑誤劃分為9級之間存在明顯差異，分級誤差不適合采用分級準(zhǔn)確率來評價(jià)算法性能。同時(shí)本研究數(shù)據(jù)集較難劃分病斑區(qū)域，無法知道病斑的真實(shí)面積以及病斑位置，也不適合采用算法劃分病斑區(qū)域和真實(shí)病斑區(qū)域的面積交并比作為評價(jià)指標(biāo)。本研究設(shè)計(jì)了一種基于模糊數(shù)學(xué)中隸屬度的葡萄霜霉病病害分級誤差函數(shù)，公式為

EDG=4|min(s-x)|

(2)

其中

(3)

式中EDG——葡萄霜霉病病害分級誤差

x——依據(jù)葡萄霜霉病分級標(biāo)準(zhǔn)的中間變量

n——葡萄霜霉病病害等級

當(dāng)采用算法得出的葡萄霜霉病病害等級和真實(shí)病害等級相等時(shí)，EDG為0；當(dāng)病害等級不一致時(shí)，等級相差越大，EDG也越大；當(dāng)?shù)燃壵`差相同時(shí)，面積占比的誤差越大，EDG也越大。EDG越大，代表算法與病害真實(shí)值等級誤差越大，算法表現(xiàn)越差。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 葡萄葉片提取結(jié)果與分析

各語義分割算法的分割精度對比如表3所示，由表3可知，HRNet v2+OCR語義分割算法和W48特征提取網(wǎng)絡(luò)結(jié)合的準(zhǔn)確率和平均交并比最大，分別為98.45%、97.23%，較主流網(wǎng)絡(luò)均有提升。不同的語義分割算法和不同的主干網(wǎng)絡(luò)結(jié)合表現(xiàn)效果也有差異，在同一類主干網(wǎng)絡(luò)下，主干網(wǎng)絡(luò)的參數(shù)越多，模型的準(zhǔn)確率和平均交并比越高。HRNet v2、DeepLab v3+和FastFCN略遜于HRNet v2+OCR算法，F(xiàn)CN、UNet和UNet++表現(xiàn)效果較差。FCN使用反卷積的方式恢復(fù)圖像分辨率，該方法沒有考慮到全局上下文信息，恢復(fù)原圖像尺寸的過程中特征過于稀疏，對各個(gè)像素進(jìn)行分類，沒有考慮到像素之間的關(guān)系，缺乏空間統(tǒng)一性，導(dǎo)致其對圖像的細(xì)節(jié)不夠敏感，分割圖像的邊緣不清晰，因此，其分割性能指標(biāo)較差。UNet和UNet++網(wǎng)絡(luò)結(jié)構(gòu)較為簡單，定位準(zhǔn)確性和獲取上下文信息不可兼得，圖像的分割邊緣會有鋸齒現(xiàn)象。DeepLab v3+采用編碼器-解碼器進(jìn)行多尺度信息融合，通過空間金字塔方式實(shí)現(xiàn)不同分辨率下的池化操作，豐富上下文信息，采用膨脹卷積進(jìn)行特征圖抽取；FastFCN采用JPU替代膨脹卷積，而HRNet v2采用并行多分辨率子網(wǎng)方式提取特征，在整個(gè)過程中都保存高分辨率，在并行的多分辨率子網(wǎng)之間反復(fù)交換信息，進(jìn)行多尺度融合，高分辨率特征與低分辨率特征之間相互增強(qiáng)。HRNet v2+OCR在HRNet v2的基礎(chǔ)上顯式增強(qiáng)了物體信息，葉片提取的效果最好。

表3 各語義分割算法分割精度及模型性能比較Tab.3 Comparison of segmentation accuracies and model performances of these semantic segmentation algorithms

圖12 葡萄葉片分割結(jié)果對比Fig.12 Comparison of grape leaf segmentation results

根據(jù)以上結(jié)果能夠判斷HRNet v2+OCR具有良好的分割效果，對于葡萄葉片的提取最接近真實(shí)值，能夠滿足自然環(huán)境下復(fù)雜背景的葡萄葉片分割的要求。但由于輸入深度學(xué)習(xí)的圖像分辨率較低，同時(shí)有一些葉片和背景或病斑和背景較為接近，邊界較為模糊，導(dǎo)致葉片區(qū)域和背景區(qū)域難以分割。但HRNet v2+OCR的分割精度已經(jīng)可以滿足后續(xù)葡萄霜霉病病斑提取的條件。圖12展示了幾種典型葡萄葉片在HRNet v2+OCR-W48、HRNet v2-W48、DeepLab v3+- ResNet101、FCN8s-VGG16、FastFCN- ResNet101、UNet和UNet++ 7個(gè)模型上的分割結(jié)果，可以看出HRNet v2+OCR-W48、HRNet v2-W48、DeepLab v3+- ResNet101和FastFCN- ResNet101分割邊界清晰，而FCN8s-VGG16、UNet和UNet++分割邊緣較模糊，分割結(jié)果丟失一些細(xì)節(jié)，背景圖像存在分割錯(cuò)誤的現(xiàn)象。在葡萄葉片和背景較為清晰的圖12d和圖12e上HRNet v2+OCR-W48、HRNet v2-W48、DeepLab v3+- ResNet101和FastFCN- ResNet101模型表現(xiàn)都比較好，分割出的葉片和真實(shí)葉片都比較接近，HRNet v2-W48和DeepLab v3+- ResNet101會有少量背景誤分割為葉片的碎片區(qū)域。在葉片存在光照不均的圖12a、12b、12c上，HRNet v2+OCR-W48、HRNet v2-W48、DeepLab v3+- ResNet101和FastFCN- ResNet101模型在陰影區(qū)域、強(qiáng)光區(qū)域均出現(xiàn)不同程度的分割異常，光線變化對葡萄葉片區(qū)域分割存在較大干擾，DeepLab v3+- ResNet101模型在圖12b存在將亮度較高的葉片區(qū)域劃分為背景區(qū)域。FastFCN- ResNet101的邊緣較為光滑，HRNet v2+OCR-W48、HRNet v2-W48和DeepLab v3+- ResNet101分割邊緣比較銳利和真實(shí)葉片的邊緣比較接近。從葡萄葉片分割圖可以看出，HRNet v2+OCR-W48對光照不均的葉片有較好的適應(yīng)性，同時(shí)在葉片分割邊緣與實(shí)際葡萄葉片邊緣較為接近，在葡萄葉片分割效果上HRNet v2+OCR-W48模型表現(xiàn)最好。

2.2 葡萄霜霉病分級結(jié)果與分析

采用人工分割的葡萄葉片圖像作為葡萄霜霉病病斑分割算法的輸入，對葡萄霜霉病病斑分割算法進(jìn)行評估。

混淆矩陣是一種精度評價(jià)的標(biāo)準(zhǔn)格式，利用混淆矩陣可以直觀地估計(jì)模型的分類精度，所有正確的預(yù)測都在對角線上，所有錯(cuò)誤的預(yù)測都不在對角線上。對角線上的圖像誤差為0，對角線兩側(cè)預(yù)測誤差較小，距離對角線越遠(yuǎn)誤差越大。采用混淆矩陣可以直觀顯示病斑提取算法的精度以及誤差信息。葡萄霜霉病分級混淆矩陣如圖13所示，從混淆矩陣可以看出病斑分級結(jié)果大多數(shù)都分布在對角線和對角線兩側(cè)，病斑分割結(jié)果較好。葡萄霜霉病分級結(jié)果如表4所示，正面葉片、反面葉片和正反面葉片的PDGACC分別為53.55%、76.11%和65.25%，病害等級誤差小于等于2級時(shí)的PDGACC分別為89.06%、97.86%和93.62%，分級誤差分別為0.85、0.38和0.60，成功實(shí)現(xiàn)了自然環(huán)境復(fù)雜背景下葡萄霜霉病分級。葡萄霜霉病分級方法反面表現(xiàn)效果優(yōu)于正面，和人工觀察預(yù)期相符，正面病斑邊界比反面邊界更加模糊，同時(shí)反面病斑顏色較為單一，容易辨識。

圖13 葡萄霜霉病病斑分級Fig.13 Grading of grape downy mildew spots

表4 葡萄霜霉病分級算法評價(jià)結(jié)果Tab.4 Evaluation of grape downy mildew grading algorithms

不同病害等級分級差異如表5所示，葡萄霜霉病病斑分割算法對于不同病害等級的葡萄霜霉病表現(xiàn)有差異，在正面和反面的3級和5級都表現(xiàn)較好，3級和5級的正面和反面的病斑都處于發(fā)病初期階段，病斑分界線清晰且病斑和周圍葉片對比度較強(qiáng)，因此PDGACC較高；在正面和反面的1級都表現(xiàn)較差，1級的指標(biāo)為病斑面積占比0～5%，聚類算法會出現(xiàn)將少量葉片區(qū)域和病斑區(qū)域聚為一類或者隨機(jī)森林算法將少量葉片區(qū)域誤分割為病斑區(qū)域，會被分級為3級，PDGACC較低；正面5級、7級和9級霜霉病發(fā)病進(jìn)入中后期，葉片顏色變化較大，會引起葉片周圍區(qū)域發(fā)生異常，PDGACC低于反面5級、7級和9級的葉片。

從圖14可以看出，當(dāng)葉片光線均勻或者邊界清晰時(shí)，算法可以將絕大多數(shù)病斑區(qū)域提取出來，在病斑邊緣處可能出現(xiàn)少量分割誤差，分割效果較好。當(dāng)光線不均勻時(shí)，或者出現(xiàn)強(qiáng)光陰影時(shí)，算法分割會出現(xiàn)異常，算法對強(qiáng)光和陰影較為敏感。

2.3 葡萄霜霉病分級融合評價(jià)

采用語義分割算法聯(lián)合葡萄霜霉病斑提取算法實(shí)現(xiàn)葡萄霜霉病檢測分級，語義分割算法采用HRNet v2+OCR-W48算法。因?yàn)镠RNet v2+OCR-W48輸出掩膜圖像的尺寸較小，直接通過輸出掩膜圖像求取ROI圖像信息量較小，病斑提取效果較差。本研究采用像素尺寸變換的方式進(jìn)行處理，使得進(jìn)行病斑提取的圖像分辨率較高，提取信息更多，結(jié)果如表6所示。

表5 不同病害等級的分級結(jié)果Tab.5 Grading results of different disease degrees

圖14 葡萄霜霉病病斑分割結(jié)果Fig.14 Results of grape downy mildew spot segmentation

從表6和表4可以看出，在葡萄霜霉病分級上，進(jìn)行像素尺寸變換策略的PDGACC略低于直接采用人工分割的PDGACC。從表6可以看出，進(jìn)行像素尺寸變換的方式較好，正面、反面和正反面的PDGACC分別為52.59%、73.08%和63.32%，病害等級誤差小于等于2級時(shí)的PDGACC分別為88.67%、96.97%和92.98%；較未進(jìn)行像素尺寸變換的效果有明顯提升，正面、反面和正反面的PDGACC分別提升7.29、22.64、15.35個(gè)百分點(diǎn)，病害等級誤差小于等于2級時(shí)的PDGACC分別提升4.41、8.38、6.48個(gè)百分點(diǎn)；像素尺寸變換的方式在反面表現(xiàn)優(yōu)于正面；像素尺寸變換的方式對PDGACC提升高于病害等級誤差小于等于2級時(shí)的PDGACC。

表6 葡萄霜霉病病斑分割算法評價(jià)結(jié)果Tab.6 Evaluation of spot segmentation algorithms of grape downy mildew

采用語義分割并進(jìn)行像素尺寸變換聯(lián)合葡萄霜霉病病斑提取算法結(jié)果與直接采用人工劃分的葡萄葉片ROI圖像差別較小，準(zhǔn)確度略低于直接采用人工劃分的葡萄葉片ROI圖像。從圖15可以看出，采用語義分割的葡萄葉片邊緣較不清晰，導(dǎo)致病斑在葉片邊緣區(qū)域存在異常劃分；當(dāng)語義分割異常時(shí)，病斑分割會產(chǎn)生異常，可能會出現(xiàn)將土壤劃分為病斑區(qū)域造成葡萄霜霉病分級錯(cuò)誤。而未進(jìn)行像素尺寸變換方式的病斑分割精度較差，這種方式得到的葡萄葉片圖像分辨率較低，采用K-means聚類算法將葡萄葉片分解為子區(qū)域圖像時(shí)，分解的子區(qū)域圖像存在病斑和葉片區(qū)分不開的現(xiàn)象；同時(shí)由于像素量較少，病斑和葉片邊界更加不清晰，造成分級錯(cuò)誤。

圖15 葡萄霜霉病病斑融合分割結(jié)果Fig.15 Results of segmentation fusion of grape downy mildew spots

3 結(jié)論

(1)考慮到實(shí)際果園環(huán)境的復(fù)雜性，采用HRNet v2+OCR算法構(gòu)建了葡萄葉片提取模型，能夠較好地分割實(shí)際果園環(huán)境下的葡萄葉片，比其他常見語義分割網(wǎng)絡(luò)的識別準(zhǔn)確性上都有一定的提高，該模型在W48主干網(wǎng)絡(luò)基礎(chǔ)上的準(zhǔn)確率為98.45%，平均交并比為97.23%。

(2)考慮到霜霉病病斑的特點(diǎn)，設(shè)計(jì)了一種基于K-means和隨機(jī)森林算法的葡萄霜霉病病斑分割算法，將無法直接標(biāo)注病斑區(qū)域的圖像分解為若干子區(qū)域圖像進(jìn)行有監(jiān)督學(xué)習(xí)，只需要標(biāo)注少量子區(qū)域圖像即可以完成病斑提取，正面葉片、反面葉片和正反面葉片的PDGACC分別為53.55%、76.11%和65.25%，病害等級誤差小于等于2級時(shí)正面葉片、反面葉片和正反面葉片的PDGACC分別為89.06%、97.86%和93.62%，成功實(shí)現(xiàn)了自然環(huán)境復(fù)雜背景下葡萄霜霉病病斑提取。

(3)在融合葉片提取和病斑提取方法過程中，設(shè)計(jì)一種像素尺寸變換策略，實(shí)現(xiàn)將小尺寸圖像還原到原始尺寸，讓病斑分割算法有更多的信息和更高的分辨率，同時(shí)還設(shè)計(jì)了一種葡萄霜霉病病害分級誤差的評價(jià)指標(biāo)。采用HRNet v2+OCR模型聯(lián)合葡萄霜霉病斑提取算法，同時(shí)進(jìn)行像素尺寸變換策略時(shí)葡萄霜霉病分級正面、反面和正反面的PDGACC分別為52.59%、73.08%和63.32%，病害等級誤差小于等于2級時(shí)的PDGACC分別為88.67%、96.97%和92.98%。