基于注意力機(jī)制的葡萄品種多特征分類(lèi)方法

蘇寶峰 沈 磊 陳 山 米志文 宋育陽(yáng) 陸 南

(1.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院, 陜西楊凌 712100; 2.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室, 陜西楊凌 712100;3.西北農(nóng)林科技大學(xué)葡萄酒學(xué)院, 陜西楊凌 712100; 4.西北農(nóng)林科技大學(xué)水利與建筑工程學(xué)院, 陜西楊凌 712100)

0 引言

葡萄品種的有效分類(lèi)可以幫助葡萄種植者更為方便管理與精準(zhǔn)決策[1]。葡萄在發(fā)育成熟過(guò)程中，容易受到病害的侵染，了解特定品種對(duì)特定疾病的易感性，對(duì)其進(jìn)行有效識(shí)別，將有助于更具體和更有針對(duì)性地防治葡萄病害[2]。

傳統(tǒng)上，鑒定葡萄品種的方法通常需要對(duì)葉片破壞性取樣或者手動(dòng)提取圖像特征，其具有一定破壞性且耗時(shí)耗力[3-6]。以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法[7-10]，在圖像的分類(lèi)中受到廣泛應(yīng)用。文獻(xiàn)[11]基于54幅榕屬植物葉片圖像，利用人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)方法，提出了一種自動(dòng)識(shí)別3種具有相似葉形態(tài)的榕屬植物的系統(tǒng)，該系統(tǒng)對(duì)榕屬植物葉片圖像識(shí)別準(zhǔn)確率達(dá)到了83.3%，證明了深度學(xué)習(xí)對(duì)葉片圖像的識(shí)別能力。

田間環(huán)境復(fù)雜多變，不同葡萄品種之間的圖像具有高度相似性，且易受到自然背景干擾。因此，在田間自然環(huán)境背景下識(shí)別葡萄品種是一個(gè)難點(diǎn)。對(duì)于葡萄品種識(shí)別的早期工作中，文獻(xiàn)[12]提出了一種在夜間環(huán)境下針對(duì)于彩色圖像中的葡萄串檢測(cè)和定位的系統(tǒng)來(lái)區(qū)分白葡萄和紅葡萄。作物真實(shí)的生長(zhǎng)環(huán)境條件具有高度異質(zhì)性[13]，并且很難重復(fù)。通過(guò)夜間受控環(huán)境來(lái)消除自然光照及背景條件的影響受限于特定的應(yīng)用場(chǎng)景，難以在實(shí)際中推廣與應(yīng)用。

文獻(xiàn)[2]提出了一種基于AlexNet體系結(jié)構(gòu)和遷移學(xué)習(xí)[14-16]的方法，在田間環(huán)境下通過(guò)葡萄葉片圖像對(duì)6個(gè)葡萄品種進(jìn)行識(shí)別分類(lèi)，測(cè)試準(zhǔn)確率僅為77.30%。該研究利用葡萄葉片圖像鑒別葡萄品種的方法，僅限于葡萄特定的生長(zhǎng)時(shí)期。然而，不同生長(zhǎng)階段下葡萄葉片的尺寸、顏色、形態(tài)與紋理結(jié)構(gòu)具有明顯的差異[17]，只針對(duì)某一時(shí)期的葡萄葉片識(shí)別在實(shí)際生產(chǎn)應(yīng)用上存在一定的局限性。

葡萄品種的分類(lèi)屬于典型的圖像多特征分類(lèi)問(wèn)題。然而以上研究多針對(duì)單一時(shí)期葡萄特征開(kāi)展研究，模型難以泛化到更為異構(gòu)的數(shù)據(jù)集，且在特征學(xué)習(xí)中因自然環(huán)境的影響而受限于特定場(chǎng)景[14,18]。因此，為了能夠解決田間復(fù)雜背景條件下對(duì)不同生長(zhǎng)時(shí)期的葡萄品種鑒別問(wèn)題，本文在田間自然環(huán)境下采集12類(lèi)不同品種不同時(shí)期葡萄特征圖像，通過(guò)引入注意力機(jī)制降低自然環(huán)境影響，改進(jìn)ResNet-50[19]，提出一種在田間環(huán)境下對(duì)葡萄多特征圖像鑒別的方法，并對(duì)深度學(xué)習(xí)可解釋性差的問(wèn)題，通過(guò)可視化對(duì)網(wǎng)絡(luò)作用機(jī)制進(jìn)行解釋?zhuān)云趯?duì)不同生長(zhǎng)時(shí)期的葡萄品種進(jìn)行可靠的識(shí)別分類(lèi)。

1 材料與方法

1.1 實(shí)驗(yàn)數(shù)據(jù)集制備

本實(shí)驗(yàn)圖像采集地點(diǎn)為陜西省楊凌區(qū)曹新莊實(shí)驗(yàn)農(nóng)場(chǎng)釀酒葡萄生產(chǎn)示范基地，收集了12類(lèi)釀酒葡萄品種在不同生長(zhǎng)時(shí)期的嫩梢、幼葉以及成熟葉片特征圖像，如圖1所示。采集時(shí)間集中在2020年6—8月，都在晴天以及陰天的自然光線(xiàn)條件下進(jìn)行。相機(jī)型號(hào)為SONY ILCE-5100L，分辨率為3 008像素×1 668像素，光圈值為f/3.2，曝光時(shí)間為1/60 s。每類(lèi)品種每種特征各200幅，合計(jì)7 200幅圖像。

將收集到的圖像按7∶2∶1的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集以及測(cè)試集。為了保持每類(lèi)樣本特征圖像數(shù)量均衡、消除隨機(jī)性，每類(lèi)品種中的3種特征圖像的數(shù)量均相等。

1.2 實(shí)驗(yàn)環(huán)境與條件

實(shí)驗(yàn)在Linux系統(tǒng)環(huán)境下進(jìn)行(Ubuntu 20.04)，計(jì)算機(jī)顯卡為NVIDIA Titan RTX，顯存24 GB，CPU型號(hào)為Intel(R) Xeon(R) Silver 4214@2.20 GHz，深度學(xué)習(xí)框架為Pytorch(Python 3.6，Pytorch 1.2，torchvision 0.4)。

1.3 模型構(gòu)建與訓(xùn)練參數(shù)設(shè)計(jì)

針對(duì)田間自然背景環(huán)境下對(duì)葡萄多特征識(shí)別分類(lèi)存在的問(wèn)題，本研究基于注意力機(jī)制，通過(guò)改進(jìn)ResNet-50，提出一種新的網(wǎng)絡(luò)模型ResNet50-SE，并利用遷移學(xué)習(xí)方法對(duì)模型進(jìn)行訓(xùn)練，以實(shí)現(xiàn)不同生長(zhǎng)時(shí)期下葡萄品種鑒別。

1.3.1SE模塊

SENet[20](Squeeze-and-excitation networks)核心思想在于通過(guò)網(wǎng)絡(luò)學(xué)習(xí)特征權(quán)重，放大有效的特征通道，抑制無(wú)效或效果小的特征通道，從而使訓(xùn)練模型達(dá)到更好的結(jié)果。SE模塊為其核心結(jié)構(gòu)，是一種注意力機(jī)制，如圖2所示。SE模塊主要由擠壓(Squeeze，F(xiàn)sq)和激發(fā)(Excitation，F(xiàn)ex)兩步操作組成，Squeeze操作先將輸入尺寸為H×W×C的特征圖(其中H、W、C分別為輸入特征圖長(zhǎng)、寬和特征通道數(shù))采用全局平均池化(Global average pooling)計(jì)算，得到1×1×C的特征向量，使其具有全局感受野，然后進(jìn)入兩層全連接層，全連接層之間采用ReLU 激活函數(shù)，并且輸入與輸出的特征通道維度相同。Excitation操作通過(guò)最后的Sigmoid激活函數(shù)計(jì)算生成每個(gè)特征通道的權(quán)重。最后Scale操作(Fscale)將輸出的特征通道權(quán)值向量與原輸入特征圖相乘，完成在通道維度上的原始特征標(biāo)定，使提取的特征具有更強(qiáng)的指向性，從而提高分類(lèi)性能[21]。

1.3.2ResNet模型

隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)性能逐漸出現(xiàn)退化問(wèn)題[19]，ResNet模型通過(guò)堆疊殘差結(jié)構(gòu)，可有效解決這一問(wèn)題[22]。殘差結(jié)構(gòu)如圖3所示，X為網(wǎng)絡(luò)輸入，它使用了一種“Shortcut connection”連接方式，將網(wǎng)絡(luò)原本要學(xué)習(xí)的特征X從捷徑分支與從經(jīng)過(guò)權(quán)重層學(xué)到的特征F(X)直接相加，并通過(guò)ReLU函數(shù)進(jìn)行激活。ResNet-50作為其經(jīng)典結(jié)構(gòu)，是目前主流的圖像分類(lèi)方法之一。

1.3.3改進(jìn)的ResNet-50模型

通過(guò)對(duì)ResNet-50模型多特征識(shí)別分類(lèi)精度以及可視化結(jié)果分析，在田間復(fù)雜背景條件下，容易受到背景影響，使模型提取到一些無(wú)效信息，從而降低分類(lèi)性能。基于注意力機(jī)制的方法，使得模型關(guān)注并加強(qiáng)有效的分類(lèi)信息，而忽略掉一些無(wú)用的特征信息，從而提高模型的魯棒性。鑒于SE模塊對(duì)特征提取的校正性作用，本研究提出一種將SE模塊嵌入ResNet-50模型結(jié)構(gòu)，為區(qū)別于其它SE模塊嵌入ResNet-50的網(wǎng)絡(luò)模型，將其命名為ResNet50-SE，模型結(jié)構(gòu)如圖4所示。

ResNet50-SE模型通過(guò)在每個(gè)殘差結(jié)構(gòu)中嵌入SE模塊以及在模型第1層(Conv1)和輸出層中引入SE模塊對(duì)網(wǎng)絡(luò)提取到的特征進(jìn)行校正。網(wǎng)絡(luò)主要的組成結(jié)構(gòu)為Bottleneck-SE結(jié)構(gòu)(圖4)，主要有4種不同的類(lèi)型，其數(shù)量分別為3、4、6、3。Bottleneck-SE結(jié)構(gòu)所使用的卷積核尺寸相同，主要區(qū)別在于卷積核的數(shù)量(即卷積核維度)以及SE模塊中2個(gè)全連接層的輸出維度不同，這是由于上一層殘差結(jié)構(gòu)輸出通過(guò)與下一層的輸出直接相加時(shí)維度需匹配。詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。

表1 ResNet50-SE網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.1 ResNet50-SE network structure parameters

1.3.4模型訓(xùn)練與參數(shù)設(shè)計(jì)

由于大部分?jǐn)?shù)據(jù)或任務(wù)都存在相關(guān)性，故本研究通過(guò)加載在ImageNet數(shù)據(jù)集[23]上預(yù)訓(xùn)練網(wǎng)絡(luò)ResNet-50的部分權(quán)重信息對(duì)ResNet50-SE模型進(jìn)行遷移學(xué)習(xí)，以加快模型的收斂速度。在模型訓(xùn)練過(guò)程中，將圖像縮放至224像素×224像素×3作為網(wǎng)絡(luò)輸入尺寸。為了提高模型的魯棒性，進(jìn)行數(shù)據(jù)集增強(qiáng)，隨機(jī)對(duì)圖像進(jìn)行水平、垂直翻轉(zhuǎn)，同時(shí)對(duì)圖像進(jìn)行歸一化處理。

通過(guò)多次組合實(shí)驗(yàn)，綜合考慮到模型準(zhǔn)確率和收斂時(shí)間。在訓(xùn)練時(shí)批次量(Batch size)設(shè)置為 16個(gè)樣本，初始學(xué)習(xí)率(Learning rate)設(shè)置為 0.001，迭代周期(Epoch)設(shè)置為40。為防止模型過(guò)擬合，設(shè)置權(quán)值衰減(Weight decay)(也稱(chēng)為L(zhǎng)2正則化)為10-4。同時(shí)，在每個(gè)Epoch下進(jìn)行訓(xùn)練和驗(yàn)證前，數(shù)據(jù)都進(jìn)行了隨機(jī)打亂。

本實(shí)驗(yàn)采用帶動(dòng)量的隨機(jī)梯度下降算法[14,24](Stochastic gradient descent with momentum，SGDM)更新參數(shù)和優(yōu)化訓(xùn)練過(guò)程，參數(shù)更新函數(shù)表達(dá)式為

θi+1=θi-αΔLR(θi)+m(θi-θi-1)

(1)

式中i——迭代次數(shù)

θ——網(wǎng)絡(luò)參數(shù)(權(quán)重矩陣W和偏置向量b)

ΔLR(θi)——損失函數(shù)梯度

m——?jiǎng)恿恳蜃应痢獙W(xué)習(xí)率

訓(xùn)練過(guò)程中m設(shè)置為0.9，學(xué)習(xí)率α調(diào)整采用等間隔調(diào)整策略，每訓(xùn)練20個(gè)Epoch，學(xué)習(xí)率調(diào)整為αγ，其中γ為學(xué)習(xí)率調(diào)整倍數(shù)，設(shè)置為0.1。

1.4 模型評(píng)估指標(biāo)

在評(píng)估一個(gè)模型的性能時(shí)通常選取準(zhǔn)確率(Accuracy)、精確度(Precision)、召回率(Recall)及特異度(Specificity)作為評(píng)價(jià)指標(biāo)[14]。其中特異度計(jì)算公式為

(2)

式中S——特異度

Fp——假陽(yáng)性樣本數(shù)量

Tn——真陰性樣本數(shù)量

1.5 特征可視化

對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)可解釋性差的問(wèn)題，本研究利用Grad-CAM[25]的方法對(duì)模型在多特征提取中做出可視化解釋?zhuān)⑼ㄟ^(guò)T-SNE[26]算法在二維空間中可視化高維特征，對(duì)訓(xùn)練集提取到的多特征進(jìn)行聚類(lèi)分析進(jìn)而直觀評(píng)估模型的分類(lèi)性能。

1.5.1Grad-CAM可視化

通過(guò)Grad-CAM對(duì)模型每一層提取的特征進(jìn)行了可視化解釋?zhuān)詿崃D的形式呈現(xiàn)模型用作分類(lèi)最為關(guān)注的特征。它主要通過(guò)采用梯度的全局平均來(lái)計(jì)算特征的權(quán)重，首先計(jì)算c類(lèi)別的模型得分對(duì)于某個(gè)卷積層的梯度，同時(shí)對(duì)上述過(guò)程得到的梯度信息，在每個(gè)通道維度上對(duì)各像素值取平均(類(lèi)似全局平均池化)，得到神經(jīng)元重要性權(quán)重，第c類(lèi)的分類(lèi)得分為Sc，特征圖尺寸為c1×c2，則

(3)

式中Z——特征圖的像素?cái)?shù)

通過(guò)加權(quán)平均，再取ReLU激活函數(shù)得到Grad-CAM特征圖，計(jì)算公式為

(4)

Ai——第i個(gè)特征圖

1.5.2t-SNE聚類(lèi)

t-SNE是一種表示特征空間分布的方法，它通過(guò)在二維或三維圖中給出每個(gè)數(shù)據(jù)點(diǎn)的位置來(lái)可視化高維數(shù)據(jù)，可直觀地評(píng)估模型分類(lèi)性能。t-SNE算法主要依據(jù)具有對(duì)稱(chēng)性的聯(lián)合概率分布Pij來(lái)表示高維空間中樣本點(diǎn)之間的距離[27]。本研究針對(duì)訓(xùn)練集中的12類(lèi)葡萄品種的5 040幅葡萄特征圖像，利用t-SNE算法觀察每幅圖像的高維特征分布。實(shí)驗(yàn)從葡萄分類(lèi)模型(ResNet50-SE)的全連接層提取每幅圖像的2 048維特征，對(duì)每個(gè)品種的10幅圖像的特征求取平均值，并在二維空間中可視化高維特征，對(duì)特征進(jìn)行層次聚類(lèi)分析。Perplexity參數(shù)設(shè)置為30，迭代次數(shù)為1 000次。

2 結(jié)果與分析

2.1 3個(gè)時(shí)期內(nèi)模型測(cè)試結(jié)果

為了測(cè)試改進(jìn)網(wǎng)絡(luò)模型ResNet50-SE的性能，在未參與模型訓(xùn)練以及驗(yàn)證過(guò)程的測(cè)試集中進(jìn)行評(píng)估，生成的混淆矩陣如圖5所示，通過(guò)計(jì)算得到模型準(zhǔn)確率為88.75%，結(jié)果如表2所示。每類(lèi)預(yù)測(cè)精確度均在79.4%以上，其中小芒森和馬瑟蘭品種的預(yù)測(cè)精確度達(dá)到了100%，但小芒森的召回率僅有75%。根據(jù)混淆矩陣圖可知模型將小芒森誤分為貴人香、黑比諾、雷司令、馬爾貝克、霞多麗以及小味兒多，可能由于小芒森品種在某些紋理或顏色形狀特征的水平上與上述的品種特征出現(xiàn)了混淆造成，也可能是由于拍攝角度和光照的影響導(dǎo)致。媚麗的召回率為100%，沒(méi)有出現(xiàn)誤分類(lèi)現(xiàn)象，相較于其他品種，媚麗的特征更為顯著。從表2中還可以得出每類(lèi)品種的特異度均高于97.7%，說(shuō)明模型對(duì)于誤分類(lèi)率很小。通過(guò)以上分析，證明了本研究所提出的改進(jìn)模型在田間復(fù)雜背景條件下對(duì)葡萄品種的多特征識(shí)別分類(lèi)具有較強(qiáng)的魯棒性。

表2 測(cè)試集各品種預(yù)測(cè)精確度、召回率及特異度結(jié)果Tab.2 Precision, recall and specificity results of each variety in test set %

2.2 單個(gè)時(shí)期內(nèi)模型性能對(duì)比

為測(cè)試ResNet50-SE模型在單個(gè)時(shí)期內(nèi)對(duì)葡萄品種的分類(lèi)性能，在相同訓(xùn)練條件下對(duì)模型在單個(gè)時(shí)期下的嫩梢、幼葉以及成熟葉片數(shù)據(jù)集分別訓(xùn)練，得到ResNet50-SE-T1、ResNet50-SE-T2、ResNet50-SE-T3模型。分別對(duì)模型在只包含單個(gè)時(shí)期圖像測(cè)試集A和包含3個(gè)時(shí)期圖像測(cè)試集B下進(jìn)行測(cè)試，其對(duì)比結(jié)果如表3所示。

表3 單一時(shí)期模型對(duì)不同測(cè)試集測(cè)試結(jié)果Tab.3 Test results of single period model for different test sets %

由3種不同模型在不同測(cè)試集下的測(cè)試結(jié)果可得出，單一時(shí)期特征圖像訓(xùn)練的ResNet50-SE-T1、ResNet50-SE-T2、ResNet50-SE-T3模型雖然在其當(dāng)前單個(gè)時(shí)期模型測(cè)試集準(zhǔn)確率較高，但對(duì)于包含3種不同時(shí)期特征圖像的識(shí)別性能較差，從而也說(shuō)明單一時(shí)期特征圖像訓(xùn)練的模型對(duì)葡萄品種分類(lèi)的魯棒性較差，難以泛化到其他生長(zhǎng)時(shí)期內(nèi)。

2.3 分類(lèi)模型性能對(duì)比

在相同訓(xùn)練條件下，對(duì)4種典型的卷積神經(jīng)網(wǎng)絡(luò)(AlexNet[28]、GoogLeNet[29]、ResNet-50、VGG-16[30])進(jìn)行遷移學(xué)習(xí)和比較，訓(xùn)練集的準(zhǔn)確率結(jié)果如圖6所示。從圖6中可看出在第20個(gè)時(shí)期(Epoch)后，除AlexNet模型外，其他模型的訓(xùn)練集準(zhǔn)確率維持在99.9%左右，雖然ResNet-50的準(zhǔn)確率上升較其他模型快，但從圖7中可知ResNet-50驗(yàn)證集損失值曲線(xiàn)隨著訓(xùn)練的Epoch增加最終保持在0.299。然而ResNet50-SE模型最終達(dá)到收斂時(shí)損失值為0.216，相比于其他模型損失值較低。AlexNet模型對(duì)于葡萄識(shí)別分類(lèi)效果最差，其原因在于AlexNet相比于其他模型網(wǎng)絡(luò)深度不夠，網(wǎng)絡(luò)提取到的特征信息量較少。模型訓(xùn)練在20個(gè)Epoch前，VGG-16、AlexNet和ResNet-50驗(yàn)證集損失值波動(dòng)較大，模型穩(wěn)定性較差。GoogLeNet模型收斂過(guò)程雖較為平穩(wěn),但準(zhǔn)確率與ResNet50-SE相比較低，從而說(shuō)明ResNet50-SE模型對(duì)于葡萄品種的多特征圖像識(shí)別分類(lèi)方面具有顯著優(yōu)勢(shì)。

同時(shí)本研究對(duì)所提出的模型在驗(yàn)證集準(zhǔn)確率以及測(cè)試集的準(zhǔn)確率和召回率進(jìn)行對(duì)比分析，結(jié)果如表4所示。結(jié)果表明ResNet50-SE在驗(yàn)證集上準(zhǔn)確率為94.10%，在測(cè)試集上準(zhǔn)確率為88.75%，平均召回率為89.17%。ResNet50-SE相比于AlexNet 、GoogLeNet、ResNet-50、VGG-16，驗(yàn)證集準(zhǔn)確率分別提高了11.46、5.42、1.04、4.10個(gè)百分點(diǎn)，測(cè)試集準(zhǔn)確率分別提高了13.61、7.64、0.70、6.53個(gè)百分點(diǎn)，平均召回率分別提高了14.04、8.04、1.12、6.94個(gè)百分點(diǎn)。

表4 各網(wǎng)絡(luò)模型分類(lèi)性能對(duì)比Tab.4 Comparison of classification performance of each network model %

2.4 特征可視化結(jié)果

2.4.1Grad-CAM可視化結(jié)果

隨機(jī)挑選測(cè)試集的葡萄不同時(shí)期下的3幅特征圖像，并且根據(jù)Grad-CAM方法生成模型每一層的可視化熱力圖，如圖8所示。由圖8可知，隨著網(wǎng)絡(luò)層數(shù)的加深，模型學(xué)習(xí)到的特征逐漸增加，并且由于SE模塊注意力機(jī)制作用，降低了背景對(duì)于模型特征提取的影響。對(duì)于葡萄嫩梢，模型更多是提取到梢尖以及副梢部分的特征信息。對(duì)于幼葉和成熟葉片，模型更為關(guān)注葉片邊緣的一些形狀信息以及葉片的紋理特征信息。

同時(shí)，提取4種卷積神經(jīng)網(wǎng)絡(luò)的最后卷積層所提取特征的可視化熱力圖與Resnet50-SE進(jìn)行比較，結(jié)果如圖9所示。由圖9可看出，AlexNet模型對(duì)于特征提取的效果最差，對(duì)于嫩梢和幼葉特征的提取易受到自然背景因素的影響，難以提取有效特征，對(duì)于幼葉特征關(guān)注范圍較小，這也是在對(duì)2.3節(jié)所提到AlexNet對(duì)于其模型精度相較于其他模型較低的合理解釋。ResNet50-SE對(duì)于嫩梢和幼葉特征提取效果均優(yōu)于ResNet-50，而對(duì)于成熟葉片特征提取效果較差，這也是導(dǎo)致ResNet50-SE測(cè)試結(jié)果相較于ResNet-50優(yōu)勢(shì)不明顯的重要原因，但是相較于其他3種模型(AlexNet、GoogLeNet、VGG-16)卻有顯著優(yōu)勢(shì)，同時(shí)也印證了2.3節(jié)模型性能對(duì)比結(jié)果。

為了證明SE模塊在模型特征提取時(shí)的校正性，同時(shí)還探究了在ResNet-50模型Conv1層后引入SE模塊所提取到的葡萄嫩梢、幼葉以及成熟葉片的特征，并且與Conv1層所提取的特征(圖8)進(jìn)行了比較，結(jié)果如圖10所示。在網(wǎng)絡(luò)Conv1層之后加入SE模塊，將會(huì)強(qiáng)化有效特征，弱化一些無(wú)效或者低效的特征，使得模型在復(fù)雜田間背景條件下能捕獲到用于分類(lèi)的有效特征。

2.4.2t-SNE聚類(lèi)結(jié)果

利用t-SNE算法在訓(xùn)練集上由ResNet50-SE模型所獲取的2048維特征在二維空間(Dim1、Dim2)可視化特征聚類(lèi)結(jié)果如圖11所示，每種顏色代表不同葡萄品種的類(lèi)別，共12種類(lèi)別。同一品種的特征聚類(lèi)的分布位置有所偏差，這是由于不同時(shí)期下同一品種葡萄的特征(如嫩梢、幼葉和成熟葉片)具有一定的差異，并且同一生長(zhǎng)時(shí)期下不同葡萄品種之間的特征具有高度的相似性，但是從整體來(lái)看不同的品種在不同生長(zhǎng)時(shí)期下所反映的特征呈現(xiàn)出較好的聚類(lèi)效果，這是區(qū)分不同葡萄品種的關(guān)鍵。由2.1節(jié)模型測(cè)試結(jié)果可知，本文所提出的模型在田間復(fù)雜背景條件下對(duì)于葡萄高度相似的特征的識(shí)別具有較強(qiáng)的魯棒性，也說(shuō)明模型在訓(xùn)練集提取到了有利于葡萄識(shí)別分類(lèi)的特征，進(jìn)而證明了ResNet50-SE模型對(duì)不同葡萄品種在不同生長(zhǎng)階段下的多特征識(shí)別分類(lèi)的有效性。

3 結(jié)論

(1)提出的模型ResNet50-SE在田間復(fù)雜背景下對(duì)于葡萄多特征圖像的識(shí)別具有較強(qiáng)的分類(lèi)性能和魯棒性，測(cè)試集準(zhǔn)確率(Accuracy)達(dá)到了88.75%，平均召回率(Recall)為89.17%，相比于AlexNet、GoogLeNet、ResNet-50、VGG-16，ResNet50-SE驗(yàn)證集準(zhǔn)確率分別提高了11.46、5.42、1.04、4.10個(gè)百分點(diǎn)，測(cè)試集準(zhǔn)確率提高了13.61、7.64、0.70、6.53個(gè)百分點(diǎn)，平均召回率提高了14.04、8.04、1.12、6.94個(gè)百分點(diǎn)，分類(lèi)效果均優(yōu)于其他模型。

(2)利用Grad-CAM可視化方法，對(duì)于ResNet50-SE模型每一層所提取到的不同生長(zhǎng)階段下的葡萄特征通過(guò)激活熱力圖進(jìn)行了可視化解釋?zhuān)⑶覍?duì)比了其他4種典型卷積神經(jīng)網(wǎng)絡(luò)提取特征可視化圖。同時(shí)，對(duì)于引入SE模塊前后3種不同時(shí)期下葡萄特征熱力圖進(jìn)行對(duì)比，證明本研究所提出的ResNet50-SE模型對(duì)復(fù)雜背景條件下特征的提取具有較強(qiáng)的校正性。

(3)通過(guò)t-SNE算法對(duì)不同葡萄品種提取到的不同時(shí)期下的特征進(jìn)行聚類(lèi)分析，驗(yàn)證了ResNet50-SE模型在復(fù)雜田間背景環(huán)境下對(duì)葡萄多特征圖像提取特征的有效性以及對(duì)葡萄品種鑒別的可靠性。