基于AT-DenseNet網(wǎng)絡(luò)的番茄葉片病害識(shí)別方法

李云紅　張蕾濤　謝蓉蓉　朱景坤　劉杏瑞

摘要：針對(duì)番茄葉片病害識(shí)別方法存在丟失特征信息、易產(chǎn)生過(guò)擬合現(xiàn)象和各類樣本數(shù)據(jù)不均勻的問(wèn)題，提出了基于混合注意力機(jī)制的DenseNet的番病葉片病害識(shí)別模型AT-DenseNet。該網(wǎng)絡(luò)模型以DenseNet121為基礎(chǔ)，首先，在DenseNet中融入混合注意力機(jī)制模塊，實(shí)現(xiàn)特征復(fù)用，并對(duì)混合特征賦予不同權(quán)重，提高特征提取能力；在分類網(wǎng)絡(luò)前設(shè)計(jì)過(guò)渡層，匹配特征維度；其次，引入Focal Loss損失函數(shù)，專注難分類樣本，改善類間樣本不均勻問(wèn)題；然后，采用遷移學(xué)習(xí)方法，導(dǎo)入預(yù)訓(xùn)練權(quán)重，重構(gòu)全連接層，增強(qiáng)模型魯棒性；最后，在數(shù)據(jù)增強(qiáng)的輔助作用下，用Plant Village數(shù)據(jù)集中的6種番茄葉片病害圖像進(jìn)行測(cè)試，試驗(yàn)結(jié)果表明，本研究提出的AT-DenseNet網(wǎng)絡(luò)模型在測(cè)試集上的準(zhǔn)確率可達(dá)99.49%，并通過(guò)設(shè)置消融試驗(yàn)、繪制混淆矩陣等，驗(yàn)證了病害識(shí)別模型的有效性，可為番茄葉片的病害識(shí)別提供參考。

關(guān)鍵詞：DenseNet；注意力機(jī)制；遷移學(xué)習(xí)；Focal Loss損失函數(shù)；葉片病害識(shí)別

中圖分類號(hào)：TP391.41文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1002-1302（2023）21-0209-09

番茄是在全球范圍內(nèi)普遍種植的蔬菜作物，是我國(guó)主要的農(nóng)作物之一，其營(yíng)養(yǎng)價(jià)值及應(yīng)用價(jià)值極高，而番茄的病害嚴(yán)重影響了其產(chǎn)量和質(zhì)量，且早期病害體現(xiàn)在葉片上，因此，對(duì)番茄葉片進(jìn)行識(shí)別可以對(duì)病害實(shí)行早期干預(yù)，減少經(jīng)濟(jì)損失，常見(jiàn)的番茄葉片病害有細(xì)菌性斑疹病、早疫病、晚疫病、葉霉病等。

隨著人工智能的不斷發(fā)展，計(jì)算機(jī)視覺(jué)技術(shù)在各個(gè)領(lǐng)域廣泛應(yīng)用，通過(guò)圖像處理的方法進(jìn)行分類研究已經(jīng)取得了良好的效果［1］。運(yùn)用傳統(tǒng)的圖像識(shí)別方法進(jìn)行病害識(shí)別的代表有：Srivastava等針對(duì)葡萄霜霉病，提出了采用統(tǒng)計(jì)閾值法先對(duì)葡萄葉片進(jìn)行分割，根據(jù)其顏色差異判斷是否感染［2］；Mondal等分別提取不同植物葉片的形態(tài)特征，在此基礎(chǔ)上實(shí)現(xiàn)了黃脈花葉病毒的識(shí)別［3］；Chakraborty等采用Otsu閾值分割和直方圖均衡化等技術(shù)預(yù)處理，利用支持向量機(jī)進(jìn)行分類對(duì)患病區(qū)域進(jìn)行圖像分割，進(jìn)而實(shí)現(xiàn)分類［4］；Kurmi等用自適應(yīng)分析小波變換（AAWT）進(jìn)行計(jì)算，AAWT將預(yù)處理后的圖像分解為不同的子帶圖像作為特征，以此進(jìn)行葉片分類［5］。這些方法需要人為地選擇特征，耗時(shí)耗力。近幾年，神經(jīng)網(wǎng)絡(luò)快速發(fā)展，特征的提取與識(shí)別變得簡(jiǎn)單，在人臉識(shí)別［6］、文本識(shí)別［7］等各個(gè)領(lǐng)域都展現(xiàn)出了優(yōu)越性。因此，越來(lái)越多學(xué)者將深度學(xué)習(xí)方法引入農(nóng)業(yè)中，尤其是用于農(nóng)作物病害識(shí)別。Wang等使用VGG16對(duì)蘋果黑腐病進(jìn)行識(shí)別，準(zhǔn)確率最高可達(dá)到90%以上［8］。Tan等將卷積神經(jīng)網(wǎng)絡(luò)（CNN）與動(dòng)量學(xué)習(xí)相結(jié)合識(shí)別瓜果病害，識(shí)別效果良好［9］。楊紅云等在AlexNet網(wǎng)絡(luò)的結(jié)構(gòu)上進(jìn)行改進(jìn)，加入批量歸一化（BN）層，并通過(guò)試驗(yàn)得出加入BN層的網(wǎng)絡(luò)識(shí)別效果更佳［10］。文獻(xiàn)［11-12］都在VGG網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，分別加入深度殘差模塊和Inception卷積模塊，并與原始VGG網(wǎng)絡(luò)對(duì)比證實(shí)模型的優(yōu)越性。王春山等提出了改進(jìn)的Multi-scale ResNet網(wǎng)絡(luò)模型，通過(guò)添加多尺度特征提取模塊和對(duì)殘差結(jié)構(gòu)進(jìn)行改進(jìn)，提高了蔬菜葉部病害識(shí)別的準(zhǔn)確率［13］。DenseNet網(wǎng)絡(luò)在ResNet網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，改善了不同層之間的信息流，通過(guò)稠密連接的方法提高特征利用率［14］。牛學(xué)德等使用DenseNet網(wǎng)絡(luò)對(duì)番茄病害進(jìn)行識(shí)別，證明了該網(wǎng)絡(luò)的識(shí)別效果高于其他網(wǎng)絡(luò)［15］。文獻(xiàn)［16-21］將注意力模塊和常見(jiàn)的卷積神經(jīng)網(wǎng)絡(luò)融合，在不同的數(shù)據(jù)集上都得了良好的識(shí)別效果。因此在番茄病害識(shí)別中，研究人員嘗試將注意力機(jī)制加入到神經(jīng)網(wǎng)絡(luò)中，使網(wǎng)絡(luò)能更加注意病斑位置。胡志偉等在殘差網(wǎng)絡(luò)中引入注意力機(jī)制構(gòu)建ARNet網(wǎng)絡(luò)模型，對(duì)早期、晚期5種番茄病害進(jìn)行識(shí)別，準(zhǔn)確率可達(dá)88.2%［22］。

以上算法大多通過(guò)增加網(wǎng)絡(luò)深度提高模型準(zhǔn)確率，但是番茄葉片病害區(qū)域存在病斑小、特征相似等特點(diǎn)，在增加網(wǎng)絡(luò)深度時(shí)會(huì)造成參數(shù)量大、出現(xiàn)過(guò)擬合現(xiàn)象、丟失病害信息等問(wèn)題。為了解決上述問(wèn)題，本研究搭建了AT-DenseNet網(wǎng)絡(luò)模型，該模型將卷積注意力機(jī)制模塊（convolutional block attention module，CBAM）和DenseNet網(wǎng)絡(luò)進(jìn)行融合與改進(jìn)，并引用了Focal Loss損失函數(shù)和遷移學(xué)習(xí)，可以更好地對(duì)細(xì)小特征進(jìn)行提取，從而提高番茄葉片病害識(shí)別的準(zhǔn)確率。

1 番茄葉片病害識(shí)別模型構(gòu)建

1.1 DenseNet網(wǎng)絡(luò)

使用傳統(tǒng)方法進(jìn)行病害識(shí)別時(shí)存在需要大量人力、主觀性強(qiáng)的問(wèn)題，所以，目前常用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行葉片病害識(shí)別。本研究使用DenseNet網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，它借鑒了ResNet網(wǎng)絡(luò)的思想，將短路連接發(fā)展為密集連接，實(shí)現(xiàn)特征復(fù)用，大大提高了網(wǎng)絡(luò)搜索特征的能力，在降低參量的同時(shí)，可以有效解決深層卷積神經(jīng)網(wǎng)絡(luò)中常發(fā)生的梯度消失問(wèn)題。DenseNet網(wǎng)絡(luò)由DenseBlock和Transition組成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1中，DenseBlock結(jié)構(gòu)是一種密集連接方式，是DenseNet網(wǎng)絡(luò)中的主要組成部分，對(duì)一個(gè)L層的網(wǎng)絡(luò)，DenseBlock的輸出特征如公式（1）所示：

其中，xL為第L層的輸出；xL-1表示第L-1層的輸出；HL（·）代表一系列非線性計(jì)算，包括BN+ReLU+1×1 Conv+BN+ReLU+3×3 Conv，1×1的卷積起到降低特征維數(shù)的作用。密集連接的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

結(jié)合公式（1）和圖2，密集連接模塊將前面所有層與經(jīng)過(guò)非線性操作的當(dāng)前層進(jìn)行拼接，這種通道維度的合并，能夠最大限度地保留各個(gè)層的特征，實(shí)現(xiàn)淺層特征與深層特征間的特征重用，提高特征的利用率。

為保證上下2個(gè)密集模塊寬高一致，在每2個(gè)DenseBlock之間添加Transition模塊（過(guò)渡層），它是由BN、ReLU、1×1 Conv、2×2 AvgPooling組成的。

1.2 注意力機(jī)制

注意力機(jī)制相當(dāng)于人類視覺(jué)，可以將有限的注意力集中在重要區(qū)域，運(yùn)用于計(jì)算機(jī)上，即對(duì)高頻特征區(qū)域給予更大的權(quán)重，對(duì)本研究來(lái)說(shuō)，就是將注意力集中在葉片的病害區(qū)域，對(duì)無(wú)關(guān)區(qū)域進(jìn)行降噪。

針對(duì)番茄不同病害在葉片上的表現(xiàn)具有相似性，且病害位置具有局限性等問(wèn)題，引入混合注意力機(jī)制加強(qiáng)對(duì)其病害位置的關(guān)注。該網(wǎng)絡(luò)通過(guò)2種機(jī)制級(jí)聯(lián)的方式，將空間注意力機(jī)制（spartial attention module，SAM）和通道注意力機(jī)制（channel attention module，CAM）結(jié)合，提取空間與通道上的特征，提高對(duì)病害特征的提取能力，減少特征丟失。CBAM結(jié)構(gòu)如圖3所示，在番茄葉片病害特征提取時(shí)，在空間域上通過(guò)卷積等操作進(jìn)行信息采集，提取出不同類別的特征，并保留其空間位置信息；CAM根據(jù)特征在通道上的重要程度來(lái)賦予權(quán)重系數(shù)，保留病害特征的通道信息，將SAM和CAM特征融合，將注意力集中在病害區(qū)域，防止信息丟失，提高對(duì)病害分類的準(zhǔn)確率。

1.3 Focal Loss損失函數(shù)

目前，大多數(shù)分類網(wǎng)絡(luò)使用交叉熵?fù)p失函數(shù)（Cross Entropy Loss）來(lái)計(jì)算分類損失，適用于樣本數(shù)較為均勻的數(shù)據(jù)集。本研究使用Plant Village數(shù)據(jù)集中的6種番茄病害圖像，其中包含5種病害圖像和1種健康圖像，而這6種病害圖像的數(shù)據(jù)量差距較大，使用交叉熵?fù)p失函數(shù)并不是最好的選擇，因此，引用Focal Loss損失函數(shù)，解決類間數(shù)據(jù)不均勻的問(wèn)題。Focal Loss損失函數(shù)的計(jì)算公式如下：

其中，p（y|x）表示標(biāo)簽為x的樣本預(yù)測(cè)為y的概率，它的大小可以反映分類難度；γ表示聚焦參數(shù)；［1-p（y|x）］表示調(diào)節(jié)系數(shù)，可以調(diào)節(jié)樣本所占權(quán)重，提高負(fù)樣本的分類準(zhǔn)確率。本研究使用Focal Loss損失函數(shù)計(jì)算分類損失，通過(guò)調(diào)節(jié)聚焦參數(shù)γ來(lái)改變損失函數(shù)，有效地解決了樣本不均勻的問(wèn)題。

1.4 遷移學(xué)習(xí)

番茄葉片病害圖像具有病斑區(qū)域小、類間特征相似、數(shù)據(jù)采集困難和樣本數(shù)量少等特點(diǎn)，直接使用番茄病害圖像作為數(shù)據(jù)集訓(xùn)練容易出現(xiàn)過(guò)擬合現(xiàn)象和識(shí)別精度不高的問(wèn)題。因此，本研究借鑒遷移學(xué)習(xí)的思想，將基礎(chǔ)網(wǎng)絡(luò)DenseNet121在綜合性強(qiáng)的大型數(shù)據(jù)集ImageNet上訓(xùn)練的權(quán)重保留下來(lái)，作為預(yù)訓(xùn)練權(quán)重，遷移到本研究模型上。為了適應(yīng)番茄葉片病害數(shù)據(jù)集的特點(diǎn)，在遷移過(guò)程中需重構(gòu)全連接層，將除全連接層之外的權(quán)重保留，覆蓋并修改全連接層參數(shù)，以保證類別數(shù)量。通過(guò)使用遷移學(xué)習(xí)優(yōu)化模型，有效解決訓(xùn)練過(guò)程中的問(wèn)題。

1.5 AT-DenseNet網(wǎng)絡(luò)模型

根據(jù)番茄葉片病害圖像的特征，提出AT-DenseNet網(wǎng)絡(luò)模型，該模型由特征提取網(wǎng)絡(luò)、注意力網(wǎng)絡(luò)和分類網(wǎng)絡(luò)組成。模型選擇DenseNet121網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，插入CBAM作為注意力網(wǎng)絡(luò)，在分類網(wǎng)絡(luò)部分設(shè)計(jì)過(guò)渡層，進(jìn)行維度匹配。使用Focal Loss損失函數(shù)調(diào)節(jié)樣本，并結(jié)合遷移學(xué)習(xí)方法，凍結(jié)DenseNet121中的全連接層，其余權(quán)重遷移到AT-DenseNet網(wǎng)絡(luò)中，同時(shí)對(duì)全連接層進(jìn)行重構(gòu)，使其滿足樣本需求，AT-DenseNet網(wǎng)絡(luò)結(jié)構(gòu)詳見(jiàn)圖4。

在輸入層，輸入預(yù)處理后224×224的番茄葉片圖像。在特征提取層，首先通過(guò)7×7的卷積和3×3的最大池化層提取淺層特征，然后使用4個(gè)密集連接模塊和3個(gè)過(guò)渡層提取高級(jí)特征，實(shí)現(xiàn)淺層、深層特征的重用。其中，4個(gè)Dense Block中密集連接個(gè)數(shù)分別為6、12、24、16，增長(zhǎng)率設(shè)為12，即每層特征圖的數(shù)量以12為增長(zhǎng)率增加，過(guò)渡層的縮小倍數(shù)設(shè)為0.5，可以將Dense Block層輸出的通道以0.5倍減少。

Dense Block 4與CBAM串聯(lián)，在通道注意力模塊上，將Dense Block 4提取到的番茄葉片特征F，分別進(jìn)行最大池化和平均池化，將得到的2個(gè)特征圖通過(guò)多層感知機(jī)變換，并應(yīng)用于2個(gè)通道，經(jīng)求和后使用Sigmoid函數(shù)得到通道上的特征，即CAM特征圖，該結(jié)果與輸入特征F點(diǎn)乘得FC；在空間注意力模塊上，F(xiàn)C作為輸入特征，先降低通道維數(shù)，并分別進(jìn)行最大池化和平均池化，然后連接成一個(gè)新的特征，將該特征進(jìn)行降維，得到SAM特征圖，與FC點(diǎn)乘后得FS。 FS就是包含空間與通道信息的CBAM特征圖。

將兼具淺層、深層和重要特征的融合特征圖FS輸入分類網(wǎng)絡(luò)。在該網(wǎng)絡(luò)前設(shè)計(jì)過(guò)渡層，過(guò)渡層由1×1的卷積層和7×7全局平均池化層級(jí)聯(lián)而成，實(shí)現(xiàn)平衡特征維度的作用。重構(gòu)全連接層FC，使得網(wǎng)絡(luò)滿足樣本需求，由Softmax函數(shù)計(jì)算類別概率，取最大作為輸出類別標(biāo)簽（如：0代表細(xì)菌性斑疹?。?，實(shí)現(xiàn)番茄葉片病害分類。

2 試驗(yàn)準(zhǔn)備

2.1 試驗(yàn)環(huán)境及參數(shù)設(shè)置

本試驗(yàn)在Windows 10系統(tǒng)上搭建，處理器為Intel CoreTM i7-11800H @ 2.30 GHz；顯卡為NVIDIA GeForce RTX 3050 Laptop GPU；編輯器使用PyCharm，語(yǔ)言使用Python，版本為3.8.12，運(yùn)用PyTorch庫(kù)搭建網(wǎng)絡(luò)，版本為1.11.0。

AT-DenseNet模型的參數(shù)設(shè)置如下：在模型訓(xùn)練前，需對(duì)原圖像進(jìn)行數(shù)據(jù)增強(qiáng)，并統(tǒng)一縮放至 224×224，采用Adam算法作為優(yōu)化器，初始學(xué)習(xí)率設(shè)為0.000 1，訓(xùn)練次數(shù)（epoch）設(shè)為100，訓(xùn)練集和測(cè)試集的批量大?。╞atch size）都設(shè)為16，激活函數(shù)使用ReLU函數(shù)，損失函數(shù)使用Focal Loss函數(shù)。

2.2 數(shù)據(jù)及處理

為了驗(yàn)證本研究模型，使用Plant Village數(shù)據(jù)集，該數(shù)據(jù)集是一個(gè)公開(kāi)數(shù)據(jù)集，它包含了14種植物的葉片圖像，其中，病害圖像和健康圖像共38個(gè)類別，數(shù)據(jù)非常豐富。本研究選取Plant Village數(shù)據(jù)集中6種常見(jiàn)的番茄病害圖像進(jìn)行試驗(yàn)，包括5種病害圖像和1種健康圖像，具體為細(xì)菌性斑疹病、早疫病、晚疫病、葉霉病、斑枯病和健康葉片（圖5）。

為了提高模型的魯棒性，避免過(guò)擬合現(xiàn)象產(chǎn)生，在試驗(yàn)前，對(duì)番茄葉片病害圖像進(jìn)行數(shù)據(jù)劃分和數(shù)據(jù)增強(qiáng)等預(yù)處理。數(shù)據(jù)劃分：將6種番茄圖像以8 ∶1 ∶1的比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。數(shù)據(jù)增強(qiáng)：將劃分好的數(shù)據(jù)集進(jìn)行水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)（旋轉(zhuǎn)角度為0～20°）、亮度增強(qiáng)，擴(kuò)充數(shù)據(jù)量，使數(shù)據(jù)更具泛化能力，增強(qiáng)后的樣本圖像如圖6所示。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)，將9 350張圖片擴(kuò)充到37 400張，其中各種類番茄圖像的數(shù)量見(jiàn)表1。

2.3 評(píng)價(jià)指標(biāo)

試驗(yàn)選擇的評(píng)價(jià)指標(biāo)為損失值、準(zhǔn)確率（accuracy，Acc）和混淆矩陣，其中準(zhǔn)確率是主要的衡量標(biāo)準(zhǔn)，它定義為分類正確的樣本占總樣本數(shù)量的比例，計(jì)算公式如下：

Acc=TP+TN/TP+TN+FP+FN。（3）

式中：TP、FP、TN、FN分別代表正陽(yáng)性、假陽(yáng)性、正陰性和假陰性的樣本數(shù)量。

混淆矩陣可以非常直觀地看到預(yù)測(cè)值與真實(shí)值之間的關(guān)系，直觀地看出模型的分類效果，觀測(cè)到哪些類別容易混淆，是分類任務(wù)中常用的評(píng)價(jià)指標(biāo)之一。混淆矩陣是一個(gè)二維表格，它的每一列代表了預(yù)測(cè)類別，每一行代表了數(shù)據(jù)的真實(shí)類別，斜對(duì)角線即為預(yù)測(cè)正確的概率。在真實(shí)案例中 斜對(duì)角線的數(shù)值越大越好。在本試驗(yàn)中使用混淆矩陣觀測(cè)識(shí)別效果，并觀察易于混淆的類別。

3 試驗(yàn)結(jié)果與分析

為了驗(yàn)證本研究提出的AT-DenseNet模型對(duì)番茄病害的識(shí)別效果，共設(shè)置3組消融試驗(yàn)，分別為數(shù)據(jù)增強(qiáng)前后模型識(shí)別效果、改進(jìn)模型與原模型之間的性能比較、不同損失函數(shù)對(duì)模型識(shí)別效果的影響，并設(shè)置對(duì)比試驗(yàn)與經(jīng)典模型進(jìn)行對(duì)比，最后通過(guò)混淆矩陣和識(shí)別結(jié)果進(jìn)一步分析模型識(shí)別效果。以上消融試驗(yàn)在同一環(huán)境下操作，且訓(xùn)練輪數(shù)、初始學(xué)習(xí)率、優(yōu)化算法等均保持一致。

3.1 數(shù)據(jù)增強(qiáng)前后試驗(yàn)效果對(duì)比

為了驗(yàn)證數(shù)據(jù)增強(qiáng)對(duì)試驗(yàn)結(jié)果的影響，本研究在其他條件保持一致的情況下，訓(xùn)練集和測(cè)試集選擇數(shù)據(jù)增強(qiáng)前和數(shù)據(jù)增強(qiáng)后2種，對(duì)同一模型AT-DenseNet進(jìn)行訓(xùn)練與測(cè)試。從圖7中可以看出，數(shù)據(jù)增強(qiáng)后損失值更低，準(zhǔn)確率更高，使用數(shù)據(jù)增強(qiáng)后的曲線較為平緩，收斂明顯加快，證明使用數(shù)據(jù)增強(qiáng)不僅豐富了樣本數(shù)量，提高了識(shí)別準(zhǔn)確率，還能增強(qiáng)模型的魯棒性。

由表2可知，數(shù)據(jù)增強(qiáng)后本研究模型準(zhǔn)確率提高了0.98百分點(diǎn)，損失值降低了0.001 6，使用該方法后，增大了訓(xùn)練集數(shù)量，有效提高了模型的泛化能力和魯棒性，在數(shù)據(jù)集方面增強(qiáng)了番茄病害識(shí)別的準(zhǔn)確率。

3.2 使用注意力機(jī)制前后試驗(yàn)效果對(duì)比

為了驗(yàn)證使用注意力機(jī)制可以增強(qiáng)特征提取能力，使網(wǎng)絡(luò)更加注意番茄葉片有病害的部分，在其他條件保持一致的情況下，測(cè)試僅改變注意力機(jī)制時(shí)模型對(duì)番茄葉片病害識(shí)別的效果。從圖8可以看出，未使用注意力機(jī)制的模型（即DenseNet模型）準(zhǔn)確率先達(dá)到穩(wěn)定值，而使用注意力機(jī)制的模型（即AT-DenseNet模型）則相對(duì)較慢。分析原因是DenseNet模型在遷移學(xué)習(xí)時(shí)將較好的網(wǎng)絡(luò)參數(shù)完全傳給了對(duì)應(yīng)的網(wǎng)絡(luò)，而AT-DenseNet模型是從頭開(kāi)始訓(xùn)練的，雖然也使用了遷移學(xué)習(xí)，但凍結(jié)了全連接層，遷移了部分權(quán)重，因此，AT-DenseNet模型相對(duì)于DenseNet模型來(lái)說(shuō)收斂較慢。除此之外結(jié)合圖8-b觀測(cè)到，DenseNet模型在訓(xùn)練到30次時(shí)已經(jīng)收斂了，在后面的幾輪中出現(xiàn)了過(guò)擬合現(xiàn)象，AT-DenseNet網(wǎng)絡(luò)在30次時(shí)損失值沒(méi)有達(dá)到最低值，反而還在收斂，且損失值不斷減小并低于DenseNet模型的損失值，對(duì)比觀察準(zhǔn)確率曲線，AT-DenseNet 的準(zhǔn)確率也高于DenseNet模型，且沒(méi)有出現(xiàn)過(guò)擬合現(xiàn)象。

由表3可知，使用了注意力機(jī)制后的網(wǎng)絡(luò)模型比原始網(wǎng)絡(luò)模型準(zhǔn)確率提高了0.36百分點(diǎn)，損失值降低了0.001 7，試驗(yàn)結(jié)果表明，將DenseNet網(wǎng)絡(luò)與CBAM融合，在實(shí)現(xiàn)特征重用的基礎(chǔ)上，能有效地關(guān)注番茄葉片病害部位的空間和通道特征，提高特征提取能力，使得分類準(zhǔn)確率變高。

3.3 損失函數(shù)對(duì)試驗(yàn)效果的影響

不同的損失函數(shù)適用于不同類型的數(shù)據(jù)集，為了解決番茄葉片數(shù)據(jù)集類間差距大的問(wèn)題，提出使用 Focal Loss 損失函數(shù)代替交叉熵?fù)p失函數(shù) 設(shè)置以下對(duì)比試驗(yàn)，在同一環(huán)境下，在AT-DenseNet模型上使用不同的損失函數(shù)，不同損失函數(shù)對(duì)模型的影響見(jiàn)圖9。其中，γ為0的曲線即為交叉熵?fù)p失函數(shù)曲線。從準(zhǔn)確率曲線中可以看出γ=1.0和γ=2.0時(shí)的Focal Loss損失函數(shù)準(zhǔn)確率高于γ=0（交叉熵?fù)p失函數(shù)）的準(zhǔn)確率，且曲線上升平緩，可見(jiàn)改變Focal Loss損失函數(shù)能夠在一定程度上解決交叉熵?fù)p失函數(shù)的不足，提高識(shí)別準(zhǔn)確率。從損失值曲線可以看出，使用Focal Loss損失函數(shù)后的模型損失值明顯低于使用交叉熵函數(shù)的損失值，收斂速度更快。

由表4可知，γ=1.0和γ=2.0時(shí)的Focal Loss損失函數(shù)準(zhǔn)確率高于交叉熵?fù)p失函數(shù)，γ=0.5和γ=5.0時(shí)的Focal Loss損失函數(shù)準(zhǔn)確率低于交叉熵?fù)p失函數(shù)，使用γ=1.0的Focal Loss損失函數(shù)作為訓(xùn)練本研究模型的損失函數(shù)時(shí)準(zhǔn)確率提高了0.65百分點(diǎn)，損失值下降了0.006 1。從表1中可以看出增強(qiáng)后的細(xì)菌性斑疹病的樣本數(shù)為8 508張，而葉霉病的樣本數(shù)最少，只有3 808張，不到細(xì)菌性斑疹病樣本數(shù)的一半，樣本間類內(nèi)差距比較明顯，F(xiàn)ocal Loss損失函數(shù)常用于計(jì)算樣本分布不均勻的數(shù)據(jù)集的損失值。因此，對(duì)于本研究樣本來(lái)說(shuō)，F(xiàn)ocal Loss損失函數(shù)比交叉熵?fù)p失函數(shù)更加合適，這里也用試驗(yàn)進(jìn)行了驗(yàn)證。由公式（2）不難發(fā)現(xiàn)，可以通過(guò)調(diào)節(jié)γ來(lái)調(diào)整樣本權(quán)重降低的速率，γ增加對(duì)應(yīng)的影響因子也在增加，對(duì)于本研究數(shù)據(jù)集來(lái)說(shuō)，γ=1.0時(shí)較為合適，對(duì)樣本類內(nèi)差距的調(diào)節(jié)作用最好，因此本研究的損失函數(shù)選擇γ為1.0的Focal Loss損失函數(shù)。

3.4 不同卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)比

為驗(yàn)證本研究提出的AT-DenseNet模型的分類效果，在相同試驗(yàn)環(huán)境、使用相同數(shù)據(jù)集做對(duì)比試驗(yàn)。從表5中可以看出，AT-DenseNet模型與VGG16、Resnet50和DenseNet相比，準(zhǔn)確率分別提高了2.43、0.60、0.50百分點(diǎn)，并且解決了過(guò)擬合現(xiàn)象，在試驗(yàn)中還發(fā)現(xiàn)，VGG16在后期發(fā)生了梯度爆炸，并不適用于番茄葉片病害識(shí)別；對(duì)比DenseNet和DenseNet-FL可知，使用γ為1.0的Focal Loss損失函數(shù)后準(zhǔn)確率提高了0.14百分點(diǎn)，可以有效緩解樣本不均勻的問(wèn)題，但并不能解決過(guò)擬合問(wèn)題；對(duì)比 AT-DenseNet-0（即未使用遷移學(xué)習(xí)的AT-DenseNet網(wǎng)絡(luò)）和AT-DenseNet，使用遷移學(xué)習(xí)能夠在一定程度上提高識(shí)別準(zhǔn)確率。另外，AT-DenseNet模型在參數(shù)量上也占有優(yōu)勢(shì)，分別約占VGG16、Resnet50模型參數(shù)量的1/10、3/10，相比于DenseNet模型，雖然參數(shù)量有所增加，但只增加 1/100 左右，可以忽略不計(jì)。通過(guò)以上對(duì)比，本研究提出的模型能夠有效解決過(guò)擬合、梯度爆炸等問(wèn)題，且提高了分類準(zhǔn)確率。

3.5 混淆矩陣

為了研究AT-DenseNet模型的分類效果，本研究將數(shù)據(jù)集按照訓(xùn)練集、測(cè)試集和驗(yàn)證集，以 8 ∶1 ∶1 的比例劃分，驗(yàn)證集樣本數(shù)量為3 740張，取驗(yàn)證集圖片進(jìn)行驗(yàn)證并畫(huà)出6種番茄葉片病害種類的混淆矩陣。從圖10中可以看出，絕大多數(shù)樣本的分類結(jié)果集中在混淆矩陣的對(duì)角線上，早疫病和晚疫病的病害相似性強(qiáng)，識(shí)別存在誤差，會(huì)將早疫病錯(cuò)誤識(shí)別為晚疫病，葉霉病和斑枯病也存在少量被錯(cuò)誤分類的情況。但總體來(lái)說(shuō)，該模型識(shí)別效果較好，能夠準(zhǔn)確識(shí)別出番茄葉片具體的病害種類。

3.6 模型識(shí)別結(jié)果

隨機(jī)抽取測(cè)試集中的5張圖片（存在病害的圖片），用AT-DenseNet模型測(cè)試。由表6可知，對(duì)5種病害圖像都能預(yù)測(cè)正確，結(jié)合混淆矩陣可知，該模型對(duì)番茄葉片病害圖像的分類效果較好，正確分類的概率普遍較高，即置信度高，但對(duì)早疫病來(lái)說(shuō)，它的預(yù)測(cè)概率只有79.7%，把它預(yù)測(cè)為晚疫病的概率為11.7%，原因是早疫病和晚疫病的病害特征差異較小，區(qū)分困難?？傮w來(lái)說(shuō)，本研究設(shè)計(jì)的AT-DenseNet模型能夠較好地區(qū)分并識(shí)別5類病害圖像和健康圖像。

4 總結(jié)

本研究將深度學(xué)習(xí)與農(nóng)業(yè)領(lǐng)域相結(jié)合，搭建了AT-DenseNet番茄葉片病害識(shí)別模型，該網(wǎng)絡(luò)模型將CBAM融入DenseNet網(wǎng)絡(luò)中，增強(qiáng)了模型對(duì)病斑位置的注意力，并設(shè)計(jì)過(guò)渡層，實(shí)現(xiàn)維度匹配；引用Focal Loss損失函數(shù)來(lái)調(diào)節(jié)類間數(shù)量差距，采用遷移學(xué)習(xí)方法，遷移權(quán)重系數(shù)，并重構(gòu)全連接層，進(jìn)一步增強(qiáng)了模型的魯棒性，提高對(duì)番茄葉片病害的識(shí)別準(zhǔn)確率。對(duì)Plant Village數(shù)據(jù)集中的6種番茄病害圖像進(jìn)行對(duì)比試驗(yàn)，結(jié)果顯示，AT-DenseNet 的分類準(zhǔn)確率可達(dá)99.49%，且收斂速度、識(shí)別精度、泛化能力等都高于原始網(wǎng)絡(luò)，能夠滿足農(nóng)業(yè)需求，本研究結(jié)果具有一定的理論和實(shí)際意義。

參考文獻(xiàn)：

［1］張 順，龔怡宏，王進(jìn)軍. 深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用［J］. 計(jì)算機(jī)學(xué)報(bào)，2019，42（3）：453-482.

［2］Srivastava A，Ma S，Inoue K．Development of a sensor for automatic detection of downey mildew disease［C］//International Conference on Intelligent Mechatronics and Automation，2004：562-567．

［3］Mondal D，Chakraborty A，Kole D K，et al. Detection and classification technique of yellow vein mosaic virus disease in okra leaf images using leaf vein extraction and Naive Bayesian classifier［C］//International Conference on Soft Computing Techniques & Implementations. IEEE，2016.

［4］Chakraborty S，Paul S，Rahat-uz-Zaman M. Prediction of apple leaf diseases using multiclass support vector machine［C］//International Conference on Robotics，Electrical and Signal Processing Techniques （ICREST）. IEEE，2021：147-151.

［5］Kurmi Y，Gangwar S，Chaurasia V，et al. Leaf images classification for the crops diseases detection［J］. Multimed Tools Appl，2022，81：8155-8178.

［6］張子昊，王 蓉. 基于MobileFaceNet網(wǎng)絡(luò)改進(jìn)的人臉識(shí)別方法［J］. 北京航空航天大學(xué)學(xué)報(bào)，2020，46（9）：1756-1762.

［7］白志程，李 擎，陳 鵬，等. 自然場(chǎng)景文本檢測(cè)技術(shù)研究綜述［J］. 工程科學(xué)學(xué)報(bào)，2020，42（11）：1433-1448.

［8］Wang G，Sun Y，Wang J X. Automatic image-based plant disease severity estimation using deep learning［J］. Computational Intelligence and Neuroscience，2017，2017：2917536.

［9］Tan W X，Zhao C J，Wu H R. Intelligent alerting for fruit-melon lesion image based on momentum deep learning［J］. Multimedia Tools and Applications，2016，75（24）：16741-16761.

［10］楊紅云，萬(wàn) 穎，王映龍，等. 基于批歸一化與AlexNet網(wǎng)絡(luò)的水稻病害識(shí)別［J］. 激光與光電子學(xué)進(jìn)展，2021，58（6）：164-174.

［11］Syarief M，Setiawan W. Convolutional neural network for maize leaf disease image classification［J］. Telecommunication Computing Electronics and Control，2020，18（3）：1376-1381.

［12］鮑文霞，黃雪峰，胡根生，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型的玉米葉部病害識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37（6）：160-167.

［13］王春山，周 冀，吳華瑞，等. 改進(jìn)Multi-scale ResNet的蔬菜葉部病害識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36（20）：209-217.

［14］Huang G，Liu Z，van der Maaten L，et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI，USA，2017：2261-2269.

［15］牛學(xué)德，高丙朋，南新元，等. 基于改進(jìn)DenseNet卷積神經(jīng)網(wǎng)絡(luò)的番茄葉片病害檢測(cè)［J］. 江蘇農(nóng)業(yè)學(xué)報(bào)，2022，38（1）：129-134.

［16］Zhu H Y，Xie C，F(xiàn)ei Y Q，et al. Attention mechanisms in CNN-based single image super-resolution：a brief review and a new perspective［J］. Electronics，2021，10（10）：1187.

［17］黃林生，羅耀武，楊小冬，等. 基于注意力機(jī)制和多尺度殘差網(wǎng)絡(luò)的農(nóng)作物病害識(shí)別［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（10）：264-271.

［18］李曉振，徐 巖，吳作宏，等. 基于注意力神經(jīng)網(wǎng)絡(luò)的番茄葉部病害識(shí)別系統(tǒng)［J］. 江蘇農(nóng)業(yè)學(xué)報(bào)，2020，36（3）：561-568.

［19］Zeng W，Li M. Crop leaf disease recognition based on self-attention convolutional neural network［J］. Computers and Electronics in Agriculture，2020，172（1）：105341.

［20］侯金秀，李 然，鄧紅霞，等. 融合通道信息注意力網(wǎng)絡(luò)的葉片病害識(shí)別［J］. 計(jì)算機(jī)工程與應(yīng)用，2020，56（23）：124-129.

［21］賈兆紅，張?jiān)?，王海濤，? 基于Res2Net和雙線性注意力的番茄病害時(shí)期識(shí)別方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（7）：259-266.

［22］胡志偉，楊 華，黃濟(jì)民，等. 基于注意力殘差機(jī)制的細(xì)粒度番茄病害識(shí)別［J］. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2019，40（6）：124-132.

收稿日期：2023-02-06

基金項(xiàng)目：陜西省自然科學(xué)基礎(chǔ)研究重點(diǎn)項(xiàng)目（編號(hào)：2022JZ-35）。

作者簡(jiǎn)介：李云紅（1974—），女，遼寧錦州人，博士，教授，研究方向?yàn)榧t外熱像測(cè)溫技術(shù)、圖像處理、人工智能、信號(hào)與信息處理技術(shù)。E-mail：hitliyunhong@163.com。