基于遷移學(xué)習和卷積視覺轉(zhuǎn)換器的農(nóng)作物病害識別研究*

余勝，謝莉

(韶關(guān)學(xué)院信息工程學(xué)院,廣東韶關(guān),512005)

0 引言

糧食安全是國家安全的基礎(chǔ),而農(nóng)作物疾病的防控是影響糧食安全的一個重要因素,及時準確地識別病害種類可以為農(nóng)業(yè)生產(chǎn)提供有效的專業(yè)指導(dǎo),從而提高農(nóng)作物產(chǎn)量,減少經(jīng)濟損失[1-2]。

在農(nóng)作物病害識別中,傳統(tǒng)機器學(xué)習方法將識別過程分為圖像預(yù)處理、圖像特征提取和分類三個步驟,其中特征提取的結(jié)果是整個識別方法的基礎(chǔ),但特征提取方法往往需要豐富的經(jīng)驗和反復(fù)的試驗,存在一定的主觀性[3-4]。同時農(nóng)作物病害圖像存在背景復(fù)雜、病害目標區(qū)域不明顯等特點,增加了特征提取與分類的難度。因此,基于傳統(tǒng)機器學(xué)習的農(nóng)作物病害疾病識別方法難以處理背景復(fù)雜的病害數(shù)據(jù),且泛化能力較弱。

隨著硬件設(shè)備計算能力的提升和人工智能技術(shù)的飛速發(fā)展,深度學(xué)習在各行各業(yè)都取得了非常優(yōu)異的成績,如人臉識別、機器翻譯和行人檢測與識別等方面。在農(nóng)作物病害識別方面,基于深度學(xué)習的識別方法相比于傳統(tǒng)機器學(xué)習方法在識別準確率和識別速度上同樣有很大的提升;在圖像分類識別方面,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNNs)是分類識別效果最佳的深度學(xué)習方法之一[5-6];在農(nóng)作物病害識別方面,CNNs也取得了較好的分類識別效果[7-10]。洪惠群等[7]為了擴大網(wǎng)絡(luò)模型的適用場景,將ShuffleNet網(wǎng)絡(luò)中的ReLU激活函數(shù)用LeakyReLU激活函數(shù)代替,構(gòu)建了輕量級神經(jīng)網(wǎng)絡(luò)用于農(nóng)作物病害的識別。孟亮等[8]則以殘差單元為基本網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計了輕量級CNNs用于農(nóng)作物病害識別。Mohanty等[4]構(gòu)建了基于CNNs的識別模型,在PlantVillage數(shù)據(jù)集[9]上的識別準確率達到99.3%。馬浚誠等[10]針對溫室場景下黃瓜病害的卷積神經(jīng)網(wǎng)絡(luò)識別方法的平均準確率為95.7%。

卷積神經(jīng)網(wǎng)絡(luò)強大的特征自主學(xué)習能力在農(nóng)作物病害的識別方面取得了不錯的成績,但也存在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)量大、網(wǎng)絡(luò)收斂速度慢、嚴重依賴于訓(xùn)練樣本數(shù)據(jù)量等不足。近年來,遷移學(xué)習(Transfer Learning,TL)[11-13]使得網(wǎng)絡(luò)模型能快速適應(yīng)目標學(xué)習任務(wù),可以有效緩解過擬合,提升模型性能。趙恒謙等[11]提出遷移學(xué)習與分步識別相結(jié)合實現(xiàn)對農(nóng)作物病害種類的識別。張建華等[12]將ImageNet-1K數(shù)據(jù)集上預(yù)訓(xùn)練的VGG模型遷移到棉花病害數(shù)據(jù)集上,但ImageNet-1K數(shù)據(jù)集與棉花病害數(shù)據(jù)集相似度不大,遷移學(xué)習的知識沒能很好地應(yīng)用到目標數(shù)據(jù)集,最終識別準確率提升不明顯。趙立新等[13]則首先在PlantVillage數(shù)據(jù)集上對模型進行預(yù)訓(xùn)練,然后在目標數(shù)據(jù)集棉花病害數(shù)據(jù)上對參數(shù)進行微調(diào),獲得平均93.5%的識別準確率。王東方等[14]基于遷移學(xué)習和殘差網(wǎng)絡(luò)提出農(nóng)作物病害識別模型TL-SE-ResNeXt-101,在真實環(huán)境下病害農(nóng)作物的識別準確率明顯高于未采用遷移學(xué)習的模型。

以上的研究表明基于深度學(xué)習的農(nóng)作物病害的識別準確率和魯棒性方面都要遠遠優(yōu)于傳統(tǒng)機器學(xué)習的方法,但當前基于卷積神經(jīng)網(wǎng)絡(luò)的方法大多是在背景單一的圖像數(shù)據(jù)集上訓(xùn)練學(xué)習和測試。在真實環(huán)境的農(nóng)作物病害識別過程中,由于受各種噪聲的干擾,實際的識別準確率會大大降低,難以滿足實際應(yīng)用的需求。

2017年Google的機器翻譯團隊成員Vaswani等[15]完全拋棄卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),僅采用注意力機制實現(xiàn)機器翻譯任務(wù),并取得當時的最佳效果。受Vaswani[15]的啟發(fā),Dosovitskiy等[16]嘗試將Transformer應(yīng)用到計算機視覺領(lǐng)域,提出Vision Transformer(ViT)模型。ViT包含輸入圖像分塊、展平成序列、Transformer編碼和分類識別等模塊,不依賴卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),對噪聲的干擾有很好的魯棒性,在圖像分類任務(wù)上達到了很好的效果,ImageNet-1K上的分類準確率達到88.55%。

針對實際應(yīng)用場景中包含復(fù)雜背景信息的農(nóng)作物病害識別問題,本文在現(xiàn)有研究基礎(chǔ)上,提出一種遷移學(xué)習與卷積視覺轉(zhuǎn)換器(Convolutional Vision Transformer,CViT)模型相結(jié)合的農(nóng)作物病害識別方法。

1 病害識別模型

1.1 卷積視覺轉(zhuǎn)換器模型結(jié)構(gòu)

標準的Transformer結(jié)構(gòu)用于自然語言處理,輸入為一維的標記嵌入(token embedding)向量。為有效處理輸入圖像,Dosovitskiy等[16]首先將輸入尺寸為224×224的圖像共劃分為互不重疊的196個16×16大小的圖像塊;然后通過線性投影變換將各圖像塊映射到768維度的一維向量;最后將196×768特征矩陣輸入到Transformer結(jié)構(gòu)。

而在實現(xiàn)農(nóng)作物病害識別時,不同種類病害的表觀特征往往僅有細微的表觀區(qū)別,有效學(xué)習到病害圖像的細粒度特征對農(nóng)作物病害的識別至關(guān)重要。為此,將卷積操作引入到ViT設(shè)計了卷積視覺轉(zhuǎn)換器(Convolutional Vision Transformer,CViT)CViT模型,其整體框圖如圖1所示。對比ViT模型中的線性映像操作,本文設(shè)計了一個用卷積層組來實現(xiàn)輸入圖像映射到二維特征矩陣的過程。卷積模塊共包含N層卷積,輸入圖像經(jīng)過N層卷積操作后將映射到14×14×768的特征空間,并作為Transformer結(jié)構(gòu)的輸入。

圖1 CViT模型的結(jié)構(gòu)框圖

1.2 注意力機制

注意力機制可以描述為將一個查詢和一組鍵值對映射到一個輸出,其中查詢、鍵、值和輸出都是向量。輸出值通過加權(quán)總和計算得到,其中分配給每個值的權(quán)重由查詢與相應(yīng)鍵的兼容性函數(shù)計算。根據(jù)兼容性函數(shù)的不同,可以設(shè)計出不同的注意力機制,本文采用文獻[15]設(shè)計的縮放點乘注意機制。縮放點乘注意機制的結(jié)構(gòu)如圖2所示。

圖2 縮放點乘注意機制

(1)

1.3 多頭注意力機制

在實際應(yīng)用中,根據(jù)給定相同的查詢、鍵和值的集合時,模型能基于注意力機制學(xué)習到不同的目標特征信息,然后把不同的目標特征信息組合,捕獲圖像內(nèi)多種信息間的依賴關(guān)系,達到提升模型識別性能的目的。傳統(tǒng)注意力機制僅僅關(guān)注單一方面的注意力信息,為了從不同角度關(guān)注到不同的關(guān)鍵特征,Vaswani等[15]提出了多頭注意力機制(Multi-Head Attention,MHA)。多頭注意力機制首先獨立學(xué)習得到h組不同的線性投影矩陣來變換查詢、鍵和值;然后將h組變換后的查詢、鍵和值將并行輸入到注意力匯聚模塊;最后將這h個注意力匯聚的輸出串接在一起,并且通過另一個可以學(xué)習的線性投影進行變換得到最終的輸出,具體計算過程如圖3所示。

本研究結(jié)果顯示，相對于NIPPV單用，納洛酮聯(lián)用NIPPV能顯著增加PO2水平和降低PCO2水平，增加SaO2水平，兩組比較差異均有統(tǒng)計學(xué)意義（P＜0.01），說明納洛酮聯(lián)用NIPPV能顯著糾正機體酸堿平衡，糾正低氧血癥；其次，住院死亡率和再次有創(chuàng)氣管插管率顯著降低，說明納洛酮能顯著降低NIPPV治療失敗率，同時顯著減少住院時間，有利于減輕患者經(jīng)濟負擔。用藥期間未發(fā)生嚴重不良反應(yīng)，患者耐受性好，說明納洛酮聯(lián)用NIPPV安全性較好。

圖3 多頭注意機制

首先通過線性變換將Q、K、V映射到新的子空間,然后使用縮放點乘注意機制進行計算,其中第i個注意力機制的計算結(jié)果計為headi。

(2)

然后按式(3)將所有注意力機制的計算結(jié)果級聯(lián),同時再次使用線性變換轉(zhuǎn)回原來的空間。

MultiHead(Q,K,V)=Concat(head1,…,headn)WO

(3)

2 試驗結(jié)果與分析

2.1 農(nóng)作物病害數(shù)據(jù)集

本文試驗在PlantVillage[9]和ibean[17]兩個公共數(shù)據(jù)集上完成。

1) 公共數(shù)據(jù)集PlantVillage。PlantVillage數(shù)據(jù)集共收集了14個物種38個分類和1個不包含植物葉片圖像的背景類別共54 306張農(nóng)作物葉片圖像,各個子類的圖像從275到5 357張不等,存在一定程度的樣本分布不均衡問題。所有圖像都是在實驗室條件下采集,背景單一,圖像分辨率為256像素×256像素。PlantVillage數(shù)據(jù)集部分樣本數(shù)據(jù)如圖4所示。

圖4 PlantVillage數(shù)據(jù)集圖像樣例

2) ibean數(shù)據(jù)集。ibean數(shù)據(jù)集是由Makerere AI實驗室與負責烏干達農(nóng)業(yè)研究的國家機構(gòu)國家作物資源研究所(NaCRRI)合作在烏干達不同地區(qū)實地拍攝的葉子圖像。數(shù)據(jù)集包含健康葉子圖像、角斑病和豆銹病3個類別,其中訓(xùn)練集包含1 035個數(shù)據(jù)樣本,驗證集包含133個樣本,測試集包含128個樣本。ibean數(shù)據(jù)集是在田間拍攝,包含背景較復(fù)雜,符合實際應(yīng)用環(huán)境,圖5所示為部分樣本數(shù)據(jù)。

(a) 角斑病

2.2 試驗平臺

在進行模型的訓(xùn)練中,試驗的硬件配置情況為Intel Core i5-6600K CPU,TITAN X顯卡,64 G內(nèi)存。軟件系統(tǒng)為Ubuntu18.04操作系統(tǒng),Tensorflow深度學(xué)習平臺,并使用CUDA和cuDNN作為支持。

2.3 評價指標

準確率(Accuracy)常作為分類模型的一個主要評價指標,但當樣本數(shù)據(jù)不均衡時,準確率高低主要受占比大的類別影響。因此,本文通過準確率Accuracy、查準率Precision、查全率Recall和F1值四個指標評價模型的性能,各指標定義如式(4)～式(7)所示。

(4)

(5)

(6)

(7)

式中:TP——真實值為正且預(yù)測為正的數(shù)目;

FN——真實值為真而預(yù)測值為負的數(shù)目;

TN——真實值為負且預(yù)測也為負的數(shù)目;

FP——真實值為負但預(yù)測為正的數(shù)目。

2.4 卷積層組結(jié)構(gòu)的選擇

卷積層組的主要作用是將圖像轉(zhuǎn)換為視覺轉(zhuǎn)換模塊的輸入,同時為對比增加卷積層后與原ViT模型的性能,本文設(shè)計的CViT模型的卷積層組最后的特征映射都統(tǒng)一為14×14×756,即與標準ViT模型視覺轉(zhuǎn)換模塊的輸入維度一樣。表1為本文對比試驗的3種卷積層組結(jié)構(gòu),表2為不同卷積層結(jié)構(gòu)在PlantVillage和ibean兩個數(shù)據(jù)集上采用遷移學(xué)習方法所獲得的識別準確率。

表1 卷積層組結(jié)構(gòu)Tab. 1 Architectures of convolutional layer group

表2 不同卷積層組結(jié)構(gòu)的識別準確率Tab. 2 Accuracy of different convolutional architectures

對比3種卷積層組的網(wǎng)絡(luò)結(jié)構(gòu)發(fā)現(xiàn),在僅采用1個卷積層的情況下,兩個數(shù)據(jù)集上都獲得最高的識別準確率;當增加到3個卷積層時,準確率都有明顯的下降。原因可能是單層16×16卷積核的卷積操完成了圖像塊的非線性映射,同時大尺度的卷積核可以較好地保留了圖像的底層結(jié)構(gòu)特征,這有利于ViT模型在此基礎(chǔ)上實現(xiàn)高層語義特征的抽象。因此,本文設(shè)計的CViT模型采用的是單層卷積輸入的結(jié)構(gòu)模型。

2.5 訓(xùn)練過程中的模型準確率與損失值

將CViT、ResNet-50和EfficientNet-b0三個模型在PlantVillage數(shù)據(jù)集上的試驗如圖6所示,各模型都是迭代訓(xùn)練30個Epoch。在PlantVillage數(shù)據(jù)集上,除用ImageNet-1K數(shù)據(jù)集預(yù)訓(xùn)練后的Efficient-b0模型在前14個Epoch迭代的準確率和損失值有較多波動外,其他模型的收斂速度都比較快,各模型的準確率最終達到99.50%以上。但CViT模型在采取遷移學(xué)習方法后,迭代到第3個Epoch時準確率達到了99.52%,收斂速度要快于其它模型,說明在使用遷移學(xué)習后,模型在預(yù)訓(xùn)練過程中學(xué)習到了圖像識別的公共特征,然后在目標數(shù)據(jù)集中能快速針對具體目標任務(wù)學(xué)習到對應(yīng)的特征信息,實現(xiàn)目標數(shù)據(jù)集下的識別任務(wù),達到節(jié)約模型的訓(xùn)練時間、提升識別性能的目的。

(a) 測試集準確率

ibean數(shù)據(jù)庫中測試集上的準確率和損失值如圖7所示,除使用采取遷移學(xué)習的CViT和ResNet-50兩個模型在迭代到第5個Epoch后達到收斂,其它模型在前30個Epoch的準確率和損失值波動都比較大,沒能達到收斂狀態(tài)。

(a) 測試集準確率

導(dǎo)致該結(jié)果的可能有如下3個原因:(1)ibean數(shù)據(jù)集是在真實環(huán)境下采集,圖像背景較復(fù)雜;(2)ibean數(shù)據(jù)集樣本數(shù)目偏少,遠小于PlantVillage數(shù)據(jù)集;(3)部分角斑病和銹斑病圖像差距細微,難以辨別。但采取遷移學(xué)習后的CViT模型有較好的收斂過程,且達到了最高識別準確率98.12%,這說明設(shè)計的CViT模型使用遷移學(xué)習的方法后,在樣本量少的情況下也能夠從復(fù)雜的背景中學(xué)習到目標對象的細微特征信息,從而達到提高識別準確率的目標。

2.6 數(shù)據(jù)集中各子類的性能比較

為了解遷移學(xué)習過程中CViT模型對各子類的分類情況,試驗中保存訓(xùn)練過程中訓(xùn)練好的最佳模型,然后用最佳模型對測試數(shù)據(jù)集進行測試,表3為PlantVillage測試集中各子類的查準率、查全率和F1值。

表3 PlantVillage測試集的各子類查準率、查全率、F1值Tab. 3 Precision, recall and F1 value of CViT on PlantVillage dataset for each class

從表3可以看出,各個類別的查準率和查全率以及F1值都比較高,出錯相對較多的是玉米北方葉枯病、玉米灰斑病、番茄早疫病和晚疫病。通過對識錯圖片的比對分析發(fā)現(xiàn),玉米北方葉枯病和灰斑病、番茄早疫病和晚疫病的圖像相似度較高,容易出現(xiàn)誤判的情況。表4為ibean數(shù)據(jù)集在測試數(shù)據(jù)上的試驗結(jié)果,平均查準率為0.946 1,平均查全率為0.945 4,平均F1值為0.945 6。試驗結(jié)果表明基于遷移學(xué)習的CViT模型在真實環(huán)境下,可以較高效的完成農(nóng)作物病害的識別工作。

表4 ibean測試集的各分類查確率、查全率、F1值Tab. 4 Precision, recall and F1 value of CViT on ibean dataset for each class

2.7 各模型最佳準確率

為了驗證本文識別方法的有效性,在PlantVillage和ibean兩個數(shù)據(jù)集上與當前最佳網(wǎng)絡(luò)模型進行對比,試驗結(jié)果如表5所示。基于遷移學(xué)習的CViT模型在PlantVillage中準確率高于ViT模型0.33%,比ResNet-50模型的準確率高0.28%,也高于Efficient-b7模型0.05%。在ibean數(shù)據(jù)集中,本文提出模型的測試準確率高于ViT模型0.46%和Efficient-b7模型0.68%。試驗表明,本文提出的模型在兩個數(shù)據(jù)集上都獲得了最高準確率99.91%和98.12%。

表5 PlantVillage和ibean數(shù)據(jù)集上不同模型的平均準確率Tab. 5 Average accuracy with previous state-of-the-art methods in PlantVillage and ibean datasets %

3 結(jié)論

1) 為提升農(nóng)作物病害識別系統(tǒng)的性能,本文將遷移學(xué)習和ViT模型用于設(shè)計農(nóng)作物的識別模型。為驗證設(shè)計方法的有效性,在公共數(shù)據(jù)集PlantVillage數(shù)據(jù)集和自然環(huán)境下采樣的ibean數(shù)據(jù)集完成相應(yīng)的試驗。在PlantVillage數(shù)據(jù)集包含了38個農(nóng)作物病害類別以及一個背景圖像類別共39個類別,最終達到了99.91%的評價識別準確率,0.999 0的查準率,0.998 2的查全率和0.998 6的F1值。在ibean數(shù)據(jù)集中同樣獲得了98.12%的平均識別準確率,以及查準率、查全率和F1值分別為0.946 1、0.945 4、0.945 6。經(jīng)過對比試驗結(jié)果表明,CViT方法在相同情況下具有更高的識別準確率、查全率和查準率,具有很好的魯棒性,能獲得較好的識別性能。

2) 本文提出的基于遷移學(xué)習的ViT農(nóng)作物病害識別方法,可以作為農(nóng)作物病害診斷系統(tǒng)的預(yù)警。相關(guān)從業(yè)人員可以根據(jù)診斷系統(tǒng)的識別結(jié)果,及時對有疾病的農(nóng)作物采取有效措施。本文算法通過進一步優(yōu)化后可以部署到移動端進行實時識別,提高識別系統(tǒng)的便攜性,為農(nóng)業(yè)智能化發(fā)展做出貢獻。