基于輕量級(jí)金字塔網(wǎng)絡(luò)的種子分選方法研究

李衛(wèi)杰，桑肖婷，李環(huán)宇，魏平俊，李 驍

(1.中原工學(xué)院 電子信息學(xué)院，鄭州 450007 2.中國(guó)石油大學(xué)(華東) 海洋與空間信息學(xué)院，山東 青島 266580)

0 引言

種子在收獲或存儲(chǔ)的過程中，可能混入部分雜交種和雜質(zhì)，直接影響后續(xù)加工或者育種，給農(nóng)業(yè)及農(nóng)產(chǎn)品加工業(yè)帶來不同程度的經(jīng)濟(jì)損失。因此，快速有效的種子鑒別和分類可有利于提升種子質(zhì)量，成為研究的熱點(diǎn)。目前，種子分選可分為以下三類：人工方法、基于傳統(tǒng)模式識(shí)別的方法和基于深度學(xué)習(xí)的方法。基于人工方法費(fèi)時(shí)、費(fèi)力且效率低，不能滿足現(xiàn)代農(nóng)業(yè)發(fā)展的需要。基于傳統(tǒng)模式識(shí)別方法利用特征工程提取圖像形狀、顏色、尺寸和形狀等特征，并利用支持向量機(jī)和決策樹等多種有效的分類器識(shí)別種子[1-3]。Li等[4]提取12種顏色特征，并利用最大似然估計(jì)分類器區(qū)分不同類型的玉米病害，對(duì)正常和病害玉米的分類精度達(dá)到了74.76%；KokLu 等[5]提取16個(gè)形態(tài)學(xué)特征，并采用SVM分類器對(duì)干豆進(jìn)行分類，整體分類正確率為93.13%。傳統(tǒng)模式識(shí)別的方法采用手工描述子進(jìn)行特征提取，這種方法特征提取有效性不高且自適應(yīng)性不強(qiáng)，導(dǎo)致整體識(shí)別率較低。

深度學(xué)習(xí)由數(shù)據(jù)驅(qū)動(dòng)可自適應(yīng)學(xué)習(xí)到更多有效的特征，被廣泛應(yīng)用到目標(biāo)檢測(cè)[6]、圖像識(shí)別[7]及圖像分割[8]等領(lǐng)域，并取得了很好的效果。目前相關(guān)學(xué)者已將深度學(xué)習(xí)技術(shù)應(yīng)用到種子分選中。范曉飛等人[9]基于改進(jìn)YOLOV4的目標(biāo)檢測(cè)模型，同時(shí)結(jié)合四通道(RGB+NIR)多光譜圖像，對(duì)玉米種子外觀品質(zhì)進(jìn)行了識(shí)別與分類，準(zhǔn)確率達(dá)到93.09%。侯俊銘等人[10]針對(duì)水稻種子間識(shí)別率低等問題，提出基于卷積神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)技術(shù)相結(jié)合的方法對(duì)8類水稻種子進(jìn)行分類識(shí)別，最后8種水稻種子識(shí)別正確率分別為96.2%、95.8%和96.1%，且識(shí)別單張圖片推理時(shí)間為5.57 ms。楊紅云等人[11]使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)蓖麻種子損傷進(jìn)行分類，模型分類準(zhǔn)確率達(dá)到94.82%。然而，上述方法的精度依賴于其網(wǎng)絡(luò)的深度，這導(dǎo)致了計(jì)算成本較大，且難以有效部署到計(jì)算資源有限的邊緣設(shè)備上。

為了減少深度模型存儲(chǔ)量，使其易于部署到工業(yè)現(xiàn)場(chǎng)中的邊緣設(shè)備上，基于輕量化網(wǎng)絡(luò)種子分選成為該領(lǐng)域研究的重點(diǎn)。董燕等人[12]提出聯(lián)合剪枝深度模型壓縮的種子分選方法，在玉米數(shù)據(jù)集上達(dá)到95.56%的準(zhǔn)確度。李好等人[13]針對(duì)農(nóng)作物識(shí)別方法中存在模型較為復(fù)雜，實(shí)時(shí)準(zhǔn)確率較差的問題，提出改進(jìn)ShuffleNetV2輕量級(jí)農(nóng)作物病害識(shí)別方法，在PlantVillage病害數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)識(shí)別率達(dá)到了99.24%。Xie等人[16]構(gòu)建了一個(gè)輕量級(jí)的胡蘿卜質(zhì)量分類模型，對(duì)正常、破碎、裂紋、畸形、瘀傷和分叉6類胡蘿卜的識(shí)別準(zhǔn)確率為97.04%。Zhao等人[17]利用改進(jìn)的MobileNetv2模型對(duì)6種不同的大豆種子進(jìn)行了識(shí)別，分類準(zhǔn)確率達(dá)到97.84%。然而，以上所提模型仍然占用較多的內(nèi)存空間，且由于農(nóng)產(chǎn)品產(chǎn)量的增加，執(zhí)行速度仍需進(jìn)一步的提升。因此，需要在保證較高識(shí)別率的前提下，進(jìn)一步壓縮模型大小，使其更易部署到邊緣設(shè)備中。

針對(duì)種子分選方法仍存在識(shí)別精度不高、模型參數(shù)量大、推理速度慢且難于部署等問題，提出了一種基于輕量級(jí)空間金字塔網(wǎng)絡(luò)的種子分選方法。首先，設(shè)計(jì)了多分支殘差空間金字塔模塊(RSPM，residual spatial pyramid module) ，為了更有效地提取多尺度特征，每個(gè)分支采用不同擴(kuò)張率的空洞卷積增強(qiáng)感受野；采用深度可分離卷積技術(shù)減少模型參數(shù)量和計(jì)算復(fù)雜度；同時(shí)提出輕量級(jí)注意力機(jī)制模塊(ECA，efficient channel attention)，利用局部跨通道交互方式生成各通道的注意力值，增強(qiáng)網(wǎng)絡(luò)對(duì)關(guān)鍵特征的學(xué)習(xí)能力，在保持較高識(shí)別精度的前提下，最終構(gòu)建一種有效的輕量化種子分類模型。

1 網(wǎng)絡(luò)模型

針對(duì)種子形態(tài)多樣、特征差異不明顯，識(shí)別精度不高且現(xiàn)有深度識(shí)別模型參數(shù)量大，導(dǎo)致不宜部署等問題，本文提出了一種基于注意力的輕量高效的端到端種子識(shí)別分選模型。該模型主要由輕量殘差空間金字塔模塊(RSPM)和基本塊深度可分離卷積成，如圖1所示。首先，采用設(shè)計(jì)的RSPM模塊將不同尺度的空洞卷積核進(jìn)行多尺度融合，在保持更少參數(shù)和更低的計(jì)算復(fù)雜度的情況下提取有效的特征。然后進(jìn)一步與深度可分離卷積結(jié)合，實(shí)現(xiàn)分類識(shí)別精度和效率之間的折衷。最后引入輕量化的注意力機(jī)制ECA模塊提取細(xì)粒度特征，從而提升不同種子特征的區(qū)分度。

圖1 LPD-Net網(wǎng)絡(luò)結(jié)構(gòu)

1.1 空間金字塔網(wǎng)絡(luò)LPD-Net

空間金字塔網(wǎng)絡(luò)通過特征金字塔(FPN)[19]能夠充分提取多尺度特征信息并將其融合，具有很強(qiáng)的特征表征能力。然而，由于不同尺度的特征都包含豐富的語義信息，導(dǎo)致金字塔網(wǎng)絡(luò)占用較大內(nèi)存，推理速度慢，從而影響在嵌入設(shè)備上的部署。本文基于空洞卷積多分支殘差金字塔模塊和深度可分離卷積對(duì)特征圖進(jìn)行重新采樣，利用空洞卷積采樣擴(kuò)大感受野的結(jié)構(gòu)特性，聚合多尺度上下文信息提出輕量級(jí)的空間金字塔網(wǎng)絡(luò)LPD-Net。該網(wǎng)絡(luò)采用高效的空間金字塔模塊(RSPM)和深度可分離卷積，空間金字塔模塊采用3個(gè)不同擴(kuò)張率的空洞卷積層對(duì)特征圖進(jìn)行重新采樣，獲取豐富的多尺度特征的同時(shí)，減少模型參數(shù)量，提高推理效率；再引入輕量ECA注意力機(jī)制來增強(qiáng)對(duì)特征的學(xué)習(xí)和表達(dá)，提高模型的識(shí)別精度，因此具有模型規(guī)模小、識(shí)別準(zhǔn)確率高及推理速度快的特點(diǎn)。具體模型結(jié)構(gòu)如表1所示，其中第六列代表不同的激活函數(shù)，“HS”代表Hard_swish激活函數(shù)，“RE”代表ReLU激活函數(shù)，第八列代表是否使用ECA注意力機(jī)制。

表1 LPD-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

為了進(jìn)一步提取高層的語義信息和底層的紋理信息，首先使用3×3卷積提取初始特征(如顏色、紋理和形狀)，然后設(shè)計(jì)輕量的殘差空間金字塔模塊(RSPM)實(shí)現(xiàn)多尺度特征圖的高效融合，分別在3、4、5層分別采用1、1和2個(gè)RSPM模塊進(jìn)行特征的提取。然而，特征圖分辨率的降低往往會(huì)導(dǎo)致信息丟失，影響最終的預(yù)測(cè)結(jié)果。因此，本文在3、4、5層使用注意力模塊增強(qiáng)對(duì)空間和細(xì)節(jié)信息的提取能力。隨著網(wǎng)絡(luò)層數(shù)的增加，為了減輕模型的計(jì)算效率并減少參數(shù)，在2和6、7層使用了3×3和5×5深度可分離卷積和H-Swish激活函數(shù)增強(qiáng)全局信息的提取。最后，在第5次下采樣之后進(jìn)行全連接層輸出，將2D特征映射轉(zhuǎn)換為1D特征向量。

1.2 殘差空洞金字塔模塊(RSPM)

在種子分類過程中，不同種類的種子特征在形狀、紋理和顏色上具有高度相似性。為了更有效地提取種子的細(xì)節(jié)信息，提升特征的區(qū)分度，淺層特征提取尤為重用，受輕量級(jí)網(wǎng)絡(luò)MobileNet、SqueezeNet等設(shè)計(jì)思路的啟發(fā)，本文提出了一種新型的輕量級(jí)多分支空洞卷積金字塔(RSPM)模塊，將1×1的逐點(diǎn)卷積和多分支空洞卷積殘差塊進(jìn)行特征融合，有效提取細(xì)節(jié)信息，具體如圖2所示。

圖2 殘差空洞金字塔模

首先將高維特征映射通過一次1×1卷積投影到低維空間。然后為解決主干網(wǎng)絡(luò)輕量化后帶來輸出特征表達(dá)不足問題，采用3個(gè)不同擴(kuò)張率的空洞卷積分支對(duì)特征圖進(jìn)行重新采樣，以獲取更豐富的多尺度特征和語義信息。然而當(dāng)擴(kuò)張率擴(kuò)大時(shí)，需要大量填充來維持特征圖的大小，這將造成信息相關(guān)特性的損失并增加較大計(jì)算開銷[20，32]。為了在不增加特征圖分辨率的同時(shí)，聚合多尺度信息，采用擴(kuò)張率分別為1、2和3的擴(kuò)張卷積進(jìn)行特征提取。最后為進(jìn)一步減少參數(shù)量和內(nèi)存占用，使用1×1卷積殘差塊來整合信息并保留原始細(xì)節(jié)，并通過跨通道融合所有特征。通常下采樣操作造成的信息丟失是不可逆的，RSPM的優(yōu)點(diǎn)就是在降采樣過程中增加感受野而不損失使每個(gè)卷積輸出包含更多的特征信息。

1.3 深度可分離卷積模塊

圖3 深度可分離卷積塊

該卷積塊不包含殘差短連接，沒有connect或elementwise-addition等額外操作，很大程度地降低了模型復(fù)雜度。如圖3深度可分離卷積塊，此外，卷積核的大小往往會(huì)影響網(wǎng)絡(luò)的最終性能，大小通常固定(如3×3)，不能適應(yīng)種子圖像姿態(tài)或形狀的變化。本文在確保低延遲高精度的情況下，在2，6和7層中不只是使用一種大小的卷積核。同時(shí)，在網(wǎng)絡(luò)的最后兩層使用5×5卷積核，這增強(qiáng)了種子全局信息提取并提高了特征表示能力[22- 23]。另外，在深度可分離卷積基中使用了H-swish[23]激活函數(shù)，避免了大量的索引操作。

1.4 ECA輕量級(jí)注意力模塊

大量研究表明，通道注意力機(jī)制能夠有效地提升模型的性能，但是大多注意力機(jī)制在帶來性能提升的同時(shí)也會(huì)帶來很大的計(jì)算負(fù)擔(dān)。因此，在本文中為了提升模型性能引入了ECA[18]輕量級(jí)注意力模塊，此模塊通過學(xué)習(xí)不同通道的特征來表示不同通道的重要性，為每個(gè)通道劃分不同的注意力值。不同的通道通過學(xué)習(xí)不同的特征并賦予不同的注意力值，使網(wǎng)絡(luò)能夠合理的分配計(jì)算資源，最終模型的性能得到顯著提升。

如圖4所示。該模塊將輸入特征圖進(jìn)行全局平均池化，提取種子的形狀特征，為了避免降維對(duì)通道注意力對(duì)特征學(xué)習(xí)的不利影響，模塊并不降低特征圖維度。接著通過執(zhí)行一定數(shù)量為K的1 D卷積對(duì)每個(gè)通道及其鄰近的K個(gè)通道進(jìn)行信息交互，只通過鄰近通道間進(jìn)行跨通道學(xué)習(xí)，避免所有通道進(jìn)行信息提取時(shí)而產(chǎn)生更多的冗余信息。然后采用Sigmoid函數(shù)評(píng)估各通道間的重要性，根據(jù)各通道間的相關(guān)性計(jì)算出各通道的注意力值，其中K的值由通道系數(shù)C的映射自適應(yīng)決定并成正比關(guān)系，可以有效避免實(shí)驗(yàn)中通過交叉驗(yàn)證手動(dòng)調(diào)優(yōu)K。通過自適應(yīng)學(xué)習(xí)通道注意力權(quán)重，強(qiáng)化重要的通道特征，弱化不重要的特征，從而提升模型準(zhǔn)確度。

(1)

圖4 ECA注意力模塊結(jié)構(gòu)

如公式(1)所示，C為通道數(shù)；odd表示向上取最近的奇數(shù)，取r=2，b=1，K表示局部跨通道信息交互的通道個(gè)數(shù)。

如圖5所示，把高效的通道注意力ECA模塊加入到輕量RSPM殘差空洞卷積金字塔基本單元中，能夠帶來明顯的性能提升。該模塊只涉及到極少量參數(shù)，可以在帶來性能增益的同時(shí)保持網(wǎng)絡(luò)輕量化。

圖5 RSPM-ECA模塊結(jié)構(gòu)

2 實(shí)驗(yàn)與結(jié)果分析

本文選擇兩個(gè)數(shù)據(jù)集來驗(yàn)證所提出的網(wǎng)絡(luò)架構(gòu)的有效性。所有實(shí)驗(yàn)都是在64位的Linux系統(tǒng)上進(jìn)行的，具體采用Anaconda環(huán)境，使用Python3.7.3、Pytorch1.9.1。硬件采用Intel(R) Xeon(R) CPU E5-2680 v4@2.40 GHz和NVIDIA Quadro M5000 GPU，CUDA11.0加速計(jì)算。

2.1 數(shù)據(jù)集及參數(shù)設(shè)置

實(shí)驗(yàn)采用了隨機(jī)梯度下降優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，動(dòng)量參數(shù)為0.9，權(quán)重衰減參數(shù)為4e-5。通過水平翻轉(zhuǎn)將輸入圖像隨機(jī)裁剪到224×224，并將圖片統(tǒng)一進(jìn)行歸一化處理。初始學(xué)習(xí)率為0.01，每經(jīng)過25個(gè)epoch后學(xué)習(xí)率下降，衰減率為0.1，總共進(jìn)行了200個(gè)迭代訓(xùn)練，批量大小batchsize設(shè)置為32。

玉米數(shù)據(jù)集：采用的玉米數(shù)據(jù)集是來自土耳其Sakarya的一個(gè)公共的單倍體和二倍體玉米種子分類數(shù)據(jù)集[2]。它包含3 000張RGB圖像，其中1 230張單倍體圖像和1 770張二倍體圖像。根據(jù)種子的尺寸，圖像的分辨率在300×289像素和610×637像素之間變化，一些典型的圖像如圖6示。其中738個(gè)單倍體圖片和1 062個(gè)二倍體圖片作為訓(xùn)練集，246個(gè)單倍體和354個(gè)二倍體作為驗(yàn)證集，其余用于測(cè)試。

圖6 玉米種子數(shù)據(jù)集

考慮在識(shí)別種子過程中，現(xiàn)實(shí)狀態(tài)下存在很多的不確定性，需要對(duì)玉米種子數(shù)據(jù)集進(jìn)行隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)和標(biāo)準(zhǔn)化。本文通過增強(qiáng)圖像和樣本圖像對(duì)模型進(jìn)行訓(xùn)練，提高模型的可靠性和精度，進(jìn)一步提高了模型的適用性。

紅蕓豆數(shù)據(jù)集：玉米數(shù)據(jù)集是針對(duì)二分類種子分選問題，為了綜合評(píng)價(jià)所提算法在多分類種子分選中的有效性，在工業(yè)生產(chǎn)線上構(gòu)建紅蕓豆種子數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。圖像通過彩色線掃描相機(jī)進(jìn)行采集，采集設(shè)備為一臺(tái)“1/2.5”CMOS 相機(jī)，采集的圖像分辨率為224×224像素。采用白色？環(huán)形光源進(jìn)行補(bǔ)光，并利用白色背景板使紅蕓豆種子和背景更容易區(qū)分。根據(jù)企業(yè)進(jìn)行質(zhì)量評(píng)價(jià)的分級(jí)標(biāo)準(zhǔn)，將樣本分為四類：飽滿豆(1 661粒)、去皮豆(509粒)、干豆(1 173粒)、碎豆(488粒)，典型圖像如圖7所示。

圖7 紅蕓豆數(shù)據(jù)集

2.2 評(píng)價(jià)指標(biāo)

本文選擇精確度(precision)、準(zhǔn)確率(accuracy)、召回率(recall)、F1分?jǐn)?shù)(F-score)等評(píng)價(jià)指標(biāo)驗(yàn)證模型性能，并利用混淆矩陣對(duì)CNN模型的性能進(jìn)行可視化。混淆矩陣表示樣本內(nèi)的真實(shí)類別和CNN分類器預(yù)測(cè)的類別。如表2所示，這4個(gè)指標(biāo)包括以下內(nèi)容：真陽性(全稱，TP)、真陰性(全稱，TN)、假陽性(全稱，F(xiàn)P)和假陰性(全稱，F(xiàn)N)[25]。在研究中，其中TP(真陽性)表示種子中的正類樣本被正確識(shí)別為正類；真陰性(TN)表示種子中負(fù)樣本被正確識(shí)別為負(fù)類；假陽性(FP)表示種子中負(fù)樣本被錯(cuò)誤識(shí)別為正類；假陰性(FN)表示種子中正類樣本被錯(cuò)誤識(shí)別為負(fù)類。

表2 CNN模型性能指標(biāo)

Precision定義為公式(2)所示，表示正確分類的正樣本占總的正樣本的比率。

(2)

Accuracy表示整體的準(zhǔn)確率，識(shí)別分類正確的樣本占總樣本的比率。如公式(3)所示。

(3)

Recall的定義如公式(4)所示，表示被識(shí)別成正樣本占總樣本的比例。

(4)

F1-score表示召回率和精確度的調(diào)和平均值。其公式為式(5)。

(5)

2.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證所提分類算法的性能，建立了一個(gè)混淆矩陣，并通過混淆矩陣(TP，TN，F(xiàn)P，F(xiàn)N)上的值進(jìn)行了可視化的性能評(píng)估。CNN模型在玉米和紅蕓豆測(cè)試集上的混淆矩陣結(jié)果如圖8(a)和8(b)所示。其中在玉米數(shù)據(jù)集上的單倍體和二倍體識(shí)別率分別為95.47%和96.73%。在紅蕓豆數(shù)據(jù)集上，飽和豆類別的識(shí)別率高達(dá)99.7%，去皮豆、干豆和破碎豆的識(shí)別率分別為96.04%、96.28%和96.91%。

圖8 混淆矩陣

玉米數(shù)據(jù)集：表2給出了混淆矩陣所描述的性能指標(biāo)，包括準(zhǔn)確性、精確度、查全率和F1評(píng)分的平均值。本文提出方法與ResNet[26]、GoogleNet[27]、DenseNet[28]、SENet[29]、MobileNetv2[11]、PPLCNet[22]、ShuffleNetv2[15]、GhostNet[30]、MixNet[23]和EfficientNet共10個(gè)代表性的CNN模型在玉米數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果由表3可知，所提出的方法對(duì)目標(biāo)分類準(zhǔn)確率較高，在相似的實(shí)驗(yàn)條件下可達(dá)到96%以上，其他各項(xiàng)指標(biāo)準(zhǔn)確率、查準(zhǔn)率、查全率和F1score分別為96.00%、96.00%、96.00%和95.18%，其計(jì)算復(fù)雜度和模型規(guī)模都相對(duì)較低。另外，與經(jīng)典的輕量化網(wǎng)絡(luò)相比，在參數(shù)量較少的情況下，也得到了最好的分類準(zhǔn)確度和推理速度。如在玉米數(shù)據(jù)集上，在參數(shù)量?jī)H為0.26 M的條件下，本文算法獲得了96.11%的分類準(zhǔn)確度和4.51 ms的推理速度，這也說明本文方法在實(shí)際部署中具有高效性和良好的性能。

表3 主流算法模型與本文方法對(duì)比

為了進(jìn)一步證明所提方法的有效性，也采用ROC曲線來測(cè)量模型性能。如圖9所示對(duì)比了本文方法與其他網(wǎng)絡(luò)模型的ROC曲線和AUC得分。從AUC得分來看，與其他CNN模型相比，該方法在玉米種子數(shù)據(jù)集上獲得了98.91%的最佳結(jié)果，優(yōu)于上述具有代表性的CNN模型和輕量級(jí)網(wǎng)絡(luò)，說明LPD-Net具有很好的分類性能。

圖9 CNN模型對(duì)玉米數(shù)據(jù)集的ROC曲線

紅蕓豆數(shù)據(jù)集：表4展示了在紅蕓豆數(shù)據(jù)集上所提方法與不同網(wǎng)絡(luò)模型計(jì)算復(fù)雜度、準(zhǔn)確性、召回率和F1得分對(duì)比。從表中可以得出，在具有最少的FLOPS和參數(shù)量情況下，所提出的方法仍具有最高的準(zhǔn)確度、召回率、精確度和F1得分。與在玉米數(shù)據(jù)集上識(shí)別類似，此方法在紅蕓豆種子數(shù)據(jù)集上與圖像識(shí)別領(lǐng)域常見的模型如ResNet[26]、DenseNet[28]、GoogleNet[27]、MobileNetv2[11]、ShuffleNetv2[12]、GhostNet[30]和PPLCNet[22]等進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果如表4所示，為保證實(shí)驗(yàn)的公平性，所有模型訓(xùn)練時(shí)設(shè)置參數(shù)相同。從表4可以看出，所提方法與ResNet18等模型相比，準(zhǔn)確度提升了0.66%，精確度提升了0.66%，召回率和F1得分分別提升了0.66%和2.39%，參數(shù)量比ResNet減少了10.92M。與其他輕量化網(wǎng)絡(luò)相比，LPD-Net模型的識(shí)別準(zhǔn)確率，精確度和F1得分都優(yōu)于MobileNetv2等，參數(shù)量比MobileNetv2減少1.97M同時(shí)推理速度達(dá)到最快為4.51 ms。綜上表明，LPD-Net模型在種子分選任務(wù)中效果最佳，并且在確保高識(shí)別精度和高效率的同時(shí)，大大減少了對(duì)硬件部署的負(fù)擔(dān)。

表4 主流算法模型與本文方法對(duì)比

2.4 消融實(shí)驗(yàn)

為了兼顧精度和效率，本研究設(shè)計(jì)了RSPM模塊和深度可分離卷積模塊并引入了ECA注意力機(jī)制。本節(jié)在兩個(gè)數(shù)據(jù)集上進(jìn)行三組消融實(shí)驗(yàn)來驗(yàn)證各個(gè)模塊在識(shí)別結(jié)果上的影響。實(shí)驗(yàn)在保證數(shù)據(jù)集、超參數(shù)設(shè)置等其他實(shí)驗(yàn)條件都相同的情況下，通過控制累加單一變量的方式完成。

實(shí)驗(yàn)結(jié)果詳見表5，第一組實(shí)驗(yàn)以RSPM模塊作為主干特征提取網(wǎng)絡(luò)，模型在極其輕量的情況下在玉米和紅蕓豆數(shù)據(jù)集上準(zhǔn)確率分別為95.02%和96.99%，處理每張圖片的推理時(shí)間僅為4.25 ms，充分證明RSPM提取信息的能力較好而且更加高效。隨著深度可分離卷積的加入，在幾乎不增加參數(shù)量的情況下，在玉米數(shù)據(jù)集上和紅蕓豆數(shù)據(jù)集上識(shí)別準(zhǔn)確率分別提高了0.30%和0.68%，表明加入深入可分離卷積可以有效的優(yōu)化模型性能。此外也深入研究了注意力機(jī)制對(duì)模型性能的影響，引入注意力機(jī)制后在第二組的實(shí)驗(yàn)結(jié)果上準(zhǔn)確度分別增加0.11%和0.28%，同時(shí)參數(shù)量和推理速度幾乎沒有增加，充分驗(yàn)證了注意力機(jī)制作用在種子分選任務(wù)上的有效性。從實(shí)驗(yàn)中可以看出本文工作在減少大量參數(shù)量的同時(shí)，也有效提升了模型的識(shí)別性能和推理速度。

表5 消融模塊在玉米和紅蕓豆數(shù)據(jù)集上的測(cè)試結(jié)果

此外，為了能夠更直觀地驗(yàn)證ECA注意力機(jī)制對(duì)種子分選任務(wù)的有效性，使用Grad-CAM[31]對(duì)隨機(jī)選擇的輸入圖像區(qū)域進(jìn)行可視化，可視化出模型所關(guān)注的重點(diǎn)區(qū)域信息，以此來定性分析模型對(duì)關(guān)鍵特征提取能力。此方法通過坐標(biāo)注意層應(yīng)用目標(biāo)特征的梯度，創(chuàng)建一個(gè)粗略的局部特征圖，它突出了圖像中該特征重要的區(qū)域。如圖10所示，分別選取5張玉米圖像和紅蕓豆種子圖像作為示例，第一行和第三行分別為原始圖像，第二行和第四行為加入ECA模塊的熱力圖。從圖中可以清楚的看到該方法在玉米和紅蕓豆種子圖像上的可視化結(jié)果，ECA注意力機(jī)制能夠幫助模型圖像中關(guān)鍵信息，提升模型對(duì)種子紋理和形狀特征的表達(dá)能力。同時(shí)，從表5中也可以看出，注意力機(jī)制并沒有引入太多的參數(shù)量和計(jì)算負(fù)擔(dān)。

圖10 原始圖像和Grad-CAM可視化

3 結(jié)束語

本文提出了一種輕量級(jí)金字塔空洞卷積網(wǎng)絡(luò)，即LPD-Net，用于種子分選任務(wù)中。該模型能夠取得較高的識(shí)別準(zhǔn)確率，同時(shí)也兼顧了推理速度。首先，設(shè)計(jì)了一種新型的輕量級(jí)金字塔空洞卷積模塊(即RSPM)，利用不同擴(kuò)張率的空洞卷積擴(kuò)展感受野，有效提取多尺度特征。接著進(jìn)一步該模塊與深度可分離卷積結(jié)合，提升模型的特征提取能力并實(shí)現(xiàn)參數(shù)量和計(jì)算復(fù)雜度的降低。為了提高種子質(zhì)量分選和鑒定的準(zhǔn)確性，通過引入一種輕量級(jí)的注意力模塊(ECA)，讓模型更加關(guān)注關(guān)鍵信息從而提高整體分類性能。大量的實(shí)驗(yàn)也證明了該算法的有效性，在兩個(gè)種子數(shù)據(jù)集上都能達(dá)到最先進(jìn)的識(shí)別效果。此外，利用對(duì)輸入的種子圖像進(jìn)行區(qū)域可視化，提高了工作的效率。在未來的工作中，我們將部署這個(gè)高準(zhǔn)確度的輕量化模型到嵌入式設(shè)備中。