基于改進YOLOv5s的輕量化儲糧害蟲檢測方法

呂宗旺, 邱帥欣, 孫福艷, 王玉琦, 牛賀杰

(河南工業大學信息科學與工程學院1,鄭州 450001) (糧食信息處理與控制教育部重點實驗室2,鄭州 450001)

糧食是國家長治久安的基本保障,也是人類生存和發展的基礎。隨著科學技術的不斷發展,糧食產量得到很大的提高,儲糧量也與日俱增,儲糧過程中由于害蟲造成的危害是糧食損失的一個重要原因[1,2]。儲糧害蟲的存在不僅會影響糧食品質,國家的經濟造成損失,蟲害的排泄物和尸體還會造成疾病傳播[3]。因此,儲糧害蟲的檢測與識別是儲糧安全的重要部分,在糧食儲存過程中定期檢測糧食谷物是否有儲糧害蟲存在至關重要[4]。目前糧庫中對于儲糧害蟲的檢測大部分是人工檢測,少部分采用聲檢測、生物光子和圖像識別等方法[5-7]。人工檢測方法需要專業的害蟲檢測人員,而且時間成本高,效率很低。聲檢測和生物光子易受其他因素影響,導致檢測準確率下降。圖像識別方法包括傳統的機器學習技術和深度學習技術,利用計算機處理獲取的儲糧害蟲圖像。

傳統的機器學習技術通過特征提取算法提取儲糧害蟲的邊緣、形狀、紋理等特征,利用機器學習算法對構成圖像特征的特征向量進行分類,從而達到對不同儲糧害蟲的進行分類的目的[8];但是需要人工設計害蟲的特征,而且提取到的特征有限,當需要識別新的種類時特征提取部分要重新設計,遷移性較差。

基于深度學習技術的儲糧害蟲識別是當前研究的熱點也是糧食害蟲識別的常見手段[9,10]。深度學習技術主要通過目標檢測算法進行實現,依托卷積神經網絡自動提取害蟲的各種特征,接著利用特征自動訓練分類器,最終完成儲糧害蟲的檢測和分類。目標檢測算法包括兩階段(如Faster R-CNN和R-FCN)和一階段(如SSD和YOLO)。兩階段算法檢測精度高但是速度慢,一階段檢測精度稍低但是速度較快。由于需要檢測的儲糧害蟲屬于小目標,經典的目標檢測不適合解決小目標檢測的問題。

選擇目前目標檢測算法中性能較好的YOLOv5算法模型進行研究,針對儲糧害蟲小目標的特點對算法進行改進,為方便糧庫工作人員的使用,對算法進行輕量化,以便算法可以移植到系統。

1 理論基礎

1.1 YOLOv5

YOLOv5(You Only Look Once version 5)是2020年提出的,為基于 YOLOv4 的改進版本,是目前從準確性以及檢測速度效果來說比較優秀的單階段(one-stage)檢測網絡。根據模型深度和寬度的不同,分為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x這4種基準模型。其中YOLOv5s算法模型的體積最小,單幀處理時間最短,更適合輕量化的儲糧害蟲檢測,因此對YOLOv5s算法進行改進。其網絡模型包括Input、Backbone、Neck和Head,網絡結構見圖1。

Input部分使用 Mosaic 數據增強和自適應圖片縮放等對圖像進行預處理。Mosaic數據增強將4張圖片進行組合,達到豐富圖片背景的效果,對小目標的檢測更有利;自適應圖片縮放對不同長寬的原始圖像自適應地添加最少的黑邊,統一縮放為標準尺寸。

Backbone 部分由Focus模塊、CSP模塊[11]和SPP池化金字塔結構[12]提取圖片的特征信息,包括邊緣特征、紋理特征和位置信息等。主干網絡的第一層是Focus 模塊,其主要作用是減少模型的計算量并加快訓練速度,Focus 模塊結構如圖2所示。CBL模塊由卷積層(Conv)、歸一化層(BN)和激活函數SiLu組成,主要作用是可以從淺層和深層特征圖提取上下文信息。

圖2 Focus模塊結構圖

Neck 部分在主干網絡和預測網絡之間,對主干網絡提取到的維度較大的特征圖進行壓縮,通過融合處理后輸入到預測網絡,對特征圖中的目標進行定位和分類。由特征金字塔網絡(FPN)[13]與路徑聚合網絡(PAN)[14]構成,其結構如圖3所示; FPN 由下至上將豐富的語義特征從深層特征傳遞給淺層特征。而PAN 則相反由上至下將細節特征從淺層特征傳遞給深層特征。2種結構組合增強了模型的特征融合能力,獲得更多的上下文信息,減少信息丟失。

圖3 FPN+PAN結構圖

1.2 MobileNetv3

MobileNet網絡是由Google團隊提出的一種輕量級的神經網絡模型,使用深度可分離卷積(depthwise separable convolution)和反向殘差結構的思想構建模型[16]。與傳統的卷積神經網絡相比,MobileNet在略微降低精度的前提下,大大減少了模型的參數量和計算量。

MobileNetv3綜合了MobileNetv2和MobileNetv1的特點,然后在 MobileNetv2 網絡基礎上進行改進,主要是在MobileNetv2中深度可分離卷積之后加入SE-Net,其主干網絡Bneck如圖4所示。首先利用1×1的卷積進行升維,再引入MobileNetv2線性瓶頸的逆殘差結構;然后進行3×3深度可分離卷積,降低網絡的計算量;再然后通過注意力模型SE-Net[17],使網絡關注更加有用的通道信息來調整每個通道的權重;最后,使用h-swish激活函數,代替swish函數,減少運算量,提高性能。通過改變Bneck結構后,與MobileNetv2相比,MobileNetv3在COCO數據集上達到相同的精度,速度快了25%,同時在分割算法上也有一定的提高[18]。

圖4 MobileNetv3主干網絡Bneck結構圖

MobileNetv3 網絡可用于移動分類、檢測和分割,該網絡能夠在保證模型輕量化的基礎上,提高模型精確度以及運行速度,因此使用 MobileNetv3 網絡作為儲糧害蟲檢測模型的主干網絡,進行害蟲的特征提取。

2 改進YOLOv5s的儲糧害蟲檢測算法

研究提出的害蟲檢測方法包括兩部分:收集儲糧害蟲數據集和建立儲糧害蟲目標檢測的算法模型。數據集收集包括害蟲圖像的獲取、數據增強和數據集劃分。檢測模型通過對目標檢測算法YOLOv5s進行改進,得到輕量化、高精度的檢測算法模型。

2.1 儲糧害蟲數據集的構建

研究所用數據集為自制,包括5種小麥中常見的害蟲(玉米象ymx、谷蠹gudu、赤擬谷盜cngd、印度古螟ydgm、麥蛾maie),通過搜集糧庫智能測控柜中集蟲瓶拍攝的害蟲圖像和誘捕器捕捉的害蟲圖像,然后對采集的圖像數據進行篩選和處理,整理出2 000張害蟲圖像數據,即每類害蟲包括400張樣本數據,制作目標檢測的數據集;為了提高模型的泛化性能,采用5種數據增強手段即旋轉、縮放、亮度變換、圖像模糊和隨機遮擋來增加原始數據集的多樣性。最后按照8∶2的比例劃分訓練集和驗證集。

2.2 YOLOv5s檢測算法改進

2.2.1 錨框參數優化

如果說亞細亞生產勞動形式下只能產生不穩定的文明群落，那么在古代的所有制下的勞動形式則使得文明進一步扎根于土地。土地變為領土，世襲制出現，在這種勞動形式中，共同體成員必須有共同體成員的身份才能生產自身。“一個人之所以是羅馬人，只是因為它在一部分羅馬土地上享有這樣的主權。”［4］131隨著勞動能力的變化，從完全依賴于自然客觀條件過渡到更多依賴于工具、技能和手段，人類歷史從鄉野進入到城市。亞細亞歷史是城市與鄉村無差別的統一的歷史，城市“附庸”農村；古典古代歷史是以農業為基礎的城市歷史，而日耳曼時代的城鄉則出現了對立，人類歷史從農村出發，在城市得到棲息。

YOLOv5s采用錨框機制進行目標檢測,因此在模型訓練中預設的錨框尺寸將會直接影響算法的檢測精度,錨框的尺寸越接近真實邊界框,模型也越容易訓練。由于原始算法模型的錨框尺寸是在COCO數據集中進行 k-means聚類得到的,但是不能很好地擬合儲糧害蟲目標的尺寸。因此采用k-means 聚類算法對訓練集中標記目標框的寬高重新進行聚類分析,得到最優的錨框尺寸。結合圖像中各類害蟲目標的長寬比,修改后的錨框尺寸為8×12、10×24、14×14、15×36、17×22、21×9、27×26、37×16、59×32,新的錨框尺寸有助于儲糧害蟲的檢測和識別。

2.2.2 主干網絡的改進

將YOLOv5s的 Backbone 主干網絡替換為更為輕量化的 Mobilenetv3的主干網絡,來進行特征提取;然后將Mobilenetv3中深層特征(F2,F1)提取中通道注意力機制SE-Net替換成更高效的ECA(Efficient Channel Attention)模塊[19]。由于使用的數據是糧庫中智能測控柜下集蟲瓶里儲糧害蟲的數據,因此背景復雜,含有大量雜質干擾,在模型識別過程中會有相當大的噪聲,這些噪聲將在模型學習過程中傳輸。隨著網絡層數的增加,特征圖中噪聲信息的權值也會增加,最終會對模型產生一定的不利影響。MobileNetv3中使用的SE-Net模塊通過2個全連接的層在通道之間交換信息,并降低了特征的維數[20]。全連接層的使用使SE-Net不具有輕量級,降維操作使信道與其預測的權值沒有直接關系,這對SE-Net的整體性能有影響。

ECA-Net利用一維卷積將相鄰通道合并,獲得加權的各類害蟲特征,彌補特征降維造成的缺陷,實現局部跨通道交互,更好地增強害蟲區域的特征。其中ECA-Net的網絡結構如圖5所示。此外,ECA-Net的參數量和復雜度都較低,并且不會過多地增加網絡模型的存儲開銷和計算開銷[21]。ECA-Net適合于引入輕量級網絡結構中,以提高模型在復雜環境中關注有效特性的能力,并保持模型的輕量級和快速特性。因此,將低復雜度和高效的ECA-Net放在MobileNetv3每個殘差模塊之后。通過對殘差模塊產生的信道特性進行重新校準,提高了模型的表達能力,最終實現了提高模型識別性能的目標。

圖5 ECA-Net網絡結構圖

將改進后的輕量級網絡代替YOLOv5s的主干網絡,在較少模型參數量、提高訓練速度的同時,盡量少的損失模型的精度,實現雜質背景下儲糧害蟲小目標的快速準確的實時檢測。

2.2.3 特征金字塔結構的改進

原始YOLOv5s中Neck 部分使用FPN和PAN進行特征提取和融合,通過融合處理后輸入到預測網絡,對特征圖中的目標進行定位和分類。圖6a為FPN結構,該結構建立了一條自上而下的通路,進行特征融合,接著用融合后的具有更高語義信息的特征層進行預測,但是這種結構會受到單向信息流的限制。圖6b為PAN 結構,該結構是在FPN的基礎上再建立一條自下而上的通路,將底層的位置信息傳到預測特征層中,使預測特征層既有頂層的語義信息又有底層的位置信息,可以提高目標檢測的精度。雖然解決能不同場景圖像中對象尺度差異較大的問題,但并不是特征融合的最優解,所以引入一種雙向的特征融合方法Bi-FPN(Bidirectional Feature Pyramid Network)。

圖6 特征金字塔結構圖

Bi-FPN 是一種加權雙向特征金字塔網絡結構[22],其思想是高效的雙向跨尺度連接和加權特征融合。雙向跨尺度連接:首先是刪除只有一個輸入的節點,由于該節點無特征融合,將該節點刪除之后沒有很大影響而且會簡化網絡;然后是在原始輸入節點和輸出節點之間增加了一條邊,是為了在不消耗更多成本的情況下可以融合更多的特征;最后,將自頂向下和自底向上的路徑融合到一個模塊中,以便可以重復堆疊,以實現更高層次的特征融合。加權特征融合:Bi-FPN使用的是快速歸一化融合,直接用權值除以所有權值加和來進行歸一化,同時將權值歸一化到[0,1]之間,提高計算速度。

Bi-FPN是在PAN的基礎上進行改進的,去掉進入FPN 結構的最高維特征層和最低維特征層的2個中間節點,同時在中間各個特征層加入1條輸入特征圖與輸出特征圖相連的殘差邊,在一定程度上簡化PAN的結構。其結構如圖6c所示。

Bi-FPN相當于給各個層賦予不同權重去進行融合,讓網絡更加關注重要的層次,而且還減少一些不必要的層的結點連接。通過引入雙向加權特征融合結構Bi-FPN,來加強特征融合,從而提取到更多小目標的細節信息,提高檢測效率。改進后的算法結構如圖7所示。

3 實驗結果

3.1 實驗環境

實驗所用服務器的硬件配置和軟件配置如表1 所示。

表1 實驗環境配置

3.2 評價指標

儲糧害蟲檢測算法模型在數據集上完成訓練后,需要對算法的性能和實驗結果進行評價。由于有多種目標進行檢測,所以每個目標應該有1個檢測的平均精度(AP),然后取加權平均值,計算模型的平均精度均值(mAP)。AP值是由通過召回率(R)和精度(P)分別為x軸和y軸圍成區域的面積計算得來的。

使用平均精度(AP)、平均精度均值(mAP)、每秒傳輸幀數(FPS)和每秒浮點運算(FLOPs)來評估目標檢測模型的性能。其中AP、mAP均是數值越大,模型的檢測精度越高;FPS越大,模型的檢測速度越快;FLOPs則是越小模型的運算速度越快。

3.3 實驗結果分析

為了驗證改進后算法的有效性,在自制的儲糧害蟲數據集上進行消融實驗,并選擇平均精度均值(mAP)和每秒幀數(FPS)作為性能評價指標。以原始YOLOv5s算法為基礎模型,依次引入k-means聚類優化錨框、優化后的Mobilenetv3、雙向特征融合模塊Bi-FPN。測試集上,改進后的YOLOv5s算法的評價指標數據如表2所示。

表2 消融實驗結果

通過比較,可以發現改進后的YOLOv5s模型對各類儲糧害蟲的檢測精度都高于原始YOLOv5s模型,平均精度均值mAP從95.3%提高至97.1%,FPS從76.92提高至90.91,而計算量從16.4 M降低至1.9 M。由圖8可見,為模型訓練100個epoch后,改進前后算法在儲糧害蟲數據集上訓練的邊界框回歸損失(train/box_loss)、分類損失(train/cls_loss)和目標概率損失(train/obj_loss)函數曲線圖,橫坐標表示模型訓練時的迭代次數,縱坐標表示損失函數的數值。相比于原始YOLOv5s算法,改進后算法的3種損失函數的收斂速度均更快,并且在模型損失曲線收斂時損失值更小,這表明改進后的算法提升了模型收斂的速度,更容易訓練。

圖8 訓練損失函數曲線圖

分別使用原始YOLOv5s算法和改進后的算法在儲糧害蟲數據集上進行檢測,圖9為原始算法檢測結果,圖10為改進后算法檢測結果。

圖9 原始算法檢測結果

圖10 改進前后算法檢測效果對比

對比分析檢測結果可以看出,改進后的算法對于漏檢錯檢現象有很明顯的改善,小目標檢測效果有明顯的提高。

4 總結

研究提出了一種基于改進輕量化的YOLOv5s儲糧害蟲檢測算法模型,首先使用k-means算法進行聚類,獲得新的錨框參數,更貼合自制數據的尺寸;然后采用改進后的輕量級卷積神經網絡MobileNetv3作為主干網絡代替CSPDarknet-53,在保持高精度的同時,降低網絡參數、加快推理速度;將Neck部分的特征金字塔結構替換為Bi-FPN,提高多尺度特征融合的效率,進而提高網絡檢測的精度。實驗結果表明,提出的儲糧害蟲檢測算法YOLOv5s相比,平均精度均值達到97.1%,FPS提高至91,模型計算量GFLOPs由16.4降低至1.9。儲糧害蟲檢測算法在精度和速度上都有提高,適合在移動端移植,可以方便糧庫工作人員的使用。