采用天氣增強與八度卷積改進YOLOv5的番茄檢測模型構建

代國威樊景超胡林

(1. 中國農業(yè)科學院農業(yè)信息研究所/國家農業(yè)科學數(shù)據(jù)中心，北京 100081；2. 中國農業(yè)科學院國家南繁研究院，海南 三亞 572024)

番茄是世界上廣泛種植的園藝作物，2020年全球產(chǎn)量約為1.87 億噸[1]。中國作為番茄全球產(chǎn)量的第一貢獻者，溫室種植番茄因高產(chǎn)和可全年穩(wěn)定供應的優(yōu)勢在過去的幾十年里迅速且廣泛發(fā)展。傳統(tǒng)番茄采摘依靠人工，不僅效率低，而且人工成本占比超過生產(chǎn)利潤的44.5%[2]；此外，人口老齡化趨勢導致番茄采摘作業(yè)越來越缺乏勞動力[3]。隨著人工智能技術在農業(yè)和食品研究領域的應用和推廣，農業(yè)采摘機器人[4]的研發(fā)及應用為上述問題提供了有效的解決方案，不僅可以降低人工成本，而且采摘機器人能適應高強度作業(yè)，大大提高采摘效率。

采摘機器人設計的難點在于識別和檢測番茄目標，而識別和檢測的準確性關系到采摘機器人的工作效率，因此，快速準確地檢測成熟西紅柿是用自動化系統(tǒng)取代人工勞作的一項重要任務。目前，基于計算機視覺進行番茄缺陷或等級檢測的方法主要有兩類，即基于手工特征的方法和使用深度學習特征的方法。手工特征具有局部性和簡單性的優(yōu)點，但由于需要根據(jù)經(jīng)驗選擇合適的特征，因此在變化的環(huán)境中可能缺乏提取特征的語義和判別能力[5–7]。如馮俊惠等[8]提出一種改進Hough 圓變換算法的番茄識別方法，該算法基于顏色信息對背景進行分割，并利用Sobel 算子提取輪廓信息，最后通過改進Hough 圓變換算法用于成熟番茄識別；為了對多個重疊粘連的番茄進行定位識別，李寒等[9]利用K－means 對SOM 算法進行優(yōu)化，通過提取果實輪廓點的平面和深度信息進行三維聚類，將得到的點云聚類結果轉換為世界坐標系，并擬合得到各個番茄的位置與形狀；設施番茄種植密度大，采集圖像中番茄果實相互粘連的現(xiàn)象更為嚴重，針對此情況，伍萍輝等[10]提出一種改進的群體智能優(yōu)化算法，利用擾動因子改進灰狼算法與K 均值聚類算法用于果實分割，并在此基礎上將形態(tài)學算法和多尺度Hough 算法相結合，實現(xiàn)了對強粘連番茄果實的識別定位。雖然此類方法已取得了較好的識別效果，但面對復雜多變的溫室環(huán)境仍是一項相當大的挑戰(zhàn)，此外，確定分類所需的特征提取器和分類器的最佳組合也非常耗時。相比之下，深度學習模型不需要耗時尋找特征提取器和分類器的最佳組合，而且能在復雜環(huán)境下提取深層次特征，準確性更高[11–15]。例如成偉[16]、Lawal[17]、Wang[18]與Lawal[19]等提出了改進YOLOv3 實現(xiàn)復雜環(huán)境條件下溫室番茄的檢測；Seo 等[20]利用K－means聚類算法將番茄果實區(qū)域與背景區(qū)域分割，在HSV 顏色模型下通過Faster R－CNN 檢測水培條件下生長的番茄；李天華等[21]提出一種基于YOLOv4 與HSV 相結合的番茄識別方法，能夠解決果實粘連及藤曼、葉片或光照影響而引起的識別錯誤問題，并利用HSV 顏色特征處理實現(xiàn)番茄果實紅色部分的分割，通過對檢測框內分割部分的面積計算，提高識別的準確性；何斌等[22]提出一種適合日光溫室夜間環(huán)境的改進YOLOv5 番茄識別方法，通過對自適應框的重計算與改進CIOU目標損失函數(shù)實現(xiàn)暗光特征下的番茄果實識別。為實現(xiàn)不同成熟度番茄自動分揀，Ko 等[23]利用多流卷積神經(jīng)網(wǎng)絡(ConvNet)及其隨機決策融合(SDF)方法檢測番茄成熟度，將檢測過程分為初始成熟度檢測階段和隨機決策融合階段，從而獲得更精確的成熟度分類結果。

然而現(xiàn)有研究缺乏溫室復雜環(huán)境下針對遠近距離產(chǎn)生的小目標番茄、果實本身較小及被重疊遮擋番茄的檢測。因此， 本研究采用改進YOLOv5 目標檢測算法，提出一種通過注意力機制與八度卷積提高復雜環(huán)境條件下溫室番茄檢測準確性的方法——OctaveC－YOLOv5，并引入天氣增強技術，從而有效抵抗環(huán)境干擾，克服由果實重疊、樹枝遮擋、光照不均等引起的識別精度、時效性和魯棒性較差的問題，捕捉到充足的目標信息，并能端對端完成定位和檢測任務，有望在智能采摘機器人上應用。

1 OctaveC－YOLOv5 模型的構建及性能評價方法

1.1 YOLOv5 架構

YOLO 架構系列的最新產(chǎn)品是YOLOv5[24]模型，該模型識別準確率高，推理速度快，最快的識別速度為每秒140 幀，且目標檢測網(wǎng)絡的權重文件較小，比YOLOv4 縮小了近90%，適合部署到嵌入式設備上， 實現(xiàn)即時檢測。本研究使用YOLOv5s 模型，大小為14 mb，推斷時間為2.2 ms，網(wǎng)絡架構如圖1 所示，主要由Backbone、Neck和Head 組成。

Backbone 結構是一個卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)，它結合不同的細粒度圖像并形成圖像特征。其中，Conv 模塊為貫穿架構的基本卷積單元，對輸入依次進行二維卷積、二維正則化、SiLU 激活操作(圖1a)。C3 模塊作為提取特征的主要結構，由3 個Conv 與1 個Bottleneck 組成(圖1b)，組成的結構依次添加到計算圖，通過解決大規(guī)模重復梯度信息的問題，將梯度變化整合于特征圖中，減少模型每秒浮點運算(floating point operations，F(xiàn)LOPs)和參數(shù)，縮小模型大小，并且保證推理的準確性和速度。Concat模塊用于連接不同維度的特征圖；Upsample 模塊用于特征圖上采樣。空間金字塔模塊(spatial pyramid pooling， SPP)位于Backbone 的第9 層，旨在通過將任何尺寸的特征圖轉化為固定尺寸的特征向量來增加網(wǎng)絡的感受野。

圖1 YOLOv5 網(wǎng)絡架構

Neck 結構通過流水線增加信息的流動性。低層特征可以通過添加特征金字塔網(wǎng)絡(FPN)進行有效傳播，具有自下而上的路徑增強特性；同樣，可以通過添加路徑聚合網(wǎng)絡(PAN)將高層特征向下傳遞，實現(xiàn)特征融合。特征金字塔、路徑聚合網(wǎng)絡和所有其他特征通過自適應池連接在一起，使每個特征層的有用信息都能被利用。該網(wǎng)絡從所有層決定哪些特征是有效的，通過使用高層的正確定位信號與低層的強語義特征來提高物體定位的準確性。

Head 結構的檢測網(wǎng)絡包括3 個檢測層，每個檢測層分別輸入一個尺寸為80×80、40×40 和20×20 的像素特征圖，用于檢測各種尺寸的圖像對象。本研究有2 個檢測對象，所以每個檢測層輸出一個21 通道的向量，包括2 個類別、1 個置信度、4 個邊界框坐標和3 個錨框[(2＋1＋4)×3]，用于生成并標記原始圖像中目標的預測邊界框和類別，從而實現(xiàn)對圖像目標的檢測。

1.2 八度卷積(octave convolution)

對于數(shù)字圖像而言，信息以不同的頻率傳遞，其中高頻部分包含了大量的細節(jié)信息，如圖像的邊緣、輪廓與噪聲信號等，而低頻部分則反映了圖像的全局結構編碼，如物體的整體形象、背景等，決定性信息較少(圖2)。普通卷積處理數(shù)字圖像的任務就是捕捉全局布局的粗結構低頻信號和捕捉精細細節(jié)的高頻信號，然而其輸入輸出特征具有一致的空間分辨率，這會導致捕獲的空間低頻信息包含空間中的冗余信息。基于此，Chen等[25]引入八度(octave)特征表示，建議在經(jīng)典的CNN 中使用八度卷積而不是卷積層，從而顯式地將特征映射張量分解為對應的低頻組和高頻組。由圖3 可見，八度卷積的輸入特征圖由高頻XH和低頻XL兩部分組成，分別以YH和YL兩種方式輸出。輸出的高頻和低頻特征圖分別由YH＝YH→H＋YL→H和YL＝YL→L＋YH→L傳遞，即將低頻特征圖上采樣到高頻特征圖，并與低頻特征圖進行分組；同樣，將高頻特征圖下采樣為低頻張量，并與高頻特征圖進行分組。

圖2 數(shù)字圖像(a)及其低頻部分(b)與高頻部分(c)

圖3 八度卷積結構

另外，為了進行卷積運算，八度卷積將卷積核W 分成WH和WL兩組，分別對輸入XH和XL進行卷積。WH和WL也由兩部分組成WH＝[WL→H，WH→H]，WL＝[WH→L，WL→L]并保證XL→H和XH→H(XH→L和XL→L)可以進行不同的卷積。值得一提的是，YX→H表示卷積從特征圖組X 到組Y 的更新，如YL→L和YH→H表示同頻更新，而YL→H和YH→L表示不同頻間的通信。其中，頻間信息的更新，八度卷積使用高低頻特征分別進行升/降采樣，將特征張量XL上采樣與XH池化下采樣折疊到卷積中消除計算和存儲，以實現(xiàn)不同頻率間信息的交互；而同頻信息的更新，則更注重于使用常規(guī)卷積對高頻特征進行更新。因此，與普通卷積相比，通過八度卷積壓縮低頻分辨率能有效地將感受野擴大2 倍，可以幫助每個八度卷積層捕獲更多的長距離上下文信息，從而提高識別性能。

1.3 注意力機制(CBAM)模塊

深度學習中的注意力機制允許在解決特定任務時只關注圖像的一部分而不是整個區(qū)域，從而突出有利于分類的特征，抑制不需要的噪聲。空間注意力模塊(spatial attention module，SAM)和通道注意力模塊(channel attention module，CAM)是前饋神經(jīng)網(wǎng)絡(feed forward neural network)[26]的兩個有效注意力模塊，其中，空間注意力模塊在特征圖中探測目標位置時表現(xiàn)突出，通道注意力模塊在尋找目標時表現(xiàn)突出。大量實驗證明，先使用通道注意力模塊，再使用空間注意力模塊，對于網(wǎng)絡學習效果最好[27]。

CBAM(convolutional block attention module)是一種典型的注意力機制結構，包含CAM 和SAM 模塊。對于CAM 模塊，以一個假設的中間特征圖f′∈Rw×h×c(h 為每個通道的高度；w 為每個通道的寬度，即通道的權重；c 為每層通道的數(shù)量)作為輸入，對其并行進行平均和最大池化，然后利用多層感知器對這兩個通道進行Sigmoid 激活函數(shù)操作，得到CAM 特征圖。式(1)即顯示了CAM模塊的計算過程，其中δ 為Sigmoid 激活函數(shù)，MLP為多層感知器，AvgPool(f′)與MaxPool(f′)分別表示特征圖的平均和最大池化。同樣，對于SAM 模塊，給定一個中間特征映射f′作為輸入，采用并行平均和最大池化的方法進行降維，得到2 個特征，根據(jù)通道維數(shù)將其拼接起來，形成一個二維特征，然后對二維特征進行卷積，以保證最終特征在空間維度上與原始輸入特征相兼容，接著通過Sigmoid 函數(shù)生成SAM 特征圖，最后乘以模塊的輸入，得到最終生成的特征圖。具體過程如式(2)所示，其中，fn×n表示卷積運算，卷積核的大小為n×n，CAM 和SAM 模塊的中間特征圖f′可以用式(3)、式(4)表示，式中?為點積。

1.4 OctaveC－YOLOv5 番茄檢測模型

雖然YOLOv5 可直接用于番茄目標檢測，但在復雜的溫室場景中，一是由于番茄品種繁多、背景復雜、植株間距較小，相同生長周期大小不一的番茄果實容易相互遮擋，造成誤檢；二是較遠距離的番茄在視覺上表現(xiàn)較小，在圖像層面表征為未成熟的小番茄，雖與圖像上作為主體的較大或成熟的番茄紋理特征相似，但檢測時往往因與背景難以區(qū)分而易造成漏檢，不利于溫室場景下的番茄檢測。為此，本研究提出了一種高檢測精度的OctaveC－YOLOv5 番茄檢測算法，模型結構如圖4所示，主要從以下方面進行了改進:①使用八度卷積替換Conv 模塊中的Conv2d，然后利用Conv 作為基本卷積單元的特性，使YOLOv5 中涉及Conv的所有模塊間接替換了八度卷積，完成了整個網(wǎng)絡的卷積替換。②Backbone 結構提取的特征在4、6、9 層輸出，第9 層輸出的特征被輸入到CBAM模塊中，從而使網(wǎng)絡能夠從復雜的背景顏色中提取更可區(qū)分的特征表示。③通過特征融合達到減少信息丟失的目的，然后將特征輸出到Neck 結構，使用FPN＋PAN 組合來處理特征。④Head 結構輸出的三個不同維度的特征映射能夠攜帶更多的紋理特征和缺陷區(qū)域的語義特征。⑤使用CIoU[28]作為邊界框損失函數(shù)，并采用非極大值抑制(non－maximum suppression，NMS)使其分類和定位更加準確，提高了檢測精度。本研究提出的OctaveC－YOLOv5 繼承了YOLOv5 所有特點，并增加了壓縮低頻分辨率以增大感受野與注意力機制的功能性質。

圖4 OctaveC－YOLOv5 算法網(wǎng)絡結構

1.5 天氣增強(weather augmentation)

使用Python 中Albumentations 庫[29]的圖像數(shù)據(jù)增強方法對訓練集應用不同的數(shù)據(jù)增強技術，以克服過擬合問題，并增強數(shù)據(jù)集的多樣性。本研究采用多種天氣增強技術組合來模擬不同天氣與溫室設施引起的環(huán)境變化對圖像的影響，如圖5 所示。

使用雨滴變換(RandomRain)為圖像隨機添加雨滴，雨滴大小為1.0、類型為drizzle，并設置0.6的陰天參數(shù)(Brightness＿coefficient)，以模擬溫室噴淋降溫作業(yè)對圖像采集的影響(圖5b)。

由于溫室內外溫差和室內濕度較大以及霧化系統(tǒng)噴霧作業(yè)，會使溫室內產(chǎn)生霧氣，影響采集圖像的清晰度，因此，可使用霧氣變換(Randomfog)，選擇0.1～0.6 的霧氣強度(fog＿coef)與霧圈透明度(Alpha＿coef)為0.1 的參數(shù)值，隨機地向圖像不同位置添加霧氣，并使背景模糊(圖5c)。

植物的生命活動與光照密不可分，本研究以圖像的左上角(0.0， 0.0， 1.0， 0.5)與右上角(0.9， 0， 1.0， 0.5)作為光照的來源，選擇太陽光照變換(RandomSunFlare)對溫室光照條件下采集的圖像進行模擬，出現(xiàn)太陽耀斑的圖像區(qū)域(Flare＿roi)由四個參數(shù)決定(x＿min、y＿min、x＿max、y＿max)，x＿min 與y＿min 表示起始坐標，x＿max 與y＿max 表示結束坐標(圖5d)。

番茄果實生長于葉下，而溫室番茄的株距較小，采集的圖像易受葉片陰影的影響，可通過陰影變換(RandomShadow)在一定程度上消除這種影響。本研究就陰影圖像(Shadow＿roi)的出現(xiàn)區(qū)域進行隨機化，陰影數(shù)量在1～5 浮動，陰影多邊形的形狀邊參數(shù)設置為4(圖5e)。

圖5 原圖與使用天氣增強后圖像對比示例

1.6 試驗數(shù)據(jù)集

本研究選用農業(yè)場景視覺解析任務番茄數(shù)據(jù)集(https:/ /www.agridata.cn/)中現(xiàn)場采集部分的數(shù)據(jù)，包含原始圖像以及處理后可直接用于目標檢測、語義分割與實例分割的數(shù)據(jù)標簽。圖像采自江蘇省農業(yè)科學院番茄生產(chǎn)智能溫室，單目圖像的分辨率為1600×1200 像素，雙目圖像的分辨率為1280×720 像素。提取目標檢測標簽與對應的原始圖像建立VOC格式的數(shù)據(jù)集，將數(shù)據(jù)集中帶有標注的100 張單目圖像和100 張雙目左邊圖像全部用于TBD－1 數(shù)據(jù)集構建，并按8∶2 劃分訓練集與驗證測試集，然后使用OctaveC－YOLOv5 與YOLOv5s 模型從零開始訓練和測試，結果如表1 所示，可見兩種模型的表現(xiàn)都較差，雖然本研究提出的模型相對于YOLOv5s 取得了一定的進步，但離實際生產(chǎn)中農業(yè)機器人高精準采摘的要求還有較大差距。

表1 OctaveC－YOLOv5 與YOLOv5s 模型在TBD－1 數(shù)據(jù)集的試驗結果

為此，將現(xiàn)場采集部分未標注的650 張單目圖像與300 張雙目圖像使用LabelMe 工具標注為XML 格式，標簽類別與原數(shù)據(jù)集標注一致，分為成熟番茄與未成熟番茄(可采摘番茄與不可采摘番茄)，標注過程如圖6 所示。最終，將新標注的950 張圖像與原帶標注的TBD－1 數(shù)據(jù)集的200張圖像共同組成TBD－2 數(shù)據(jù)集，然后按80%、10%、10%的比例隨機劃分出訓練集、驗證集、測試集，分別為920、115、115 張圖像，并在訓練集執(zhí)行不同組合的天氣增強技術。

圖6 LabelMe 標注番茄示例

1.7 試驗環(huán)境

操作平臺為Nettrix X640 G30 AI 服務器，操作系統(tǒng)環(huán)境為Ubuntu 20.04，CPU 為2 塊Intel(R) Xeon(R) Gold 6226R CPU ＠ 2.90GHz，GPU為2 臺NVIDIA GeForce RTX 3090、256G 內存，5個7.5T 固態(tài)驅動器。訓練環(huán)境由Anaconda3 創(chuàng)建，環(huán)境配置為Python 3.9.5、PyTorch 1.9.1 與Torch Vision 0.10.1 人工神經(jīng)網(wǎng)絡庫。同時，采用CUDA 11.3 GPU 運算平臺及cuDNN 11.3 深度神經(jīng)網(wǎng)絡加速庫。

訓練參數(shù)設置:采用OctaveC－YOLOv5 為訓練模型，使用損失函數(shù)BCEWithLogitLoss 處理樣本不均衡，并由SmoothBCE[30]與QFocalLoss[31]防止模型過擬合，優(yōu)化器使用SGD，輸入圖像尺寸為640×640 像素，批量大小為32，學習率初始化為0.01，最終為0.0032，動量參數(shù)為0.925，重量衰減設置為0.00056，并使用預熱參數(shù)5.0 保證模型起始訓練時對數(shù)據(jù)具有一定的先驗知識，其他參數(shù)保持默認。模型訓練的收斂速度與具體數(shù)據(jù)集相關，當模型性能在一個階段的Epoch 停止不前或下降時，繼續(xù)訓練模型也得不到很好的收斂，此時最好的辦法就是提前停止訓練，Early stopping早停機制能很好地解決這個問題[32]。本研究在OctaveC－YOLOv5 集成了早停機制，并設置參數(shù)為30。

1.8 評價指標

為了驗證提出模型檢測番茄的有效性，利用目標檢測領域常用的量化指標，即查準率(precision，Pt)、查全率(recall，Rt)、F1 得分(F1t)、平均準確率(average precision，AP)、平均精度均值(mean average precision， mAP)對模型進行評估，公式如下。

式中T(Ptomato)、F(Ptomato)和F(Ntomato)分別指正確識別、錯誤或未識別及把成熟番茄檢測為未成熟番茄或其他背景的數(shù)量；F1t為綜合衡量查準率與查全率的指標；AP 定義為當AP 的交并比(Intersection over Union， IoU)閾值取0.5 時，對于某一類別具有多個正確檢驗框的樣本，每增加一個正確檢驗框將對應一個Pt值，對多個Pt取平均值即得到該類別的AP；mAP 為AP 在所有類別下的均值，能整體表征多類別目標檢測模型的綜合性能；Q 指定義的檢測類別，本研究有成熟與未成熟番茄2 類，所以Q 為2。

2 模型檢測效果分析

2.1 訓練結果分析

在訓練的早期，模型欠學習，損失函數(shù)值較大，跳過前50 次后，重畫損失函數(shù)和mAP 參數(shù)的變化，更詳細地觀察和分析模型的訓練過程。從損失函數(shù)和mAP 的曲線(圖7)可以看出，在前210 次訓練中，損失函數(shù)急劇下降，mAP 曲線劇烈振蕩，這是因為在訓練的初始階段得到的權值與訓練樣本不匹配訓練梯度較大，更新后的參數(shù)與上次相比差異較大；從600 到900 次迭代的損失函數(shù)變化逐漸趨于平穩(wěn)，而mAP 曲線降低了振蕩，這表明訓練中逐漸獲得的權重匹配樣本的特征和梯度下降訓練逐漸接近最佳點；900 次迭代后，損失函數(shù)變化趨于穩(wěn)定，mAP 曲線進一步放緩接近1，并略有振蕩。觀察訓練1 000 次后，停止訓練并保存權重文件，用于模型評估。

圖7 OctaveC－YOLOv5 損失函數(shù)(a)與mAP(b)的變化曲線

2.2 番茄目標檢測結果與分析

2.2.1 OctaveC－YOLOv5 與YOLOv5s 模型檢測結果對比分析 選擇115 幅樣本圖片作為模型檢驗的測試集， 分別使用 YOLOv5s 和 OctaveC －YOLOv5 模型進行檢驗，并使用模型評價指標對模型性能進行評估。為了更直觀地展現(xiàn)OctaveCYOLOv5 相對于YOLOv5s 的性能，隨機抽取圖像在相同試驗平臺進行對比測試，結果如圖8 所示。圖中左邊與右邊的圖片分別表示番茄較少與較多兩種檢測場景，均包含遠近距離與目標較小的情況。觀察可見，YOLOv5s 對于小目標的檢測效果較差，存在許多小番茄未被準確檢測情況，且對于隱形特征或特征模糊和有番茄葉遮擋的番茄存在較多的檢測丟失；而OctaveC－YOLOv5 能成功檢出較小的和存在遮擋的番茄，有效提升了小目標和被遮擋目標的檢出率，降低了漏檢率，檢測精度較高，魯棒性強。

圖8 YOLOv5s 與OctaveC－YOLOv5 模型樣本測試效果對比

2.2.2 使用與未使用天氣增強方法的對比分析為了評估所提出的天氣增強方法對OctaveCYOLOv5 模型性能的影響，將天氣增強技術應用于TBD－2 數(shù)據(jù)集的訓練集，與未使用天氣增強方法的檢測結果(表2)相比，使用天氣增強方法后，成熟、未成熟番茄的檢出準確率分別提升7.85、7.97個百分點，分別達到95.36%與92.86%，表明所提出的天氣增強方法有助于提升OctaveCYOLOv5 模型的檢測性能。

表2 使用與未使用天氣增強方法的OctaveC－YOLOv5 模型性能對比(%)

2.2.3 數(shù)據(jù)集TBD－2 與TBD－1 對檢測結果影響的對比分析 從TBD－2 數(shù)據(jù)集的測試集隨機選擇20 幅圖，分別使用YOLOv5s 與OctaveC －YOLOv5 模型進行檢測，結果如表3 所示。與以TBD－1 數(shù)據(jù)集測試的結果(表1)相比，YOLOv5s與OctaveC－YOLOv5s 模型以TBD－2 數(shù)據(jù)集進行檢測的綜合性能表現(xiàn)均明顯提升，平均精度均值分別提高10.85、13.76 個百分點，且OctaveCYOLOv5 的性能提升更大。可見，應用TBD－2 數(shù)據(jù)集更有利于提升模型對番茄識別的準確率。

表3 OctaveC－YOLOv5 與YOLOv5s 模型在TBD－2 的試驗結果(%)

2.2.4 基于TBD－2 數(shù)據(jù)集和天氣增強方法的OctaveC－YOLOv5 模型檢測效果 檢測結果用混淆矩陣進行展示，如圖9a，混淆矩陣的行表示預測的類別標簽，列表示真實的類別標簽，對角線上的值是預測的正確率，數(shù)值越大說明識別的準確率越高，而非對角線的值則是預測錯誤的比例。可見，OctaveC－YOLOv5 模型的檢測性能良好，成熟番茄和未成熟番茄類別的檢出準確率分別為94%和92%；背景FN 為0，表明標記的對象都被成功檢測到。值得注意的是，成熟和未成熟番茄FP 分別為0.46 與0.54，說明兩種類型番茄都有部分被判別為背景，且未成熟番茄中占比較大。

圖9b 展示了Precision－Recall (PR)曲線，用于描繪模型所屬類別的綜合性能表現(xiàn)，曲線越接近于右上角說明模型整體性能越優(yōu)異。其中，曲線下方的面積為該類別的AP 值。由圖9b 可知，成熟與未成熟番茄的AP 值分別為92.10%、92.90%；未成熟番茄達到的最低mAP 為0.85，低于成熟番茄類別(0.88)。

圖9 基于TBD－2 數(shù)據(jù)集和天氣增強方法的OctaveC－YOLOv5 模型檢測效果

總體而言，本研究提出的OctaveC－YOLOv5模型結合天氣增強方法在TBD－2 數(shù)據(jù)集上達到了較好的檢測性能。

2.3 消融對比試驗

本研究提出了3 個用于改進YOLOv5 的方法，為了驗證這些方法的有效性，基于TBD－2 數(shù)據(jù)集，逐步添加改進方法進行消融對比試驗，并用模型的參數(shù)量與浮點運算量度量模型的復雜度。參數(shù)量與浮點運算量都代表了數(shù)據(jù)在通過復雜網(wǎng)絡時經(jīng)歷的計算量，值越低，網(wǎng)絡的復雜性就越低。

由表4 可知，相比于YOLOv5 網(wǎng)絡，引入八度卷積的YOLOv5 網(wǎng)絡mAP 提升了8.91 個百分點，引入CBAM 的YOLOv5 網(wǎng)絡mAP 提升了6.97個百分點，前者對模型性能的提升更顯著，這得益于八度卷積高低頻特征的覆蓋能力較強；并且八度卷積使檢測時間縮短0.001 s，而CBAM 卻使檢測時間延長0.007 s。但將兩者共同引入YOLOv5模型，mAP 提升了11.13 個百分點，分別高出單獨使用八度卷積和CBAM 2.22、4.16 個百分點，且檢測時間相對于單引入CBAM 縮短0.002 s。另外，八度卷積在提高模型檢測精度的同時，能夠有效降低模型參數(shù)量與浮點運算量。綜上表明，利用八度卷積挖掘細節(jié)信息與注意力機制抑制無用特征能有效提高YOLOv5 網(wǎng)絡檢測性能。天氣增強方法能夠幫助模型抵抗過擬合，提高模型泛化能力。與試驗4 相比，試驗5 的mAP 提升了1.86個百分點。可見，本研究提出的3 個方法均對模型檢測性能有所提升，以三者共同引入的效果最佳；雖然CBAM 會導致模型的復雜度與檢測時間增加，但八度卷積能在一定程度上抑制CBAM 的副作用，從而使模型的檢測精度明顯提升。

表4 模型消融試驗結果比較

2.4 OctaveC－YOLOv5 模型與其他7 種模型的性能對比分析

為了考察OctaveC－YOLOv5 的性能和實用性，基于TBD－2 數(shù)據(jù)集，與其他7 種模型(表5)進行對比測試，可以看出，OctaveC－YOLOv5 模型的檢測準確率、mAP 明顯提升；檢測時間雖比YOLOv3－tiny、SSD、YOLOv3、YOLOv5 模型延長0.005～0.009 s，但mAP 卻提升了7.34～28.26 個百分點。改進后的OctaveC－YOLOv5 在性能上明顯優(yōu)于其他檢測模型。這主要是因為將八度卷積與注意力機制結合，提升了遠近距離視覺上目標信息的獲取，降低了無用特征信息對模型的影響，解決了番茄果實與葉片重疊、嚴重遮擋、較多小目標等問題的干擾。

表5 不同檢測算法性能指標對比

3 結論

本研究提出了一種精準度更高的番茄成熟檢測方法OctaveC－YOLOv5，可用于采摘機器人對溫室番茄的識別和采摘。該模型引入了八度卷積和注意力機制，加強了對遠近距離產(chǎn)生的小目標番茄、葉片遮擋果實和番茄果實多個重疊目標識別的魯棒性，有效提高了番茄檢測精度。此外，將天氣增強技術應用于數(shù)據(jù)增強及模型訓練，豐富了訓練數(shù)據(jù)量，提高了模型的泛化能力。利用該模型對測試數(shù)據(jù)集進行檢測，平均精度為94.58%(IoU≥0.5)，對溫室中高度遮擋的番茄表現(xiàn)出良好的識別和檢測準確性，為番茄采摘機器人提供了一種新的視覺識別思路。

為了驗證OctaveC－YOLOv5 的優(yōu)越性，將其與Fast R－CNN、SSD、YOLOv3－tiny、YOLOv3、YOLOv4、YOLOv5、YOLOX 模型進行對比試驗，綜合檢測準確率和檢測時間，OctaveC－YOLOv5 的檢測性能明顯優(yōu)于其他模型，表現(xiàn)出更好的泛化性和實時檢測優(yōu)勢，適用于收獲機器人。

在未來的研究中，將開發(fā)一個可在收獲前通過觀察實時識別和估計番茄成熟度的綜合框架，以確定適當?shù)氖斋@時間并監(jiān)測植株的生長狀態(tài)。