基于IFSSD 卷積神經網絡的柚子采摘目標檢測模型

肖德琴 蔡家豪 林思聰 楊秋妹 謝曉君 郭婉怡

(1.華南農業大學數學與信息學院，廣州510642;2.廣州中醫藥大學醫學信息工程學院，廣州510006)

0 引言

我國是柚子種植面積最大的國家，柚子產量僅次于美國，位于世界第二位［1］。自2000 年以來，我國柚類產品得到國際市場的認可，柚類出口量急劇增長，具有巨大的發展前景。在柚子的生產過程中，采摘是最耗時費力的過程，后續的存儲和加工過程直接取決于采摘效果，所以保證柚子采摘質量成為關鍵環節。目前，國內的水果采摘主要是由人工完成，工作強度大，且效率低下［2］。有研究表明，用于采摘過程的費用占生產總費用的50% ～70%。隨著水果的大面積種植，傳統的人工采摘方式已經不能滿足生產需求，研究水果采摘機械化意義重大［3］。

在自然環境下，快速、準確識別與定位柚子是實現柚子自動化采摘的重點研究方向之一，因此，研究者提出一系列水果檢測識別方法［4-6］。深度學習在農業領域取得了顯著的進展［7-9］。在傳統方法中，柚子的顏色、形狀以及紋理特征因受自然環境的影響而產生變化，所以很難對柚子進行有效的描述，從而對算法的泛化性產生了極大影響。基于深度學習的方法可以通過學習訓練數據的特征來提供準確的結果。深度學習方法已被用于農業研究的各個領域，如FERENTINOS［10］使用卷積神經網絡對健康和患病植物的簡單葉片圖像進行植物疾病檢測和診斷。彭紅星等［11］使用Res101 結合SSD 構建了深度水果檢測模型，對自然條件下的多種水果進行檢測識別。然而小目標柚子在圖像視野中占比較少，邊緣特征不明顯，甚至缺失，由于分辨率和信息有限，使得傳統基于深度學習的柚子檢測算法效果并不理想［12］。同時，常見的目標檢測算法是根據重疊度(Intersection over Union，IoU)閾值，從先驗框中挑選IoU 小于0.7 和IoU 大于等于0.7 的先驗框分別作為正負樣本，進行分類網絡的訓練。然而包含葉子背景的柚子負樣本遠遠大于正樣本，導致樣本不平衡，使柚子檢測模型存在很嚴重的偏向性。

為此，本文提出一種基于IFSSD 卷積網絡的柚子檢測模型，對膨大期、成熟期兩個階段的柚子進行檢測試驗。

1 材料與方法

1.1 試驗數據的獲取

試驗中的柚子圖像于2018 年4 月1 日—10 月10 日在廣東省梅州市的順興果園獲得。果園中共種植柚子樹1 500 余棵，柚子樹隨機分布。選用海康威視DS-2CD3T56WD-I3 型攝像頭進行拍攝，將4個攝像頭固定在離地面3 m 的支架上，攝像頭分別向正北、正東、正西、正南4 個方向。支架之間的距離為60 m，共9 個支架。試驗設備和現場圖如圖1所示。拍攝圖像的尺寸為1 920 像素×1 080 像素，JPG 格式。于每天09:00—17:00 每隔1 h 拍攝一次圖像，其中包含了晴天正午、晴天傍晚以及陰天正午等特殊光照條件，共獲得了5 000 幅圖像。其中圖像中存在枝葉遮擋和果實互相遮擋的圖像數量分別為3 563 幅和2 469 幅。

圖1 試驗設備和現場圖Fig.1 Photos of experimental equipment and site

1.2 柚子檢測數據集的構建

在5 000 幅柚子樹圖像中利用隨機抽取的方式選擇4 000 幅圖像，使用Labelme 軟件進行標記作為訓練集，其他圖像作為測試集。

圖2 為訓練集的樣本預處理過程，通過對圖像分別進行翻轉、平移和裁剪來擴充數據集。

圖2 圖像預處理Fig.2 Image preprocessing

在柚子訓練集中，柚子分為膨大期果實和成熟期果實，如圖3 所示，膨大期果實和成熟期果實在顏色上有明顯的區分。

圖3 膨大期和成熟期柚子果實Fig.3 Grapefruit fruit during expansion and maturity

1.3 基于深度學習的柚子檢測算法

1.3.1 InceptionV3 網絡

InceptionV3 是Google Inception 系列網絡中的一種，該網絡在InceptionV2 的基礎上提出了一種新的結構，網中網(Network in network，NIN)結構［13］。InceptionV3 是Inception 模塊按照NIN 結構構建的一種新型網絡。InceptionV3 的Inception 模塊如圖4所示。

圖4 InceptionV3 的Inception 模塊結構Fig.4 Structure of InceptionV3 Inception module

如圖4 所示，InceptionV3 模塊通過提取不同尺度的特征來減少模型的參數數量［14］，同時多尺度特征可以提高模型的識別能力。研究證明，卷積核為1 ×1 的卷積層可以通過少量的計算實現特征的轉換、提高網絡的識別能力以及改變卷積模塊輸出的通道數［15］。InceptionV3 的第5 ～9 Inception 模塊使用更大的卷積核來獲取更加抽象的特征。針對于卷積核為7 × 7 且容易產生大量參數的卷積層，InceptionV3 使用1 ×7 卷積層和7 ×1 卷積層，從而提高算法的效率并降低過擬合的風險。試驗證明，這種不對稱卷積結構可以處理越來越豐富的空間特征并增加特征多樣性。

1.3.2 SSD 與FSSD

InceptionV3 網絡模型主要是對柚子的成熟情況進行分類，存在一個局限條件就是每幅圖像中只能有一個柚子，柚子占據圖像的面積要盡量大。為了解決這個問題，許多目標檢測方法被提出，例如使用顏色和紋理特征來檢測水果。由于柚子等水果是簇狀結果，因此在柚子檢測過程當中容易發生重疊和誤檢的情況，使得檢測精度大大降低。

目前有許多用于目標檢測的深度學習方法被廣泛應用于農業領域，如借助區域提議網絡實時目標檢測算法(Towards real-time object detection with region proposal networks，Faster-RCNN)［16］、通過基于區域的全卷積網絡目標檢測算法(Object detection via region-based fully convolutional networks，RFCN)［17］、單 鏡 頭 多 盒 探 測 器 算 法(Single shot multibox detector，SSD)［18］、YOLO 算 法(You only look once，YOLO)［19］以及RetinaNet［20］等。此外，柚子檢測對于算法的實時性能和小物體檢測有著更高的要求，所以需要在保證精度符合要求的情況下盡量選擇效率更高并且對小物體檢測更有效的算法。

SSD 是一種在圖像中使用同一個深度神經網絡進行檢測和識別檢測目標的算法。SSD 生成一系列尺寸不同的候選框，通過計算標注框與候選框的偏置值來匹配兩者，一般每個標注框都會匹配多個候選框。SSD 將IoU 大于0.5 的候選框認為是正樣本，其他設置為負樣本［21］。

SSD 使用VGG16 作為骨干網絡［22］，通過 在Conv4_3、FC7、Conv7_2、Conv6_2、Conv8_2 和pool6中提取不同尺寸的特征圖來形成多尺度檢測，SSD的網絡結構圖如圖5a 所示。其中特征圖尺寸為5 像素×5 像素、3 像素×3 像素和1 像素×1 像素，低級特征圖有利于小目標的檢測，特征圖尺寸為38 像素×38 像素、19 像素×19 像素和10 像素×10 像素的高級特征圖則有利于大目標檢測。SSD 使用通道數為1 024 的3 ×3 卷積層和1 ×1 卷積層代替全連接層和丟失層，從而達到減少模型參數、提高計算效率以及有效防止過度擬合的目的。SSD 的損失函數為

式中 L(x，c，l，g)——總體損失值

x——卷積特征值 c——真實類別

l——預測框的位置坐標值

g——真實框的位置坐標值

Lloc——預測框和真實框間的平滑損失值

N——候選框的數量

Lconf——多類置信度下的softmax 損失值

α——Lloc的權重

Multibox Loss 由兩部分組成，前者使用了softmax 進行分類損失計算，后者通過局部損失來預測位置。

圖5 SSD 和FSSD 模型的結構Fig.5 Model structure of SSD and FSSD

SSD 為柚子檢測任務提供了堅實的基礎，其主要優點是檢測速度快。然而，試驗表明，SSD 存在以下問題:較小的目標難以識別;一些背景區域被識別為目標對象;重復識別目標。為了解決這些問題，SSD 模型被修改為FSSD 模型且不增加模型參數的數量，并降低檢測速度。

FSSD 模型的提出者認為SSD 模型中用于預測的每個層之間的關系是相互獨立的［23］。FSSD 模型是將這些層與不同比例的特征圖進行融合［24］，以便它們相互通信并提高準確性。但是，這種方法不適合在FSSD 模型中融合小于10 ×10 的特征映射，因為幾乎沒有要合并的信息。合并3 個較大層的特征圖以生成38 像素×38 像素的特征圖，并生成特征金字塔網絡(Feature pyramid networks，FPN)［25］。最后，FSSD 模型從FPN 中提取特征。

FSSD 模型的結構如圖5b 所示。FSSD 模型以VGG16 作為主要骨干網絡。Conv7_2 的特征映射變為10 ×10。FC7 和Conv7_2 使用雙線性插值將特征圖尺寸調整為38 像素×38 像素，然后將它們與Conv4_3 連接，在該步驟中，合并層的通道數為768(256 +256 +256)。然后BN 作用于合并層，該層的通道數減小到512。另外使用5 個卷積層來減小特征圖的尺寸。最后，獲得6 種不同尺寸特征圖(38 像素×38 像素、19 像素×19 像素、10 像素×10 像素、5 像素×5 像素、3 像素×3 像素和1 像素×1 像素)，并將它們用于多尺度預測。這種方法可以將淺層細節特征與高級語義特征相結合，可以比SSD模型更好地識別小物體［26］，并降低誤檢率。但FSSD 模型的速度比SSD 模型的速度略有下降。

1.3.3 IFSSD 模型建立

在本文中，只需要判斷檢測目標是否是柚子，并不需要進行多類別分類。柚子的特征相對簡單，可以簡化模型，所以本文選擇InceptionV3 作為IFSSD的骨干網絡。IFSSD 模型結構如圖6 所示。

(1)InceptionV3 深度網絡優化

為了減少參數數量和提高對小目標的檢測效果，本文對InceptionV3 進行了調整，以實現檢測器基于不同感受野的多尺度檢測。本文對mixed7 層進行了刪除。IFSSD 模型在mixed6 層之后添加1 ×1 卷積，步長為2，通道數為768，然后進行批量歸一化。新添加的圖層mixed6_s 的特征圖尺寸為18 像素×18 像素。mixed7 層的特征圖尺寸從原來的35 像素×35 像素變成18 像素×18 像素。在mixed7之后加入卷積核為1×1、步長為2、通道數為768 的卷積層。mixed7_s 的特征圖尺寸為9 像素×9 像素。圖6 中改進后的網絡結構用黃色方框表示。

圖6 基于IFSSD 的柚子檢測模型結構Fig.6 IFFSD-based grapefruit detection model structure

IFSSD 模型與FSSD 模型類似，都對較大的特征圖進行合并。在IFSSD 模型的InceptionV3 中，分別選擇特征圖尺寸各不相同的4 層模塊，分別是mixed4、mixed5、mixed6_s、mixed7_s。在第1 個連接層中，卷積核為1 ×1、步長1、通道數為256 的卷積層被應用于mixed4 和mixed5。這樣做的目的是在不改變特征圖尺寸的前提下減小模型參數，從而減少模型中的參數數量并增加增強模型的非線性識別能力。卷積后生成的特征圖尺寸為35 像素×35 像素，然后將mixed4 和mixed5 卷積生成的特征圖合并到一起。在第2 個連接層中，在mixed5 模塊之后添加一層卷積核為1 ×1、步長為2、通道數為256 的卷積層，其生成的特征圖尺寸為18 像素×18 像素。在mixed6_s 之后添加一個卷積核為1 ×1、步長為1、通道數為256 的卷積層。其生成的特征圖尺寸為18 像素×18 像素。然后，對兩個特征圖進行合并。在第3 個連接層中，一個卷積核為1 ×1、步長為2、通道數為128 的卷積層被添加到mixed6_s 之后，生成了9 ×9 ×128 的特征圖。最后卷積核為1 ×1、步長為1、通道數為128 的卷積層被添加到mixed7_s 之后，其生成了9 ×9 ×128 的特征圖，并將兩個特征圖進行合并。

在IFSSD 模型中，35 ×35 ×512、18 ×18 ×512和9 ×9 ×256 的連接層用于生成FPN。在9 ×9 ×256 的連接層之后添加一個卷積核為3 ×3、步長為2、通道數為256 的SAME 卷積層，生成特征圖尺寸為5 像素×5 像素。其后，添加一個卷積核為3 ×3、步長為1 ×1、通道數為256 以及使用VALID 的卷積層，生成特征圖尺寸為3 像素×3 像素。最后，在3 ×3 ×256 層之后，添加一個卷積核為3 ×3、步長為1、通道數為256 的VALID 卷積層，生成的特征圖尺寸為1 像素×1 像素。圖中綠色方框所示的6 層不同尺度的預測框用于獲得柚子的位置和置信度。

可以看出，FSSD 模型使用雙線性插值從VGG16 中3 個不同層獲得相同的尺寸，并將它們融合在一起以獲得輸出層并生成FPN。IFSSD 模型使用1 × 1 卷積來修改InceptionV3 中的mixed4、mixed5、mixed6_s、mixed7_s 層的通道數和圖像尺寸，并且成對地融合上述修改后的卷積層以獲得3個不同層，然后基于這3 個層生成FPN。

(2)損失函數優化

一階段算法(one-stage)和二階段算法(twostage)的表現不同主要是由大量前景背景類別不平衡導致［27］。二階段算法中，在候選框階段，通過得分和非極大值抑制(Non-maximum suppression，NMS)篩選過濾掉了大量的負樣本，然后在分類回歸階段又固定了正負樣本比例，或者通過難例挖掘(OHEM)在線挖掘困難樣本使得前景和背景相對平衡。而一階段算法需要產生約100 kB 的候選位置。雖然有重復采樣，但是訓練仍然被大量負樣本所主導。本文使用的IFSSD 模型屬于one-stage 模型，使用Focal Loss 代替原有的損失函數。

Focal Loss 主要是為了解決one-stage 目標檢測中正負樣本比例嚴重失衡的問題［28］。該損失函數降低了大量簡單負樣本在訓練中所占的權重，也可理解為一種困難樣本挖掘。Focal Loss 是在交叉熵損失函數基礎上進行的修改。二分類交叉熵損失值計算式為

式中 L——二分類交叉熵的損失值

y——真實分類 y′——預測分類

y′是激活函數的輸出，取值在0 ～1 之間。可見普通的交叉熵對于正樣本而言，輸出概率越大損失越小;對于負樣本而言，輸出概率越小則損失越小。此時的損失函數在大量簡單樣本的迭代過程中比較緩慢且可能無法優化至最優。

Focal Loss 在原有基礎上加了一個常數因子γ，以減少易分類樣本的損失，從而更關注于困難的、錯分的樣本。此外，加入平衡因子at，用來平衡正負樣本本身的比例不均，具體公式如下

式中 pi——不同類別的概率

at——正樣本和負樣本的比例，前景類別使用at時，對應的背景類別使用1 -at

2 試驗與結果分析

2.1 試驗方法與參數設置

柚子數據集中包含一定量果實膨大期和成熟期的圖像。訓練集和驗證集以4∶1的比例進行隨機劃分。其中訓練集包含4 000 幅圖像，使用Labelme 標注軟件對每幅圖像中成熟期和果實膨大期的柚子進行標注，最后按照PASCAL VOC 數據格式［29］構建訓練集，另外1 000 幅未被標注圖像作為測試集，用來評價模型在未知柚子圖像數據集上的泛化性能。

為了評估IFSSD 模型對柚子的檢測識別性能，首先通過預處理的4 000 幅RGB 圖像創建IFSSD 模型。剩余的1 000 幅測試圖像用于IFSSD 模型的測試。測試環境為IntelXeon E3-1245 v3 CPU、主頻3.40 GHz、內存32 GB，GPU 為GeForce RTX 2060、操作系統為Ubuntu 16.04，Cuda 版本為9.0，Keras深度學習框架，OpenCV 4.0、Python3.7 編程語言。

IFSSD 模型使用自適應矩估計(Adaptive moment estimation)作為優化算法，同時以TensorFlow 作為張量操作庫的Keras 深度學習框架在GeForce RTX2060 顯卡上進行加速運算。

本文模型設置不同參數，通過交叉驗證選取最優參數設置，初始學習率設置為0.001，經過多次迭代后微調為10-4，偏差1 設置為0.9，偏差2 設置為0.999，歸一化的最小值邊界設置為0.000 1，權重衰變為5 ×10-4，圖像批量為16。

本文模型對300 像素×300 像素圖像的檢測速率為29 f/s，訓練過程中損失值變化曲線如圖7 所示，隨著迭代次數增加，IFFSD 模型的損失值不斷下降，經過100 次迭代后，下降趨勢趨向于平緩，并在200 次迭代后趨于穩定。

圖7 IFSSD 模型訓練過程中損失值的變化曲線Fig.7 Change of loss value during IFSSD training

2.2 檢測結果分析

本文使用IFSSD、SSD、FSSD 模型分別對數據集進行檢測。表1 為檢測結果，其中檢測出來的目標定為正樣本，未檢測出來的目標定為負樣本。IoU閾值為0.5，試驗結果有4 種，分別為IoU 值小于等于0.5(FP)、IoU 值大于0.5(TP)、未檢測出真實目標FN、TN。本文不統計TN 類樣本。準確率計算公式為

式中 TP——檢測出的正樣本數量

FP——檢測出的負樣本數量

表1 不同檢測模型的檢測結果Tab.1 Detection results of different detection models

在檢測精度方面，IFSSD 模型的準確率為93.7%，分別比SSD 模型和FSSD 模型提高了9.4個百分點和2.2 個百分點。在圖像檢測速率方面，IFSSD 模型每幅圖像檢測時間為29 s，低于SSD 模型的38 s 和FSSD 模型的41 s。

如表2 所示，IFSSD 模型的準確率比梯度直方圖(Histogram of oriented gradient，HOG)+支持向量機(Support vector machine，SVM)和變形零件模型(Deformable parts model，DPM)+SVM 提高了14.1個百分點和16.4 個百分點，這是由于傳統目標檢測算法只適用于特征明顯、背景簡單的圖像，而在實際應用中，背景復雜多變，且待檢測的目標復雜多變，很難通過一般的抽象特征完成對目標的檢測，而深度學習可以提取同一目標的豐富特征，完成目標的檢測。然而在模型規模上IFSSD 模型要大于HOG+SVM 和DPM+SVM，這是由于IFSSD 模型的參數較多。從效率方面看，IFSSD 模型的效率與傳統方法較接近。

表2 IFSSD 與傳統檢測模型性能的比較Tab.2 Comparison of IFSSD and traditional grapefruit detection models

相對于Faster R-CNN 和YOLOv2-DarkNet-19，由于IFSSD 模型加入了FPN 結構和Inception 骨干網絡，使得準確率分別提高了7.8 個百分點和9.4個百分點;從檢測時間看，IFSSD 模型與Faster RCNN 模型較接近。

本文分別從目標大小、物候期、重疊情況、光照情況以及有無枝葉遮擋等方面分別對SSD、FSSD、IFSSD 模型進行比較。從表3 可以看出，IFSSD 模型的總體性能優于FSSD、SSD 模型。從目標大小方面看，加入了FPN 模塊的FSSD、IFSSD 模型在小目標檢測方面有了一定的提升，這是由于FPN 能夠從更小的特征跨度進行特征融合，來進行多尺度預測。從不同物候期方面進行分析，IFSSD 模型對膨脹期的識別提升較為明顯，相對于SSD、FSSD 模型分別提高了5.21 個百分點和4.51 個百分點，這是由于膨脹期的柚子顏色為綠色，容易因正負樣本不平衡而導致錯檢和漏檢，Focal Loss 的引入緩解了這個問題。但是在重疊、光照和有枝葉遮擋的情況下，IFSSD 模型檢測效果沒有明顯的提高，仍然需要進一步優化。由于攝像機型號不同，不同的焦距和距離導致柚子圖像的尺寸不同，本文采用將攝像頭固定并通過調整焦距來獲得小目標、中目標和大目標3 種類型的圖像。圖8 是使用以上3 種模型對部分圖像處理的效果。從圖中可以看出，對于中型和大型目標，3 種模型都能檢測到大部分的目標。對于大型目標，3 種模型的準確率均達到92%以上。但是對于極小的目標，SSD 模型效果要比IFSSD 模型和FSSD 模型差，SSD 模型容易漏檢大部分小目標柚子。這是由于SSD 模型雖然從不同層次的特征進行預測，ConvNets 提取的特征隨著層次的增加語義越來越強，但是SSD 模型卻把它們當成一樣的層次去預測，不能充分地利用局部細節特征和全局語義特征。FSSD 模型采用FPN 方法把細節特征(定位)和全局語義(識別)結合起來，即把淺層的細節特征和高層的語義特征結合起來，因此IFSSD、FSSD模型在小目標檢測方面得到了進一步的提升。

表3 不同圖像類型下不同模型的檢測準確率Tab.3 Detection accuvaey of different models under different image types %

圖8 3 種模型對圖像的處理效果Fig.8 Processing effect of three models on images

進一步通過試驗來分析IFSSD 模型在數據不平衡下對柚子檢測效果的改進。

如圖9 所示，對于成熟期的柚子而言，IFSSD、FSSD、SSD 模型都具有較精確的檢測效果。這是由于成熟期的柚子是黃色的，相對于背景和果實膨大期的柚子有著明顯的顏色區別。但是SSD 模型和FSSD 模型會將某些葉片檢測為果實膨大期的柚子，這是因為葉子與果實膨大期的柚子的顏色相似，同時在數據不平衡的情況下，以葉子為主的背景樣本明顯要多于果實膨大期的柚子樣本，這會造成模型對于果實膨大期柚子的識別效果較差，同時在光線等自然條件的影響下，容易將成簇的葉子錯認為是處于膨大期的果實。

圖9 柚子識別檢測結果示例Fig.9 Examples of grapefruit identification results

圖10 為SSD、FSSD 模型將綠色葉子錯誤檢測為膨大期柚子的情況，而IFSSD 模型能夠極大地避免此類情況的發生，這表明Focal Loss 損失函數的引入能夠改善數據不平衡帶來的影響，從而提高柚子的檢測精度。

圖10 膨大期柚子漏檢示例Fig.10 Examples of expanded leaves misidentified as grapefruit

3 結束語

本文設計了一種改進的特征融合單鏡頭檢測器(IFSSD)，提出了基于IFSSD 卷積神經網絡的柚子檢測模型，并對所提模型進行檢測試驗。結果表明，本文模型對柚子檢測的準確率達到93.7%，每幅圖像的檢測時間為29 s。