基于改進YOLO v3網絡的夜間環境柑橘識別方法

熊俊濤 鄭鎮輝 梁嘉恩 鐘 灼 劉柏林 孫寶霞

(1.華南農業大學數學與信息學院， 廣州 510642； 2.廣東機電職業技術學院， 廣州 510515)

0 引言

我國為世界上重要的水果生產國之一, 截至2017年, 我國柑橘產量3 816.78萬t, 占世界柑橘產量的四分之一。采摘是水果生產過程中勞動力投入最大的作業環節, 柑橘采摘勞動量占整個生產過程工作量的50%～70%, 而所處環境的復雜性導致水果采摘仍然以人工作業為主[1]。隨著控制技術和計算機的發展，水果采摘機器人得以快速發展，并投入農業生產[2]，對推動農業自動化、智能化生產具有極其重要的價值和意義。目前，大部分采摘機器人都是白天作業，如能充分利用夜間時間進行采摘作業，將提高全天平均生產效率[3]。在野外復雜環境下，果實精準識別與定位是采摘機器人高效完成采摘任務的先決條件，其中識別精度決定了采摘機器人對采摘位置定位的精確性，對成功采摘至關重要。

LU等[4]提出的水果識別方法需要在白天提供人工照明的條件下才有穩定的識別準確率，識別算法受到光照因素影響。LINKER等[5]開發并驗證了一種用于估算自然光照下果園彩色圖像中蘋果數量的算法，其檢測正確率達85%以上，但白天光照造成大量的假陽性檢測，對檢測算法影響巨大。近年來，一些研究者對夜間水果識別進行了探索，XIONG等[6]利用RGB顏色空間的R分量圖結合改進的C-V水平集模型，實現了夜間綠色葡萄的識別，其算法識別正確率為92%。項榮等[7]利用夜間主動照明在重疊區域內形成的陰影，采用基于重疊邊緣距離就近法實現了夜間雙果重疊番茄的前后位置關系判斷及未被遮擋番茄的識別，算法識別正確率在83.3%以上。PAYNE等[8]利用密集像素分割方法，提取超級像素中SIFT算子，結合使用支持向量機(SVM)和基于顏色和橢圓形狀的模型，實現了夜間樹木冠層圖像中芒果的分割和檢測，算法檢測正確率達84%以上。

可見，夜間采摘在提供穩定的人工光照條件下，減弱了白天不同時間段光強不同和光照不均勻對水果識別的影響，提高了水果的識別正確率，這為夜間采摘機器人的投入應用提供了技術支撐[9]。夜間水果識別研究存在以下難點：夜間小體積果實、重疊果實的識別率較低；夜間識別方法步驟復雜，采用多階段人工特征提取方法，不適合大樣本數據集，識別效果有待進一步提升；目前，夜間水果識別方法效率不高。此外，一些研究表明，采用的檢測方法受限于溫度、設備成本、拍攝角度等因素，導致果實檢測成本和復雜性升高[10-14]。

本文提出通過深度學習方式對柑橘類果實進行檢測識別。目前，目標檢測領域的深度學習方法主要分為兩類：一是基于區域生成網絡(Region proposal network，RPN)的檢測方法，該方法先由算法生成一系列作為樣本的候選框，再通過卷積神經網絡(CNN)進行樣本分類；二是基于回歸的檢測方法，該方法不用產生候選框，直接將目標邊框定位的問題轉化為回歸問題處理。前者在檢測準確率和定位精度上占有優勢，后者在算法速度上占有優勢。為了進一步提高后者的檢測精度，研究者常常通過深層CNN[15-16]等網絡來提取更抽象、更高維的特征，以獲得更優的檢測效果。但深層CNN往往導致更高的計算復雜度，同時存在淺層信息隨著卷積操作而丟失和梯度消失的問題[17]。Dense Net是GAO等[18]提出的一種高效卷積神經網絡，通過建立前面所有層與后面層的密集連接，使得后面層融合了前面所有層的信息，在高層特征中保留各級底層特征，實現了特征重用，有效解決了網絡深度和梯度消失問題，進一步提高了模型檢測的分類精度[19]。

對樹上目標果實識別的精準性和實時性是影響采摘機器人高效作業的重要因素，為實現野外夜間復雜環境下成熟柑橘的精確、快速識別和高效采摘，本文對YOLO v3深度卷積神經網絡進行改進，借鑒殘差網絡和密集連接網絡，提出Des-YOLO v3網絡結構，有效減少模型參數，同時保證淺層特征不丟失，進一步實現網絡多層特征的復用和融合,以提高對小目標和重疊遮擋果實識別的魯棒性。

1 材料與方法

1.1 圖像采集

圖像采集于廣東省廣州市華南農業大學的柑橘園，拍攝相機為Kinect V2，夜間柑橘圖像采集示意圖如圖1所示。對果園柑橘進行不同角度的拍攝，圖像尺寸為1 920像素×1 080像素，彩色圖像保存為png格式，共拍攝了2 000幅圖像，并篩選出清晰的、具有代表性的、遮擋和完整的柑橘圖像1 600幅。遮擋圖像是指柑橘面積遮擋超過1/3，遮擋圖像為749幅，完整圖像為851幅，其中1 200幅作為訓練集，剩余400幅作為測試集。這些圖像于20:00—22:30之間拍攝，當晚沒有月光，柑橘園中除了環形光源系統外無其他光源，環形光源品牌為鷹視科技，外徑為100 mm,內徑為40 mm，高為22 mm，輸入電壓為12 V，其中光源系統最大光照強度為35 000 lx，光源放大圖如圖2所示，相機放大圖如圖3所示。

圖1 夜間柑橘圖像采集示意圖Fig.1 Image acquisition of mature citrus at nighttime

圖2 環形光源放大圖Fig.2 Enlarged view of circular light source

圖3 相機放大圖Fig.3 Local enlarged image of camera

1.2 YOLO v3網絡

相對于其它目標檢測與識別方法(如R-CNN系列)，YOLO v3網絡基于回歸的方法來提取特征，無需生成大量的候選窗口，而直接采用單個神經網絡對輸入的圖像進行目標預測和分類, 實現了端到端的物體檢測。該算法在保證準確率較高的情況下，可快速預測并分類目標，更加適合現場應用環境。

如圖4所示，YOLO v3網絡將輸入圖像按特征圖尺寸劃分成S×S(S=7)的網格, 如果一個物體的中心落在某個單元格內，則由該單元格負責檢測該物體。單元格會輸出多個預測框和每個預測框的置信度，拋棄置信度低的預測框并通過非極大值抑制算法最終定位柑橘位置。其中預測框包含參數c、x、y、w、h，(x,y)為候選框的中心坐標，w、h為候選框的寬度和高度，c(c=1)為類型。

圖4 YOLO v3檢測網絡Fig.4 YOLO v3 detection network

1.3 改進YOLO v3網絡

YOLO v3網絡是目標檢測算法YOLO系列的第3個版本，該網絡在VOC2007數據集上具有較高的檢測精度和速度，檢測性能優異，優于Faster R-CNN、SSD和YOLO等算法。但在進行夜間成熟柑橘識別試驗中發現，YOLO v3網絡存在小目標漏檢的缺點，檢測精度有待提高。同時該網絡采用DarkNet53作為backbone網絡，該框架性能強大但網絡層數太多，導致運算量較大。針對以上缺點，本文借鑒殘差網絡和密集連接網絡思想 ，提出了Des-YOLO v3網絡結構，進一步提高了算法性能、縮小了運算成本。

1.3.1殘差網絡

網絡深度對于網絡的性能至關重要，深層網絡可以提取到高效特征進行識別，但網絡的性能 (準確率) 會隨著網絡深度的增加迅速達到飽和, 甚至開始迅速下降，稱其為退化問題。為了解決網絡退化問題并能夠訓練上千層的網絡，何凱明等于2015年提出了殘差網絡(ResNet)模型，其核心為殘差單元, 如圖5所示。

圖5 殘差網絡基本模塊Fig.5 Basic module of residual network

圖5中x為網絡輸入，G(x)為期望輸出，ResNet只是學習輸出和輸入的差G(x)-x, 即殘差F(x)。通過執行恒等映射，后面的層可通過支路x直接學習殘差, 并且反向傳播更易將梯度回傳。當網絡達到最優，該模塊將被置0，由恒等映射向下方傳遞特征同時保持網絡能一直處于最優狀態，而不受層數過多的影響。殘差單元可定義為

yk=f(xk+F(xk,wk))

(1)

其中

f=max(0,x)

式中xk、yk——第k個殘差單元的輸入和輸出

f——激活函數，一般為修正線性單元(Rectified linear unit，ReLU)

wk——卷積核[20]

1.3.2密集連接網絡

為了有效減少模型參數，同時盡可能在高層特征中保留各級底層特征 (包括原始圖像信息) ，進一步實現網絡多層特征的復用和融合, 本文借鑒了密集連接網絡(Dense Net)的思想。

如圖6所示，密集連接網絡由密集連接塊(Dense Block)和轉換層(Transition Layer)兩種基本結構組成。在密集連接塊1中，模塊的層間變換可表示為

xk=Hk([x0,x1,…,xk-1])

(2)

式中x0——密集連接塊的輸入特征圖

xk——第k層的輸出

Hk——層間變換函數

[x0,x1,…,xk-1]表示從輸入層到第k-1層網絡特征圖的連接。Hk包含6個連續非線性變換,依次為BN、ReLU、Conv (1, 1)、BN、ReLU、Conv (3, 3)[21]。

圖6 密集網絡結構圖Fig.6 Dense network structure diagram

1.3.3Des-YOLO v3網絡

在保證算法的實時性同時，應盡可能滿足并提高采摘機器人對樹上目標果實識別的精準性。相比YOLO v3_Tiny的輕量和高速，YOLO v3_DarkNet53網絡則是在保證實時性的基礎上追求更高的性能。因此本文選取具有較高檢測精度和速度的DarkNet53作為YOLO v3的基礎網絡。通過借鑒殘差網絡和密集連接網絡，在YOLO v3深度卷積神經網絡的基礎上進行多次改進和試驗驗證，提出了Des-YOLO v3網絡，其網絡參數如表1所示。

如表1所示，Des-YOLO v3網絡對輸入圖像進行1次密集連接卷積和3次殘差卷積提取特征，與原框架DarkNet53相比，Des-YOLO v3淺層網絡采用密集連接卷積塊，淺層特征可以更好更快地傳達到深層卷積，實現網絡多層特征的復用和融合，進一步改善了整個網絡的信息傳遞效率和梯度傳遞效率，有利于回歸預測中上采樣與淺層特征的結合以進行目標檢測。在特征提取網絡的后半部分，Des-YOLO v3網絡保持采用殘差網絡，通過3組殘差塊加深特征提取網絡結構，提高模型對圖像深層特征的選擇與提取能力。最后Des-YOLO v3網絡使用類似FPN網絡的尺度金字塔結構，通過2次上采樣并與網絡上層中相同尺寸的特征圖譜拼接，進行3次回歸預測，實現對不同尺寸目標的多尺度檢測。此外，Des-YOLO v3網絡在保證模型具有較高預測準確率的基礎上縮減了網絡的卷積層數量，減小了模型尺寸和計算量。

表1 Des-YOLO v3網絡參數Tab.1 Network parameters of Des-YOLO v3

Des-YOLO v3網絡架構如圖7所示。CBR是Des-YOLO v3網絡的基本組件，包括卷積、批量歸一化 (Batch normalization, BN)、ReLU (Leaky ReLU)操作；Dense為密集連接塊，其中包含2個卷積操作，該模塊將卷積操作前后的特征圖進行拼接，實現網絡多層特征的復用和融合；Res Block為殘差塊，其中Res_unit*n表示含有n個殘差單元，使用殘差結構可以讓網絡結構更深，獲得高維特征以提高預測準確率。

圖7 Des-YOLO v3 架構圖Fig.7 Des-YOLO v3 architecture diagram

2 試驗結果與分析

2.1 試驗配置與識別效果

試驗采用DarkNet53深度學習框架，計算機配置為Intel Core i7-8700HQ CPU,3.20 GHz×12，顯卡為GeForce GTX 1080，操作系統為Ubuntu16.04LTS，NVIDIA 430.26驅動，CUDA 8.0.61版本，CUDNN神經網絡加速庫版本為5.1.1，訓練設置如下：

(1)參數設置：每次迭代訓練的樣本數為64，共16批次，進行50 000次迭代；動量因子設為0.9；衰減系數設為0.000 5；學習率調整策略采用steps，初始學習率設為0.001，當網絡迭代40 000次和45 000次時，學習率依次降低為0.000 1和0.000 01。

(2)訓練策略：在訓練過程中, 采用多尺度訓練策略，同時通過調整飽和度、曝光量以及色調等方式來生成更多訓練樣本， 提高網絡對不同分辨率圖像的魯棒性和準確率。

圖8為Des-YOLO v3網絡在訓練時的平均損失值隨迭代次數的變化曲線，從圖中可以看到，當網絡迭代超過24 000次后，損失值基本趨于平穩，下降到0.24左右。從參數收斂情況來看, 網絡訓練結果理想。

圖8 損失值變化曲線Fig.8 Loss changing graph

Des-YOLO v3網絡對測試集中各種環境下的柑橘果實進行識別的效果如圖9所示。

2.2 柑橘識別試驗和結果分析

本研究設計并進行了夜間成熟柑橘識別試驗，由于在實際柑橘圖像中果實對象的信息往往不同，相應地算法檢測效果會受到不同程度的影響，如在果實稀疏完整的圖像中，果實對象比較完整清晰，識別難度低；而在果實重疊遮擋圖像中，有可能存在果實過小、粘連、相互遮擋或被果樹枝葉遮擋等情況，增加了果實檢測的難度[22]。因此在本節中，設計了YOLO v3和Des-YOLO v3的對比識別試驗，將原始測試集分為果實稀疏完整和果實遮擋2個梯度，目的是對比分析2種識別網絡在以上兩種情況下的檢測性能。試驗采用精確率 (precision)、召回率(recall)和F1值作為評價標準，計算公式為

圖9 Des-YOLO v3網絡檢測效果圖Fig.9 Des-YOLO v3detection results

(3)

(4)

(5)

式中TP——真正例數FP——假正例數

FN——假負例數

F1——查準率與查全率的調和平均數

P——精確率R——召回率

柑橘識別試驗將400幅原始測試圖像分成2個梯度，每個梯度包括200幅圖像作為數據集。分別使用YOLO v3網絡和Des-YOLO v3網絡對兩個梯度的數據集進行檢測，圖10為兩種網絡P、R關系曲線，圖11為2種網絡的識別效果圖。

圖10 YOLO v3網絡與Des-YOLO v3網絡的P、R關系曲線對比Fig.10 Comparison of P and R curves for YOLO v3 network and Des-YOLO v3 network

圖11 識別效果對比Fig.11 Comparison diagrams of detection effect

從圖10和圖11可以看出，Des-YOLO v3網絡整體性能明顯優于YOLO v3網絡。Des-YOLO v3網絡通過應用密集連接模塊與殘差模塊，進一步提高網絡對圖像深層高效特征的提取能力，同時加強網絡多層特征的復用和融合，很好地克服了YOLO v3網絡漏檢小柑橘目標的缺點。此外，與YOLO v3網絡相比，Des-YOLO v3網絡在果實密集遮擋較為嚴重的情況下可以分別識別并框出每個柑橘，具有更優的魯棒性和準確率。

表2為YOLO v3網絡和Des-YOLO v3網絡的性能對比結果。從表中可知，對于3種柑橘狀態，Des-YOLO v3網絡的精確率、召回率以及F1值均高于YOLO v3網絡。結果表明，本文算法具有更優的檢測效果。檢測錯誤的主要原因可能是：①部分柑橘果實半徑太小。②某些圖像光照太暗難以識別。③多個果實靠得太近容易被識別成一個區域。

表2 YOLO v3網絡與Des-YOLO v3網絡在不同柑橘場景下性能對比Tab.2 YOLO v3 and Des-YOLO v3 performance comparison under different citrus scenarios

為了更直觀地驗證本文方法的效果，考慮不同網絡在不同光線強度、果實密集度遮擋等因素下性能不同，隨機抽取兩幅測試圖像，分別使用YOLO v3_DarkNet53、Des-YOLO v3、Faster R-CNN 3種網絡進行測試，試驗結果如圖12所示。

圖12 不同算法識別效果對比Fig.12 Comparison effects among different algorithms

圖12表明，測試圖像1中有14個目標柑橘，Faster R-CNN算法識別出11個，把遮擋的3個柑橘識別成1個；YOLO v3_DarkNet53識別出12個，但在遮擋處仍未能成功識別；而Des-YOLO v3的識別效果最佳，識別出14個目標。測試圖像2中有多個目標柑橘，從圖12b、12d可以看出，Faster R-CNN和YOLO v3_DarkNet53均存在果實漏檢情況，而圖12f表明Des-YOLO v3成功識別出所有柑橘目標。兩組測試均說明了Des-YOLO v3算法性能更優。

表3為本文網絡與其他網絡的性能對比。Des-YOLO v3網絡更小，識別速度更快;相比于YOLO v3_DarkNet53，mAP提高了2.27個百分點。Des-YOLO v3網絡與Faster R-CNN網絡相比，少了生成候選區域這一步，所以mAP比Faster R-CNN低了0.5個百分點，但是Des-YOLO v3網絡的速度為53 f/s，明顯快于Fater R-CNN，可用于果園采摘機器人的定位檢測。結果表明， Des-YOLO v3網絡進一步縮減了網絡規模，提高了識別精度和速度。

3 結論

(1)針對采摘機器人在果園夜間復雜環境下果實識別準確率較低的問題，提出了一種多尺度卷積神經網絡Des-YOLO v3網絡，實現對成熟柑橘的識別與檢測，最終在測試集上的mAP為90.75%，與YOLO v3_DarkNet53網絡相比，提高了2.27個百分點。

表3 Des-YOLO v3與其他CNN網絡性能對比Tab.3 Comparison of Des-YOLO v3 and other algorithm network performance

(2)為了驗證本文算法的有效性和可行性，設計了不同柑橘場景下改進前后識別網絡的性能對比試驗。結果表明，Des-YOLO v3網絡在原始測試集上精確率達97.67%，召回率達97.46%，F1值達0.976，3個指標均高于YOLO v3網絡，表明本文算法具有更優的檢測識別效果。

(3)Des-YOLO v3網絡借鑒殘差網絡和密集連接網絡，加強對小目標果實的識別和對遮擋重疊目標的魯棒性，并且有效縮減了原有網絡的卷積層數量，顯著提高了果實檢測精度和速度，為水果采摘機器人提供了新的視覺識別思路。