基于卷積神經網絡的田間多簇獼猴桃圖像識別方法

傅隆生，馮亞利，Elkamil Tola，劉智豪，李 瑞，崔永杰

?

基于卷積神經網絡的田間多簇獼猴桃圖像識別方法

傅隆生1,2，馮亞利1，Elkamil Tola3，劉智豪1，李 瑞1，崔永杰1,2

（1. 西北農林科技大學機械與電子工程學院，楊凌 712100； 2. 農業部農業物聯網重點實驗室，楊凌 712100； 3. Precision Agriculture Research Chair, King Saud University, Riyadh 11451, Saudi Arabia）

為實現田間條件下快速、準確地識別多簇獼猴桃果實，該文根據獼猴桃的棚架式栽培模式，采用豎直向上獲取果實圖像的拍攝方式，提出一種基于LeNet卷積神經網絡的深度學習模型進行多簇獼猴桃果實圖像的識別方法。該文構建的卷積神經網絡通過批量歸一化方法，以ReLU為激活函數，Max-pooling為下采樣方法，并采用Softmax回歸分類器，對卷積神經網絡結構進行優化。通過對100幅田間多簇獼猴桃圖像的識別，試驗結果表明：該識別方法對遮擋果實、重疊果實、相鄰果實和獨立果實的識別率分別為78.97%、83.11%、91.01%和94.78%。通過與5種現有算法進行對比試驗，該文算法相對相同環境下的識別方法提高了5.73個百分點，且識別速度達到了0.27 s/個，識別速度較其他算法速度最快。證明了該文算法對田間獼猴桃圖像具有較高的識別率和實時性，表明卷積神經網絡在田間果實識別方面具有良好的應用前景。

圖像處理；圖像識別；算法；深度學習；卷積神經網絡；獼猴桃

0 引 言

中國是獼猴桃栽培面積最大的國家[1]，大都是手工收獲果實[2]。在鄉村勞動力向城鎮轉移的大背景下，發展獼猴桃自動化采摘技術，特別是研發獼猴桃采摘機器人，具有重要的意義[3-7]。獼猴桃采摘機器人的首要及關鍵技術之一是果實的快速有效識別[7]。在自然場景下，由于獼猴桃果實顏色與枯葉、枝干、果柄等復雜背景的顏色相近[8]，果實成簇并存在大量重疊與遮擋果實。因此，對田間環境下獼猴桃果實的特征學習從而進行識別是獼猴桃采摘機器人急需解決的一個關鍵性問題[9]。

近年來，科研工作者對自然環境下獼猴桃果實的識別進行了深入研究。總體分為2部分，從果實斜側面獲取圖像進行識別和從果實底部豎直向上采集圖像進行識別。對于從斜側面獲取的圖像，丁亞蘭等[10]利用顏色因子，采用固定閾值進行獼猴桃圖像分割，但無法有效識別強反光及暗影區的果實；崔永杰等[11]利用**顏色空間*通道進行獼猴桃圖像分割，采用橢圓形Hough變換擬合單個果實輪廓，但對田間背景下的獼猴桃果實分割效果不理想；崔永杰等[8]通過對比不同顏色空間，提出利用0.9-顏色特征，結合橢圓形Hough變換進行果實的識別，但識別的果實針對特定類型，在實際應用中其適用性受到抑制；詹文田等[5]基于Adaboost算法，通過引入RGB、HIS、***顏色模型構建識別獼猴桃果實的分類器，但識別速度有待提高；慕軍營等[12]利用Otsu算法在*通道進行圖像分割，基于正橢圓Hough變換提取Canny算子獲取的獼猴桃果實邊緣圖像進行識別，但不能很好識別遠處的果實。對于豎直向上獲取的圖像，Scarfe等[13]采用固定閾值法去除背景，提取Sobel邊緣后，利用模板匹配的方法識別獼猴桃，但未利用果實的形狀信息；Fu等[14]提出1.1-顏色特性進行夜間獼猴桃圖像分割，并結合最小外接矩形法和橢圓形Hough變換識別每個果實，但只能識別單簇果實；傅隆生等[9]利用豎直向上成像時果萼都顯現且與果實有區別的特點，進行基于果萼的夜間獼猴桃識別，但未涉及遮擋與重疊果實的識別，且對多果簇識別效果不佳。田間環境下的獼猴桃果實圖像特征多樣、背景復雜且形態特征差異大。已有識別方法主要根據經驗，受樣本和人為主觀性的影響，很難具有普適性，魯棒性差，難以用一種方法同時識別所有類型的獼猴桃果實，且不能同時識別多簇果實，不能滿足復雜田間環境下的應用需求。

相比常規方法，近年興起的卷積神經網絡[15]（convolutional neural network，CNN）方法直接由數據本身驅動特征及表達關系的自我學習，對圖像具有極強的數據表征能力。CNN已在手寫字符識別[16-18]、人臉識別[19-21]、行為識別[22-23]以及農作物識別[24-25]等方面，獲得了較好的效果。學者們也開始CNN在果實識別方面的研究，王前程[26]將CNN應用于處理后的6種水果圖像數據集進行識別，證明了CNN在水果圖像識別上的有效性；Sa等[27]基于CNN模型建立果實的深度網絡識別模型，對不同的果實圖像進行測試，取得不錯的效果。以上研究的開展為CNN應用于果實識別提供了參考和可行性依據，同時也表明CNN在圖像識別中可以克服傳統方法的不足。

本文在采集大量田間樣本圖像的基礎上，通過CNN對復雜背景下的獼猴桃果實進行識別，避免人為主觀因素影響識別結果。依據田間環境下獼猴桃圖像的特點，優化LeNet卷積神經網絡的結構與參數，從而建立一種基于卷積神經網絡的田間獼猴桃果實圖像的識別模型，以實現田間復雜環境下多簇獼猴桃果實的快速有效識別。

1 材料與方法

1.1 圖像采集

試驗供試圖像于2016年10月—11月采集自陜西省眉縣獼猴桃試驗站（34°07'39''N，107°59'50''E，海拔648 m），將數碼相機（Canon EOS 40D）通過三腳架置于獼猴桃果實下方100 cm左右對“海沃德”品種進行拍照。共采集原始圖像700幅，晴天上午、下午2個不同時間段各350幅，圖像格式為JPEG，分辨率為2 352×1 568像素，如圖1所示。

圖1 田間自然環境下的獼猴桃圖像

1.2 樣本數據集與試驗方法

獼猴桃采用棚架式栽培方式形成果實自然下垂且位于枝葉下方的特點，底部豎直向上成像后，每個果實的果萼部分都顯現。該文隨機選取600幅（上午和下午各300幅）圖像，截取具有萼的單果作為目標區域，并剔除無效的圖像區域，所截取的樣本圖像最小尺寸為74×76像素。再由人工對原始采集的圖片進行篩選，從而避免數據樣本的錯誤選定和單一性。最終試驗所用數據集由正樣本（6 000幅）和負樣本（4 020幅）組成，為2個不同時間段均勻分布（上午和下午各5 010幅）。數據集均用于卷積神經網絡的訓練和參數優化驗證，分別從正、負樣本中隨機選擇80%樣本構建訓練集，20%作為驗證集。部分正、負樣本圖樣如圖2所示。

圖2 試驗部分數據集樣本示例

模型訓練完成后，將剩余的100幅獼猴桃原始圖像（上午和下午各50幅）作為模型效果驗證的測試集，為減少計算量及運行時間，將原圖像縮放為600×400像數進行測試，訓練數據集與測試圖像間不重疊。最后本文將與已有的獼猴桃識別方法進行對比分析。由于測試數據集中兩個不同時間段樣本數量呈均衡分布，因此可將測試結果的平均準確率作為本文模型的識別效果評價指標[28]。

1.3 卷積神經網絡的構建

本文使用Matlab的MatConvnet工具箱[29]建立卷積神經網絡。LeNet[30]是典型的卷積神經網絡，最初成功用于手寫數字識別。由于獼猴桃果實的識別亦是對某一未知獼猴桃果實圖像進行識別和匹配，該過程與LeNet手寫字符的識別相似。因此可以將卷積神經網絡LeNet作為基礎網絡架構，并對其重要的結構參數和訓練策略進行優化，以獲取適合獼猴桃果實圖像識別的模型架構。LeNet卷積神經網絡具體算法描述如下：

1）卷積層

卷積核的尺寸與數量對于CNN的性能至關重要。輸入圖像通過個不同的卷積核卷積，生成個不同的特征圖，卷積層如式（1）所示。

2）下采樣層

下采樣層對輸入進行抽樣，如式（2）所示。

2 基于卷積神經網絡的獼猴桃果實識別

2.1 試驗軟件及硬件

本文處理平臺為筆記本計算機，處理器為Inter（R）Core（TM）i3，主頻為2.40 GHz，4 GB內存，500 GB硬盤，運行環境為：Windows 7 64位，Matlab R2016a，Microsoft Visual Studio 12.0。

2.2 網絡模型的試驗方法

若將LeNet結構直接引入獼猴桃果實圖像特征提取與分類，考慮與原始網絡所用樣本（手寫字符）的差異以及獼猴桃果實圖像的成像通道，本文將所用正、負樣本圖像通過插值縮放變化為3×32×32的矩陣，并將正、負樣本分別標記為“2”和“1”，作為網絡訓練的輸入。由于獼猴桃圖像受扭轉、變形等因素影響較小，因此可以約減原始LeNet網絡中各卷積層中局部感受野的數量，以提高網絡的訓練速度。該文對不同結構的卷積神經網絡進行訓練，然后通過驗證對比不同模型識別的準確率及耗時試驗，本研究最終采用的局部感受野的尺寸均為5×5，3個卷積層C1、C3、C5局部感受野個數分別是6、16和120個。

針對各層分布不均和精度彌散的問題，該文引入批次規則化（batch normalization，BN）法減小影響，加快網絡收斂，防止過擬合。在原網絡第1、3、5卷積層后添加BN層，將輸出按照同一批次的特征數值規范化至同一分布，具體如下所示

激活函數采用非飽和線性修正單元（rectified linear units，ReLU）。由于Max-pooling作為一種非線性的下采樣方法，可以在一定的程度上降低卷積層參數誤差造成的估計均值偏移所引起的特征提取的誤差，試驗選用Max-pooling 作為下采樣方法。網絡的訓練階段采用批量隨機梯度下降法（mini-batch stochastic gradient descend）。

本文選用損失函數Softmax loss（對應Softmax回歸分類器）進行網絡性能的對比分析。最終確定的卷積神經網絡結構可表示為32×32-6C-2S-16C-2S-120C-2，如圖3所示。

注：C1、S2、C3、S4、C5和FC分別為第1 卷積層、第2下采樣層、第3卷積層、第4下采樣層、第5卷積層和全連接層。

基于LeNet的獼猴桃果實識別步驟[31]如下所示：

1）對裁剪后的獼猴桃圖像進行分類并作相應預處理，使圖像符合網絡訓練的要求；

2）對1）中圖像進行隨機采樣，獲得適量的數據集，初始化LeNet結構得到初始化濾波器的權值；

3）將2）的濾波器與1）的訓練集圖像卷積，獲得預定數量的特征圖，用BN法對數據進行處理；

4）將3）中獲得的特征圖通過式（2）進行最大化采樣，得到泛化后的圖像；

5）分別利用上邊3）和4）的方法對4）中輸出的特征圖進行二次卷積，二次批量歸一化處理，二次下采樣，獲得所需的特征圖；

6）用同樣的方法對5）中輸出的特征圖進行三次卷積，三次批量歸一化處理；

7）將6）中所有特征圖轉化為一個列向量，作為全連接層的輸入，計算識別結果和標記的差異，通過反向傳播算法自頂向下調節更新網絡參數；

8）輸入處理后的測試圖像，利用訓練得到的網絡模型對測試圖像進行分類，通過Softmax分類器，并結合多尺度滑動窗算法顯示識別結果。

2.3 分類定義

由于田間拍攝的獼猴桃圖像中果實并非全部相互獨立，因此本文按照圖像中果實輪廓的完整程度將果實分為4種類型：第1類是指果實的部分區域被遮擋而導致輪廓不完整的果實，稱為遮擋果實，如圖4a所示；第2類是指兩個以及其以上果實區域互相遮擋不易于區分開的果實，稱為重疊果實，如圖4b所示（為矩形框所標記的果實）；第3類是2個及以上果實輪廓相接，稱為相鄰果實，如圖4c所示；第4類是指果實輪廓獨立完整且相互分離的果實，稱為獨立果實，如圖4d所示。

圖4 獼猴桃圖像類別

3 結果與分析

3.1 訓練誤差率

采用上文描述的CNN結構，使用訓練集樣本來訓練CNN，網絡初始權重的初始化采用標準差為0.01，均值為0的高斯分布。樣本迭代次數均設置為45次，批處理BatchSize為100，并設置權重參數的初始學習速率為0.001，動量因子設置為0.9。對上述訓練集進行45次迭代的訓練，其變化曲線如圖5所示。

結果表明，隨著迭代次數不斷增加，訓練集和驗證集的分類誤差逐漸降低，當訓練迭代到第28次時，網絡可以實現對訓練集和驗證集的誤識別率都降至0，之后分類準確率趨于穩定，且從第3次迭代以后訓練集和驗證集兩者的誤差差值相差不大，說明模型狀況良好。模型在經過28次迭代后，訓練損失基本收斂到穩定值，表明卷積神經網絡達到了預期的訓練效果。

圖5 訓練和驗證誤差曲線

3.2 特征圖可視化分析

按照圖3所示的網絡結構，使用訓練好的模型對獼猴桃果實樣本進行識別。圖6為輸入的獼猴桃果實圖像經過3個卷積層所對應的各層特征圖的輸出結果，輸出層輸出1和2分別指代背景和果實。由圖6所示的各層顯示結果可知，卷積操作能夠有效提取獼猴桃果實特征，說明本試驗的網絡結構通過局部感受野和權值共享，能夠降低背景干擾、增強目標特征。

圖6 卷積神經網絡各卷積層的處理結果示例

3.3 模型的效果驗證

為了驗證模型的可靠性與穩定性，對測試集的100幅田間獼猴桃果實圖像（上午和下午各50幅，共包含目標獼猴桃果實5 918個）進行識別。該文選用重疊系數[32]作為試驗結果有效性的評價指標，重疊系數是指識別后的目標與真實目標重合的比率。該課題組設計的末端執行器[7]根據獼猴桃生長特點，從果實底部旋轉上升伸入毗鄰間隙，采用逐漸包絡的方式分離毗鄰果實并抓持，試驗結果表明允許的誤差半徑為10 mm，因此只需知道果實的大部分區域（80%）即可進行果實的采摘，避免果實實際區域難以精確定位的問題。因此當重疊系數大于等于80%，即為正確識別。果實識別成功率為成功識別的果實數與實際目標果實數的比值。果實識別時間為一幅圖片的運行時間除以該圖片中成功識別的果實數。識別結果如表1所示，識別效果如圖7所示。

表1 獼猴桃果實識別結果

由表1知，獨立果實識別率最高（94.78%），其次是相鄰果實（91.01%），再次是重疊果實（83.11%），識別效果最差的是遮擋果實（78.97%）。當獼猴桃果實距離圖像中心較遠從而發生變形或被枝葉遮擋面積較大時，果實易被誤識別；當圖像中多個果實連續重疊時，易將后邊果實與前方果實判斷為一個果實或者無法識別后方重疊嚴重的果實，出現漏識別現象，如圖7a所示；當圖像中果實的部分或整體區域被陽光直射形成強烈反光，該區域不易識別或無法識別，影響識別精度；圖像中的多個相鄰果實兩側相鄰部分輪廓，易被識別為一個果實，出現誤識別，是造成識別率低的主要原因，如圖7b所示。圖7b所示的誤識別情況，可能原因是制作訓練數據集時，單個獼猴桃果實裁剪效果不理想（裁剪重疊區域時沒有處理好邊緣問題）。

圖7 獼猴桃果實識別結果以及誤識別示例

在圖7中有一些獼猴桃果實所占的區域不能被精確的識別，識別區域（圖7中黑色的框）稍有偏離果實實際區域。但整體上而言，果實的主要區域已被識別，采用本課題組開發的獼猴桃采摘機器人末端執行器[7]能夠實現果實的采摘。

3.4 與常規方法的比較

相關文獻提出了基于田間環境下獼猴桃圖片的識別方法，為了驗證本文提出的算法性能，與Scarfe[13]、詹文田等[5]、崔永杰等[8]、Fu等[14]、傅隆生等[9]5種常規方法進行比較，結果如表2所示。

表2 不同獼猴桃果實識別方法的性能比較

從表2中可以看到，崔永杰等[8]、Fu等[14]提出的算法的識別率與本文算法的識別率相近，詹文田等[5]、傅隆生等[9]提出的算法的識別率比本文算法的識別率分別高7.41個百分點和5.01個百分點。但是Fu等[14]和傅隆生等[9]識別的獼猴桃果實圖像是近距離底部拍攝的圖像，并且只針對果實相互獨立和相鄰的單簇少果類型，識別5果及以上效果不好；詹文田等[5]和崔永杰等[8]識別的獼猴桃果實圖像是近距離側面拍攝的圖像，圖像的獲取在很大程度上是人為拍攝特定角度的圖片，并且用于試驗的測試圖片每一張只針對一種果實特征，在實際應用中具有一定局限性。此外，Scarfe[13]、詹文田等[5]、崔永杰等[8]、Fu等[14]、傅隆生等[9]的識別方法均需對獼猴桃圖像提取人工選取的底層特征，對圖像進行大量的預處理，操作復雜。另外已有常規算法缺乏高層次表達，難以體現所選底層特征間的空間關系，因此對于識別多果相對困難。

本文提出的算法只需對圖像進行簡單的預處理，用于試驗的測試圖片每一張都包含果實的4種特征，一幅圖片至少包含30個果實以上，并且在單個獼猴桃果實識別速度上本文算法比其他3種算法有了明顯提升。在相同的識別環境下，本文算法的識別率89.29%高于Scarfe[13]的83.56%，提高了5.73個百分點。總體而言，本文提出的基于卷積神經網絡的識別方法具有較強的抗干擾能力，可以同時識別田間復雜環境下的多簇獼猴桃果實，且識別過程耗時短，對光線變化、枝葉遮擋均具有相對較好的魯棒性，更加滿足獼猴桃采摘機器人實際應用中的采摘要求。

4 結 論

1）針對獼猴桃采摘的需求，提出了一種基于卷積神經網絡的田間獼猴桃果實識別方法，本文對LeNet模型進行參數優化和結構約簡，并通過試驗驗證，表明識別模型可以自動從復雜數據中有效學習到獼猴桃的特征，從而避免了常規方法中由研究者主觀選取特征的不足。同時，簡約后的模型在很大程度滿足了在實際中的應用，加強了該模型在常規性能計算平臺上的適應性。

2）本文構建的32×32-6C-2S-16C-2S-120C-2結構卷積神經網絡，經過訓練后對100幅圖像中共包含5 918個獼猴桃果實的識別率達到89.29%，相對其它遠距離底部成像識別多簇獼猴桃果實的識別方法提高了5.73個百分點。在果實識別速度上，本算法達到平均0.27 s識別一個獼猴桃果實，基本上滿足獼猴桃采摘機器人的工作需求。

3）本文所用模型可以應用于田間環境下多果獼猴桃識別，突破了大多數常規識別算法不能同時識別多簇獼猴桃果實的不足，為獼猴桃采摘機器人多機械臂作業的研究提供有力支撐。

目前，該文所用模型可以準確地識別出獼猴桃果實是否存在，但對于一些遮擋和重疊果實沒有達到很好的效果，尤其是兩個或兩個以上相鄰或重疊果實兩側部分輪廓，易被識別為一個果實，從而出現誤識別現象，這種現象有待進一步研究。同時，為了達到推廣應用的效果，下一步將深化網絡結構，增加學習樣本的種類與數量，提高分類器的識別能力。

[1] 張計育，莫正海，黃勝男，等. 21世紀以來世界獼猴桃產業發展以及中國獼猴桃貿易與國際競爭力分析[J]. 中國農學通報，2014，30(23)：48－55.

Zhang Jiyu, Mo Zhenghai, Huang Shengnan, et al. Development of kiwifruit industry in the world and analysis of trade and international competitiveness in china entering 21st century[J]. China Agricultural Science Bulletin, 2014, 30(23): 48－55. (in Chinese with English abstract)

[2] 陳軍，王虎，蔣浩然，等. 獼猴桃采摘機器人末端執行器設計[J]. 農業機械學報，2012，43(10)：151－154.Chen Jun, Wang Hu, Jiang Haoran, et al. Design of end-effector for kiwifruit harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(10): 151－154. (in Chinese with English abstract)

[3] Zhang L, Wang Y, Yang Q, et al. Kinematics and trajectory planning of a cucumber harvesting robot manipulator[J]. International Journal of Agricultural & Biological Engineering, 2009, 2(1): 1－7.

[4] Rakun J, Stajnko D, Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers & Electronics in Agriculture, 2011, 76(1): 80－88.

[5] 詹文田，何東健，史世蓮. 基于Adaboost算法的田間獼猴桃識別方法[J]. 農業工程學報，2013，29(23)：140－146.

Zhan Wentian, He Dongjian, Shi Shilian. Recognition of kiwifruit in field based on Adaboost algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(23): 140－146. (in Chinese with English abstract)

[6] Bechar A, Vigneault C. Agricultural robots for field operations: Concepts and components[J]. Biosystems Engineering, 2016, 149: 94－111.

[7] 傅隆生，張發年，槐島芳德，等. 獼猴桃采摘機器人末端執行器設計與試驗[J]. 農業機械學報，2015，46(3)：1－8.

Fu Longsheng, Zhang Fanian, Gejima Yoshinori , et al. Development and experiment of end-effector for kiwifruit harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 1－8. (in Chinese with English abstract)

[8] 崔永杰，蘇帥，王霞霞，等. 基于機器視覺的自然環境中獼猴桃識別與特征提取[J]. 農業機械學報，2013，44(5)：247－252.

Cui Yongjie, Su Shuai, Wang Xiaxia, et al. Recognition and feature extraction of kiwifruit in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(5): 247－252. (in Chinese with English abstract)

[9] 傅隆生，孫世鵬，Vázquez-Arellano Manuel，等. 基于果萼圖像的獼猴桃果實夜間識別方法[J]. 農業工程學報，2017，33(2)：199－204.

Fu Longsheng, Sun Shipeng, Vázquez-Arellano Manuel, et al. Kiwifruit recognition method at night based on fruit calyx[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(2): 199－204. (in Chinese with English abstract)

[10] 丁亞蘭，耿楠，周全程. 基于圖像的獼猴桃果實目標提取研究[J]. 微計算機信息，2009，18(4)：294－295.

Ding Yalan, Geng Nan, Zhou Quancheng. Research on the object extraction of kiwifruit based on images[J]. Microcomputer Information, 2009, 18(4): 294－295. (in Chinese with English abstract)

[11] 崔永杰，蘇帥，呂志海，等. 基于Hough變換的獼猴桃毗鄰果實的分離方法[J]. 農機化研究，2012，34(12)：166－169.

Cui Yongjie, Su Shuai, Lü Zhihai, et al. A method for separation of kiwifruit adjacent fruits based on Hough transformation[J]. Journal of Agricultural Mechanization Research, 2012, 34(12): 166－169. (in Chinese with English abstract)

[12] 慕軍營，陳軍，孫高杰，等. 基于機器視覺的獼猴桃特征參數提取[J]. 農機化研究，2014，36(6)：138－142.

Mu Junying, Chen Jun, Sun Gaojie, et al. Characteristic parameters extraction of kiwifruit based on machine vision[J]. Journal of Agricultural Mechanization Research, 2014, 36(6): 138－142.(in Chinese with English abstract)

[13] Scarfe A J. Development of an Autonomous Kiwifruit Harvester[D]. New Zealand, Manawatu: Massey University,2012.

[14] Fu L, Wang B, Cui Y, et al. Kiwifruit recognition at nighttime using artificial lighting based on machine vision[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(4): 52－59.

[15] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// Curran Associates Inc. International Conference on Neural Information Processing Systems. 2012: 1097－1105.

[16] Alwzwazy H, Albehadili H, Alwan Y, et al. Handwritten digit recognition using convolutional neural networks[J]. International Journal of Innovative Research in Computer & Communication Engineering, 2016, 4(2): 1101－1106.

[17] Yang W, Jin L, Tao D, et al. Dropsample : A new training method to enhance deep convolutional neural networks for large-scale unconstrained handwritten Chinese character recognition[J]. Pattern Recognition, 2016, 58(4): 190－203.

[18] Albu R D. Human face recognition using convolutional neural networks[J]. Journal of Electrical & Electronics Engineering, 2009, 2(2): 110－113.

[19] Ramaiah N P, Ijjina E P, Mohan C K. Illumination invariant face recognition using convolutional neural networks[C]// IEEE International Conference on Signal Processing, Informatics, Communication and Energy Systems, 2015: 1－4.

[20] Singh R, Om H. Newborn face recognition using deep convolutional neural network[J]. Multimedia Tools & Applications, 2017, 76(18): 19005－19015.

[21] Dobhal T, Shitole V, Thomas G, et al. Human activity recognition using binary motion image and deep learning [J]. Procedia Computer Science, 2015, 58: 178－185.

[22] Ronao C A, Cho S B. Human activity recognition with smartphone sensors using deep learning neural networks[J]. Expert Systems with Applications, 2016, 59: 235－244.

[23] 王忠民，曹洪江，范琳. 一種基于卷積神經網絡深度學習的人體行為識別方法[J]. 計算機科學，2016，43(s2)：56－58.

Wang Zhongmin, Cao Hongjiang, Fan Lin. Method on human activity recognition based on convolutional neural networks[J]. Computer Science, 2016, 43(s2): 56－58. (in Chinese with English abstract)

[24] 高震宇，王安，劉勇，等. 基于卷積神經網絡的鮮茶葉智能分選系統研究[J]. 農業機械學報，2017，48(7)：53－58.

Gao Zhenyu, Wang An, Liu Yong, et al. Intelligent fresh-tea-leaves sorting system research based on convolution neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(7): 53－58. (in Chinese with English abstract)

[25] 周云成，許童羽，鄭偉，等. 基于深度卷積神經網絡的番茄主要器官分類識別方法[J]. 農業工程學報，2017，33(15)：219－226.

Zhou Yuncheng, Xu Tongyu, Zheng Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219－226. (in Chinese with English abstract)

[26] 王前程. 基于深度學習的水果圖像識別算法研究[D].保定：河北大學，2016.

Wang Qiancheng, The Algorithm Research of Fruit Image Recognition Based on Deep Learning[D]. Baoding: Hebei University，2016. (in Chinese with English abstract)

[27] Sa I, Ge Z, Dayoub F, et al. Deepfruits: A fruit detection system using deep neural networks[J]. Sensors, 2016, 16(8): 1－23.

[28] 楊國國，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經網絡的茶園害蟲定位與識別[J]. 農業工程學報，2017，33(6)：156－162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156－162. (in Chinese with English abstract)

[29] Vedaldi A, Lenc K. MatConvNet: Convolutional neural networks for MATLAB[C]// 23rd ACM International Conference on Multimedia, Brisbane, Australia, 2015: 689－692.

[30] Lécun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278－2324.

[31]李輝，石波. 基于卷積神經網絡的人臉識別算法[J].軟件導刊, 2017,16(3):26－29.

[32] 宋懷波，張衛園，張欣欣，等. 基于模糊集理論的蘋果表面陰影去除方法[J]. 農業工程學報，2014，30(3)：135－141.

Song Huaibo, Zhang Weiyuan, Zhang Xinxin, et al. Shadow removal method of apples based on fuzzy set theory[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(3): 135－141. (in Chinese with English abstract)

Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks

Fu Longsheng1,2, Feng Yali1, Elkamil Tola3, Liu Zhihao1, Li Rui1, Cui Yongjie1,2

(1.712100; 2.712100; 3.)

China is the largest country for cultivating kiwifruit, and Shaanxi Province provides the largest production, which accounts for approximately 70% of the production in China and 33% of the global production. Harvesting kiwifruit in this region relies mainly on manual picking which is labor-intensive. Therefore, the introduction of robotic harvesting is highly desirable and suitable. The fast and effective recognition of kiwifruit in the field under natural scenes is one of the key technologies for robotic harvesting. Recently, the study on kiwifruit recognition has been limited to a single cluster and multi clusters in the field have seldom been considered. In this paper, according to growth characteristics of kiwifruit grown on sturdy support structures, an RGB (red, green, blue) camera was placed around 100 cm underneath the canopy so that kiwifruit clusters could be included in the images. We proposed a kiwifruit image recognition system based on the convolutional neural network (CNN), which has a good robustness avoiding the subjectivity and limitation of the features selection by artificial means. The CNN could be trained end to end, from raw pixels to ultimate categories, and we optimized the critical structure parameters and the training strategy. Ultimately, the network was made up of 1 input layer, 3 convolutional layers, 2 sub-sampling layers, 1 full convolutional layer, and 1 output layer. The CNN architecture was optimized by using batch normalization (BN) method, which normalized the data distribution of the middle layer and the output data, accelerating the training convergence and reducing the training time. Therefore, the BN layers were added after the 1, 3 and 5th convolutional layer (Conv1, Conv3, and Conv5 layer) of the original LeNet network. The size of all convolutional kernels was 5×5, and that of all the sub-sampling layers was 2×2. The feature map numbers of Conv1, Conv3, and Conv5 were 6, 16 and 120, respectively. After manual selection and normalizing, the RGB image of kiwifruit was transferred into a matrix with the size of 32×32 as the input of the network, stochastic gradient descent was used to train our models with mini-batch size of 100 examples, and momentum was set as 0.9. In addition, the CNN took advantages of the part connections, the weight sharing and Max pooling techniques to lower complexity and improve the training performance of the model simultaneously. The network used rectified linear units (ReLU) as activation function, which could greatly accelerate network convergence. The proposed model for training kiwifruit was represented as 32×32-6C-2S-16C-2S-120C-2. Finally, 100 images of kiwifruit in the field (including 5918 fruits) were used to test the model, and the results showed that the recognition ratios of occluded fruit, overlapped fruit, adjacent fruit and separated fruit were 78.97%, 83.11%, 91.01% and 94.78%, respectively. The overall recognition rate of the model reached 89.29%, and it only took 0.27 s in average to recognize a fruit. There was no overlap between the testing samples and the training samples, which indicated that the network had a high generalization performance, and the testing images were captured from 9 a.m. to 5 p.m., which indicated the network had a good robustness to lightness variations. However, some fruits were wrongly detected and undetected, which included the fruits occluded by branches or leaves, overlapped to each other and the ones under extremely strong sunlight. Particularly, 2 or more fruits overlapped were recognized as one fruit, which was the main reason to the success rate not very high. This phenomenon demands a further research. By comparing with the conventional methods, it suggested that the method proposed obtained a higher recognition rate and better speed, and especially it could simultaneously identify multi-cluster kiwifruit in the field, which provided significant support for multi-arm operation of harvesting robotic. It proves that the CNN has a great potential for recognition of fruits in the field.

image processing; image recognition; algorithms; deep learning; convolutional neural network; kiwifruit

10.11975/j.issn.1002-6819.2018.02.028

TP391.41

A

1002-6819(2018)-02-0205-07

2017-08-28

2017-12-26

陜西省重點研發計劃一般項目（2017NY-164）；陜西省科技統籌創新工程計劃項目（2015KTCQ02-12）；國家自然科學基金資助項目（61175099）；西北農林科技大學國際合作種子基金（A213021505）

傅隆生，江西吉安人，副教授，博士，主要從事農業智能化技術與裝備研究。Email：fulsh@nwafu.edu.cn

中國農業工程學會會員：傅隆生（E042600025M）

傅隆生，馮亞利，Elkamil Tola，劉智豪，李 瑞，崔永杰. 基于卷積神經網絡的田間多簇獼猴桃圖像識別方法[J]. 農業工程學報，2018，34(2)：205－211. doi：10.11975/j.issn.1002-6819.2018.02.028 http://www.tcsae.org

Fu Longsheng, Feng Yali, Elkamil Tola, Liu Zhihao, Li Rui, Cui Yongjie. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205－211. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.02.028 http://www.tcsae.org