穆龍濤 高宗斌 崔永杰,2 李 凱 劉浩洲 傅隆生,3
(1.西北農林科技大學機械與電子工程學院, 陜西楊凌 712100; 2.農業農村部農業物聯網重點實驗室, 陜西楊凌 712100;3.陜西省農業信息感知與智能服務重點實驗室, 陜西楊凌 712100)
中國獼猴桃種植面積和總產量位居世界前列[1],且經濟效益高[2],但目前多采用人工采摘收獲,耗時且勞動力成本高[3-5],亟待實現果實采摘的機械化與自動化。目前,國內外學者對果實采摘機器人進行了研究,但采摘效率較低[6-7]。要提高采摘效率,獼猴桃果實的精準識別定位尤為重要。由于獼猴桃果實在田間受不同天氣(晴天、陰天)及不同光照強度變化的影響,且由于果實大小各異并存在枝葉或果實重疊遮擋等情況,對廣域復雜環境中多目標果實的準確識別造成很大困難。因此,廣域復雜環境下存在遮擋情況的多目標識別對提高機器人采摘效率并實現自動化及智能化具有重要意義。
針對棚架式栽培獼猴桃識別,多采用如Sobel邊緣提取[8]、Hough變換[9]、構建顏色網絡的識別分類器[10]、果萼特征識別[11]、K-means多目標識別[12]等傳統圖像處理方法,上述方法基于像素顏色、形狀或紋理特征,主要針對近距離拍攝的小范圍少量果實圖像進行目標識別,對于單簇果實的識別效果較好。而對于廣域復雜環境下所采集的獼猴桃果實圖像中果實目標小且密集,其中包括多個果實簇,果實數量達30個以上,并且受光照強弱變化及枯枝葉遮擋情況的影響,易對圖像成像品質產生較大影響,進而造成目標誤識別與漏識別[13]。因此,需要對廣域復雜環境下細小而密集型多目標果實的識別方法進行研究。
卷積神經網絡(Convolutional neural network,CNN)對于農作物圖像具有很好的分類和表征識別能力[14]。文獻[15]使用LeNet提高了獼猴桃識別精度和速度,卻未對枝葉遮擋或果實重疊遮擋所致的誤識別或漏識別等問題進行研究。文獻[16]提出一種SSD網絡,對具有復雜特征的4種水果進行了目標識別。另外,文獻[17]利用深度網絡亦對復雜特征的不同種類水果進行了識別,均取得了較好的識別效果,但上述兩種方法未能解決復雜環境下小而密集的多目標果實遮擋識別問題。文獻[18]通過ResNet對疏果前蘋果進行識別研究,取得了較高的識別精度,但存在漏識別現象。文獻[19]采用YOLO v3來定位蘋果目標,精度高且速度快,但該網絡對密集的小目標檢測效果不佳。除將YOLO檢測網絡用于圖像識別以外,還有將Faster R-CNN應用于存在部分目標被遮擋情況的圖像進行分類和識別方面[20],如對污損指紋[21]和遮擋面部[22-23]等特征缺失圖像的識別與分類。此外,CNN還被應用于作物病蟲害檢測及識別[24-25]、作物器官[26]和品種識別[27-28]、雜草識別及外形分級[29-30]等農業領域。盡管上述對CNN的研究解決了不同領域復雜圖像中的目標檢測存在耗時費力且精度較低等問題,但對于廣域復雜環境下果實受葉片遮擋或果實相互遮擋情況下的小而密集的目標識別研究較少。研究表明,Faster R-CNN對圖像中多個小而密集的目標識別效果較好[31]。另外,對比深度神經網絡中LeNet、AlexNet、VGG16、ResNet18、YOLO等結構,AlexNet具有層數相對較少、參數少和所需計算資源低等優勢,而簡化網絡結構對于網絡在實際部署和應用中優化網絡至關重要[31-32]。因此本文采用改進AlexNet為特征提取層的Faster R-CNN目標檢測算法進行獼猴桃果實識別。
通過對獼猴桃果園實地環境進行調研后發現:獼猴桃果實呈簇生生長,且受枝葉遮擋及果實相互遮擋等情況約占26.4%。由此可見,對廣域復雜環境下獼猴桃受枝葉遮擋或果實相互遮擋情況下的目標精準識別,成為研究的難點與關鍵。鑒于此,本文提出一種基于改進AlexNet的廣域復雜環境下獼猴桃受枝葉遮擋或果實相互重疊遮擋的目標識別方法,以期解決此情況下目標漏識別和誤識別等多目標識別與定位缺陷問題,為獼猴桃采摘機器人在田間復雜環境下高效精準作業奠定基礎。
本文試驗樣本數據庫的圖像采集地點選自陜西省秦嶺北麓獼猴桃產區(34°7′39″N, 107°59′50″E, 海拔約648 m)西北農林科技大學(眉縣)獼猴桃試驗站,以海沃德獼猴桃作為本研究所需圖像采集對象。海沃德獼猴桃以棚架式栽培為主,棚架高1.8 m,兩行間距4.0 m,果實分布于棚架底部呈簇生且自然下垂式生長(圖1),該地區天氣條件復雜多變,由于獼猴桃果實受枝葉遮擋且存在果實相互遮擋等情況,眾多復雜因素對獼猴桃果實的精準識別造成較大影響,同時對獼猴桃采摘機器人的實地高效精準作業造成一定影響。

圖1 獼猴桃的棚架栽培模式Fig.1 Scaffolding cultivation kiwifruit tree1.果實簇 2.果樹 3.棚架
圖像采集裝置如圖2所示,采用CCD(型號:Microsoft LifeCam)和Kinect v2傳感器。將CCD和Kinect v2分別安裝于三角架上,并與計算機相連(試驗軟件平臺為LifeCam Studio 和 Kinect for windows SDK,硬件平臺為Dell i5-8250U 1.80 GHz處理器,4 GB內存),從棚架底部利用圖2所示圖像采集裝置豎直向上對廣域復雜環境下的多目標簇生獼猴桃果實進行圖像采集,其中包括果實受枝葉遮擋或果實間相互遮擋的情況。另外,因果園地面平整度有差異,并非完全平整的硬質地面,因此為保證所采集圖像的成像品質,每次進行圖像采集時,均通過調整三腳架來確保相機處于水平位置且鏡頭距棚架平面下方(0.8±0.1) m處。此外,對于夜間環境下的圖像采集均使用LED補光燈(CM-LED 1200HS型,KEMA Co.)提供光源以進行照明。

圖2 獼猴桃圖像采集裝置Fig.2 Device of kiwifruit image acquisition with artificial light1.LED補光燈 2.相機 3.果實簇 4.計算機 5.小車
綜合考慮天氣及光照因素,于2018年9—10月對海沃德獼猴桃進行了圖像采集。采集工作分別選擇在2種不同天氣(晴天、陰天)條件下進行,其中在晴天條件下采集圖像時,重點考慮光照強度和角度變化,采集晴天逆光、晴天側逆光2種條件下的獼猴桃圖像。共采集晴天逆光(Sunny backlight,SB)、側逆光(Sunny rembrandt light, SR)、陰天(Cloudy, CL)和夜間補光(Night with illumination, NI;光照強度為30~50 lx[4])4種類型樣本圖像共1 823幅(圖3),圖像總共包含獼猴桃果實樣本約為46 394個,并且4種類型的樣本圖像中均存在果實被非目標物(如枝葉)所遮擋或果實間相互遮擋等情況。將所采集樣本統一設置為jpg格式的多尺度RGB圖像(分辨率為640像素×360像素、640像素×480像素、1 920像素×1 080像素),以避免因棚架高度不均勻造成的遮擋果實圖像多樣性的影響。由此建立試驗樣本數據庫。

圖3 廣域復雜環境下采集的獼猴桃圖像Fig.3 Complex kiwifruit images under far-view environment
在對4類圖像進行采集的過程中,均需要考慮遮擋所造成的影響。由于部分果實生長位置所在平面距地面平均高度超過棚架平均高度而被棚架所遮擋,也有部分果實顏色與枯葉、枝干的灰暗色相近,上述2種情況均無法分辨果萼及果實輪廓,因此該情況的果實不易被識別。本研究對存在部分遮擋情況的果實目標(即輪廓不全的獼猴桃果實圖像)隨機選取并進行圖像采集,其中包括枝葉遮擋(圖4a)、光照及陰影遮擋(圖4b)、果實重疊遮擋(圖4c)、果實簇密集生長觸碰遮擋(圖4d)等情形,均歸類為本文所表述的部分遮擋果實圖像。
對所采集的1 823幅獼猴桃果實樣本圖像按照4種采集條件和4種遮擋類型情況分別進行數量統計,如表1所示。其中每種采集條件圖像中均包含4類目標被遮擋情況。
本研究將試驗樣本數據庫中的1 823幅獼猴桃樣本圖像,進行亮度、對比度調整,分別將亮度、對比度設置為60%、70%、80%、90%、110%、120%、130%、140%,并將高亮度設置為120%和140%。將試驗樣本進行數據增強(Data augmentation),經擴充后,樣本集圖像數量增加到21 147幅。隨機抽選65%的樣本數據(15 132幅)作為訓練集,剩余35%樣本數據(6 015幅)作為測試集。其中訓練集所有標簽都經過人工標定,標定原則為:對訓練集每一幅樣本中的果實前景目標以最小外接矩形對其進行畫框標定,包括前景目標輪廓不全的果實也將其進行畫框標定,以保證果實特征標簽訓練的可靠性,避免偶然因素對網絡訓練及后期測試造成的影響。另外,為開展獼猴桃果園實地的果實目標現場識別試驗,隨機選取現場目標果實進行圖像采集,將新采集的340幅圖像用于實地現場識別驗證。在具體識別檢測試驗中,圖像數據集的多樣性能夠促進網絡訓練學習的有效性及網絡泛化能力,提高果實目標的識別精度。

圖4 不同遮擋類型的獼猴桃圖像樣本示例Fig.4 Examples of kiwifruit images with different occluded conditions

采集條件圖像數量/幅遮擋圖像數量/幅類型1類型2類型3類型4遮擋圖像比例/%SB576497223826.39SR3683932151126.36CL5498218281726.41NI330560191226.36合計18232261228548
1.3.1遷移學習

圖5 基于改進AlexNet的Faster R-CNN網絡結構Fig.5 Structure of faster R-CNN model with AlexNet
AlexNet的全連接層的作用是進行分類判別[33-34],利用卷積層對訓練集圖像提取到的特征來判斷所識別測試集圖像中的特征區域屬于獼猴桃果實區域還是屬于背景區域[35]。由于遷移學習可提高網絡識別精度,因此,通過遷移學習將AlexNet預訓練得到的權重用于獼猴桃果實目標的檢測,保留原網絡的卷積層,同時對全連接層參數進行調整。利用提取的特征,可將獼猴桃識別檢測視為區分果實與背景的一個二分類問題(1屬于獼猴桃,0屬于背景)。并通過對AlexNet網絡的L6~L8的全連接層參數、訓練參數和防止過擬合(Dropout)的參數進行微調,能夠提高果實的識別精度。本研究對Faster R-CNN網絡中的AlexNet特征提取層進行改進,其網絡結構如圖5所示。
神經網絡輸出層公式為
(1)
式中i——輸入單元序號

j——隱含層序號


d——濾波器個數

l——網絡層序號
由于改進AlexNet的輸出與原圖尺寸相同,因此通過對L6、L7進行設置來降低特征維度,使其輸出尺寸和原圖一致,輸出層則采用ReLU函數作為激活函數,其函數表達式為

(2)
對改進AlexNet進行訓練,為使訓練精確度更高,損失函數采用二次均方誤差函數(Mean squared squared error,MSSE),其函數表達式為
(3)
式中ω——權重Y(i)——原始值
|Y|——樣本個數
1.3.2Im-AlexNet結構
AlexNet網絡的卷積核尺寸、數量及步長對于網絡識別精度影響顯著,為避免過擬合和訓練速度減慢,僅以檢測獼猴桃果實特征為主,并對AlexNet網絡結構進行改進:保留AlexNet前5個卷積層,去除所有全連接層。并對網絡進行調參,通過將AlexNet中L6、L7的全連接層參數從24~214依次設置進行多輪訓練,并將L6、L7全連接層在不同參數設置下的網絡識別精度(Average precision,AP)VAP進行對比,識別精度在不同參數設置下的統計結果,如表2所示。經對測試集進行試驗得出,當AlexNet中的全連接層L6、L7的節點數為768和256時,改進的AlexNet對獼猴桃果實識別精度最高。

表2 全連接層參數微調測試及對應識別精度Tab.2 Fine-tuning full connection layer parameters and recognition results
由于卷積層的作用是提取圖像特征,從淺層卷積層對邊緣、顏色等底層特征的提取到深層卷積層對目標高級特征的提取過程中,通過保留卷積層和預訓練權重,可使網絡收斂更快,提取目標特征更容易,因此本研究并未對AlexNet網絡的卷積層參數進行改動設置。其中,所保留的AlexNet第1層卷積核大小為11×11×3;第2層卷積核大小為5×5×48,與原網絡的卷積層設置一致[35-36]。因此可知,用于獼猴桃識別的改進AlexNet包括5個卷積層、2個全連接層和1個輸出層。由于考慮到獼猴桃果實識別屬于二分類問題,將最后一個全連接層參數設置為2。并將改進的AlexNet網絡命名為Im-AlexNet。網絡結構修改調整后的具體網絡參數配置如表3所示。

表3 Im-AlexNet網絡結構的參數設置Tab.3 Parameters of Im-AlexNet model
選用艮泰SP16HDIET深度學習計算模擬機作為訓練處理平臺,處理器為Intel Xeon E5-1650 v4,主頻為3.6 GHz;32 GB內存;顯卡為Nvidia TITAN XP(GPU),12 GB GDRR5顯存;2TB 7200RPM SATA硬盤。使用的深度學習軟件為Matlab 2018a,Deep learning toolbox model for AlexNet network,支持GPU運算。
根據表3所示網絡結構進行參數設置后,對候選區域網絡(Region proposal network,RPN)進行多輪訓練并進行測試試驗。具體訓練過程中,將起始學習率(Learning rate)設為0.001,每批圖像數量設置為64,動量(Momentum)設置為0.9,權值衰減(Decay)設置為0.000 5,最大迭代次數設置為60次;并在L6、L7全連接層中加入Dropout層,以確保每層提取特征的相互獨立,同時將防止過擬合Dropout設置為0.4,此時網絡的識別精度較高。Im-AlexNet最終輸出為獼猴桃目標果實的識別結果,為提高獼猴桃目標的識別精度,本研究僅保留置信度大于0.85的目標。為驗證本研究所提算法的有效性,在與上述參數配置相同情況下,對LeNet、AlexNet和VGG16網絡進行識別測試驗證,并對識別結果進行數據統計。
為驗證本研究所提識別方法的性能優越性,用AP對Im-AlexNet網絡的識別性能進行評價,AP是PR曲線在準確率基礎上對召回率的積分[36]。評價指標為
(4)
(5)

(6)
式中P——準確率R——召回率
TP——算法正確識別的獼猴桃數量
FP——將背景誤識別為獼猴桃的數量
FN——未識別到的獼猴桃數量
利用Im-AlexNet對訓練集進行訓練,共分為4步,損失函數(Loss function)每一步訓練采用60次迭代運算,4步訓練的損失函數值變化曲線如圖6所示。

圖6 獼猴桃樣本訓練損失函數值變化曲線Fig.6 Loss changing curves of training using Im-AlexNet
由圖6可看出,第1步使用ImageNet網絡初始化,獨立訓練一個RPN網絡,訓練迭代次數(Epochs)由0次逐漸增加到60次的過程中,損失函數值由0.85降至0.35;第2步繼續使用ImageNet,將上一步RPN網絡產生的候選框(Proposal)作為輸入,訓練一個Fast R-CNN網絡,訓練迭代由0次逐漸增加到60次的過程中,損失函數值由0.90降至0.63;第3步使用第2步的Fast R-CNN參數初始化一個新的RPN網絡,并將其共享卷積層的學習率設置為0,僅更新RPN特有的網絡層,重新訓練兩個網絡已共享的所有公共卷積層,訓練迭代由0次逐漸增加到60次的過程中,損失函數值由0.65降至0.41;第4步保持共享的卷積層固定,微調Fast R-CNN的全連接層,訓練迭代由0次逐漸增加到60次的過程中,損失函數值由0.72降至0.61。此時,網絡內部預測Proposal并實現獼猴桃果實的目標檢測。通過數據分析,從圖6整體來看,隨迭代次數不斷增加,訓練集和驗證集的分類誤差基本呈逐漸降低趨勢,訓練損失基本收斂到穩定值,表明Im-AlexNet基本達到了預期的訓練效果。
利用LeNet、AlexNet、VGG16和Im-AlexNet分別對試驗樣本數據庫中篩選出的包含4類采集條件的圖像訓練集進行標記并進行交叉訓練,驗證測試集中所包含的4類采集條件圖像測試集的識別精度。其中,4種網絡分別對4種不同類型圖像的識別精度統計結果如表4所示。

表4 不同網絡識別獼猴桃圖像試驗結果Tab.4 Recognition results of kiwifruit used different networks
3.2.1不同光照條件下的識別結果
由表4可知,Im-AlexNet對4種類型的樣本圖像識別精度明顯高于LeNet、AlexNet和VGG16,Im-AlexNet識別精度比LeNet、AlexNet和VGG16 3種網絡識別精度的平均值高出5.74個百分點。其中夜間和晴天側逆光條件下的圖像識別精度較高,對于晴天逆光條件下的圖像識別精度較低,由此說明光照變化對于圖像成像品質影響較大,當光照強度過大且不均勻時易形成逆光條件,逆光、光照強度對于圖像識別精度有較大影響。
使用準確率-召回率曲線來凸顯分類器在準確率與召回率間的權衡關系。Im-AlexNet對獼猴桃目標識別的準確率-召回率曲線如圖7所示。

圖7 Im-AlexNet的準確率-召回率曲線Fig.7 Precision-recall curves of Im-AlexNet
由圖7可得出,所選擇網絡在召回率增長的同時,準確率保持在一個較高的水平,說明Im-AlexNet對于多目標獼猴桃果實的識別精度較高,識別精度為96.00%。為保證本研究所提出Im-AlexNet與LeNet、AlexNet和VGG16 3種網絡對比論證的科學嚴謹性,均選用相同采集條件下所獲取的遮擋情況相同、背景一致、曝光程度相同的同類型圖像進行目標識別檢測試驗(以SR圖像為例),其關于4種網絡對測試集圖像的識別結果實例,如圖8所示。由圖8可看出,相較于LeNet、AlexNet和VGG16,本研究所提出的Im-AlexNet對獼猴桃果實的目標識別精度更高,漏識別和誤識別情況較少,而LeNet、AlexNet和VGG16在對測試集圖像進行目標檢測的識別過程中,目標漏識別率和誤識別率較高(圖8中紅框的標記位置為算法識別的結果,黃色框的標記位置為漏識別和誤識別果實)。由此可知,Im-AlexNet能夠克服田間環境變化對圖像成像品質的影響,對于獼猴桃目標果實的精準識別性能更加優良。

圖8 4種網絡對獼猴桃果實圖像的識別結果對比Fig.8 Comparison of kiwifruit recognition results used four networks
3.2.2存在遮擋情況下的識別結果
將試驗樣本數據庫中(表1)的遮擋樣本作為測試集,利用LeNet、AlexNet、VGG16、Im-AlexNet網絡進行目標識別驗證,試驗結果表明對廣域復雜環境下存在遮擋情況的4類獼猴桃果實圖像的目標識別精度分別為83.01%、89.36%、89.52%、94.75%??擅黠@看出該Im-AlexNet網絡對于廣域復雜環境下果實遮擋情況的識別精度明顯優于LeNet、AlexNet和VGG16 3種網絡,由此可證明該算法能夠降低對獼猴桃果實遮擋情況下的漏識別率與誤識別率,并能夠提高對目標果實的識別精度,亦證明本研究所提出的Im-AlexNet能夠應用于獼猴桃采摘機器人對廣域復雜環境下存在遮擋情況的目標果實識別。
3.3.1不同光照條件下的識別結果
針對廣域復雜環境下生長的獼猴桃,將上述經過樣本標記訓練后的Im-AlexNet應用于采摘機器人視覺識別模塊(Kinect v2和軟件Matlab 2018a)和便攜計算機(Dell i5-8250U),對實地果園環境中的獼猴桃果實進行檢測識別與目標驗證,并將目標檢測所獲取的用以驗證實地大田環境下采摘機器人視覺識別模塊性能的340幅(果實數量為10 177個)驗證圖像建立試驗集,其中包括晴天逆光(圖9a)、晴天側逆光(圖9b)、陰天(圖9c)、夜間補光(圖9d)4類圖像。利用采摘機器人的視覺識別模塊對驗證集進行目標識別驗證,具體識別統計結果如表5所示。
由表5可知,Im-AlexNet對于獼猴桃果實目標具有較好的識別效果,對4類圖像的識別精度的平均值為(96.00±0.16)%。經統計,該網絡對4種類型圖像的正確識別果實總數為9 804個,漏識別果實總數為373個,誤識別果實總數為403個,其中,對晴天逆光和側逆光類型圖像的果實誤識別情況較嚴重,誤識別果實總數達到335個,明顯高于陰天和夜間補光2種類型圖像,造成誤識別的主要原因是受自然光的影響,因強光照射使得采摘機器人視覺識別模塊所獲取圖像中目標前景特征與背景區分不明顯或因異物遮擋果實所致。
本文識別方法對4種類型圖像的目標識別檢測示例如圖9所示,圖中1、2、3表示逆光(陰影)、被枝葉遮擋、果實簇重疊遮擋情況,4、5表示漏識別和誤識別的情況。由圖9可明顯看出Im-AlexNet網絡能夠對廣域復雜環境下包括晴天逆光、晴天側逆光、陰天、夜間補光的4類獼猴桃果實圖像的前景目標進行有效準確識別。另外,將所得圖像識別結果中被標定框標記鎖定的目標果實位置設為(xi,yi,wi,hi),其平面坐標中心點則作為機器人末端執行器對該目標果實的采摘抓取位置,并且果實果萼的位置坐標誤差,在采摘機器人末端執行器的容差范圍內(25 mm)[37]。因此,該網絡對目標果實的識別精度和定位精度均滿足獼猴桃采摘機器人的要求。試驗結果表明,Im-AlexNet網絡泛化性較好,滿足獼猴桃采摘機器人在實際生產中對視覺系統識別精度與識別速度的要求。

圖9 不同光照條件下獼猴桃果實識別結果示例Fig.9 Recognition results examples of kiwifruit under different illuminations

序號圖像類型實際果實數量/個正確識別果實數誤識別果實數漏識別果實數VAP/%識別時間/s單幅圖像平均果實數量/個1SB16681574379494.39±0.111.07422SR3125300529812096.87±0.211.10303CL13001229627194.91±0.191.02224NI4084399668897.83±0.141.0854合計101779804403373平均96.00±0.161.0737
3.3.2存在遮擋情況下的識別結果
本研究重點對驗證集圖像中的遮擋情況進行分析討論,并利用Im-AlexNet網絡對存在遮擋情況(表1,共4種類型)的果實目標進行識別驗證。通過分析可知,遮擋情況主要由于逆光拍攝造成光影遮擋(圖9a),致使目標果實與背景不易區分,導致識別率降低;另外,由于獼猴桃呈現簇生密集生長(圖9b、9c),使得在對廣域范圍內的獼猴桃果實進行圖像采集時,獲取到的目標前景特征多為小而密集目標,而所采集圖像中僅存在單個或稀疏少量果實前景目標的情況占極少數,因此,易導致對目標果實的識別精度有所降低。通過Im-AlexNet對存在上述遮擋情況的圖像進行目標檢測識別,識別結果表明,Im-AlexNet網絡能夠克服因果實部分遮擋對識別所造成的影響(圖9a、9c),但亦存在因果實簇間相互重疊遮擋所致的被遮擋果實漏識別情況的發生(圖9b、9d),同時也存在果實被枯枝葉所遮擋而導致果實誤識別的情況(圖9c)。
較其他識別方法而言,本文所提出的識別方法性能優越。在有關目標識別的研究當中,文獻[15]用LeNet網絡對獼猴桃的識別精度為89.29%,而本研究采用的Im-AlexNet識別精度達到96.00%,比LeNet網絡識別率高出6.71個百分點;文獻[16]所提出4種果實的SSD網絡識別方法對無遮擋情況下單簇果實圖像識別精度較高,但對于多簇果實圖像的識別精度并未做研究說明。同時,在識別精度相同的情況下,本文所提出的基于Im-AlexNet網絡的多目標果實識別方法,在對單幅圖像進行目標識別時,識別率遠高于文獻[16]所提方法,而對圖像中單果識別時間遠快于文獻[16]所提方法。文獻[18]R_FCN網絡對疏果前蘋果與綠葉背景相近的目標特征檢測識別進行了研究,取得了一定成效,但存在漏識別的現象。與文獻[19]所采用的YOLO v3網絡相比,該網絡對于密集且小的獼猴桃目標檢測效果不佳。本文采用的Im-AlexNet識別率較高,能夠克服光照變化、枝葉遮擋對圖像識別精度造成的影響,減少了誤識別、漏識別果實的數量。該方法具有較好的可操控性和實用性,且對網絡進行了精簡,便于植入到移動端,能夠滿足獼猴桃采摘機器人果園移動式作業的需求。本研究通過對AlexNet網絡進行改進,通過遷移學習對AlexNet網絡當中的全連接層節點數量進行微調,有效解決了晴天逆光、晴天側逆光、陰天和夜間補光4種條件下有遮擋情況存在的獼猴桃果實目標識別精度較低的問題。且將Im-AlexNet 、LeNet、AlexNet和VGG16網絡的識別精度進行對比,Im-AlexNet的識別精度較高(表4)。此外,文中并未選擇使用如Faster R-CNN(VGG19,ResNet)、YOLO v3等類型的深層網絡,其主要原因是該網絡較大,無法被植入移動端控制器當中,降低了CNN在獼猴桃采摘機器人視覺系統實際應用中的性價比。
(1)針對獼猴桃采摘機器人信息感知單元對存在遮擋情況下的目標果實識別精度較低等問題,提出一種基于Im-AlexNet網絡的廣域復雜環境遮擋情況下的多目標果實識別方法。利用Im-AlexNet網絡實現對4類獼猴桃果實的圖像識別,識別精度為96.00%,單幅圖像識別時間約為1 s。滿足獼猴桃采摘機器人在實際生產中對視覺系統識別精度及識別速度的要求。
(2)提出的Im-AlexNet降低了網絡復雜程度,通過減少全連接層參數而壓縮了網絡,減少了計算量,對于廣域復雜環境下存在遮擋情況的獼猴桃果實圖像的目標識別精度有較大提高。
(3)利用搭建的獼猴桃采摘機器人試驗平臺,對實地田間生長的獼猴桃果實進行了識別測試,結果表明,本文提出的以Im-AlexNet為特征提取層的Faster R-CNN網絡,相比其他網絡具有更高的識別精度。本研究為多機械手采摘機器人協同作業任務分配方法的研究奠定了基礎,同時也促進了獼猴桃采摘機器人工作效率的提高。