基于深度學(xué)習(xí)的復(fù)雜自然環(huán)境下桑樹(shù)枝干識(shí)別方法*

任浩，李麗，盧世博，陳靜姚，張?jiān)品?/p>

(1. 西南大學(xué)工程技術(shù)學(xué)院，重慶市，400715； 2. 宜賓西南大學(xué)研究院，四川宜賓，644000；3. 重慶祥飛蠶桑有限公司，重慶市，401520)

0 引言

我國(guó)蠶桑產(chǎn)業(yè)是漢文化的主體文化，其代表著絲綢文化。為契合“一帶一路”中“一路”絲綢產(chǎn)業(yè)的提升，促進(jìn)鄉(xiāng)村振興、切合國(guó)家“十四五”規(guī)劃、促使蠶桑產(chǎn)業(yè)的快速發(fā)展，國(guó)家及相關(guān)部門(mén)出臺(tái)了一系列政策文件[1-2]，鼓勵(lì)因地制宜發(fā)展蠶桑等特色產(chǎn)業(yè)。蠶桑屬于種植與養(yǎng)殖相結(jié)合的產(chǎn)業(yè)，由統(tǒng)計(jì)數(shù)據(jù)[3]可知，2021年中國(guó)桑蠶繭的產(chǎn)值達(dá)367.15億元，較上年增加52.99%?，F(xiàn)階段，隨著工業(yè)經(jīng)濟(jì)與第三產(chǎn)業(yè)的發(fā)展促使大量勞動(dòng)力進(jìn)入城市，農(nóng)村桑園留守勞動(dòng)力老齡化嚴(yán)重，蠶桑行業(yè)受到打擊。現(xiàn)雖有一些相關(guān)機(jī)械設(shè)備[4]，但并未實(shí)現(xiàn)智能化，如胡迎春等研發(fā)的搖桿式桑葉采摘機(jī)、往復(fù)式桑葉采摘機(jī)、螺旋式桑葉采摘機(jī)[5]和楊自棟[6]教授團(tuán)隊(duì)研發(fā)的梳刷式電動(dòng)樹(shù)葉采摘收集機(jī)，都需要先手動(dòng)對(duì)枝干定位再進(jìn)行采摘。我國(guó)桑樹(shù)從伐條后發(fā)芽到九月下旬期間，桑葉的生長(zhǎng)量占到了總生長(zhǎng)量的約85%。在這期間，要進(jìn)行多次桑葉采摘，并要求采摘桑葉時(shí)不能損傷桑樹(shù)枝干并保留頂端用于喂養(yǎng)幼蠶的嫩葉。集中大量的桑葉采摘工作要求蠶桑產(chǎn)業(yè)由傳統(tǒng)向現(xiàn)代轉(zhuǎn)變，由人力向智能化轉(zhuǎn)變[7]。

為實(shí)現(xiàn)桑葉采摘機(jī)的智能化，首先要實(shí)現(xiàn)在復(fù)雜自然條件下完成對(duì)桑樹(shù)枝干的識(shí)別。張富貴等[8]通過(guò)對(duì)RGB圖像分量的分析和閾值處理對(duì)果樹(shù)進(jìn)行分割，準(zhǔn)確率為79.67%。賀磊盈等[9]通過(guò)雙輪廓同步跟蹤方法對(duì)無(wú)葉核桃樹(shù)進(jìn)行枝干重建，但不適用于桑樹(shù)葉片較多的場(chǎng)景。Tabb等[10]通過(guò)超像素確定背景低紋理區(qū)域再對(duì)果樹(shù)枝干進(jìn)行分割，適應(yīng)于簡(jiǎn)單背景。Amatya等[11]通過(guò)聚類以及幾何方法實(shí)現(xiàn)對(duì)櫻桃樹(shù)單條枝干的檢測(cè)。Majeed等[12]使用卷積神經(jīng)網(wǎng)絡(luò)和Kinect V2相機(jī)實(shí)現(xiàn)了對(duì)蘋(píng)果樹(shù)無(wú)遮擋的主干和分支的分割，精度分別為92%和93%。Shalal等[13]利用相機(jī)和激光掃描儀對(duì)果樹(shù)樹(shù)干進(jìn)行檢測(cè)，其檢測(cè)精度為96.64%，該方法適應(yīng)于對(duì)較粗的主樹(shù)干進(jìn)行檢測(cè)，不適應(yīng)于桑枝這類較細(xì)枝干的識(shí)別。Zhang等[14]通過(guò)RCNN與擬合的方式對(duì)蘋(píng)果樹(shù)分支進(jìn)行檢測(cè)，其平均召回率與準(zhǔn)確率分別為91.5%和85.5%，該方法仍是針對(duì)單條無(wú)遮擋的枝干。

對(duì)于復(fù)雜自然條件下桑樹(shù)枝干的識(shí)別，目前有以下幾處難點(diǎn)：(1)自然條件下室外光照變化較大；(2)桑樹(shù)葉片大且多，會(huì)遮擋枝干；(3)桑樹(shù)分支較多。本文針對(duì)以上問(wèn)題，在自然場(chǎng)景下采集不同時(shí)段、不同天氣情況的桑樹(shù)圖像，并利用多種圖像處理技術(shù)對(duì)采集的數(shù)據(jù)集進(jìn)行擴(kuò)展，模擬各類自然場(chǎng)景，再結(jié)合深度學(xué)習(xí)理論，構(gòu)建出能夠在復(fù)雜自然條件下完成對(duì)桑樹(shù)枝干進(jìn)行識(shí)別的目標(biāo)檢測(cè)模型，并獲取坐標(biāo)信息，為自主研發(fā)的桑葉采摘機(jī)實(shí)現(xiàn)智能化奠定基礎(chǔ)。

1 試驗(yàn)條件

本研究采用的圖像采集設(shè)備為Intel Realsense D435i型相機(jī)，通過(guò)USB3.0接口與電腦連接。相機(jī)有效識(shí)別范圍為0.105～10 m，分辨率為1 280×800 dpi，幀率為可達(dá)90 fps，像元尺寸為3 μm×3 μm，深度學(xué)習(xí)試驗(yàn)硬件環(huán)境為搭載Intel(R) Xeon(R) Gold 5118 CPU @ 2.30GHz 2.29GHz+NVIDIA Quadro P4000顯卡的工業(yè)計(jì)算機(jī)，深度學(xué)習(xí)使用Halcon19.11軟件平臺(tái)，圖像處理使用OpenCV軟件庫(kù)，技術(shù)路線如圖1所示。

圖1 技術(shù)路線

2 圖像數(shù)據(jù)預(yù)處理

2.1 圖像數(shù)據(jù)采集

桑樹(shù)枝干的圖像是從重慶某公司合川桑園采集的，品種為農(nóng)桑14號(hào)，枝干粗約1.2 cm。桑樹(shù)在露天環(huán)境并排種植便于機(jī)械收獲。為了匹配樣本環(huán)境的多樣性，在晴天和陰天的不同時(shí)段(8：00，13：00，18：00)分別采集圖像?？紤]到拍攝角度會(huì)影響檢測(cè)性能，在圖像采集過(guò)程中從多個(gè)拍攝角度采集圖像，共1 000張照片，采集的部分圖像如圖2所示。

(a) 晴天

(b) 陰天

2.2 基于OpenCV的圖像數(shù)據(jù)擴(kuò)展

由于光線的角度和強(qiáng)度在一天中變化很大，神經(jīng)網(wǎng)絡(luò)處理在一天中不同時(shí)間收集的圖像的能力取決于訓(xùn)練數(shù)據(jù)集的完整性。為了增強(qiáng)數(shù)據(jù)的多樣性，提高模型在不同圖像下的識(shí)別能力，對(duì)收集的圖像進(jìn)行了鏡像旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、色彩增強(qiáng)和同態(tài)濾波的圖像處理，處理后的圖像如圖3所示。

(a) 旋轉(zhuǎn)

(b) 鏡像翻轉(zhuǎn)

(c) 色彩增強(qiáng)

(d) 同態(tài)濾波

2.2.1 圖像旋轉(zhuǎn)法的數(shù)據(jù)擴(kuò)展

考慮到圖像目標(biāo)檢測(cè)任務(wù)中存在待測(cè)目標(biāo)多角度問(wèn)題，將原始圖像進(jìn)行旋轉(zhuǎn)和鏡像翻轉(zhuǎn)的幾何變換操作得到擴(kuò)展數(shù)據(jù)，可以使得模型在訓(xùn)練過(guò)程中學(xué)習(xí)到具有旋轉(zhuǎn)不變形的特征，處理的圖像數(shù)量為1 000張，圖像旋轉(zhuǎn)的原理如下。

以圖像中心作為旋轉(zhuǎn)中心，用img.shape獲得圖像的寬度和高度值，除以2即為圖像中心點(diǎn)坐標(biāo)，這里定義為(x0,y0)、順時(shí)針旋轉(zhuǎn)角度定義為θ，圖像旋轉(zhuǎn)前坐標(biāo)定義為(x,y)，旋轉(zhuǎn)后坐標(biāo)定義為(xa,ya)，計(jì)算方法見(jiàn)式(1)。

(1)

2.2.2 圖像翻轉(zhuǎn)法的數(shù)據(jù)擴(kuò)展

鏡像翻轉(zhuǎn)法同樣作為幾何變換中的一種方法，對(duì)于模型的訓(xùn)練有和旋轉(zhuǎn)法相同的作用，處理的圖像數(shù)量為1 000張，鏡像翻轉(zhuǎn)的原理如下。

將圖像沿垂直中軸線進(jìn)行軸對(duì)稱變換，圖像寬度為w，原像素點(diǎn)(x,y)以垂直中軸線為中心進(jìn)行左右對(duì)換，翻轉(zhuǎn)后坐標(biāo)定義為(xb,yb)，計(jì)算方法見(jiàn)式(2)。

(2)

式中：MAF——鏡像翻轉(zhuǎn)矩陣。

2.2.3 色彩增強(qiáng)法的數(shù)據(jù)擴(kuò)展

不同的照明條件會(huì)導(dǎo)致圖像顏色與真實(shí)顏色之間出現(xiàn)一定的偏差。在自然環(huán)境中的桑樹(shù)林中，桑葉經(jīng)常擋住陽(yáng)光，這將導(dǎo)致枝干部分光線不足，對(duì)圖像進(jìn)行色彩增強(qiáng)處理可以模擬自然環(huán)境下光照不足的影響，提高檢測(cè)模型的魯棒性，處理的圖像數(shù)量為1 000張，色彩增強(qiáng)的原理如下。

先將圖像分割成RGB三個(gè)通道，然后對(duì)這些通道分別進(jìn)行直方圖均衡化，最后合并所有通道，直方圖均衡化可以增加像素之間灰度值差別的動(dòng)態(tài)范圍，從而增強(qiáng)圖像的對(duì)比度，計(jì)算方法見(jiàn)式(3)。

(3)

式中:sk——當(dāng)前灰度級(jí)經(jīng)過(guò)累積分布函數(shù)映射后的值；

N——圖像中像素的總和；

nj——當(dāng)前灰度級(jí)的像素個(gè)數(shù)；

T——變換函數(shù)；

r——待處理圖像的灰度；

pr——概率密度函數(shù)；

L——圖像中的灰度級(jí)總數(shù)。

2.2.4 同態(tài)濾波法的數(shù)據(jù)擴(kuò)展

同態(tài)濾波利用去除乘性噪聲(multiplicative noise)，可以同時(shí)增加對(duì)比度以及標(biāo)準(zhǔn)化亮度，借此達(dá)到亮度增強(qiáng)的目的，從而模擬自然環(huán)境下光照極強(qiáng)時(shí)的情況。

一副圖像可以表示為其照度(illumination)分量和反射(reflectance)分量的乘積，雖然在時(shí)域上這兩者是不可分離的，但是經(jīng)由傅立葉轉(zhuǎn)換兩者在頻域中可以線性分離。通過(guò)分別處理照度和反射率對(duì)像元灰度值的影響，達(dá)到增強(qiáng)陰影區(qū)細(xì)節(jié)特征的目的，模擬自然環(huán)境下光照強(qiáng)烈的情況，處理的圖像數(shù)量為1 000張，一個(gè)圖像f(x,y)可以根據(jù)它的亮度和反射分量的乘積來(lái)表示[15]。

f(x,y)=i(x,y)r(x,y)

(4)

式中：i(x,y)——亮度函數(shù)；

r(x,y)——反射分量函數(shù)。

通過(guò)同時(shí)壓縮亮度范圍和增強(qiáng)對(duì)比度，來(lái)消除不均勻照度的影響而又不損失圖像細(xì)節(jié)，同態(tài)濾波流程如圖4所示。

圖4 同態(tài)濾波流程圖

具體計(jì)算過(guò)程如下。

1) 因?yàn)樵撔再|(zhì)是乘性的，所以不能直接使用傅里葉變換對(duì)i(x,y)和r(x,y)進(jìn)行控制，因此先對(duì)f(x,y)取對(duì)數(shù)，分離i(x,y)和r(x,y)。

z(x,y)=lnf(x,y)=lni(x,y)+lnr(x,y)

(5)

2) 取傅里葉變換，得到。

F[z(x,y)]=F[lnf(x,y)]+F[lnr(x,y)]

(6)

變換為Z(u,v)=I(u,v)+R(u,v)

(7)

3) 使用濾波器H(u,v)對(duì)Z(u,v)進(jìn)行濾波，有

S(u,v)=H(u,v)Z(u,v)

=H(u,v)I(u,v)+H(u,v)R(u,v)

(8)

(9)

4) 濾波后，進(jìn)行反傅里葉變換

i′(x,y)=F-1[H(u,v)I(u,v)]

(10)

r′(x,y)=F-1[H(u,v)R(u,v)]

(11)

5) 取指數(shù)，得到最后處理后的圖像g(x,y)。

i0(x,y)=exp[i′(x,y)]

(12)

r0(x,y)=exp[r′(x,y)]

(13)

g(x,y)=i0(x,y)r0(x,y)

(14)

式中：i0(x,y)、r0(x,y)——處理后圖像的照射分量和入射分量。

四種數(shù)據(jù)擴(kuò)展方式產(chǎn)生的圖像數(shù)量匯總見(jiàn)表1。

表1 由數(shù)據(jù)擴(kuò)展產(chǎn)生的圖像數(shù)量Tab. 1 Number of images generated by data expansion

3 基于Halcon深度學(xué)習(xí)的模型構(gòu)建

Halcon是由德國(guó)某公司研發(fā)的一款具有非常高效能的機(jī)器視覺(jué)軟件，不僅提供了功能全面的圖像處理庫(kù)，而且還提供了先進(jìn)的技術(shù)算法包[16]。Halocn中的深度學(xué)習(xí)方法包括分類、目標(biāo)檢測(cè)和語(yǔ)義分割，所有這些都基于卷積神經(jīng)網(wǎng)絡(luò)的原理(CNN)。卷積神經(jīng)網(wǎng)絡(luò)包含了一個(gè)由卷積層和子采樣層構(gòu)成的特征抽取器[17]。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中，一個(gè)神經(jīng)元只與部分鄰層神經(jīng)元相連接。在CNN的一個(gè)卷積層中，通常包含若干個(gè)特征平面，每個(gè)特征平面都由一些矩形排列的神經(jīng)元組成，同一特征平面的神經(jīng)元共享權(quán)重參數(shù)，這里共享的權(quán)重參數(shù)就是卷積核。卷積核一般由隨機(jī)小數(shù)矩陣的形式初始化，隨著神經(jīng)網(wǎng)絡(luò)的不斷訓(xùn)練，卷積核將會(huì)學(xué)習(xí)到更合理的權(quán)值。共享權(quán)值(卷積核)可以減少網(wǎng)絡(luò)各層之間的連接，同時(shí)降低過(guò)擬合的風(fēng)險(xiǎn)。子采樣可以看作一個(gè)特殊的卷積過(guò)程。卷積和子采樣可以簡(jiǎn)化模型的復(fù)雜度，減少模型的參數(shù)。

卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)見(jiàn)圖5，由三部分組成：輸入層、n個(gè)卷積層和池化層的組合、全連接的多層感知機(jī)分類器。針對(duì)目前桑葉采摘機(jī)的枝干檢測(cè)需求，本文提出一種基于Halcon深度學(xué)習(xí)的桑樹(shù)枝干識(shí)別方法。

圖5 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

3.1 數(shù)據(jù)標(biāo)注與數(shù)據(jù)集劃分

在數(shù)據(jù)整理階段，采集了晴天和陰天時(shí)桑樹(shù)枝干的照片，并如上文進(jìn)行了四類數(shù)據(jù)擴(kuò)展后，獲得5 000張含有桑樹(shù)枝干的圖片作為目標(biāo)檢測(cè)模型訓(xùn)練的數(shù)據(jù)集，使用MVTec Deep Learning Tool工具進(jìn)行標(biāo)注，標(biāo)注信息包含類別、定向矩形中心坐標(biāo)、矩形框的寬度和高度，生成字典類型的標(biāo)注文件。將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，本文分配比例為7∶3。在目標(biāo)檢測(cè)中，網(wǎng)絡(luò)必須學(xué)習(xí)如何找到實(shí)例并判斷它的可能位置，且由于實(shí)際需求，桑葉采摘過(guò)程中需要避免損傷頂端用于喂養(yǎng)幼蠶的嫩葉及影響枝干的繼續(xù)生長(zhǎng)，所以從枝干頂端往下大概4～6片的枝干位置進(jìn)行標(biāo)注，這個(gè)位置也將作為桑葉采摘機(jī)的行程起點(diǎn)，標(biāo)注過(guò)程見(jiàn)圖6。

圖6 標(biāo)注界面

3.2 模型的構(gòu)建與訓(xùn)練

為了減少所需的資源數(shù)量和加快訓(xùn)練，這里使用遷移學(xué)習(xí)的方法[18]，即將從一個(gè)訓(xùn)練數(shù)據(jù)集上訓(xùn)練好的網(wǎng)絡(luò)遷移到目標(biāo)數(shù)據(jù)集上，遷移學(xué)習(xí)的工作流程如圖7所示：(1)讀取原訓(xùn)練網(wǎng)絡(luò)；(2)用標(biāo)注出桑樹(shù)枝干的訓(xùn)練集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；(3)訓(xùn)練模型具有了識(shí)別桑樹(shù)枝干的新功能；(4)實(shí)現(xiàn)對(duì)新圖像中桑樹(shù)枝干的檢測(cè)。Halcon中使用的網(wǎng)絡(luò)優(yōu)化算法是隨機(jī)梯度下降法，大致思路是在訓(xùn)練數(shù)據(jù)集中，隨機(jī)取出一部分?jǐn)?shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這樣能加快每次學(xué)習(xí)的速度，并以此對(duì)濾波器的權(quán)重進(jìn)行更新，其目的在于找到一個(gè)使得損失函數(shù)值最小的網(wǎng)絡(luò)權(quán)重值，除了權(quán)重這類網(wǎng)絡(luò)自身的參數(shù)會(huì)影響訓(xùn)練過(guò)程之外，一些類如學(xué)習(xí)率、迭代次數(shù)等超參數(shù)也會(huì)影響訓(xùn)練過(guò)程。

(1)

(2)

(3)

(4)

本文研究的圖像背景復(fù)雜，需要更穩(wěn)定的魯棒性，故選用Resnet50目標(biāo)檢測(cè)網(wǎng)絡(luò)模型。通過(guò)算子set_dl_model_param()設(shè)置學(xué)習(xí)率、迭代次數(shù)等模型參數(shù)，經(jīng)過(guò)訓(xùn)練確定所用參數(shù)值。

在訓(xùn)練過(guò)程中，學(xué)習(xí)率分別設(shè)置為0.000 5、0.001、0.001 5和0.002，迭代次數(shù)設(shè)置為1 000，不同學(xué)習(xí)率的損失函數(shù)曲線見(jiàn)圖8，由圖可知，學(xué)習(xí)率為0.001時(shí)，損失函數(shù)收斂速度最快，且最終的損失函數(shù)值最小。損失函數(shù)曲線在迭代次數(shù)達(dá)到200次以后，下降速度逐漸變慢，達(dá)到600次以后損失函數(shù)曲線趨于水平，因此訓(xùn)練模型的學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為600。

圖8 不同學(xué)習(xí)率的損失曲線

3.3 模型的性能評(píng)價(jià)指標(biāo)

訓(xùn)練模型的主要評(píng)估指標(biāo)有平均精度均值(mean Average Precision,mAP)、交并比(Intersection over Union,IoU)、損失函數(shù)曲線、精度和召回率等[19]。本文使用精度P、召回率R、mAP和F1五個(gè)常用指標(biāo)來(lái)驗(yàn)證模型的性能。對(duì)于二元分類問(wèn)題，根據(jù)樣本的真實(shí)類別和預(yù)測(cè)類別的組合，樣本可分為四種類型：TP(真正例)、FP(假正例)、TN(真反例)和FN(假反例)。在本文中，當(dāng)IoU≥0.5，為真陽(yáng)性；當(dāng)0

表2 分類結(jié)果的混淆矩陣Tab. 2 Confusion matrix for the classification results.

精度P和召回率R定義為式(15)和式(16)。P被用來(lái)描述預(yù)測(cè)為正的樣本與預(yù)測(cè)為正的樣本的比例。R用于描述標(biāo)記為陽(yáng)性的比例與預(yù)測(cè)為陽(yáng)性的比例。這兩個(gè)值越高，算法的性能越好。

(15)

(16)

F1分?jǐn)?shù)是從召回率和精度中得出的參考值，其值通常接近兩者中的較小值。如果F1的分?jǐn)?shù)很高，這表明調(diào)用和精度都很高，因此希望獲得較高的F1分?jǐn)?shù)。F1成績(jī)定義為

(17)

平均精度(AP)可以顯示模型在不同分?jǐn)?shù)閾值下的整體性能。本文中，AP通過(guò)平均精度均值曲線上的精度值獲得，定義為式(18)。mAP是所有類別/類別數(shù)的AP值之和，C是類別數(shù)。由于本文僅檢測(cè)到桑樹(shù)枝干，因此本研究中使用了C=1。

(18)

(19)

3.4 試驗(yàn)結(jié)果

為了檢驗(yàn)訓(xùn)練得到的算法模型是否可以在各類模擬自然環(huán)境下實(shí)現(xiàn)對(duì)桑樹(shù)頂端4～6片桑葉以下枝干的位置完成識(shí)別，使用測(cè)試集對(duì)模型進(jìn)行測(cè)試，得到如圖9的識(shí)別結(jié)果。

為驗(yàn)證這四種數(shù)據(jù)擴(kuò)展方法對(duì)算法性能的影響，采用變量控制法刪除全數(shù)據(jù)集中每種數(shù)據(jù)擴(kuò)展方法對(duì)應(yīng)的圖像數(shù)據(jù)，分別生成四個(gè)算法模型，利用測(cè)試集對(duì)這四個(gè)算法模型進(jìn)行測(cè)試，試驗(yàn)1～4分別對(duì)應(yīng)刪除旋轉(zhuǎn)集、刪除鏡像翻轉(zhuǎn)集、刪除色彩增強(qiáng)集和刪除同態(tài)濾波集，得到的平均精度均值曲線見(jiàn)圖10，P-R曲線見(jiàn)圖11。

(a) 原圖

(b) 旋轉(zhuǎn)

(c) 鏡像翻轉(zhuǎn)

圖10 平均精度均值曲線

圖11 各試驗(yàn)的P-R曲線

各模型的性能評(píng)價(jià)指標(biāo)如表3所示。

表3 不同數(shù)據(jù)擴(kuò)展方法的識(shí)別效果Tab. 3 Recognition effect of different data extension methods

由表3可知，經(jīng)試驗(yàn)，全數(shù)據(jù)集對(duì)應(yīng)的算法模型檢測(cè)準(zhǔn)確率P達(dá)到87.42%，召回率R為85.93%，均在85%以上。通過(guò)與全數(shù)據(jù)集的算法模型性能評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比可以看出，在本文試驗(yàn)條件下，旋轉(zhuǎn)法對(duì)于提高模型檢測(cè)精度的影響最大，通過(guò)刪除旋轉(zhuǎn)法生成的圖像所生成算法模型的AP降低了12.8%，F(xiàn)1評(píng)分降低了0.11。鏡像翻轉(zhuǎn)方法對(duì)提高模型檢測(cè)精度的影響最小。刪除鏡像翻轉(zhuǎn)圖像后，訓(xùn)練模型的性能僅略低于完整數(shù)據(jù)集的性能，模型的AP降低了3.7%，F(xiàn)1評(píng)分降低了0.03。色彩增強(qiáng)方法和同態(tài)濾波處理方法對(duì)提高模型檢測(cè)精度的影響適中，刪除色彩增強(qiáng)方法處理的圖像后，模型的AP下降7.8%，F(xiàn)1得分降低了0.09。刪除同態(tài)濾波處理的圖像后，模型的AP降低了7.2%，F(xiàn)1評(píng)分降低了0.05。

4 桑樹(shù)枝干的實(shí)地坐標(biāo)檢測(cè)

進(jìn)行實(shí)地檢測(cè)前，需要進(jìn)行相機(jī)標(biāo)定，標(biāo)定的過(guò)程實(shí)際是建立圖像世界與三維世界的關(guān)系，從而通過(guò)圖像準(zhǔn)確得知三維世界的真實(shí)狀態(tài)[20]。相機(jī)鏡頭在拍攝物體時(shí)存在成像的畸變，對(duì)圖像的后續(xù)處理會(huì)產(chǎn)生干擾，尤其對(duì)于測(cè)量，需要更高精度的矯正。因此使用Halcon標(biāo)定助手，設(shè)置標(biāo)定板的文件及攝像機(jī)參數(shù)。本文選取32 cm×32 cm，圖像陣列為7×7的圓心陳列型平面標(biāo)定模板進(jìn)行標(biāo)定，檢測(cè)結(jié)果界面見(jiàn)圖12。

圖12 檢測(cè)結(jié)果界面

在現(xiàn)場(chǎng)進(jìn)行實(shí)時(shí)檢測(cè)，固定相機(jī)位置，用桿件標(biāo)定畫(huà)面左上角原點(diǎn)位置，將算法檢測(cè)出的枝干位置在桑樹(shù)枝上標(biāo)定，測(cè)量標(biāo)定點(diǎn)相對(duì)于原點(diǎn)的實(shí)際坐標(biāo)，將算法檢測(cè)結(jié)果與現(xiàn)場(chǎng)人工測(cè)量結(jié)果進(jìn)行對(duì)比，結(jié)果見(jiàn)表4。算法測(cè)量和人工測(cè)量的最大偏差為1.46 cm，最小偏差為0.43 cm，平均偏差為0.975 cm，滿足要求。

表4 桑樹(shù)枝干坐標(biāo)檢測(cè)結(jié)果對(duì)比表Tab. 4 Comparison table of the results of mulberry branch and trunk coordinates testing

5 結(jié)論

本文基于深度學(xué)習(xí)理論構(gòu)建了一種在復(fù)雜自然條件實(shí)現(xiàn)桑樹(shù)枝干識(shí)別的模型，通過(guò)對(duì)模型的評(píng)估得出其識(shí)別準(zhǔn)確率，并對(duì)不同圖像處理方法有效性進(jìn)行實(shí)驗(yàn)驗(yàn)證，又對(duì)檢測(cè)模型得出的坐標(biāo)結(jié)果與實(shí)際測(cè)量結(jié)果進(jìn)行對(duì)比，得出以下主要結(jié)論。

1) 將深度學(xué)習(xí)理論用于復(fù)雜自然環(huán)境下桑樹(shù)枝干的識(shí)別之中，算法模型在室外光照條件復(fù)雜、桑葉對(duì)枝干存在遮擋以及分枝較多的情況下仍有較好的檢測(cè)效果，且檢測(cè)到的枝干位置均在頂端4～6片桑葉以下的位置，有效地避免了采摘過(guò)程中損傷頂端嫩葉，檢測(cè)模型準(zhǔn)確率為87.42%，召回率為85.93%，已滿足實(shí)際需求。

2) 使用不同的圖像擴(kuò)展方法模擬了枝干傾斜角度大、昏暗環(huán)境及光照極強(qiáng)環(huán)境，試驗(yàn)表明四種數(shù)據(jù)擴(kuò)展方法對(duì)于提高模型的檢測(cè)精度都有一定的效果。

3) 算法模型的檢測(cè)結(jié)果與實(shí)際測(cè)量結(jié)果的平均誤差為0.975 cm，滿足實(shí)際應(yīng)用要求，為桑葉采摘機(jī)的智能化發(fā)展奠定了基礎(chǔ)。