基于多層感知器的收獲期木薯莖稈識別定位研究

李付成,楊 望,楊 冉,楊 堅,鄭 賢

(廣西大學 機械工程學院,南寧 530004)

0 引言

木薯是世界主糧之一,產(chǎn)量在糧食作物中排名第六,其塊根富含淀粉,有“淀粉之王”的美譽[1]。隨著國內(nèi)木薯種植面積的不斷擴大,對其自動化收獲也提出了更高要求。現(xiàn)有挖拔式木薯收獲機械因不能有效確定木薯莖稈位置[2],對木薯的收獲造成了很大影響,因此準確確定木薯莖稈位置對提高木薯的收獲效率具有重要意義。

機器視覺技術(shù)因具有應用范圍廣和成本低等特點已在精確農(nóng)業(yè)方面廣泛應用。國外對黃瓜、草莓、番茄[3-4]等農(nóng)產(chǎn)品收獲機械的研究已經(jīng)比較成熟,并在市場上大量推廣應用。國內(nèi)張瑞和姬長英[5]等人的團隊采用雙目立體視覺技術(shù)對番茄進行識別分類研究,當攝像機與目標番茄之間的距離為300～400mm時,測量誤差不超過4%。王濱等[6]針對獼猴桃采摘,利用了Kinect傳感器來獲取深度圖像和RGB圖像,定位誤差在2mm以內(nèi)。張凱良等[7]開展了草莓收獲機器人的研究,野外試驗測定平均誤差為0.5mm,采摘定位過程平均耗時0.381s。

本文針對田間木薯莖稈的識別定位問題,引入機器視覺方案,基于多層感知器網(wǎng)絡(luò)進行研究,為提升挖拔式木薯收獲機械的智能化和自動化提供一個新的方向。

1 材料與方法

1.1 試驗材料

為在室內(nèi)模擬田間收獲情況,首先收集木薯莖稈、木薯田間干擾物和土壤等試驗材料; 對收集后的樣本進行處理,紙盒里逐層鋪放采集的泥土樣本、木薯葉、木薯葉柄和其它干擾物,然后在上面放置截斷處理后的木薯莖稈,如圖1所示。

圖1 模擬試驗材料Fig.1 Simulated test material

1.2 試驗方法

采用本文構(gòu)建的圖像采集系統(tǒng),單獨采集木薯莖稈圖片和木薯葉與細枝等干擾物圖片各200張,對采集的圖像進行預處理和提取特征;然后,確定網(wǎng)絡(luò)的最優(yōu)參數(shù),進行分類器訓練; 最后,使用訓練好的分類器在實驗平臺上進行動態(tài)試驗,各試驗100組,測得識別成功率和定位誤差。

1.3 試驗設(shè)備

圖像采集系統(tǒng)如圖2所示。其中,平移試驗平臺中心位置平均速度可達0.23m/s,符合挖拔式木薯收獲機的行進速度要求;光源為四通道可調(diào)節(jié)LED光源;相機為Allied Vision公司的一款灰度工業(yè)相機,型號為Stingray F-504B,1394b的數(shù)據(jù)接口,分辨率為2452×2056,全幀率可達8fps;計算機為Windows10 64位操作系統(tǒng),CPU: Intel Core I5,GPU:NVIDIA 1030。

1.相機 2.光源調(diào)節(jié)器 3.光源放置架 4.方形光源 5.模擬試驗材料 6.平移試驗平臺 7.主機 8.顯示器圖2 圖像采集試驗平臺Fig.2 Image Acquisition and Test Platform

1.4 圖像預處理

圖像采集系統(tǒng)獲取圖像之后,為突出圖像中感興趣區(qū)域,要對圖像進行預處理,如圖3所示。首先通過直方圖均衡化[8]處理,提高圖像對比度,結(jié)果如圖3(b)所示;利用圖像灰度值縮放變換方法[9],提高木薯莖稈區(qū)域灰度值,抑制其他區(qū)域灰度值,以突出目標細節(jié),結(jié)果如圖3(c)所示;基于固定閾值法進行圖像分割,并通過腐蝕膨脹形態(tài)學操作進行孔洞填充和去除細小干擾物,結(jié)果如圖3(d)所示;最后,利用像素面積法選擇得到感興趣區(qū)域,結(jié)果如圖3(e)所示。

圖3 圖像預處理Fig.3 Image preprocessing

1.5 特征提取

圖像特征是圖像識別的基礎(chǔ),將直接影響識別效果,通常提取的特征需要滿足旋轉(zhuǎn),縮放和平移不變特性。由于相機是灰度相機,本文主要從形狀和紋理兩個方面來選擇特征,提取了圓度、偏心(包括不等軸度、蓬松度、結(jié)構(gòu)因素)和緊密度等形狀特征,以及紋理特征(包括能量、對比度、相關(guān)性、逆方差)共9維特征。

紋理特征的提取一般采用灰度共生矩陣和灰度-梯度共生矩陣方法[10],其方法簡單,且計算速度較快,得到的紋理特征具有較強的魯棒性和適應能力。圖像的灰度共生矩陣的值與方向θ(0°,45°,90°,135°)相關(guān)。為了避免角度的影響,以4個方向的紋理特征的平均值作為標準紋理特征。,可以得到能量(Asm)、對比度(Contrast)、相關(guān)性(Correlation)和逆方差(Home)4個參數(shù),計算方法為

(1)

(2)

(3)

(4)

1.6 多層感知器網(wǎng)絡(luò)

多層感知器(Multilayer Perceptron,MLP)是前饋神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)構(gòu)造簡單,便于實現(xiàn),實時性好。多層感知器結(jié)構(gòu)如圖4所示。圖4中,L為輸入層,接受輸入并通過激勵函數(shù)計算激勵值,傳給隱藏層H層;H層將上層傳來的結(jié)果作為輸入,通過激勵函數(shù)計算激勵值,傳給輸出層O層。

圖5 累計貢獻率Fig.5 Cumulative contribution rate

該神經(jīng)網(wǎng)絡(luò)能夠產(chǎn)生更多的輸出,可以進行多分類,還可以對線性不可分的數(shù)據(jù)進行預測,通過輸出的y值來進行分類。對應的數(shù)學原理為

(5)

其中,輸入x∈Rm、隱藏層輸出h∈Rn、輸出y∈RK、w(1)∈Rm×n與b(1)∈Rn分別為輸入層到隱藏層的權(quán)值連接矩陣和偏置,w(2)∈Rn×K與b(2)∈RK分別為隱藏層到輸出層的權(quán)值連接矩陣和偏置,φ(1)和φ(2)為激勵函數(shù)。輸入與輸出之間的數(shù)學模型為

y=T(x,θ)

(6)

設(shè)定θ=(w(1),b(1),w(2),b(2)),可優(yōu)化目標為

(7)

通過梯度下降法,對參數(shù)求解,即

(8)

隨著不斷迭代,會逐步收斂,最終多層感知器的權(quán)重和偏置被確定,即

(9)

2 結(jié)果與分析

2.1 MLP網(wǎng)絡(luò)參數(shù)確定

所選多層感知器網(wǎng)絡(luò)結(jié)構(gòu)共3層,輸入層節(jié)點設(shè)為9個,隱藏層節(jié)點數(shù)H根據(jù)經(jīng)驗公式[11]初選范圍為4.3～13.3個,輸出層節(jié)點設(shè)為2個。

由于本文采集的樣本數(shù)量較小,如果將數(shù)據(jù)直接輸入訓練可能會導致過度擬合的現(xiàn)象[12]。為解決這一問題,在進行分類器訓練之前,使用主成分分析法[13](principal component analysis,PCA)對樣本數(shù)據(jù)進行特征降維處理。對提取得到的200組特征數(shù)據(jù)進行PCA處理,獲得特征的累計貢獻率,如圖6所示。通常選擇累計貢獻率大于85%時的特征數(shù)目,本文初選主成分數(shù)目P范圍為4～6個。最后,利用網(wǎng)絡(luò)搜索結(jié)合交叉驗證的方法[14]進行參數(shù)隱藏層節(jié)點數(shù)H和主成分數(shù)目P最優(yōu)組合的確定。

表1列出了平均識別成功率較高的10組參數(shù)組合。由表1可知:平均識別成功率最高的組合為(9,6),且該組合的標準差最小,因此選擇隱藏層節(jié)點數(shù)為9,主成分數(shù)目為6。

表1 多層感知器模型不同參數(shù)的試驗結(jié)果Table 1 Test results of different parameters of multilayer perceptron model

2.2 不同分類器識別比較

提取了形狀和紋理特征共9維特征,將其進行融合作為輸入特征向量,基于MLP網(wǎng)絡(luò)構(gòu)建分類器進行識別效果的動態(tài)試驗,并與傳統(tǒng)淺層結(jié)構(gòu)算法的支持向量機(Support Vector Machine, SVM)模型[15]進行對比。試驗以識別成功率y1和誤判率y2作為試驗指標,則

(10)

式中n1—成功識別木薯莖稈次數(shù);

n2—將感興趣區(qū)域中的非木薯莖稈區(qū)域判斷為木薯莖稈次數(shù);

N—總試驗次數(shù)。

試驗結(jié)果如表2所示。由表2可知:MLP分類器識別效果較優(yōu),識別成功率達92%,明顯優(yōu)于SVM分類器;且誤判率較小,僅有2%。

表2 不同分類器識別比較Table 2 Comparison of different classifiers recognition rate

2.3 定位結(jié)果分析

依據(jù)前面分析,選用較優(yōu)的MLP分類器進行100組動態(tài)定位試驗。以木薯莖稈區(qū)域外接矩形的形心作為視覺測量坐標值,每組試驗人工測量3次木薯莖稈中心坐標,取其平均值作為真實坐標值,以人工測量與視覺測量的誤差范圍進行統(tǒng)計,結(jié)果如表3所示。

表3 MLP定位結(jié)果統(tǒng)計Table 3 Statistics of positioning results

由表3可知:橫向位置(X)平均誤差為3.20mm,最大位置誤差為18.67mm,最小定位誤差為0.06mm,定位誤差在0～4mm區(qū)間占比為80%;縱向位置(Y)平均誤差為2.53mm,最大定位誤差為8.13mm,最小定位誤差為0.20mm,定位誤差在0-4mm區(qū)間占比為85%。算法執(zhí)行平均耗時0.26s。由于個別木薯莖稈的表面過度歪斜,視覺測量以其外接矩形的形心作為中心坐標值,與人工測量相比誤差會較大,但這些范圍內(nèi)的占比非常小,對總體不會產(chǎn)較大的影響。

3 結(jié)論

1)對木薯莖稈和干擾物的特征進行散點圖對比,選取最具區(qū)分能力的圓度、偏心和緊密度特征,以及紋理特征,通過試驗確定了MLP網(wǎng)絡(luò)的參數(shù):輸入層節(jié)點數(shù)9,隱藏層節(jié)點數(shù)9,輸出層節(jié)點數(shù)2,主成分數(shù)目為6。

2)基于MLP網(wǎng)絡(luò)和SVM模型構(gòu)建分類器,進行識別效果的試驗對比,并選擇較優(yōu)分類器進行定位試驗。結(jié)果表明:MLP分類器識別效果較好,成功率最高達92%,誤判率也較小為2%,平均定位誤差3.2mm, 算法平均耗時0.26s,基本滿足田間環(huán)境下定位精度要求和實時性要求。

3)試驗結(jié)果表明:提出的研究方案對收獲期木薯莖稈的識別定位具有良好效果,有較好的實際應用前景。