基于特征融合的果園非結(jié)構(gòu)化道路識(shí)別方法

張彥斐 封子晗 張嘉恒 宮金良 蘭玉彬

(1.山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院, 淄博 255000; 2.山東理工大學(xué)機(jī)械工程學(xué)院, 淄博 255000)

0 引言

隨著農(nóng)業(yè)現(xiàn)代化的推進(jìn)[1],我國(guó)農(nóng)業(yè)快速發(fā)展,智慧農(nóng)業(yè)加速了農(nóng)業(yè)機(jī)器人代替?zhèn)鹘y(tǒng)農(nóng)業(yè)機(jī)械的步伐,促進(jìn)了農(nóng)業(yè)機(jī)械生產(chǎn)過程中自動(dòng)化、智能化水平的提升[2],在減輕人工勞動(dòng)強(qiáng)度的同時(shí),還能降低作業(yè)成本、提高作業(yè)效率與精度[3]。道路的精準(zhǔn)識(shí)別作為農(nóng)業(yè)機(jī)器人實(shí)現(xiàn)自主導(dǎo)航、路徑規(guī)劃以及實(shí)施精細(xì)化作業(yè)的基礎(chǔ),對(duì)于農(nóng)業(yè)機(jī)械在非結(jié)構(gòu)化道路環(huán)境下是否能夠安全可靠的運(yùn)行具有重要意義[4]。

非結(jié)構(gòu)化道路由于沒有清晰的道路邊界且易受陰影和水跡等干擾因素影響[5],導(dǎo)致道路區(qū)域和非道路區(qū)域難以區(qū)分。目前常見的道路識(shí)別方法主要依靠視覺傳感器、激光雷達(dá)及多傳感器數(shù)據(jù)融合等,由于視覺傳感器獲取信息豐富,可從圖像中提取顏色、形狀和紋理等特征以識(shí)別道路,不受多傳感器協(xié)同作業(yè)時(shí)的干擾,且具備環(huán)境適應(yīng)性強(qiáng)、誤差累積小、性價(jià)比高以及細(xì)節(jié)識(shí)別精度高等特點(diǎn)[6-10],已成為農(nóng)業(yè)車輛自主導(dǎo)航系統(tǒng)的研究熱點(diǎn)。

在基于機(jī)器視覺識(shí)別道路研究中,文獻(xiàn)[11-12]通過提取多種道路特征并結(jié)合支持向量機(jī)、隨機(jī)森林等實(shí)現(xiàn)道路識(shí)別,該方法對(duì)結(jié)構(gòu)化道路識(shí)別效果較好,但當(dāng)面對(duì)道路環(huán)境相對(duì)復(fù)雜的非結(jié)構(gòu)化道路時(shí),識(shí)別效果并不理想。文獻(xiàn)[13-16]通過道路形狀特征、各顏色空間特征信息等進(jìn)行道路特征的提取,從而限定路面的不可通行區(qū)域達(dá)到可通行區(qū)域檢測(cè)的目的,并結(jié)合各種曲線模型、擬合算法完成對(duì)道路的識(shí)別。以上方法雖對(duì)非結(jié)構(gòu)化道路檢測(cè)效果較好,但對(duì)圖像顏色依賴性較大,當(dāng)?shù)缆放c背景差異不顯著以及陰影覆蓋面積較大時(shí)算法檢測(cè)失效。

針對(duì)果園環(huán)境中非結(jié)構(gòu)化道路沒有明顯道路邊界且周圍環(huán)境復(fù)雜,單一使用顏色特征無法將道路和與其特征相似的干擾因素較好分離等問題,本文提出一種將顏色特征與紋理特征相結(jié)合的非結(jié)構(gòu)化道路邊緣識(shí)別方法,將全局特征提取與局部特征提取相結(jié)合,保證邊界提取的精度與完整度,并使用基于距離和位置雙重約束的兩級(jí)偽特征點(diǎn)剔除方法對(duì)干擾點(diǎn)進(jìn)行剔除,最后使用分段三次樣條插值函數(shù)對(duì)邊緣點(diǎn)進(jìn)行擬合得到道路邊緣曲線。

1 圖像預(yù)處理

1.1 畸變矯正

使用RMONCAM林柏視-G600型相機(jī)采集分辨率為640像素×480像素的圖像,此時(shí)圖像位于像素坐標(biāo)系中且存在一定畸變,為了得到畸變相對(duì)較小的圖像,需進(jìn)行相機(jī)標(biāo)定確定相機(jī)內(nèi)部參數(shù)以得到像素坐標(biāo)系與世界坐標(biāo)系的映射關(guān)系,并獲取畸變參數(shù)以矯正由于鏡頭存在光學(xué)畸變?cè)斐傻膱D像徑向與切向畸變。

本文使用OpenCV中的相機(jī)標(biāo)定方法[17]對(duì)20幅不同角度的11×8棋盤格圖像進(jìn)行標(biāo)定,標(biāo)定過程如圖1所示,相機(jī)內(nèi)部參數(shù)與畸變參數(shù)見表1,反向投影誤差為0.025像素,對(duì)圖像進(jìn)行畸變矯正與變換縮放,效果如圖2所示。

圖1 相機(jī)標(biāo)定過程

圖2 圖像畸變矯正

表1 相機(jī)標(biāo)定結(jié)果

1.2 圖像灰度化

矯正后圖像位于RGB顏色空間中,對(duì)于非結(jié)構(gòu)化道路而言,其周圍環(huán)境較為復(fù)雜,除道路兩側(cè)植被外,還有陰影、土壤以及沙石等因素的干擾,而RGB顏色空間3個(gè)分量與亮度高度相關(guān),易受光照影響,使用單一顏色特征難以將道路與非道路區(qū)域進(jìn)行區(qū)分,故將RGB圖像轉(zhuǎn)換到更適合進(jìn)行圖像處理的HSV顏色空間[18]。

HSV顏色空間由色調(diào)(Hue,H)、飽和度(Saturation,S)和亮度(Value,V)3個(gè)分量構(gòu)成,對(duì)圖2b在HSV空間各分量的特征分布進(jìn)行分析,圖3為各分量的特征空間。

圖3 HSV顏色空間各分量空間特征圖

由圖3可知,以圖像左上角為原點(diǎn),向右為x軸正方向,向下為y軸正方向,道路圖像HSV顏色空間中H、V分量道路區(qū)域與周圍植被區(qū)域灰度漸進(jìn),無明顯灰度分級(jí)。灰度等級(jí)計(jì)算公式為

(1)

式中GH、GM、GL——HSV空間中各分量灰度分級(jí)后的高、中、低灰度級(jí)

Gmax、Gmin——HSV空間中各分量的最大、最小灰度

[]——取整符號(hào)

若將圖像灰度等級(jí)分為高(GH)、中(GM)、低(GL)3級(jí),H分量中道路與植被均處于GL灰度級(jí)(灰度范圍為[0,59)),V分量中道路與植被均處于GH灰度級(jí)(灰度范圍為[170,255]),不易區(qū)分道路與非道路區(qū)域。相較而言,S分量中道路區(qū)域主要位于GL灰度級(jí)(灰度范圍為[0,85)),鄰近區(qū)域主要位于GM與GH灰度級(jí)(灰度范圍分別為[85,170)和[170,255]),兩區(qū)域灰度分級(jí)較明顯,利于后續(xù)道路邊緣提取。對(duì)圖4中不同工況和季節(jié)下圖像中道路及其鄰近區(qū)域進(jìn)行灰度分級(jí),其分級(jí)結(jié)果見表2。由表2可知,不同環(huán)境下S分量較H、V分量而言,其道路及其鄰近區(qū)域均處于不同的灰度等級(jí),且S分量受光照干擾程度較小,故本文選用HSV顏色空間中的S分量對(duì)圖像進(jìn)行灰度化處理,圖2b灰度化效果如圖5所示。

圖4 不同環(huán)境下圖像

圖5 S分量灰度化效果

表2 不同環(huán)境下圖像灰度分級(jí)結(jié)果

1.3 感興趣區(qū)域選取

感興趣區(qū)域(Region of interest,ROI)的選取要在滿足減小計(jì)算量需求的同時(shí),盡可能保留圖像中的有效信息,以便后續(xù)圖像處理。為能恰當(dāng)選取ROI分割位置,本文提出一種基于濾波與梯度統(tǒng)計(jì)相結(jié)合的感興趣區(qū)域動(dòng)態(tài)提取方法。

由圖3b可知,雖然道路與非道路區(qū)域灰度分級(jí)較明顯,但非道路區(qū)域灰度變換劇烈且道路區(qū)域存在細(xì)小噪聲。為方便后續(xù)梯度統(tǒng)計(jì),使用雙邊濾波[19]對(duì)圖像進(jìn)行平滑處理,得到濾波后輸出的像素值ID(i,j)為

(2)

式中 (i,j)、(u,v)——核內(nèi)鄰域像素與中心像素坐標(biāo)

f(i,j)、f(u,v)——核內(nèi)鄰域像素與中心像素灰度

σs、σv——空間域核與值域核的標(biāo)準(zhǔn)差

D——以(u,v)為中心的濾波核窗口

雙邊濾波可保證在對(duì)圖像消除低頻分量噪聲的同時(shí)保留邊緣細(xì)節(jié)。濾波后,采用Sobel算子沿水平方向提取圖像梯度,圖6為濾波效果及圖像梯度空間分布特征。

圖6 雙邊濾波效果及Sobel水平梯度空間特征圖

由圖6b可知,因道路區(qū)域灰度變換均勻,該區(qū)域梯度基本為零,道路兩側(cè)及邊緣存在梯度變換,且單行像素中道路區(qū)域所占比例由近視野區(qū)至遠(yuǎn)視野區(qū)逐漸變小,若對(duì)道路區(qū)域統(tǒng)計(jì)每行梯度非零的像素個(gè)數(shù),道路盡頭所處位置梯度非零個(gè)數(shù)應(yīng)為最大。由于道路盡頭位于圖像中間區(qū)域,為減小計(jì)算量,沿圖像水平方向選取中間1/3區(qū)域自上而下統(tǒng)計(jì)每行梯度非零的像素個(gè)數(shù)并存入數(shù)組N_zero[],計(jì)算數(shù)組最大值及其對(duì)應(yīng)索引位置,若存在多處索引,則取最大索引并確定分割位置

(3)

式中L——ROI分割位置對(duì)應(yīng)索引

h——輸入圖像高度

I——數(shù)組N_zero[]最大值對(duì)應(yīng)索引位置

圖7為S分量ROI。

圖7 S分量ROI

2 圖像融合與道路邊緣提取

2.1 多特征圖像融合

2.1.1紋理特征提取

Gabor濾波器[20-21]可對(duì)局部特征進(jìn)行提取并對(duì)光照變化具有較強(qiáng)的魯棒性,能夠根據(jù)特定紋理方向提取有效特征并去除顏色特征無法識(shí)別的陰影部分。由于道路本身同樣存在紋理特征,若設(shè)置的紋理提取方向過多易造成全圖像紋理特征提取,導(dǎo)致道路與非道路區(qū)域無法區(qū)分。為保證在突顯道路邊緣特征的同時(shí)盡量不提取路面紋理,根據(jù)道路與邊緣區(qū)域紋理角度信息,構(gòu)建2個(gè)尺度為7、方向分別為0°和90°的Gabor濾波核并對(duì)S分量ROI進(jìn)行濾波得到紋理圖像g(x,y)。

(4)

其中

(5)

(6)

式中 (x,y)——像素坐標(biāo)位置

θ、σ、γ——濾波核的方向、標(biāo)準(zhǔn)差與長(zhǎng)寬比

b、λ、ψ——濾波核的帶寬、正弦函數(shù)的波長(zhǎng)與相位偏移

圖8a、8b為濾波后所得紋理圖像,由于θ=0°的原紋理圖像對(duì)比度較小,為使紋理特征更便于觀察,圖8a為θ=0°原紋理圖像做一次灰度正規(guī)化增強(qiáng)處理后效果,圖8c為θ=0°原紋理圖像與θ=90°紋理圖像相加所得的多方向紋理特征提取圖像。

圖8 紋理特征提取

2.1.2圖像融合及后處理

當(dāng)路邊土壤、沙石等與道路飽和度相近的干擾因素覆蓋道路時(shí),單一使用S分量無法將其與道路分離,易造成邊界的誤判或漏判。為保證邊界提取的精度與完整度,本文提出一種基于圖像顏色與多方向紋理特征相結(jié)合的圖像融合方法,該方法主要包括以下兩個(gè)關(guān)鍵步驟:

(1)紋理特征掩膜提取。采用Sobel算子計(jì)算紋理圖像水平方向梯度,依據(jù)梯度圖像中邊緣位置較其他位置而言其梯度絕對(duì)值更大的特點(diǎn),將圖像梯度由最大值至最小值平均分為5份,提取梯度位于上2/5與下2/5區(qū)域的像素點(diǎn),其余像素點(diǎn)值設(shè)為0,所提取到的特征掩膜如圖9a所示。

圖9 圖像融合及二值化

(2)最大值法圖像融合。將提取到的紋理特征掩膜各像素點(diǎn)值與S分量ROI最大類間方差法[22-24]分割閾值進(jìn)行比較,根據(jù)比較結(jié)果對(duì)掩膜像素點(diǎn)值進(jìn)行重置。

(7)

式中V′M(i,j)——重置后紋理特征掩膜像素點(diǎn)值

VM(i,j)——重置前紋理特征掩膜像素點(diǎn)值

VS(i,j)——S分量ROI的像素點(diǎn)值

TS——S分量ROI的最大類間方差法分割閾值

重置后的掩膜圖像與S分量ROI逐像素點(diǎn)比較,取兩者中較大像素點(diǎn)值生成融合圖像,如圖9b所示。

F(i,j)=max{V′M(i,j),VS(i,j)}

(8)

式中F(i,j)——融合后圖像像素點(diǎn)值

融合后圖像將全局特征提取與局部特征提取相結(jié)合,在顏色特征提取基礎(chǔ)邊界的前提下,使用紋理特征對(duì)精細(xì)化邊界進(jìn)行填充,能夠有效提高邊緣檢測(cè)精度。

使用最大類間方差法將融合圖像二值化,對(duì)二值圖像采用3×3模板進(jìn)行開運(yùn)算,采用最大聯(lián)通區(qū)域法先將其面積小于100像素的白色孔洞像素值設(shè)為0(黑色),再將其面積小于200像素的黑色孔洞像素值設(shè)為255(白色),以此達(dá)到去除噪聲的目的,圖9c、9d為圖像二值化及其去噪后效果。

2.2 道路邊緣提取

2.2.1特征點(diǎn)尋找及剔除

若選取二值圖像中包含邊緣信息的某一列像素,可知道路邊緣點(diǎn)應(yīng)位于像素值突變位置。將去噪后二值圖像沿水平方向平均分為40個(gè)子區(qū)域,取每個(gè)子區(qū)域中間列作為特征點(diǎn)提取列,將每列自上而下檢索到的像素值由0(黑色)至255(白色)的突變點(diǎn)作為候補(bǔ)特征點(diǎn)。

候補(bǔ)特征點(diǎn)中存在許多干擾點(diǎn),如單列存在多個(gè)突變點(diǎn)、道路區(qū)域大面積噪聲未去除導(dǎo)致偽特征點(diǎn)被提取等情況,為精準(zhǔn)剔除偽特征點(diǎn)保留邊緣點(diǎn),本文提出一種基于距離與位置雙重約束的兩級(jí)偽特征點(diǎn)剔除方法。基于距離約束的一級(jí)偽特征點(diǎn)剔除具體步驟如下:

(1)查找x值最小候補(bǔ)特征點(diǎn)所在提取列(以下簡(jiǎn)稱為“首點(diǎn)列”)上存在幾個(gè)特征點(diǎn),若只有一個(gè)特征點(diǎn),則保留該點(diǎn)(以下簡(jiǎn)稱為“保留點(diǎn)”);若存在多個(gè)特征點(diǎn),保留y值最大的特征點(diǎn),其余點(diǎn)剔除。

(2)順序遍歷首點(diǎn)列后的每一提取列,若該列不存在特征點(diǎn),繼續(xù)遍歷下一列;若該列存在一個(gè)特征點(diǎn),則保留該點(diǎn);若存在多個(gè)特征點(diǎn),計(jì)算該列所有候補(bǔ)特征點(diǎn)與上一個(gè)保留點(diǎn)之間的距離(以下簡(jiǎn)稱“點(diǎn)距”),并計(jì)算最小點(diǎn)距及其對(duì)應(yīng)在該列候補(bǔ)點(diǎn)中的索引位置,若自上而下最小點(diǎn)距點(diǎn)為該列最后一個(gè)特征點(diǎn),則保留該點(diǎn),其余點(diǎn)剔除,否則計(jì)算其后所有候補(bǔ)特征點(diǎn)點(diǎn)距與最小點(diǎn)距之間的差值,若點(diǎn)距差值均大于給定閾值,則保留最小點(diǎn)距點(diǎn),其余點(diǎn)剔除;若存在點(diǎn)距差值不大于設(shè)定閾值的候補(bǔ)特征點(diǎn),則保留符合要求的候補(bǔ)特征點(diǎn)中y值最大的特征點(diǎn),其余點(diǎn)剔除。

道路環(huán)境較簡(jiǎn)單時(shí),可實(shí)現(xiàn)一級(jí)偽特征點(diǎn)剔除后的保留點(diǎn)均為道路邊緣點(diǎn),但當(dāng)?shù)缆翻h(huán)境較為復(fù)雜時(shí),一級(jí)偽特征點(diǎn)剔除后的保留點(diǎn)除道路真實(shí)邊緣點(diǎn)外還包含少量較當(dāng)列其他候補(bǔ)特征點(diǎn)而言雖距離邊緣較近但非邊緣點(diǎn)的干擾點(diǎn),針對(duì)這部分干擾點(diǎn),使用基于位置約束的二級(jí)偽特征點(diǎn)剔除方法進(jìn)行剔除,具體步驟如下:

(1)使用K-means[25-26]方法對(duì)一級(jí)偽特征點(diǎn)剔除后的保留點(diǎn)進(jìn)行聚類,并計(jì)算左右聚類中心,根據(jù)2個(gè)聚類中心x值大小區(qū)分左右特征點(diǎn)。

(2)將左側(cè)保留點(diǎn)x值不大于其聚類中心x值的點(diǎn)集設(shè)為p1,保留點(diǎn)x值大于其聚類中心x值的點(diǎn)集設(shè)為p2;將右側(cè)保留點(diǎn)x值小于其聚類中心x值的點(diǎn)集設(shè)為p3,保留點(diǎn)x值不小于其聚類中心x值的點(diǎn)集設(shè)為p4。

(3)將點(diǎn)集p1、p4中y值最大的保留點(diǎn)y1max和y4max,以及點(diǎn)集p2、p3中y值最小的保留點(diǎn)y2min和y3min設(shè)為基準(zhǔn)點(diǎn),圖10為K-means聚類結(jié)果及基準(zhǔn)點(diǎn)。

圖10 K-means聚類結(jié)果及基準(zhǔn)點(diǎn)

(4)判斷基準(zhǔn)點(diǎn)y1max和y3min是否為其所在類別中x值最小的特征點(diǎn),若是,則保留點(diǎn)集p1、p3中所有特征點(diǎn);若不是,剔除其所在類別中x值小于基準(zhǔn)點(diǎn)y1max、y3min相應(yīng)x值的保留點(diǎn)。

(5)判斷基準(zhǔn)點(diǎn)y2min和y4max是否為其所在類別中x值最大的特征點(diǎn),若是,則保留點(diǎn)集p2、p4中所有特征點(diǎn);若不是,剔除其所在類別中x值大于基準(zhǔn)點(diǎn)y2min、y4max相應(yīng)x值的保留點(diǎn)。

(6)經(jīng)過步驟(4)與步驟(5)剔除后所剩的特征點(diǎn)為最終提取到的道路邊緣點(diǎn),特征點(diǎn)提取與剔除結(jié)果如圖11所示。

圖11 特征點(diǎn)提取與剔除

2.2.2道路邊緣擬合

由于非結(jié)構(gòu)化道路邊緣無固有形狀,若使用線性擬合、邊緣模型等方法進(jìn)行擬合,其擬合效果與實(shí)際道路邊緣誤差較大,故本文使用分段三次樣條插值法分別對(duì)道路左右邊緣進(jìn)行擬合,在保證分段點(diǎn)間連接平滑的同時(shí)避免了高次函數(shù)導(dǎo)致的龍格現(xiàn)象,使擬合結(jié)果更貼合實(shí)際邊緣。

以左側(cè)邊緣點(diǎn)為例,設(shè)給定的節(jié)點(diǎn)(邊緣點(diǎn))坐標(biāo)為(xi,yi)(i=0,1,…,n),相鄰2個(gè)節(jié)點(diǎn)構(gòu)成一個(gè)分段區(qū)間,n+1個(gè)節(jié)點(diǎn)共構(gòu)成n個(gè)分段區(qū)間,每個(gè)分段區(qū)間的三次樣條函數(shù)表達(dá)式為

Si(x)=ai(x-xi)3+bi(x-xi)2+ci(x-xi)+di

(x∈[xi,xi+1],i=0,1,…,n-1)

(9)

式中ai、bi、ci、di——各分段區(qū)間三次樣條函數(shù)各項(xiàng)系數(shù)

則n個(gè)分段區(qū)間對(duì)應(yīng)的三次樣條函數(shù)S(x)表達(dá)式為

(10)

同時(shí),三次樣條插值函數(shù)S(x)需滿足以下4個(gè)插值條件:

(1)函數(shù)S(x)穿過所有節(jié)點(diǎn),即Si(xi)=yi(i=0,1,…,n-1)且Sn-1(xn)=yn。

(2)函數(shù)S(x)在所有節(jié)點(diǎn)(除第1個(gè)節(jié)點(diǎn)和最后1個(gè)節(jié)點(diǎn))處零階連續(xù),即Si(xi+1)=Si+1(xi+1)(i=0,1,…,n-2)。

(3)函數(shù)S(x)在所有節(jié)點(diǎn)(除第1個(gè)節(jié)點(diǎn)和最后1個(gè)節(jié)點(diǎn))處一階連續(xù),即S′i(xi+1)=S′i+1(xi+1)(i=0,1,…,n-2)。

(4)函數(shù)S(x)在所有節(jié)點(diǎn)(除第1個(gè)節(jié)點(diǎn)和最后1個(gè)節(jié)點(diǎn))處二階連續(xù),即S″i(xi+1)=S″i+1(xi+1)(i=0,1,…,n-2)。

由式(9)可得各分段區(qū)間三次樣條函數(shù)Si(x)的一階導(dǎo)函數(shù)與二階導(dǎo)函數(shù)分別為

S′i(x)=3ai(x-xi)2+2bi(x-xi)+ci

(11)

S″i=6ai(x-xi)+2bi

(12)

根據(jù)條件(1)與式(9)可得

(13)

根據(jù)條件(2)與式(9)可得

(14)

根據(jù)條件(3)與式(11)可得

(15)

根據(jù)條件(4)與式(12)可得

6aihi+2bi-2bi+1=0

(16)

式(14)～(16)中,i=0,1,…,n-2;hi=xi+1-xi。

本文使用非節(jié)點(diǎn)邊界法給出插值函數(shù)的邊界條件。第1段函數(shù)S0(x)和第2段函數(shù)S1(x)在第2個(gè)節(jié)點(diǎn)(x1,y1)處三階導(dǎo)數(shù)連續(xù),同時(shí)要求倒數(shù)第2段函數(shù)Sn-2(x)和最后一段函數(shù)Sn-1(x)在倒數(shù)第2個(gè)節(jié)點(diǎn)(xn-1,yn-1)處三階導(dǎo)數(shù)連續(xù),由此可得S?0(x1)=S?1(x1)和S?n-2(xn-1)=S?n-1(xn-1),即

(17)

聯(lián)立式(13)～(17)即可求解分段三次樣條插值函數(shù)S(x),得到左側(cè)道路邊緣三次樣條插值曲線,同理,可得右側(cè)道路邊緣三次樣條插值曲線, 圖12 為道路邊緣擬合結(jié)果。

圖12 道路邊緣擬合結(jié)果

3 試驗(yàn)及結(jié)果分析

試驗(yàn)在位于山東省淄博市沂源縣山東理工大學(xué)與山東中以現(xiàn)代智慧農(nóng)業(yè)有限公司共建的標(biāo)準(zhǔn)化蘋果園中進(jìn)行,試驗(yàn)設(shè)備采用Intel(R)Core(TM)i5-7200U CPU,主頻2.50 GHz,內(nèi)存12 GB,Windows 64位操作系統(tǒng)的計(jì)算機(jī),道路邊緣識(shí)別程序在Anaconda(Spyder)集成開發(fā)環(huán)境下使用Python 3.8編寫完成,圖13為圖像采集設(shè)備,圖像采集時(shí)相機(jī)光心離地1.3 m。

圖13 圖像采集設(shè)備

在晴天、陰天(存在車輛干擾)、順光、逆光、冬季晴天和雨雪天氣6種工況條件下對(duì)本文提出的基于圖像顏色與多方向紋理特征相結(jié)合的圖像融合方法進(jìn)行試驗(yàn)效果分析。在其他處理步驟一致的前提下,設(shè)置S分量與多方向紋理特征圖像為對(duì)照組,提取3種特征圖像中的邊緣點(diǎn),檢測(cè)算法識(shí)別邊緣點(diǎn)與人工標(biāo)識(shí)邊緣點(diǎn)之間的縱向偏差絕對(duì)值dv,并計(jì)算偏差率

(18)

式中Nv——ROI圖像縱向像素?cái)?shù)

rd——偏差率

圖14為多工況條件下3種特征圖像邊緣點(diǎn)提取結(jié)果,表3為多工況條件下3種特征圖像邊緣點(diǎn)平均縱向偏差絕對(duì)值與平均偏差率。

圖14 多工況條件下3種特征圖像邊緣點(diǎn)提取結(jié)果

表3 多工況條件下3種特征圖像邊緣點(diǎn)提取誤差計(jì)算結(jié)果

由圖14可知,在晴天、陰天、順光、逆光4種工況下,基于S分量與融合圖像提取到的邊緣點(diǎn)較完整且誤差較小,基于紋理圖像提取的邊緣點(diǎn)缺失嚴(yán)重且誤差較大。在冬季晴天和雨雪天氣工況下,3種特征圖像提取的邊緣點(diǎn)均較完整,基于S分量與紋理圖像提取的邊緣點(diǎn)誤差略大于基于融合圖像提取的邊緣點(diǎn)誤差。表3數(shù)據(jù)表明,在多工況條件下,S分量平均縱向偏差為1.94～3.00像素,平均偏差率為0.72%～1.54%,紋理圖像平均縱向偏差為2.21～93.38像素,平均偏差率為0.74%～43.23%,融合圖像平均縱向偏差為0.92～1.80像素,平均偏差率為0.29%～0.71%。S分量、紋理圖像和融合圖像在6種工況下的平均縱向偏差均值分別為2.43、39.71、1.36像素,平均偏差率均值分別為0.99%、18.02%和0.54%,S分量的平均縱向偏差均值與平均偏差率均值均居中,紋理圖像的平均縱向偏差均值與平均偏差率均值均最大,融合圖像的平均縱向偏差均值與平均偏差率均值均最小。融合圖像在6種工況下的平均縱向偏差均值較S分量與紋理圖像的平均縱向偏差均值分別減小44.03%和96.58%,融合圖像的平均偏差率均值較S分量與紋理圖像的平均偏差率均值分別減小了45.45%和97.00%。由此可見,本文提出的基于圖像顏色與多方向紋理特征相結(jié)合的融合圖像較單一特征圖像的邊緣點(diǎn)提取誤差與偏差率更小、提取精度更高,且在陰天工況下,存在車輛干擾時(shí),基于S分量與紋理圖像的提取方法無法對(duì)車輛所在區(qū)域進(jìn)行識(shí)別,而基于融合圖像的提取方法可有效提取車輛所在區(qū)域邊緣點(diǎn),實(shí)現(xiàn)障礙物的躲避。

圖15為常見擬合方法最小二乘法、隨機(jī)采樣一致性法(Random sample consensus,RANSAC)與本文分段三次樣條插值法對(duì)邊緣點(diǎn)的擬合效果。由圖15可知,本文采用的分段三次樣條插值法為曲線擬合,較最小二乘法與RANSAC法的直線擬合更貼合非結(jié)構(gòu)化道路實(shí)際邊緣曲線。當(dāng)陰天工況下,路面存在車輛時(shí),最小二乘法與RANSAC法無法對(duì)車輛所在區(qū)域邊緣進(jìn)行擬合,不利于農(nóng)業(yè)車輛行駛過程中障礙物的躲避,而本文使用的三次樣條插值曲線可實(shí)現(xiàn)對(duì)車輛所在區(qū)域邊緣的準(zhǔn)確擬合,有助于提高農(nóng)業(yè)車輛行駛過程中的安全性。對(duì)6種工況各選取10幅圖像,獲取各邊緣點(diǎn)所在列的實(shí)際道路邊緣與算法識(shí)別道路邊緣之間的縱向偏差絕對(duì)值,使用平均偏差、平均偏差率、偏差率標(biāo)準(zhǔn)差作為評(píng)價(jià)指標(biāo),對(duì)3種擬合方法的擬合效果進(jìn)行分析,具體數(shù)據(jù)見表4與圖16。

圖15 多工況下不同擬合方法道路邊緣擬合效果

圖16 多工況下不同擬合方法的偏差率標(biāo)準(zhǔn)差

表4 多工況下不同擬合方法道路邊緣擬合效果評(píng)價(jià)指標(biāo)

由表4可知,3種擬合方法中,RANSAC法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均最大,其平均偏差范圍為2.05～4.37像素,平均偏差均值為3.16像素,平均偏差率范圍為1.03%～1.38%,平均偏差率均值為1.21%,雨雪天氣時(shí)平均偏差及平均偏差率均最大;最小二乘法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均居中,其平均偏差范圍為1.66～3.25像素,平均偏差均值為2.64像素,平均偏差率范圍為0.84%～1.16%,平均偏差率均值為1.02%,雨雪天氣時(shí)平均偏差最大,順光工況下平均偏差率最大;本文分段三次樣條插值法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均最小,其平均偏差范圍為0.53～0.90像素,平均偏差均值為0.66像素,較RANSAC法與最小二乘法分別減小79.11%與75.00%,平均偏差率范圍為0.17%～0.37%,平均偏差率均值為0.26%,較RANSAC法與最小二乘法分別降低78.51%與74.51%,晴天工況下平均偏差與平均偏差率均最大。

由圖16可知,在同種工況條件下,使用分段三次樣條插值法擬合的道路邊緣較最小二乘法與RANSAC法,其偏差率標(biāo)準(zhǔn)差最小。6種工況下,RANSAC法擬合道路邊緣的偏差率平均標(biāo)準(zhǔn)差最大,為0.31%,最小二乘法擬合道路邊緣的偏差率平均標(biāo)準(zhǔn)差居中,為0.23%,本文分段三次樣條插值法擬合道路邊緣的偏差率平均標(biāo)準(zhǔn)差最小,為0.09%,較RANSAC法與最小二乘法分別減小70.97%和60.87%,表明本文分段三次樣條插值法具有更好的穩(wěn)定性。

由圖16可知,本文算法雨雪天氣時(shí)偏差率波動(dòng)幅度最大,其標(biāo)準(zhǔn)差為0.15%,冬季晴天時(shí)偏差率波動(dòng)幅度最小,其標(biāo)準(zhǔn)差為0.01%,順光、陰天、晴天、逆光工況下偏差率波動(dòng)幅度居中,其標(biāo)準(zhǔn)差分別為0.12%、0.10%、0.09%、0.07%。由此可知,算法在冬季晴天時(shí)最穩(wěn)定,在雨雪天氣下的標(biāo)準(zhǔn)差雖為6種工況中的最大值,但仍能滿足農(nóng)業(yè)機(jī)械作業(yè)過程中的精度要求。6種工況條件下,算法平均單幅圖像處理耗時(shí)分別為93.4、90.0、83.5、93.2、88.9、90.3 ms,單幀圖像平均處理時(shí)間為89.9 ms,滿足農(nóng)業(yè)機(jī)器人作業(yè)過程中的實(shí)時(shí)性要求。

4 結(jié)論

(1)針對(duì)果園中非結(jié)構(gòu)化道路無明顯邊界且道路邊緣存在陰影、土壤和沙石干擾等問題,提出一種顏色與紋理特征相結(jié)合的非結(jié)構(gòu)化道路識(shí)別方法。根據(jù)濾波與梯度統(tǒng)計(jì)相結(jié)合的動(dòng)態(tài)提取方法對(duì)HSV顏色空間S分量進(jìn)行ROI選取,并在此基礎(chǔ)上使用多方向紋理濾波器提取紋理特征,綜合利用最大值圖像融合法、基于距離與位置雙重約束的兩級(jí)偽特征點(diǎn)剔除方法、分段三次樣條插值法對(duì)道路邊緣進(jìn)行擬合以實(shí)現(xiàn)非結(jié)構(gòu)化道路識(shí)別。

(2)試驗(yàn)結(jié)果表明,6種工況條件下,融合圖像提取的邊緣點(diǎn)平均縱向偏差均值為1.36像素,平均偏差率均值為0.54%,較單一特征圖像而言,其提取誤差與偏差率更小、提取精度更高。分段三次樣條插值法的平均偏差均值為0.66像素,平均偏差率均值為0.26%,偏差率平均標(biāo)準(zhǔn)差為0.09%,較最小二乘法與RANSAC法而言,擬合精度更高且具有更好的穩(wěn)定性。當(dāng)路面存在車輛時(shí),基于融合圖像的特征點(diǎn)提取方法可有效提取車輛所在區(qū)域邊緣點(diǎn),三次樣條插值法可實(shí)現(xiàn)對(duì)車輛所在區(qū)域邊緣的準(zhǔn)確擬合,有利于農(nóng)業(yè)機(jī)器人作業(yè)過程中障礙物的躲避,可提高其行駛的安全性。6種工況下,算法單幀圖像平均處理時(shí)間為89.9 ms,滿足農(nóng)業(yè)機(jī)器人作業(yè)過程中的實(shí)時(shí)性要求。