基于機(jī)器視覺的葡萄采摘點(diǎn)三維空間定位系統(tǒng)的研究

宋西平　李國琴　羅陸鋒

摘要：利用OpenCV與VC+ +語言平臺(tái)開發(fā)了1套基于機(jī)器視覺的葡萄采摘點(diǎn)三維空間定位系統(tǒng)，并闡述了運(yùn)用機(jī)器視覺技術(shù)實(shí)現(xiàn)葡萄目標(biāo)從相機(jī)圖像獲取到采摘點(diǎn)三維空間數(shù)據(jù)計(jì)算的實(shí)現(xiàn)過程。同時(shí)利用直線夾角閾值、可信區(qū)域、點(diǎn)到直線最小距離與深度間距閾值4個(gè)約束條件改進(jìn)了傳統(tǒng)的葡萄采摘點(diǎn)果梗定位方式，使采摘點(diǎn)較好地定于葡萄果梗中部，后經(jīng)立體匹配與雙目視覺三維空間定位原理求取葡萄采摘點(diǎn)的三維坐標(biāo)，提高了葡萄采摘點(diǎn)定位的精準(zhǔn)度。

關(guān)鍵詞：葡萄采摘點(diǎn)；雙目視覺；三維定位；立體匹配

中圖分類號(hào)： TP391.41 文獻(xiàn)標(biāo)志碼： A 文章編號(hào)：1002-1302（2016）07-0377-04

我國是農(nóng)業(yè)大國，水果經(jīng)濟(jì)產(chǎn)業(yè)在農(nóng)業(yè)經(jīng)濟(jì)發(fā)展中占有重要的地位。近年來，利用機(jī)器視覺技術(shù)實(shí)現(xiàn)機(jī)器人對(duì)農(nóng)業(yè)對(duì)象的自動(dòng)作業(yè)已成為農(nóng)業(yè)機(jī)械研究領(lǐng)域的熱點(diǎn)[1-5]。如項(xiàng)榮等利用組合匹配方法與深度校正的雙目視覺模型實(shí)現(xiàn)了番茄目標(biāo)的三維定位，獲得了較好的定位精度[6]；張凱良等基于機(jī)器視覺識(shí)別技術(shù)設(shè)計(jì)了1款針對(duì)高架栽培模式的草莓采摘機(jī)器人，采摘成功率達(dá)到88%[7]；Bac等利用人工設(shè)置輔助線實(shí)現(xiàn)了基于機(jī)器視覺技術(shù)的甜椒稈徑定位識(shí)別，獲得了較好的定位精度[8]；楊慶華等為了實(shí)現(xiàn)機(jī)器人對(duì)葡萄的套袋技術(shù)，結(jié)合葡萄|G-R|+|G-B|色差圖與形狀特征確定葡萄位置，取得較好效果[9]。

為解決農(nóng)業(yè)采摘機(jī)器人對(duì)葡萄水果對(duì)象的無損采摘問題，本研究利用OpenCV與VC+ +語言平臺(tái)開發(fā)了1套基于機(jī)器視覺的葡萄采摘點(diǎn)三維空間定位系統(tǒng)，并闡述了該系統(tǒng)實(shí)現(xiàn)葡萄目標(biāo)從相機(jī)圖像獲取到采摘點(diǎn)三維空間數(shù)據(jù)計(jì)算的實(shí)現(xiàn)過程，同時(shí)還改進(jìn)了羅陸鋒等提出的自然狀態(tài)果梗無遮擋狀態(tài)下的葡萄采摘點(diǎn)位置確定方式[10]，通過直線夾角閾值、可信區(qū)域、點(diǎn)到直線最小距離與深度間距閾值4個(gè)約束條件使采摘點(diǎn)盡可能地定于葡萄果梗的中部，并通過立體匹配技術(shù)計(jì)算出葡萄采摘點(diǎn)的三維空間坐標(biāo)，提高了采摘點(diǎn)的定位精準(zhǔn)度，為機(jī)器人自動(dòng)采摘作準(zhǔn)備。經(jīng)過試驗(yàn)發(fā)現(xiàn)該系統(tǒng)能夠較好地完成葡萄采摘點(diǎn)的三維定位功能。

1 雙目視覺葡萄采摘點(diǎn)三維空間定位系統(tǒng)框架 本研究雙目視覺葡萄采摘點(diǎn)的三維空間定位系統(tǒng)的建立經(jīng)過以下步驟實(shí)現(xiàn)（圖1）：（1）相機(jī)標(biāo)定與校正。通過采集含有標(biāo)定物的多幅視場(chǎng)圖像，根據(jù)相機(jī)標(biāo)定原理，求解相機(jī)的內(nèi)外參數(shù)，以及2個(gè)相機(jī)的空間位置關(guān)系，選擇合適的算法校正相機(jī)的輸出圖像，避免因?yàn)橄鄼C(jī)畸變等因素產(chǎn)生圖像的像素誤差。本系統(tǒng)采用了Bouguet算法[11]原理實(shí)現(xiàn)相機(jī)圖像的校正。（2）建立世界坐標(biāo)系。對(duì)于已經(jīng)校正好的相機(jī)輸出圖像，為了求解目標(biāo)點(diǎn)的坐標(biāo)需要建立參考坐標(biāo)系，使得所求點(diǎn)的坐標(biāo)以世界坐標(biāo)系為基準(zhǔn)，為機(jī)器人的采摘做好準(zhǔn)備。（3）葡萄采摘點(diǎn)的識(shí)別與定位。從校正好的相機(jī)中獲取有效區(qū)域中的葡萄圖像，并通過分析確定采摘點(diǎn)圖像坐標(biāo)的位置，立體匹配求得左右圖像間的視差，依據(jù)雙目空間定位的原理求得葡萄采摘點(diǎn)的三維空間坐標(biāo)。

2 雙目相機(jī)三維空間定位原理

物體對(duì)象點(diǎn)的三維空間定位原理是通過被求空間點(diǎn)在左右相機(jī)中成像位置依據(jù)三角測(cè)量原理求解的。本研究采用Bouguet算法原理完成相機(jī)校正。經(jīng)過Bouguet算法校正后的相機(jī)從數(shù)學(xué)上完成了左右相機(jī)的前向平行配置。使得左右圖像具有行對(duì)準(zhǔn)的特點(diǎn)，縮短了立體匹配的時(shí)間（圖1）[11]。

圖2中，Ol與Or分別表示2個(gè)相機(jī)的投影中心，以左相機(jī)Ol為基準(zhǔn)點(diǎn)，投影中心Or到Ol的距離定義為基線距離b。P點(diǎn)為物體點(diǎn)在相機(jī)坐標(biāo)下的坐標(biāo)（Xc，Yc，Zc）。pl（ul，vl）為在目標(biāo)點(diǎn)在左圖像上的坐標(biāo)，pr（ur，vr）為目標(biāo)點(diǎn)在右圖像上的坐標(biāo)。經(jīng)Bouguet算法校正后vl=vr=v，且左右相機(jī)的焦距一致，即fl=fr=f，則相機(jī)坐標(biāo)系下P點(diǎn)的三維坐標(biāo)由三角幾何關(guān)系可得：

因此，左相機(jī)成像面上的目標(biāo)點(diǎn)只要在右成像面上找到其對(duì)應(yīng)的匹配點(diǎn)，就可確定該點(diǎn)在世界坐標(biāo)下的坐標(biāo)（Xw，Yw，Zw）。

3 葡萄采摘點(diǎn)三維空間定位實(shí)現(xiàn)

3.1 葡萄目標(biāo)圖像分割

圖像分割是確定葡萄區(qū)域的關(guān)鍵步驟，本研究以夏黑葡萄（圖3）為試驗(yàn)研究對(duì)象，通過彩色直方圖反向投影技術(shù)[12]對(duì)目標(biāo)區(qū)域進(jìn)行分割。直方圖反向投影是一種利用給定模板圖像顏色分布直方圖計(jì)算目標(biāo)圖像概率進(jìn)行物體識(shí)別的技術(shù)[13]。該技術(shù)對(duì)于物體識(shí)別具有良好的效果，得到了廣泛的應(yīng)用研究。彩色直方圖反向投影技術(shù)綜合了顏色的RGB信息，對(duì)于物體的識(shí)別具有較好地效果。本研究通過彩色直方圖反向投影、形態(tài)學(xué)處理、最大連通區(qū)域提取步驟確定目標(biāo)輪廓（圖4），該方式能夠較好地降低誤分割的現(xiàn)象，對(duì)于目標(biāo)正確提取的概率較高，能夠較好地適應(yīng)于復(fù)雜環(huán)境下的葡萄目標(biāo)檢測(cè)。

3.2 葡萄采摘點(diǎn)圖像坐標(biāo)定位

羅陸鋒等提出懸掛生長(zhǎng)情況下的采摘點(diǎn)定位方式，通過在葡萄輪廓區(qū)域上方構(gòu)建1個(gè)果梗感興趣區(qū)域，在感興趣區(qū)域內(nèi)對(duì)圖像進(jìn)行預(yù)處理，通過霍夫直線檢測(cè)與重心到檢測(cè)到

的直線最小距離作為約束條件求解葡萄采摘點(diǎn)[10]。該方式較好地檢測(cè)出葡萄采摘點(diǎn)所在的位置且成功率較高。本研究通過分析葡萄果梗的生長(zhǎng)方式，發(fā)現(xiàn)葡萄果梗對(duì)應(yīng)另一側(cè)的直線也可以很容易地檢測(cè)出。因此本研究首先根據(jù)羅陸鋒等提出的定位方式[10]對(duì)葡萄采摘點(diǎn)初定位，然后根據(jù)檢測(cè)出的對(duì)應(yīng)另一側(cè)的果梗直線求中點(diǎn)，最后選取果梗2條異側(cè)直線的中點(diǎn)連線所確定的直線段的中點(diǎn)作為最終的采摘點(diǎn)。其實(shí)現(xiàn)原理如圖5所示。

3.2.1 葡萄采摘點(diǎn)初定位原理 羅陸鋒等通過預(yù)分割提取最大聯(lián)通分量的目標(biāo)輪廓以及輪廓頂點(diǎn)（xt，yt），根據(jù)目標(biāo)輪廓求其重心（xc，yc），并在其上方根據(jù)目標(biāo)輪廓的寬度Lmax與輪廓頂點(diǎn)，構(gòu)建寬度為Roi_W與高度為Roi_H的感興趣區(qū)域，再利用果梗邊緣呈直線狀的特點(diǎn)，在區(qū)域內(nèi)做累計(jì)概率霍夫直線檢測(cè)[14]，對(duì)于檢測(cè)到的直線段兩端點(diǎn)pi1（xi1，yi1）和pi2（xi2，yi2）構(gòu)建兩點(diǎn)式直線方程[10]。

3.2.2 葡萄采摘點(diǎn)果梗中部定位步驟 本研究將“3.2.1”節(jié)求得的采摘點(diǎn)位置po1定義為初位置，對(duì)葡萄采摘點(diǎn)做2次精準(zhǔn)定位，使采摘點(diǎn)定位于果梗中部。設(shè)po1所在直線為L(zhǎng)1，其兩端點(diǎn)為p11、p12。根據(jù)葡萄果梗的生長(zhǎng)特點(diǎn)，果梗對(duì)應(yīng)另一側(cè)位置直線L2同樣易于檢測(cè)出，且與L1近似平行。由于一些環(huán)境因素使得與直線L1近似平行的包括直線L2在內(nèi)的多條直線被檢測(cè)出（圖6）。

為了求取最佳目標(biāo)直線L2，本研究通過設(shè)計(jì)4層過濾步驟濾除其他直線的影響：

步驟（1）：設(shè)直線夾角閾值θ作為直線L1與檢測(cè)到的其他直線Lj（j∈1，2，…，n）的夾角約束條件，求得與L1近似平行的直線集。設(shè)采摘點(diǎn)初位置所在直線的兩端點(diǎn)p11和p22坐標(biāo)分別為（x11，y11）和（x12，y12），同時(shí)構(gòu)建向量a，剩余直線集端點(diǎn)為pj1（xj1，yj1）和pj2（xj2，yj2）構(gòu)建向量bj，通過式（5）求向量的夾角。

由于此時(shí)夾角θ的取值范圍為[0°，180°]。為了得到近似平行的向量，設(shè)定角度θθ2，本研究中設(shè)定θ1為5°，θ2為175°。

步驟（2）：以采摘點(diǎn)初位置所在直線段端點(diǎn)構(gòu)建可信域（圖1），L_H為可信高度，Roi_W為可信域?qū)挾龋榱胁襟E（1）篩選后的所有直線，只有直線的端點(diǎn)至少1個(gè)在此區(qū)域內(nèi)或2個(gè)端點(diǎn)分別位于可信區(qū)域上下兩側(cè)的為可能的果梗異側(cè)直線。此方式可以過濾掉與L1近似平行的同側(cè)直線的影響。

步驟（3）：經(jīng)過步驟（2） 篩選后的直線集，根據(jù)式（4）與式（5）同時(shí)滿足與直線L1夾角最小且po1到直線距離最小值作為約束條件判定最佳目標(biāo)直線L2，L2中點(diǎn)定義為點(diǎn)po2。如果存在直線滿足該條件，則規(guī)定點(diǎn)po1與點(diǎn)po2連線的中點(diǎn)pok作為可信度高的采摘點(diǎn)位置。

通過試驗(yàn)發(fā)現(xiàn)經(jīng)過前3個(gè)步驟已經(jīng)能較好地將采摘點(diǎn)定位于果梗中部，紅色點(diǎn)為采摘點(diǎn)，綠色點(diǎn)為重心，青色線段為果梗最佳異側(cè)直線（圖7）。

步驟（4）：為了提高檢測(cè)的穩(wěn)定性，設(shè)定深度間距閾值Dz作為判定最終果梗采摘點(diǎn)的條件，通過對(duì)多串果梗直徑的測(cè)量并考慮定位誤差等因素的影響，本研究設(shè)定Dz=10 mm。

對(duì)采摘點(diǎn)po1、pok分別通過立體匹配求取深度值Zo1、Zok，若|Zo1-Zok|

步驟（5）：若不存在同時(shí)滿足上述條件的采摘點(diǎn)，則以po1作為最終采摘點(diǎn)位置。

將采摘點(diǎn)盡可能地定位于果梗中部，有利于降低采摘機(jī)器人末端執(zhí)行器在采摘過程中由于累加定位誤差等因素的影響造成實(shí)際定位偏離果梗部位概率，提高采摘成功率。

3.3 采摘點(diǎn)立體匹配

區(qū)域立體匹配算法是根據(jù)模板窗口計(jì)算待匹配點(diǎn)與對(duì)應(yīng)極線上候選點(diǎn)相似度，選取最大相似度的點(diǎn)作為匹配點(diǎn)[15]。基于區(qū)域的立體匹配算法發(fā)展較為成熟，應(yīng)用較廣泛，常見的相似度測(cè)量函數(shù)有：最小絕對(duì)值（SAD）、最小均差絕對(duì)值（ZSAD）、最小平方差（SSD）、最小均方差算法（ZSSD）、互相關(guān)算法（NCC）等[15]。考慮相機(jī)工作環(huán)境的復(fù)雜多變性與左右相機(jī)曝光不一致等因素影響，本研究選取抗干擾性與實(shí)時(shí)性較好的NCC算法為相似度測(cè)量函數(shù)[式（6）][16]，獲得采摘點(diǎn)的左右圖像匹配點(diǎn)。

4 采摘點(diǎn)空間定位系統(tǒng)試驗(yàn)

本系統(tǒng)采用OpenCV 2.3.1與Visual C+ +2008開發(fā)，該系統(tǒng)可完成圖1中的所有流程，其中采摘點(diǎn)靜態(tài)定位模塊如圖8所示。該系統(tǒng)利用雙目相機(jī)采集800×600大小的視頻圖像與德國Halcon軟件配套圓點(diǎn)標(biāo)定板（標(biāo)志點(diǎn)個(gè)數(shù)7×7，中心間距25 mm）標(biāo)定相機(jī)參數(shù)。

本系統(tǒng)在試驗(yàn)室環(huán)境下對(duì)相機(jī)標(biāo)定，利用標(biāo)定板設(shè)定世界坐標(biāo)系基準(zhǔn)。相機(jī)標(biāo)定后主要數(shù)據(jù)如表1所示，標(biāo)定后左右相機(jī)焦距一致，基線距離b約為177.109 mm。

為測(cè)定采摘點(diǎn)三維定位效果，對(duì)經(jīng)過實(shí)際測(cè)量果梗直徑為2.75 mm的葡萄對(duì)象試驗(yàn)，將果梗置于設(shè)定的世界坐標(biāo)系下深度為58 mm處，求得該處位置下的采摘點(diǎn)空間位置（表2）。

從表2中可以看出，在5次對(duì)同一世界坐標(biāo)系下的采摘點(diǎn)定位過程中，采摘點(diǎn)的位置在X方向的最大波動(dòng)距離為181.663-180.447=1.216 mm，Y方向最大左右波動(dòng)為26010-23.422=2.588 mm，表明重復(fù)定位過程中由于噪聲等因素影響采摘點(diǎn)在果梗左右、上下位置微小波動(dòng)，Z方向在世界坐標(biāo)系下的最大波動(dòng)為59.851-58.000=1.851 mm。由于末端執(zhí)行器具有一定的容錯(cuò)性，以上位置誤差可以滿足機(jī)器人目標(biāo)采摘定位的要求。

本系統(tǒng)雖然能夠較好地定位葡萄采摘點(diǎn)，但該系統(tǒng)只是針對(duì)于較理想狀態(tài)下懸掛生長(zhǎng)方式葡萄采摘點(diǎn)的定位，然而由于受復(fù)雜的葡萄園環(huán)境、葡萄色彩、果梗被枝葉遮擋、果梗異側(cè)凸節(jié)情況的出現(xiàn)、枯葉、多串葡萄重疊、立體匹配、相機(jī)硬件成像設(shè)備、相機(jī)標(biāo)定計(jì)算誤差等因素的影響可能造成采摘點(diǎn)的定位失敗，今后應(yīng)該深入研究這些因素的影響，提高定位成功率。

5 結(jié)論

為實(shí)現(xiàn)農(nóng)業(yè)機(jī)器人對(duì)于葡萄水果的采摘作業(yè)，本研究闡述了葡萄目標(biāo)從相機(jī)圖像獲取到采摘點(diǎn)三維空間數(shù)據(jù)計(jì)算的實(shí)現(xiàn)過程，并通過改進(jìn)的采摘點(diǎn)定位方式使采摘點(diǎn)較大程度地定位于果梗中部，試驗(yàn)驗(yàn)證了三維空間采摘點(diǎn)的定位效果并分析了影響采摘點(diǎn)定位的因素，研究結(jié)果將為葡萄采摘機(jī)器人的研發(fā)提供重要參考。

參考文獻(xiàn)：

[1]顧寶興，姬長(zhǎng)英，王海青，等. 智能移動(dòng)水果采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（6）：153-160.

[2]田 銳，郭艷玲. 基于機(jī)器視覺的葡萄自動(dòng)識(shí)別技術(shù)[J]. 東北林業(yè)大學(xué)學(xué)報(bào)，2008，36（11）：95-97.

[3]張 凱，趙麗寧，孫 哲，等. 葡萄套袋智能機(jī)器人系統(tǒng)設(shè)計(jì)與目標(biāo)提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（增刊1）：240-246.

[4]Font D，Palleja T，Tresanchez M，et al. Counting red grapes in vineyards by detecting specular spherical reflection peaks in RGB images obtained at night with artificial illumination[J]. Computers and Electronics in Agriculture，2014，108：105-111.

[5]Wei X Q，Jia K，L J H，et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik，2014，125（19）：5684-5689.

[6]項(xiàng) 榮，應(yīng)義斌，蔣煥煜，等. 基于雙目立體視覺的番茄定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28（5）：161-167.

[7]張凱良，楊 麗，王糧局，等. 高架草莓采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（9）：165-172.

[8]Bac C W，Hemming J，van Henten E J. Stem localization of sweet-pepper plants using the support wire as a visual cue[J]. Computers and Electronics in Agriculture，2014，105：111-120.

[9]楊慶華，劉 燦，荀 一，等. 葡萄套袋機(jī)器人目標(biāo)識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（8）：234-239.

[10]羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機(jī)器人采摘點(diǎn)的自動(dòng)定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31（2）：14-21.

[11]Bradski G，Kaehler A.學(xué)習(xí)OpenCV（中文版）[M]. 于仕琪，劉瑞楨，譯.北京：清華大學(xué)出版社，2009.

[12]Laganière R.OpenCV 2計(jì)算機(jī)視覺編程手冊(cè)[M]. 張 靜，譯. 北京：科學(xué)出版社，2013.

[13]張 辰，趙紅穎，錢 旭. 直方圖反向投影多目標(biāo)檢測(cè)優(yōu)化算法[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2014，23（2）：178-182，218.

[14]Galambos M C，Kittler J. Robust detection of lines using the progressive probabilistic hough transform[J]. Computer Vision Image Understanding，2000，78（1）：119-137.

[15]何 艷. 基于雙目立體視覺的窗口區(qū)域立體匹配算法研究[D]. 上海：上海師范大學(xué)，2014.

[16]施陳博. 快速圖像配準(zhǔn)和高精度立體匹配算法研究[D]. 北京：清華大學(xué)，2011.