基于3D視覺的番茄授粉花朵定位方法

文朝武 龍潔花,2 張 宇 郭文忠 林 森 梁曉婷,2

(1.北京市農林科學院智能裝備技術研究中心， 北京 100097； 2.上海海洋大學信息學院， 上海 201306)

0 引言

番茄是溫室生產的主要作物之一，大約90%以上的大型玻璃溫室均用來種植番茄，由于番茄屬于典型的雌雄同花植物[1]，在溫室環境內缺乏自然風和昆蟲活動，往往導致授粉不良。目前大型溫室內番茄授粉方式主要采用熊蜂授粉，但授粉熊蜂存在養殖費用高、生存周期短、重復利用率低下等問題[2]。采用智能授粉機器人可代替人工和熊蜂授粉，具有降低勞動力成本與生產費用以及擁有較高的重復利用率等優點[3]。北京市農林科學院智能裝備技術研究中心研發了一種采用機器視覺定位開花花朵、自適應間歇噴氣引起花朵震動的智能番茄授粉機器人，并提出一種基于溫室內番茄花朵定位方法。而授粉機器人對授粉花朵的精準定位是決定授粉精度和授粉效率的關鍵，因此，研究一種基于3維(3D)視覺的番茄授粉花朵定位方法是授粉機器人的必要條件。

在花朵的識別上，學術界提出的基于2維(2D)目標檢測的框架得到廣泛應用[4]，該類方法利用花朵的形態、外觀以及顏色等特征作為卷積神經網絡的攝入信息，以獲得更好的識別效果。OPPENHEIM[5]提出一種對溫室內番茄花朵檢測算法，在不同光照條件下實現了番茄的黃花計數，該方法并未解決對花朵的定位問題。YUAN等[6]提出了一種將 SSD 深度學習技術引入到花卉檢測與識別領域的方法，該方法在 VOC2007 上平均準確率為83.64%，在VOC2012 上平均準確率為 87.4%，并引入視頻流解決了對2個或多個目標花卉的檢測，但其識別準確率和時間效率有待提高，在機器人上不適用。2D場景下的目標檢測對于3D真實世界的場景描述依然不夠，3D目標檢測在定位時返回3D Bounding boxes，而它需要的信息除了2D的RGB圖像以外，還包含與之對應的深度圖像。王玲等[7]以棉花為研究對象，提出一種面向采摘機器人的棉花激光定位方法，利用形態學圖像分割方法和模式識別理論，結合棉花的特性測量了單朵棉花的三維坐標，該方法在單株棉花上識別率達96.76%，利用激光測距和手工測量作對比，其相關系數為0.993 4。該方法與結構光相機原理相似，但處理方法不同，且僅限于單棵棉株使用。王萌等[8]提出一種櫻桃小番茄腋芽去除點定位方法，該方法將采集相機安裝在機器人手臂上，由手臂牽引相機采集圖像，雖然識別率達到了93.94%，但該葉芽摘除執行器與葉芽相對距離為固定距離，不適應溫室復雜環境。

在3D目標定位方面，GUPTA等[9]提出了一種在2D目標檢測區域卷積神經網絡(R-CNN)的框架基礎上，增加深度圖像進行模型利用的方法。該方法基于RGB和深度圖像檢測中的輪廓，并生成包含目標每個像素的視差、高度和傾斜角的2.5個維度的提議方法，然后利用卷積神經網絡(CNN) 進行特征提取，融合深度卷積神經網絡(Depth CNN) 和RGB卷積神經網絡分別學習深度圖像和2D圖像的特征，最后利用支持向量機(SVM)進行分類，但其計算過程相對復雜，難以適用在設施番茄機器人上。CHEN等[10]以面向自動駕駛為場景，提出一種新的目標檢測方法，該方法將目標中每一個3D bounding box用一個元組來表示，元組中包含x、y、z、q、c，其中(x，y，z)為中心點坐標，q為方位角，c表示目標類別，t為相應的3D box模板集合。該方法認為，其3D box應具有以下特征：包含點云的高密度區域、不能與free space 重疊、點云不應該垂直延伸在3D box外、box附近的點云高度應該比之低，該方法對光滑平面固體的抓取具有良好的效果，而番茄花束區域為非平滑平面，此方法無法產生高密度重疊。番茄有效授粉區域為花束的實際占有面積區域，以上方法均存在局限性。

針對溫室番茄花束花朵的非結構性，即非平滑平面或曲面[11]，本文提出一種基于RGB-D結構光相機的番茄授粉花朵定位方法。采用YOLO v4神經網絡對溫室環境下番茄花束進行識別，提取RGB圖像中花束的像素區域。采用主動對齊方式融合深度圖像獲取點云數據，并使用離群濾波算法對干擾點坐標去噪。最后采用雙向均衡算法擬合花束3D box 授粉平面的質心坐標。最終結合手眼標定算法將相機坐標轉換為機械臂坐標，并引導機器人授粉末端執行授粉功能。

1 定位方法

1.1 圖像采集設備

采集相機為圖漾科技公司生產的3D視覺傳感器FM851-GI-E1，采用主動雙目結構光視覺技術，包括雙目紅外攝像頭、彩色攝像頭和光學增強系統，并具有主、被動方式的雙目模式切換功能。分辨率包括640像素×480像素和1 280像素×960像素兩種尺度，且支持同步尺寸的RGB-D對齊功能，x、y方向測量精度為4 mm，深度z測量精度為2 mm，有效測量范圍是0.7～8 m。機器人核心控制器采用工業控制計算機，i7-4700MQ 2.4 GHz CPU、16 GB DDR3L內存和500 GB硬盤。

設施番茄授粉機器人手臂部件為遨博(北京)智能科技有限公司生產的AUBO-i5六軸協同機械臂，臂展為1 008 mm，可滿足在0～886 mm范圍內工作，定位精度為0.2 mm，且末端最大移動速度為4 m/s。如圖1所示，3D工業相機安裝在機器人的固定高度處，角度固定，以獲得手臂有效工作范圍內的最大視野。計算機系統為Ubuntu 16.04系統，算法編程平臺使用OpenCV 3.4.5和Qt 5.9，使用Cmake 11和Qmake編譯工具實現識別和定位控制系統的開發。神經網絡模型在Ubuntu 16.04系統上，基于Darknet框架， 1個12GB GeForce GTX 2080ti GPU，在64 GB內存上進行訓練和測試。

圖1 番茄授粉機器人結構Fig.1 Structure of tomato pollination robot

1.2 圖像采集結果

試驗對象選用智能玻璃溫室內使用巖棉栽培技術種植的草莓番茄花朵，在番茄開花期(2020年10月20日—11月10日)使用機器人自帶工業相機進行圖像采集。并在玻璃溫室環境下進行拍攝，總共獲得100幅RGB花朵圖像(1 280像素×960像素) 及其相同尺寸的深度圖像。采集的RGB圖像與深度圖像樣例如圖2所示。

圖2 番茄RGB圖像與深度圖像Fig.2 RGB image and depth map of tomato

分別在08:00、12:00、18:00采集樣本，并根據不同遮擋程度進行分類。如表1所示，試驗設定遮擋程度小于5%則判定為無遮擋，遮擋程度大于95%為完全遮擋并不做研究。考慮到晴天中午受太陽光照的影響，適當增加12:00采集的樣本數量，增強網絡模型的魯棒性。然后對RGB圖像進行平移、旋轉、曝光、亮度等調節，將圖像擴充到500幅用于神經網絡的訓練，按照7∶2∶1劃分為訓練集、驗證集和測試集。為驗證逆光環境的定位精度，采集時采用順光、逆光進行拍攝。

表1 不同時間段和遮擋程度樣本數量Tab.1 Number of samples in different time periods and degrees of occlusion 幅

1.3 番茄花朵定位方法

本文提出的番茄授粉花朵自動定位方法包含圖像預處理、YOLO v4 識別RGB圖像中的目標花束、融合深度圖像對齊花束區域、點云濾波去噪以及雙向均衡算法提取授粉質心坐標等步驟。

在溫室環境中，由于光線變化，需提前對相機實時采集的RGB圖像亮度、曝光度進行簡單預處理，以增強模型的識別精度和魯棒性[12]。YOLO v4神經網絡對目標花束識別提取出花束區域對應的回歸框的寬度和高度，計算原始圖像中花束的Bounding box，RGB圖像融合深度圖像進行對齊后計算番茄花束的三維點云坐標[13]。使用統計濾波算法剔除花束附近的干擾坐標，最后使用雙向均衡算法計算花束3D box的授粉質心坐標。若坐標位于手臂有效工作范圍內，則根據手眼標定算法將相機坐標轉換為手臂坐標，并引導授粉末端完成授粉功能。

1.3.1花束區域提取

設施番茄在授粉過程中，采用人工振蕩授粉可以提高番茄的坐果率、產量和品質，不受噴藥、熏藥和室內溫濕度的限制，此外可以減少番茄灰霉病的發生[14]。故機器人在執行授粉過程中，采用自適應間歇噴氣產生花朵震動模擬人工振蕩授粉，噴氣和振動授粉的工作范圍為番茄花束區域。本文基于YOLO v4 神經網絡對番茄花束進行精準識別并提取花束區域。

YOLO v4由BOCHKOVSKIY等[15]提出，利用CSPDarknet 53[16]卷積神經網絡進行目標特征提取，引入SPP網絡結構，采用3種尺寸張量預測輸出，在目標大小不一和部分遮擋情況下都具有較好的檢測效果。神經網絡預測坐標(tx，ty，tw，th)、圖像中目標最左邊偏移量坐標(cx,cy)和邊界框的高度pw、寬度ph。輸出預測值包括bx、by、bw、bh和置信度，置信度為預測結果的可信度，預測值計算公式為

bx=β(tx)+cx

(1)

by=β(ty)+cy

(2)

bw=pwetw

(3)

bh=pheth

(4)

式中bx——目標實際中心X像素值

by——目標實際中心Y像素值

bw——目標實際框寬度

bh——目標實際框高度

tx——預測框X像素值

ty——預測框Y像素值

tw——預測框預測寬度

th——預測框預測高度

β——sigmoid函數

使用YOLO v4對目標花束進行識別，預測輸出的矩形框為實際花束區域。

如圖3所示，將番茄花原圖傳入網絡輸入層， CBM模塊進行卷積操作，接著進行批量標準化和激活函數激活，下一步傳入CSP等結構完成特征提取；然后傳入YOLO結構進行3種尺寸(19×19，32×32，76×76)預測和回歸，再回歸至原圖進行多尺度花束預測。融合3種尺寸特征圖完成目標檢測，在原圖分辨率上寬bx、高by為區域中心提取目標花束，最終獲取花束區域圖像，即授粉花束在原始圖像中的2D坐標區域張量[17-20]。

圖3 基于YOLO v4的花束區域提取網絡結構圖Fig.3 Network structure of extraction of floral area based on YOLO v4

1.3.2圖像對齊與去噪

采用RGB-D相機獲取番茄花束和植株周邊環境的RGB圖像和深度圖像，并采用相機SDK主動對齊方式對齊，結合點云庫(PCL)進行RGB圖像和深度圖像的點云對齊[21]，建立RGB-D相機空間坐標系。RGB圖像花束區域提取后，采用區域內色系單視角線性遍歷方法，對花束RGB和深度圖像區域對齊配準，獲取花束區域點云坐標。在RGB圖像中，花束區域以黃色色系花朵填充，本文對預測框內像素點進行色系判斷，剔除非花朵像素，并進行花束區域點云精對齊操作。圖像中每個像素點包含R、G、B通道值(fR,fG,fB)。在判斷過程中，采用從左至右、自上而下的線性遍歷方法逐一對區域內像素點進行色系判斷。像素點色系計算公式為

(5)

式中H——色系，取0～360

max——最大色系

min——最小色系

本文判定H在60～300區域內為黃色色系像素點[22]。由于花束中花朵目標為非平面結構，提取出的花束區域點云數據中常存在一些離群噪聲點[23]，本文采用統計濾波方法將其剔除[24]。對于目標花束區域內點云，數量為n，每個點云坐標pi(xi,yi,zi)(i=1,2,…,n)到它的空間臨近點pj(xj,yj,zj)(j=1,2,…,k)的平均距離di計算公式為

(6)

本文設定k=70，距離di在μ±ασ(μ為平均距離均值，σ為標準差)以外的點為噪聲點，其中α取值為1-1/k，取0.3時效果最好。

1.3.3授粉質心坐標計算

授粉質心坐標是定位算法的終極目標，精準計算授粉花束的質心坐標是機器人執行授粉操作的必要條件[25-26]。一個花束區域中，常常含有多個目標花朵，本文提出一種基于三維坐標系的雙向均值法計算授粉質心坐標[27]，在三維點云集中，采用雙平面質心算法獲得目標花束空間點云坐標(x,y,z)，除此之外，點云信息中還包含各個像素點的R、G、B值[28]。

圖像質心也稱為圖像重心[29]，如圖4所示，同一授粉花束中花朵分布不規則，存在聚集或單一花朵四周分布現象，此時需要計算該花束的統一授粉質心點，使得花束重心兩端的花朵質量相等。

圖4 花束圖像質心Fig.4 Bouquet image centroid

YOLO v4檢測后，將目標花束在2D圖像的像素中心坐標值bx、by以及寬度bw、高度bh作為點云的輸入，在RGB圖像與深度圖像對齊后，每個像素點(bx,by)與點云pi(xi,yi,zi)(i=1,2,…,n)的轉換公式為

pi(xi,yi,zi)=pindex(x，y，z)

(7)

其中

index=bxbyl

(8)

式中index——像素到點云的索引，對應點pi的3D點云為pindex的實際點云值

pindex——索引點

l——相機圖像對齊指數，取1.325

花束中往往存在大量間隙，取一個坐標點作為授粉點時精準性較低。在濾波去噪之后的點云集p中，每個點云pi(xi,yi,zi)(i=1,2,…,n)都含有獨立的坐標值，此時需要在寬度bw與高度bh的預測輸出框內進行平面擬合，分別從x、y、z方向獨立計算花束的質心，在質心上、下、左、右4個方向該花束的距離權重相等，計算公式為

(9)

(10)

(11)

式中n——區域內有效點云個數，不大于200

x0、y0、z0——授粉質心點p0的坐標值

使用雙向均值法將花束區域內xi、yi、zi坐標分別取均值，得到一個合理的授粉點，同時去掉較近點導致授粉距離不夠和較遠點授粉過程帶來遮擋和碰撞的情況。

2 花束識別與提取結果

RGB圖像在預處理后，使用YOLO v4神經網絡模型對番茄花束進行識別，并預測出目標花束中心坐標和包含目標預測框區域，使花束目標在實時圖像中實現識別和定位。同時，將該區域與深度圖像對齊，減少復雜環境下RGB圖像與深度圖像精對齊過程。

圖5為基于YOLO v4的番茄花束區域提取結果。識別模型所占內存為244 MB，網絡試驗時輸入圖像分辨率1 280像素×960像素；花束提取試驗結果顯示，本文使用的YOLO v4神經網絡可以對溫室環境下花束進行準確識別，并有效提取出目標花束在原圖中的面積區域，網絡檢測精度平均值(mAP)為97.67%，單幅圖像提取時間為14.95 ms，為授粉機器人實現區域性授粉功能提供二維花束區域信息。

3 圖像對齊與去噪效果

將RGB圖像中各像素點的R、G、B值和深度圖像進行對齊[30]。本文在對齊過程中，選用中心點擴散將番茄植株進行對齊，其目的在于將二維像素坐標值與深度值進行對齊，即根據像素點求取對應點的3D坐標值。

對齊后，圖像中含有各像素點的R、G、B值和深度X、Y、Z值。如圖6所示，對齊效果圖中除具有植株顏色特征外，還添加了植株輪廓3D值，并可根據RGB圖像中某像素點映射出該點對應的3D值。此外，由于環境干擾等現象，圖像中往往含有很多干擾噪聲數據，如圖6c對齊效果圖左、右上角都含有許多小黑點，該噪聲點在使用過程中不僅沒意義，而且還增加了算法的時間復雜度，因此本文將圖中除植株區域外的離群區域都定義為噪聲點，并采用統計濾波算法將其剔除，單幅圖像對齊及去噪平均耗時為100 ms。

圖6 圖像對齊和濾波去噪Fig.6 Image alignment and filtering denoising

4 手眼標定

授粉機器人機械臂(手)在執行授粉前，需要3D相機(眼)實時對番茄植株的RGB圖像和深度圖像進行定位操作，其中，RGB圖像用于花束的實時檢測，在識別檢測后，若含有授粉花束，則需要融合深度圖像進行花束目標定位。并在機器人手眼標定后轉換為機械臂末端坐標，機器人使用該坐標引導機械臂末端完成授粉功能。

本文使用矩陣公因子相乘[31]計算機器人相機與機械臂之間的距離相關系數，其中機器人相機獲取的實時坐標RE和機械臂實時坐標RH均為1×3行列式，標定過程中隨機選取機器人相機視野和機械臂工作范圍內6組對應坐標。手眼標定參數θ和機械臂工作坐標RH的計算公式為

RH=REθ

(12)

其中

(13)

式中RE1～RE6——相機采集的6組坐標值

RH1～RH6——機械臂的6組坐標值

在選取每組坐標期間，以視野最大和手臂伸展最遠為最佳，本試驗的標定參數矩陣系數為

(14)

5 定位性能分析

在定位過程中，主要定位區域為獨立花束區域，使用噴氣方式在該區域內達到最佳授粉效果。使用的YOLO v4神經網絡檢測所生成的候選區域定義為授粉區域，但花束區域實際特征為非規則平面，本文使用區域雙向均值法擬合該花束曲面，得出一個較準確的授粉定位點。花束區域點云數據處理效果如圖7所示，在相機所采集的番茄植株RGB圖像上，使用神經網絡進行花束區域提取，并映射在深度圖像上，同時采用均值擬合該花束區域，使該區域內深度值均相等，為授粉末端提供可靠的深度定位信息。

圖7 授粉花束區域位置RGB圖像與深度圖像Fig.7 RGB and depth processing of pollination bouquet area position

本文使用機械臂手動控制器實時顯示的坐標與算法獲取的坐標進行對比。首先手動控制機械臂末端移動至花束授粉點作為實際值，定位數據中包含花束的2D像素坐標、相機獲取的花束3D坐標、標定轉換坐標和機械臂坐標。其中，本文方法獲得花束3D坐標的平均時間為300 ms，試驗分別對比X、Y、Z值的相對誤差。

試驗過程中，選擇20個不同花束進行定位算法準確度分析，包含不同時間(08:00、12:00、18:00)、不同遮擋程度下溫室內番茄花束的識別與實際定位功能。其中每個花束都含有2D像素坐標、相機點云坐標、通過手眼標定轉換得到的手臂坐標以及機械臂反饋的實際坐標等信息，接著對標定轉換坐標與實際反饋坐標數據進行對比分析，并通過擬合曲線表述其誤差變化特性(圖8)。表2為單一花束包含的各項坐標信息。

圖8 定位試驗結果三維圖Fig.8 3D map of positioning test results

表2中，花束二維像素坐標是由YOLO v4神經網絡識別出的花束像素區域，根據花束圖像重心算法計算出花束的重心坐標(Xi,Yi)。在圖像對齊去噪后，根據二維像素坐標轉換得3D坐標(X3D,Y3D,Z3D)，該坐標由3D相機實時獲取的深度通過質心算法計算所得。在相機獲取坐標中，X、Y軸坐標最小精度為±0.001 mm，而Z軸最小精度為±1 mm，Z軸坐標值表示為目標花束至相機視點的實際距離，例如花束1的Z3D為970.00 mm，手工測得其距離約為970 mm；機器人手臂工作最遠距離約為1.2 m，在花束2中，相機獲取坐標值Z3D為1 791.00 mm，導致標定轉換坐標Ybz為0.922 77 m，但實際坐標Yt是0.523 46 m，誤差約為0.4 m，其誤差是由花束中花朵間距較大導致的。由于相機結構光投射現象導致其深度不準[32]，從而產生誤差，在實際運用過程中，可使用花束區域均值剔除其干擾，從而提高計算精度。

圖8為定位試驗結果三維圖，平穩淡藍色層(下層)為對應的實際坐標。由圖8可知，波峰的Z值接近最大值4 cm，波谷的Z值最接近-4 cm，X的范圍為-0.8～1.0 m，Y的范圍為-0.4～0.4 m，Z的范圍為-0.4～0.6 m。由于溫室內番茄花朵生長的復雜性，出現波峰的主要原因是花束間隙太大，花束中花朵少，且花朵間間隔較大導致深度數據較少，從而使深度值增大。出現波谷的原因主要來自遮擋問題，且遮擋程度達80%以上。但Z值出現了負數，原因是在逆光強光環境下，光線對結構光相機造成干擾，其主要原因是強太陽光對結構光相機發射的紅外信號進行了隔離和反作用，但機器人實際工作中，有效工作深度恒大于0，負值無效。圖8中其余平穩值為順光和無強光環境下計算所得，該數據是有效范圍內的定位數值。從總體上看，彩色層與淡藍色層的間隙較小，即通過算法計算的坐標值與實際坐標值誤差較小，在遮擋程度小于80%的情況下，本文算法可對溫室內番茄花束進行準確定位，說明本文算法具有較強的實用性，該識別定位精度可為授粉機器人授粉定位提供可靠依據[33]。

將本文算法部署在授粉機器人上，考慮強光逆光對相機的影響，試驗選擇早晨或傍晚無強光條件下，在大型玻璃溫室內對番茄盛開花束進行算法驗證(圖9)，并在不進行曝光度調節情況下驗證本文算法的適用性，試驗判定當系統獲得有效3D坐標值，且機器人成功執行授粉動作時即為定位成功。

圖9 定位算法驗證試驗現場圖Fig.9 Field diagram of location algorithm verification test

溫室內單個番茄植株上，平均花束個數約為4個，系統定位成功數略比實際花束數量低，這是由于某些花束被枝葉遮擋超過了80%。而在定位成功后，機器人成功執行授粉出現誤差的主要原因是花束距離機器人手臂太遠，不在有效工作范圍內。綜上，本文使用的定位算法能夠滿足授粉機器人對番茄花束的定位要求，并能為授粉機器人執行授粉提供一個有效的定位方法。定位精度有待提高，其主要影響因素是結構光相機在光線較強環境下無法測距，該現象也是光學研究中亟待解決的問題[34]，本文不做研究。

6 結論

(1)采用YOLO v4神經網絡實現番茄花束識別和區域提取，能夠解決機器視覺實時花束目標檢測問題，并能有效提取出花束在RGB圖像中的授粉區域；解決RGB圖像和深度圖像精對齊；代替復雜的花束圖像分割過程，實現花束區域的完整采集和提取。

(2)通過區域內色系單視角線性遍歷方法對齊花束RGB圖像和深度圖像，并映射出花束區域點云數據，能夠提高花束區域內點云精度，花束以外區域進行粗對齊，減少復雜點云的計算過程，提高授粉精度。

(3)使用雙向均衡算法計算花束3D區域授粉質心坐標，解決花束區域不平滑導致的非線性點云數據，從X、Y、Z三維坐標方向均衡計算各個方向的均值，并排除花束區域內大空隙點云干擾數據，擬合出三維花束平面區域，可以有效提高機器人授粉精度。在實際驗證中，使用的神經網絡對花束的提取精度達97.67%，花束區域提取時間為14.95 ms；圖像對齊與去噪時間為100 ms，算法成功獲取花束質心點云坐標時間為300 ms；總體來說，在沒有強光照射、遮擋程度小于80%時，本文算法基本能夠實現機器人對溫室內番茄花朵的定位，并成功執行授粉動作。