基于神經網絡修正的農業機器人視覺誤差研究

摘要:農業采摘機器人的作業是無損采摘過程，環境的復雜性與定位目標的特殊性，使得采摘機器人視覺識別過程長、誤差大。傳統的解決方法是分別從減少標定誤差和匹配誤差這兩方面著手，并沒有從整體的角度考慮標定和匹配的內在聯系。本文提出一種視覺中的極線幾何變換方法，并給出了該變換在基于BP神經網絡的攝像機標定過程和基于特征的圖像匹配過程中的應用分析。實驗結果表明，基于極線幾何變換的視覺總體誤差修正方法比傳統的分開修正方法具有更高的精度和實時性。

關鍵詞:極線幾何;農業機器人;視覺誤差;標定;匹配

中圖分類號:TP242 文獻標識碼:A 文章編號:1009-3044(2009)15-3987-02

Research on Visual Error of Agricultural Robot Based on Neural Network Correction

ZHEN Mu-hua

(Shunde Secondary Vocational School， Shunde 528200， China)

Abstract: The operation of agricultural robot is a nondestructive picking process， in which the complexity of environment and particularity of location target make it very long in picking visual identity， as well as having big error. By improving calibration model and matching model respectively， traditional solution corrects those errors， without considering the internal relations of calibration and matching. This paper presents a polar geometry transform method for total visual error correction， and analyzes its application in the process of camera calibration which is based on BP neural network and image matching which is based on feature.Experimental results show that the method of total visual error correction which is based on polar geometry transform has higher precision and real-time than separated error correction in tradition.

Key words: polar geometry; agricultural robot; visual error; calibration; matching

1 引言

農業環境信息的未知性和不確定性，加上采摘對象是一種不能在采摘作業時碰傷的生物柔性體，要求采摘機器人每次采摘都要用視覺系統對變量目標進行重新定位，以獲取實時、準確的數據，傳遞給決策、底層控制系統，來控制機械系統的末端執行機構進行夾持操作，采摘的過程具有無損性。相對于工業機器人視覺應用來說，農業采摘機器人對視覺系統的誤差要求更加嚴格。

采摘機器人視覺系統誤差主要包括:圖像匹配誤差和攝像機標定誤差。在這些對視覺相關的研究中[2-5]，存在目標匹配率低和運行時間長等問題，這將在很大程度上制約自然環境下作業的蘋果采摘機器人的實時性和多任務性[6]。

本文在文獻[1]關于立體視覺中的極線幾何的研究基礎上，提出一種基于立體視覺的極限幾何變換，并引入了神經網絡，從標定與匹配的相結合的高度來減少采摘機器人視覺系統總體誤差。

2 匹配

2.1 誤差來源

在農業采摘機器人進行采摘行為前，必須對左右視覺圖像進行匹配，以獲取目標點深度值信息。假設在雙目立體視覺模型中，f為攝像機焦距，d為兩攝像機的中心距離，ml和mr分別是目標點在匹配后的左右圖中位置。根據三角測量原理，深度值

在ml已知的情況下，根據匹配基元的不同，立體視覺匹配mr算法分為三大類:區域匹配、特征匹配和相位匹配。匹配過程中，對于非完全漫反射的物體表面、紋理缺乏的圖像區域、物體邊緣深度不連續和遮擋等現象，這三類匹配算法都難以取得準確的視差|ml-mr|，因而在一定程度上會造成較大的視覺誤差。在采摘機器人對生物體進行特征匹配的過程中，可以通過極線幾何視覺校正的方式來濾除部分虛假匹配，來改善匹配效果。

2.2 極線幾何變換與匹配校正

在雙目立體視覺系統中，存在著重要的極線幾何關系，如圖1所示，其中:OL、OR分別為左右攝像機中心，Il 、Ir 分別為左右圖像平面，M和M/為被觀察的場景點。點OL 、OR 和M構成的平面稱為極面，極面與圖像平面Il 、Ir分別相交的兩條直線稱為極線。

3 標定

3.1 誤差來源

雙攝像機標定就是指通過建立攝像機成像的幾何模型，并利用給定物體的世界坐標(x，y，z)和它的兩個圖像坐標(u，v)，來求解單個攝像機內部的幾何和光學參數以及兩個攝像機在三維世界中的坐標關系的過程。現有的攝像機標定技術大體可以歸結為兩類:傳統的攝像機標定方法和攝像機自標定方法[8]。由于攝像機光學系統并不是精確地按理想化的小孔成像原理工作，存在有非線性透鏡畸變，物體點在攝像機成像面上實際所成的像與理想成像之間存在有光學畸變誤差。主要的畸變誤差分為三類:徑向畸變、偏心畸變和薄棱鏡畸變。按照求解非線性畸變校正參數的過程，傳統的攝像機標定方法可以分成四類，即利用最優化算法的標定方法，利用攝像機變換矩陣的標定方法，進一步考慮畸變補償的兩步法和采用更為合理的攝像機成像模型的雙平面標定方法。

農業機器人的作業是無損采摘的過程，對攝像機參數的標定要求比較嚴格。傳統的攝像機畸變畸變模型，都是通過線性或非線性的畸變補償進行標定誤差修正，在標定的過程中沒有很好的考慮到匹配過程中一些因素。為了更準確快速的進行匹配和盡可能減少標定誤差，本系統在傳統的攝像機標定方法基礎上，采用極線幾何修正和人工神經網絡相結合的方法來對攝像機進行隱式標定。

3.2 基于極線幾何變換的BP神經網絡標定

在攝像機線性標定模型中，點M的世界坐標(Xw， Yw， Zw)與其圖像幀存坐標(u，v)存在如下關系:

其中，P1為攝像機內部參數，由 Nx，Ny，f，u0，v0 決定，P2為攝像機的外部參數，由攝像機相對于世界坐標系的方位決定，P即為投影矩陣Pl或Pr。

考慮到攝像機的鏡頭畸變和準確快速的匹配，本文提出了基于極線幾何變換的BP神經網絡標定，如圖2所示。具體的步驟為:

Step1:首先利用線性標定方法確定攝像機的針孔模型，并根據式(6)和最小二乘法，通過初步線性標定后，求得左右投影矩陣Pl和Pr。

Step3:將攝像機得到的兩幅原始圖像進行如式(5)的極線幾何變換，在新的投影矩陣下的兩對理論圖像點(u/1，v/1)和(u/2，v/2)。

Step4:每個攝像機都需要一個自己的BP校正網絡，將由第(3)步得到的理論圖像坐標作為神經網絡的輸入，由實際測得用于標定的三維控制點坐標作為神經網絡的輸出，通過網絡的訓練建立起攝像機鏡頭畸變的校正模型。

4 結束語

將極線幾何變換應用于農業采摘機器人視覺誤差校正，可以把攝像機標定過程和圖像匹配過程很好的結合起來，有效的減少了綜合誤差并提高視覺系統的工作效率。神經網絡的自適應能力和抗噪能力，為農業機器人面臨的復雜非線性環境提供了解決思路。

參考文獻:

[1] 趙亮亮.雙目立體視覺中的圖像匹配技術研究[D].南京:南京航空航天大學信息科學與技術學院，2007:19-28.

[2] 劉長林，張鐵中，楊麗.茄子收獲機器人視覺系統圖像識別方法[J].農業機械學報，2008，39(11):216-219.

[3] 徐惠榮，葉尊忠，應義斌.基于彩色信息的樹上柑橘識別研究[J].農業工程學報，2005，21(5):98-101.

[4] 趙杰文，劉木華，楊國彬.基于HIS顏色特征的田間成熟番茄識別技術[J].農業機械學報，2004，35(9):122-124.

[5] BULANON D M， KATAOKA T， OTA Y， et al. A segmentation algorithm for the automatic recognition of Fuji apples at harvest[J]. Biosystems Engineering， 2002，83(4):405-412.

[6] 王津京，趙德安，姬偉，等.采摘機器人基于支持向量機蘋果識別方法[J].農業機械學報，2009，40(0):148-151.

[7] HARTLEY R I，Theory and practice of projective rectification，International Journal of Computer Vision，1999，35(2):115-127.

[8] 邱茂林，馬頌德，李毅.計算機視覺中攝像機標定綜述[J].自動化學報，2000，1(1):43-55.