番茄采摘機器人目標檢測與抓取的關鍵技術研究

李昱華

（陜西 西安 710000）

0 引言

我國是果蔬生產大國，蔬菜和水果也是我國種植業(yè)中位于糧食之后的第二和第三大產業(yè)，是農民就業(yè)和創(chuàng)收的重要途徑。在所有水果當中，番茄產量比重很大并且每年都持續(xù)增長。我國雖然番茄生產量大，但是在番茄采摘方面，效率較低，工業(yè)化和自動化程度較低，采摘作業(yè)基本上都是人工進行，采摘成本約占總成本的50 %～60 %。所以，如果能夠在番茄采摘過程中使用采摘機器人進行采摘作業(yè)，將會節(jié)省人力采摘成本、提高勞動生產率。目前，我國番茄采摘機器人的智能化水平、實用化水平和商品化水平還不夠高，導致沒有大規(guī)模地投入番茄采摘行業(yè)中去。制約番茄采摘機器人智能化水平的主要是番茄的識別率和采摘率還不夠精準，所以研究開發(fā)能夠精準識別并自動采摘的機器人具有重要意義。

1 視覺系統(tǒng)構成

進行番茄目標識別首先要包括番茄圖像采集方面的有關內容，圖像采集需要用攝像頭采集，攝像頭具體分類為單目攝像頭、雙目攝像頭、深度攝像頭。

單目攝像頭主要是指具有一個鏡頭的攝像頭，生活中最為常見。

雙目攝像頭主要利用仿生學原理，兩個攝像頭類似于人眼的結構，雙目攝像頭的使用首先要進行標定，之后利用雙目攝像頭采集到的圖像分別是一個二維圖像，然后根據這兩個鏡頭的圖像和標定的參數(shù)可以在計算機中進行運算，從而得到一個三維圖像，能夠得知物體到鏡頭的距離。

深度攝像頭主要包括2個部分，分別是一個單目RGB攝像頭和一個紅外攝像頭，單目攝像頭主要是采集物體的顏色，大小等RGB顏色空間信息，得到一個平面圖像，然后再通過紅外攝像頭的發(fā)出裝置和接收裝置，從而根據發(fā)射與接收的時間差，再與速度相乘，得出物體到攝像頭平面的距離，從而得到一個三維深度圖。

圖像采集部分的設計要根據自己的需要，包括環(huán)境復雜度，系統(tǒng)配置，對攝像頭進行一個選取。

其次采集完成的圖像要經過圖像處理，圖像處理部分需要根據需要選擇不同的處理裝置，常用的處理裝置有：DSP芯片、FPGA芯片、單片機等。

最后處理之后的圖像要存儲或者輸出，圖像輸出部分主要是運用顯示屏輸出或者存儲到存儲器當中。

2 機械臂系統(tǒng)構成

機械臂的操作原理，機械臂首先是一個模仿人的手臂工作的裝置，廣泛用于機器人領域，對于機械臂系統(tǒng)來說，首先是運用視覺系統(tǒng)識別目標的位置，然后再傳輸?shù)綑C械臂系統(tǒng)的芯片中，再操作機械臂完成工作。

機械臂的分類，按照自由度分為3個自由度和6個自由度等，按照驅動方式分為液壓型驅動、氣壓型驅動、電氣式驅動、機械式驅動，在不同的應用范圍和不同的經費等條件下，要選取不同的自由度和驅動方式。

機械臂系統(tǒng)的組成，由機械手臂、機械手、控制系統(tǒng)組成。機械手臂的作用是引導手指準確地抓住目標，然后再把目標運送到所需要的位置上。運用最廣泛的機械臂是剛性機械臂，包括多種關節(jié)，控制系統(tǒng)驅動機械臂的時候，需要準確的計算出其中每一個關節(jié)的運動方向、角度和位移。剛性機械臂的優(yōu)點在于構造較為簡單，技術較為成熟，但是它存在體積較大、耗能較多、成本較大等方面的問題。目前有一些柔性機械臂已被設計、研發(fā)、生產、運用在機器人領域，例如清華大學的本科生楊韻芳已經研發(fā)出來了柔性、多自由度、仿象鼻的機械臂，他是通過構造人工肌肉、彈性骨骼、人造皮膚來完成柔性機械臂的構造，如圖1所示。人工肌肉采用電機驅動柔性桿的原理，通過螺紋的轉動能夠讓人工肌肉達到收縮、伸展的目的，使得機械臂彎曲或伸直。彈性骨骼是通過3D打印出來的人造骨骼，骨骼與骨骼之間由3根柔性螺桿完成骨骼之間的連接。人造皮膚是采用波紋管的結構達到穩(wěn)定骨骼和肌肉的目的。

圖1 清華大學柔性機械臂

機械手安裝在機械臂的前端用來抓取目標，機械手有三指結構、兩指結構、多指結構等。抓取目標的時候要根據目標的數(shù)量和目標的體積來選取不同的指頭數(shù)量，由于目標較為脆弱，機械手容易將目標損壞，所以現(xiàn)在有柔性的機械手被開發(fā)出來，例如FESTO公司生產開發(fā)出來了一款名為FinGripper手指，這款手指采用仿生學的原理，模仿了魚的尾鰭，可以貼合脆弱的、不規(guī)則的物體，如圖2所示。

圖2 柔性手爪

控制系統(tǒng)主要對于機械臂的運動軌跡進行計算，主要包括機械臂的到達的位置、動作時間以及運動速度等。控制系統(tǒng)可以采用計算機控制或者用專用的控制芯片來控制。

3 番茄檢測關鍵技術

在進行目標識別的過程中有以下幾個步驟，分別為預處理、顏色模型選擇、目標分割算法、目標形狀擬合。接下來要對以上幾個步驟進行目標分別闡述，著重闡述目標分割算法的有關內容。

3.1 預處理

因為在機械臂的目標采集過程中，外界環(huán)境會對目標識別的圖像采集形成干擾，使得圖像質量變差，不滿足接下來的識別要求，所以要對于采集出來的圖像進行預處理。預處理有很多的處理方法，應用最廣泛的是濾波降噪方法，濾波降噪方法又包括平均濾波法、中值濾波法。平均濾波法是將輸入的圖像經過算法的處理，讓每一個的濾波器當中的像素值求平均，用求的平均值代替濾波器當中的每一個像素值。中值濾波將輸入的圖像經過算法的處理，讓每一個中值濾波器的像素值由大到小排列，并取出位于中間濾波的像素值，用中間濾波的像素值來代替濾波器當中的每一個像素值。經過濾波處理的圖像，圖像的噪聲點的數(shù)量將會大大減少，圖像的質量會大幅度提高，有利于接下來的目標識別。

3.2 顏色模型選擇

在對采集到的番茄圖像處理的過程當中，為了避免環(huán)境當中光照天氣等其他因素的影響，需要選擇合適的顏色空間模型，顏色空間模型包括RGB空間模型、HSI空間模型、Lab空間模型等。RGB顏色空間模型是計算機當中應用最廣泛、最基礎的顏色空間模型，R代表紅色通道，G代表綠色通道，B代表藍色通道。這3種通道的組合構成RGB空間模型，RGB空間經常用于空間的圖像顯示，RGB顏色空間的優(yōu)點在于在采集到番茄圖像之后不需要額外顏色空間的轉化處理，可以節(jié)省時間。RGB顏色空間模型的缺點在于三色的相關度較大，沒有辦法隔絕出光照亮度方面因素的影響，所以當環(huán)境中亮度變化較為大時，不太適用。HSI空間代表色調、飽和度和亮度信息其中H代表色調，S代表飽和度，I代表亮度，當環(huán)境當中亮度變化較為大的時候，為了減少光照亮度的影響，可以把亮度空間I單獨的隔離出來，只采用H和S空間進行處理，但是在應用的過程當中HSI顏色空間模型沒有辦法區(qū)分顏色的信息，所以這個顏色空間應用的效果較為一般。Lab空間是一種基于人眼視覺的顏色系統(tǒng)，L代表亮度信息，a代表從綠色到紅色的過度變化，b代表從藍色到黃色的過度變化。Lab的顏色空間模型的優(yōu)點在于既有顏色的信息，又有亮度的信息，在要隔離出亮度信息時，可以去除L顏色通道，只采用a和b通道。Lab顏色空間的缺點在于從采集到的圖像的RGB空間轉化到Lab空間時，所需要轉化的時間較長，影響系統(tǒng)的實時性。

3.3 目標分割算法

在選擇好顏色空間模型之后需要把息提取出來，所以要進行番茄圖像的背景和目標分割，常用的分割算法有固定閾值法、直方圖雙峰法、顏番茄目標信色聚類法和OTSU法等。

固定閾值法是通過人為的選擇一個閾值將背景和番茄目標分割開來，閾值的選擇通常可以通過人為的經驗來定義或者通過對目標圖像的像素目標分析統(tǒng)計進行確定，例如閾值設定為K，大于K的為目標，小于K的為背景，于是就可以把目標和背景分離，這種方法有一個好處是較為簡單，操作起來較為方便，但是這種方法也有一個最大的缺點是不同圖像的固定閾值有較大的差別，在所有情況下很難將目標和背景進行精確的分割。所以此種方法適用于圖像像素相似或相同的圖像。

直方圖雙峰法是通過對目標圖像繪制直方圖找出波峰與波谷，通過對波谷的點將不同的波峰進行分離。此種方法適用于目標和背景顏色差別較大的時候，并且圖像顏色種類最好是兩種，在此種境況下直方圖雙峰法可以精準地將目標和背景進行分離。

顏色聚類法是通過讓不同的顏色聚集為不同的集合，n種顏色聚集為n種集合，番茄目標識別是在綠色和紅色的基礎上，聚集為綠色和紅色的兩種顏色的集合，從而將紅色信息和綠色信息分開，也就是能夠將紅色的番茄和綠色的樹葉進行分開，此種方法較為直觀，容易實現(xiàn)，但是有時會出現(xiàn)聚類誤差較大的情況。

OTSU法即最大類間法，屬于自動閾值的分割方法，是在固定閾值方法的基礎上的改進，通過統(tǒng)計圖像當中的像素分布直方圖計算目標和背景之間的方差并找出最大的方差值，作為自動分割閾值。在對番茄進行識別時采用此種方法，通過計算機對目標和背景的方差進行計算，將番茄和綠色的背景分割開來，此種方法優(yōu)點在于可以對不同的圖像采用不同的分割閾值，不需要人為地去設定閾值，并且處理速度較快，適用的范圍較廣。

在通過以上的方法將圖像和目標背景進行分割之后，圖像的分割結果往往會存在一定程度的噪聲，并且有一些誤分割點，即有時候目標被分割成背景或背景被分割成目標，為了將這些誤分類區(qū)域去除，可以采用一些處理方法，例如降噪處理、形態(tài)學處理等。其中形態(tài)學處理效果較好，包括腐蝕處理、膨脹處理、開處理和閉處理，通過將他們組合可以去除一些誤分類點。

腐蝕處理能夠將圖像中的目標分類邊誤界點進行去除，能夠達到縮小邊界的效果，同時也可以用來去除一些顆粒噪聲。

膨脹處理與腐蝕處理相反，能夠將背景點合并到目標物體當中，能夠讓目標的邊界向外擴張，同時可以消除目標內部的一些小孔洞。

開處理、閉處理是腐蝕處理和膨脹處理的組合，能夠去除圖像當中的孤立點，消除內部的孔洞。

將分割后的圖像進行以上處理之后，圖像當中的誤分類點將會大大地減少，有利于接下來的圓形檢測和識別。

3.5 霍夫變換

霍夫變換是一種可以用來識別形狀的處理方法，最早是在1962年由保羅·霍夫提出的，當時只是用來檢測圖像中的直線信息，之后進行不斷改進，可以拓展為幾乎能夠檢測所有的幾何形狀，例如圓形、橢圓形等。霍夫變換檢測圖像的原理是根據兩點確定一條直線的原理，將直線方程轉化為參數(shù)空間的方程，在參數(shù)空間當中，像素點兩兩組合組成的直線對應出參數(shù)空間的某一個點，統(tǒng)計這些點出現(xiàn)的次數(shù)，找出出現(xiàn)次數(shù)最多的那一個點，這個點對應的直線方程就是需要檢測的直線方程。

在番茄的檢測過程當中，利用了霍夫變換的圓形檢測方程，圓在空間坐標當中的方程是：（x-a）2+（y-b）2=r2。將次方程轉化為參數(shù)空間的方程，根據3個點確定一個圓的原理，對空間當中所有的點形成所有的圓進行統(tǒng)計，找出出現(xiàn)次數(shù)最多的那個圓，這個圓是我們需要檢測的邊緣輪廓，通過這個圓的方程可以得出番茄的圓心坐標，讓機械臂到達圓心坐標的點，便可以實現(xiàn)番茄的采摘。

霍夫變換具有很多的優(yōu)點：具有很好的穩(wěn)定性，并且具有很好的容錯性，如果分割后的圖像還存在一些錯誤點或干擾點，霍夫變換也能將其檢測出來。當然霍夫變換也有一些缺點，那就是霍夫變換的運算較為復雜，計算機處理需要耗費較多的時間，不利于實時性。最終識別效果如圖3所示。

圖3 番茄識別效果

4 結語

該文研究討論了采摘番茄機器人地抓起過程和目標識別過程，具體包括機械臂系統(tǒng)、顏色空間的選擇、分割算法的選擇、分割圖像的形態(tài)學處理和霍夫變換圓檢測，并分析了不同方法的優(yōu)點和缺點，得出了相應的結論。