基于神經網絡的茄子采摘機器人視覺識別方法＊

宋 健

（濰坊學院，山東 濰坊 261061）

基于神經網絡的茄子采摘機器人視覺識別方法＊

宋 健

（濰坊學院，山東 濰坊 261061）

針對生長環境中茄子圖像背景復雜的特點，提出了一種基于BP神經網絡的圖像分割方法。通過對茄子果實的分析，選取3×3鄰域像素EXG灰度值作為圖像特征。選取30幅圖像作為訓練樣本，以人工借助Photoshop軟件分割后的圖像作為教師信號，采用改進的BP算法對神經網絡的權值進行訓練。經過120次循環后，獲得有效的網絡權值，誤差為0.001。結果表明，利用BP神經網絡能夠較好地實現茄子與背景的分離，經過數學形態法結合中值濾波方法的進一步處理后完全能滿足采摘機器人的要求。

圖像處理；圖像分割；自動閾值；采摘機器人

1 引言

隨著人口的老齡化和農業勞動力的減少，蔬菜和水果收獲采摘機器人成為了世界性的研究熱點。采摘機器人進行作業時，首先要根據果實目標的顏色、大小和形狀將成熟果實從葉子和枝條等背景中辨別出來，并確定其空間位置，為機械手提供相應的運動參數，從而完成采摘作業。因此，圖像分割是果實目標識別過程中的關鍵步驟。

目前，常用的圖像分割方法有閾值分割法、區域生長分割法、基于數學形態學分割法等。但是，都不同程度的存在不足之處。近年來，國內外學者將神經網絡技術引入到圖像分割中，取得了一定的成果。邱道尹等人利用BP神經網絡技術識別儲糧中的害蟲，識別率達到了100%。張亞靜提出了一種基于圖像特征和神經網絡分類器的蘋果圖像分割算法，算法正確率大于87.6%。齊龍等運用BP神經網絡構造分類器分割植物病害圖像，分割正確率達到了94.7%。本文在前面學者研究的基礎上，通過對生長環境中茄子果實與周圍環境顏色特征的試驗與統計，應用改進的BP神經網絡對EXG灰度圖進行分割。

圖1 EXG灰度圖

2 顏色因子的選擇

為了科學的研究、測定和使用顏色，已經建立了十幾種顏色模型，如RGB、HIS、L＊a＊b＊、YUV等。試驗表明，在不同的顏色空間下圖像處理的效果有很大的不同。其中，RGB顏色模型是圖像處理中最基礎、最常用的。因為現有的圖像采集設備最初采集到的顏色信息就是RGB值，顯示設備最終使用的也是RGB值。圖像處理中使用的其他所有的顏色空間都是從RGB顏色空間轉換來的，其處理結果如果需要顯示出來，也要轉換到RGB顏色空間。為了降低圖像處理的難度，提高處理速度，最好的方法是直接利用RGB顏色模型的一個分量進行圖像處理。但是，通過試驗可知效果并不理想。

通過對生長環境中茄子果實與周圍環境顏色特征的試驗與統計，對RGB顏色模型3個分量不同線性組合進行比較，顏色因子EXG的灰度圖中茄子果實與周圍環境灰度差別較大，如圖1所示。因此，選擇顏色因子EXG灰度圖進行圖像處理。

基于顏色因子EXG灰度圖的實現過程如下：

式中，（x，y）為當前像素點的位置信息；EXG（x，y）為變換后的灰度值。

3 BP神經網絡分類器的構造

3.1 輸入輸出信號的選擇

神經網絡的輸入層為9個神經元，輸入信號為3×3鄰域像素EXG灰度值。即選用30幅利用Photoshop軟件分割得到的成熟茄子圖像，計算每個像素點的EXG灰度值作為教師信號。由于茄子圖像的分割屬于二類問題，所以，輸出神經元用1和0表示。1表示點（i，j），為茄子果實，0為背景。

3.2 BP網絡的建立

圖像分割選用3層完全結合方式BP神經網絡。輸入的特征量為3×3鄰域像素EXG灰度值，因此輸入層的神經元個數設計為9，輸出層的神經元個數為1。

在BP神經網絡的設計中，隱層節點數對網絡性能的影響較大，而且隱層節點數的選取尚無明確的理論指導。隱層節點太少，會使訓練次數增加，降低檢索信息的精確性；而隱層節點過多，又將增大網絡權值的訓練量，降低網絡的可靠性，使得網絡處理非樣本的能力受影響。本課題采用以下經驗公式：

式中，N1、N3、為輸入、輸出節點數，a為1－10之間的常數。本課題經過多次試驗，取N2＝7，即組成9－7－1結構的BP神經網絡，對茄子圖像進行分割。

神經元輸入輸出函數為雙彎曲函數：

輸出層的神經元輸出與教師信號的平方誤差和定義為：

式中，ok表示輸出層神經元k的輸出；dk表示給輸出層的教師信號。

3.3 學習算法的快速化

為了實現學習的快速化，引入慣性項。“慣性”借用了力學中慣性的概念，不僅考慮當前值，而且對過去的影響加以考慮。在t＝n時刻求權值修正量時，增加前一時刻（t＝n－1）的權值修正量，即：

式中，η為學習率；En－1為直到n－1時刻輸出層的平方誤差和；α為慣性項系數，0＜α＜1。

當前值的修正方向與前一次的權值方向相異，即式（5）等式右側第一項與第2項符號相反時，求和修正量的絕對值變小，可以防止過調節；相反，修正量方向相同時，相加后修正量變為較大的值，可以達到學習的快速化。本文中取η＝0.05，α＝0.9。

按照此算法進行120次訓練，總誤差降到0.001，得到收斂有效的網絡權值。

4 試驗結果與分析

4.1 圖像分割

將在生長環境中采集到的茄子圖像提取特征后，用已經訓練過的神經網絡進行分割，結果如圖2所示。由于圖像是在自然光下拍攝的，在背景中除了較大面積的枝葉、還有少量枯黃的葉子、用于固定植株枝干的白色塑料繩子、遠處的茄子、花朵和沒有任何目標的空洞陰影等。所以，分割后圖像的背景上存在一定的的殘留物和噪聲。不過，茄子的邊界比較完整，經過進一步處理可以消除。

圖2 圖像分割結果

4.2 殘留物去除

為了去除成熟茄子果實圖像背景上的殘留物和噪聲，采用數學形態學方法結合中值濾波的方法。具體操作時，選擇5×5的結構元素對分割后的圖像先進行開啟運算再進行閉合運算，重復進行二次，去除大的噪聲；然后采用3×3鄰域的中值濾波器進行濾波，圖3為濾波效果圖。

圖3 濾波效果圖

4.3 邊緣檢測

拉普拉斯算子是對二維和函數進行預算的二階導數算子，它在邊緣處將產生一個陡峭的零交叉。據此，對數字圖像｛f（i，j）｝的每個像素（i，j），取關于x軸方向和y軸方向的二階差分之和，即：

若▽2f（i，j）在（i，j）處發生零交叉，則f（i，j）為階躍型邊緣點。而對于屋脊型邊緣，則是在邊緣點的二階導數取極小值。

應用拉普拉斯算子對經過濾波去噪處理的圖像進行邊緣檢測，得到的結果如圖4所示。從處理的結果中可以看出，獲取的邊緣雖然寬一些，但是對圖像的噪聲不敏感，并且能得到比較平滑的邊緣效果。

圖4 輪廓提取效果圖

圖5 特征提取效果圖

4.4 果實目標的特征提取

圖像的特征，是指圖像中某種物體所具有的特征。對于果蔬采摘作業來說，最終需要機器視覺系統提供采摘對象的特征參數，重心、面積、外接矩形、切斷點等特征。通過對圖像分割得到二值圖像進行邊緣提取和輪廓跟蹤將輪廓標記在了二維數組中。這樣，可以方便的提取所需要的果實目標特征。圖5為特征提取效果圖。

4.5 討論

對30幅圖像分別采用基于BP神經網絡分割方法對生長環境中茄子果實進行了分割，分割效果較好，分割效率＞86%；平均用時0.54s。該方法屬于自適應算法，具有一定的智能性，適應面廣。但是，耗時相對較多，處理速度需進一步提高。

影響圖像分割效果的主要因素是神經網絡權值的可靠性，而影響神經網絡權值的主要是教師信號的準確性以及樣本的多樣性和數量，所以適當增加樣本數量或提高教師信號精度，可以在一定程度上使圖像分割效果更好。

5 結論

針對采摘機器人的視覺系統的要求，采用基于BP神經網絡的分割方法對生長環境中的茄子圖像進行分割。采用BP神經網絡的方法對實拍的彩色茄子圖像進行分割，網絡結構是9－6－1；經過120次循環后，誤差為0.001，得到有效的網絡權值。試驗結果表明，利用BP神經網絡能較好地實現成熟茄子果實與背景的分離，經過數學形態法結合中值濾波方法的進一步處理后完全能滿足采摘機器人的要求。而且，只要改變訓練時所采用的教師信號，即可實現對茄子果梗、萼片等圖像的分割。

［1］宋健，張鐵中，徐麗明，等.果蔬采摘機器人研究進展與展望［J］.農業機械學報，2006，37（5）：158－162.

［2］耿端陽，張鐵中，羅輝，等.我國農業機械發展趨勢分析［J］.農業機械學報，2004，35（4）：208－210.

［3］應義斌，章文英，蔣亦元，等.機器視覺技術在農產品收獲和加工自動化中的應用［J］.農業機械學報，2000，31（3）：112－115.

［4］徐惠榮，葉尊忠，應義斌.基于彩色信息的樹上柑橘識別研究［J］.農業工程學報，2005，21（5）：98－102.

［5］Kondo N，Monta M，Fujiura T.Fruit harvesting robot in Japan［J］.Adv Space Res，1996，18（1／2）：181－184.

［6］Sario Y.Robotics of fruit harvesting：A sate－of-the－art review［J］.Journal of Agricultural Engineering Research，1993，54（4）：265－280.

［7］張瑞合，姬長英，沈明霞，等.計算機視覺技術在番茄收獲中的應用［J］.農業機械學報，2001，32（5）：50－58.

［8］趙杰文，劉木華，楊國彬.基于HIS顏色特征的田間成熟番茄識別技術［J］.農業機械學報，2004，35（5）：122－124.

［9］蔡健榮，趙杰文.自然場景下成熟水果的計算機視覺識別［J］.農業機械學報，2005，36（2）：61－64.

［10］Hayashi S，Ganno K，Ishii Y，et al.Robotic harvesting system for eggplants［J］.JARQ，2002，36（3）：163－168.

［11］Van Henten E J，Van Tuijl B A J，Hemming J，et al.Field test of an autonomous cucumber picking robot［J］.Biosystems Engineering，2003，86（3）：305－313.

（責任編輯：肖恩忠）

Target Identification Method of Eggplants Picking Robot Based on Improved BP Neural Network

SONG Jian
（Weifang University，Weifang 261061，China）

Aim at the complex background of eggplant image in the growing environment，a image segmentation method based on BP neural network was put forward.The EXG gray values of 3×3 neighborhood pixels were obtained as image features through by analyzing the eggplant image.30 eggplant images were taken as training samples and results of manual segmentation images by Photoshop were regarded as teacher signals.The improved BP algorithm was used to train the parameter of the neural network.The effective parameter was achieved after 120 times of training.The result of this experiment showed that the eggplant fruit could be preferably segmented from the background by using BP neural network algorithm and it could totally meet the demands of the picking robots after further processing by way of combining mathematics morphology with median filtering.

image processing，image segmentation，neural network，picking robot.

2011－07－18

山東省自然科學基金項目（Y2008G32）

宋健（1968－），男，山東濰坊人，濰坊學院機電工程學院副教授，博士。研究方向：機器人技術，生物生產自動化。

TP751 文獻標識碼：A 文章編號：1671－4288（2011）06－0090－04