基于圖像處理的果蔬分揀系統設計

李頎 王俊 高一星 楊柳 趙潔

摘要：針對目前果蔬分揀中果蔬互相摻雜問題，設計了一種基于圖像處理的果蔬分揀系統。以實際分揀中容易相互摻雜的土豆、玉米和紅薯為實驗對象，土豆作為主果蔬，玉米和紅薯為摻雜的副果蔬進行實驗。對果蔬圖片進行圖像處理，提取果蔬特征，采用基于BP神經網絡的KNN最鄰近分類算法對果蔬進行分類，并在上位機界面中顯示果蔬分類結果和果蔬摻雜率，將摻雜果蔬的位置信息結合形態信息發送給六自由度機械臂，實現對摻雜果蔬的分揀操作。實例驗證：分類正確率達到98%左右，計算坐標與實際坐標在X、Y坐標上的誤差在1mm內，可以實現對摻雜果蔬快速識別和分揀的目的。

關鍵詞：圖像處理;果蔬;BP神經網絡;KNN分類;六自由度機械臂;特征提取;分揀

中圖分類號：TN文獻標識碼：ADOI：10.19754/j.nyyjs.20190215001

引言

在果蔬物流分揀行業中，往往會出現互相摻雜的現象，同時大部分分揀工作都由人工完成，依靠人眼對水果和蔬菜進行分類識別，耗費大量勞動力，且工作效率低，嚴重影響了果蔬商品化的發展速度。

劉振宇等針對以往工業生產線分揀工件時存在的問題，提出了多目標分塊處理算法和Hough變換與鏈碼相結合的Hough-鏈碼識別算法，但只適用于規則幾何工件的識別和分揀[1]。李明等提出利用黃瓜果實圖片的形狀參數對黃瓜進行自動分級，平均精度為96.7%，實現了黃瓜的精確分級[2]。任磊等人研究的脫囊衣橘片自動分揀機器視覺算法實現了對橘片缺陷的自動分級[3]。Kheiralipour等提出利用圖像處理技術和人工神經網絡結合的方法對黃瓜果實的形狀進行了分類，準確率較高[4]。Cui jinshi等提出利用機器視覺和熱成像技術對番茄的形狀和大小做了評估[5]。Irwin R等采用神經網絡對蘆筍段進行分類實驗，準確性達到了90.2%[6]。

目前國內外在識別和分揀方面，分揀對象大多幾何形狀規則，而對幾何形狀不規則和大小不一的果蔬而言并不適用，并且果蔬的研究種類比較單一，大多用于某種果蔬的分級和分揀，而對于一種果蔬中摻雜多種其它果蔬的多分類和分揀情況而言沒有出現類似的研究。針對該問題，本文以土豆、玉米和紅薯3種果蔬為對象，設計了一種果蔬分揀系統，解決果蔬分揀中互相摻雜的問題。

1系統整體方案設計

本系統應用于果蔬物流公司的分揀流水線上，在流水線上設置40cm×40cm的圖像采集區和40cm×40cm的果蔬分揀區，在圖像采集區正上方50cm處放置工業相機，果蔬分揀區設有六自由度機械手臂。系統的總體結構如圖1所示。

工業相機對其正下方的果蔬進行圖像采集，然后將采集的果蔬圖像傳給PC機，在PC機上對果蔬圖像進行處理、識別和分類，當識別出主果蔬中摻雜的副果蔬時，將副果蔬的質心坐標轉換為實際空間坐標，并結合副果蔬的形態信息發送給機械手臂控制柜，當圖像采集區的副果蔬被傳送到果蔬分揀區域時，控制機械手臂將其分揀出來，實現對摻雜果蔬的自動分揀。

因此本系統主要包括圖像采集模塊、果蔬特征提取模塊、果蔬分類模塊和上位機平臺4個部分。

2果蔬圖像預處理

在果蔬圖像采集的時候，圖像中往往會包含流水線皮帶以外的場景，由于相機被固定在流水線上方距離保持一定，通過設定感興趣區域Region of Interest（ROI）將流水線皮帶以外的場景去除掉。相機在采集圖像時，受環境干擾導致果蔬圖像包含高斯噪聲。因此需要對果蔬圖像進行去噪處理。為了方便提取單個果蔬的特征，需要進行圖像預處理等操作。圖像預處理的流程圖如圖2所示。

3果蔬圖像特征提取

3.1果蔬顏色特征提取

由于本系統工作環境為室內，圖像采集時往往會產生果蔬影子，但HSV模型相對于RGB模型來說受影子的影響較小，所以選擇HSV顏色空間，作為果蔬圖像的顏色提取。

利用顏色通道分離算法對HSV顏色空間中H（色調）、S（飽和度）和V（明度）3個通道分離分析，其中色調H與果蔬種類之間存在明顯的相關關系。

因此，本文選取色調H均值和方差作為果蔬識別分類的顏色特征。

3.2果蔬形狀特征和大小特征的提取

果蔬在圖像中呈現的姿態各異，同一個果蔬不同姿態會影響特征提取結果，實際應用中只有第二Hu不變矩具有旋轉、平移、尺度等不變的特性，可以很好的表征果蔬在不同姿態下的形狀特征[8]。因此選用第二Hu不變矩來表征果蔬圖像的形狀特征。

果蔬的大小特征用果蔬圖像輪廓所圍面積來表征。利用opencv圖像處理庫中的面積函數contourArea，提取果蔬圖像輪廓所圍面積。

3.3果蔬定位和姿態檢測

果蔬圖像特征提取完后，需要對圖像中的摻雜果蔬進行分揀，為了準確抓取摻雜果蔬，需要獲取摻雜果蔬的位置信息和姿態信息，在果蔬形狀特征提取中利用標準矩可以求取每個果蔬在圖像上的質心坐標。

通過在流水線上40cm×40cm的果蔬放置區域內，檢測出摻雜果蔬的偏轉角度θ，來表示摻雜果蔬的形態信息。果蔬的偏轉角度θ表示如圖4所示。

以傳送帶果蔬圖像采集區左上角為坐標原點，傳送帶向右運行，（x0，y0）代表果蔬的質心點坐標，偏轉角度θ為果蔬長軸與x坐標正方向上的夾角，其范圍為0°～180°。（xj，yj）和（xk，yk）分別表示長軸兩端點的像素坐標，計算偏轉角θ角如式3所示：θ=arctanyj-y0xj-x0（1）由于果蔬形狀不規則，無法人工準確獲取其實際質心，因此用橢圓柱和長方體積木模擬果蔬，進行定位實驗。結果如表1所示。

由仿真結果可知，本系統的果蔬定位算法得到的坐標與實際的坐標在X、Y坐標上的誤差在1mm內。

4果蔬識別分類

目前用于果蔬識別分類研究中的分類器主要有BP神經網絡、SVM（支持向量機）和KNN（k-Nearest Neighbor，k最近鄰）[9-10]。對于本系統果蔬種類多、數量大而言，需要對果蔬識別有較高的正確率。KNN分類器相比其它2種分類器而言，當出現分類錯誤時，可以靈活的進行添加調整，具有容錯性和可擴容性。因此本系統選用KNN分類器進行果蔬的識別分類。

4.1基于BP神經網絡的KNN分類器設計

常用的KNN分類算法有直接分類法和距離加權分類法。相比直接分類法，距離加權法可以克服大容量類的樣本占多數而導致誤分類的問題。

圖5基于BP神經網絡的KNN分類器原理圖

但距離加權系數往往由人為主觀確定，并不能得到較優的距離加權值，為了得到較優的距離加權值，本系統采用BP神經網絡代替KNN算法中的距離加權網絡，能夠自適應地調節距離加權系數。其分類原理如圖5所示。

x表示測試樣本;N1、N2和N3分別表示土豆、玉米和紅薯的樣本數;

di（1），di（2），…，di（k） i=1，2，3表示測試樣本在土豆、玉米和紅薯樣本中經過KNN分類器后得到的k個最近距離且按升序排列，k可取3～5，綜合分揀系統快速性和準確性考慮，選取k=4。k個最近距離經過BP神經網絡得到距離加權值，3種果蔬可得到3個距離加權值，最終選擇最大的距離加權值所對應的種類索引，即為測試樣本x的最終分類結果。

4.2BP神經網絡的設計

4.2.1BP神經網絡的輸入層節點數m與輸出層節點數n的確定

網絡的輸入為k個最近距離，k取4，所以輸入層節點數為m=k=4。輸出層為k個最近距離的加權和，即輸出層節點數n=1。

4.2.2隱含層層數和節點數的確定

隱含層層數選擇3層，足以完成輸入到輸出的任意映射。隱含層的節點數可通過式（4）經驗公式確定：h=m+n+a（2）h為隱含層節點數，m為輸入層節點數4，n為輸出層節點數1，a為1～10的調節常數。因此，隱含層節點數h的取值在3～12范圍內進行實驗，選取使預測誤差最小的值。

4.2.3激勵函數的確定

隱含層的激勵函數選擇較常用的Sigmoid函數f（x）=11+e-x;輸出層的激勵函數選擇線性函數f（x）=x;設定目標誤差為0.05。

4.3分類實驗仿真與分析

4.3.1實驗數據

采集土豆、玉米和紅薯圖片各100張和兩兩果蔬混合圖片分別100張，共600張果蔬圖片，土豆824個，玉米686個，紅薯752個，在PC機上采用python+opencv對其進行圖像預處理和特征提取，H色調的均值與方差、第2個Hu不變矩和果蔬面積4種特征來表示1個四維特征點，建立土豆、玉米和紅薯3種果蔬的特征點庫。

4.3.2實驗仿真

取每種果蔬的特征點庫的70%作為訓練樣本集，30%作為測試樣本集。

分別采用非加權KNN算法、距離加權WK-NNC算法和本系統的基于BP神經網絡的KNN算法進行對比實驗，結果如表2所示。

本文設計的基于圖像處理的果蔬分揀系統，實驗證明本系統果蔬識別正確率高、定位準確，可以解決傳統人工分揀效率低、人工成本高的問題。文設計的基于圖像處理的果蔬分揀系統，實驗證明本系統果蔬識別正確率高、定位準確，可以解決傳統人工分揀效率低、人工成本高的問題。

參考文獻

[1] 劉振宇，李中生，趙雪，等.基于機器視覺的工業機器人分揀技術研究[J].制造業自動化，2013，35（17）：25-30.

[2] 李明，房俊龍，喬翊博，等.基于機器視覺黃瓜果實自動分級方法[J].農機化研究，2016，38（11）：229-233.

[3] 任磊，張俊，陸勝民.脫囊衣橘片自動分揀機器視覺算法研究[J].浙江農業學報，2015，27（12）：2212-2217.

[4] Kheiralipour， Kamran;Pormah，Abbas.Introducing new shape features for classification of cucumber fruit based on image processing technique and artificial neural networks[J]. Journal of Food Process Engineering，2017， 40（6），506-523.

[5] Cui，Jinshi;Yang，Myongkyoon;Son，Daesik;Cho，Seong-In.Machine vision and thermographic imaging for determining of grading oftomato on postharvest[C].ASABE Annual International Meeting，2017，7.16-7.19.

[6] Irwin R. Donis-González，Daniel E.Guyer. Classification of processing asparagus sections using color images[J].Computers and Electronics in Agriculture，2016，6（1）：236-241.

[7] 陳澤寧，張學習，彭澤榮，等.基于機器視覺的工件定位和識別[J].電子科技，2016，29（04）：99-103.

[8] 刁彥華，孟子鈺，王曉君.基于Hu不變矩的圖像形狀特征提取研究[J].網絡安全技術與應用，2017（10）：46-47.

[9] 曾勇，舒歡，胡江平等.基于BP神經網絡的自適應偽最近鄰分類[J].電子與信息學報，2016，38（11）：2774-2779.

[10] 張帆，李紹明，劉哲，等.基于機器視覺的玉米異常果穗篩分方法[J].農業機械學報，2015，46（S1）：45-49.