基于圖像識別的水果分揀系統

倪云峰 葉健 樊嬌嬌

摘要：為了解決人工水果分揀的缺點，探討了一種基于圖像識別的水果分揀系統。通過硬件采集系統采集各類不同水果的圖像數據，應用圖像處理技術，設定水果分類的顏色、大小特征的閾值標準，根據閾值標準對水果進行腐爛檢測，區分出腐爛和完好水果;再對完好水果進行種類識別，并在相同種類下進行水果的大小等級識別和顏色狀態判定。結合水果的大小及顏色，將水果分揀為特等果、優等果、次等果、劣等果四大類，以判別水果的外部和內部品質，最終實現水果的分揀。在分揀過程中實時統計已分揀水果的數量，將已識別的水果圖像進行實時刪除操作，減少系統內存，設置同步模塊，使圖像處理與自動化設備達到同步。測試結果顯示，該水果分揀系統效率高、成本低，對水果供應鏈中的水果分揀應用具有較大意義。

關鍵詞：圖像識別;特征選擇;實時統計;水果分揀

中圖分類號： S126;TP391.41 ?文獻標志碼： A ?文章編號：1002-1302（2021）10-0170-06

傳統水果分揀主要采用人工分揀，而人工分揀效率低、易造成水果損壞、準確率低、人力物力消耗較大，極大增加了分揀成本。為了降低水果分揀成本，亟需探索出一種分揀效率高、準確率高、人力物力消耗小的自動化系統。

關于農產品的品質鑒定和分級研究，主要涉及農產品的大小、形狀、顏色、表面損傷與缺陷檢測等[1-5]。國外對農產品分級檢測的研究開始較早。Tao等采用多變識別技術實現對蘋果和馬鈴薯的顏色識別，識別準確率高但效率較低[6]。Blanc等設計的分級系統，對葡萄等串狀水果的分級效率有較為明顯的提高[7]。Baigvand等設計了完整的分級系統，實現了對無花果干的等級劃分[8]。國內研究人員對農副產品的品質鑒定和分級檢測也做了很多研究。葉晉濤等提出了基于 SVM 神經網絡與哈密瓜圖像特征的哈密瓜分級方法，對哈密瓜的分級提出了切實可靠的方法[9]。魏康麗等利用機器視覺，實現了對蘋果脆片的外觀品質鑒定[10]。應義斌等采用表面色澤和固酸比作為柑橘成熟度指標，實現了對柑橘的成熟度檢測[11]。

針對一般分類系統存在準確率低、分辨水果種類單一、系統無法對分類結果實時計數、已經分類的圖片無法實時刪除導致占用系統內存、設備昂貴、系統處理時間與自動化設備處理時間匹配魯棒性低等問題，本研究研發出一套可對多種水果進行圖像分辨、實時計數分類結果、實時刪除已分類圖像、設備成本較低、系統與自動化設備同步性高、魯棒性強的水果分類系統，具有一定的應用推廣價值。

1 基于圖像識別的水果分揀系統

本水果分揀系統基于圖像識別，可以實現各種不同水果的分類。這里以較為常見的蘋果和梨作為研究對象，實現了水果大小分類、腐爛水果檢測、水果顏色檢測、水果計數、腐爛水果發出警告、圖片文件夾提取、檢測后刪除等功能。方案設計流程如圖1所示。

2 水果圖像的采集

水果圖像采集是基于一定的設備，采集水果完整的圖像，并將其存儲在計算機中。圖像采集系統模擬實現如圖2所示，包括1臺電腦，1個拍攝設備（相機），1塊幕布或光照箱，1個光源保證獲取足夠清晰的水果圖像，以便圖像的后續處理操作。

關于圖像的提取，首先需要在電腦平臺上批量讀取要進行系統操作的所有采集到的水果圖像，具體操作如下：找到水果圖像的文件夾路徑;找到該文件下相同格式（本研究為.jpg格式）的圖像文件，這個圖像文件是一個結構體，有data、name等成員;定時提取這些水果圖像以備后續操作。圖像提取工作完成后，進入水果圖像處理和實現分揀的具體功能，即對流程所述的其他模塊逐一進行操作。

3 水果分揀系統原理介紹

3.1 水果腐爛檢測

在進行水果分揀時，第一個實際步驟是水果的腐爛檢測。水果的缺陷和腐爛是人們在購買水果時的第一關注點。在采摘和運輸過程中，腐爛變質的水果會降低或破壞整批水果的質量。設計系統時，如果開始判定了某水果屬于腐爛水果，則系統將會對操作人員發出警報，跳到水果分揀模塊將其歸為腐爛水果，通過移動機床將其歸入腐爛水果收集筐，并進行后續計數、刪除圖片等操作;如果判定了此水果非腐爛水果，則進行接下來的種類識別等一系列操作。

本系統利用RGB值轉換為HIS模式，得到色度直方圖，通過顏色特征來進行評定。其中蘋果和梨的顏色有較大差異，蘋果以黃、紅色為主，梨以黃色為主，梨及蘋果的腐爛部分以棕色為主。公式如下：

其中，x、y分別為方形區域中心位置的橫縱坐標。T（x，y）為圖像二值化的閾值，m（x，y）為方形區域計算出的均值，s（x，y） 為計方形區域計算出的標準方差;k為修正系數。通過上述公式可以將像素值置為0或者255。

3.2.5 圖像的孔洞填充 由于光線問題，拍攝的圖像可能存在一定的反光或者模糊的情況，為避免輪廓提取等后續步驟產生誤差，需要對圖像做孔洞填充。一般采用的方法為先掃描將要填充的像素點（x，y）為中心的3×3的塊，用計數器記錄這9個點中灰度值為255的點的個數N。若N≥5，則將點（x，y）的灰度值賦值為255，即像素點（x，y）被認為是前景;否則認為是背景，將點（x，y）賦值為0。

3.2.6 圖像的邊緣提取 每種水果都有其特定的形狀特征，因此可以通過提取水果的邊緣輪廓對水果的種類進行判斷。邊緣提取的主要思想是利用邊緣增強算子，突出圖像的邊緣，并設置合適的閾值將邊緣提取出來。但是由于噪聲等因素常使邊緣變寬或者中斷，因此還需要剔除部分變寬的區域并將間斷點連接。從信號處理的角度來說，邊緣提取就是提取灰度變換最劇烈的位置，因此也可以按照微分的角度對信號做邊緣提取。

3.2.7 圖像的特征提取 每種水果都具有其獨特的特征，選取合適的特征參數來表征水果的種類至關重要。Eccentricity函數是特征提取的一種方法。Eccentricity指的是與區域具有相同標準二階中心距的橢圓的離心率，通過計算研究對象所在區域的具有相同標準的二階中心距的大小，可以表征一種圖像的形狀特點。但是由于水果的形狀較為接近，單純的Eccentricity可能無法準確地將水果進行分類。本研究采取顏色與Eccentricity函數相結合的方式，大大提高了水果分類的準確性。

3.3 水果的分揀

經過了前述關于蘋果一些基本特征的判定，對水果進行分揀的流程如圖4所示。分揀功能和前面流程對應主要完成以下方面：第1級，腐爛水果（水果表面出現腐爛）和完好水果的分揀;第2級，在完好水果的前提下，對采集的所有水果進行分類，比如梨、蘋果、香蕉等其他所有采集到的水果;第3級，在對應種類水果的基礎上，依據上述的大小等級判別和顏色判定，對其進行分揀，分出特等水果、優等水果、次等蘋果、劣等水果。本研究實行的水果分揀都是基于各水果的相同品種，否則在使用顏色判斷品質時會不成立。

其中，以蘋果和梨為例，將其大小和顏色各分為3個等級。最后再對分揀出的水果數量做統計，統計出腐爛水果、特等水果、優等水果、次等水果、劣等水果以及已分揀水果的數量。

3.4 圖像的刪除

進行完前面的步驟，最后要對所有進行識別的圖片完成刪除功能，以發揮持續檢測并節省電腦內存的作用。本研究利用delete函數，直接在時間函數下對已經識別統計完的圖像進行刪除操作。

3.5 同步模塊

由于圖像采集、處理速度與自動化設備在運行時間上的不同步，可能會出現圖像處理結果和自動化設備分揀出的結果不匹配，系統長時間空轉造成設備故障等問題。因此本系統在圖像處理過程之前設置了時間模塊，通過設置合適的時間，使所有圖像處理的時間與自動化設備的時間匹配，大大提高了系統的魯棒性。

3.6 圖像采集完成的判別

上述操作完成后，需要去判斷采集系統對水果圖像的采集是否結束：若否，則重新從第2步開始對圖像進行操作處理，完成一系列水果的分揀;若是，則直接結束操作。

4 系統測試

4.1 水果的圖像識別

圖5為蘋果的Matlab圖像處理過程，包括了原始圖像、增強對比圖像、二值化圖像、孔洞填充圖像、邊緣提取圖像和特征提取圖像。

4.2 水果的腐爛檢測

對輸入的水果圖像進行腐爛檢測時，主要依據其表面顏色特征來進行評定。梨、蘋果腐爛部分的顏色以棕色為主。當蘋果腐爛時，蘋果紅色區域面積會降低，棕色面積變大。同理，當梨腐爛時會由嫩黃變為棕色。圖6展示了腐爛水果的HIS模式圖和色度直方圖，直方圖的橫坐標為像素點H分量的角度值，縱坐標為像素點的數量。

4.3 水果種類的識別

本研究只以蘋果和梨為例對水果進行了種類識別。前面軟件設計中提到了利用 RGB 值轉換為 HIS 模式，得到色度的直方圖，通過顏色特征來進行評定，其中蘋果和梨的顏色有較大差異，蘋果以黃、紅色為主，梨以黃色為主。圖7、圖8分別展示了水果的HIS模式圖和色度直方圖，直方圖的橫坐標為像素點H分量的角度值，縱坐標為像素點的數量。結合色度直方圖和上述的特征提取方法，可以很容易地辨別出蘋果和梨。

4.4 水果的大小等級判定

對大小不同的蘋果或梨做具體判定。不同大小的水果圖像在整體圖像中的像素點數量也不同，因此本系統以水果像素點的數量作為判決標準。圖9展示2種大小不同的蘋果，其像素點顯示分別為86 377和65 370，根據判決參數，>30 000判斷為大果，25 000～30 000為中果，<25 000為小果，可以較為準確地對水果大小進行判斷。

4.5 水果的顏色判定

以蘋果為例，對2種色度不同的蘋果進行分析，利用RGB值轉換為HIS模式，得到色度的直方圖，通過顏色特征來進行評定。圖10展示了顏色較黃蘋果的HIS模式圖和色度直方圖，通過色度直方圖上像素點與有色區域像素點的比例，設置合適的閾值，可以實現顏色的準確識別，與圖7、圖8中的蘋果作比較，實現顏色的判定。

4.6 水果的分揀顯示

采集到梨、蘋果以及腐爛水果的若干圖像，然后依據系統設計方案和軟件設計流程依次實現水果的分揀，具體見圖11（只選取了部分）。圖11-a左為水果圖像，右為分揀后的評價，顯示窗口出現：完好的蘋果，顏色全紅，屬于大果，最終分揀為“這是特等水果”;統計數量依次顯示在窗口。圖11-b左為水果圖像，顯示窗口出現：完好的梨，顏色黃中帶綠， 屬于大果，最終分揀為“這是優等水果”;統計數量依次顯示在窗口。圖11-c為腐爛的水果，顯示發出：警告！這是個壞果請處理。

4.7 誤差分析

在上述所設計系統進行水果分揀時，發現其中有1個腐爛程度十分小的蘋果在腐爛檢測模塊沒有判別出來（圖12）。圖12中的蘋果是腐爛水果，但是顯示窗口出現“完好的蘋果”字樣。而其他不同腐爛程度的水果均獲得正確的識別，并且能夠實現水果的種類識別、顏色判定、大小等級判別及完成水果的分揀。

5 結論

本研究探討了一種基于圖像識別的水果分揀系統。通過硬件采集系統采集的各類不同水果的圖像數據，利用Matlab仿真技術實現了對水果的腐爛檢測、等級分揀、實時計數、實時清空內存等功能。通過測試結果來看，實現效果較好，解決了現實生活中的水果分揀困難的一些問題。但是由于所采用的一些方法較為簡單，所以存在一定的精確度問題。如對腐爛檢測中，只能識別腐爛程度較高的水果，腐爛程度較低可能會出現誤差。在后續的研究中可以考慮從多角度圖像采集、優化特征提取方法、優化缺陷檢測方法等角度出發，以提高系統的同步性和準確性。

參考文獻：

[1]Kawamura S，Natsuga M，Takekura K，et al. Development of automatic rice-quality inspection system[J]. Computers and Electronics in Agriculture，2003，40（1/2/3）：115-126.

[2]趙茂程，侯文軍. 我國基于機器視覺的水果自動分級技術及研究進展[J]. 包裝與食品機械，2007，25（5）：5-8.

[3]Zhao M C，Hou W J. Researches of machine vision on fruit automatic grading technology and its prospect in China[J]. Packaging and Food Machinery，2007，25（5）：5-8.

[4]Yud-Ren C，Chao K L，Moon S K. Machine vision technology for agricultural applications[J]. Computers and Electronics in Agriculture，2002，36（2/3）：173-191.

[5]費琦琪，施 杰，夏敏，等. 基于CNN的冰糖橙分級系統[J]. 江蘇農業學報，2020，36（2）：513-519.

[6]Tao Y，Heinemann P H，Varqhese Z. Machine vision color inspection of potatoes and apples[J]. Transactions of the ASAE，1995，38（5）：1555-1561.

[7]Blanc P. Unit for sorting and packaging products capable of being hung on a hooking member for the purpose of their conveyance，such as bunches of fruits，in particular table grapes or truss tomatoes：US，US6957940[P]. 2005.

[8]Baigvand M，Banakar A，Minaei S，et al. Machine vision system for grading of driedfigs[J]. Computers & Electro nics in Agriculture，2015，119（C）：158-165.

[9]葉晉濤，王運祥，楊 杰，等. 馬本學.哈密瓜顏色特征提取及成熟度分級的研究[J]. 石河子大學學報（自然科學版），2016，34（1）：106-111.

[10]魏康麗，王振杰，孫 柯，等. 基于計算機視覺對蘋果脆片外觀品質分級[J]. 南京農業大學學報，2017，40（3）：547-555.

[11]應義斌，饒秀勤，馬俊福. 柑橘成熟度機器視覺無損檢測方法研究[J]. 農業工程學報，2004，20（2）：144-147.