基于圖像識別的蘋果等級分級研究

于 蒙，李 雄，楊海潮

（武漢理工大學 物流工程學院，武漢 430070）

從水果的生產到銷售過程中需要一個分級裝箱的過程，主要指標有大小、重量、形狀、顏色等。傳統的人工分級是通過肉眼觀察水果的各類特征從而進行分級，然而其具有較大的局限性。近些年隨著機器視覺技術的發展，人們為了提高水果分級效率，開始研究基于機器視覺對水果的外部特征，比如大小、形狀、顏色以及表面缺陷等進行檢測。

1 水果品質分級的研究進展

目前，國內外在水果品質分級方面已進行許多研究。文獻[1]設計了一種基于支持向量機SVM和Otsu’s方法的自動可調的顏色分割方法，對300個蘋果進行檢測，得到了較高的準確率。文獻[2]運用C4.5決策樹分類器設計并實現了蘋果自動分選機的構建。文獻[3]利用神經網絡和計算機視覺方法對芒果進行分類，精度高達94%。文獻[4]在番茄識別時采用顏色分量作為識別指標，很好地解決了二值圖像中將花萼、果臍部位誤判為表面缺陷的問題。文獻[5]針對果實采摘機器人的果實檢測與識別，提出在YCrCb色彩空間中只注意色調、飽和度成分，然后再進行分割，效果良好。文獻[6]利用近紅外光譜技術對水果成分進行特征分析，采用聚類處理的方式進行水果成分的特征分類，實現水果成分檢測，提高了水果成分檢測的正確率。文獻[7]通過Soble算法對水果圖像進行邊緣提取，利用直方圖數據實現水果的大小分級。文獻[8]利用Canny算法獲取水果圖像中的目標輪廓，并基于BP神經網絡實現對芒果的分類，準確率超過93%。

總而言之，研究人員將機器視覺技術作為水果自動分級系統的基礎技術，已廣泛應用于商業水果自動分級系統中，大大提高了水果的經濟價值。然而，該技術中對于水果顏色與缺陷的分級尚不完善，主要在于一般方法受光照強度的影響較大，不具備很好的魯棒性。故在此針對紅富士蘋果，提出了基于機器視覺的蘋果顏色與缺陷分級方法。該方法通過選擇蘋果圖像HSL顏色模型中色調值H通道分量，作為蘋果顏色分級的特征參數，利用SVM分類器對蘋果顏色等級進行分類。同時，選擇蘋果圖像HSL顏色模型中亮度L通道的能量、熵、逆差矩這3個紋理特征，作為蘋果缺陷分級的特征參數，利用BP神經網絡分類器對蘋果有無缺陷進行分類。

2 試驗設備與方法

2.1 試驗設備

所研究的試驗設備包括一個漫反射板的高角度入射光源、工業CCD相機以及微距鏡頭。

試驗中的圖像處理及模式識別部分代碼是在Windows操作系統上運行的，OpenCV作為計算機視覺庫與Visual Studio集成開發環境配合，能夠很方便地調用OpenCV庫中的相關函數接口，進行試驗研究。

2.2 圖像預處理方法

在此以紅富士蘋果為研究對象。在采集到蘋果圖像之后，先進行圖像預處理。該研究涉及的預處理操作包括圖像的噪音去除、選擇合適的顏色通道、圖像分割和輪廓提取等步驟。經過預處理的圖像可以為后期分級的特征參數提取排除各類干擾，提高分級正確率。

2.2.1 噪音去除

圖像中的噪聲會導致圖像質量發生具有不確定性的降低。在圖像分割操作前，如果不去除噪聲，可能檢測到更多的非預期對象，這是因為通常噪聲表示為圖像中的小點，可作為對象分割。通常傳感器和掃描儀電路會產生這種噪聲。

這種亮度或色彩的變化可以表示成不同的噪聲類型，如高斯噪聲、尖峰噪聲和散粒噪聲。由于試驗中圖像采集系統易產生椒鹽噪聲，因此采用了中值濾波器來去除。

2.2.2 色彩通道的選擇

將采集到的紅富士蘋果圖片，在OpenCV中進行RGB三通道分離處理。原圖像的灰度圖和提取出的結果如圖1所示。

圖1 灰度圖及RGB各通道分量Fig.1 Gray-scale image and RGB channel components

HSL模型也是常用模型之一，它是工業界的一種顏色標準，通過對色調 H（hue）、飽和度 S（saturation）、亮度 L（lightness）這 3個顏色通道的變化以及它們相互疊加來獲得各種顏色。將采集到的紅富士蘋果圖片由RGB模式轉換為HSL模式，并進行HSL三通道分離，所提取出的結果如圖2所示。

圖2 HSL各通道分量Fig.2 HSL channel components

對于圖像采集系統收集到的原彩色圖像，由于試驗環境的不同或照明系統安裝效果的不理想，在蘋果主體周圍不可避免地產生小面積的陰影；在灰度化圖像中，R、G、B通道分量的提取結果如圖1所示，都會不同程度地將陰影顯示出來，這對后期的圖像分割步驟會造成極大地干擾，對分揀系統的分揀精度和準確性造成極大的影響。但是，由圖2 H、S、L通道分量的提取結果可見，S通道分量提取結果中除了蘋果主體外，背景部分都顯示為純黑色，與主體即前景部分的差異較大，使用閾值化分割的方法就可以輕松地把前景與背景分割開。故在此采用S通道分量作為后續圖像處理的輸入信號源。

2.2.3 圖像分割

在此采用了閾值化分割方法。在傳統的閾值化分割圖像方法中，輸入圖像往往是原圖像的灰度化圖像。要實現很好的圖像分割效果，對灰度化圖像前景和背景的差異有較高的要求，且具體的分割閾值需要進行試驗才能最終確定。在此結合上述內容提出一種自動閾值化分割算法。

在計算機視覺和圖像處理中，Otsu算法用于自動執行基于聚類的圖像閾值，或將灰度圖像轉變為二值圖像。Otsu算法假定該圖像包含2類像素（前景像素和背景像素），然后計算出最佳閾值將這2類分開，這樣它們的綜合分布（內部方差）是最小的，因此它們之間的類間方差最大。Otsu算法的具體流程如下：

步驟1統計灰度級中每個像素的個數；

步驟2計算每個像素在整幅圖像的概率分布；

步驟3對灰度級進行遍歷搜索，計算當前灰度值下前景與背景的類間概率；

步驟4計算不同灰度級下類間方差；

步驟5選擇當類間方差最大時的灰度級作為圖像的全局閾值。

由蘋果圖像顏色通道的選擇可知，選取原彩色圖像經噪音去除后提取S通道分量的圖像，再用Otsu算法自動選取圖像分割的最佳全局閾值，可實現自動閾值化分割圖像的效果。這種方法適用范圍廣，對于白色或黑色背景的圖像都能準確分割提取出蘋果主體圖像，且對于圖像中陰影的影響不敏感，可準確地進行前景分割。圖像分割流程如圖3所示。

圖3 圖像分割流程Fig.3 Image segmentation flow chart

按圖3所示圖像分割流程對紅富士圖像進行處理，結果如圖4所示。可見通過該方法可以對蘋果實現較好的圖像分割效果。

圖4 原圖像與圖像分割效果Fig.4 Original image and image segmentation effect

2.2.4 輪廓提取

經圖像分割后得到的圖像，基本可以清晰地獲取蘋果圖像的外部輪廓圖。但是在實際試驗中，為了避免由于照明系統不符合要求而造成蘋果圖像一部分表面高光泛白，或由于蘋果圖像表面存在黑斑、缺陷等原因造成獲取的蘋果圖像外部輪廓中輪廓內部產生陰影，影響后期圖像處理，因此還需對外部輪廓圖進行輪廓提取，以獲取滿足要求的輪廓效果圖。帶缺陷的紅富士與圖像分割效果如圖5所示。

圖5 帶缺陷的紅富士與圖像分割效果Fig.5 Red Fuji with defects and image segmentation effect

在此通過opencv 將圖4（b）（d）（f）和圖5（b）的圖像進行輪廓提取操作，可得到相應的輪廓提取效果，如圖6所示。

圖6 對應的輪廓提取效果Fig.6 Corresponding contour extraction effect

3 顏色與缺陷分級

3.1 顏色分級

顏色是評判水果優劣的一個重要標準，優質水果通常具有良好的色澤和均勻的特性，根據這些信息可以對水果的品質進行分級。

3.1.1 特征參數

對于紅富士蘋果，因為HSL顏色模型中，色調值H具有隨采樣蘋果的顏色不同而有不同的取值，且不受光照條件的影響。所以，在蘋果顏色分級中，采用蘋果圖像的色調值H作為顏色分級的特征參數。

在得到蘋果圖像的色調值H分量后，為更精確的描述蘋果顏色特征，也為減小分類器訓練數據的數量，縮短訓練時間，還需對色調值H分量數據進行處理。采用直方圖對色調H分量進行描述，可以更直觀地看出不同顏色蘋果的色調區別。

將得到的蘋果外部輪廓作為掩碼，與原彩色圖像結合，便可得到蘋果的彩色輪廓圖。3組不同等級顏色的蘋果輪廓圖和色調H分量圖及對應的直方圖如圖7所示。最終得到的H通道分量直方圖數據將作為分類器訓練的數據集來源。

圖7 蘋果輪廓圖和色調H分量圖及其直方圖Fig.7 Apple contour map and hue H component map and histogram

3.1.2 基于SVM分類器的顏色分級

由圖7可見，蘋果顏色分級本質是對蘋果表面顏色的不同色調及色調值進行分類，分類特征明顯，可以用較少的數據實現理想的顏色分級效果。而在模式識別領域中，SVM到目前為止仍是解決監督問題、學習問題，特別是小樣本分類問題的最優選擇。

利用SVM分類算法可以實現蘋果的顏色分級。將收集到的蘋果分為優等品、一等品和二等品3個等級；在訓練集上訓練得到SVM模型后，對預先設置的預測集進行預測，判定每張圖像中蘋果的等級。預測結果混淆矩陣見表1，其整體準確率為89%。

由表可知，所設計的采用蘋果圖像的色調H分量直方圖作為特征的分類器，可以很好地對蘋果的顏色進行分級。

表1 蘋果顏色等級分級混淆矩陣Tab.1 Apple color grading confusion matrix

3.2 缺陷分級

3.2.1 特征參數

水果表面的損傷和缺陷會嚴重影響水果內外質量，是水果分級中的一大難題。

在蘋果缺陷特征參數的選擇上，綜合考慮實時性和準確率，參照文獻[9]給出的研究思路，選取缺陷分級特征參數的步驟如下：將蘋果彩色外部輪廓圖從RGB顏色模型轉換為HSL模型，并提取出亮度L通道分量，再計算出L通道分量的能量、熵和逆差矩這3個紋理特征，以此作為蘋果缺陷分級的特征參數。

1）能量 能量變換反映圖像灰度分布均勻程度和紋理粗細度。若灰度共生矩陣的元素值相近，則能量較小，表示紋理細致；若其中一些值而其它值小，則能量值較大，表明紋理較均勻、變化規則。

2）熵 圖像包含信息量的隨機性度量。當共生矩陣中所有值均相等或者像素值表現出最大的隨機性時，熵最大。因此，熵值表明了圖像灰度分布的復雜程度，熵值越大，圖像越復雜。

3）逆差矩 逆差矩反映了紋理的清晰程度和規則程度，紋理清晰、規律性較強，值較大；如果是雜亂無章的，則值較小。

3.2.2 基于BP神經網絡的缺陷分級

由于蘋果的缺陷類型眾多，且大小和嚴重程度各不相同，又因為果梗和果萼與缺陷難以分辨，容易發生誤判，所以不能用簡單的線性分類器模型進行分類。

在此依靠OpenCV平臺，實現了利用BP神經網絡分類器進行蘋果缺陷分級。先將蘋果分為有缺陷和無缺陷2個等級，再將蘋果的亮度L通道分量圖像進行提取特征，即亮度L通道分量圖像的能量、熵、逆差矩3個紋理特征，分水平、垂直、45°和135°等4個方向進行采集。將得到的12個特征參數數據加到訓練特征矩陣中。

定義神經網絡的神經元模型為3層。其中，輸入層神經元個數為缺陷分級特征參數的個數12；隱藏層神經元個數設置為輸入層的2倍，即24個；輸出層神經元個數為兩類分類結果，即2個。然后，選擇激勵函數為sigmoid，權重更新率為0.1，權重更新沖量為0.9。當參數都被初始化之后，開始訓練神經網絡模型。

得到神經網絡模型后，對預先設置的預測集的圖片進行預測，判別每張圖像中蘋果的缺陷等級。預測試驗結果見表2。由表可知，100張存在缺陷的圖像中，有96張等級判斷正確，4張判斷錯誤，正確率為96%；100張無缺陷圖像中，95張等級判斷正確，5張判斷錯誤，正確率為95%。其整體缺陷分級正確率為95.5%。

表2 蘋果缺陷分級預測混淆矩陣Tab.2 Confusion matrix for grading prediction of apple defects

由表可知，在此根據圖像亮度L通道分量的能量、熵和逆差矩3個紋理特征設計的神經網絡分類器，可以很好地判斷蘋果是否有缺陷。

4 結語

基于圖像識別的蘋果等級分級研究，利用了機器視覺技術，提取蘋果HSL模式中各通道分量，結合OpenCV庫與Visual Studio軟件構建了圖像處理和分級系統，對蘋果進行顏色以及缺陷進行檢測，能夠有效地實現對蘋果的精準自動化分級。蘋果分級系統使蘋果品質分級自動化能力提高，避免了采用人工分級的方式，節約人力的同時提高了分級效率，加快農業信息化的快速發展。