基于圖像處理的蘋果檢測與識別技術研究

孟倩楠，安佳駿

（河北經貿大學信息技術學院 河北 石家莊 050061）

0 引言

在鄉村振興的不斷推進下，我國蘋果種植生產量逐年增高，現已位居世界蘋果生產國平均年產量之首，于是對蘋果種植生產行業智能化檢測提出了更迫切的要求。 傳統蘋果檢測由果農肉眼并憑借經驗對其做出應有的判斷，后來無智能化機器代替了部分人工檢測，但由于只具有死板的程序設計，仍無法代替人工。 而基于圖像處理技術可以憑借訓練數據集、圖像形態學、二值化處理等技術將蘋果的生長狀態以及大小、形狀、顏色等多項指標進行大數據分析以及特征提取，解決人力資源浪費問題與蘋果品質問題。 本文歸納總結了圖像訓練集與數據庫搭建、分類識別技術簡述、圖像采集與預處理、成熟度檢測、特征提取和分級模式研究，為新一代蘋果檢測識別技術提供新思路。

1 圖像訓練集與數據庫搭建

本實驗采用圖像數據集的形式進行處理，首先通過Github 與Model Whale 網站上尋找開源蘋果圖像數據集進行初步采集訓練，最后選擇Fruits 360 數據集，該數據集是目前最常用的蘋果數據集之一，包括總數為47 593 張100×100 像素的圖片，訓練集包括35 625 幅圖像，驗證集包括11 968 幅圖像。 同時還進行實地考察、采集來擴充數據庫，對得到的圖片數據進行預處理工作，構建優果劣果甄選數據庫，并將不同環境下蘋果產量、果實情況等數據導入后臺處理。

2 蘋果分類識別技術簡述

本技術需要使用提前設定好的蘋果特征進行提取處理，對數據集的圖像用MATLAB 等工具進行預處理，提取相關主要特征，并放入訓練分類裝置中，等待系統輸出最終反饋。

圖像分類識別系統首先需要使用顏色全局二值模式處理來提取圖片紋理的基本信息特征，然后通過直方圖顏色模型提取相關顏色信息。 采用匹配分數融合算法將紋理特征與色彩特征相結合，用于最終的識別。 該方法可以在一定程度上提高識別率及準確率，還可以減少時間開銷。 另外還有學者提出將系統分為三個階段：預處理階段、特征提取階段與分級階段。 預處理階段用于減少顏色相關指數，特征提取階段用于生成特征向量，分級階段采用支持向量機（support vector machine， SVM）算法來識別蘋果類型。

3 蘋果圖像采集與預處理

3.1 圖像采集

3.1.1 機器視覺檢測技術

本系統主要應用的是基于MATLAB 機器視覺的檢測技術，機器視覺檢測技術是用計算機來模擬人類視覺功能進行檢測的技術，主要是以計算機和圖像獲取設備為工具，由圖像獲取設備將檢測對象的外部特征信息高速輸送給計算機進行圖像處理、分析和模式識別，從而實現對檢測對象外觀品質的綜合評價。［1］一套完整的機器視覺系統包括照明光源、光學鏡頭、電荷耦合器件（charge-coupled device，CCD）相機、圖像采集卡、圖像檢測軟件以及監視器、通信單元等組成部分。 這些部件協同工作，以實現對視覺數據的精確采集、處理和分析，從而用于機器視覺領域的各種應用。

3.1.2 技術路線

本系統采用CCD 相機和圖像采集卡完成圖像采集，并將圖像傳輸至計算機，以便進行后續的圖像處理。 通過對采集到的圖像進行預處理，可以提高檢測分類的準確性。 確定適當的圖像分級參數，從尺寸、顏色和缺陷三個方面對蘋果圖像進行分級，并綜合各方面的分級結果，得出果實的最終等級，如圖1 所示。

圖1 蘋果圖像采集裝置示意圖

3.2 圖像預處理

3.2.1 流程簡述

圖像預處理的主要目的是消除無關信息，增強有關信息的可檢測性，并盡可能簡化數據。 在蘋果圖像的采集和預處理中，主要流程為：圖像采集—圖像分割—形態學去噪—邊緣檢測。 圖像采集過程中使用到的顏色模型為RGB 模型；圖像分割過程中運用到閾值分割，主要是灰度直方圖雙峰法，將RGB 分量的蘋果彩色圖像轉化為灰度圖像，簡化了數據表示，便于后續的處理；形態學去噪過程中用到二值化處理，用0 和255 灰度值來區別實體與背景，提高圖像識別，便于輪廓的提取，用于操作平滑目標邊緣，并消除表皮的一些其他影響，例如毛刺等；邊緣檢測過程中先利用圖像增強技術提高圖像識別度，然后采用Canny 算子檢測技術提取邊緣。 Canny 算子檢測技術的基本原理是先使用高斯濾波器進行平滑濾波處理，方便更好地保留圖像的整體結構和細節，然后采用非極大值抑制技術，雙閾值邊緣點篩選處理來提取邊緣信息。

3.2.2 顏色模型

在圖像采集時使用RGB 模型來表示和處理圖像的顏色信息。 RGB 模型是一種常用的顏色模型，它由紅色（R）、綠色（G）和藍色（B）三個分量組合而成。 在RGB 模型中，每個分量的取值范圍是（0，255），代表了相應顏色的強度。 通過調整這三個分量的數值，可以得到不同的顏色。 同時，研究人員通過實驗得到，蘋果圖像在R 分量下的亮度最高，與背景形成明顯對比；而在G 分量和B 分量下目標亮度較暗，與背景之間差異不大。 所以，R 分量圖適合用于作為圖像分割任務的前提。

3.2.3 圖像分割

在圖像分割時使用灰度直方圖雙峰法來將彩色圖像進行灰度化處理，此后可以在圖像的灰度直方圖中看到兩個明顯的峰值。 通過灰度直方圖雙峰法，可以根據蘋果圖像的灰度分布對圖像進行分割，其中運用到了閾值分割技術，將閾值R 與原始灰度圖像f（x，y）作比較，表達式如式（1）所示。

當圖像中存在明顯的目標與背景時，其灰度直方圖將呈現雙峰形態，雙峰之間的谷底灰度值即為分割閾值。 將灰度值高于閾值的部分劃分為目標，低于閾值的部分則為背景。 圖像分割操作不僅可以簡化數據的表示，還不會對后續的形態學去噪和邊緣檢測提取這兩個操作的準確性產生影響，是圖像預處理過程中必不可少的一步。

3.2.4 形態學去噪

形態學去噪時首先用到二值化處理，將目標與背景分別表示為黑色和白色，提高圖像識別。 其次，使用形態學操作（膨脹和腐蝕）對二值圖像進行處理。 膨脹操作可以擴大目標區域并填充其中的空洞，從而消除小的噪聲。 腐蝕操作可以縮小目標區域并分離連在一起的目標結構，從而消除細小的尖峰噪聲。 最后，本操作還采用了形態學操作中的開運算來消除圖像分割后會出現一些孤立的像素點或目標邊緣不平滑的現象。 因為上述現象會影響圖像分割的效果，并導致后續的特征提取產生較大誤差，所以這一操作為后續圖像的處理提供了有效性和可靠性。

3.2.5 邊緣檢測

在邊緣檢測時先利用圖像增強技術提高圖像識別度，然后采用Canny 算子檢測技術提取二值圖像的邊緣。 圖像增強技術主要用于提高圖像的清晰度和對比度，通過銳化技術增強圖像的邊緣和細節，更加突出圖像邊緣信息，通過對比度增強技術調整圖像灰度級，使提取目標更加明顯，通過圖像恢復技術消除部分圖像存在的模糊失真或者畸變，三種技術組合使用提高圖像邊緣的識別度。

Canny 算子檢測先使用高斯濾波器進行卷積操作，運用到了高斯函數G（x，y），如式（2）所示，式子中σ表示高斯濾波器參數。 然后得到平滑圖像g（x，y）并保留邊緣細節，如式（3）所示，式子中F（x，y）表示原始圖像。 隨后進行梯度計算，計算g（x，y）中每個像素點的梯度值T（x，y）和方向θ（x，y），如式（4）、式（5）所示。

首先圖像中灰度變化最劇烈的地方就是梯度值；其次通過非極大值抑制對每個像素點的梯度方向進行判斷，只保留提取下來局部最大梯度值的像素點，去除其他非極大值的像素點；最后通過雙閾值化將像素點分類為強邊緣、弱邊緣和非邊緣，大于高閾值的強邊緣點可直接判定為邊緣，小于低閾值的非邊緣點可去除，而處于高低閾值之間的弱邊緣點則需要進一步檢查，檢測鄰域是否有強邊緣點，有則保留提取下來，沒有則去除，最終連接起強邊緣與弱邊緣，形成完整的邊緣線條并顯示出來。 圖像處理后如圖2 所示。

圖2 蘋果圖像預處理示意圖

4 蘋果成熟度檢測

該模塊主要用于檢測蘋果的成熟度。 主流的蘋果成熟度檢測技術包括兩大類：有損檢測技術與無損檢測技術。 顧名思義，是根據是否會對蘋果本身造成損傷來區分的技術。 本系統主要應用無損檢測技術來進行蘋果成熟度的檢測。

4.1 有損檢測技術

過去傳統的蘋果檢測技術主要依靠人類的經驗以及各種檢測分析儀器，觀察蘋果的外觀并檢測蘋果的硬度、可溶性糖含量、可滴定酸含量等指標以判斷蘋果的成熟度。 但這些方法只有人類憑經驗來判斷蘋果成熟度不會對蘋果造成損傷，其他方法都會對蘋果造成不同程度損傷，因此傳統的檢測技術被稱為有損檢測技術。 針對不同的檢測指標，有損檢測技術主要分為外觀質量檢測、硬度檢測、可溶性糖含量檢測、可滴定酸含量檢測。

4.2 無損檢測技術

無損檢測技術的優點就是不破壞蘋果，不僅保證了蘋果的完整性，還是一種具有快速準確、低成本和實時性優點的質量評價技術。 目前無損檢測技術主要有以下幾類：光學特性分析法、電學特性分析法、聲學特性分析法、化學特性分析法、機器視覺分析法和其他成熟度無損檢測法。可以舉例為以下幾種技術：近紅外光譜檢測技術、機器視覺檢測技術、高光譜成像檢測技術、聲學分析檢測技術、介電性質分析檢測技術、核磁共振檢測技術。

5 蘋果特征提取

特征提取為進行蘋果分級處理的重要前置條件，判斷一個蘋果優劣與否的重要依據由三部分構成：大小、形狀與顏色。

5.1 蘋果大小特征提取

在實際生活中售賣蘋果時，蘋果的大小常常作為主要定價標準，一般來說，直徑大的蘋果單價較高，直徑小的蘋果單價較低。 特征提取的主要辦法有平均直徑法、最大果寬法、模板匹配法、最小外接矩形法等等。 根據GB／T 10651—2008《鮮蘋果》中的大小標準，蘋果的大小是測量水平方向上蘋果的最大直徑，即為垂直于果軸的最大橫截面直徑。 通過選擇蘋果的俯視角度，獲得初始蘋果圖像，由于蘋果初始形狀近于圓形，所以采用最小外接圓方法對圖像進行處理。

首先應通過二值圖像進行處理，利用式（6）、式（7）算出其最小外接圓的質心（Cx，Cy），式子中M0表示圖像總像素數，M1表示水平向右的像素數，M2表示垂直向下像素數。

在此將蘋果的質心作為最小外接圓的圓心，可以通過圖像邊緣和圓心坐標的距離來確定半徑，根據式（8）計算出圓心與像素點的距離，其中xi為目標像素點的橫坐標，yi為目標像素點的縱坐標。 遍歷全部的邊緣像素點，設置最小外接圓半徑dmax來保存最大距離，若新距離大于當前存儲的dmax，則進行更新直到遍歷完成，得到最小外接圓的半徑。

由于得到的最小外接圓半徑單位是像素，需要將其與實際常用的蘋果直徑單位毫米進行轉換操作。 通過選取m 個標準球體，將其實際直徑長度D 的平均值和圖像采集的像素點個數d 的平均值進行對比，得出其中的關系轉換式（9）。

5.2 蘋果形狀特征提取

蘋果在幾何中近似于球體，在圖像采集中可以用圓形的擬合度來判斷其形狀的優劣，這里采用圓形度法來進行判斷描述。

對于標準圓而言，由周長C 推出的直徑RC與由面積推出的直徑RS應當相同，即RC＝RS。 因此可以依據這一特質來估計蘋果接近圓的程度E，如式（10）～式（12）所示。 由此可知，當圓形度E越接近1 時，RC與RS近乎相等，蘋果的形狀越規則。

5.3 蘋果顏色特征提取

顏色可以反映蘋果的成熟度與口感，為果農銷售分類蘋果的重要指標之一。 根據GB／T 10651—2008《鮮蘋果》中的色澤標準，果面著色面積為色澤分類的主要依據，因此可以通過比較圖像中紅色所占比例，得出著色度。

由于六角錐體模型HSV（hue，saturation，value）更符合人類視覺對顏色的認知，所以這里采用HSV 模型。 首先，將RGB 圖轉化為HSV 圖；其次，選取紅色的提取范圍H（156 ～180）、S（43 ～256）、V（46 ～255）［2］；最后，再根據圖像閾值處理后白色像素點數rwhite與圖像像素點總個數r0的關系來計算著色度C，如式（13）所示。

6 蘋果分級模式研究

實現對蘋果進行分級時，首先需要搭建分類模型，對逐個蘋果進行特征提取，再將其參數輸入到模型當中進行果類識別分級工作。 圖像預處理和特征提取技術都是為本模塊的研究做鋪墊，經過圖像處理后，綜合判斷對蘋果進行分級處理。 傳統的分級模式為果農到果園現場進行肉眼鑒別，通過自身經驗判斷優果劣果。 這種模式受限于人力勞動量較大、主觀判斷過強等問題。 本文的分級模式可以結合蘋果顏色特征、形狀特征、顏色特征等產生特征向量，再根據實際情況做出選擇，也可用標簽標記特征向量，以便產生訓練樣本集。 實驗綜合參照GB／T 10651—2008 與實際測量標準，將蘋果劃分為一級果、二級果、三級果與四級果，如表1 所示。

表1 蘋果品質等級分級標準表

6.1 數據規范化

在進行數據分類的過程中，可能會出現特征參數差距較大的情況，例如大小參數、形狀參數、顏色參數有很大的出入時，這些數據顯然是無效數據，必須舍棄。 分類器只能根據蘋果參數的特征進行粗略分類，得到的結果會不夠理想，誤差較大。 數據規范化步驟如下：①將數據集中重復的數據圖片記錄移除，保證每條記錄都是唯一的；②進行規范化字段，統一為特定相同的格式；③約束管理操作可以將特征向量的取值固定在特定范圍之內；④缺失值處理會智能填充或刪除缺失值的記錄；⑤標準化數據范圍會保證不同類型的字段數據范圍相似，用于各個數據的比較與區分。 通過進行數據規范化，可去除無效數據、減少分級研究中的錯誤，并為后續分類器運行提供基礎。

6.2 SVM 算法

SVM 算法是一種基于向量空間的機器學習方法，目標是找到兩個類之間的決策邊界，其在樣本較小的數據訓練集上效果較好，可以有效提高模型的泛化。 SVM 算法可以應用于數據的模式分類和非線性回歸，能夠解決小樣本和非線性等常見的缺陷［3］。

模型利用制作的樣本數據集可以訓練SVM，具體決策樹如圖3 所示。

圖3 SVM 分類決策樹

該分類器名為基于決策樹的一對多多類分類器，將訓練好的SVM 進行蘋果分級處理，設計過程參考蘋果的直徑尺寸、著色程度、紋理等特征的提取來將其分為一級果、二級果、三級果和四級果，其中一級果為最優果實，蘋果的優質程度依次降低。 系統的分級標準可通過調整初始參數，實現對多個蘋果種類的分類。

7 研究測試結果

本研究測試環節的編程環境為Python3.8.8 和OpenCV4.6.0。

測試環境首先導入預先準備的蘋果圖片數據庫，對每一幀蘋果圖像進行圖像預處理操作，隨機選擇100 張圖像用于粒子群優化算法的SVM 決策樹的模型訓練樣本集，其余圖像作為模型測試樣本集。 將樣本的果徑、果形、著色度3 個特征值輸入模型中，測試將種群數量設置為30，最大迭代次數為120，進而計算得到相應的懲罰參數與核參數，其訓練適應度曲線如圖4 所示。

圖4 適應度變化曲線

接下來測試環境，取出各等級蘋果60 個為樣本，利用SVM 決策樹模型進行分類處理，并與人工處理結果進行對比得到其準確率。 結果如下：一級果91.7%、二級果90%、三級果98.3%、四級果96.7%，總準確率為94.2%。具體結果如表2 所示，由此可證明實驗成功。

表2 分級檢測結果

8 結語

本研究主要設計了一種基于圖像處理的蘋果檢測識別技術，通過開源數據庫圖像與實驗硬件采集的圖像數據，利用MATLAB 進行檢測處理，區分優果劣果。 本系統能夠實現分級功能，解決了農場蘋果分類檢測困難、人力資源浪費嚴重的問題。 應用前景廣闊，不僅可以用于蘋果識別，還可用于其他水果、蔬菜的識別區分，助力農產品生產分揀，充分發揮智慧農業技術優勢，為鄉村振興保駕護航。