基于機器視覺的櫻桃缺陷檢測與識別

裴悅琨 連明月 姜艷超 葉家敏 韓心新 谷 宇

(1.大連大學遼寧省北斗高精度位置服務技術工程實驗室，遼寧 大連 116622；2.大連大學大連市環境感知與智能控制重點實驗室，遼寧 大連 116622)

櫻桃種植主要分布于美國、加拿大、澳洲、歐洲等地，中國主要有遼寧、山東等[1-2]，因其營養價值豐富而深受人們喜愛。櫻桃缺陷主要有裂口、腐爛、雙胞胎、刺激生長、未成熟、鳥啄和鼻尖裂口等。目前的分級主要依靠人眼進行識別，會造成可食用缺陷種類的浪費，而基于機器視覺技術的水果自動分級方法可快速、準確、無損地檢測櫻桃表面缺陷和判定分類級別。Balestani等[3]利用圖像處理技術對櫻桃進行缺陷檢測，其裂口、雙胞胎檢測率分別為95%，89%；王昭等[4]設計了一套基于視覺處理軟件的櫻桃缺陷檢測裝置，檢測率為86.8%，但未對缺陷類型進行精確分類。

卷積神經網絡(Convolution Neural Network，CNN)是將特征提取與分類融為一體，可直接對原始圖像進行模式識別，已成功應用于手寫數字識別及車牌字符識別[5-6]，并且都取得了較好的效果。劉云等[7]改進了一種基于RGB彩色分量算術運算的背景分割算法，使用分塊策略對蘋果缺陷進行檢測，檢測速度可達5個/s，準確率為97.3%；吳志洋等[8]采用雙網絡并行的模型訓練方法，結合特征圖優化卷積核參數的模型壓縮算法，實現了單色布匹瑕疵的快速檢測，檢測速度為135 m/min，準確率達96.99%；邡鑫等[9]設計了基于塊的CNN缺陷檢測算法，發現晶圓缺陷可分為10個缺陷種類，準確率達97%；許偉棟等[10]融合了支持向量機方法對馬鈴薯缺陷進行檢測，其運行速度快且準確率達99.2%；卞國龍等[11]采用數據增強技術對輪胎X射線圖像進行了缺陷檢測，所需時間短且準確率達91.3%。

為了避免櫻桃可食用缺陷種類的浪費，收獲更高的經濟效益、更標準的櫻桃分級水平、更快的速度以及更高的準確性，試驗擬使用圖像增強、增廣技術對圖片進行部分預處理，利用卷積神經網絡對櫻桃缺陷進行檢測識別，為櫻桃產后處理提供理論依據。

1 整體模型與算法

1.1 模型框架

典型的卷積神經網絡主要由數據輸入層、卷積計算層、池化層、激勵層和全連接層組成。試驗設計的基本模型結構如圖1所示。

圖1 CNN基本模型結構

1.2 輸入層

訓練前，需對原始圖像進行旋轉、縮放、裁剪、歸一化等預處理操作，即標準化處理。在圖片輸入層，對指定大小的生成圖片進行樣本與標簽分類制作，獲得神經網絡輸入的以特征命名的文件，為了方便網絡的訓練，對輸入數據進行批處理。經輸入層的圖片預處理操作可避免人為干擾，保證輸入圖片的準確性，提高訓練的正確率，得到精確的訓練結果。

目前，常用的圖片類型主要有bmp、png、jpg及gif格式。訓練時需統一圖片格式，彩色圖、灰度圖不可同時進行訓練。試驗主要采用bmp格式的RGB彩色圖片，即三通道輸入。為加快處理速度與時間，將圖片尺寸統一定為64×64。

1.3 卷積層

卷積層是CNN網絡的核心結構，通過局部感知和參數共享兩個原理實現對高維輸入數據的降維處理，并且能夠自動提取原始數據的優秀特征。卷積層將輸入層輸出的數據與一組可學習的濾波器進行卷積操作，每個濾波器在輸出的圖像中產生一個特征映射。試驗中采用尺寸為3×3的卷積核(filter)。按式(1)計算卷積層特征圖大小。

(1)

式中：

heightin、widthin——輸入圖像尺寸；

heightout、widthout——輸出圖片尺寸；

heightfilter、widthfilter——卷積核尺寸；

padding——取0或1；

stride——卷積滑動步長。

卷積得到的結果加上一個偏置，通過激活函數，作為該層某個神經元的值。試驗選用修正線性單元進行激活，不存在飽和問題，其收斂速度大于S型生長曲線和雙曲正切，且得到的結果是稀疏的。按式(2)計算卷積層。

(2)

式中：

W——卷積核；

f——激活函數；

bi——偏置。

1.4 池化層

池化層又稱子采樣層，主要作用是減少參數數量，防止過擬合，降低特征向量維度，并且能夠保持局部線性變換的不變性。常見的池化操作主要包括：① 最大池化函數，即對鄰域內特征點只取最大值；② 平均池化函數，即對鄰域內特征點只求平均值。分別按式(3)、(4)計算最大池化函數、平均池化函數。

poolingmax(?k)=maxi∈?kai，

(3)

(4)

式中：

poolingmax——最大池化函數；

poolingave——平均池化函數；

?k——卷積層輸出的特征向量劃分的多個區域，k=1，2，…，K。

1.5 全連接層和輸出層

全連接層的輸入特征是經過反復提煉過的，因此直接使用原始數據作為輸入能夠取得更好的效果。試驗模型中有兩層全連接層，使用Relu激活函數，采用softmax函數做分類器，輸出相應的類別，試驗中有兩種類別：第一種為正常果和缺陷果；第二種為完好櫻桃、裂口櫻桃、腐爛櫻桃、雙胞胎櫻桃、刺激生長櫻桃及鼻尖裂口櫻桃。由于試驗中主要是基于缺陷分類，故模型最終的輸出根據第二種來定。

訓練CNN，最終形成的訓練模型如表1所示。

2 算法驗證及數據分析

2.1 試驗環境

基于機器視覺的櫻桃缺陷檢測系統由硬件和軟件兩部分組成，硬件系統用來采集櫻桃圖像，軟件部分對圖像進行處理。

圖片采集系統主要由照明系統、CMOS攝像機、吸光背景布、POE千兆網卡、計算機等組成，如圖2所示。照明系統包含圓頂光源和控制器，圓頂光源將內嵌的高強度白色LED光經圓頂內壁漫反射到被測物體表面，很大程度上避免了櫻桃表面的反射和底部陰影，且有利于提高被測物體的輪廓、斑點等細節的清晰度，進而提高檢測精度。光源控制器具有同步觸發模式，將其與相機觸發輸出接口相連可以通過相機快門同步觸發頻閃信號。在整個采集系統的外圍，定制了一個立方體的遮光盒，其內壁由吸光背景布覆蓋。該外殼能有效屏蔽外界環境光的影響，減少內部反射，使得采集的圖片處于同一光照條件下。CMOS相機、鏡頭及網卡均為主流的工業級產品。

表1 CNN模型設計

1.同步光源 2.控制器 3.CMOS相機 4.圓頂光源 5.傳送帶 6.櫻桃樣本 7.電腦

圖2 硬件框架圖

Figure 2 Hardware framework diagram

試驗使用TensorFlow框架，Python3.7，軟件平臺采用Windows10系統、Pycharm，硬件環境為4 GB內存，intel(R)Core(TM)i5-6500 CPU @ 3.20GHzHP LV2011的計算機。

2.2 試驗設計

每個櫻桃在采集圖像的過程中，根據不同角度采集6張圖片，以便能覆蓋櫻桃的全部表面信息。為了擴大樣本數據集，先使用旋轉、縮放、按比例裁剪以及鏡像等Matlab操作方法擴大樣本數據，在此基礎上，建立櫻桃樣本庫，樣本數量15萬張，用樣本庫進行模型訓練。圖片采集平臺統一規格2 046×1 080，格式為bmp，為了較大地縮短訓練時間，加快訓練速度，所有照片在預處理時都被統一成64×64尺寸。具體的流程框架以及樣本示例如圖3、4所示。

圖3 流程框圖

圖4 樣本示例

試驗模型采用AdamOptimizer法來最小化損失函數，并對其進行優化。為了避免訓練過程中產生過擬合現象，采用隨機失活方法，雖然時間增加了近3倍，但防過擬合效果很好[12]。經過多次模型調試，最終將模型訓練的批次大小設為50，即每次的輸入樣本數為50；隊列容量設為300，即一個隊列的最大輸入樣本數為300；訓練總次數設為3 000，即進行3 000次迭代訓練，每隔100步輸出一次訓練結果；基礎學習率設為0.001。

試驗將6種預處理好的分類樣本各25 000張進行訓練學習。首先，采用人工標記的方法對訓練樣本進行標記，并用數字表示櫻桃樣本(0代表裂口櫻桃，1代表腐爛櫻桃，2代表雙胞胎櫻桃，3代表刺激生長櫻桃，4代表完好櫻桃，5代表鼻尖裂口櫻桃)。這種利用一組已知分類樣本來調整分類器參數以滿足所需性能的過程即監督學習。經過多次訓練，最終得到一個最優模型。對于每一種分類情況，由于其正確率的計算相同，以完好櫻桃為例，將完好櫻桃用正常果表示，將有缺陷櫻桃用缺陷果表示，如果將正常果識別為正常果表示為正預測的正類數，用TP表示；將缺陷果識別為缺陷果表示為正預測的負類數，用TN表示；將正常果識別為缺陷果表示為正預測的負類數，用FN表示；將缺陷果識別為正常果表示為負預測的正類數，用FP表示。按式(5)計算正確率(acc)。

(5)

由圖5可知，整體訓練準確率隨訓練步數的增加逐漸提高；當訓練次數為2 300步時，整體損失逐漸趨于0，櫻桃識別準確率達100%。結果表明，試驗設計的6層CNN結構能在短時間內有效提取櫻桃圖像的特征，使訓練精度達到較高水平。

圖5 損失值及正確率隨迭代次數的變化趨勢圖

2.3 試驗結果分析

為了檢測使用64×64的櫻桃圖像進行訓練是否會對試驗結果產生一定影響，在試驗測試時選取720張櫻桃原圖進行測試，每個分類各120張。由表2可知，完好、雙胞胎、鼻尖裂口及腐爛櫻桃測試結果均正確；裂口櫻桃有3個被識別錯誤，刺激生長櫻桃有3個被識別錯誤；完好、雙胞胎、鼻尖裂口和腐爛櫻桃識別正確率為100%，裂口、刺激生長櫻桃識別正確率為97.5%，處理速度可達25個/s，滿足了實時性要求。通過查看訓練樣本可知，刺激生長櫻桃被識別為雙胞胎、裂口和完好櫻桃是因為圖片在人為標記過程中出現了分類錯誤。說明使用預處理后的圖像進行訓練未對結果產生影響。

表2 識別正確率比較

2.4 與其他方法的對比

根據櫻桃的實際售賣情況可知，裂口、雙胞胎、刺激生長及鼻尖裂口櫻桃是可以進行售賣的，且裂口、鼻尖裂口櫻桃甜度更高，很多人更喜歡食用這兩種櫻桃，故試驗將有缺陷的櫻桃劃分為裂口、鼻尖裂口、刺激生長、腐爛、雙胞胎5種類型，同時對完好櫻桃進行了精確識別。由表3可知，試驗方法優于其他方法，有較高的精度及較快的識別速度。

表3 缺陷種類識別結果對比

3 結論

試驗將卷積神經網絡應用于櫻桃的缺陷檢測上，實現了缺陷種類的精確分類，相比其他方法，分類效果得到了明顯提升，該方法可以準確高效地識別出正常果和缺陷果，也能精確地細分5種缺陷果。根據識別個數分類可知，正常果識別準確率為100%，缺陷果識別準確率為99%；根據相似程度判斷可知，正常果識別準確率為99.25%，缺陷果識別準確率為97.99%，識別速度達25個/s。試驗表明，該算法實時性好、識別率高，且通過與其他方法的對比，更加證實了該方法具有較高的精度和適用性。后續可涉及深化網絡模型結構，增加學習樣本種類，建立合理的分類分級邏輯和對硬件平臺的升級，做到櫻桃更多缺陷種類的精確識別，提高分類器的識別能力與速度。