基于機器視覺的柑橘表面缺陷檢測

龔中良 楊張鵬 梁力

摘要：針對柑橘人工分類強度高、效率低、精度差的問題，為實現快而準確的柑橘缺陷檢測，提出一種基于機器視覺技術的缺陷檢測方法。在VS2013環境下利用開源計算機視覺庫OpenCV進行開發，根據柑橘的顏色與形狀特點，將圖像顏色模型由RGB轉換為HSV，利用HSV圖像進行背景去除后，在HSV顏色模型下利用V分量灰度圖邊緣檢測與形態學處理的方法以提取柑橘表面的缺陷特征。結果表明，柑橘表面缺陷檢測的總體識別率為92%，所用方法能有效地識別柑橘表面的缺陷。

關鍵詞：柑橘;缺陷檢測;機器視覺;HSV;邊緣檢測

中圖分類號： TP391.41 ?文獻標志碼： A ?文章編號：1002-1302（2019）07-0236-03

柑橘是我國產量最大的水果之一，也是重要的外貿果品，但由于采摘后水果產品化處理技術落后，造成我國上市的柑橘品質等級混雜、良莠不齊，商品價值受到影響。目前，國內柑橘的分選主要采用人工分選方法，缺點是工作量大、效率低、準確性差，無法達到統一的質量標準。而機器視覺技術處理水果的方法具有效率高、速度快、無損性等特點，已在水果表面缺陷檢測領域獲得了廣泛運用[1]，國內的機器視覺技術在缺陷檢測方面還不是很成熟，因此研究基于機器視覺柑橘表面缺陷檢測的方法迫在眉睫。

近20年來，國內外學者對機器視覺在水果產后缺陷檢測中的應用進行了較深入的研究。Leemans等采用K均值聚類的方法提取RGB圖像中蘋果缺陷的特征，然后采用二次判別分析的方法實現缺陷區域的檢測[2]。Whitelock等通過提取缺陷和形狀等特征對蘋果進行分級檢測，但提取缺陷特征算法單一，不能提取多種缺陷，同時沒有考慮蘋果的球形特點而導致光照不均勻的問題，因此識別效果欠佳[3]。Blasco等開發了一個范圍定向分段算法檢測柑橘果面缺陷，并在HIS顏色空間通過使用傳統機器視覺系統的準確度達到95%[4];應義斌等以黃花梨為研究對象，根據表面缺陷區域與非缺陷區域的顏色特征差異，提出利用R分量與G分量在缺陷與非缺陷區的突變，求出可疑受損點，再運用區域增長法確定黃花梨的整個受損面，試驗表明該方法可較準確地識別黃花梨的缺陷區域[5]。馮斌等利用CCD攝像機和平面鏡對靜態采集的圖像進行傅里葉變換，從水果的三維空間結構特征中識別缺陷[6]。朱偉華等提出了基于模糊顏色聚類的缺陷分割方法，構建了顏色模糊集，并將該方法應用于西紅柿的缺陷分割[7]。趙杰文等在HIS顏色空間下提取H均值與均方差作為紅棗的顏色特征值，并采用支持向量機識別缺陷紅棗[8]。劉靜等利用面積標定法獲取芒果的缺陷圖像，并采用線性回歸分析的方法確定測量值與真實值的相關性，結果表明，該方法具有較高準確率與穩定性[9]。李江波等提出一種在線水果圖像的表面亮度均一化校正的方法，利用一個簡單的閾值對亮度校正后的圖像進行缺陷分割，總體檢測準確率超過99%[10]。還有一些學者在RGB顏色模型下利用分量R、G、B對水果的缺陷進行識別，但涉及的特征參數過多，在一定程度上影響檢測系統的實時性。

目前，水果表面缺陷檢測難題主要是如何高效快速地檢測缺陷區域并且能保證有較高的經濟性。本研究以冰糖柑為研究對象，通過CCD工業相機采集圖像，采用基于形態學處理柑橘圖像V分量圖像的分割方法，快速地提取柑橘的缺陷特征，并且通過判斷缺陷的形狀來區分柑橘的果梗與缺陷，識別柑橘表面缺陷區域，從而實現柑橘快速缺陷檢測。

1 材料與方法

1.1 試驗裝置與材料

柑橘圖像獲取裝置如圖1所示。該裝置主要包括CCD工業相機、圖像采集卡、光源、光照箱。圖像采集區域在密封的光照箱內進行，果杯及水果拍攝背景布置為黑色，這樣不僅能夠區分水果與背景，還能避免光照形成的陰影對圖像后續處理造成的影響。光源采用光線柔和的熒光燈，安裝在光照箱的兩側，使得光線均勻以防影響檢測結果。為盡可能采集柑橘表面更多信息從而達到缺陷檢測的目的，采用互為120°安裝雙相機進行圖像采集，CCD工業相機采用德國Basler工業相機（型號為：acA750-30gc/gm），其分辨率為752×480，像素位深8 bit，jpg格式存儲，相機曝光時長、焦距、光照強度及圖像采集大小均保持一致。當步進電機驅動傳動鏈將水果以恒定速度運動至圖像采集區域時，光電傳感器產生上升沿信號觸發工業相機拍攝，拍攝后的圖像由圖像采集卡存儲至計算機進行圖像分析與處理后，將判斷結果輸送給分選裝置進行分選。整個圖像處理軟件在VS2013環境下用VC+ +結合Opencv視覺庫進行編寫。

試驗樣品為長沙當地采購的50個洪江冰糖柑，其中有25個是完好的，25個表面帶有缺陷的，表面缺陷包括黑斑、蟲咬、壓傷等缺陷類型。

1.2 柑橘缺陷特征檢測方法

1.2.1 圖像預處理 首先進行圖像預處理是為了去除噪點及背景，為后續缺陷特征提取做準備。采集到的柑橘圖像中背景部分對檢測影響雖然較弱，但為了更高效地進行圖像分割并較好地去除背景，首先對圖像進行灰度線性變換，能凸顯感興趣區域并削弱或去除不必要的信息，使得處理結果更有利于后續圖像分析[11]。線性變換可突出感興趣灰度區間內的圖像細節，抑制不感興趣區域，增大圖像對比度并提高圖像質量，其表達式為g（x，y）=a×f（x，y）+b，其中參數a表示圖像對比度變化;b表示圖像亮度變化[12]，本試驗中參數a選取為1.2，參數b選取為40。將變換后的圖像轉換為灰度圖像再經過中值濾波以去除噪點，并且保證其邊緣輪廓較清晰，之后提取RGB顏色模型下的灰度直方圖（圖2-a），發現柑橘表面與背景對比并不是很明顯，并沒有呈現明顯的雙峰，而柑橘的缺陷部分通常與正常色澤有很大區別，將柑橘圖像由RGB顏色模型轉換為HSV顏色模型后，作其灰度直方圖（圖2-b），在HSV顏色模型下柑橘前景與背景能夠很好地區分，易于去除背景以提取目標果實圖像。

在去除噪聲之后，將二值化圖像作為掩模，并設置背景為白色以獲得背景分割后的圖像，背景分割后的圖像如圖2-d所示。

3.2 基于形態學處理的柑橘缺陷提取

柑橘缺陷常見類型主要包括潰瘍果、蟲傷果、裂傷果，缺陷區域的主要顏色為灰色、深褐色，針對缺陷顏色偏暗的特點，利用亮度V分量灰度圖對柑橘缺陷進行檢測。由于柑橘為近似球體的形狀，即使在柔和光照條件下，柑橘邊緣處的灰度值也比較低，極易將邊緣區域誤判為缺陷，因此需排除邊緣對檢測的干擾，采用形態學處理的方法去除邊緣以獲得缺陷特征圖像，整個流程如圖3所示。

從背景分割后的圖像分別提取H、S、V分量圖像如圖4所示，其中V分量圖最能體現出水果的缺陷特征，可作為后續檢測缺陷的依據。為獲取柑橘的缺陷部分，采用固定閾值化與OTSU閾值化分割并不能達到很好的效果，采用自適應閾值化分割的方法，處理效果較好。自適應閾值化是通過圖像像素領域塊的分布特征來自適應確定區域的二值化閾值，保證圖像中各個像素的閾值隨著周圍領域塊變化而變化[12]。由于某些柑橘表面會存在一些細小斑點，閾值分割處理后會形成許多小黑點，而這些小斑點并不能作為缺陷看待，因此采用形態學閉運算來消除這些小黑點。由于柑橘邊緣處的灰度值較低，處理后的圖像中黑色部分包括缺陷部分與邊緣部分，因此須處理邊緣部分，將預處理得到的二值化圖像用canny算子獲取其邊緣圖像，再用形態學膨脹的方法對邊緣圖像進行處理，得到邊緣膨脹圖像，其中邊緣膨脹部分為白色，然后將閾值分割后的邊緣及缺陷圖與邊緣膨脹圖像相加，最終得到柑橘缺陷部分的圖像（圖3-h）。

3.3 缺陷與果梗的區分及缺陷果的判定

由于柑橘本身的果梗顏色較暗，其形態與缺陷部分相似，在缺陷提取的過程中，往往容易造成誤判，將果梗識別為缺陷，從而影響識別率，因此需要將果梗面積剔除，排除果梗對缺陷面積的影響。在RGB與HSV顏色模型下，利用各個分量參數來區分果梗與缺陷都不能達到很好的效果，而采用分量組合計算較為復雜，影響實時性。柑橘的缺陷大多數是不規則形狀，而自身的果梗基本上近似于圓形，考慮到這一點，本研究采用檢測輪廓圓形度的方法來去除果梗面積以排除果梗對缺陷識別的干擾。

3 結果與分析

采集到的原始圖像經過計算機圖像處理與分析后，得到每個水果的檢測結果，若P<0.031，則認為是完好果;若P>0.031，則認為是缺陷果，應將其剔除。通過試驗，得到的缺陷分類準確率如表1所示。結果表明，對于正常果的檢測準確率為100%，對于缺陷果的檢測準確率為92%。試驗中產生的幾個誤判的柑橘主要原因有：個別柑橘表面的某些缺陷形狀近似圓形，圓形度較高的缺陷被當做果梗去除，因此將缺陷果誤判為完好果;柑橘的缺陷部分恰好位于拍攝邊緣，此時缺陷部分可能會被相機重復拍攝或是本身產生幾何畸變，導致檢測的面積結果與實際面積結果相差較大，導致誤判。系統檢測缺陷結果基本穩定，能夠保證較高的準確率。

4 結論

本研究在VS2013環境下利用開源計算機視覺庫OpenCV進行開發，將RGB顏色模型轉換為HSV顏色模型后對柑橘圖像進行背景分割，分割采用OTSU自動化閾值分割，通過分析和試驗驗證，利用V分量圖結合形態學處理的方法能有效地提取柑橘缺陷部分。

運用檢測圓形度的方法來區分柑橘的果梗與缺陷，只涉及1個參量，計算較為簡便，同時區分效果較好;根據缺陷總像素與柑橘總像素的比值來判斷表面完好的柑橘準確率為100%，判斷表面有缺陷的柑橘準確率為92%，該方法具有較高的準確率，能有效地識別柑橘表面的缺陷。

參考文獻：

[1]應義斌，饒秀勤，趙 勻，等. 機器視覺技術在農產品品質自動識別中的應用（Ⅰ）[J]. 農業工程學報，2000，16（1）：103-108.

[2]Leemans V，Magein H，Destain M F. Defects segmentation on ‘Golden Delicious apples by using colour machine vision[J]. Computers and Electronics in Agriculture，1998，20（2）：117-130.

[3]Whitelock D P，Brusewitz G H，Stone M L. Apple shape and rolling orientation[J]. Applied Engineering in Agriculture，2006，22（1）：87-94.

[4]Blasco J，Aleixos N，Molto E. Computer vision detection of peel defects in citrus by means of a region oriented segmentation algorithm[J]. Journal of Food Engineering，2007，81（3）：535-543.

[5]應義斌. 機器視覺技術在黃花梨尺寸和果面缺陷檢測中的應用[J]. 農業工程學報，1999（1）：197.

[6]馮 斌，汪懋華. 計算機視覺技術識別水果缺陷的一種新方法[J]. 中國農業大學學報，2002，7（4）：73-76.

[7]朱偉華，曹其新. 基于模糊彩色聚類方法的西紅柿缺陷分割研究[J]. 農業工程學報，2003，19（3）：133-136.

[8]趙杰文，劉少鵬，鄒小波，等. 基于支持向量機的缺陷紅棗機器視覺識別[J]. 農業機械學報，2008（3）：113-115，147.

[9]劉 靜，黃勇平，章程輝. 視覺系統開發模塊在芒果果面缺陷檢測中的應用[J]. 食品與機械，2009，25（2）：82-85.

[10]李江波，饒秀勤，應義斌. 基于照度-反射模型的臍橙表面缺陷檢測[J]. 農業工程學報，2011，27（7）：338-342.

[11]馮 斌. 計算機視覺信息處理方法與水果分級檢測技術研究[D]. 北京：中國農業大學，2002.

[12]朱 偉，趙春光，歐樂慶，等. OpenCV圖像處理編程實例[M]. 北京：電子工業出版社，2016.

[13]陳兵旗，孫 明. 實用數字圖像處理與分析[M]. 北京：中國農業大學出版社，2007.焦德志，曹 瑞，姜秋旭，等. 石油污染對蘆葦幼苗生長及生理特性的影響[J]. 江蘇農業科學，2019，47（7）：239-242.