基于Blob分析的紅棗表面缺陷在線檢測技術

海 潮 趙鳳霞 - 孫 爍

(鄭州大學機械工程學院，河南 鄭州 450001)

紅棗作為中國獨特的經(jīng)濟作物，具有很高的營養(yǎng)價值和藥用價值，受到廣大民眾的青睞。但一些自然因素會導致紅棗產(chǎn)生霉變、蟲蛀、破頭、裂痕等表皮缺陷，這些缺陷會直接導致紅棗的品質和等級降低，為了達到上市要求，必須把它們從正常紅棗中篩選出來，表面缺陷檢測是紅棗深精加工過程中的一個重要環(huán)節(jié)。目前紅棗表面缺陷檢測主要是靠人工，這種作業(yè)方式勞動強度大、分選效率低，分選質量受主觀因素影響比較大，難以實現(xiàn)標準化，嚴重影響分選的準確性，同時工人與棗果直接接觸，不符合食品加工生產(chǎn)衛(wèi)生要求。因此，尋找智能、快速的紅棗檢測分選技術十分迫切。

機器視覺是代替人眼視覺的以相機、計算機、處理軟件等為基礎的高效識別系統(tǒng)，具有無損檢測、判斷精度高、安全等優(yōu)點，目前利用機器視覺技術對農(nóng)產(chǎn)品品質分選檢測已經(jīng)是一種主流技術手段。國外自20世紀70年代起就將機器視覺技術應用于農(nóng)產(chǎn)品品質的研究，并將部分成果產(chǎn)業(yè)化。其中美國AUTOLINE公司、法國MAF RODA公司和新西蘭COMPAC公司是機器視覺果品分級設備研制的主力軍，研究對象主要是一些流通性好、普及性高的水果，如蘋果、柑橘、獼猴桃等。由于紅棗與其它水果的物料特性差異，這些設備不能直接應用于紅棗的自動化檢測中，因此國內外學者針對紅棗品質檢測進行了一系列的研究。如李運志等[1]提出了一種以機器視覺為基礎的缺陷識別方法，依據(jù)半干棗在病害和非病害區(qū)域色調值差異提取病害區(qū)域,用提取的病害區(qū)域與棗表面積的比作為閾值來確定識別精度，以識別病害和裂痕棗；馬學武等[2]利用機器視覺技術獲取紅棗圖像，然后對圖像進行處理后輸出檢測分級信號，信號傳遞給光電開關定位后控制步進電機的啟停,最后實現(xiàn)大棗無損分級；李景彬等[3]利用MATLAB軟件編程實現(xiàn)了樣本圖像的灰度化、二值化、圖像分割、圖像濾波、圖像形態(tài)學處理、邊緣檢測和特征量提取等處理來實現(xiàn)紅棗的分級；張萌等[4]針對紅棗表面灰度不均勻問題提出一種表面灰度快速補償方法，解決了表面缺陷難以快速定位的問題，顯著地增強了果面缺陷特征，提高了紅棗缺陷檢測的準確率；Wu等[5]通過使用高光譜成像技術獲取反射圖像，以識別棗果實的常見缺陷如淤傷，昆蟲感染和裂紋；Lee等[6]基于紅外成像對自然干燥或烘干的椰棗的大小和外觀進行了研究，開發(fā)了一套椰棗在線檢測機器視覺系統(tǒng)；Wang等[7]采用在400～720 nm光譜區(qū)域內的高光譜反射率成像方法檢測鮮棗果實的外部損傷和昆蟲缺陷。

本試驗搭建了基于機器視覺的紅棗表面缺陷在線檢測平臺，實現(xiàn)了紅棗全表面信息的呈現(xiàn)；基于顏色空間模型將紅棗R、G、B圖像轉換到HSV顏色空間，進行紅棗與背景的分割；最后基于Blob分析技術進行了紅棗典型表面缺陷的識別。

1 紅棗表面缺陷檢測系統(tǒng)

圖1為基于機器視覺設計的紅棗表面缺陷自動檢測系統(tǒng)。該檢測系統(tǒng)整體是由上料機構、傳送裝置、圖像采集裝置、圖像處理系統(tǒng)、控制系統(tǒng)和分選系統(tǒng)等組成。其中，上料機構將紅棗從無序散亂喂入狀態(tài)變成單一喂入狀態(tài)，且紅棗能夠有序導入傳送裝置的輥子陣列。傳送裝置由同時具有自轉和公轉運動的陣列轉動輥組成，實現(xiàn)紅棗多通道向前輸送和自動翻轉，達到紅棗在向前輸送的同時，各表面都能呈現(xiàn)在相機的采集范圍內，通過相機的多次圖像采集，獲得紅棗的全表面信息。圖像采集裝置由MER-503-20GC-P工業(yè)相機、日本Computar公司的M0814-MP2型號的鏡頭、LED環(huán)形光源等組成。為了避免來自其他光源的散射效應，圖像采集裝置放置在由不銹鋼板材組成的暗箱中，光照采用正面明場漫反射的方式，布置在箱體四周略低于相機鏡頭。控制系統(tǒng)實現(xiàn)當每個紅棗樣本被傳送至相機采集范圍內時觸發(fā)相機進行拍照，處理過程在由圖像處理系統(tǒng)中進行，處理結果引導分選系統(tǒng)作出反應，最后實現(xiàn)各類紅棗的分選。

1. 上料機構 2. 傳送裝置 3. 圖像處理系統(tǒng) 4. 圖像采集裝置5. 控制系統(tǒng) 6. 相機 7. 光源圖1 紅棗缺陷檢測系統(tǒng)Figure 1 Jujube defect detection system

2 紅棗表面缺陷檢測技術

2.1 圖像獲取

采用觸發(fā)抓拍來獲取紅棗圖像。調節(jié)光圈大小為1.4，快門速度設定為1/8 s。在圖像采集區(qū)域內安裝紅棗運動檢測傳感器，當紅棗到達預定的位置時，傳感器檢測到并向相機發(fā)出觸發(fā)信號，抓取圖像進而作下一步的處理。圖2是在線采集到的紅棗圖像，原圖像像素大小為2 448×2 048。

圖2 在線采集的紅棗圖像Figure 2 Online collection of jujube images

2.2 背景去除

獲取圖像后，在進行表面缺陷識別之前，需要去掉背景，把紅棗從其輸送裝置背景中分離出來。本試驗采用Blob分析方法進行背景去除。Blob分析流程見圖3。

圖3 Blob分析流程Figure 3 Blob analysis process

2.2.1 顏色空間轉換 由于紅棗顏色與輸送裝置的顏色處于不同色調范圍，因此可以利用顏色空間進行前景目標的提取。當前常用的顏色空間模型有RGB顏色空間、HSV顏色空間、YIQ顏色空間等。相機采集的圖像即為RGB模型。HSV顏色空間中，H表示色調、S表示飽和度、V表示明度；其中H分量以角度為度量單位，范圍0°～360°。飽和度S和明度V取值范圍均為0～255。紅棗的顏色一般為褐色、紫紅色等，色調大約在0°～20°。因此，可將圖像的RGB模型轉換到HSV顏色空間中，通過設定紅棗色調閾值，進行背景與紅棗的分割。

H、S、V分量可以用式(1)從圖像的R、G、B三通道中計算得到：

(1)

2.2.2 圖像分割 在HSV顏色空間分別對H分量和S分量的圖像進行處理。

目前最為常用的方法是基于閾值的分割方法，包括全局閾值法和局部閾值法2種。本試驗采用全局閾值法對H分量和S分量分別進行閾值分割，然后對H、S分量的分割結果進行運算，即將圖像分割為目標像素(Blob區(qū)域，紅棗區(qū)域)和背景像素，見圖4。

2.2.3 形態(tài)學處理 由于在進行區(qū)域分割時紅棗的表面缺陷可能造成一個棗被分割形成多個不連續(xù)的區(qū)域，為了避免后續(xù)發(fā)生計算錯誤，去除分割區(qū)域內的雜點和干擾，形態(tài)學處理這一環(huán)節(jié)顯得十分重要。為去除紅棗區(qū)域周圍不必要的干擾，首先用圓形結構元素S1對分割后的圖像I進行開運算獲得圖像I1，其定義見式(2)；然后對圖像I1用圓形結構元素S2進行閉運算，將一個紅棗區(qū)域中斷開的縫隙閉合，以保證紅棗目標區(qū)域的完整性，定義見式(3)。

圖4 圖2的圖像分割結果Figure 4 The image segmentation results in Fig. 2

I1=I°S1=(IΘS1)⊕S1，

(2)

I2=I·S2=(I⊕S2)ΘS2，

(3)

式中：

°——開運算；

·——閉運算；

Θ——腐蝕運算；

⊕——膨脹運算。

2.2.4 連通域分析 在進行閾值分割后，得到由目標像素和背景像素構成的圖像，因為要對目標像素進行提取，所以需要進行連通性分析以得到目標像素連接體。本試驗采用8鄰域標記算法掃描圖像進行連通域分析。連通域分析后，得到每個紅棗的Blob區(qū)域。

2.2.5 特征提取 得到Blob區(qū)域后，根據(jù)紅棗區(qū)域的面積特征，進行特征提取，由此得到去除背景的紅棗區(qū)域圖像。圖5為特征提取得到的去除背景的紅棗二值化圖像。

圖5 圖2去除背景的紅棗二值化圖像Figure 5 The jujubes binarized image without background of Fig. 2

2.3 缺陷識別

缺陷識別也就是對缺陷的有效分割，根據(jù)GB/T 12947—2009規(guī)定，常見的缺陷類型有霉變果、破頭果、漿頭果、蟲蛀果等。破頭果是指果皮出現(xiàn)破口，破口不變色無霉變。霉變果的果實表面留有明顯發(fā)霉痕跡，暴露的果肉部分發(fā)黑變質。漿頭果是由于未達到適當干燥導致兩頭或局部含水率高，果顏色呈現(xiàn)灰暗色澤。蟲蛀果的果肉受害蟲危害，傷及果肉。因此，可以根據(jù)缺陷的顏色不同，將霉變果、破頭果、漿頭果、蟲蛀果等缺陷果分為兩類，即破頭果是果肉暴露的一類，缺陷部分顏色呈現(xiàn)為淡黃色；霉變果、蟲蛀果和漿頭果是變色變質的一類，缺陷部分顏色呈現(xiàn)為暗色。根據(jù)這一特征，同樣可采用Blob分析方法進行缺陷識別。

2.3.1 顏色空間轉換 選擇要檢測的目標紅棗，首先要進行顏色空間的轉換，將圖像轉換到最適合處理的空間。

在HSV顏色空間模型中，當V=0時，顏色為黑色，這與霉變果、蟲蛀果和漿頭果的缺陷顏色相近。因此，本試驗采用HSV顏色空間的V分量進行霉變果、蟲蛀果和漿頭果的缺陷識別。由圖6可以看出，在V分量中，變色變質缺陷棗與正常棗具有明顯不同的灰度特征。

圖6 圖2的V分量圖像Figure 6 The V component image of Fig. 2

由式(4)從R、G、B通道中計算得到Y、I、Q分量。根據(jù)這一特征，采用YIQ顏色空間的Q分量進行破頭缺陷識別，由圖7可以看出，在Q分量中，破頭果缺陷特征被凸顯出來。

(4)

圖7 圖2的Q分量圖像Figure 7 The Q component image of Fig. 2

2.3.2 缺陷特征識別 對圖像進行顏色空間轉換后，可以依據(jù)缺陷棗區(qū)域的灰度變化范圍與正常棗的灰度變化范圍的差異，采用固定閾值法進行圖像閾值分割。由圖8可以看出，最大的分割閾值應小于80，分割閾值應選擇在120左右。

閾值分割后，對每個棗區(qū)域進行連通性分析，如果棗表面有缺陷，便得到具有一定面積大小的Blob區(qū)域，然后根據(jù)設定的面積閾值進行缺陷特征識別。圖9是圖2的缺陷識別結果。

3 實驗驗證

為了驗證本試驗所述方法的普適性，采用本試驗所搭建的機器視覺檢測平臺對多個新鄭灰棗樣品進行了實驗驗證。選取400個紅棗，其中包括200個正常棗，60個破頭類缺陷棗，霉變和蟲蛀類缺陷棗80個，裂紋類缺陷棗60個，檢測出破頭果59個，正確率98.3%；霉變蟲蛀果74個，正確率92.5%；裂紋果55個，正確率91.6%。由于破頭果具有較明顯的缺陷特征，所以檢測準確度較高；部分霉變蟲蛀果缺陷部分顏色特征不突出，光照雖然照射均勻但還是會產(chǎn)生一小部分陰影，導致一定程度誤判；裂紋果的判定標準也相對模糊，稍微放寬了這類的檢測要求，只針對特別明顯的裂紋進行篩選。結果表明：基于顏色空間轉換和Blob分析方法可以滿足對各類紅棗表面缺陷的檢測，準確率在90%以上。圖10 是幾種典型紅棗樣品的檢測結果。

圖8 圖6、7的灰度直方圖Figure 8 Histogram of Fig. 6 and Fig. 7

圖9 圖2的缺陷識別結果Figure 9 Detecting results of Fig. 2

4 結論

本試驗搭建了一個基于機器視覺的紅棗表面缺陷在線檢測平臺，該平臺的傳輸裝置是由能自轉和公轉紅棗仿形輥子陣列組成，保證了紅棗全表面信息的呈現(xiàn)，平臺的傳輸裝置、機器視覺系統(tǒng)、控制系統(tǒng)協(xié)調工作，實現(xiàn)了紅棗全表面信息的自動化在線實時測量。根據(jù)紅棗及其表面缺陷的特征，提出了采用顏色空間模型和Blob分析方法進行紅棗與背景的分離，并進行了紅棗表面缺陷的識別；所采用的方法可以準確快速地識別出破頭果、霉變果、漿頭果、蟲蛀果等典型的缺陷紅棗。通過大量的實驗驗證，檢測結果穩(wěn)健可靠，準確率可達到90%以上。本試驗的研究增強了紅棗采后的深加工能力，加快了紅棗的智能化、產(chǎn)業(yè)化發(fā)展。

圖10 紅棗樣品及其檢測結果Figure 10 Jujube samples and detecting results

[1] 李運志, QIANG Zhang, 陳弘毅, 等. 基于機器視覺的半干棗病害和裂紋識別研究[J]. 農(nóng)機化研究, 2016, 38(8): 120-125.

[2] 馬學武, 何建國. 基于機器視覺紅棗無損自動分級設備的研制[J]. 寧夏工程技術, 2008(3): 213-215, 220.

[3] 李景彬, 鄧向武, 坎雜, 等. 基于機器視覺的干制紅棗大小分級方法研究[J]. 農(nóng)機化研究, 2014, 36(2): 55-59.

[4] 張萌, 許敏. 紅棗表面缺陷快速檢測方法研究[J]. 江蘇農(nóng)業(yè)科學, 2015, 43(7): 331-334.

[5] WU Long-guo, HE Jian-guo, LIU Gui-shan, et al. Detection of common defects on jujube using Vis-NIR and NIR hyperspectral imaging[J]. Postharvest Biology and Technology, 2016, 112: 134-142.

[6] LEE Dah-jye, SCHOENBERGER R, ARCHIBALD J, et al. Development of a machine vision system for automatic date grading using digital reflective near-infrared imaging[J]. Journal of Food Engineering, 2008, 86: 388-398.

[7] WANG J, NAKANO K, OHASHI S, et al. Detection of external insect infestations in jujube fruit using hyperspectral reflectance imaging[J]. Biosystems Engineering, 2011, 108: 345-351.