基于機(jī)器視覺(jué)的核桃仁分級(jí)方法

蔡　建， 周　軍， 史建新， 王　勇， 郭　政， 劉　航

(1.新疆農(nóng)業(yè)大學(xué)機(jī)械交通學(xué)院，新疆烏魯木齊 830052； 2.新疆維吾爾自治區(qū)農(nóng)牧業(yè)機(jī)械產(chǎn)品質(zhì)量監(jiān)督管理站，新疆烏魯木齊 830000)

核桃仁營(yíng)養(yǎng)豐富，含有大量的磷脂、蛋白質(zhì)和維生素，油脂含量高達(dá)60%以上，具有很高的經(jīng)濟(jì)價(jià)值和營(yíng)養(yǎng)價(jià)值[1]。核桃成熟后由采摘到儲(chǔ)藏，中間一般要經(jīng)過(guò)脫青皮、漂洗、干燥等工序，每道工序都可能影響核桃的質(zhì)量，并且由于其較高的油脂含量，在貯藏期間常發(fā)生霉?fàn)€、蟲(chóng)害和變質(zhì)現(xiàn)象。同時(shí)，由于核桃破殼技術(shù)尚不成熟，核桃運(yùn)用機(jī)械方式(破殼)取仁時(shí)也容易造成核桃仁碎裂。市面上一般鑒別核桃仁的品質(zhì)主要以觀察為主，仁衣色澤以黃白為上，暗黃為次，褐黃更次，而泛油、色黑褐的已嚴(yán)重變質(zhì)，不能食用。LY/T 1992—2010《中華人民共和國(guó)林業(yè)行業(yè)標(biāo)準(zhǔn)》中對(duì)核桃仁的外觀主要是從顏色和完整度上劃分質(zhì)量等級(jí)[2]。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，在產(chǎn)品自動(dòng)檢測(cè)技術(shù)上應(yīng)用機(jī)器視覺(jué)的研究越來(lái)越廣泛。可見(jiàn)光范圍類(lèi)的機(jī)器視覺(jué)可以代替肉眼，并模擬人的大腦完成產(chǎn)品的檢測(cè)分級(jí)。與人工檢測(cè)相比，機(jī)器視覺(jué)檢測(cè)技術(shù)具有效率高、精度高、工作穩(wěn)定等優(yōu)點(diǎn)[3-4]。

近年來(lái)，機(jī)器視覺(jué)在農(nóng)產(chǎn)品檢測(cè)上的發(fā)展十分迅速，極大地促進(jìn)了農(nóng)產(chǎn)品的標(biāo)準(zhǔn)化與商品化。在國(guó)內(nèi)，馮斌利用計(jì)算機(jī)視覺(jué)建立神經(jīng)網(wǎng)絡(luò)模型對(duì)水果大小、形狀、顏色等進(jìn)行分級(jí)，平均正確率達(dá)到95.2%[5]；龐江偉對(duì)臍橙表面缺陷裂果、腐爛、病斑等進(jìn)行特征提取，建立決策樹(shù)模型進(jìn)行分級(jí)，5種缺陷的分類(lèi)準(zhǔn)確率都在80%以上[6]；Yang對(duì)蘋(píng)果的果梗、花萼與缺陷進(jìn)行識(shí)別，建立多層神經(jīng)網(wǎng)絡(luò)模型，識(shí)別準(zhǔn)確率達(dá)95%以上[7]。Bennedsen等對(duì)水果在不同角度采集4幅圖像，并用貝葉斯判別分析方法對(duì)每類(lèi)水果進(jìn)行決策，對(duì)水果大小的檢測(cè)精度達(dá)93%以上[8]。

目前，核桃仁外觀的分級(jí)主要依靠人工目測(cè)法來(lái)實(shí)現(xiàn)，費(fèi)時(shí)費(fèi)力，采用機(jī)器進(jìn)行核桃仁自動(dòng)分級(jí)刻不容緩，本研究通過(guò)機(jī)器視覺(jué)的方法從圖像獲取、圖像處理、圖像分割、特征提取到?jīng)Q策樹(shù)模型的建立，代替人工檢測(cè)對(duì)核桃仁的顏色及完整度進(jìn)行分級(jí)。

1　材料與方法

基于機(jī)器視覺(jué)的自動(dòng)分級(jí)技術(shù)涉及圖像獲取、圖像處理、模式識(shí)別等多方面的內(nèi)容，合適的硬件與綜合性的軟件平臺(tái)是必要的。

硬件上，采用中國(guó)大恒(集團(tuán))有限公司開(kāi)發(fā)的MER-030-120U彩色相機(jī)，其集成了I/O接口，不需要額外使用圖像采集卡，提供了免費(fèi)的軟件開(kāi)發(fā)工具包(software development kit，簡(jiǎn)稱(chēng)SDK)，方便二次開(kāi)發(fā)。光源采用白色發(fā)光二極管(light emitting diode，簡(jiǎn)稱(chēng)LED)條形光源，色溫為 6 600 K，壽命可達(dá)50 000 h以上。

軟件上，作為目前最流行的Windows平臺(tái)應(yīng)用程序的集成開(kāi)發(fā)環(huán)境，Microsoft Visual Studio(簡(jiǎn)稱(chēng)VS)可以幫助開(kāi)發(fā)人員迅速創(chuàng)建先進(jìn)的軟件。在圖像處理方面，開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)OpenCV提供的視覺(jué)處理算法非常豐富，其優(yōu)化的C代碼在圖像的實(shí)時(shí)處理上具有較大優(yōu)勢(shì)。本研究采用VS 2010以及OpenCV 2.4.9完成圖像處理、特征提取、分級(jí)建模等工作。

結(jié)合核桃仁的人工分級(jí)方法，從顏色與完整度上確定本次研究對(duì)核桃仁的等級(jí)劃分(表1)。相機(jī)采集核桃仁圖像分級(jí)流程如圖1所示。

表1　核桃仁等級(jí)劃分情況

2　圖像預(yù)處理與分割

相機(jī)獲取的單幅圖像中存在背景以及核桃仁前景(感興趣的目標(biāo))，須將核桃仁圖像從原圖中分割出來(lái)處理，背景顏色的選擇往往決定分割效果的好壞，通常選擇與分割目標(biāo)顏色差距較大的顏色作為背景。不同等級(jí)核桃仁的顏色范圍較寬，難以直接通過(guò)固定閾值的方法分割圖像，通過(guò)分析不同等級(jí)核桃仁圖片的RGB(red，green，blue) 三通道圖像顏色分布發(fā)現(xiàn)，各等級(jí)核桃仁圖像的B分量值均較小，R分量值較大，所以選取藍(lán)色作為背景色。

中值濾波是一種減少邊緣模糊的非線性平滑方法[9]，采用3×3掩膜的中值濾波可以在濾除噪聲的同時(shí)較好的保護(hù)信號(hào)邊緣。經(jīng)多次試驗(yàn)，對(duì)單幅彩色圖像可以作B通道與R通道的減法獲得單通道圖像來(lái)增加背景與目標(biāo)圖像的差異，有利于圖像固定閾值的分割[10]。

理想狀態(tài)情況下，對(duì)于藍(lán)色背景，每個(gè)像素的藍(lán)色通道值為255，紅色通道值為0；對(duì)于前景，由于各等級(jí)核桃仁圖像R分量大于B分量，則作圖像通道減法有：

圖像經(jīng)通道減法運(yùn)算后可以看到前景與背景達(dá)到較大差異，此時(shí)對(duì)圖像采用固定閾值的二值化可以達(dá)到較好的效果，圖像形態(tài)學(xué)閉運(yùn)算用來(lái)消除純粹由噪聲引起的部分，開(kāi)運(yùn)算用來(lái)連接鄰近的區(qū)域[11]，二者可提高圖像分割的魯棒性。圖片中可能出現(xiàn)位于邊界處不完整的核桃仁輪廓，此時(shí)需要去除邊界處的輪廓。邊界去除后可以得到效果較好的二值圖像，以此為掩膜在原圖中完成背景的去除。最后通過(guò)最小外接矩形的方法將原圖中各個(gè)核桃仁分割成多幅核桃仁圖片進(jìn)行特征提取并分級(jí)。對(duì)分割出來(lái)的僅含單個(gè)核桃仁的圖像，在下面的特征提取中全部采用掩膜處理，即僅處理核桃仁區(qū)域。圖像處理過(guò)程及效果如圖2所示。

3　圖像特征提取

3.1　核桃仁顏色特征提取

相機(jī)拍攝的數(shù)字圖像使用RGB顏色空間表達(dá)，但RGB空間結(jié)構(gòu)并不符合人們對(duì)顏色相似性的主觀判斷，本研究將RGB空間轉(zhuǎn)換為符合人眼對(duì)顏色主觀認(rèn)識(shí)的HSV(hue，saturation，value)顏色空間[12]，即用色調(diào)、飽和度、亮度表示顏色(圖3)，并在HSV顏色空間進(jìn)行顏色特征提取。

給定RGB顏色空間的值(r，g，b)，其中r，g，b∈[0，255]，設(shè)m=max(r，g，b)，n=min(r，g，b)，其轉(zhuǎn)換到HSV空間的h、s、v值算法為：

v=m/255；

if(h<0)h=h+360。

這里h∈[0，360]，s∈[0，1]，v∈[0，1]

OpenCV中使用顏色空間轉(zhuǎn)換函數(shù)cvtColor()可以實(shí)現(xiàn)RGB到HSV的轉(zhuǎn)換。圖像顏色特征提取主要有顏色直方圖、顏色矩、顏色集等方法。顏色直方圖描述不同色彩在圖像中所占的比例，具有圖像縮放不變性、旋轉(zhuǎn)不變性等優(yōu)點(diǎn)。顏色的低階矩能夠表達(dá)圖像的顏色分布。

由圖3可知，色調(diào)分布在0°～360°的圓上。將色調(diào)等間隔量化為180等份，分別取淡黃色仁、淡琥珀色仁以及深色仁各10個(gè)，作色調(diào)直方圖。由圖4可以看出，各等級(jí)核桃仁的色調(diào)主要分布在0～30范圍內(nèi)，即紅色到黃色(0°～60°)的范圍，本研究首先提取0～30共31個(gè)色調(diào)頻率作為色調(diào)特征，然后分別計(jì)算飽和度和明度的一、二階矩，作為圖像的飽和度與明度特征， 組成與顏色有關(guān)的35個(gè)特征，通過(guò)OpenCV決策樹(shù)建模并計(jì)算特征的重要性，選取重要的顏色特征用于決策樹(shù)分級(jí)模型的建立。圖像顏色直方圖使用函數(shù)calcHist()計(jì)算，飽和度與明度一、二階矩使用函數(shù)meanStdDev()計(jì)算。

3.2　核桃仁形狀特征提取

通過(guò)分析不同完整度核桃仁的特點(diǎn)，可以選取2個(gè)特征表征核桃仁完整度的差異，分別是核桃仁輪廓面積與其最小外接圓面積的比值以及輪廓最小外接矩形長(zhǎng)寬比。

由圖5可知，核桃仁輪廓最小外接矩形長(zhǎng)寬比為：

K1=w/l。

其中，輪廓最小外接矩形由OpenCV中minAreaRec()函數(shù)求得。核桃仁輪廓面積與其最小外接圓輪廓面積之比為：

K2=S/(πr2)。

其中，核桃仁輪廓面積(S)由輪廓面積函數(shù)contoursArea()計(jì)算，最小外接圓由函數(shù)minEnclosingCircle()求得。

分別對(duì)10個(gè)四分仁和二分仁的這2種形狀特征的K1、K2作散點(diǎn)圖。由圖6和圖7可以看出，這2個(gè)特征值可以比較容易的區(qū)分這2種不同的完整度。

4　模型訓(xùn)練與分級(jí)

OpenCV決策樹(shù)使用分類(lèi)回歸樹(shù)(classification and regression tree，簡(jiǎn)稱(chēng)CART)算法實(shí)現(xiàn)是一種二分遞歸分割技術(shù)，生成的決策樹(shù)是結(jié)構(gòu)簡(jiǎn)潔的二叉樹(shù)。CART算法采用基尼不純度(GiNi impurity)來(lái)構(gòu)建決策樹(shù)，基尼不純度表示一個(gè)隨機(jī)選中的樣本在子集中被錯(cuò)分的可能性，一個(gè)樹(shù)節(jié)點(diǎn)的基尼不純度定義為：

式中：C表示樣本總類(lèi)別；Pi表示屬于第i類(lèi)的概率。決策樹(shù)搜尋整個(gè)特征向量，計(jì)算樣本中每個(gè)特征各個(gè)取值(連續(xù)型特征為取值范圍)的基尼不純度，找到使基尼不純度最小特征的取值或取值范圍作為非葉節(jié)點(diǎn)的分裂標(biāo)準(zhǔn)，此過(guò)程在子節(jié)點(diǎn)上重復(fù)進(jìn)行，直到不可再分成為葉節(jié)點(diǎn)為止，從而構(gòu)建決策樹(shù)。

用以上提取的35個(gè)顏色特征與2個(gè)形狀特征組成的37維特征向量作為輸入量，使用OpenCV決策樹(shù)類(lèi)CvDtree建立決策樹(shù)模型來(lái)預(yù)測(cè)未知樣本。建立決策樹(shù)模型的步驟如下：

(1)取白頭路、白二路、淺頭路、淺二路及深色仁(等外)各50個(gè)樣本，共計(jì)250個(gè)樣本，對(duì)每個(gè)樣本提取以上37個(gè)特征組成特征向量，組成250行37列特征數(shù)據(jù)的矩陣。

(2)人工分級(jí)并賦予數(shù)字表示，組成250行1列的標(biāo)簽數(shù)據(jù)矩陣(與特征數(shù)據(jù)一一對(duì)應(yīng))。

(3)設(shè)置OpenCV決策樹(shù)參數(shù)，通過(guò)類(lèi)CvDTreeParams的初始化決策樹(shù)參數(shù)，設(shè)置決策樹(shù)最大深度為4，樹(shù)節(jié)點(diǎn)持續(xù)分裂的最小樣本數(shù)量為4，可能取值的聚類(lèi)上限為15，并設(shè)置獲取變量重要性與剪枝(防止過(guò)擬合)。

(4)將特征數(shù)據(jù)矩陣與標(biāo)簽數(shù)據(jù)矩陣作為決策樹(shù)類(lèi)的訓(xùn)練函CvDtree：：train()的輸入?yún)?shù)訓(xùn)練模型。

(5)使用CvDtree：：getVarImportance()函數(shù)計(jì)算特征的重要性，去除重要性較小或?yàn)?的特征，留下重要性較高的3個(gè)特征：4(6°～7°)和16(30°～31°)等2個(gè)色調(diào)區(qū)間的像素頻率以及輪廓面積與其最小外接圓輪廓面積之比，用留下的3個(gè)特征重新訓(xùn)練模型并保存到本地。

模型建立后，每個(gè)等級(jí)分別取30個(gè)樣本，調(diào)用預(yù)測(cè)函數(shù)CvDtree：：predict()->value進(jìn)行等級(jí)預(yù)測(cè)，與人工分級(jí)結(jié)果進(jìn)行對(duì)比，測(cè)試模型自動(dòng)分級(jí)的正確率。預(yù)測(cè)效果如表2所示。

表2　決策樹(shù)模型自動(dòng)分級(jí)與人工分級(jí)對(duì)照

5　結(jié)論

從核桃仁圖像自動(dòng)分割效果來(lái)看，將含多個(gè)核桃仁的圖像分割為單幅核桃仁圖像算法簡(jiǎn)單、效果較好，可應(yīng)用于核桃仁動(dòng)態(tài)分級(jí)檢測(cè)中。

從模型計(jì)算的特征重要性來(lái)看，影響顏色等級(jí)的特征主要是色調(diào)范圍為4(6°～7°)和16(30°～31°)區(qū)間像素對(duì)應(yīng)的色調(diào)頻率，其飽和度與明度對(duì)分級(jí)影響較小。

采用OpenCV決策樹(shù)類(lèi)建立決策樹(shù)模型并用于核桃仁的自動(dòng)分級(jí)，5個(gè)等級(jí)總的正確率為92.00%，分級(jí)效果較好，可用于核桃仁在線檢測(cè)分級(jí)中。

參考文獻(xiàn)：

[1]馬文強(qiáng)，張漫，李忠新. 基于近紅外光譜的核桃仁品種快速分類(lèi)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(增刊1)：128-133.

[2]中華人民共和國(guó)林業(yè)行業(yè)標(biāo)準(zhǔn)：LY/T1992—2010[S]. 北京：中國(guó)標(biāo)準(zhǔn)出版社.

[3]黎萍，朱軍燕，劉燕德，等. 機(jī)器視覺(jué)在農(nóng)產(chǎn)品檢測(cè)與分級(jí)中的應(yīng)用與展望[J]. 江西農(nóng)業(yè)大學(xué)學(xué)報(bào)，2005，27(5)：796-800.

[4]童釗，廖桂平，李錦衛(wèi)，等. 機(jī)器視覺(jué)技術(shù)在農(nóng)產(chǎn)品檢測(cè)中的應(yīng)用研究[J]. 農(nóng)業(yè)網(wǎng)絡(luò)信息，2008(11)：18-21.

[5]馮斌. 計(jì)算機(jī)視覺(jué)信息處理方法與水果分級(jí)檢測(cè)技術(shù)研究[D]. 北京：中國(guó)農(nóng)業(yè)大學(xué)，2002.

[6]龐江偉. 基于計(jì)算機(jī)視覺(jué)的臍橙表面常見(jiàn)缺陷種類(lèi)識(shí)別的研究[D]. 杭州：浙江大學(xué)，2006.

[7]Yang T. Method and apparatus for sorting objects by color including stable color transformation：5533628[P]. United States，1996.

[8]Bennedsen B S，Peterson D L. Indentification of apple stem and calyx using unsupervised feature extraction[J]. Transactions of the ASAE， 2004，47(3)：889-894

[9]Sonka M， Hlavac V，Boyle R.圖像處理、分析與機(jī)器視覺(jué)[M]. 3版. 北京：清華大學(xué)出版社，2011.

[10]Bradski G， Kaehler A. 學(xué)習(xí)OpenCV (中文版)[M]. 北京：清華大學(xué)出版社，2009.

[11]余文勇，石繪. 機(jī)器視覺(jué)自動(dòng)檢測(cè)技術(shù)[M]. 北京：化學(xué)工業(yè)出版社，2013.

[12]鞏艷華，朱愛(ài)紅，代凌云. 基于顏色直方圖的顏色特征提取[J]. 福建電腦，2007(5)：96-97.