基于計(jì)算機(jī)視覺核桃質(zhì)量預(yù)測方法的研究

李成吉，張淑娟，孫海霞，陳彩虹，邢書海，趙旭婷

（山西農(nóng)業(yè)大學(xué)工學(xué)院，山西晉中 030801）

我國是核桃原產(chǎn)地之一，已有3 000多年的栽培歷史[1]。核桃食用價(jià)值高，具有良好的健腦效果和豐富的營養(yǎng)價(jià)值，隨著社會的發(fā)展和消費(fèi)者健康意識的提高，對核桃的需求越來越大，也給核桃產(chǎn)業(yè)帶來巨大的經(jīng)濟(jì)效益。在核桃分級過程中，確定核桃質(zhì)量是一個(gè)必要的過程。傳統(tǒng)獲得物體質(zhì)量一般是使用物理器械，如天平、電子秤和適用于工業(yè)化的質(zhì)量傳感器。隨著信息電子技術(shù)的發(fā)展，自動、智能化逐步代替人工，以實(shí)現(xiàn)農(nóng)產(chǎn)品檢測和分級一體化，傳統(tǒng)稱重方法很難滿足要求，這就需要研究相應(yīng)的技術(shù)手段。

計(jì)算機(jī)視覺技術(shù)是一種無損檢測方法[2]，20世紀(jì)70年代末就已經(jīng)出現(xiàn)。就計(jì)算機(jī)視覺系統(tǒng)的價(jià)值看，其能夠有效模仿和參照人的視覺功能，并且對物體的三維立體化狀況形成合理化感知，并且發(fā)揮人腦的價(jià)值功能[3]。機(jī)器視覺技術(shù)最大的特點(diǎn)是速度快、信息量大、功能多，目前計(jì)算機(jī)視覺技術(shù)廣泛運(yùn)用于農(nóng)產(chǎn)品檢測中。Szczypiński等人[4]通過計(jì)算機(jī)視覺技術(shù)提取不同品種大麥圖像的形狀、顏色、紋理特征進(jìn)行品種判別，精度達(dá)86%。Rong D等人[5]等通過計(jì)算機(jī)視覺技術(shù)采用一種滑動比較窗口局部分割算法對橙子表面缺陷進(jìn)行檢測，判別準(zhǔn)確率達(dá)97%。李曉斌等人[6]用κ-means圖像法和主成分分析法監(jiān)測生菜生長態(tài)勢，單株生菜模型的顯著性檢驗(yàn)概率均小于0.000 1，除第4株生菜外，其余模型的決定系數(shù)均大于0.80；群體生菜模型顯著性檢驗(yàn)概率均小于0.000 1，且決定系數(shù)均大于0.89。潘磊慶等人[7]為檢測稻谷的霉變程度，提取不同霉變程度和霉變類型樣本的68個(gè)圖像特征，優(yōu)選特征并構(gòu)建模型。試驗(yàn)表明，使用連續(xù)投影算法（SPA）優(yōu)選特征和支持向量機(jī)（SVM）構(gòu)建模型能較好地對稻谷霉變進(jìn)行識別和區(qū)分。

針對體重預(yù)測問題，計(jì)算機(jī)視覺技術(shù)多應(yīng)用于水產(chǎn)領(lǐng)域。唐楊捷等人[8]基于計(jì)算機(jī)視覺技術(shù)和GA-SVM對梭子蟹體重進(jìn)行預(yù)測。結(jié)果表明，梭子蟹體重預(yù)測值與實(shí)測值平均絕對百分比誤差（MAPE）為2.23%，均方根誤差（RMSE）為5.80 g，優(yōu)于BP神經(jīng)網(wǎng)絡(luò)和參數(shù)未優(yōu)化的SVM預(yù)測。劉偉等人[9]采用切片得到白鰱體長方向質(zhì)量分布模型，利用機(jī)器視覺技術(shù)預(yù)測白鰱質(zhì)量。結(jié)果表明，預(yù)測相對誤差均值為6.04%。張超等人[10]采用計(jì)算機(jī)視覺技術(shù)提取梭子蟹面積參數(shù)，利用最小二乘法對面積和質(zhì)量進(jìn)行擬合。結(jié)果表明，二次多項(xiàng)式相關(guān)性可達(dá)0.922 0。

綜上，計(jì)算機(jī)視覺技術(shù)已廣泛應(yīng)用于農(nóng)產(chǎn)品的檢測及分級當(dāng)中，關(guān)于核桃質(zhì)量預(yù)測方面鮮有報(bào)道。研究基于計(jì)算機(jī)視覺技術(shù)對核桃投影面積與質(zhì)量建立預(yù)測模型，為實(shí)現(xiàn)核桃產(chǎn)業(yè)自動化、智能化提供技術(shù)基礎(chǔ)。

1 材料和方法

1.1 試驗(yàn)材料

山西為核桃種植大省，試驗(yàn)所用樣本為“禮品2號”核桃，購于山西省太谷縣農(nóng)貿(mào)市場，使用核桃去空殼裝置去除空癟核桃樣本，人工挑選質(zhì)地均勻、無破損樣本123個(gè)，并使用電子天平稱質(zhì)量（精度為0.01 g）。利用Kennard-Stone算法將樣本按3∶1分成校正集和預(yù)測集，其中校正集92個(gè)，質(zhì)量在6.51～25.23 g，預(yù)測集31個(gè)，質(zhì)量在9.44～18.51 g，校正集質(zhì)量范圍包含預(yù)測集質(zhì)量范圍，建模樣本有很好代表性。

1.2 圖像采集系統(tǒng)及數(shù)據(jù)處理工具

搭建圖像采集系統(tǒng)，由暗箱、相機(jī)、環(huán)形熒光燈、載物板組成。

圖像采集系統(tǒng)見圖1。

圖1 圖像采集系統(tǒng)

暗箱（長×寬×高為440 mm×335 mm×425 mm）內(nèi)刷成黑色，外部用黑布遮蓋，防止外界光線干擾，頂部有一個(gè)圓形口（直徑為80 mm）用于放置相機(jī)（FRD-AL00）和鏡頭（傳感器：索尼IMX286，BSI CMOS；光圈：f/2.2），暗箱內(nèi)上方安置三基色環(huán)形光源（北京松下照明有限公司，YH327200KE），底部設(shè)有高度可調(diào)載物臺，用于放置樣本。

將樣本做好標(biāo)簽放置在載物臺上，然后調(diào)整載物臺高度（210 mm）、光源和相機(jī)，使達(dá)到理想的成像效果，依次采集圖像。每次采集3幅圖像，選取其中成像質(zhì)量最好的樣本圖像。使用計(jì)算機(jī)內(nèi)置圖像采集卡（恒大公司，DH-CG300）將采集好的樣本圖像存儲于計(jì)算機(jī)（1.7 GHz CPU，512 MB內(nèi)存，50 GB硬盤） 中，使用 Matlab R2012a（The MathWorks，Natick，USA）對圖像進(jìn)行預(yù)處理、形態(tài)學(xué)分割，提取面積特征值。最后使用Matlab R2012a及SAS（SAS INSTITUTE INC，USA） 建立LS-SVM質(zhì)量預(yù)測模型和多項(xiàng)式回歸質(zhì)量預(yù)測模型。

2 結(jié)果與分析

2.1 圖像預(yù)處理

預(yù)處理是為了去除或抑制圖像中噪聲，以達(dá)到凸顯特征信息的目的[11]。通過試驗(yàn)對比，采用3×3模板中值濾波和四領(lǐng)域銳化處理，以消除噪聲影響，增強(qiáng)細(xì)節(jié)表現(xiàn)力。

圖像預(yù)處理見圖2。

圖2 圖像預(yù)處理

2.2 樣本投影面積獲取

經(jīng)過大量研究表明，在物體的形態(tài)特征中，投影面積與其質(zhì)量的相關(guān)性最高[12-13]。在提取圖像中樣本投影面積時(shí)，需要將樣本與背景分割開，最大類間方差法（Ostu）[14-15]是比較常用的閾值分割方法，但是有些核桃樣本外殼布有黑斑（主要是殘留青皮或單寧氧化、病蟲害造成），這與黑色背景極為相似，在分割過程中將黑斑部分也分割出去，造成投影面積減小。

黑斑核桃Ostu閾值分割效果見圖3。

采用形態(tài)學(xué)和邏輯學(xué)運(yùn)算獲取樣本投影面積，在Matlab中先將樣本RGB圖像轉(zhuǎn)換為灰度圖像并進(jìn)行二值化，然后分別進(jìn)行膨脹和腐蝕運(yùn)算，將膨脹和腐蝕后的圖像相減得到樣本邊緣圖像，依次使用“Imclearborder”“Bwareaopen”“Imfill”算法清除離散孤立點(diǎn)并進(jìn)行填充，正常與黑斑核桃均可得到完好的投影形狀。

形態(tài)學(xué)邏輯算法分割效果見圖4。

圖3 黑斑核桃Ostu閾值分割效果

圖4 形態(tài)學(xué)邏輯算法分割效果

在Matlab中使用“Bwarea”算法計(jì)算樣本投影像素點(diǎn)數(shù)目，為轉(zhuǎn)換成真實(shí)面積，需進(jìn)行圖像標(biāo)定[16]。以25 mm標(biāo)準(zhǔn)直徑的一元硬幣為參照物，采用相同拍攝條件采集圖像。

標(biāo)定物見圖5。

圖5 標(biāo)定物

根據(jù)標(biāo)定物實(shí)際面積和計(jì)算的像素點(diǎn)數(shù)目，可計(jì)算得樣本的實(shí)際面積，計(jì)算公式如公式（1）所示。

式中：S1——樣本實(shí)際面積；

S2——樣本像素點(diǎn)數(shù)目；

N1——標(biāo)定物實(shí)際面積；

N2——標(biāo)定物像素點(diǎn)數(shù)目。

2.3 核桃質(zhì)量預(yù)測模型建立

2.3.1 LS-SVM質(zhì)量預(yù)測模型的建立

最小二乘支持向量機(jī)（LS-SVM）[17-18]是一種改進(jìn)優(yōu)化版的支持向量機(jī)（SVM）算法，不僅有更好的泛化能力，還能減少訓(xùn)練時(shí)間、簡化訓(xùn)練復(fù)雜度。研究將校正集通過計(jì)算的投影面積作為輸入，質(zhì)量作為輸出，建立質(zhì)量預(yù)測模型。然后對預(yù)測集進(jìn)行質(zhì)量預(yù)測。

LS-SVM模型預(yù)測結(jié)果見圖6。

圖6 LS-SVM模型預(yù)測結(jié)果

模型正則化參數(shù) γ=1 747.007 9，核寬帶 σ2=1.054 2，相關(guān)系數(shù)R=0.897 4。經(jīng)過結(jié)果分析，最大絕對誤差為2.9 g，最小絕對誤差為0.012 g，相對誤差均值為6.5%。

2.3.2 多項(xiàng)式回歸方程建立

回歸分析（Eegression analysis）是確定2種或2種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法，只有一個(gè)自變量，因此在SAS軟件中建立一元多項(xiàng)式回歸方程，并進(jìn)行分析。經(jīng)過多次試驗(yàn)，二次多項(xiàng)式擬合效果最好，回歸方程如公式（2）所示。

Y=-1.47×10-7X+4.356×103X-5.862. （2）多項(xiàng)式回歸方差分析見表1，多項(xiàng)式回歸參數(shù)估計(jì)及其t值見表2。

表1 多項(xiàng)式回歸方差分析

表2 多項(xiàng)式回歸參數(shù)估計(jì)及其t值

由表1、表2可知，回歸模型的p值小于0.000 1，決定系數(shù)R2=0.857 207，說明該模型極其顯著且精度較高。然后，將預(yù)測集實(shí)際投影面積代入回歸方程中，輸出預(yù)測的質(zhì)量結(jié)果。經(jīng)過結(jié)果分析，最大絕對誤差為2.54 g，最小絕對誤差為0.016 g，相對誤差均值為5.9%。

二次多項(xiàng)式回歸方程預(yù)測結(jié)果見圖7。

圖7 二次多項(xiàng)式回歸方程預(yù)測結(jié)果

3 結(jié)論

以“禮品2號”核桃為試驗(yàn)樣本，采用計(jì)算機(jī)視覺技術(shù)針對核桃質(zhì)量在線檢測問題，建立質(zhì)量預(yù)測模型，結(jié)果如下：

（1）構(gòu)建圖像采集系統(tǒng)獲取樣本圖像，經(jīng)過預(yù)處理、形態(tài)邏輯學(xué)算法和參照物標(biāo)定，能很好地獲取樣本投影面積。

（2）以投影面積為輸入、質(zhì)量為輸出，建立LS-SVM質(zhì)量預(yù)測模型，并對預(yù)測集進(jìn)行質(zhì)量預(yù)測，模型相關(guān)系數(shù)R=0.897 4，輸出結(jié)果相對誤差均值為6.5%。

（3）以投影面積為自變量，質(zhì)量為因變量，建立一元二次多項(xiàng)式回歸質(zhì)量預(yù)測模型，并對預(yù)測集進(jìn)行質(zhì)量預(yù)測，模型決定系數(shù)R=0.857 207，輸出結(jié)果相對誤差均值為5.9%。

2種質(zhì)量預(yù)測模型預(yù)測結(jié)果均可滿足在線檢測要求，為實(shí)現(xiàn)核桃產(chǎn)業(yè)自動、智能化提供部分技術(shù)支持。參考文獻(xiàn)：

[1]李俊南，習(xí)學(xué)良，熊新武，等.核桃的營養(yǎng)保健功能及功能成分研究進(jìn)展 [J].中國食物與營養(yǎng)，2018，24（5）：60-64.

[2]應(yīng)義斌.農(nóng)產(chǎn)品品質(zhì)無損檢測技術(shù)研究進(jìn)展 [G]//中國農(nóng)業(yè)工程學(xué)會.農(nóng)業(yè)工程科技創(chuàng)新與建設(shè)現(xiàn)代農(nóng)業(yè)——2005年中國農(nóng)業(yè)工程學(xué)會學(xué)術(shù)年會論文集第四分冊.中國農(nóng)業(yè)工程學(xué)會：中國農(nóng)業(yè)工程學(xué)會，2005：14.

[3]周偉.基于機(jī)器視覺的茶葉自動采摘機(jī)械手裝配系統(tǒng)設(shè)計(jì) [J].福建茶葉，2018，40（12）：13-16.

[4]Szczypiński， Piotr M， Klepaczko A， et al.Identifying barley varieties by computer vision[J].Computers and Electronics in Agriculture，2015（4）：1-8.

[5]Rong D，Rao X，Ying Y.Computer vision detection of surface defect on oranges by means of a sliding comparison window local segmentation algorithm[J].Computers&Electronics in Agriculture，2017（2）：59-68.

[6]李曉斌，王玉順，付麗紅.用κ-means圖像法和主成分分析法監(jiān)測生菜生長勢（英文） [J].農(nóng)業(yè)工程學(xué)報(bào)，2016，32（12）：179-186.

[7]潘磊慶，王振杰，孫柯，等.基于計(jì)算機(jī)視覺的稻谷霉變程度檢測 [J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33（3）：272-280.

[8]唐楊捷，胡海剛，張剛，等.基于計(jì)算機(jī)視覺和GASVM的梭子蟹體重預(yù)測 [J].寧波大學(xué)學(xué)報(bào)（理工版），2019（1）：32-37.

[9]劉偉，譚鶴群，黃丹，等.白鰱質(zhì)量與截面積沿體長方向分布模型 [J].農(nóng)業(yè)工程學(xué)報(bào)，2012，28（12）：288-292.

[10]張超，徐建瑜，王文靜.基于機(jī)器視覺的梭子蟹質(zhì)量估計(jì)方法研究 [J].寧波大學(xué)學(xué)報(bào)（理工版），2014，27（2）：49-51.

[11]劉軍，郭俊先，帕提古麗·司拉木，等.基于機(jī)器視覺與支持向量機(jī)的核桃外部缺陷判別分析方法 [J].食品科學(xué)，2015，36（20）：211-217.

[12]楊立，趙杰文，鄒小波.基于機(jī)器視覺的軟膠囊重量在線分選研究 [J].食品工業(yè)，2008（5）：64-66.

[13]馬國強(qiáng)，田云臣，李曉嵐.基于不規(guī)則圖像面積測量的窄體舌鰨個(gè)體重量估計(jì) [J].微型機(jī)與應(yīng)用，2016，35（16）：67-71.

[14]李龍，彭彥昆，李永玉，等.基于紋理和梯度特征的蘋果傷痕與果梗/花萼在線識別 [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49（11）：328-335.

[15]宋彥，謝漢壘，寧井銘，等.基于機(jī)器視覺形狀特征參數(shù)的祁門紅茶等級識別 [J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（23）：279-286.

[16]李曉斌.汽油機(jī)火花塞間隙圖像法測量 [J].山西農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，35（6）：664-667.

[17]劉德華，張淑娟，王斌，等.基于高光譜成像技術(shù)的山楂損傷和蟲害缺陷識別研究 [J].光譜學(xué)與光譜分析，2015，35（11）：3167-3171.

[18]王斌，薛建新，張淑娟.基于高光譜成像技術(shù)的腐爛、病害梨棗檢測 [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（S1）：205-209.◇