加工番茄蟲眼及霉變的可見近紅外高光譜成像檢測

馬 艷 張若宇 齊妍杰

(1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆 石河子 832000；2. 農(nóng)業(yè)部西北農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，新疆 石河子 833200)

?

加工番茄蟲眼及霉變的可見近紅外高光譜成像檢測

馬 艷1張若宇1齊妍杰2

(1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆 石河子 832000；2. 農(nóng)業(yè)部西北農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，新疆 石河子 833200)

為了探求一種快速有效識別蟲眼和霉變加工番茄的無損檢測方法，利用高光譜成像技術(shù)，從光譜和圖像2個(gè)角度對其進(jìn)行檢測。先借助可見近紅外高光譜成像系統(tǒng)獲取408～1 013 nm的加工番茄高光譜圖像數(shù)據(jù)，提取并分析感興趣區(qū)域的平均光譜曲線進(jìn)行主成分分析，根據(jù)各波段權(quán)重系數(shù)優(yōu)選了550，750，900 nm 3個(gè)特征波長；然后通過特征波長下圖像的主成分分析，選擇缺陷部位與正常區(qū)域強(qiáng)度對照最明顯的第一主成分圖像，通過掩模、閾值處理和形態(tài)學(xué)開運(yùn)算等圖像處理方法對缺陷番茄進(jìn)行檢測判別。蟲眼、霉變和正常三類番茄的識別率分別為93.3%，90%，100%。同時(shí)利用上述3個(gè)特征波長進(jìn)行波段比圖像運(yùn)算，并選擇波段比550 nm/750 nm圖像進(jìn)行缺陷識別，蟲眼、霉變和正常三類加工番茄的識別率分別為93.3%，96.7%，100%。研究結(jié)果表明，二次主成分分析和波段比檢測算法均可以有效地識別缺陷加工番茄。另外研究中僅選用了3個(gè)特征波段，數(shù)據(jù)量大大減少，為搭建開發(fā)適于加工番茄缺陷的多光譜在線檢測系統(tǒng)提供了可能。

高光譜成像；缺陷檢測；主成分分析；波段比；加工番茄

番茄分為鮮食番茄和加工番茄，加工番茄主要用于制醬、制干和加工番茄粉等[1]。

蟲眼果和霉變果的檢測是番茄表面缺陷檢測中重要的兩類。目前加工廠主要依靠人工進(jìn)行番茄分選以剔除蟲眼番茄和霉變番茄，生產(chǎn)效率低，勞動(dòng)強(qiáng)度大且品質(zhì)難以掌控，同時(shí)也難以適應(yīng)大規(guī)模工廠化生產(chǎn)的需要[2]。

高光譜成像技術(shù)融合了光譜和圖像信息，能對農(nóng)產(chǎn)品的綜合品質(zhì)進(jìn)行全面、快速地檢測[3-4]。國內(nèi)外學(xué)者利用高光譜成像技術(shù)對臍橙[5]、山楂[6]、棗[7]、蘋果[8]等農(nóng)產(chǎn)品表面缺陷檢測做了大量研究。在番茄缺陷檢測方面，Xing等[9]利用高光譜成像技術(shù)(400～1 000 nm)檢測番茄的碰傷缺陷，通過相關(guān)性分析、偏最小二乘法和遺傳算法進(jìn)行最優(yōu)波段的選擇，研究結(jié)果表明，光譜區(qū)域640～750 nm最適合番茄碰傷的檢測，波段范圍735～930 nm適合區(qū)分果梗和碰傷缺陷，675 nm波段最有利于區(qū)分果梗及番茄正常果皮區(qū)域。Jeong等[10]基于高光譜成像技術(shù)對裂果番茄進(jìn)行檢測，選取2個(gè)最佳波長713.8 ，718.6 nm，正確分類率為91.1%。Lee等[11]基于高光譜成像技術(shù)(1 000～1 700 nm)獲取224個(gè)裂果缺陷番茄高光譜圖像數(shù)據(jù)，利用線性判別分析和支持向量機(jī)進(jìn)行檢測識別，結(jié)果分別為94.6%，96.4%。目前研究僅針對鮮食番茄的碰傷和裂傷，尚未針對加工番茄的蟲眼和霉變?nèi)毕葸M(jìn)行系統(tǒng)的高光譜檢測和研究。

在此基礎(chǔ)上，本研究分別以蟲眼和霉變的加工番茄為研究對象，采用高光譜成像系統(tǒng)獲取加工番茄可見近紅外(408～1 013 nm)范圍內(nèi)的高光譜圖像數(shù)據(jù)，從光譜和圖像角度，提取感興趣區(qū)域光譜，繪制平均光譜曲線，并結(jié)合主成分分析優(yōu)選特征波段，利用尋求的特征波段圖像進(jìn)行二次主成分分析和圖像波段比運(yùn)算來對蟲眼、霉變兩類缺陷進(jìn)行檢測。

1 材料與方法

1.1 材料

加工番茄：新疆石紅208，于2015年9月人工采自新疆石河子市農(nóng)場。樣本共計(jì)90個(gè)，其中正常番茄、蟲眼番茄和霉變番茄各30個(gè)。將采集的樣本用白色紗布將其表面擦拭干凈，放入實(shí)驗(yàn)室常溫條件下12 h，同時(shí)保持避光和通風(fēng)。

1.2 儀器與設(shè)備

高光譜成像系統(tǒng)組成見圖1。硬件系統(tǒng)主要包括：成像光譜儀(ImSpector V10E-QE型, Spectral Imaging Ltd., Oulu, Finland)、CCD相機(jī)(C8484-05G型, Hamamatsu Photonics, Japan)、50 W鹵素?zé)?4盞)、電動(dòng)位移平臺(tái)(PSA200-11-X型, Zolix Instruments Co., Ltd., Beijing, China)。整套系統(tǒng)置于一個(gè)黑色的密閉柜中，以避免外界環(huán)境光的干擾。成像光譜儀光譜范圍為408～1 013 nm。

1.3 高光譜圖像的采集及校正

在高光譜圖像數(shù)據(jù)采集前，將儀器預(yù)熱30 min，設(shè)定采集模式為無壓縮采集，由于物距一定的情況下，CCD相機(jī)橫向分辨率一定，縱向分辨率由曝光時(shí)間和位移臺(tái)線速度決定，試驗(yàn)中根據(jù)光源的照度設(shè)定曝光時(shí)間以保證圖像清晰，同時(shí)根據(jù)采集到的打印標(biāo)準(zhǔn)圓環(huán)橫向和縱向直徑像素相等，調(diào)整好輸送裝置的速度以避免圖像空間分辨率失真[12]。成像光譜儀波長范圍為400～1 000 nm，光譜分辨率為2.8 nm。經(jīng)過多次試驗(yàn)調(diào)整及參數(shù)優(yōu)化，最終確定曝光時(shí)間110 ms，圖像采集速度6.76 mm/s，物距33.5 cm。

1. CCD相機(jī) 2. 光譜儀 3. 調(diào)焦鏡頭 4. 鹵素?zé)?5. 樣品 6. 位移臺(tái) 7. 控制器 8. 計(jì)算機(jī)

圖1 高光譜成像系統(tǒng)

Figure 1 Hyperspectral imaging system

為減少系統(tǒng)噪聲，高光譜圖像采集前按照文獻(xiàn)[13]的方法，利用高光譜圖像采集軟件SpectralCube對系統(tǒng)進(jìn)行黑白校正。

1.4 方法

1.4.1 特征波段尋求 主成分分析(Principal Component Analysis, PCA)是一種既能對光譜信息進(jìn)行降維，又可以從眾多信息中提取重要信息的處理方法。主成分分析沿著協(xié)方差最大的方向由高維數(shù)據(jù)空間向低維數(shù)據(jù)空間投影，將原變量(波長)線性組合為一些非相關(guān)的新變量(主成分)，并且最大限度地表征了原始數(shù)據(jù)的信息，既能實(shí)現(xiàn)數(shù)據(jù)的降維，又能消除原始數(shù)據(jù)中的冗余信息[14-15]。通過坐標(biāo)變換，依據(jù)方差貢獻(xiàn)率的大小找到能夠代表主要信息的主成分，綜合考慮主成分的權(quán)重系數(shù)大小，來尋求有效特征波段。

1.4.2 圖像二次主成分分析 由于多光譜成像系統(tǒng)在線實(shí)施的關(guān)鍵是基于少量波段開發(fā)出有效的檢測算法[16]，因此全波段主成分分析不適合蟲眼、霉變番茄的在線檢測。本研究嘗試?yán)脤で蟮奶卣鞑ǘ螆D像進(jìn)行二次主成分分析，即利用較少的波段進(jìn)行圖像處理，以期提高檢測效率。

1.4.3 圖像波段比運(yùn)算 波段比(Band Ratio)算法不但可以有效地降低番茄表面不平整帶來光線反射不均勻的影響[17]，還可以增強(qiáng)波段之間的波譜差異，提供一些任何單一波段無法得到的獨(dú)特信息[18]。其原理是用2個(gè)波段相除，從而獲得一幅相對波段強(qiáng)度圖像，其數(shù)學(xué)表達(dá)式見式(1)。

BVm,n,t=BVm,n,i/BVm,n,k，

(1)

式中:

BVm,n,t——位置t像素(m,n)的比值；

BVm,n,j、BVm,n,k——第j和k波段同一位置像素(m,n)的灰度值。

1.5 數(shù)據(jù)采集處理分析軟件

研究中高光譜圖像數(shù)據(jù)的采集是基于高光譜圖像采集軟件SpectralCube(Spectral Imaging Ltd., Finland)平臺(tái)，數(shù)據(jù)處理分析是基于ENVI4.6(Research System Inc., Boulder, Colo., USA)及Matlab2009b(The MathWorks Inc., Natick, USA)軟件平臺(tái)。

2 結(jié)果與分析

2.1 缺陷番茄和正常番茄的光譜特征

將高光譜圖像剪裁成600×700像素大小，以消除圖像邊緣噪聲，同時(shí)減少數(shù)據(jù)運(yùn)算量，通過手動(dòng)提取番茄感興趣區(qū)域，共得到90條光譜(正常、蟲眼和霉變番茄各30條)。將每類番茄光譜曲線進(jìn)行平均，得到各類番茄的平均光譜曲線。圖2為兩類缺陷番茄與正常番茄在450～1 000 nm的平均光譜曲線。

圖2 3種類型番茄的平均光譜曲線

由圖2可知，在450～550 nm時(shí)，正常、蟲眼、霉變番茄的光譜曲線走勢相同；在550～1 000 nm時(shí)，正常番茄的光譜值均大于蟲眼、霉變區(qū)域的，且在750 nm處峰值差別最大，另外，在550～1 000 nm時(shí)，霉變番茄與蟲眼番茄差異明顯。因此，在后續(xù)的數(shù)據(jù)處理過程中，選取550～1 000 nm的高光譜圖像數(shù)據(jù)進(jìn)行分析。

2.2 特征波長選取

對蟲眼、霉變和正常番茄共90條光譜進(jìn)行了主成分分析。主成分的特征值及貢獻(xiàn)率是選擇主成分的依據(jù)，表1描述了前2個(gè)主成分的特征值及累計(jì)貢獻(xiàn)率。由表1可知，主成分98.63%的貢獻(xiàn)率來自前2個(gè)主成分，故僅用前2個(gè)主成分即可表示三類番茄光譜的主要信息。

表1 特征值和累積貢獻(xiàn)率

為此，可以通過各個(gè)波段對PC1、PC2權(quán)重絕對值大小，來尋求其特征波長。前2個(gè)主成分各波段下的權(quán)重值見圖3。比較該線性組合中的權(quán)重系數(shù)，如果權(quán)重系數(shù)絕對值越大，對主成分圖像貢獻(xiàn)就越大[19]。為了選取最佳的波長組合，必須保證它們的權(quán)重系數(shù)絕對值盡可能大，因此，綜合考慮，優(yōu)選了550，750，900 nm 3個(gè)波段作為特征波長。

圖3 前2個(gè)主成分的光譜曲線權(quán)重系數(shù)圖

2.3 特征波長主成分分析

基于550，750，900 nm 3個(gè)特征波段下的圖像進(jìn)行主成分分析，選擇缺陷部位與正常區(qū)域強(qiáng)度對照最明顯的主成分圖像，通過掩模、閾值和形態(tài)學(xué)開運(yùn)算等圖像處理方法對蟲眼、霉變番茄進(jìn)行識別。圖4為3種類型番茄特征波長的前3個(gè)主成分圖，由圖4可知，蟲眼、霉變與正常番茄的PC1圖像缺陷顯著，因此選擇PC1圖像進(jìn)行缺陷識別。

圖4 基于特征波段的主成分圖像

2.4 圖像波段比運(yùn)算

圖5為3個(gè)特征波長550，750，900 nm兩兩組合后的波段比圖像。由圖5可知，波段比圖像550 nm/900 nm中番茄的缺陷部位黑白對比明顯，但存在亮度不均現(xiàn)象；900 nm/750 nm波段比圖像中缺陷部位與正常部位差別明顯，但正常番茄部位存在亮斑；550 nm/750 nm波段比運(yùn)算中的各缺陷部位與正常部位灰度值差異最明顯，并且正常番茄表面的亮度均勻，亮斑的影響較少。因此在后續(xù)處理中，選擇550 nm/750 nm波段比圖像進(jìn)行缺陷的檢測識別。

圖5 波段比圖像

2.5 缺陷番茄識別結(jié)果

主成分分析檢測算法，選擇蟲眼、霉變與正常番茄的PC1圖像進(jìn)行缺陷識別。通過構(gòu)造掩模模板，對其PC1圖像進(jìn)行掩模，經(jīng)過閾值處理(T=0.75)和形態(tài)學(xué)開運(yùn)算對缺陷進(jìn)行識別。波段比檢測算法，選擇550 nm/750 nm波段比圖像通過掩模，閾值分割(T=0.39)和形態(tài)學(xué)開運(yùn)算去除噪聲來進(jìn)行缺陷識別。圖6為波段比算法檢測流程圖。

表2為2種算法對3種類型番茄的檢測結(jié)果。利用二次主成分分析法，選擇特征波長的PC1圖像進(jìn)行缺陷識別，背景分割閾值設(shè)為0.75，蟲眼、霉變和正常番茄的識別率分別為93.3%，90%，100%；采用波段比(550 nm/750 nm)算法，三類加工番茄識別率分別為93.3%，96.7%，100%；二次主成分分析和波段比檢測算法的整體識別率分別為94.4%，96.7%。可見，二次主成分分析和波段比檢測算法均可以有效地識別缺陷番茄，并且波段比檢測算法優(yōu)于二次主成分分析法。

圖6 波段比算法檢測流程圖

類型數(shù)量識別數(shù)PCABR識別率/%PCABR蟲眼30282893.393.3霉變30272990.096.7正常303030100.0100.0合計(jì)90858794.496.7

? PCA. 特征波段主成分分析； BR. 波段比算法。

3 結(jié)論

通過對高光譜數(shù)據(jù)進(jìn)行主成分分析，篩選蟲眼、霉變和正常加工番茄的3個(gè)特征波長，采用二次主成分分析進(jìn)行識別，整體識別率為94.4%，而采用波段比算法，三類加工番茄的整體識別率為96.7%。可見，基于可見/近紅外高光譜成像技術(shù)可以有效地識別蟲眼和霉變番茄。

本研究僅選擇了霉變和蟲眼兩類缺陷，今后可選取更多缺陷類型進(jìn)行檢測，進(jìn)一步驗(yàn)證該算法的魯棒性。另外，研究中二次主成分算法僅用3個(gè)有效波段，而且波段比中僅用可見區(qū)域550，750 nm 2個(gè)波段，為今后搭建缺陷番茄在線多光譜檢測系統(tǒng)提供了可能。

致謝：感謝美國喬治亞大學(xué)Yu Jiang博士在數(shù)據(jù)分析和論文細(xì)節(jié)上給予的指導(dǎo)和幫助。

[1] 李艷, 王建江, 曾沂輝, 等. 多用途加工番茄新品種石紅14號的選育[J]. 新疆農(nóng)業(yè)科學(xué), 2008, 45(S1): 121-123.

[2] ZENG Zhong-da, LIANG Yi-zeng, WANG Ya-li, et al. Alternative moving window factor analysis for comparison analysis between complex chromatographic data[J]. Journal of Chromatography A, 2006, 1 107(1): 273-285.

[3] ALTISENT M R, GARCIA L R, MOREDA G P, et al. Sensors for product characterization and quality of specialty crops: A review[J]. Computers and Electronics in Agriculture, 2010, 74(2): 176-194.

[4] 李江波, 饒秀勤, 應(yīng)義斌, 等. 農(nóng)產(chǎn)品外部品質(zhì)無損檢測中高光譜成像技術(shù)的應(yīng)用研究進(jìn)展[J]. 光譜學(xué)與光譜分析, 2011, 31(8): 2 021-2 026.

[5] 李江波, 饒秀勤, 應(yīng)義斌, 等. 基于高光譜成像技術(shù)檢測臍橙潰瘍[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2010, 26(8): 222-228.

[6] 劉德華, 張淑娟, 王斌, 等. 基于高光譜成像技術(shù)的山楂損傷和蟲害缺陷識別研究[J]. 光譜學(xué)與光譜分析, 2015, 35(11): 3 167-3 171.

[7] 王婉嬌, 賀曉光, 王松磊, 等. 基于高光譜成像技術(shù)的靈武長棗常見缺陷檢測[J]. 食品與機(jī)械, 2015, 31(3): 62-65, 86.

[8] 單佳佳, 彭彥昆, 王偉, 等. 基于高光譜成像技術(shù)的蘋果內(nèi)外品質(zhì)同時(shí)檢測[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2011, 42(3): 140-144.

[9] XING J, NGADI M, WANG N, et al. Wavelength selection for surface defects detection on tomatoes by means of a hyperspectral imaging system[C]//2006 ASAE Annual Meeting.[S. l.]: American Society of Agricultural and Biological Engineers, 2006: 1.

[10] DANHEE J, KIM M S, HOONSOO L, et a1. Detection Algorithm for Cracks on the Surface of Tomatoes using Multispectral Vis/NIR Reflectance Imagery[J]. Journal of Biosystems Engineering, 2013, 38(3): 199-207.

[11] HOONSOO L, KIM M S, DANHEE J, et al. Detection of Cra-cks on Tomatoes Using a Hyperspectral Near-Infrared Reflectance Imaging System[J]. Sensors (Basel), 2014, 14(10): 18 837-18 850.

[12] 郭紅艷, 劉貴珊, 吳龍國, 等. 基于高光譜成像的馬鈴薯環(huán)腐病無損檢測[J]. 食品科學(xué), 2016, 37(12): 203-207.

[13] 張若宇, 饒秀勤, 高迎旺, 等. 基于高光譜漫透射成像整體檢測番茄可溶性固形物含量[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2013, 29(23): 247-252.

[14] 李波, 劉占宇, 黃敬峰, 等. 基于PCA和PNN的水稻病蟲害高光譜識別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2009, 25(9): 143-147.

[15] 公麗艷, 孟憲軍, 劉乃僑, 等. 基于主成分與聚類分析的蘋果加工品質(zhì)評價(jià)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2014, 30(13): 276-285.

[16] 蘇文浩, 劉貴珊, 何建國, 等. 高光譜圖像技術(shù)結(jié)合圖像處理方法檢測馬鈴薯外部缺陷[J]. 浙江大學(xué)學(xué)報(bào): 農(nóng)業(yè)與生命科學(xué)版, 2014, 40(2): 188-196.

[17] 趙進(jìn)輝, 吁芳, 吳瑞梅, 等. 基于分段主成分分析與波段比的雞胴體表面糞便污染物檢測[J]. 激光與光電子學(xué)進(jìn)展, 2011, 48(7): 166-170.

[18] 蔡健榮, 王建黑, 黃星奕, 等. 高光譜圖像技術(shù)檢測柑橘果銹[J]. 光電工程, 2009, 36(6): 26-30.

[19] 蔡健榮, 王建黑, 陳全勝, 等. 波段比算法結(jié)合高光譜圖像技術(shù)檢測柑橘果銹[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2009, 25(1): 127-131.

Detection of insect hole andmildew in processing tomato by visible near infrared hyperspectral imaging

MA Yan1ZHANG Ruo-yu1QI Yan-jie2

(1. Mechanical and Electrical Engineering College, Shihezi University, Shihezi, Xinjiang 832000, China;2. Key Laboratory of Northwest Agricultural Equipment, Ministry of Agriculture, Shihezi, Xinjiang 832000, China)

The quality of tomato products is significantly degraded due to defects on raw processing tomatoes such as insect hole or mildew. This research aims to investigate the potential of using visible/ near infrared (Vis/NIR) hyperspectral imaging for detection of insect hole and mildew on raw processing tomato. Tomato samples were imaged using a hyperspectral imaging system that covers a spectral range from 408 to 1013 nm. To images, region of interests (ROIs) were manually selected to extract mean spectra on every individual samples. Principal component analysis (PCA) was performed on the extracted spectra to select three optimal wavelengths (550, 750, 900 nm) for defects detection. PCA and pair-wise band ratio analysis were conducted on the spectral images using the optimal wavelengths to generate PC and band-ratio images, respectively. Masking, threshold-based segmentation, and morphologic operations were applied on the generated images to identify defective areas on the tomato surface. The accuracies of identifying insect hole, mildew, and healthy tomato achieved 93.3%, 90%, and 100% in the PC images, and 93.3%, 96.7%, and 100% in the band-ratio images, respectively. Therefore, the Vis-NIR hyperspectral imaging could be an effective approach for detecting insect hole and mildew on the surface of raw tomatoes. In addition, online detection system could be benefit by using the wavelengths of 550 nm and 750 nm.

hyperspectral imaging; defect detection; principal component analysis; band ratio; processing tomato

國家自然基金項(xiàng)目(編號：61565016)；兵團(tuán)國際合作項(xiàng)目(編號：2015AH003)

馬艷，女，石河子大學(xué)在讀碩士研究生。

張若宇(1980—)，男，石河子大學(xué)副教授，碩士生導(dǎo)師。 E-mail：ry248@163.com

2017—04—12

10.13652/j.issn.1003-5788.2017.06.027