基于高光譜圖像信息融合的紅提糖度無損檢測

高 升，王巧華,2*

(1. 華中農業大學 工學院，湖北 武漢 430070；2. 農業農村部長江中下游農業裝備重點實驗室，湖北 武漢 430070)

1 引 言

葡萄被譽為四大水果之首，2017年我國的葡萄總產量高達1308.0萬噸[1]。紅提葡萄顆粒飽滿、果肉堅實、香甜可口、富含較多的營養物質，受到人們的廣泛喜愛。糖度(可溶性固形物)是水果的重要品質之一，決定了果實的風味，是消費者進行購買時的重要參考，也是反映水果成熟度的重要指標[2-3]。

水果糖度(可溶性固形物)的傳統檢測方法為進行破壞試驗，擠出汁液利用折射法進行測定[4]，因檢測方法繁瑣費時，且只能進行抽樣檢測，檢測范圍較小，檢測完的實驗樣本已完全損壞，無法銷售，造成較大的浪費。光譜技術具有檢測時間短、操作簡單、能保證果實的完整性和安全性等優點[5-7]。高光譜技術是近些年發展起來的新技術，它涵蓋了光譜技術和圖像技術兩種檢測方法，被廣泛應用在蘋果[8]、哈密瓜、梨、臍橙[9]等水果和蔬菜的內部品質的無損檢測[10-11]。金瑞等[12]針對隨機放置的馬鈴薯缺陷多項指標難以同時檢測的問題，提出了一種基于高光譜信息融合的流形學習降維算法，結果表明高光譜信息融合技術結合流形學習降維算法可同時識別隨機放置馬鈴薯的多種缺陷指標。Dong等[13]利用高光譜成像技術研究了在不同地方生長的‘富士’蘋果的可溶性固形物含量(SSC)的無損測定，使用連續投影算法(SPA)和無信息變量消除(UVE)方法從全光譜中選擇有效波長并分別建立偏最小二乘法回歸(PLSR)、最小二乘支持向量機(LSSVM)和極端學習機(ELM)模型，最終確定了最優SSC預測模型是基于SPA選擇的有效波段所建立的LSSVM模型，模型預測集的相關系數和均方根誤差分別為0.878和0.908°Brix。Guo等[14]通過近紅外(NIR)高光譜成像確定“Xixuan”和“Huayou”品種的完整獼猴桃的可溶性固形物含量(SSC)，并確定了“Xixuan”和“Huayou”品種及兩種品種結合的最佳SSC模型分別為SPA-LSSVM、FS-LSSVM和FS-LSSVM，預測集的相關系數分別為0.766,0.971，0.911，且預測集的均方誤差分別為0.968,0.589，1.137。該研究證明了使用近紅外高光譜成像技術作為預測獼猴桃SSC方法的可行性。目前，國內外在葡萄品質檢測方面有較多研究，Julio等[15]以高光譜成像方法檢測葡萄皮多酚含量、果肉汁的糖度酸度來確定成熟期間白葡萄的成熟度。Arana等[16]采用漫反射光譜對白葡萄的成熟度、品種、產地進行檢測。Baiano等[17]利用高光譜技術測定7個品種的鮮食葡萄的內部品質指標,可溶性固形物含量的相關系數分別為0.94和0.93，但模型的穩定性及預測準確性可進一步提高。然而，已有研究中大都只利用光譜信息建立葡萄糖度的模型，模型的預測性能不高，利用高光譜技術融合圖像信息的紅提糖度無損檢測研究還未見報道。

本文通過高光譜成像技術，采集紅提的高光譜圖像信息和光譜信息，分別對比分析了基于光譜特征、圖像顏色形態特征、光譜信息與圖像信息融合，三種模式下所建立的紅提糖度PLSR和LSSVM模型的優劣，提出了一種結合高光譜圖像信息和光譜信息建立穩定的紅提糖度預測模型，為紅提糖度的無損檢測提供了可靠的檢測模型及方法。

2 材料和方法

2.1 材料

實驗材料為新鮮的紅提，在每穗紅提的穗外部、穗中部、穗頂部、穗尖分別挑選大小相近、顏色差異較大、完好無損的紅提果粒作為實驗樣本，建模樣本總數為260粒。將樣本編號并放入恒溫恒濕箱中保存12 h，恒溫箱溫度設置為(22±1) ℃，相對濕度為65%。

2.2 儀器與設備

申光WAY(2WAJ) 阿貝爾折射儀，上海儀電物理光學儀器有限公司；恒溫恒濕箱，上海新苗醫療器械制造有限公司；Zolix Hyper SIS-VNIR-CL高光譜成像系統，美國海洋光學公司，該系統主要由高光譜成像光譜儀(芬蘭Spectral Imaging Ltd.公司)、CCD相機(日本Hamamatsu公司)、4個50 W的鹵素燈(北京卓立漢光儀器有限公司)、1臺絲桿式位移控制平臺(北京卓立漢光儀器有限公司)等主要部件組成。該系統采集的光譜波長范圍為391～1 043 nm(含有520個波長)，分辨率為2.8 nm，整個采集系統置于暗箱內。

2.3 方法

2.3.1 高光譜圖像信息采集

高光譜成像系統預熱半小時后進行實驗。由于暗電流及CCD相機芯片不穩定的影響，圖像會產生一定的噪聲，因此在樣本采集前需要對高光譜圖像進行黑白校正。將標準白板(聚四氟乙烯長方形白板)放在采集平臺上，獲得白板數據IW；蓋上相機蓋，獲得全黑標定圖像ID；將紅提放在采集平臺上獲得原始高光譜漫反射圖像IR；根據公式(1)得到校正后紅提的圖像R[9]：

(1)

實驗時，在平臺上放置自制的帶孔載物平板。高光譜成像系統的參數設置為：相機曝光時間為0.15 s，平臺移動速度為1.7 mm/s，移動范圍為0～245 mm，樣本平臺與鏡頭的距離為420 mm。高光譜圖像采集系統如圖1所示。

圖1 高光譜圖像采集系統

2.3.2 光譜數據采集

試樣制備：光譜采集完的紅提樣本，按照國家鮮葡萄行業標準GH/T 1022-2000，分別對紅提果粒壓成汁，并用玻璃棒攪勻，并立即進行糖度的測定。

糖度測定：用一次性滴管將取出的汁液滴到折射儀上，糖度測定參照NY/T 2637-2014《水果、蔬菜制品可溶性固形物含量的測定——折射儀法》[4]，并記錄數據。

2.3.3 感興趣區域的提取及光譜數據處理

本研究把單粒圖像作為感興趣區域進行光譜信息的提取，需要將單粒紅提從帶有背景的高光譜圖像中進行分割。在Matlab R2016a軟件上對高光譜圖像進行處理，選擇圖像中整粒紅提的圖像作為RIO(感興趣區域)，提取RIO的平均光譜作為原始光譜信息。分析時去除兩端噪聲較大的波長，本文選取450～1 000 nm(含有439個波長)的波長進行建模。在進行RIO提取時，由圖2中背景與紅提果粒區域的反射率可知，在600～900 nm范圍內背景的反射率較低而紅提果粒反射率較高，在726.6 nm時兩者反射率的差值最大。因此選取726.6 nm處的灰度圖像進行果粒區域的提取，如圖3(a)所示。首先將灰度圖像采用Otsu閾值分割方法獲得二值圖像，灰度圖像如圖3(b)，然后利用中值濾波和腐蝕運算，得到背景區域為0、果粒區域為1的二值圖像，并將得到的二值圖像作為掩膜模板，如圖3(c)所示。最后依次將每個果粒分割出來，并提取高光譜圖像中單個樣本紅提果粒區域的光譜信息進行建模，掩膜后紅提區域圖像如圖3(d)所示。

圖2 高光譜圖像中背景與紅提區域的反射率

Fig.2 Reflectivity of background and red-lifted areas in hyperspectral images

圖3 光譜信息提取過程。(a)高光譜原始圖像；(b)灰度圖像；(c)掩膜模板圖像；(d)掩膜后紅提圖像。

Fig.3 Spectral information extraction process. (a) Hyperspectral image. (b) Grayscale image. (c) Mask template image. (d) Red globe grape image after mask.

2.3.4 圖像特征參數的提取

灰度共生矩陣(Gray level co-occurrrence matrix，GLCM)具有適應性強、魯棒性好的特點，經常應用于圖像紋理特征的提取[18]。由于紋理是灰度分布在空間位置上重復出現的結果，故在灰度圖像上，任意2個像素點之間存在一定的灰度關聯性質，GLCM可以表示出圖像灰度的改變方向、變化幅度、相隔間距等的綜合紋理信息。灰度共生矩陣的計算公式為：

P(i,j,d,θ)=

[(x,y)(x+D,y+D)|{f(x,y)=i;

f(x+D,y+D)=j}],

(2)

其中，P為灰度共生矩陣；(x,y)為原圖形中任意點的像素坐標；i是位于(x,y)處像素點的灰度；j是位于(x+D,y+D)處像素點灰度；θ、D為(x+D,y+D)和(x,y)像素點之間偏移的角度和距離；f(x，y)是圖像中坐標為(x,y)的灰度；d為灰度共生矩陣的步長，取值為1。

其中角度一般采用0°、45°、90°、135°，為保證實際計算中參數的旋轉不變性，將4個角度所計算出的特征值取平均值[18]。

彩色圖像有RGB、HSV、Lab三種色彩空間，且每種色彩空間都具有明顯的特征信息，本研究共提取9個通道(R、G、B、H、S、V、L、a、b等9個顏色通道)信息作為圖像的顏色特征參數。紋理信息可以較好地描述物體表面的特征，本文采集紅提灰度圖像的均值、對比度、相關性、能量、同質性、熵、灰度標準差、平滑度、三階矩、一致性共10個作為圖像的紋理特征信息，總共組合得到紅提圖像的19個圖像特征。

首先將高光譜原始圖像3(a)轉換為灰度圖像，按照光譜提取的方法依次將每個果粒分割出來，根據圖像特征參數的提取方法，分別提取單個果粒的19個圖像特征。

2.3.5 模型建立及評價方法

本文分別基于光譜信息和圖像信息融合建立紅提糖度的線性PLSR、非線性LSSVM模型。

對比分析原始光譜及光譜預處理后所建模型的優劣，確定了最優的光譜預處理方式，并在最優光譜預處理下，分別采用一次降維(GA、CARS、IRIV)算法和組合降維算法(CARS-SPA、IRIV-SPA、GA-SPA)六種降維方法對光譜信息進行特征變量提取；分別結合偏最小二乘回歸算法(Partial least squares regression，PLSR)與最小二乘支持向量機(Least squares support vector machine，LSSVM)進行模型的建立，對比分析模型的優劣。

PLSR是一種經典的通過最小化偏差平方和對曲線進行線性擬合的方法，結合了多元線性回歸、相關分析和主成分的優點。最小二乘支持向量機(LSSVM)通過求解一次線性組來代替支持向量機中復雜二次優化問題，有效地簡化了模型，提高了模型的運算速度。

模型的準確性和穩定性由校正集相關系數(Rc)及均方根誤差(RMSEC)、預測集相關系數(Rp)及均方根誤差(RMSEP)、殘差預測偏差(Residual predictive deviation，RPD)ΔRPD進行模型性能的評價。相關系數越接近1，均方根誤差越接近0，模型的預測性能及穩定性越好。ΔRPD的評價指標：ΔRPD的值小于1.5表示預測性能較差；1.5～2.0之間表示模型可以預測低值和高值；2.0～2.5之間表示可以進行粗略的定量預測；2.5～3.0或更高的值表示具有良好的預測精度[19]。

(5)

(6)

ΔRPD=Δstdp/RMSEP，

(7)

其中，ypi為預測集或校正集中的第i個樣本的預測值及其實際測量值；ymi為校正集中的第i個樣本的預測值及其實際測量值；ymean表示對應所有nc個校正集樣本或np個預測集樣本實際測量值的平均值；Δstdp為預測集的標準差。

3 結果與討論

3.1 樣本集的劃分

KS(Kennard-Stone,KS)法[20]的優點是能夠有效地選取光譜數據差異較大的樣本作為校正集，剩余的樣本劃分為預測集，提高模型的穩定性和預測精度。實驗中共采集了260份紅提樣本，按照3∶1比例利用KS算法劃分為195個校正集樣本，65個預測集樣本(表1)。從表2中可以看出，糖度分布范圍為(15.500～22.000)°Brix，校正集和預測集的標準差值分別為1.068和1.099。

表1 利用KS算法劃分樣本集的數據統計

表2 采用不同預處理方法的全波長PLSR預測模型

3.2 光譜數據采集及預處理

從圖4中可以得出，所有紅提樣本的光譜都呈現出相同的變化趨勢，在450～550 nm區間內曲線平滑，吸光度變化較小，550 nm之后反射強度快速升高，波峰為640，963 nm，波谷為675，955，970 nm。

進行光譜預處理能有效地消除由于儀器噪音、暗電流等因素的影響，因此本研究采用標準正態變量變換(Standard normal variate transformation，SNV)、Savitzky-Golay卷積平滑處理法(SavitZky-Golay，S-G)、多元散射校正(Multivariate scatter correction，MSC)、移動窗口平滑(Moving-average method，MA)等預處理方法。由圖2可知，原始光譜所建模型效果最好，下文中選擇原始光譜進行特征波長的提取。

圖4 原始光譜信息

3.3 光譜特征波長的提取

由于實驗采集的高光譜反射圖像包含較多的波段，且波段之間存在較大的相關性及冗余信息，為提高模型的預測速度和精度，進行光譜特征波長的提取。

3.3.1 GA提取特征波長

GA算法使用現則、交叉和變異三類遺傳算子把復雜的模型用繁殖機制結合簡單的編碼技術表現，并不斷地進行迭代、優化來進行優勝劣汰，得到最優解。

以對原始光譜利用GA算法提取特征波長為例，在GA算法中設定初始群體為30，交叉率為50%，變異率為1%，迭代次數為100，以最小的RMSECV值作為評價標準，篩選出在迭代過程中出現頻次較多的波長點作為最優提取的特征波長；經過20次隨機搜索后，最終提取的特征波長點數目為72，占原始光譜信息16.40%的特征波長如圖5所示。

圖5 紅提糖度的GA特征波長選取圖

Fig.5 GA characteristic wavelength selection map of red globe grape sugar content

3.3.2 連續投影算法

連續投影算法(Successive projection algorithm，SPA)是一種可有效消除變量共線性的算法。對經過IRIV特征波長提取后的光譜信息利用SPA算法提取特征波長，設定波長選擇變量數范圍為5～35，選擇步長為1，根據RMSEC的變化確定選擇特征變量個數，最終提取的特征波長點數目為23，如圖6(a)所示；在原始光譜中所選特征波長位置如圖6(b)所示。

圖6 紅提糖度的SPA特征波長選取圖

Fig.6 SPA characteristic wavelength selection map of red globe grape sugar content

3.3.3 CARS提取特征波長

對原始光譜利用競爭性自適應加權算法(Competitive adaptive reweighted sampling，CARS)提取特征波長，本研究設定蒙特卡羅采樣為50次，采用5折交叉驗證法。由圖7可知，取采樣50次所建立的PLSR模型中所對應的最小RMSECV作為最優結果。由圖7(b)可知，當RMSECV值達到最小值時，各變量的回歸系數位于圖7(c)中豎直線位置，采樣運行24次，最終提取的特征波長點數目為35。

圖7 紅提糖度的CARS特征波長選取圖。(a)采樣變量數；(b)RESECV；(c)回歸系數路徑。

Fig.7 CARS characteristic wavelength selection map of red globe grape sugar content. (a) Number of sampled variables. (b) RESECV. (c) Regression coefficients path.

3.3.4 IRIV提取特征波長

迭代保留信息變量法(Iteratively retains informative variables，IRIV)是一種新型變量選擇算法。該算法假設所有變量被采樣的幾率相同，充分考慮波長變量間的聯合效應，根據對模型的有益程度將變量分為強信息變量、弱信息變量、無信息變量和干擾信息變量。在特征變量選擇過程中，移除無信息變量和干擾信息變量，保留有益的強信息變量和弱信息變量[21],并利用反向消除策略對剩余變量進行消除，得到特征變量。對原始光譜利用CARS算法提取特征波長，設定IRIV算法的最大主成分為10，交叉驗證次數為5，最終提取的特征波長點數目為42。經過IRIV提取的特征波長如圖8所示。

圖8 紅提糖度的IRIV特征波長選取圖

Fig.8 IRIV characteristic wavelength selection map of red globe grape sugar content

3.4 圖像特征提取

獲得紅提高光譜圖像信息灰度共生矩陣的紋理信息，結合圖像的顏色信息(R、G、B、H、S、V、L、a、b)，組成19個圖像特征參數，采用主成分分析(Principal component analysis，PCA)算法[22]對圖像信息進行降維。PCA算法的原理是沿著協方差最大的方向由高維數據空間向低維數據進行空間投影，獲得相互獨立的主成分分量。該算法既可以去除原始數據中的大量冗余信息，又可以最大限度表征原始信息。

由于提取的圖像特征量綱的不同，在進行PCA降維前，先進行歸一化運算。由圖9可知，對提取的19個圖像特征進行PCA降維后提取的前5個主成分的累積貢獻率已經達到99.992%，完全達到了建模的要求，為簡化模型的運算速度和可靠性，對PCA降維提取的前5個主成分進行建模研究。

圖9 基于主成分分析算法的圖像特征提取

Fig.9 Image feature extraction based on principal component analysis algorithm

3.5 模型建立及結果比較

3.5.1 光譜模型建立

基于特征波長建立的紅提糖度PLSR預測模型和LSSVM預測模型如表3、4所示。由表3、4可知，對于建立的PLSR模型和LSSVM模型，一次降維和組合算法特征波長提取后兩種模型的校正集和預測集的相關系數相近，都有效地提高了模型的穩定性。在一次降維特征波長提取后進行SPA后的組合算法有效地提高了各個一次降維所建模型的相關系數和殘差預測偏差，均方根誤差減小，說明模型的預測精度提高，模型穩定性增強。進行組合算法可有效地剔除冗余信息，提取有效信息，大大簡化模型。

表3 基于特征波長建立的紅提糖度PLSR預測模型

表4 基于特征波長建立的紅提糖度LSSVM預測模型

高光譜采集后利用光譜信息，通過IRIV-SPA特征波長提取后，挑選出了有用的光譜特征信息，簡化了模型。紅提糖度最優模型特征波點如表5所示。

表5 糖度最優模型特征波點列表

3.5.2 圖像模型建立

基于圖像信息建立的紅提糖度PLSR和LSSVM預測模型如表6所示，利用提取的19個圖像特征分別建立PLSR模型和LSSVM模型，模型的相關系數低于0.65，模型的預測性能不佳。LSSVM模型的相關系數和殘差預測偏差大于PLSR模型，效果要好于PLSR模型。

表6 基于圖像信息建立的紅提糖度PLSR和LSSVM預測模型

3.5.3 光譜特征和圖像特征融合建模

基于光譜信息融合圖像信息建立的紅提糖度PLSR和LSSVM預測模型如表7所示。由表7可知，通過PCA算法提取圖像特征后建立模型的相關系數與19個原始圖像特征相比，模型的相關系數增大，模型性能有所提高。利用光譜特征建立模型的相關系數大于圖像特征所建模型，光譜信息與圖像信息相比，能更好地預測紅提糖度。圖像光譜融合后所建模型最好，模型的穩定性最好，所建的LSSVM模型效果好于PLSR所建模型的效果。

表7 基于光譜信息融合圖像信息建立的紅提糖度PLSR和LSSVM預測模型

Tab.7 Prediction model of red globe grape sugar content PLSR and LSSVM based on spectral information fusion image information

特征(數量)PLSR模型LSSVM模型RcRMSECRpRMSEPΔRPDRcRMSECRpRMSEPΔRPD圖像特征(5)0.6270.9650.6010.9081.2100.6510.9390.6320.8641.272光譜特征(23)0.9170.4310.9150.4482.4540.9260.4090.9210.4172.636圖像光譜融合(28)0.9430.3670.9410.3613.0450.9540.3290.9520.3323.311

3.5.4 最優模型結果比較

分別利用圖像光譜融合建立紅提糖度的PLSR及LSSVM模型，校正集和預測集樣本的預測值和化學測量值之間的散點圖如圖10～11所示。

由圖10、11可知，校正集和預測集的數據都比較集中，模型的預測效果較好；所建立的紅提糖度的最優PLSR模型的校正集和預測集的相關系數分別為0.943和0.941，所建立的紅提糖度的最優LSSVM模型的校正集和預測集的相關系數分別為0.954和0.952，LSSVM模型可以更好地預測紅提的糖度。

圖10 基于IRIV-SPA-PLSR紅提糖度最優PLSR模型

Fig.10 Optimal PLSR model based on IRIV-SPA-PLSR red globe grape sugar content

圖11 基于IRIV-SPA-LSSVM紅提糖度最優LSSVM模型

Fig.11 Optimal PLSR model based on IRIV-SPA-LSSVM red globe grape sugar content

4 結 論

本文利用光譜信息進行建模分析，IRIV-SPA組合降維算法可有效地提取紅提糖度光譜信息的特征波長；只利用圖像信息進行建模分析，模型的預測性能不佳；將IRIV-SPA特征波段提取后的光譜和經PCA降維后的圖像信息進行融合所建模型的效果最好，并將融合信息分別建立PLSR和LSSVM模型，紅提糖度的最優PLSR模型的校正集和預測集相關系數分別為0.943和0.941；紅提糖度的最優LSSVM模型的校正集和預測集相關系數分別為0.954和0.952；同時有效地提高了紅提糖度預測性能，為紅提糖度的檢測找到了一種新的方法。

非線性LSSVM模型的效果好于線性PLSR模型，且模型更加穩定，但模型的運算時間較長。