二維相關光譜圖像結(jié)合深度學習用于皮蛋成熟度的高光譜無損檢測

陳遠哲，王巧華,2, ，范 維，劉世偉，林衛(wèi)國

（1.華中農(nóng)業(yè)大學工學院，湖北 武漢 430070；2.農(nóng)業(yè)農(nóng)村部長江中下游農(nóng)業(yè)裝備重點實驗室，湖北 武漢 430070）

皮蛋是一種歷史悠久的傳統(tǒng)蛋制品，其口味獨特、營養(yǎng)價值豐富。皮蛋在蛋制品的產(chǎn)量中位于首位，是中國再制蛋的主要組成部分，主要銷往中國香港、美國、新加坡等30多個國家和地區(qū)[1]。浸泡法是用堿性的料液腌制皮蛋，沒有鈣泥包裹，可以減輕清洗鴨蛋的操作，是目前主要的腌制方法，一般在室溫下腌制30 d左右使其成熟，適用于工廠大規(guī)模生產(chǎn)[2-3]。

腌制期間皮蛋的成熟度是衡量凝膠品質(zhì)的關鍵指標。長期以來，皮蛋成熟度檢測仍然依靠人工的感官檢測，一貫的做法是利用光源照在皮蛋的鈍端，根據(jù)蛋內(nèi)凝膠的透射顏色判斷其成熟度。一般來說，顏色越深，皮蛋越成熟[4]。由于腌制期皮蛋內(nèi)部的變化過程被隱藏在蛋殼內(nèi)的基質(zhì)中，工廠很難根據(jù)皮蛋在腌制期的成熟度精確調(diào)整腌制液的濃度，因此廠商通常從同一批成熟度的皮蛋中抽樣打破幾個檢驗。有些生產(chǎn)商制定了皮蛋凝膠彈性的檢測標準，通過以手敲的方式判斷其彈性值，從而對皮蛋的成熟度進行粗略的評價。但這些方法繁瑣低效，不僅具有破壞性，還造成資源的浪費，不能滿足皮蛋行業(yè)成熟度快速檢測的需求。

目前國內(nèi)外學者對皮蛋的研究主要集中在產(chǎn)品的營養(yǎng)結(jié)構(gòu)和腌制工藝[5-6]，對于皮蛋的品質(zhì)檢測還鮮有報道。高光譜成像技術能高效、無損檢測禽蛋的內(nèi)部品質(zhì)。一些研究強調(diào)了使用高光譜技術對雞蛋內(nèi)部品質(zhì)進行無損檢測的可能性。Fu Dandan等[7]利用高光譜技術對雞蛋內(nèi)S-卵白蛋白的含量進行了預測與可視化。Yao Kunshan等[8]利用高光譜技術對雞蛋的哈夫單位進行了準確預測。Zhang Wei等[9]采用高光譜技術對雞蛋內(nèi)部氣室和散黃蛋建立了預測模型。上述研究表明利用高光譜技術對禽蛋品質(zhì)的鑒別可行。

本實驗以腌制期皮蛋為研究對象，采集不同成熟度皮蛋的高光譜信息，提出二維相關光譜（two-dimensional correlation spectra，2DCOS）圖像結(jié)合深度學習的方法，建立光譜圖像與皮蛋成熟度的鑒別模型，以準確預測腌制期皮蛋的成熟度。

1 材料與方法

1.1 材料與試劑

240 枚新鮮鴨蛋 浙江省江山恒沃農(nóng)產(chǎn)品有限公司；茶葉 武漢福山堂茶葉有限公司；氫氧化鈉、硫酸銅、氯化鈉（食品級）天津登峰化學試劑廠。

1.2 儀器與設備

Zolix Hyper SIS-VNIR-CL高光譜成像系統(tǒng)如圖1所示，主要包括一臺高光譜成像儀（Spectral imaging Ltd.，芬蘭）、一臺CCD工業(yè)相機、一臺鹵鎢燈（功率50 W，顏色暖白）、絲狀位移步進電機控制平臺等元器件。光譜范圍為400～1 000 nm（含520 個波長），光譜分辨率為1.154 nm。

圖1 高光譜成像系統(tǒng)Fig.1 Hyperspectral imaging system

1.3 方法

1.3.1 皮蛋樣本的制備

工藝流程：新鮮鴨蛋→消毒水洗滌→配制腌制液→25 ℃恒溫腌制→取樣檢測。

皮蛋腌制液的配制，腌制液質(zhì)量∶鮮鴨蛋質(zhì)量=1∶1。按腌制液總質(zhì)量百分比計算[10]，分別稱取NaOH 4.5%、紅茶葉3%、硫酸銅0.4%、氯化鈉4%。

取樣檢測：將產(chǎn)后1 d的新鮮鴨蛋放入腌制料液內(nèi)恒溫腌制。為避免堿傷，按照唐世濤等[11]的腌制要求，在腌制第14天時用純水1∶1稀釋腌制液，并放回繼續(xù)腌制。因此，在整個腌制過程中，以腌制前14 d和腌制后的13 d作為檢測皮蛋成熟度的主要時期。整個實驗分為控制組（1組）和實驗組（5 組）。用消毒水洗滌并擦拭干凈的新鮮鴨蛋作為控制組（40 枚），將恒溫腌制的皮蛋作為實驗組，由于鴨蛋從第7天左右開始形成凝膠，故在腌制的第7、12、17、22天和第27天分別取出40 枚皮蛋，用于樣品的高光譜采集。為方便觀察和比較不同腌制期的圖像特征，根據(jù)時間序列將每個時期皮蛋的外部透射圖像進行拼接，如圖2所示。

圖2 腌制期皮蛋外部凝膠變化圖像Fig.2 Changes in external gelation of preserved eggs during pickling

1.3.2 圖像的采集與校正

從腌制盒中取出同一批成熟度的皮蛋，用清水清洗表面的腌制液，并用吸水紙將水分吸干。實驗前，將儀器預熱20 min以消除暗電流和CCD相機芯片不穩(wěn)定的影響[12]；之后將自制帶孔燈箱放置在圖像采集臺上，打開光源，將皮蛋水平放置在透光孔處。樣品相機的距離為300 mm，曝光時間為0.15 s[13]。水平移動工作臺速率為2 mm/s，移動距離為100 mm。為消除系統(tǒng)光強和暗電流分布不均勻的影響，獲取的原始高光譜圖像需要黑白校正[14]。采集樣本數(shù)據(jù)之前，需要先采集黑白參考圖像。白色基準由聚四氟乙烯制成的99%反射率的白色標準板獲得，黑色基準由完全覆蓋相機鏡頭的不透明鏡頭蓋獲得[15]。利用式（1）得到高光譜校正圖像。

式中：IRaw為原始高光譜圖像；IB為黑板校正透射圖像；IW為白板校正透射圖像。

利用ENVI軟件ROI工具對皮蛋整個區(qū)域建立掩膜，將提取的感興趣區(qū)域平均光譜作為對應的透射原始光譜[16]。

1.3.3 一維、二維光譜數(shù)據(jù)分析

對原始光譜透射率進行多元散射校正（multiplicative scatter correction，MSC）、去除包絡線（continuum removal，CR）、一階求導（first derivative，F(xiàn)D）以及兩兩組合變換，得到一維光譜數(shù)據(jù)，進而分析在時間序列下腌制時間與光譜透射率的相關性[17]。

二維相關光譜是將一維光譜擴展到第二維上，可以增加光譜的分辨率，使得一維光譜的弱峰和重疊峰更加清晰。同步光譜和異步光譜是由動態(tài)光譜S計算而來，當以n個步長計算相等擾動間隔t的光譜時，動態(tài)光譜強度S表示為變量v處的列向量[18]。將同步相關光譜強度與異步相關光譜強度點乘，得到集成光譜相關強度。

式中：X為同步相關光譜強度；Y為異步相關光譜強度；Z為集成相關光譜強度；N為希爾伯特矩陣[19]。

2 結(jié)果與分析

2.1 腌制期皮蛋原始光譜曲線分析

圖3為不同成熟度皮蛋樣本在腌制過程中的平均光譜曲線。透射率曲線在421、480、614 nm和679 nm處出現(xiàn)較為明顯的波峰、波谷。其中，421 nm處與皮蛋內(nèi)容物色素相關，可以用來監(jiān)測皮蛋在成熟度過程中顏色的變化[20]；480 nm出現(xiàn)第1次透射率波谷，這可能是由于蛋殼中孔洞數(shù)量和內(nèi)膜結(jié)構(gòu)特性對凝膠質(zhì)量的影響[21]；614 nm附近的最高波峰是區(qū)分不同腌制期皮蛋的關鍵波長；此外，在844 nm處存在波谷拐點，該波長處主要與蛋白凝膠中的—CH2結(jié)構(gòu)相關，925 nm處的波峰主要與水分子的O—H鍵拉伸的第二泛音有關，這可能是因為在腌制期皮蛋內(nèi)容物凝固導致水分發(fā)生了變化[22]。因此，根據(jù)光譜數(shù)據(jù)的差異，可以對腌制期皮蛋的成熟度進行鑒別。

圖3 腌制期皮蛋的平均透射光譜Fig.3 Average transmission spectra of preserved eggs during pickling

2.2 樣本集的劃分

實驗樣本共有240 枚皮蛋，對于一維光譜數(shù)據(jù)，為避免隨機劃分樣本的不均衡，利用光譜理化值共生距離法結(jié)合光譜信息按照3∶1比例進行訓練集、測試集劃分，訓練集樣本為180 枚、測試集為60 枚。為了對比分析一維光譜數(shù)據(jù)與二維相關光譜的模型效果，對二維相關光譜圖像數(shù)據(jù)進行樣本劃分，同時為了增加神經(jīng)網(wǎng)絡的魯棒性并減少過擬合，采用翻轉(zhuǎn)、鏡像等數(shù)據(jù)增強方式對樣本集進行擴充[23]，最終得到同步譜、異步譜和集成光譜圖像各2 400 張，然后按照3∶1∶1的比例劃分訓練集、驗證集和測試集。

2.3 一維光譜數(shù)據(jù)的分析

2.3.1 時間序列下一維光譜特征的相關性分析

由圖4和表1可知，在時間序列下由去除包絡線和一階求導聯(lián)合變換后（CR-FD）的光譜透射率與腌制時間的相關性整體最高，其相關性曲線表現(xiàn)為正負交叉，同時波峰波谷增多，在512～621、797～1 000 nm波段處達到極顯著相關水平（P＜0.01），614 nm處的光譜透射率與腌制時間的相關性最高，為0.953。這也和上述分析得出614 nm附近的波長是區(qū)分不同成熟度關鍵波長的結(jié)論一致；因此，選擇512～621、797～1 000 nm波段的CR-FD光譜透射率用于一維光譜數(shù)據(jù)的研究波段。

表1 時間序列下一維光譜數(shù)據(jù)與時間的最大相關系數(shù)和敏感波段Table 1 Maximum correlation coefficients and sensitive wavebands for one-dimensional spectral data in time series

圖4 時間序列下一維光譜特征的相關性Fig.4 Correlation of 1D spectral features in time series

2.3.2 一維光譜特征波長的提取

為突出特征波長篩選的優(yōu)越性，本實驗采用無信息變量去除（uninformative variable elimination，UVE）法和競爭性自適應重加權采樣（competitive adaptive reweighted sampling，CARS）算法對經(jīng)CR-FD變換后的一維光譜集512～621、797～1 000 nm（270 個波長）篩選特征波長。

如圖5a所示，設置噪聲矩陣穩(wěn)定值的99%作為剔除閾值，光譜變量的穩(wěn)定值分布在左側(cè)，隨機變量的穩(wěn)定值分布在右側(cè)，以閾值±2.06為界，兩條水平線之間的變量將被剔除，最終經(jīng)UVE提取出23 個波長變量。從圖5c1可以看出，隨著采樣次數(shù)增加到30 次，與時間序列高度相關的變量被保留，導致均方根誤差下降；在運行30 次之后，直到刪除一些敏感波段變量時，導致均方根誤差值增加，如圖5c3所示，經(jīng)CARS最終提取30 個最佳波長變量。圖5b、d分別為波長篩選后的光譜索引圖。

圖5 特征波長的提取Fig.5 Selection of characteristic wavelengths

2.4 二維相關光譜圖像的分析

2.4.1 2DCOS的圖譜特征分析

以腌制時間為擾動因子，表征高光譜信號的敏感強度。根據(jù)Noda的二維光譜理論[24]，同步二維相關光譜關于主對角線對稱，對角線上的峰稱為自相關峰，它的強度反映光譜信號隨時間序列變化的強度，與本研究同步譜的自相關峰對比符合這一理論，同時出現(xiàn)的自相關峰與對應的基團變化有關，表明該波長是與時間序列有關的敏感波長，故用作主要的特征波段的研究區(qū)域；異步譜是由兩側(cè)交叉峰組成，它反映在時間序列變化時各個吸收峰之間的相關程度，輔以用于特征波段范圍的選擇。圖6為所有皮蛋樣本隨時間序列變化的同步和異步2DCOS圖。

圖6 時間序列下的二維相關光譜Fig.6 Two-dimensional correlation spectra in time series

從圖6a可以發(fā)現(xiàn)，對角線上共出現(xiàn)4 個自相關峰，在429 nm和483 nm處存在兩個較弱的自相關峰，429 nm附近處的基團振動峰與腌制期皮蛋的凝膠顏色變化有關，且該波長點所對應的峰在原始光譜曲線中并無出現(xiàn)，表明二維光譜能將重疊的峰分辨出，483 nm附近的振動峰與蛋殼結(jié)構(gòu)中的蛋白吸收有關[25]；同時，由圖6b可以看出，（486，523）處出現(xiàn)正的交叉峰，表明這兩處的基團對時間序列的擾動具有協(xié)同作用，在（526，487）處出現(xiàn)負的交叉峰，說明其響應相反；在836 nm處出現(xiàn)較強的自相關峰，原始光譜在該波長附近也有波谷出現(xiàn)，此波長與皮蛋凝膠蛋白的C—H鍵有關[26]；在625 nm出現(xiàn)了最強的自相關峰，表明該波峰受腌制時間的影響最大，主要歸因于對腌制期凝膠蛋白N—H鍵的強吸收所致；在（604，567）處出現(xiàn)正的交叉峰，其中567 nm與N—H鍵振動的三級倍頻有關，與604 nm對應的基團吸收峰強度相同，表明該處波長也與N—H相關，同時在（571，596）處也出現(xiàn)一個負的交叉峰。據(jù)上，自相關峰對應的波長多與凝膠顏色、N—H、C—H鍵相關，這與皮蛋在腌制期顏色變化、凝膠變化的結(jié)果一致，表明429、483、625 nm和836 nm處的光譜信號對皮蛋腌制期的時間序列較敏感，故選擇429～836 nm作為皮蛋成熟度二維光譜圖像的研究波長范圍。

2.4.2 2DCOS圖像的提取

本研究選擇429～836 nm波段范圍計算每個樣本的同步、異步和集成光譜。不同腌制時期的同步、異步和集成2DCOS光譜圖如圖7所示。同步譜揭示了在時間序列下腌制時間作為擾動因子時自相關峰對應基團振動強度變化的相關性，它具有清晰的峰形狀和高分辨率，并且在強度、數(shù)量和相對位置上不同，這可以表征皮蛋在腌制期不同成熟度的差異，但對模型的性能的影響需要進一步分析。異步光譜圖像僅具有交叉峰，這有助于區(qū)別不同波段之間的重疊峰，然而在本研究中異步光譜圖像較復雜多變，因此無法直觀進行分析，這可能是由于皮蛋內(nèi)部凝膠的復雜特性造成。集成光譜圖像是由同步和異步光譜相關強度的乘積得到，與異步光譜相比，它具有更清晰特征的相關光譜。與同步光譜相比，一些特征光譜的信息有所被忽略，需要進一步建立模型進行辨別。

圖7 不同類型的2DCOS圖像Fig.7 Different types of 2DCOS

2.5 一維光譜建模分析

采用UVE和CARS提取變換后CR-FD光譜的特征波長，將分別得到的23 個和30 個波長變量分別導入到常用的機器學習PLS-DA和SVM分類模型。為了驗證模型的性能，加入全波長光譜進行比較分析。由表2可知，降維后的模型準確率雖均高于全光譜，但機器學習對較為復雜的模型擬合效果不佳，本研究使用的機器學習模型訓練集的精度高于測試集，出現(xiàn)了過擬合現(xiàn)象。而深度學習引入了局部連接和權值共享機制，在擬合復雜模型時具有明顯的優(yōu)勢，故考慮使用2DCOS圖像結(jié)合深度學習用于皮蛋成熟度的檢測。

表2 PLS-DA和SVM模型的預測結(jié)果Table 2 Prediction results of PLS-DA and SVM models

2.6 2DCOS模型的建立與預測

2.6.1 網(wǎng)絡模型的搭建

針對皮蛋成熟度之間的差異，通過分析模型的準確率、參數(shù)量、識別速率等因素，選用ResNet18為基礎網(wǎng)絡進行優(yōu)化改進[27-28]。同時，2DCOS圖像的特征較為復雜，這對數(shù)據(jù)增強后樣本集關鍵區(qū)域的識別要求更高，因此加入注意力機制SE模塊提高特征區(qū)域的提取，提高網(wǎng)絡的分類性能[29]。

針對皮蛋成熟度的識別，改進的ResNet網(wǎng)絡結(jié)構(gòu)如圖8所示。其中輸入端是同步光譜、異步光譜和集成光譜圖像。輸入數(shù)據(jù)經(jīng)過一層卷積運算、歸一化和非線性激活。然后，將處理后的數(shù)據(jù)輸入7 個Identity模塊和2 個Conv模塊組成的18 層卷積神經(jīng)網(wǎng)絡進行特征提取。采用全局平均池化減少全連接層的參數(shù)并提取關鍵特征。Flatten層將多維數(shù)據(jù)轉(zhuǎn)換為一維，最后全連接層將學習到的分布式特征映射到樣本標簽空間。

圖8 改進的ResNet網(wǎng)絡結(jié)構(gòu)圖Fig.8 Improved ResNet network structure

網(wǎng)絡的具體改進內(nèi)容如下：

1）將網(wǎng)絡的輸入由原來的224×224×3 改為300×300×3，以增加網(wǎng)絡的預測精度。

2）ResNet18共有4 個Identity模塊和4 個Conv模塊。為了提升模型的泛化能力以及更好地擬合特征，將Identity模塊增加至7 個，而Conv模塊減少至2 個，加上第1階段和第5階段的Conv層和全連接層共有20 層網(wǎng)絡。

3）將注意力機制SE模塊分別嵌入到ResNet網(wǎng)絡的第2、3、4階段的殘差模塊。其中在第2和第3階段嵌入在Identity模塊和Conv模塊中間，在第3階段嵌入到Identity模塊之前，以此增加網(wǎng)絡對關鍵區(qū)域特征的關注度，過濾無用信息提高模型的準確性。改進后的網(wǎng)絡模型命名為ResNet20_SE。

改進后的ResNet20_SE網(wǎng)絡模型參數(shù)如表3所示。

表3 ResNet20_SE網(wǎng)絡模型的參數(shù)Table 3 Parameters of ResNet20_SE network model

2.6.2 模型訓練

實驗在AMD Ryzen 7 5800H@3.2 GHz、16 GB內(nèi)存、RTX3060 GPU、64位Windows 11操作系統(tǒng)、Python3.7和Keras框架下進行。Batch size設置為32，選擇epoch迭代次數(shù)為200，學習率為0.000 1，使用Adam優(yōu)化器進行計算，對網(wǎng)絡模型進行訓練和驗證。

為驗證ResNet20_SE的性能，加入原網(wǎng)絡ResNet18作為對比。如圖9所示，基于不同數(shù)據(jù)集的交叉熵損失函數(shù)訓練結(jié)果，對比ResNet18網(wǎng)絡，在訓練200 輪的情況下，3 個數(shù)據(jù)集中ResNet20_SE網(wǎng)絡都表現(xiàn)出較優(yōu)的效果，這是由于改進后Conv模塊的減少縮減了模型的計算量，使得在保證模型準確率的情況下更快達到收斂效果，同時得益于SE模塊的嵌入，網(wǎng)絡更加關注于關鍵區(qū)域的識別，最大化地縮小預測值與實際值的差異，使網(wǎng)絡獲得更小的損失值。結(jié)果表明，改進后的ResNet20_SE較原始網(wǎng)絡模型具有更好的魯棒性。其中，同步光譜圖像的ResNet20_SE模型的損失值最小，維持在0.01水平；集成光譜次之，相較而言異步光譜最大。

圖9 驗證集損失函數(shù)曲線Fig.9 Validation set loss function curves

2.6.3 模型測試及結(jié)果分析

選用ResNet20_SE模型分別在3 種數(shù)據(jù)集的480 副圖像上進行測試，圖10為測試結(jié)果的混淆矩陣，表4為不同光譜圖像分類的精確率和召回率。結(jié)果表明，同步光譜對于不同腌制期皮蛋分類的ResNet20_SE模型性能最好，6 種腌制期的識別召回率分別為100%、97.50%、96.25%、98.75%、93.75%和97.50%，模型具有較高的識別精度和魯棒性，這也和驗證集損失函數(shù)的結(jié)論一致。進一步發(fā)現(xiàn)，在腌制第22天時，模型將4 個同步光譜圖像誤判為第27天，這是因為在腌制20 d之后，皮蛋凝膠基本凝固，致使樣本圖像之間差異減小。

表4 ResNet20_SE對不同腌制期皮蛋的分類結(jié)果Table 4 ResNet20_SE classification results of preserved eggs in different pickling periods

圖10 ResNet20_SE模型對不同數(shù)據(jù)集分類情況的混淆矩陣Fig.10 Confusion matrix for classification of different data sets by ResNet20_SE model

進一步，選用未數(shù)據(jù)增強的30 副原始同步光譜圖像進行可視化檢測，采用較優(yōu)的同步光譜ResNet20_SE模型應用于高光譜圖像中，計算每個像素點的數(shù)值，采用偽彩色技術對6 種不同腌制期成熟度進行賦值判別，并將判別結(jié)果進行可視化，結(jié)果如圖11所示。數(shù)值0代表背景，1～6表示被判別的6 個腌制期，認定為不同的成熟度。除了22 d的1 個樣本被誤判為27 d，其余樣本像素點均全部準確識別。該結(jié)果驗證了使用高光譜成像結(jié)合深度學習方法對皮蛋成熟度鑒別的可行性。

圖11 腌制期不同成熟度分類可視化結(jié)果Fig.11 Visual classification of preserved eggs with different maturity in different pickling periods

2.7 一維光譜與2DCOS模型的比較

將一維光譜數(shù)據(jù)建立的PLS-DA、SVM和2DCOS圖像建立的ResNet20_SE腌制期成熟度鑒別模型進行對比分析。模型性能如表5所示，其中，傳統(tǒng)機器學習下的一維光譜數(shù)據(jù)的準確率可以達到85%以上，但模型泛化能力弱，存在過擬合現(xiàn)象，不能作為最優(yōu)模型；而對于ResNet20_SE模型，3 種數(shù)據(jù)集下的整體準確率均達到90%以上，特別是同步光譜下的整體準確率達到97.29%，且單張圖像平均檢測時間為24.62 ms。可以看出，本實驗改進的ResNet20_SE模型能較為理想地兼顧識別準確率和檢測速率。

表5 不同方法結(jié)果對比Table 5 Comparison of accuracy and average detection speed among different models

3 結(jié)論

經(jīng)不同變換下的一維光譜數(shù)據(jù)可以提高時間序列下腌制時間與光譜變量的相關性。其中，CR-FD變換后的光譜集透射率在512～621、797～1 000 nm對腌制時間敏感。而基于2DCOS方法，以腌制時間為擾動因子，429～836 nm作為皮蛋成熟度2DCOS圖像的研究波長范圍。

一維光譜和2DCOS圖像所建立的模型結(jié)果表明，改進后的ResNet20_SE模型最優(yōu)，對同步光譜數(shù)據(jù)集的識別準確率可以達到97.29%，且單張圖像平均檢測時間為24.62 ms，可以滿足工廠的實際檢測需求。

可視化的檢測結(jié)果可知，使用高光譜成像結(jié)合深度學習模型可以對腌制期皮蛋成熟度準確鑒別。