基于卷積神經(jīng)網(wǎng)絡(luò)與高光譜的雞肉品質(zhì)分類檢測

王九清，邢素霞*，王孝義，曹 宇

（北京工商大學(xué)計算機與信息工程學(xué)院，食品安全大數(shù)據(jù)技術(shù)北京市重點實驗室，北京 100048）

隨著雞肉在人類日常飲食中的比重日益增加，人們對雞肉品質(zhì)的重視也在不斷增長，這極大地推動了肉制品品質(zhì)及安全檢測技術(shù)的發(fā)展[1]。傳統(tǒng)的檢測方法，如感官分析、理化檢測等，都十分繁瑣，且難以實現(xiàn)對雞肉的快速、無損檢測[2-3]。基于光譜分析的高光譜圖像檢測技術(shù)[4]將傳統(tǒng)的成像技術(shù)和光譜技術(shù)結(jié)合起來，光譜數(shù)據(jù)能夠反映樣本的內(nèi)部品質(zhì)，圖像數(shù)據(jù)能夠反映樣本的外部特征[5-6]，將二者結(jié)合起來可以實現(xiàn)對雞肉的無損檢測，并且在食品質(zhì)量評估領(lǐng)域中也得到大量的應(yīng)用[7-8]。然而，高光譜數(shù)據(jù)維度高、數(shù)據(jù)量大，具有非線性和復(fù)雜性，如果人為地對高光譜數(shù)據(jù)進行特征提取和數(shù)據(jù)重建，過程十分復(fù)雜，耗時較長，并且難免會造成有效信息的浪費[9-10]。

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）是將人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習技術(shù)結(jié)合產(chǎn)生的一種新型人工神經(jīng)網(wǎng)絡(luò)方法[11-12]，可以直接將原始數(shù)據(jù)作為網(wǎng)絡(luò)的輸入，由特征檢測層通過訓(xùn)練數(shù)據(jù)進行學(xué)習[13-15]，避免了前期復(fù)雜的人工特征抽取，極大地簡化人為參與的操作過程，在圖像識別領(lǐng)域獲得了廣泛的應(yīng)用[16-17]。

本研究以雞肉為研究對象，使用CNN結(jié)合高光譜成像技術(shù)對雞肉進行品質(zhì)分類檢測。從雞肉高光譜數(shù)據(jù)中提取光譜、彩色圖像等信息作為并行輸入，建立基于光譜及圖像的綜合CNN模型，實現(xiàn)對雞肉的品質(zhì)檢測，并探究高光譜數(shù)據(jù)中的光譜和圖像數(shù)據(jù)在雞肉品質(zhì)分類檢測中的作用。

1 材料與方法

1.1 材料與試劑

超市盒裝冰鮮雞肉，500 g/盒，每盒作為1 組（3 個樣品），共90 組、270 個樣品。將每個樣本分為2 份，同時貯存在冷藏室中，以待進行理化檢測和高光譜信息采集。

1.2 儀器與設(shè)備

M Sorter肉制品光譜檢測儀 北京卓立漢光有限公司；Matlab軟件（R2014b） 美國MathWorks公司；PyCharm軟件（2017.3 x64） 捷克JetBrains公司；Tensorf l ow框架 美國谷歌公司。

1.3 方法

1.3.1 雞肉理化指標測定

雞肉理化指標委托華測科技有限公司進行測定。參照GB 5009.228—2016《食品安全國家標準 食品中揮發(fā)性鹽基氮的測定》[18]中的半微量定氮法測定揮發(fā)性鹽基氮（total volatile basic nitrogen，TVB-N）含量；參照GB 4789.2—2016《食品安全國家標準 食品微生物學(xué)檢驗菌落總數(shù)測定》[19]測定菌落總數(shù)。90 組樣本的TVB-N含量及菌落總數(shù)如表1所示。

表 1 雞肉樣品的TVB-N含量及菌落總數(shù)Table 1 TVB-N content and total bacterial count of chicken samples

1.3.2 高光譜數(shù)據(jù)采集

采樣時間為貯藏第1、6、7、10、13、16、20、23、27、31天的每天下午2點，共計10 個采樣時間點。每個時間點取出9 組高光譜樣品和9 組理化樣品，同時進行高光譜數(shù)據(jù)采集和理化指標測定。其中，高光譜樣品貯藏在冷藏箱中，由華測公司在實驗前1 h將樣品送到實驗室。

高光譜數(shù)據(jù)采集過程：在實驗室內(nèi)，使用M Sorter肉制品光譜檢測儀采集雞肉的高光譜數(shù)據(jù)，波長范圍390～1 020 nm，曝光時間3.75 ms。

剛采集到的高光譜數(shù)據(jù)可能會受到光照不均或鏡頭暗電流的影響，帶有大量噪聲，需要對其進行黑白校正[20]。校正后的雞肉高光譜數(shù)據(jù)按照公式（1）計算。

式中：R為校正后的雞肉高光譜數(shù)據(jù)[21]；I為原始雞肉高光譜數(shù)據(jù)；W為鏡頭對準白板時的全白標定圖像；B為鏡頭蓋住時的全黑標定圖像。

1.3.3 高光譜數(shù)據(jù)提取

高光譜數(shù)據(jù)有極高的分辨率，其龐大的數(shù)據(jù)中存在大量冗余的多重共線性信息，其中既包含灰度值、紋理、TVB-N含量及菌落總數(shù)等有用信息，也包含無用的噪聲信息[22-23]。使用CNN省略了人為數(shù)據(jù)降維和特征抽取過程，只需對高光譜數(shù)據(jù)中的光譜數(shù)據(jù)及彩色圖像數(shù)據(jù)進行提取和預(yù)處理，主要步驟如下：1）提取感興趣區(qū)域[24]，并進行非均勻性校正。在雞肉的原始高光譜圖像上隨機提取尺寸為66×66的區(qū)域作為感興趣區(qū)域，采用光譜標準化的非均勻性校正方法進行處理；2）提取校正后感興趣區(qū)域的平均光譜及彩色圖像。采集到的高光譜數(shù)據(jù)，其光譜范圍為390～1 020 nm，大約每2.47 nm為1 個波段，共分為256 個波段，平均光譜是對感興趣區(qū)域的每個波段上的光譜值取平均，即平均光譜是長度為256的一維向量；分別取第107、70、36個波段的灰度圖像作為R、G、B分量，合成彩色圖像；3）對光譜進行去噪預(yù)處理，保存處理前后的數(shù)據(jù)；4）對彩色圖像進行濾波等預(yù)處理，保存處理前后的數(shù)據(jù)。

1.3.4 高光譜數(shù)據(jù)預(yù)處理

光譜數(shù)據(jù)預(yù)處理方法主要有標準化、微分預(yù)處理及多元散射校正等[25-27]。標準化能夠消除由微小光程或樣品薄厚不均勻引起的光譜變化；微分預(yù)處理可以分辨重疊峰，辨識較小但是較為明顯的特征峰，消除背景層的干擾并提高圖像分辨率，由于該過程中會引入一定的噪聲，故不使用該方法；多元散射校正可以有效消除雞肉樣品顆粒不一致、分布不均勻所導(dǎo)致的散射問題，修正高光譜掃描樣本的光程誤差。因此，本研究使用標準化和多元散射校正對高光譜數(shù)據(jù)進行預(yù)處理。

高光譜圖像的采集過程中難免會帶有一定的噪聲干擾，影響圖像的質(zhì)量，進而影響模型的分類效果，因此要對采集到的圖像進行濾波，本研究采取均值濾波的方法對雞肉的彩色圖像進行預(yù)處理。

CNN的主要結(jié)構(gòu)如圖1所示，其主要由輸入層、若干個卷積層和池化層、全連接層以及輸出層構(gòu)成[28-29]。

圖1 CNN結(jié)構(gòu)Fig. 1 Structure of CNN

利用從高光譜數(shù)據(jù)中提取并經(jīng)過預(yù)處理的光譜及圖像數(shù)據(jù)建立光譜-圖像聯(lián)合的綜合CNN模型，模型結(jié)構(gòu)如圖2所示。一維光譜數(shù)據(jù)輸入到一維卷積部分，提取光譜特征；二維彩色圖像輸入到二維卷積部分，提取圖像特征。通過特征融合層，將光譜特征和圖像特征聯(lián)合起來，連接到全連接層，最后通過輸出層得出分類結(jié)果。

圖2 綜合CNN模型結(jié)構(gòu)Fig. 2 Structure of integrated CNN model

1.3.5.1 一維卷積部分

圖3 一維卷積部分結(jié)構(gòu)Fig. 3 Structure of one-dimensional convolution

經(jīng)過預(yù)處理的光譜數(shù)據(jù)長度為256，深度為1，將其作為一維卷積部分的輸入，其結(jié)構(gòu)如圖3所示。其中，設(shè)計為三層卷積是為了與二維卷積層數(shù)一致，便于對比。3 個卷積層的卷積核尺寸要與輸入數(shù)據(jù)相匹配，將卷積步長設(shè)置為1，設(shè)計多種核尺寸組合，如（9，9，9）、（9，5，9）、（9，5，7）等，將分類效果最好的尺寸組合（9，9，9）作為一維卷積部分的核尺寸，各層卷積核的數(shù)量根據(jù)經(jīng)驗設(shè)置；池化層選擇最大池化，核尺寸均為2，步長為2，即將特征圖的尺寸壓縮為原來的1/2；最后，一維卷積部分輸出結(jié)果為120 個長度為25的特征向量。

1.3.5.2 二維卷積部分

經(jīng)過預(yù)處理后的彩色圖像尺寸為66×66，深度為3，將其作為二維卷積部分的輸入，其結(jié)構(gòu)如圖4所示。其中，根據(jù)輸入的尺寸將卷積層數(shù)設(shè)置為3最佳，設(shè)置步長為1，3 個卷積層的核尺寸也設(shè)計了多種：（3×3，5×5，5×5）、（3×3，5×5，7×7）等，效果最佳的是（3×3，5×5，5×5），各層核數(shù)量根據(jù)經(jīng)驗設(shè)置；池化層選擇最大池化，核尺寸均為2×2，步長均為2，相當于將特征圖壓縮為原來的1/4；最后，二維卷積部分的輸出結(jié)果為270 張尺寸為5×5的特征圖。

圖4 二維卷積部分結(jié)構(gòu)Fig. 4 Structure of two-dimensional convolution

1.3.5.3 特征融合層

從卷積部分得到的圖像特征，其特征值的數(shù)量6 750（5×5×270）遠大于光譜特征值的數(shù)量3 000（25×120），因此在本層首先要對圖像特征進行壓縮。數(shù)據(jù)壓縮層就是一個包含3 000 個神經(jīng)元的全連接層，將6 750 個圖像特征值作為輸入，輸出個數(shù)為3 000，即為特征值數(shù)量壓縮；然后，將3 000 個光譜特征加上3 000 個圖像特征，組成長度為6 000的高光譜特征，接入到全連接層。

1.3.5.4 全連接層

其次，在實際進行教學(xué)內(nèi)容分層的過程當中，必須要綜合考慮學(xué)生的實際接受能力，并在此基礎(chǔ)上保證教學(xué)內(nèi)容的針對性，是每一名學(xué)生能夠有效地了解到所講解的具體內(nèi)容。

全連接層共有2 層，神經(jīng)元的個數(shù)分別設(shè)定為2 000和800，即將特征值數(shù)量進一步壓縮。為了防止過擬合，在每一層后都增加了Dropout層[30-31]，其作用是將全連接層的神經(jīng)元輸出以一定概率將其暫時置零，這樣每一次訓(xùn)練的都是不同的網(wǎng)絡(luò)。Dropout示意圖如圖5所示，左側(cè)為一個正常的神經(jīng)網(wǎng)絡(luò)，右側(cè)是引入Dropout層的神經(jīng)網(wǎng)絡(luò)。

圖5 Dropout示意圖Fig. 5 of Dropout

1.3.5.5 模型的主要參數(shù)

Dropout層只在訓(xùn)練時起作用，其將全連接層神經(jīng)元輸出置零的概率P=1-Keep_prob，如果Keep_prob的值過小，將大大增加訓(xùn)練時間；其值過大則起不到很好的防止過擬合的效果。訓(xùn)練時Keep_prob的理想值為0.5，此時Dropout隨機生成的網(wǎng)絡(luò)結(jié)構(gòu)最多，實際應(yīng)用中一般選擇0.5～0.8之間的值，本研究中Keep_prob設(shè)置為0.7。測試時，由于Dropout層不起作用，將Keep_prob設(shè)置為1.0。

由于Dropout層的存在，使用固定學(xué)習率會使得模型精度產(chǎn)生振蕩，不利于精度的收斂。因此，本研究使用指數(shù)衰減法，即每經(jīng)過一定的迭代周期，學(xué)習率乘以固定的衰減系數(shù)，獲得指數(shù)衰減學(xué)習率[32]，使后期模型的訓(xùn)練更加穩(wěn)定。初始學(xué)習率為0.001，衰減率為0.96，衰減周期為10，即每訓(xùn)練10 次，學(xué)習率衰減為原來的96%。

1.3.5.6 模型評價標準——準確率和損失函數(shù)

準確率是指使用測試集對訓(xùn)練好的模型進行分類檢測時，分類正確數(shù)據(jù)的百分比。準確率按照公式（2）計算。

式中：acc為準確率/%；n為測試集的數(shù)據(jù)總數(shù)；a為分類正確的個數(shù)。

損失函數(shù)表示預(yù)測值與實際值的不一致程度[33]，損失函數(shù)越大表示不一致程度越高，模型的效果越差；反之，模型的魯棒性就越好。本研究使用交叉熵損失，損失函數(shù)按照公式（3）計算。

式中：J為損失函數(shù)；N為樣本個數(shù)；k為類別數(shù)；ezi為類別i的網(wǎng)絡(luò)輸出指數(shù)；yi為類別i的真實標簽。

1.6 模型的訓(xùn)練

根據(jù)測得的TVB-N含量和菌落總數(shù)數(shù)據(jù)以及GB 16869—2005《鮮、凍禽產(chǎn)品》[34]和GB 2707—2016《食品安全國家標準 鮮（凍）畜、禽產(chǎn)品》[35]，可將雞肉品質(zhì)等級劃分為可食用和不可食用2 類，在此基礎(chǔ)上將雞肉品質(zhì)等級進一步劃分為新鮮、次新鮮、初級腐敗、中度腐敗和重度腐敗5 個等級，劃分依據(jù)如表2所示。根據(jù)表2中的分類標準，結(jié)合采集到的理化指標，將所有樣本分為5 類。

表 2 雞肉品質(zhì)分級標準Table 2 Chicken quality grading criteria

將分類好的數(shù)據(jù)按照5∶1的比例隨機分成訓(xùn)練集和數(shù)據(jù)集。使用訓(xùn)練集進行訓(xùn)練，即將高光譜數(shù)據(jù)作為輸入，將分類標簽作為輸出來調(diào)試模型；使用測試集來檢驗?zāi)Ｐ偷碾u肉品質(zhì)分類預(yù)測精度，即將高光譜數(shù)據(jù)作為輸入預(yù)測樣本分類，然后將預(yù)測分類與實際分類進行對比。

首先，將光譜和圖像數(shù)據(jù)作為并行輸入，即將一維光譜數(shù)據(jù)輸入到一維卷積部分，將二維圖像數(shù)據(jù)輸入到二維卷積部分，對綜合CNN模型進行訓(xùn)練，共訓(xùn)練5 000 次；然后，去掉綜合CNN模型的二維卷積部分，得到1D-CNN模型，將一維光譜數(shù)據(jù)作為1D-CNN模型的輸入，對模型進行訓(xùn)練，共訓(xùn)練5 000 次；去掉其一維卷積部分，形成2D-CNN模型，將二維圖像數(shù)據(jù)作為2D-CNN模型的輸入，對模型進行訓(xùn)練，共訓(xùn)練5 000 次。

2 結(jié)果與分析

2.1 高光譜數(shù)據(jù)標準化

由于采集到的高光譜圖像中或多或少含有曝光過度點，這會對分類產(chǎn)生極大的影響，在提取目標區(qū)域后，采用光譜標準化的方法進行非均勻性校正。校正后的三維高光譜數(shù)據(jù)按照公式（4）計算。

式中：Xij為校正后的三維高光譜數(shù)據(jù)在（i，j）像元上的光譜；Dij為原始三維高光譜數(shù)據(jù)在（i，j）像元上的光譜；N為原始高光譜數(shù)據(jù)D中所有光譜的總均值；n為Dij中256 個光譜值的平均值。

處理前后的彩色圖像如圖6所示，校正前的圖像中亮點即為過曝點。

圖6 非均勻性校正效果圖Fig. 6 Rendering of non-uniformity correction

2.2 經(jīng)預(yù)處理所得高光譜數(shù)據(jù)

對高光譜數(shù)據(jù)進行預(yù)處理的結(jié)果如圖7所示?？梢?，經(jīng)過標準化和多元散射校正的光譜，其反射特性得到保留，差異性和平均光譜得到加強。

圖7 光譜預(yù)處理效果圖Fig. 7 Raw and pretreated spectra

2.3 彩色圖像的預(yù)處理

圖像數(shù)據(jù)預(yù)處理過程如圖8所示，經(jīng)過均值濾波的圖像雖然濾除了噪聲，但圖像也變得模糊，邊緣輪廓不明顯，因此對濾波后的圖像再進行銳化，銳化后的圖像邊緣輪廓得到了加強，雞肉的紋理更加清晰。

圖8 彩色圖像預(yù)處理效果圖Fig. 8 Rendering of color image pretreatment

2.4 模型的測試

表 3 實驗結(jié)果Table 3 Experimental results

使用測試集來檢驗?zāi)Ｐ途?。由?可知：基于光譜數(shù)據(jù)的1D-CNN模型準確率為84.97%，損失函數(shù)為5.72；基于彩色圖像數(shù)據(jù)的2D-CNN模型準確率為41.60%，損失函數(shù)為33.98；基于處理后光譜數(shù)據(jù)和彩色圖像數(shù)據(jù)的綜合CNN模型準確率達93.58%，損失函數(shù)為0.30。實驗結(jié)果證明了CNN結(jié)合高光譜技術(shù)在雞肉品質(zhì)檢測中的可行性，并且聯(lián)合使用雞肉的光譜和圖像數(shù)據(jù)模型準確率更高，損失函數(shù)更小，其分類效果優(yōu)于使用單一數(shù)據(jù)的分類模型，同時也證明光譜數(shù)據(jù)所包含的雞肉品質(zhì)信息遠高于彩色圖像數(shù)據(jù)。另外，基于預(yù)處理之前數(shù)據(jù)的綜合CNN模型準確率為75.10%，損失函數(shù)為9.51，說明對輸入數(shù)據(jù)進行預(yù)處理是十分必要的，這一過程能夠有效提高模型的精度。

3 結(jié) 論

以雞肉為研究對象，結(jié)合國家生化檢驗標準（TVB-N含量和菌落總數(shù)），根據(jù)高光譜數(shù)據(jù)的圖像、光譜等信息，建立CNN模型，對雞肉進行品質(zhì)分類研究。其中，綜合雞肉高光譜數(shù)據(jù)中的光譜及圖像信息的綜合CNN模型，分類效果最好，準確率和損失函數(shù)分別達93.58%和0.30，而基于光譜信息的1D-CNN模型和基于圖像信息的2D-CNN模型的準確率分別為84.97%和41.60%，損失函數(shù)分別為5.72和33.98。這表明綜合使用雞肉的光譜和圖像數(shù)據(jù)，雞肉的內(nèi)、外特征得到了充分利用，使信息更加豐富，有效提高了模型的精度；并且，光譜數(shù)據(jù)可以提供比圖像數(shù)據(jù)更多的有效信息，在雞肉品質(zhì)信息中占比重更大，對雞肉品質(zhì)檢測的影響更大；另外，使用未經(jīng)過預(yù)處理數(shù)據(jù)的綜合CNN模型準確率為75.10%，略低于基于經(jīng)過預(yù)處理數(shù)據(jù)的綜合CNN模型，說明CNN雖然省去了人工特征提取的過程，可以直接將原始數(shù)據(jù)作為輸入進行實驗，但是對數(shù)據(jù)進行預(yù)處理仍然是必不可少的，這一過程可以使模型得到優(yōu)化，從而更有效地對雞肉品質(zhì)進行快速、無損的分類檢測。