基于GADF變換和多尺度CNN的哈密瓜表面農藥殘留可見-近紅外光譜判別方法

喻國威，馬本學,2*，陳金成,3，黨富民，李小占，李 聰，王 剛

1. 石河子大學機械電氣工程學院，新疆 石河子 832003 2. 農業農村部西北農業裝備重點實驗室，新疆 石河子 832003 3. 新疆農墾科學院機械裝備研究所，新疆 石河子 832000 4. 農業部食品質量監督檢驗測試中心(石河子)，新疆 石河子 832000 5. 新疆農墾科學院分析測試中心，新疆 石河子 832000

引 言

哈密瓜風味濃郁，香甜爽口，是新疆“名優特”水果之一。哈密瓜在種植期間易遭受白粉病、葉枯病、枯萎病、蚜蟲等病蟲害的侵染，常使用化學農藥進行防治。但是瓜農對使用農藥的種類、濃度、頻率以及最佳防治時期的選擇等主要憑借經驗判斷、跟隨模仿，缺乏科學使用農藥的相關理念及技術，使得哈密瓜的農藥殘留問題日益嚴重[1]。果蔬農藥殘留的化學檢測方法主要有氣相色譜法(gas chromatography，GC)、高效液相色譜法(high performance liquid chromatography，HPLC)、氣相色譜-質譜聯用法(gas chromatography-mass spectrometry，GC-MS)和液相色譜-質譜聯用法(liquid chromatography-mass spectrometry，LC-MS)等，檢測精度和靈敏度較高，但設備體積較大、成本較高、操作復雜且具有破壞性，無法滿足生產現場快速檢測的需要[2]。可見-近紅外(visible-near infrared，Vis-NIR)光譜技術所需設備體積較小，便于攜帶，不僅可實現果蔬品質快速無損檢測，并且在果蔬農藥殘留無損檢測方面具有較大潛力，如Zhang等[3]實現了冬棗表面不同梯度毒死蜱殘留檢測，Sun等[4]提出了對生菜表面氰戊菊酯和毒死蜱殘留的鑒別方法，Yazici等[5]探索了草莓農藥殘留水平檢測的可行性等。

目前，可見-近紅外光譜解析常利用特定的預處理和特征變量篩選方法去除噪音和無關變量，這些方法雖然提高了模型精度，但是增加了模型復雜度，降低了普適性。深度學習算法減少了原始數據對預處理和特征篩選的依賴，可自動提取特征，為光譜數據解析提供了新理解[6]。Zhang等[7]提出一種端到端的深度光譜模型，可實現玉米、藥片、小麥和土壤的可見-近紅外光譜定量分析。Zhang等[8]提出一種含有全局平均池化層的一維卷積神經網絡(one-dimensional convolutional neural network，1D-CNN)模型用于大腸桿菌和肉類的中紅外光譜分析。Wu等[9]利用深度信念網絡(deep belief network，DBN)實現了生菜兩種農藥殘留近紅外透射光譜的定性判別，測試準確率達到95%。

根據國家標準GB 2763—2021[10]，選擇哈密瓜種植期間常用的2種農藥(百菌清和吡蟲啉)為研究對象。利用格拉姆角場(gramian angular fields, GAF)將哈密瓜表面農藥殘留的可見-近紅外光譜信息映射于二維圖像中，設計一種具有Inception結構的二維卷積神經網絡(two-dimensional convolutional neural network，2D-CNN)模型融合多尺度深度特征，提高模型精度。利用GAF變換和多尺度CNN模型實現哈密瓜表面農藥殘留的無損鑒別，為可見-近紅外光譜數據處理提供一種新理解，為大型瓜果表面農藥殘留的無損檢測提供一種新思路。

1 實驗部分

1.1 材料和樣本

試驗所用90個哈密瓜(西州蜜25號)樣本均購買于石河子市農貿市場，百菌清(劑型： 可濕性粉劑，有效成分含量： 75%，山東百農思達生物科技有限公司)和吡蟲啉(劑型： 可濕性粉劑，有效成分含量： 70%，山東海訊科技有限公司)均購買于石河子市農資市場。將90個哈密瓜平均分為3組，每組30個。將2種農藥按有效成分含量分別與清水按照1∶1 000的比例配置農藥溶液，配置方案為(1)1 g百菌清、750 g清水，(2)1 g吡蟲啉、700 g清水。將配置好的百菌清和吡蟲啉溶液分別均勻噴灑在兩組哈密瓜表面，記為A組、B組。此外，為同時鑒別哈密瓜表面是否含有農藥殘留，將清水均勻噴灑在哈密瓜表面作為對照組，記為C組。最后，將制備好的樣本置于室內干燥通風處10 h后，進行光譜數據采集。

1.2 儀器與數據采集

可見-近紅外光譜采集系統主要由光譜儀(QE Pro-FL，Ocean Optics，USA)、光纖探頭(QP600-2-VIS-NIROOS-00-5172-11，Ocean Optics，USA)、鹵素燈光源(20 W，12 V，飛利浦照明)、載物臺和計算機構成，如圖1所示。光譜儀波長范圍為347.65～1 142.05 nm，分辨率為0.69 nm，信噪比為1 000∶1。鹵素燈光源分布在暗箱兩側，照明角度約為60°。

圖1 可見-近紅外光譜采集系統Fig.1 Vis-NIR spectra collection system

光譜采集設置為漫反射模式，每次采集1 044個光譜數據。積分時間100 ms，移動平均寬度設置為4，平均掃描10次。光纖探針距離哈密瓜表面約為3 cm。為了降低噪聲的影響，光譜儀在測量前進行黑白校正。為增加光譜數據，每個哈密瓜沿赤道方向設置4個光譜采集點(相互間隔約90°)，每個采集點重復采集2次，取其平均為該采集點的光譜數據。最終，每個哈密瓜采集4條光譜，90個哈密瓜共采集360條光譜。

1.3 GAF變換

格拉姆角場(GAF)包括格拉姆角和場(gramian angular summation fields，GASF)和格拉姆角差場(gramian angular difference fields，GADF)，可以將一維數據轉換為二維圖像。本研究將GAF變換應用于光譜數據處理，將光譜數據轉換為圖像后，輸入卷積神經網絡進行分類。GAF變換具體操作步驟[11]： 首先，將光譜反射率x，縮放至區間[-1, 1]，記為X，如式(1)所示。計算縮放后光譜反射率的反余弦值，形成新的光譜序列φ，如式(2)所示。轉換后的光譜序列通過三角和/差關系進行GASF/GADF變換，轉換為沿對角線對稱的二維彩色圖像。GASF/GADF變換如式(3)和式(4)所示。

(1)

φi=cos-1Xi,i=1, 2, …, 1 044

(2)

(3)

(4)

式中，x為1 044個波長下光譜反射率的集合；xi為第i個波長下的光譜反射率，xi∈[0, 100]；Xi為區間縮放后第i個波長下的光譜反射率，Xi∈[-1, 1]；φi為第i個波長下區間縮放后光譜反射率的反余弦值，φi∈[0, π]；n為光譜波段數，n∈[1, 1 044]且n∈N+。

1.4 卷積神經網絡設計

設計了一種包含Inception結構[13]的多尺度卷積神經網絡模型，包括1層輸入層(input layer，Input)，3層卷積層(convolution layer，Conv)，1層級聯融合層(concatenate merginglayer，C-M)，1層平坦層(flatten，f)、2層全連接層(fully-connected layer，F)和1層輸出層(Output layer，Output)，如圖2所示。模型的輸入為3通道的100像素×100像素的GAF圖像，輸出為哈密瓜表面農藥殘留類別的預測概率。Conv1層使用32個尺寸為3×3的卷積內核進行低層次特征的提取，滑動步幅(stride)為2。Conv2層利用并行的2個卷積模塊(16個尺寸為1×1的卷積內核)和1個最大池化模塊(內核尺寸為3×3)進行特征降維，加快訓練速度。Conv3層利用3種不同尺寸(1×1，3×3和5×5)的卷積內核提取多尺度深度特征。C-M層采用級聯融合的方式，將Conv3層提取的3種不同尺度的深度特征沿著深度維度進行合并(寬度和高度不變)，實現多尺度深度特征融合，如式(5)所示。f層將多維特征一維化后，輸入全連接層。F1層的神經元個數為256，F2層的神經元個數為3。

圖2 多尺度卷積神經網絡結構Fig.2 The multi-scale CNN structure

v=(v1,v2,v3)

(5)

式(5)中，v1,v2,v3為經并行卷積操作后提取的3個深度維度的特征向量，v1∈Rl，v2∈Rm，v3∈Rn；v為深度維度的融合特征向量，v∈Rl+m+n。

卷積和池化操作的填充模式(padding)均為same，即利用零填充使網絡層的輸出與輸入具有相同的空間尺寸。選擇線性整流單元(rectified linear unit，ReLU)作為卷積層和全連接層的激活函數，softmax函數作為分類激活函數，多分類交叉熵函數(categorical crossentropy)作為損失函數。全連接層后添加Dropout層，Dropout率為0.2，防止模型過擬合。選擇隨機梯度下降(stochastic gradient descent，SGD)優化器對模型的訓練過程進行優化，利用牛頓動量優化算法加速梯度下降并抑制震蕩，每次參數更新后學習率衰減參數(decay)為1×10-6，動量參數(momentum)為0.7。

1.5 實驗環境

硬件環境： 處理器(CPU)為Intel (R) Core (TM) I7-8700 CPU @ 3.20 GHz，圖形處理器(GPU)為NVIDIA GeForce RTX2060。軟件環境： 操作系統為Windows10 64位，配置NVIDIA CUDA Toolkit 10.1和深度神經網絡加速庫NVIDIA cuDNNv7.6.5，編程語言為Python 3.7.3，深度學習框架為TensorFlow-gpu 2.1.0，深度學習庫為Keras 2.3.1。

2 結果與討論

2.1 光譜分析

哈密瓜表面農藥殘留的原始光譜和平均光譜曲線如圖3所示。從圖3(a)中可以看出，不同農藥殘留的可見-近紅外光譜反射率不同，但變化趨勢相似。其中，420及670～680 nm附近的光譜吸收峰可能與葉綠素有關； 830～840 nm附近存在較弱的吸收峰，可能是C—H基團的三級倍頻吸收特征； 960～980 nm附近吸收峰與哈密瓜表皮水分含量有關，可能是O—H基團的二級倍頻吸收特性[13-14]。從圖3(b)中可以看出，哈密瓜表面無農藥殘留的平均光譜反射率最高，兩種農藥殘留的平均光譜曲線在750 nm后差異較為明顯。

圖3 哈密瓜表面農藥殘留的可見-近紅外光譜(a)： 原始光譜； (b)： 平均光譜Fig.3 Vis-NIR spectra of pesticide residues on the Hami melon surface(a)： Raw spectra； (b)： Average spectra

為消除原始光譜中的噪聲，采用標準化方法對光譜數據進行預處理，使其均值為0，方差為1。然后，利用GAF變換將一維光譜數據轉換為二維圖像，尺寸為100像素×100像素，分辨率為300 dpi。經標準化預處理的無農藥殘留、百菌清和吡蟲啉殘留平均光譜曲線，如圖4(a1)，(b1)和(c1)所示； 對應的GASF圖像，如圖4(a2)，(b2)和(c2)所示； 對應的GADF圖像，如圖4(a3)，(b3)和(c3)所示。GASF與GADF圖像通過顏色變化和交匯，將一維光譜信息映射在二維圖像中。不同農藥殘留的GAF圖像顏色特征存在差異，為利用GAF變換和2D-CNN模型實現哈密瓜表面農藥殘留的無損判別提供了依據。

圖4 可見-近紅外光譜的GAF圖像(a1, a2, a3)： 無殘留； (b1, b2, b3)： 百菌清殘留； (c1, c2, c3)： 吡蟲啉殘留(1)： 標準化； (2)： 格拉姆角和場； (3)： 格拉姆角差場Fig.4 GAF image of Vis-NIR spectra(a1, a2, a3)： No residues； (b1, b2, b3)： Chlorothalonil residues； (c1, c2, c3)： Imidacloprid residues；(1)： Standardization； (2)： GASF； (3)： GADF

2.2 多尺度CNN模型結果及分析

將哈密瓜表面無殘留、百菌清和吡蟲啉殘留的GAF圖像數據集按5∶1的比例劃分為訓練集和測試集，訓練集共300張圖像，測試集共60張圖像，標簽1為無殘留，標簽2為百菌清殘留，標簽3為吡蟲啉殘留。模型訓練的學習率(learningrate)為0.005，批量大小(batchsize)為32，迭代次數(epoch)為80。模型性能利用損失值(Loss)和準確率(Accuracy)指標進行評價。GASF和GADF圖像的多尺度CNN模型訓練結果如圖5(a)和(b)所示。從圖5可以看出，當準確率曲線逐步上升并趨于穩定和損失值逐步下降并趨于穩定時，GASF圖像的訓練集損失值和準確率分別為0.011和100.00%，GADF圖像的訓練集損失值和準確率分別為0.007和100.00%，故模型的訓練效果較好。

圖5 多尺度CNN模型訓練結果(a)： 格拉姆角和場； (b)： 格拉姆角差場Fig.5 The training results of the multi-scale CNN model(a)： GASF； (b)： GADF

為進一步評估模型性能，選用訓練數據集外的60張圖像作為測試集對模型進行測試。利用混淆矩陣(confusion matrix)可以直觀地看出多尺度CNN模型對測試集中各個類別樣本的預測結果，如圖6所示。矩陣的每一列代表樣本的預測類別，每一行代表樣本的真實類別，對角線代表每個類別被正確預測的樣本數量。由圖6(a)可以看出，無殘留、百菌清和吡蟲啉殘留中均有樣本被誤判為其他類別，說明3類樣本的GASF圖像特征較為相似。圖6(b)中3類樣本的判別效果較好，不僅沒有無殘留樣本被誤判為農藥殘留，而且沒有農藥殘留樣本被誤判為無殘留，說明3種類別的GADF圖像特征差異較為明顯。結果表明，利用GADF數據轉換方法和多尺度CNN模型對哈密瓜表面農藥殘留種類判別的準確率較高，因此后續不同CNN模型性能對比試驗采用GADF圖像作為模型輸入。

圖6 多尺度CNN模型混淆矩陣(a)： 格拉姆角和場； (b)： 格拉姆角差場Fig.6 The confusion matrixof the multi-scale CNN model(a)： GASF； (b)： GADF

2.3 模型性能對比

為驗證本研究提出的GADF變換和多尺度CNN模型的有效性，選擇AlexNet和VGG-16兩種CNN模型以及支持向量機(support vector machine，SVM)和極限學習機(extreme learning machine，ELM)兩種機器學習分類模型進行性能對比。CNN模型均選擇SGD算法對訓練過程進行優化。SVM模型采用徑向基函數為核函數，并利用遺傳算法對超參數進行尋優，最終懲罰系數c和核參數gamma分別設置為5.36和0.11。ELM模型隱含層神經元個數為6500，傳遞函數為Sigmoid。AlexNet模型的學習率為0.005，批量大小為64，迭代次數為200。VGG-16模型的學習率為0.001，批量大小為64，迭代次數為300。AlexNet和VGG-16模型的輸入為二維GADF圖像，SVM和ELM模型的輸入為一維光譜數據，模型測試結果如表1所示。

由表1可以看出，CNN模型對于無殘留樣本的判別效果較好，沒有1個無殘留樣本被誤判，SVM和ELM模型在3個類別中均有誤判樣本，綜合準確率較低。結果表明，可見-近紅外光譜GADF變換結合CNN模型在哈密瓜表面有無農藥殘留判別中具有較大潛力。3種CNN模型的訓練準確率均為100.00%，其中多尺度CNN模型訓練耗時最短為14 s，AlexNet模型訓練耗時稍長為25 s，VGG-16模型訓練耗時最長為247 s。AlexNet和VGG-16模型的網絡架構較深，雖然提高了模型的學習能力，但是增加了模型復雜度，訓練耗費的時間較長，較多的池化層也增加了信息丟失的風險。多尺度CNN中的Inception結構引入并行卷積通道，并沿深度方向進行特征融合，提高了模型的特征提取能力； 組合小尺寸卷積內核，降低了信息丟失的風險； 在深度方向實現多尺度特征融合，提高了模型的特征提取能力[8]。不同分類模型測試性能結果表明，多尺度CNN模型比傳統深度神經網絡和機器學習模型更具有優勢，利用可見-近紅外光譜GADF變換結合多尺度CNN模型對哈密瓜表面農藥殘留種類判別的效果較好，綜合判別準確率為98.33%。

表1 不同分類模型測試性能對比Table 1 Test performance comparisons of different classification models

3 結 論

提出一種基于可見-近紅外光譜GADF變換和多尺度CNN模型的哈密瓜表面農藥殘留定性判別方法。利用GAF變換將一維可見-近紅外光譜信息轉換為二維彩色圖像，構建哈密瓜表面農藥殘留可見-近紅外光譜的GAF圖像數據集，包括無殘留、百菌清和吡蟲啉殘留。設計一種包含Inception結構的多尺度CNN模型，利用并行卷積模塊獲取多尺度深度特征，沿著深度方向進行特征融合，提升模型的特征提取能力。模型測試混淆矩陣結果表明，GADF變換對可見-近紅外光譜特征的表達能力優于GASF變換。不同分類模型測試結果表明，CNN模型的判別效果均優于SVM和ELM模型，其中多尺度CNN模型性能最佳，訓練耗時最短為14 s，訓練集和測試集準確率分別為100.00%和98.33%。與傳統單一深度的CNN模型相比，多尺度特征融合結構使模型輕量化的同時保證了模型的精度。今后的研究中，將進一步擴充哈密瓜表面農藥殘留的可見-近紅外光譜數據集，提高多尺度CNN模型的泛化能力，實現多種類混合農藥的精確判別。

致謝：感謝石河子大學機械電氣工程學院波譜分析實驗室的董萬城老師和新疆農墾科學院分析測試中心唐宗貴、李會會老師在實驗過程中提供的指導和幫助。