卷積神經網絡和近紅外光譜的土壤pH值預測

唐永生，陳爭光

黑龍江八一農墾大學電氣與信息學院，黑龍江 大慶 163319

引 言

土壤酸堿度不僅影響著土壤的理化性質和微生物的活性，還與土壤養分的轉化以及農作物的生長發育息息相關[1]。為了能夠合理有效地開發利用耕地資源，因地制宜地對耕地進行精準施肥，需要對土壤的酸堿度變化進行一定的監測把控。目前對土壤酸堿度的檢測常采用比色法和電位法[2]，雖然測量結果精確，但效率低，耗時長，不適用于在線檢測以及野外大面積土壤檢測。

近紅外光譜在土壤成分分析與參數測定方面取得了很多研究成果。沈掌泉等[3利用近紅外光譜與偏最小二乘回歸法(partial least squares regression,PLSR)對土壤中的有機碳含量進行預測，其訓練集和測試集的均方根誤差分別為0.192和0.200； 盛夢鴿[4]等以國內7個省份共計313個茶園土壤樣本為材料，采用近紅外光譜分析與多元線性回歸(multiple linear regression,MLR)方法對茶園土壤的pH值進行預測，其模型的預測相關系數為0.928； 王凱龍[5]等以野外實測土壤光譜數據為基礎，分別采用主成分回歸(principal component analysis，PCA)、PLSR及BP神經網絡建立土壤pH預測模型，結果表明土壤光譜數據與土壤pH值之間存在良好的相關性且呈顯著水平。高小紅[6]等利用可見光-近紅外光譜與BP神經網絡相結合的方式對土壤全氮含量進行估算，模型對預測集的決定系數為0.81； 方向[7]等利用可見光-近紅外光譜和最小二乘支持向量機(least squares support vector machine,LSSVM)對土壤中的速效磷進行預測，模型對驗證集的決定系數為0.78。以上研究結果表明，采用這些方法能夠有效地對小樣本土壤數據養分含量進行預測，但是隨著研究的深入，數據量的增加，這些方法的弊端也慢慢暴露出來，其中，PLS不能有效的處理非線性問題，BP神經網絡容易出現局部最優解和“過擬合”現象，而SVM則無法對大規模的訓練數據實施訓練。

近年來由于卷積神經網絡(convolution neural network,CNN)具備局部感知，權值共享及自動提取數據特征的特點，模型的運行效率較高，從而被廣泛應用在計算機視覺[8]，自然語言處理[9]，語音識別[10]等領域。故將CNN應用于基于近紅外光譜數據的土壤pH值預測建模中，首先對光譜數據進行一階求導和Savitzky-Golay平滑預處理，消除基線漂移或其他背景干擾，提高信噪比。然后根據近紅外光譜數據的特點對經典CNN模型進行改進，建立土壤pH值的CNN預測模型，并與傳統的PLSR和BP神經網絡算法模型進行對比，旨在探究一種高效準確的土壤pH值獲取方法。

1 實驗部分

1.1 數據來源

以歐洲統計局在2008年—2012年對歐盟23個成員開展的土地利用及覆蓋面積統計調查研究(European Commission Land Use/Cover Area frame Statistical Survey，LUCAS)所采集的土壤養分及可見光近紅外光譜樣本為研究對象，共計19 936個樣本點。土壤樣本分為礦物質和腐殖質兩類，主要包括耕地，林地，草地等多種土壤類型，樣本的取樣深度為土壤剖面的0～20 cm范圍，采用十字交叉法在采樣點2米范圍內取5份土樣約500 g進行混合[11]。土壤pH值依照ISO 10390—1994標準進行檢測，使用FOSS XDS近紅外光譜分析儀進行光譜采集，光譜儀測量波長范圍為400～2 500 nm，分辨率為0.5 nm。光譜預處理采用CAMO公司的The Unscrambler X10.3。使用Python語言調用Tensorflow工具包搭建基于CNN的回歸預測模型。

選取了LUCAS土壤數據集中的礦物質土壤樣本共計17 272個。其中隨機選取15 000個樣本作為建模集，剩余的2 272個樣本作為測試集。土壤樣本pH值統計信息如表1所示，其中建模集的pH值范圍為3.430～10.080，測試集的pH值范圍為3.510～8.770，建模集能夠完整覆蓋測試集中土壤樣本的pH值范圍。

表1 LUCAS土壤數據集pH值基本信息Table 1 Basic information of pH value in LUCAS soil dataset

1.2 光譜數據處理

pH值作為衡量土壤養分轉化及土壤肥力的一個重要指標，是土壤養分管理項目中必測的內容之一，土壤的酸堿度主要與土壤有機質和微生物中的氫氧基團及土壤膠體中的Al+和H+濃度有關。LUCAS光譜的平均曲線及變異系數曲線如圖1所示，由于受到土壤中氫氧基，羥基鋁及甲基團的影響，光譜曲線在1 400，1 900，2 200和2 350 nm處出現明顯的波峰。光譜儀在采集土壤樣本時，會受到周圍環境的影響，光譜中往往會摻雜各種噪聲，因此光譜曲線出現中等變異，變異平均系數為0.217。為消除光譜中的基線偏移，提高信噪比，采用一階求導和Savitzky-Golay平滑(多項式階數為2，平滑點數為11)對光譜數據進行預處理，處理后的光譜圖像如圖2所示，后續的建模及預測都是基于圖2數據進行。

圖1 LUCAS土壤樣本平均光譜曲線圖Fig.1 Mean spectra of LUCAS soil samples

圖2 經過預處理的土壤近紅外光譜圖Fig.2 Pretreated near infrared spectra of soil

1.3 卷積神經網絡

卷積神經網絡是一種端到端的有監督式神經網絡，基本架構由輸入層，卷積層，非線性激活層，池化層和全連接層五部分組成。其中卷積層是卷積神經網絡中最重要的一層，即通過“局部連接，權值共享”的方式對輸入光譜數據進行特征提取。卷積之后，通常會加入偏置，并引入非線性激活函數，經過激活函數后，得到結果

(1)

池化是一種非線性的降采樣方法，主要是對卷積層輸出的特征值進行降維，減少運算規模。目前，池化主要分為最大值池化和平均值池化兩種方式，本工作則采用最大池化法來對模型進行降采樣處理。

1.4 建立模型

整個模型的參數設置如表2所示，為避免在特征學習過程中出現梯度消失，神經元飽和的狀況，將所有的激活函數均設置為線性整流函數(rectified linear units,ReLU)。經過四層卷積池化操作后得到128個寬度為260的光譜信號，然后將128個光譜信號進行扁平化處理，將得到的一維數據輸入到全連接層，全連接層含有兩個隱含層，為使計算機充分利用資源，全連接層兩個隱含層神經元的個數分別為1 024和128，輸出層含有一個神經元，用于實值回歸。整個網絡層的基本架構如圖3所示。

表2 CNNR模型參數設置Table 2 Parameters of CNNR model

圖3 CNNR模型基本結構Fig.3 Basic structure of CNNR model

網絡模型采用信號前向傳遞，誤差反向傳播的方式進行訓練，前向傳遞中初始化網絡權重和偏置值分別為截斷正態分布的隨機值和固定值0.1，反向傳播中采用的損失函數為均方誤差函數，如式(2)所示

(2)

2 結果與討論

2.1 訓練次數及卷積層數對模型的影響

在使用建模集樣本對模型內部參數進行調節中，為探究訓練次數對CNNR模型的影響，將測試集樣本每隔100次迭代輸入到訓練模型中，用于檢驗模型的訓練效果。如圖4所示，隨著訓練次數的不斷增加，模型的均方誤差逐漸減小，模型的精度不斷提高，模型在2 400次訓練后達到最佳狀態。由于訓練集樣本數據量大，數據復雜性高，因此在前期迭代訓練中，模型特征學習不足，模型的測試損失小于訓練損失。當訓練次數大于2 500次時，模型的測試損失與訓練損失之間的距離不斷變大，模型開始出現過擬合現象，因此為防止出現過擬合現象，模型可以在第2 500次訓練之后停止訓練。

為了探究卷積層數對模型預測性能的影響，在使用同一種土壤近紅外光譜數據進行建模的情況下，分別采用三層、四層、五層卷積層對模型進行訓練，模型的預測性能隨卷積層的變化曲線如圖5所示，由曲線對比可知，三種模型的預測結果大致相同； 在特征學習速度方面，3層卷積層的模型特征學習速度最慢，模型需訓練1 500次后才能達到穩定預測狀態，五層卷積層的模型特征學習速度最快，模型在1 000次訓練后就達到了穩定，而四層卷積層的特征學習速度與五層類似，模型在訓練1 000次左右達到穩定的預測狀態。因此，本文選用具有四個卷積層的卷積神經網絡對樣本進行訓練學習。

圖4 CNNR模型訓練損失和測試損失Fig.4 Training loss and test loss of CNNR model

圖5 CNNR模型不同卷積層測試損失Fig.5 Test loss of different convolutions of CNNR model

2.2 不同模型性能比較

為了了解CNN網絡模型的優劣性，選用了目前較為常用的PLSR和BP神經網絡兩個模型作為對比。BP神經網絡設置隱含層為75個神經元的單隱層結構模型。由于LUCAS土壤樣本數據量比較大，不適用于PLSR建模，因此將數據集分成7組進行計算，每組從LUCAS數據集中隨機選取2 100個樣本用于PLSR建模，隨機選取367個樣本用于預測，各組數據之間獨立不交叉。設置PLSR模型的最大成分數為7，得到7個PLSR模型，選擇最優模型為最終的PLSR建模結果。三種模型預測結果如表3所示，在使用同一種土壤近紅外光譜數據訓練模型的情況下，CNN模型的效果要優于傳統的BP神經網絡和PLSR模型。

表3 三種模型的預測效果對比Table 3 Comparison of the predictive effects of three models

圖6、圖7和圖8分別為三個模型測試集的預測值與真實值的散點擬合圖。由圖對比可以看出，三種模型中CNN模型的預測效果最好，數據點密集地集中在擬合直線的兩側，而BP模型和PLSR模型的數據點分布較分散。因此，利用深度學習的卷積神經網絡模型對土壤pH值進行預測的方案要優于傳統的PLSR和BP神經網絡模型。

圖6 BP模型對土壤pH值的預測結果Fig.6 Prediction of soil pH value by BP model

Yang[13]等利用LS-SVM,ELM等機器學習方法對可見-近紅外光譜原譜數據進行建模，對土壤pH值進行預測，預測模型的決定系數皆為0.740； 而本文使用BP和CNN模型實現對土壤pH值的預測，其結果分別為0.792和0.909，本文所使用的方法預測精度有所提高?？梢?，神經網絡模型較SVM和PLSR等傳統模型在非線性建模方面具有一定的優勢。而基于CNN的神經網絡模型能夠利用其獨特的內部結構實現對土壤近紅外光譜的特征提取與學習，通過多次的卷積與池化操作，不斷降低光譜中無關數據的干擾，從而獲得更加細致的光譜特征，利用這些特征實現對土壤pH值的高效預測，比傳統的機器學習算法具有較高的擬合水準。

圖7 PLSR模型對土壤pH值的預測結果Fig.7 Prediction of soil pH value by PLSR model

圖8 CNNR模型對土壤pH值的預測結果Fig.8 Prediction of soil pH values by CNNR model

王璨等利用卷積神經網絡對土壤近紅外光譜進行建模，實現對土壤含水率的預測，并與傳統的BP，PLSR，LS-SVM方法得到的模型進行對比，所得結論與本文基本一致，從而充分證明了CNN模型的特征學習能力。Padarian[14]等利用二維卷積神經網絡對LUCAS土壤數據進行建模，實現對土壤pH值的預測，測試集的決定系數為0.870，而本文采用一維CNN模型實現對土壤pH值的預測，結果為0.909，可見使用一維卷積神經網絡對土壤近紅外光譜進行建模相比于二維卷積不僅能夠有效簡化光譜數據的預處理過程而且還能夠使模型具有較高的泛化學習能力。

綜上所述，卷積神經網絡能夠用于土壤近紅外光譜的回歸分析建模中，并在土壤pH值預測方面相比于傳統模型具有更高的擬合和預測能力。研究表明卷積神經網絡模型能夠直接對一維光譜信號進行高效的特征抽取，并能利用這些特征不斷的調節修正模型內部參數，從而使土壤pH值回歸具有較高的性能。此外，在卷積神經網絡模型中運用池化層對光譜數據進行降維，不僅能夠有效減少模型的內部參數，提高運算速度，還增強了模型提取特征的魯棒性和泛化能力，使模型具有更穩定的光譜預測效果。由于本工作是對歐洲土壤的近紅外光譜進行pH值預測研究，因此數據具有一定的區域局限性，下一步工作將進一步研究如何獲取更多地區特別是國內的土壤近紅外光譜數據，從而充分挖掘模型潛力，提高模型檢測精度和適用范圍。

3 結 論

利用近紅外光譜結合卷積神經網絡模型對土壤的pH值進行預測，LUCAS土壤樣本作為研究對象，建立能夠檢測土壤pH值的CNN模型，分析結果表明： (1)利用卷積神經網絡對近紅外光譜進行建?？蓪崿F對土壤pH值的高效準確檢測； 使用卷積神經網絡模型能夠直接對一維光譜信號進行特征提取。(2)利用測試集對搭建好的模型進行性能評估，評估結果表明，本模型能夠準確地對土壤pH值進行預測，模型的擬合優度比傳統的PLSR模型高。利用本模型可以對不同地區的耕地pH值進行檢測，對耕地的資源管理及農作物的精準栽種具有指導意義。(3)本模型方法可應用到其他土壤養分信息建模研究。