基于GAF-DenseNet的旋耕作業質量等級識別模型

李淑艷 李若晨 溫昌凱 萬科科 宋正河 劉江輝

(1.中國農業大學工學院，北京 100083；2.中國農業大學現代農業裝備優化設計北京市重點實驗室，北京 100083；3.洛陽西苑車輛與動力檢驗所有限公司，洛陽 471003)

0 引言

作為田間農業生產的重要環節，拖拉機旋耕工況的作業質量對農作物全周期生長水平與生產過程具有重要影響[1-2]?，F階段，對旋耕作業質量的分析和評估主要依靠人工方式進行，評價方法和效果極大程度上受拖拉機操作人員的視野和經驗的影響，缺乏準確、客觀的評判標準作為參考；并且，在田間作業過程中，作業質量的評判易受主觀和外界環境等因素干擾，難以保證評判效果的穩定和統一[3-6]。

拖拉機開展田間旋耕作業時，由于受到土地-機器-植物復雜非線性系統中存在的頻繁變化的相互作用力，拖拉機和旋耕機的連接機構(即電液懸掛系統與PTO加載系統)常承受復雜多變的非對稱循環載荷[7-10]，多通道實測載荷數據中包含了大量可描述作業質量工況的載荷特性與整機特征，通過挖掘和分析典型特征可以有效地對當前所處的作業質量等級進行分類預測[11-13]。

因此，為實現拖拉機田間旋耕作業質量等級的準確、高效識別，本研究提出一種基于GAF-DenseNet的拖拉機旋耕作業質量深度學習分類識別模型，并開展旋耕作業田間試驗進行綜合性驗證。該模型以3種旋耕作業質量等級下的多傳感器實測載荷數據作為訓練輸入，通過GAF編碼將多通道載荷序列編碼為二維灰度圖像陣列；通過DenseNet優化特征傳遞機制和學習效率，深層挖掘數據中內含的載荷特征。最終，依照旋耕作業質量分級標準，通過分類器對瞬態載荷序列進行分類預測。

本研究依據多項評價指標對該模型的預測效果進行驗證，分析評價兩種GAF編碼方式和不同重采樣滑動窗口大小對分類準確性等指標的不同影響，并與支持向量機(Support vector machines, SVM)、深度卷積神經網絡(Deep convolutional neural network, DCNN)和深度殘差網絡(Deep residual network, ResNet)進行對比，綜合評估不同算法的預測性能，以期為農業機械作業質量預測研究提供參考。

1 拖拉機旋耕作業載荷測試

1.1 旋耕作業質量分級標準

參考國家標準《旋耕機》和《農業機械試驗條件 測定方法的一般規定》[14-15]，將旋耕作業質量劃分為優、中、差3個評價等級，分別對應綜合評分中的80～100分、60～80分和0～60分。選取耕深、耕深穩定性系數、碎土率、驅動輪滑轉率等4項參數作為旋耕作業質量的評價指標，并為該4項評價指標分別賦予權重系數以計算各指標所達到的質量評價分數，最終以100分為滿分計算得出綜合評分[16]。

每項評價指標均根據表1所示計分方法進行計分，計算得出綜合評分，計算式為

表1 旋耕作業質量評價指標和計分方法

(1)

式中S——綜合評分

si——各評價指標i的評分

Wi——各評價指標i的權重系數

1.2 拖拉機旋耕作業載荷測試

為獲取基于拖拉機關鍵部件的實測載荷數據，確保數據集的真實性和可靠性，本文以NI-cDAQ 9035為核心搭建了拖拉機多傳感器綜合測試系統，采用分布式架構對多測點、多類型參數進行實時、同步測試，測試參數共計10項(表2)，測試系統傳感器布置和測試系統架構如圖1、2所示。其中，驅動輪滑轉率由實際車速和驅動輪轉速換算得出。針對試驗場景基于LabVIEW開發測試系統上位機軟件，實現對載荷數據的自動化采集和實時監控。

圖1 拖拉機多傳感器綜合測試系統傳感器布置圖

表2 拖拉機多傳感器綜合測試系統測試參數與配套傳感器

本文所開展的試驗工況為旋耕作業，試驗樣機選用某品牌52 kW四輪驅動拖拉機，農機具選用某品牌IGQN-180A型旋耕機。試驗用地位于河南省洛陽市新安縣磁澗鎮趙洼村，試驗時間為2021年7月，耕作土質為黏土，含水率介于20%～35%之間。在實際的田間作業過程中，耕作幅寬為1 800 mm，耕作速度約為5 km/h，耕作深度根據作業質量劃分情況進行人工調節。最后，根據奈奎斯特采樣定理，結合實際工程經驗，設定采樣頻率為1 000 Hz[17]。拖拉機田間作業試驗現場如圖3所示(下方3幅圖像為耕深測量現場，測量結果分別為13.6、19.1、21.5 cm)。

圖2 拖拉機多傳感器綜合測試系統架構

圖3 拖拉機田間作業試驗現場

2 基于GAF-DenseNet的識別模型

2.1 GAF圖像編碼

基于坐標變換的思想，格拉姆角場(Gramian angular field, GAF)可在保留數據時間依賴性的前提下，將一維時間序列編碼為二維灰度圖像[18]。

對于本文中的實測載荷數據，可將其表示為包含n個元素的時間序列X={x1,x2,…,xn}。首先，將該時間序列縮放至[-1,1]范圍內，計算式為

(2)

(3)

式中ti——時間戳

N——用于正則化極坐標系統跨度的常數

計算每個點之間的三角和/差，通過兩種不同的方式來識別數據點在不同時間間隔內的時間相關性。對應地，GAF算法可分為格拉姆角和場(Gramian angular summation field, GASF)和格拉姆角差場(Gramian angular difference field, GADF)，其計算方法分別為

(4)

(5)

式中Gs——GASF矩陣Gd——GADF矩陣

I——單位行向量

i、j——行、列索引，i,j∈N且1≤(i,j)≤n

在GAF矩陣中，隨著位置從左上角移動到右下角，其對應的時間戳也隨之增加，因此，原時間序列的時間依賴性得以保留。此外，矩陣主對角線包含了原始值和角度信息，可有效表示原時間序列的時間相關性[21-22]。優作業質量工況下某數據段的GAF編碼效果如圖4所示。

圖4 某實測載荷數據段GAF編碼示意圖

2.2 GAF-DenseNet模型

DenseNet網絡模型沿用ResNet中短路連接的基本思想[23-24]，在此基礎上強化了前層與后層之間的密集連接，通過通道間的拼接以實現特征重用[25]。作為其核心模塊，密集塊(Dense block)的結構如圖5所示。

圖5 密集塊結構

設密集塊網絡包含N層，每層卷積后均輸出k個特征圖，k作為超參數被定義為增長率，假定輸入密集塊的特征圖通道數為k0，則第n層輸入的通道數為k0+k(n-1)。各層輸出的特征圖大小一致，特征圖在通道維度上進行拼接，即第n層的輸出xn由前面所有層拼接而得，即

xn=Hn([x0,x1,…,xn-1])

(6)

式中xn——第n層輸出

Hn——非線性組合函數

其中，非線性組合函數由批標準化(Batch normalization, BN)層、線性修正單元(Rectified linear unit, ReLU)和3×3卷積(Convolution, Conv)層組成。

密集塊結構作為基本單元，與過渡層(Transition layer)交替串聯構成DenseNet模塊。在DenseNet模塊的基礎上，為改善特征圖信息密度不足的問題，通過GAF編碼算法在時間、幅值兩個維度上對原始載荷序列進行解構，將一維時間序列重組為二維灰度圖像矩陣，既實現了特征信息密度的有效擴充，又使得特征信息在二維圖像空間中排列規則化，從數據層面間接提升了分類預測精度。最終，將GAF編碼算法和DenseNet網絡有效融合，形成了GAF-DenseNet識別模型，整體結構如圖6所示。

圖6 GAF-DenseNet模型整體結構

GAF-DenseNet模型由GAF編碼器、DenseNet和分類器共3個模塊組成。GAF編碼器將輸入模型的多通道載荷序列編碼為二維灰度圖像陣列，DenseNet模塊依靠卷積層提取二維灰度圖像陣列為特征圖，并在通道維度上對特征圖進行特征重用和密集連接，以優化特征的傳遞機制和利用效率。其中，為提高網絡緊湊性，引入過渡層以縮減特征圖大小。過渡層包含批標準化層、1×1卷積層和2×2平均池化層，對于密集塊所輸出的m個特征圖，經過渡層轉換后可產生θm個特征，其中θ∈(0,1]為壓縮系數。

DenseNet模塊輸出的特征進入分類器后，經過全局平均池化進入3層全連接網絡。其中，最后一個全連接層使用Softmax分類器輸出分類預測結果。GAF-DenseNet模型參數配置如表3所示。

表3 GAF-DenseNet模型參數

3 旋耕作業質量等級識別分析

3.1 數據預處理

基于本文所制定的旋耕作業質量分級標準，在實際田間地塊中分別開展3種作業質量工況下的拖拉機旋耕作業試驗，總作業面積約為2 hm2。在實測數據中去除駐車、轉向、掉頭等行駛狀態相關的數據段，獲得3種作業質量下的數據量均為40 000，數據通道數為10(表2中所述測試參數)，保留數據樣本共120 000個，生成原始數據集尺寸為(120 000,10)。

首先，為擴展數據量，防止過擬合等現象發生，本文采取3種方法對原始數據集進行聯合處理：①為保留原始數據集中所包含的隨機環境噪聲，對原始數據集不作任何處理。②采用最小二乘法擬合原始數據集中的非線性趨勢項并將其消除，設計8階巴特沃斯濾波器對數據進行低通濾波，依據課題組項目經驗，將截止頻率設為48 Hz。③在方法2處理后的數據中疊加高斯噪聲。

合并經3種方法處理后的數據樣本，數據量由120 000擴展為360 000，數據集尺寸變為(360 000,10)。

為確保數據集尺度的統一性和統計分布的合理性，對數據集進行歸一化和標準化處理，處理后載荷序列的統計直方圖分別如圖7和圖8所示。

圖7 優作業質量下載荷序列的歸一化處理結果

圖8 優作業質量下載荷序列的標準化處理結果

分析可知，經過歸一化處理，不同維度的載荷序列在尺度上統一縮放至[-1,1]內；進一步對載荷序列做標準化處理，處理后的載荷序列在統計分布上趨于高斯分布，其平均值趨近于0，標準差趨近于1。

設定時間步長為250的滑動窗口，采用半重疊時間窗(Semi non-overlapping temporal window, SNOW)將載荷序列分割為2 871個樣本，窗口重疊率為50%。對重采樣后的數據進行GAF圖像編碼，如圖9和圖10所示，并對3種作業質量分類標簽進行One-hot編碼，得到的數據集尺寸為(2 871,250,250,10)。

圖9 經GASF編碼后的優作業質量下某樣本二維圖像陣列

圖10 經GADF編碼后的優作業質量下某樣本二維圖像陣列

本文的預測分析基于TensorFlow 2.7深度學習框架實現，操作系統選用Ubuntu 18.04，硬件環境為NVIDIA Tesla K80 GPU，Intel Xeon 8369 CPU。

在訓練網絡過程中，采用5折交叉驗證方法和mini-batch技術，批次大小設為64，模型訓練按照固定步長迭代100輪。選用交叉熵損失函數跟蹤模型迭代過程中的損失值變化，選用Adam算法對網絡參數進行自適應優化迭代，初始學習率設為1×10-3。

3.2 編碼效果分析

為探究不同數據集尺寸和編碼方式對DenseNet模型訓練效果的影響，設定滑動窗口大小為200、250和300，選用GASF和GADF兩種編碼方式對預處理后的數據集分別編碼，隨后將編碼后的二維灰度圖像陣列輸入至DenseNet模型中進行訓練，測試集準確率和損失值變化曲線分別如圖11和圖12所示。其中，DenseNet模型增長率k設為24，壓縮系數設為0.5。

圖11 經不同滑動窗口大小和編碼方式處理后的測試集準確率變化曲線

圖12 經GADF編碼后的測試集損失值變化曲線

隨著滑動窗口大小的增大，每個樣本中包含的圖像信息隨之增多，其中表征旋耕作業工況的特征信息也更加豐富。分析圖11和圖12可知，當窗口大小由200提升至250時，測試集準確率有明顯提升，損失值收斂更加徹底。然而，當窗口大小由250提升至300之后，測試集準確率和損失值反而降低，在迭代40輪之后出現了無法收斂的情況。分析現象可知，在針對時間序列數據的滑動窗口重采樣時，更大的窗口大小并不一定總利于特征的獲取，而可能會引入噪聲或無用特征，從而影響數據集的整體質量。

在編碼方式方面，GASF和GADF兩種編碼方式均能較好地保留和提取樣本中的特征信息。分析圖11和圖12可知，經兩種方法編碼后的數據集在準確率和損失值上均有良好的表現。其中，GADF編碼后的數據在迭代過程中變化態勢更加平順，在準確率和損失值兩項性能指標上均有小幅提升。

3.3 模型參數分析

為探究增長率k對于模型性能的影響，針對DenseNet關鍵超參數增長率k的選取，本文最終確定k為12、24、32、40。其中，基于控制變量的思想，本試驗所選用的數據集經過半重疊時間窗進行數據重采樣(窗口大小設為250)，并采用GADF方法進行圖像編碼。試驗結果如表4所示。

表4 在不同增長率k下的DenseNet模型測試集分析結果

由表4可知，隨著模型增長率k的增大，預測的準確率也隨之增加，表明增長率k與模型的整體性能呈正相關的趨勢。然而，增長率k的增大也帶來了模型復雜度的提升，具體體現在參數量會隨之迅速增長，從而增加了算力負擔，模型的實時性受到明顯影響。增長率k由24增長到40的過程中，準確率僅提升0.782個百分點，而推理時長增長約2.4倍。因此，綜合考慮模型性能和實時性兩個因素，增長率k設為24更能滿足實際應用需求。

3.4 模型綜合性能分析

本研究選取測試集的準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1值(F1-score)等指標來綜合評價模型性能。首先將本文中的三分類任務拆分為多個二分類任務，分別計算其準確率、精確率、召回率和F1值。

在獲取多個二分類任務評價指標后，得到三分類任務的混淆矩陣，采用Macro規則計算得出最終的綜合評價指標。

結合上述模型評價指標，對GAF-DenseNet模型進行識別綜合性能分析，并選取SVM、DCNN、ResNet等模型進行對比分析，計算得出的各項模型評價指標如表5所示。需要特別說明的是，以上網絡深度大體接近，其模型參數均分別經過優化調整，且輸入數據均經過GADF編碼為二維灰度圖像。

表5 基于不同模型分析結果的評價指標

分析表5可知，在準確率和損失值兩項指標的表現上，GAF-ResNet與GAF-DenseNet大體接近(后者較前者有小幅提升)且高于其余兩種模型，其中GAF-SVM模型的準確率水平顯著低于其他模型。F1值是對精確率和召回率兩項指標的調和平均，不受樣本不平衡等因素影響。相較于其余3種模型，GAF-DenseNet模型在精確率、召回率和F1值上均有較大幅度提升，其中F1值可達到96.136%，這表明了該模型在整體性能上明顯優于其余模型。在推理速度方面，歸結于過渡層在DenseNet網絡結構中壓縮特征方面的重要作用，GAF-DenseNet模型所用的推理時長最短，較GAF-ResNet模型縮短36%。進一步地，該模型在小批次測試數據的測試條件下，可達到更優越的實時性能。

4 結論

(1)為實現基于多傳感器實測數據的拖拉機旋耕作業質量等級準確識別，提出了一種結合GAF編碼算法和DenseNet網絡的GAF-DenseNet識別模型。GAF算法在保留原始載荷序列的時間依賴性的前提下，對時間序列數據進行唯一編碼。DenseNet網絡深層挖掘圖像陣列中的載荷信息，通過特征重用、模型壓縮等技術環節保證特征提取深度，并顯著提升運算效率。

(2)針對某52 kW拖拉機旋耕作業工況，設計并搭建了拖拉機多傳感器綜合測試系統。依據本文所制定的旋耕作業質量分級標準，開展了田間旋耕試驗，獲取了不同分級標準下的多傳感器實測載荷數據。

(3)針對本文所提出的GAF-DenseNet識別模型，進行了旋耕作業質量等級識別分析。分析結果表明，在重采樣滑動窗口大小為250、編碼方式采用GADF算法時，模型在準確性、平滑性和收斂效果等方面效果最佳?；趯崪y數據的GAF-DenseNet模型準確率和F1值分別達到96.816%和96.136%，并且在實時性能上具有良好的表現，推理時長可低至16 s。進一步將該模型與其余模型進行對比分析，整體性能均優于對照組模型預測結果。