基于語義分割的復雜場景下的秸稈檢測

劉媛媛，張 碩，于海業，王躍勇，王佳木

(1.吉林農業大學 信息技術學院，吉林 長春 130118；2. 吉林大學 工程仿生教育部重點實驗室，吉林 長春 130025；3. 吉林農業大學 工程技術學院，吉林 長春 130118)

1 引 言

秸稈還田作為當今世界范圍內普遍應用的一項培肥地力的保護性耕作措施，在杜絕了秸稈焚燒所造成的大氣污染的同時還有增肥增產的作用[1-2]，其對農業生產，生態環境有積極的影響。為了更好地限制秸稈焚燒，指導農民合理地進行秸稈還田，需要定量評估還田率。因此，田間秸稈覆蓋率的檢測就顯得尤為重要。

為了準確、快速地計算田間秸稈覆蓋率，利用近年來快速發展的計算機視覺技術來解決這個問題是非常有價值的。其具有成本低、效率高、經濟效益大等特點。然而，該方法通常是由無人機搭載攝像頭來完成任務，這樣就帶來了諸多問題，如：由于田間環境一般較復雜，田地周圍通常都會有植被、路、農機、房屋等干擾。尤其是周圍的樹木，其在烈日下投在田間的樹影非常長。這些干擾因素均可能出現在無人機拍攝的圖片中，導致處理難度增大，精度降低。為了解決復雜場景下秸稈檢測難的問題，最關鍵的是要將這些物體分割出，這樣可以大大降低干擾。

傳統的分割方法以閾值分割最為常見，如文獻[3]提出將Sauvola算法與Otsu算法相結合的方法來檢測秸稈區域細節圖像，但僅限于二分類，對多類別復雜田地檢測效果差；文獻[4]提出將紋理特征與BP神經網絡相結合的方法來識別秸稈和土壤，但檢測時間多達10 s；因此，文獻[5]提出基于多閾值圖像分割算法的秸稈覆蓋率檢測，利用DE-GWO算法對其進行多閾值圖像分割，檢測準確率達到95%以上，并且單張圖片測試時間縮短到1 s以內，但其算法穩定性較差。以上基于閾值的分割算法均存在同一個問題，即對于顏色相近的物體，會被歸為一類。而基于紋理的算法，需要手動設計特征，大大增加了算法難度。此外，以上算法在面對復雜農田時效果均不好，尤其是由陰影引起的干擾因素。近年來，由于深度學習的發展，Hinton等人在2012年ILSVRC比賽中，利用卷積神經網絡將ImageNet圖像分類的錯誤率大幅降低到16%[6]。之后卷積神經網絡就被廣泛地應用到圖像識別[7-8]、目標檢測[9-10]、圖像分割[11-12]等領域。其中利用全卷積網絡解決語義分割問題由Jonathan Long等人提出[13]，開創了利用全卷積網絡解決語義分割問題的先河。由于卷積神經網絡可以通過對大量數據的學習，自動抽取每個類別的特征，所以對圖像的分類效果顯著，對于復雜場景下的分割效果要明顯優于傳統的基于紋理或閾值的分割。基于此，本文設計了一個新的分割網絡來解決復雜場景下的秸稈覆蓋率檢測。整體架構采用了UNet[12]對稱編-解碼設計思想，設計了一個全殘差網絡[14](Residual Network，RN)架構，并使用深度可分離卷積[15](Depthwise Separable Convolution，DSC)降低參數量，和注意力機制[16-19](Attention Mechanism，AM)來關注難分割的像素，使得網絡在降低參數和深度較淺的情況下仍然可以達到較高的精度。所提算法在秸稈數據集上進行了測試，在不同的光照環境、攝像機拍攝高度、場景復雜度的情況下，仍可以達到較好的分割效果。同時，該網絡為端到端可訓練，且參數量少，使得其模型體積小、運行速度快，大大降低了部署到嵌入式設備的難度，這非常有利于在農田這樣電子設備較少的環境下進行實地實時檢測。

2 模型框架

2.1 模型分析與概述

秸稈覆蓋率檢測基于計算機視覺技術，采用無人機高空拍攝的方式獲取圖片，然后將圖片進行預處理后輸入到卷積神經網絡中，得到預測圖。由于田間場景復雜，如圖1所示，其中包括秸稈、土壤、公路、周邊植被、農機、樹影等干擾因素。其中田內若沒有干擾，則田地上只含秸稈、草、土壤，由于草相對較少，且大部分被秸稈覆蓋，因此將草和土壤歸為一類。對于田內含有農機和樹影等干擾的情況(從圖中可以看出主要是樹影影響范圍較大)，由于樹影投在了秸稈上，導致該處難以分割，很容易將覆有樹影的秸稈識別為土壤。為了準確分割出秸稈，本文利用卷積神經網絡來提取秸稈特征，并提出了一種新的分割網絡DSRA-UNet。該網絡借鑒UNet 的對稱編-解碼語義分割模型，其中低水平特征層使用標準卷積，高水平特征層使用深度可分離卷積，兩者相結合的方式來構造整個網絡架構，以降低訓練參數量。同時在每一層的兩次卷積過程加入殘差結構來加大網絡深度和特征表達能力。最后在跳級連接(Skip Connection，SC)之前增加注意力機制獲取更精準的信息。通過以上操作在降低網絡參數和深度的情況下提升對秸稈的分割能力，以適應復雜的農田場景。

圖1 復雜農田場景示意圖

2.2 DSRA-UNet算法

本文提出的網絡架構如圖2所示，其中特征圖上方標注了該特征圖的深度，圓圈標號為每一層特征提取模塊的編號，虛線框內標注了每個符號的含義。下采樣過程包含5次特征提取，上采樣過程包含4次特征提取，下采樣過程中的第1～4層與上采樣中第6～9層通過跳級連接相連。編碼階段第1層使用標準卷積構造的殘差塊(Conv Residual Blocks,CRB)進行特征提取，第2～5層使用最大池化和深度可分離卷積構造的殘差塊(DSConv Residual Blocks)進行下采樣特征提取，得到水平尺寸縮小16倍，深度擴大16倍的特征圖。解碼階段在跳級連接之前加入了全局最大池化注意力機制(Global MaxPooling Attention Mechanism，GMPAM)來增加低層次特征圖的語義信息，之后再經過一個1×1的卷積，并與經過反卷積的上一層高層次特征圖進行拼接(Concatenate)，以此結合同一尺度的下采樣和上采樣信息。拼接完成后經過深度分離卷積殘差塊進行特征融合，在第四次上采樣后，將拼接的特征圖經過標準卷積殘差塊，再通過1×1卷積和softmax函數得到與輸入圖片相同尺寸的預測圖。

2.3 標準卷積殘差塊

殘差網絡不僅可以解決在網絡較深時導致的梯度消失和梯度爆炸問題，而且可以通過捷徑路徑將輸入信息融合進來，使得網絡更深，這樣就可以在網絡深度較淺的情況下加深網絡，以增強特征表達能力。此模塊將標準卷積與殘差結構相結合，使用3×3卷積核、ReLU激活函數構造殘差塊。主要用于高分辨率特征圖的語義信息提取，因為高分辨率圖一般深度較淺，大量信息存儲在空間維度，而標準卷積相較于深度卷積可以更好地提取空間維度的信息。因此，本文將其用在特征圖尺寸大、深度較淺的第1層和最后1層特征提取中。

圖2 DSRA-UNet算法網絡結構

圖3 標準卷積殘差塊

2.4 深度可分離卷積殘差塊

深度可分離卷積可看作先進行深度卷積(Depthwise Convolution,DC)，再進行逐點卷積(Pointwise Convolution,PC)。與標準卷積操作不同，深度卷積的一個卷積核只負責一個通道，得到與輸入層通道數相同的特征圖，無法改變特征圖深度。因此，再使用逐點卷積即1×1卷積，進行升維或降維。通過將標準卷積分解為兩步可大大降低訓練參數，但也導致由于訓練參數不足精度下降的問題，因此本文使用5×5的卷積核以抽取更多的特征信息，同時增加了殘差結構，增強特征提取能力。由于深度卷積是對不同的深度進行單獨抽取特征，因此其獲取深度信息的能力更高，為了高效使用深度可分離卷積，本文將其用在第2～8層的高層次特征圖特征提取階段。

圖4 深度可分離卷積殘差塊

2.5 全局最大池化注意力機制

注意力機制在自然語言處理、圖像分類等領域已經有廣泛應用[16-17]，近年來也被應用于語義分割并取得了不錯的效果[18]。受文獻[19]中所提注意力上采樣模塊啟發，本文提出的注意力機制如圖5所示，由于低層次特征圖(Low-level Features)包含更多的位置信息，而高層次特征圖(High-level Features)則包含豐富的類別信息，因此為了獲得更精準的特征圖，可以通過對低層次特征加權更豐富的類別信息而得到。所以本文利用高層次特征圖中豐富的語義信息為低層次特征圖進行特征選擇，使低層次特征圖增加更多細節信息。由于特征圖在經過最大池化后可以獲取當前感受野下更細節的信息，因此將高層次特征圖經過全局最大池化得到1×1×N的特征向量以提供全局上下文信息，再經過1×1卷積、ReLU降維至低水平特征圖維度，然后與經過1×1卷積操作的低層次特征進行相乘得到加權的特征圖。經過權值加權后可以對特征圖起到選取的作用，從而使特征圖獲得更豐富的類別信息和更精準的位置信息。

圖5 全局最大池化注意力機制

3 訓 練

3.1 數據預處理

本文數據集由DJI大疆悟2代無人機于2018年10月在吉林省榆樹市大崗鄉拍攝。由于秸稈只有在秋季收割之后才會產生，因此樣本數量非常少，有效數據僅120張，其中100張是由2 min視頻按每1.2 s截取下來的，但這100張圖片僅僅是單一的秸稈田地圖像，缺少農機、路、植物、樹影等干擾因素。只有剩下20張含有這些復雜的干擾因素，如圖6所示。因此需要進行數據增強，提高網絡的魯棒性，增強網絡對復雜場景的分割。由于大部分圖片不包含干擾信息，所以需要在100張僅含土壤和秸稈的圖像基礎上，通過增加干擾信息的方式來合成新的圖片。首先合成含有路、植物、房子等干擾因素的圖片，主要方法是將20張等有干擾信息的圖片中的路、植物、農機、房子等裁剪出，然后將其加到不含干擾信息的圖片上并做一些旋轉縮放等操作，即可產生包含多類別的圖片。對于樹影，由于其數據集很少且樹影有透明度，很難從原圖中剪裁出進行圖像合成。因此，本文利用photoshop工具生成了大量樹影，再將其與100張基礎圖片進行合并。通過以上方法，得到了500張合成圖，利用這500張合成圖與100張僅含秸稈土地的原圖像做為數據集。

圖6 秸稈農田圖的有效數據

3.2 損失函數

多分類常使用交叉熵損失函數，但該損失函數在面對大量簡單樣本和少量困難樣本時，由于交叉熵會更多的關注簡單樣本，而少量困難樣本對模型的貢獻較低，導致模型對難分樣本的預測能力降低。因此本文使用改進的交叉熵[20](Focal Loss)，以使網絡更多地關注較難分類的像素點，同時引入平衡因子α，讓網絡更加專注于秸稈的分割，公式定義如式(1)所示：

(1)

3.3 訓練超參數

(1)優化器：Adam

(2)學習率(learning-rate)：初始學習率為0.001，衰減系數為0.5，最小為1e-6。

(3)批量大小(batch size)：2

(4)訓練迭代周期(epochs)：100

(5)每周期步數(steps per epoch)：600

4 實驗與結果討論

將上述算法在秸稈數據上進行定性及定量評估，所提算法在Ubuntu18+python3.6+tensorflow10+Ker-as2的環境下訓練及測試，使用1塊Nvidia GTX 1080Ti顯卡進行訓練，訓練時間大約需要3 h。

4.1 評價指標

為了更好地評價秸稈的覆蓋準確率，本文使用秸稈覆蓋率RSCP、秸稈平均覆蓋率誤差ESCR和秸稈交并比SIoU等來衡量算法性能。

4.1.1 秸稈覆蓋率誤差

預測秸稈覆蓋率為：

(2)

實際秸稈覆蓋率為：

(3)

由式(2)和式(3)得秸稈覆蓋率誤差:

(4)

式中：RSCT為實際秸稈覆蓋率；H為圖片高度；W為圖片寬度；Pp為預測的秸稈像素點個數；Pt為真實的秸稈像素點個數。

4.1.2 秸稈交并比

(5)

式中：Pi為相交的像素點個數；Pp為預測的秸稈像素點個數；Pt為真實的秸稈像素點個數。

4.2 不同算法效果對比

為了驗證本文所提算法的有效性，將該算法與其他算法進行比較，結果如表1。由表可以看出SegNet[21]與Deeplab[22]在該數據集表現較差且它們的參數量均較高。UNet3為全部使用3×3卷積核尺寸的UNet，由于其深度和卷積核尺寸均較小，導致精度較低，但也正因其網絡簡單，所以FPS較高。UNet5則采用5×5卷積核，從而增大了特征提取能力，使得mIoU提高到了85.75%，但參數量增加2.5倍左右。DE-GWO[5]為傳統閾值分割算法，其對含陰影等的復雜場景檢測效果較差，mIoU也較低。本文所提算法mIoU達到了94.3%，且參數量降低到0.76M，FPS也較高，優于上述其他方法。

表1 不同算法之間的比較

圖7 每個類別對應的灰度顏色

如圖8 為本文所提算法在不同場景下秸稈的檢測結果，以及同其他算法的對比效果。其中類別所對應的灰度級別如圖7所示。圖8從上到下依次為原圖、真實值、及各種算法得出的預測結果，從左到右展示了不同場景下秸稈覆蓋率檢測效果。對于第1張最簡單場景下秸稈的檢測難度較低，但SegNet檢測效果較差。第2張是含有樹影的場景，由圖可以看出UNet3對覆蓋在秸稈上的樹影檢測效果較差，UNet5則可以將部分秸稈檢測出，而本文提出的算法可以將大部分被陰影遮蓋的秸稈分割出。對于樣本3和樣本4，均是復雜農田場景，由圖可以看出其他方法均出現了較大面積的錯誤，尤其是在路、植被和樹影周圍。而本文提出的算法，則可以更好地分割出這些干擾信息，進而提高了秸稈覆蓋率檢測精度。

圖8 不同算法的實驗結果

4.3 基礎架構對比

為了驗證本文所提網絡基礎架構的有效性，設計了兩組對比實驗。第一組實驗用來驗證低層次特征圖使用標準卷積，高層次特征圖使用深度可分離卷積的有效性。第二組實驗用來驗證用于低層次特征提取的標準卷積使用3×3的內核大小，高層次特征提取的深度可分離卷積使用5×5內核大小的有效性。

4.3.1 卷積類型對比

由于高分辨率特征圖(如輸入的三通道圖片，和最后一次上采樣后得到的特征圖)，尺寸較大、深度較淺，其大部分信息存儲在空間維度。因此本文提出，高分辨率低深度特征圖使用標準卷積，低分辨率高深度特征圖使用深度可分離卷積。實驗結果如表2，其中其他參數保持不變，僅改變卷積型。All-Conv表示全部使用標準卷積，All-DSConv表示全部使用深度可分離卷積，Conv+DSConv表示淺層使用標準卷積，深層使用深度可分離卷積。由表可以看出當全部使用標準卷積時mIoU達到93.4%，精度較高，但參數量是其他方法的7倍左右。當全部使用深度可分離卷積時mIoU為91.73%，精度有所降低，但參數量僅為0.75 M。當采用本文提出的結構時mIoU達到94.3%，而參數量相較于上一種僅增加了0.01 M左右，但精度上升了2.57%。由此可得，標準卷積可以更好地抽取空間信息，適合在高分辨率特征圖中使用。而深度可分離卷積可以更好地抽取高深度特征圖，因為深度卷積可以分別抽取每個通道的特征圖，對深度信息的利用率高。因此本文所提結構可以充分利用空間信息和深度信息，從而達到參數量和精度的平衡。

表2 不同卷積結果對比

Tab.2 Comparison of results from different convolution

MethodsmIoU/%Parameters/M PA/%All-Conv93.45.497.92All-DSConv91.730.7597.59Conv+DSConv94.30.7697.94

4.3.2 不同卷積核尺寸對比

由于標準卷積參數量大，深度可分離卷積參數量少，因此本文提出標準卷積采用3×3的卷積核尺寸，而深度可分離卷積采用5×5的卷積核尺寸，并保持其他結構不變，實驗結果如表3。

表3 不同卷積核尺寸結果對比

Tab.3 Comparison of results from different convolution kernel sizes

MethodsmIoU/%Parameters/MPA/%Conv3+DSConv392.910.74397.25Conv5+DSConv392.890.76097.42Conv5+DSConv593.240.78297.25Conv3+DSConv594.30.7697.94

Conv代表標準卷積，DSConv代表深度可分離卷積，3和5分別代表3×3、5×5卷積核。由于均使用了標準卷積和深度可分離卷積相結合的方式,因此參數量變化較少。從實驗結果可以看出Conv使用5×5卷積核的精度均低于使用3×3的,DSConv使用3×3卷積核的精度均低于使用5×5的。由此可得，在同時使用標準卷積和深度可分離卷積情況下，3×3卷積核可以更好地幫助標準卷積抽取更豐富的空間信息，而5×5卷積核可以更好地幫助深度可分離卷積抽取更豐富的深度信息，且參數量增加較少，從而使網絡結構更加有效。

4.4 不同模塊的對比

為了研究DSRA-UNet算法中各模塊的作用，設計了4個不同的網絡進行效果對比，實驗結果如表4。首先是骨干網絡，由于中間層(即第二和第八層)使用5×5標準卷積，此部分參數量較高，mIoU為89.18%。第二部分是將中間層改為深度可分離卷積，從而將模型參數大大降低，但mIoU僅降低了0.49%。第三部分是在上采樣和下采樣過程中均加入殘差結構，從表中可以看出引入該結構后精度有較大提升，mIoU提高到了92.13%。第四部分是引入了全局最大池化注意力機制，從表中可以看出引入該機制后精度有了進一步提升，并且可以很好地平衡參數量和精度，mIoU達到了最高94.3%，而參數量僅為0.76 M。

表4 不同模塊結果對比

4.5 實地測試結果

將本算法用于實地復雜場景農田的測試，得到了較好的實驗結果。由于秸稈檢測主要關注秸稈的覆蓋率，因此本部分僅列出秸稈的檢測結果(由于農機會對秸稈造成一定的干擾因此也將農機標出)，以下給出四個不同場景下的秸稈覆蓋率檢測結果。

如圖9，其中秸稈像素值為255，農機為50，其他背景為0。樣本1虛線框中是大量被陰影遮擋的秸稈，可以看出其他算法均出現較大誤判。樣本2為田間包含農機和人以及他們的影子，從中可以看出，其他算法對這些干擾信息的分割能力較弱，影子部分通常會被識別為土地。而本文算法，不僅可以將農機分割出，同時也可以將小目標的人以及影子正確分類為秸稈及土壤。樣本3為包含樹影、植被、房屋、公路的復雜農田場景，使用UNet和DSRA-UNet算法均可將植被、房屋、公路分割出，且DSRA-UNet算法可以大大提高被樹影遮擋部分的秸稈分類準確性。樣本4則為包含了大量植被和公路的復雜農田，由結果可以看出本文所提算法對其分割效果最好，僅有少數分割錯誤。

圖9 不同復雜度的農田檢測結果

對上述四個復雜場景下的農田，利用三個不同的算法對其分割后得到的實驗結果如表5所示，可以看出本文所提算法秸稈的IoU均為最高。樣本1由于改善了陰影部分的分割，因此秸稈IoU相較于UNet和傳統閾值分別有7.1%和11.1%的性能提升,同時覆蓋率誤差也降低到了1.3%。樣本2由于本文算法可以很好的將農機分割出，并且消除人和人影的干擾，秸稈IoU達到了93.7%，秸稈覆蓋率誤差也達到了最低，其中經實驗驗證，分割出的農機所占面積的40%為秸稈。而傳統方法無法將農機分離出，大部分都分割為秸稈，因此誤差較大。樣本3則為既包含大量樹影也包含公路、植被、房屋的復雜農田，本文所提算法對兩者的處理均較好，秸稈IoU較UNet和傳統閾值算法提升了9.7%和19.1%,覆蓋率誤差降低了一半。樣本4為包含大量植被和公路的復雜農田，在這種大面積為干擾因素的情況。

表5 不同算法對秸稈檢測的結果

下本文所提算法秸稈IoU比UNet和傳統閾值算法高出12.9%和39%，達到了較好的分割效果。綜上所述，本文所提算法能很好地解決復雜場景下秸稈的檢測和大量樹影遮擋下的秸稈分割，且運行一張960×528尺寸的圖像時間為0.048 s，速度相較于傳統算法有明顯的優勢，滿足實際檢測中對精度和速度兩方面的要求。

5 結 論

本文針對傳統算法無法在復雜場景的農田下高效分割秸稈的問題，提出使用語義分割的方法來解決。通過對UNet的改進設計了一種新的網絡架構DSRA-UNet網絡，使用標準卷積殘差塊和深度可分離卷積殘差塊構建整個網絡以降低參數量和提高網絡分割精度，并在跳級連接中融入全局最大池化注意力機制進一步提高網絡性能。訓練中采用帶有平衡因子的焦點損失函數，使網絡更加關注難分類別和提高秸稈對網絡的貢獻率。同時還設計了基礎架構、不同模塊等的對比實驗，進一步驗證了本文所提算法的有效性。將算法用于秸稈分割mIoU達到94.3%，參數量僅為0.76 M，且運行速度達到每秒21幀，效果優于基于閾值或紋理的傳統分割和其他語義分割網絡。