基于改進DeepLabV3+深度學習模型的冬小麥種植面積提取研究

路秋葉，劉法軍，2*，丁志國，郭 鵬，2，宮錕霖，2

(1.山東農業大學 信息科學與工程學院，山東 泰安 271018；2.山東省地質礦產勘查開發局第五地質大隊，山東 泰安 271018)

0 引言

冬小麥是我國北方地區的主要糧食作物之一,對國家經濟發展起著舉足輕重的作用[1]。及時了解冬小麥種植面積對開展冬小麥長勢監測和估產、區域糧食安全評估、制定農業政策等工作具有重要的社會意義[2]。當前,衛星遙感技術已經成為獲取大范圍冬小麥種植信息的最主要方法,國內外眾多學者開展了冬小麥種植面積提取研究[3-4]。其中,最常見的監測冬小麥種植面積的方法有:① 以歸一化植被指數(Normalized Difference Vegetation Index,NDVI)等植被指數的時間序列變化為依據,設定適當的閾值,提取出冬小麥的空間分布信息[5-6]。②采用機器學習的方法,對遙感圖像中的各類地物進行分類,并提取出冬小麥的種植面積[7-9]。然而現有的機器學習方法依賴于專業知識人為創建特征,對影像特征或組合方式的選取均會影響算法的精度,且沒有有效地利用影像中的特征信息?；谏疃葘W習的卷積運算,以其特有的內部層次結構、強大的自主性與容錯性能夠從原始數據中自動提取特征,并對其進行逐像元的語義分割,廣泛應用于作物信息提取,但存在模型復雜以及訓練時間較長的問題。

谷歌團隊自2015年起提出了一系列DeepLab模型,其中分割效果最優的是DeepLabV3+模型[10],但該模型在解碼器(Decoder)部分對于特征圖的多尺度連接不夠充分,存在漏分、錯分以及邊界粘合現象,最終的語義分割圖的分割精細度有待提高[11]。此外,因遙感影像中冬小麥內部差異較小,Xception主干網絡并不能很好地發揮深層網絡結構的優勢,導致過度擬合的風險增大;同時,過深的網絡還需要更多的硬件支持,導致訓練時間過長。

因此,本文旨在解決深度學習語義分割中存在的分割效果差、提取精度低、模型復雜以及訓練時間長等問題,基于高分辨率遙感影像,利用DeepLabV3+模型,引入MobileNetV2主干網絡、注意力機制、損失函數、組歸一化(Group Normalization,GN)和條帶池化(Stripe Pooling),提出一種改進的DeepLabV3+模型,并應用于山東省泰安市岱岳區夏張鎮和徂徠鎮的冬小麥種植面積提取,取得了較為滿意的結果。

1 研究區概況與數據預處理

1.1 研究區域概況

山東省泰安市岱岳區位于泰山以南,屬于溫帶季風氣候,四季分明,寒暑適宜,光溫同步,雨熱同季,氣溫年平均值13.3 ℃,年平均降水量685.6 mm,年際變幅較大。受地貌影響,東部降水多于西部,山區降水多于平原,具有春旱、夏澇、晚秋又旱的水情特點。夏張鎮位于岱岳區西部,地勢北高南低,在良好的土壤墑情和適宜的氣候下,冬小麥種植基本實現全覆蓋,主要集中在東南部的平原地區,且大面積連片種植,小部分集中在西部;徂徠鎮位于岱岳區東南部,地勢東南高西北低,耕地主要集中在北部和西部,冬小麥分布分散且占比小。

1.2 數據及預處理

高分二號衛星是我國自主研制的首顆空間分辨率優于1 m的民用光學遙感衛星,搭載2臺高分辨率1 m全色、4 m多光譜相機。影像采集時間為2020年4月28日和2020年5月3日。利用ENVI軟件對原始影像進行輻射定標、大氣校正和正射校正等預處理,并裁剪成512 pixel×51 pixel的小樣本,然后使用Labelme工具包繪制冬小麥標簽。本文采用旋轉90°、旋轉180°、旋轉270°、水平翻轉和豎直翻轉共5種方式對原圖和標簽圖進行數據增強,以提高模型精度,防止過擬合現象[12],如圖1所示。經過篩選去除問題影像,最終生成6 564對樣本數據,并依照6∶2∶2的比例生成訓練集、驗證集、測試集,從而完成數據集的構建。

圖1 數據增強Fig.1 Data enhancement

1.3 研究區采樣點分布

通過對夏張鎮和徂徠鎮的實地調研,根據研究區的地形、土地利用、冬小麥分布等布設采樣點,共布設夏張鎮冬小麥采樣點115個,徂徠鎮冬小麥采樣點104個,采樣點位置分別如圖2(a)和圖2(b)中的綠色三角符號所示。獲取的實際采樣點不僅可以為樣本數據集的制作提供數據支撐,還可以用于岱岳區夏張鎮和徂徠鎮冬小麥種植面積提取結果的精度驗證。

(a)夏張鎮采樣點示意

(b)徂徠鎮采樣點示意

2 模型與方法

2.1 DeepLabV3+模型

DeepLabV3+是一種基于編碼器(Encoder)與Decoder相結合的語義分割模型[13]。Encoder采用主干網絡Xception和空洞空間金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)提取的深層特征[14]通過上采樣(Upsample)進入解碼器,并將其與原始淺層特征圖融合,再利用上采樣還原特征圖,最終得到冬小麥分割結果[15-16]。原始的DeepLabV3+網絡結構如圖3所示。

2.2 改進DeepLabV3+模型

針對DeepLabV3+模型對圖像分割的擬合速度慢、目標邊緣分割精度不高的問題,對DeepLabV3+模型做以下五方面的改進。改進的DeepLabV3+語義分割網絡整體結構如圖4所示。

圖4 DeepLabV3+改進后的網絡結構Fig.4 Improved network structure of DeepLabV3+

2.2.1 替換主干網絡

本文采用輕量化改進的MobileNetV2網絡模型[17],在利用深度可分離卷積的基礎上,通過引入倒置殘差模塊和線性瓶頸層的方法,極大地降低模型參數量,從而加快網絡的收斂速度。

2.2.2 CBAM

卷積塊的注意力模塊(Convolutional Block Attention Module,CBAM)結合通道注意力模塊和空間注意力模塊,將其按順序串聯處理[18],如圖5所示。該模塊通過對各通道及各像素點的處理,對輸入圖像的特征進行自適應優化,使模型獲得最優的處理效果,且能夠節約參數和計算力[19]。

圖5 CBAMFig.5 CBAM

2.2.3 組歸一化

批歸一化(Bath Normalization,BN)是指一種在批次維度上進行歸一化的操作,并受批次大小(batchsize)的影響。BN錯誤率隨batchsize的減小而增大,若batchsize過小則計算均值和方差會不準確,若太大則顯存可能不夠用。而組歸一化(Group Normalization,GN)算出的是每個組的均值和方差,避免了batchsize對模型的影響,基本保持不變。

2.2.4 Focal Loss+Dice Loss組合

損失函數是評價分類器性能的函數。原始模型使用交叉熵損失函數(Cross Entropy loss,CE)計算損失時未對不同類別進行限制。相似系數損失函數(Dice Loss)是一種基于區域的損失,從全局出發計算損失,而焦點損失函數(Focal Loss)是基于分布的損失,是交叉熵損失的一種變體,二者結合可通過降低簡單示例的權重來解決類別不平衡難易樣本的不平衡問題[20]。

2.2.5 條帶池化

條帶池化采用水平垂直的條帶狀池化的方法,有效處理目標為長條狀時的情形,并可獲得孤立區域間的遠距離關系,進而獲得上下文信息[21]。ASPP與條帶池化并聯能夠更好地捕捉多尺度信息,適應不同大小的目標。同時,條帶池化和ASPP都具有參數共享的特性,它們可以共享相同的參數減少訓練數據量,降低過擬合風險,并增強模型的魯棒性和穩定性。

2.3 實驗環境設置

實驗過程中使用Pytorch1.8.0、CUDA11.1、Python3.8、Windows 10;硬件實驗環境采用GPU顯卡為NVIDIA GeForce RTX 3090-24 GB。batchsize設置為16,初始學習率設置為7×10-3[22],訓練輪數為100。

2.4 評價指標

本文利用平均交并比(Mean Intersection over Union,MIoU)、準確率(Accuracy)和平均像素精度(Mean Pixel Accuracy,MPA)作為識別結果評價指標[23]。其中MIoU為計算真實值和預測值2個集合的交集和并集之比;Accuracy為預測類別正確的像素數占總像素數的比例;MPA為計算每個類內被正確分類的像素數之后求所有類的平均值。

式中:TP為預測為冬小麥的像素數,FN為將冬小麥預測為背景的像素數,FP為將背景預測為冬小麥目標的像素數,TN為預測為背景的像素數。

3 結果與分析

3.1 改進前后結果對比

為解決由于網絡過深而導致的過擬合現象,本文選擇MobileNetV2作為主干網絡,由于其具有輕量化的網絡結構,可以對訓練時間、預測時間及參數數量等方面進行優化。不同的主干時間和參數量情況如表1所示,替換主干網絡之后的單張訓練時間降低到2.8 s,預測時間縮短到29 ms,參數量減少到22.4 MB,從數據上完成輕量化網絡的任務[24]。損失值是反映預測值和真實值之間的差距,改進前后損失函數曲線如圖6所示。

表1 不同主干網絡訓練時間與參數量的結果對比Tab.1 Comparison of the results of training time and number of parameters for different backbone networks

(a)DeepLabV3+模型Loss圖

(b)改進DeepLabV3+模型Loss圖

由圖6(a)可以看出,隨著訓練次數的增多,前40次訓練時,以Xception為主干網絡的DeepLabV3+模型的訓練集Loss值(train loss)不斷降低,但測試集Loss值(val loss)反升,表明網絡雖在訓練集上能夠取得較好的效果,但難以將其擴展到訓練集以外的其他數據上,因而造成嚴重的過擬合現象;當進行第60次迭代訓練時,DeepLabV3+模型逐漸收斂,最后的訓練集最小Loss值為0.164,測試集最小Loss值為0.126。由圖6(b)可以看出,以MobileNetV2為主干網絡的改進DeepLabV3+模型在訓練前期Loss值出現振蕩,但總體上變化幅度較小,且訓練集和測試集的Loss值均呈現出下降趨勢;模型在60次迭代后逐漸收斂,損失函數值最終均收斂為0.060,與原始模型主干網絡相比,分別降低了0.104、0.066,說明輕量化主干能夠有效減少過擬合現象,改進模型具有較好的損失函數收斂性,這將有利于提高冬小麥圖像分割精度。

3.2 深度學習方法提取結果與有效性驗證

本文選取夏張鎮和徂徠鎮進行冬小麥種植面積提取,從定性和定量2個方面對改進后的DeepLabV3+模型提取冬小麥結果進行分析,以驗證改進模型在提取冬小麥方面的優越性。使用DeepLabV3+網絡模型對原樣本圖進行訓練,結果如圖7所示。圖7(a)～圖7(c)為夏張鎮影像及其提取結果圖,圖7(d)～圖7(f)為徂徠鎮影像及其提取結果圖,綠色橢圓為原始DeepLabV3+模型錯分和漏分明顯的部分?？梢悦黠@看出,不論冬小麥的種植區是密集或者分散,改進后的模型均可識別出冬小麥,雖然仍存在少量的錯分和漏分問題,但2個地區改進后的模型提取結果相對于原始網絡模型邊界線表現相對平滑、棱角分明,對于識別線性地物的效果良好,提高了規則和不規則地塊的提取效果。

(a)原始夏張鎮圖

(b)夏張鎮原始模型圖

(c)夏張鎮模型改進圖

(d)原始徂徠鎮圖

(e)徂徠鎮原始模型圖

(f)徂徠鎮模型改進圖

為驗證本文改進模型的有效性,引入MIoU、Accuracy、MPA進行有效性驗證,精度結果如表2所示?？梢钥闯?改進后的DeepLabV3+模型相較于原DeepLabV3+模型分別提高了5.22%、2.43%和2.77%,表明改進后的DeepLabV3+模型比原始的DeepLabV3+模型有明顯的精度提升效果。

表2 模型改進前后的精度結果對比Tab.2 Comparison of accuracy results before and after model improvement

為進一步評價改進模型的提取精度,利用ArcGIS10.2軟件對改進前后夏張鎮和徂徠鎮的冬小麥提取結果進行疊加分析。結合研究區的采樣點(圖2(a)和圖2(b)),對比改進DeepLabV3+模型提取的夏張鎮冬小麥提取結果,其中108處分類正確,錯誤分類點7個,分類精度為93.91%,較原始的Deep-LabV3+模型的精度提高2.61%;改進DeepLabV3+模型在徂徠鎮的結果,96處驗證點正確分類,8個出現誤分,分類精度為92.31%,較原始的DeepLabV3+模型的精度提高2.89%,結果有力證明了改進算法,使得DeepLabV3+模型模型在冬小麥提取時具有更高的提取精度。

3.3 改進DeepLabV+消融實驗結果

為了進一步驗證本文提出的方法是否有效及改進部分是否對模型的整體性能起到積極作用,將本文提出的改進方法在原始DeepLabV3+模型基礎上進行消融實驗,并制定多種評估方案,記錄每一種方案及其對應結果,如表3所示。其中方案1為原始DeepLabV3+模型,方案2～7均在方案1基礎上做出改進。

表3 消融實驗結果評估Tab.3 Assessment of ablation experiment results

對比方案1和方案2的精度結果可以發現,基于原始的DeepLabV3+模型,在引入改進的MobileNetV2作為主干網絡后MIoU提高了3.56%;方案2和方案3相比,引入Focal Loss+Dice Loss組合后,并沒有損失過多的精度,MIoU僅減少0.05%;方案3和方案4相比,添加CBAM后,MIoU提高了0.36%,結果表明,雖然注意力機制對精度有一定的改善,但是其提高幅度并不大,是由于原始的DeepLabV3+模型因過深網絡而造成過擬合現象;方案4和方案5相比,引入GN替代BN后,MIoU提高了0.16%;方案4和方案6相比,添加條帶池化,MIoU提高了0.33%;方案5和方案7相比,GN結合條帶池化后,MIoU明顯提高了1.19%。將5種改進方案結合后精度顯著提高,即改進的DeepLabV3+模型的MIoU提高了5.22%,進一步驗證了本文方法的可行性。

3.4 夏張鎮冬小麥分布信息提取

本文利用改進后的模型,基于高分二號遙感數據提取夏張鎮,以獲得冬小麥的空間分布信息,結果如圖8所示。對比圖8(a)和圖8(b)可以看出,改進前后模型都可以較好地提取冬小麥種植范圍,但改進后的模型顯著地減少了錯分部分,如圖8(a)中紅色橢圓圈出的部分,主要以湖泊和與冬小麥特征相似的其他植物為主。

(a)原始模型的夏張鎮冬小麥提取結果

(b)改進模型的夏張鎮冬小麥提取結果

對夏張鎮冬小麥種植面積統計與分析結果如表4所示?？梢钥闯?改進的DeepLabV3+模型提取的夏張鎮冬小麥種植面積與官方統計面積相差僅0.32萬畝,相對誤差僅為-7.11%,提高了1.56%。分析提取誤差出現的原因:一是由于背景地物種類較多,而發生錯誤的樣本點多為零星分布的冬小麥,極易產生誤差;二是訓練集對樣本點的標注也有一定影響,大量的人工工作必然會帶來不確定性,導致人為干預下的標注不夠精確,從而對分類效果造成一定影響。

3.5 徂徠鎮冬小麥分布信息提取

利用改進前后的模型對徂徠鎮冬小麥分布信息提取,如圖9所示。對比圖9(a)與圖9(b)可以看出,改進后模型提取效果明顯優于原始模型提取效果。通過將實際影像中冬小麥的種植范圍與改進模型提取出的種植范圍對比,發現仍有小部分誤差。分析造成提取誤差的主要原因為徂徠鎮的冬小麥分布分散,導致改進的DeepLabV3+模型有效利用的上下文特征較少,以及人工標注對于分類結果造成不可避免的影響。

(a)原始模型的徂徠鎮冬小麥提取結果

(b)改進模型的徂徠鎮冬小麥提取結果

4 結束語

針對基于深度學習的語義分割模型DeeplabV3+中存在的分割效果差、提取精度低、模型復雜以及訓練時間長等問題,本文提出了一種適用于遙感冬小麥種植面積提取的改進模型。在DeepLabV3+模型的基礎上,替換Xception主干網絡為MobileNetV2主干網絡,極大地降低了模型的參數量,減輕模型訓練對硬件條件的依賴,從而加快網絡的收斂速度;條帶池化有效改善深層特征復雜冬小麥分割效果和邊界細節分割不精確;CBAM加強冬小麥的分割精度與邊緣完整度;Focal Loss+Dice Loss組合更準確地衡量預測結果與實際結果之間的差別及處理類別不平衡和難樣本的問題;GN結合條帶池化后,MIoU明顯提高了1.19%,有效地提高了模型的精度。同時,改進模型的MIoU、MPA和Accuracy分別達到93.66%、97.04%和98.17%,相較于原DeepLabV3+模型分別提高了5.22%、2.43%和2.77%。利用本文改進方法對夏張鎮和徂徠鎮冬小麥種植面積進行提取,錯分、漏分現象明顯少于原始模型,邊緣劃分的效果得到了進一步改善,將提取的夏張鎮冬小麥面積與官方提供數據相比較,相對誤差僅為-7.11%,精度較原始模型提高了1.56%。結合外業采樣點計算提取精度,精度分別達到93.91%、92.31%,證明了改進模型對冬小麥提取結果的有效性。