基于深度語義分割的無人機影像煙草種植面積提取*

付必環，黃 亮

（昆明理工大學，云南 昆明 650039）

0 引言

煙草種植業作為我國重要的經濟支柱產業，具有很高的經濟價值和現實意義。據統計，2020 年中國卷煙產量為22 621.3 億支，煙草稅收更是達到了12 803 億元，創下了稅利總額的歷史新高，為國家和地方經濟發展作出了重要貢獻，帶動了地區的發展。而云南作為產煙大省，在“十三五”期間，云南省煙草產業創造的增加值占全省GDP 的13.8%。從這些數據可以看出，煙草行業所帶來的經濟效應不容小覷，更是云南經濟發展的支柱產業。但與此同時，云南煙草大部分種植區域為高原山區，地形崎嶇、種植分散，這給人工統計煙草種植面積帶來了較大困難，無法滿足煙草相關部門對煙草種植快速、及時的監測要求[1]。因此，及時快速地掌握煙草的種植面積與分布，對宏觀調控并改善煙草生產結構和布局、輔助企業合理安排煙草采收、加工和出售等后續工作和促進煙草行業工業化發展有重要意義。

無人機遙感技術因其具有覆蓋面積大、獲取信息的速度快、周期短、實時性強、操作便捷、不受地面條件限制，以及與人工常規的地面調查與統計相比具有費用低等優點，已經在農作物監測領域得到廣泛應用[2-4]。

應用遙感影像對煙草信息進行提取已得到初步應用，國內外諸多學者就煙草的提取問題進行了探討和研究。吳孟泉等人[5]利用遙感監測手段和監督分類方法對云南產煙縣的煙草面積進行提取；符勇[6]利用高分辨率星載合成孔徑雷達（Synthetic Aperture Radar,SAR）數據并建立不同極化HH、VV 的SAR亮度值與煙草葉面積指數（Leaf Area Index,LAI）相關性，以此估測煙草種植面積；董梅等人[7]分別選取了多個特征值，并且結合形態學和面向對象的方法，對煙草種植面積進行提取；彭光雄等人[8]利用美國的Landsat TM 影像對瀘西縣烤煙面積遙感監測最佳時相選擇的研究；劉明芹等人[9]采用資源三號衛星遙感影像為研究數據，將面向對象的方法與地面控制點的光譜、紋理和形狀等特征結合起來對煙草面積進行提取；夏炎等人[10]提出了利用無人機影像并采用模糊超像素分割算法的煙草識別方法；胡九超[11]利用高分辨率SAR 對高原山區煙草進行識別和提取。分析近年來國內外針對煙草信息的提取研究可知，數據來源從中空間分辨率和低空間分辨率遙感圖像再到高空間分辨率遙感圖像，從光學圖像轉到合成孔徑雷達；平臺范圍從高空衛星遙感到低空無人機遙感；監測方法從基于像素特征的統計方法到面向對象的方法。由于云南省屬于低緯度高原地區，煙草種植面積小，空間分布分散，煙草與其他作物多為混種或間作[12]。因此，中低空間分辨率的衛星遙感影像難以準確提取種植面積，小地塊容易漏檢。而高空間衛星遙感影像很難保證在特定區域和物候期獲取圖像。無人機遙感以其靈活性和高空間分辨率已成為煙草種植區監測的主要手段。面向對象的圖像分析和深度學習是當前高空間分辨率遙感圖像分類的主要方法。然而，圖像分割和特征提取限制了面向對象圖像分析方法的發展。目前，深度語義分割方法在農業領域得到了廣泛的應用，并取得了令人滿意的效果。例如，郁林[13]基于高分辨率遙感影像數據，利用改進的U-Net 網絡模型進行水稻面積的提取，并取得了較好的效果；寧斯嵐[14]采用雷達遙感數據并結合深度學習的方法對水稻種植面積進行提取。

綜上所述，為實現云南高原煙草種植面積的準確提取，本文以云南省昆明市晉寧區夕陽鄉為研究區，選取高空間分辨率的無人機影像作為實驗影像，采用DeeplabV3+為主要深度語義分割模型，同時為了識別效果和降低培訓成本，采用和比較了4 種輕量化骨干網絡：Xception、MobilenetV1、MobilenetV2 和Resnet50。

1 數據與研究方法

1.1 數據來源

文中采用的數據來源于Huang 等人[15]制作的數據集。該數據集采用大疆精靈4 無人機為平臺，采集數據點位于云南省中部的夕陽鄉，并對采集的數據進行圖像配準、圖像校正、圖像鑲嵌等步驟生成數字正射影像圖；最終經過批量裁剪并剔除沒有煙草的圖像，得到238 張煙草標注圖像，如圖1 隨機展示了該數據集的10 張原圖與標注圖。

圖1 部分煙草數據集

1.2 研究方法

由于煙草的生長情況、種植面積、種植密度等存在巨大差異，如圖2 所示，其中，圖2（a）和圖2（b）煙草種植與道路建筑物臨近，圖2（c）、圖2（d）、圖2（e）和圖2（f）中存在混種與套種情況，使用面向對象的方法很難從無人機遙感圖像中找到理想的提取特征。深度學習具有自學習的特性，不僅可以學習簡單的特征，還可以學習更多抽象的特征。因此，本文采用深度語義分割的方法從無人機遙感圖像中提取煙草。目前，用于深度語義分割的網絡模型包括全監督語義分割、弱監督語義分割和非監督語義分割。然而，大多數弱監督和非監督方法的性能低于全監督方法[16]。因此，本文采用全監督的圖像語義分割方法。文中以DeeplabV3+為主要網絡模型[17]，如圖3 所示。為了在不影響預測精度的前提下大大減少訓練時間，采用了4種輕量化的骨干網絡替換原始的骨干網絡。由于骨干網絡是特征提取層的堆疊，如圖4 展示了Xception、MobelnetV1、MobelnetV2 和Resnet50 的核心提取層。

圖2 煙草示例數據

圖3 Deeplabv3+網絡模型

圖4 4 種骨干網絡卷積層

1.2.1 訓練環境配置

這里為了驗證輕量化骨干網絡的效率和電腦效率，在處理平臺上選擇了intel i7-8700 6 核處理器、NVIDIA GTX1060、6 GB GDDR5 和16 GB DDR4運存。訓練環境是GPU 版本的tensorflow1.13.1 和Keras2.1.5。由于數據集較小，采用針對小數據的數據劃分方式，即訓練數據與預測數據的比例為7:3，即167 張訓練圖像和71 張預測圖像。

1.2.2 訓練參數選擇

實驗中需要設置NCLASSES，學習率（Learning Rate，LR），一次訓練圖片數（Batch Size，BS）和訓練次數（Epoch）。考慮到硬件條件與Huang 等[15]對于參數設置的討論，在本文中選擇了BS=6，LR=1×10-3，Epoch=40。同時，這里采用了遷移學習的思想，文中從https://github.com/fchollet/deeplearning-models/releases 網址下載了4 個骨干網絡的預訓練權重。

2 結果與分析

為了驗證語義分割的準確性，采用平均交并比（Mean Intersection Over Union，mIoU）[22]和類別平均像素準確率（Mean Pixel Accuracy，mPA）[22]兩個指標來對71 張場景的整體精度進行評估，并采用準確率（Precision）[23]，召回率（Recall）[23]，F1[24]，IoU[22]和PA[22]進行定量化評價指標。評價指標如下：

使用Xception、MobelnetV1、MobelnetV2 和Resnet50 為骨干網絡對71 張場景預測圖像進行語義分割，獲得的mIoU和mPA如表1 所示。

表1 4 種骨干網絡的mIoU 和mPA 值

從表1 中可以看出，在mIoU和mPA這 兩個指標中，使用4種骨干網絡得到的結果均優于90%。實驗結果表明深度學習對煙草種植區域的語義分割有很好的效果。其中，Xception 主干網絡的mIoU和mPA最高，語義分割的整體性能最好；Resnet50 主干網絡的總體預測精度最低。Xception、MobilenetV1 和MobilenetV2 主干網絡的總體預測精度存在較小差異。

由于預測圖像的數量很大，因此無法完全顯示。本文選取了3 幅具有代表性的數據作為示例數據，如圖5 所示。3 幅圖像的預測結果如表2 所示。

圖5 4 種骨干網絡的預測結果

表2 選取樣本的5 種精度指標值

圖5 中，圖5（a）所示部分煙草曝光不均勻，有些作物與煙草光譜相似；圖5（b）所示的是道路、煙草、建筑物以及一些其他植物；圖5（c）所示的煙草種植密度不同，生長狀況良好。從圖5 和表2可以看出，在示例5（a）的數據中，Xception 主干網絡在所有的5 個指標中得分最高，對于曝光不均勻的場景有很好的效果；從視覺比較可以看出，其他3 個主干網絡都存在誤識別的情況，一些接近煙草光譜的作物被錯誤地檢測為煙草；在示例圖5（b）的數據中，Xception 主干網絡除了precision指標略低于MobilenetV2 主干網絡，在其他指標中得分最高，4 種主干網絡都存在不同程度的漏檢，其中Xcepton 主干網絡漏檢的區域最小；在示例圖5（c）的數據中，MobilenetV2 主干網絡在Precision、F1 和IoU3 個指標中得分最高，且得到的結果與標記圖像更加一致；從識別結果來看，Xception、MobilenetV1 和MobilenetV2 主干網絡都存在不同程度的漏檢，而Resnet50 主干網路存在一定程度的錯檢，但從表2 可以看出，4 個主干網絡在5 個指標中的得分相差較小。

結合圖5 和表2 可以看出，利用4 種不同的深度學習的主干網絡對不同場景下的煙草種植區域進行語義分割可以得到較好的結果；但是不同的主干網絡在不同的情況下仍然有一定的性能差異。

3 結語

本文主要探討了深度語義分割方法在高原山區煙草種植面積自動提取中的應用潛力。使用DeeplabV3+為主要模型，采用Xception、MobilenetV1、MobilenetV2 和Resnet50 共4 種主干網絡的深度語義分割方法，采用已有煙草數據集進行實驗。實驗結果表明，與傳統的面向對象的圖像分析方法相比，深層語義分割方法不需要特征選擇和優化，具有較高的自動化程度和較好的通用性。實驗效果較為理想，但仍有一些問題需要進一步研究：

（1）具有相似光譜特征的雜草或作物很容易被錯誤地識別；

（2）對于圖像中出現的漏檢與錯檢現象，可以進一步考慮結合形態學方法提高提取精度；

（3）不同分辨率的無人機影像是否具有相似的效果有待進一步探究；

（4）深度學習的特點在于其泛化性，對于以上方法的泛化性能值得進一步研究。