基于弱監督語義分割的燈盞花無人機遙感種植信息提取

黃 亮 吳春燕 李小祥 楊 威 姚皖路

(1.昆明理工大學國土資源工程學院，昆明 650093；2.云南省高校高原山區空間信息測繪技術應用工程研究中心，昆明 650093)

0 引言

燈盞花又名燈盞細辛、地頂草等，為菊科短葶飛蓬屬植物，由于需求量過大，燈盞花的供應已難以滿足日益增長的市場需求?？焖贉蚀_提取燈盞花種植面積是對燈盞花進行精細管理的重要前提，因此及時掌握燈盞花種植空間信息，可以為田間管理、產量估算和災害評估提供宏觀參考信息，為燈盞花保護和利用提供決策支持。

目前，國內外學者針對中藥材和農作物提取的方法主要有面向對象分類法、傳統機器學習、深度學習方法等。面向對象分類方法[1-4]存在分割尺度選取難的問題，最優分割尺度難以形成一套各種區域特征都適合的分割尺度。近年來，傳統機器學習方法如最大似然法[5]等也被用于作物提取。傳統機器學習方法更加注重地物的紋理特征和空間特征，避免了面向對象分類法的缺陷，提取效果較好。但這類方法也存在訓練樣本數量有限，模型結構簡單，分類精度不夠的問題[6]。目前，深度學習在作物提取方面得到了廣泛的應用，并取得了令人滿意的結果[7]。深度學習能夠提取具有魯棒性的高層抽象特征，有助于提高圖像的分類精度[8]。NING等[9]利用Mobile U-Net模型和Radarsat-2數據對水稻種植面積進行提取，總體精度達到96.4%；WEI等[10]利用U-Net對不同作物類別進行預測，在U-Net模型中引入批處理歸一化算法，解決作物數量多和樣本數量不平衡的問題，大大提高了網絡訓練的效率；HUANG等[11]運用DeeplabV3+、PSPNet、SegNet和U-Net 4種網絡對高原山區無人機遙感圖像煙草種植區進行深度語義分割，得到煙草的mIoU分別為0.943 6、0.911 8、0.939 2和0.947 3?，F有基于深度學習方法提取作物訓練時間長，且過于依賴大量精細標注數據。但作物精細標注數據獲取困難，且遷移性差，從而制約了作物強監督語義分割的發展。

為解決上述問題，本文提出基于邊框級標注的弱監督語義分割和RGB波段最大差異法的燈盞花無人機遙感種植信息提取方法。鑒于U-Net網絡深度學習模型訓練數據需求量小、可最大限度保真和還原原始影像信息的優勢[12]，選擇U-Net對燈盞花進行提取。為降低訓練成本，采用MobileNet-V1網絡替代U-Net的骨干網絡。由于燈盞花壟間邊界模糊，難以獲得大量精細標注數據，采用弱標注的方式制作數據集。但是，邊框級標記只能為分割任務提供有限的信息，如果沒有像素級的細粒度控制，預測的分割結果通常會有模糊的邊界，性能較差[13]。為進一步提高精度，結合RGB波段最大差異法，對燈盞花種植區進行精細識別。

1 研究區概況與數據

1.1 研究區概況

研究區位于云南省紅河哈尼族彝族自治州瀘西縣，地處24°15′～24°46′N，103°30′～104°3′E,如圖1所示?？h域面積1 674 km2,地形復雜，最高海拔與最低海拔相差1 639 m，熱量的垂直分布差異明顯，屬于北亞熱帶季風氣候。境內大部分地區氣候溫和，光照充足，降雨適中。瀘西縣是紅河燈盞花地理標志產品保護地之一。

圖1 研究區地理位置Fig.1 Geographical location of study area

1.2 數據采集與預處理

利用無人機獲取燈盞花圖像，航拍時間為2021年4月3日，拍攝時天氣情況較好，無遮擋。無人機圖像僅含紅光、綠光和藍光3個可見光波段?？臻g分辨率為0.008 97 m，覆蓋面積為0.025 8 km2。坐標系為WGS84和UTMzone 48N。無人機在研究區域共采集439幅圖像，圖像尺寸為5 472像素×3 648像素。無人機原始圖像經圖像匹配、圖像對齊、正射影像校正、圖像拼接和圖像裁剪生成數字正射影像圖，如圖2所示。

圖2 數字正射影像圖Fig.2 Digital orthophoto map

2 研究方法

運用基于邊框級標注的弱監督語義分割和RGB波段最大差異法對無人機遙感燈盞花種植信息進行提取。首先，以無人機圖像作為數據源，運用Labelme圖像標注工具對燈盞花種植區進行邊框級標注，構建燈盞花弱標注數據集；其次，使用輕量級U-Net網絡對弱標注數據集進行訓練，進行燈盞花種植區語義分割；最后，為進一步提高提取精度，采用RGB波段最大差異法對燈盞花種植區語義分割結果進行掩膜提取，實現燈盞花種植信息精細提取。本文采用的技術路線如圖3所示。

圖3 技術路線圖Fig.3 Flow chart of technique route

2.1 弱標記數據集制作

燈盞花壟間邊界模糊，花朵小，長勢雜亂，種植較為細碎，如圖4所示。由于燈盞花精細標注困難，本文將無人機采集到的202幅原始圖像作為標注數據，使用Labelme圖像標注工具，對燈盞花種植區進行邊框級標注，未去掉管道、壟間土壤等背景地物，如圖5所示。進行批處理操作后，圖像裁剪為448像素×448像素，構建了5 050幅燈盞花數據集。

圖4 燈盞花無人機圖像Fig.4 Unmanned aerial vehicle image of Erigeron breviscapus

圖5 燈盞花數據標簽Fig.5 Data tags of Erigeron breviscapus

2.2 燈盞花語義分割

U-Net[14]通過訓練少量數據，獲得精確分割結果。利用深度學習分層表示的優勢，對燈盞花進行語義分割。由于燈盞花種植較為細碎，壟與壟之間無明顯邊界，因此使用弱標注數據集在U-Net網絡上進行訓練。

U-Net網絡共進行了4次上采樣，使得分割圖在恢復邊緣等信息上更加精細。在同一級使用跳躍連接，這樣保證最后得出的特征圖融合更多低層的特征，也使得不同尺度的特征得到融合，從而可以進行多尺度預測。該網絡通過4次下采樣、4次上采樣、多次卷積構成“收縮”和“擴張”對稱的結構，對燈盞花圖像進行高層次特征提取。U-Net網絡模型的結構如圖6所示。

圖6 U-Net網絡結構Fig.6 U-Net network structure

訓練技巧對深度學習十分重要。同樣的網絡結構使用不同的訓練方法，其結果差異可能較大。本文采用訓練數據隨機打亂、批規范化操作、網絡模型優化算法選擇、骨干網絡替換等4個技巧來減少訓練成本，同時，提升模型在測試集上的預測效果。

(1)訓練數據隨機打亂

采用隨機批處理的訓練機制，即在對網絡的每輪訓練前將訓練數據集隨機打亂。確保在不同輪數相同批次的情況下，網絡接收到的數據是不同的[15]。這樣的處理不僅能提高網絡收斂速率，而且會略微提升模型在測試集上的預測結果。

(2)批規范化操作

批規范化，就是模型進行隨機梯度下降訓練時，通過mini-batch來對相應的網絡響應做規范化操作，進行均值為0，方差為1的歸一化[16]。

批規范化操作不僅加快了網絡收斂速度，而且使得訓練模型更加容易和穩定，同時對網絡泛化性能起到一定的提升作用[15]。

(3)網絡模型優化算法選擇

經典的隨機梯度下降法(Stochastic gradient descent,SGD)是最常見的神經網絡優化方法，收斂效果較穩定，但收斂速度過慢。SGD使用高方差進行頻繁更新，導致目標函數劇烈波動[17]?；趧恿康碾S機梯度下降法可改善SGD更新時可能產生的振蕩現象。但這些方法的學習率卻一直固定不變，并未將學習率的自適應性考慮進去。RMSProp法、Adadelta法和Adam法都能解決學習率自適應問題。KINGMA等[18]表明帶偏差修正的Adam法稍好于RMSProp法，Adam法經過偏置校正后，每次迭代學習率都是一個確定范圍，使得參數更新比較穩定。為了減少訓練時間和計算資源，本文選擇Adam優化算法。

(4)骨干網絡替換

AlexNet在卷積神經網絡(Convolutional neural network,CNN)發展中具有里程碑的意義，但其網絡深度不夠，準確度較低。相比AlexNet，VGG對圖像有更精確的估值，更節省內存空間，但隨著網絡層數加深，參數數量也增加，消耗更多的時間[19]。GoogLeNet[20]通過對模型的改進，使其在參數數量、計算資源方面優于VGG，但GoogLeNet的模型復雜度較高。MobileNets[21]的一些參數權衡了準確率和速率之間的關系，加快了網絡訓練的速度。為定量評價VGG、GoogLeNet、MobileNet骨干網絡的性能，選擇VGG16、GoogLeNet和MobileNet-V1作為U-Net的骨干網絡，測定模型訓練時間、參數量，如表1所示。將U-Net的骨干網替換成MobileNet-V1，可以明顯降低模型的參數量，減少模型的訓練時間。為降低訓練成本，采用MobileNet-V1網絡替代U-Net的骨干網絡。MobileNet-V1權重文件可在https:∥github.com/fchollet/deep-learning-models/releases下載。

表1 采用3種骨干網絡的性能Tab.1 Performance of three backbone networks

2.3 RGB波段最大差異法

RGB波段最大差異法用來計算對象在R、G、B3個波段的最大差異值，公式為

運用RGB波段最大差異法去除背景地物，對燈盞花種植區語義分割結果進行掩膜提取，實現燈盞花種植信息精細提取。隨機選擇其他背景地物與燈盞花樣本各500個，據實驗測定，燈盞花與其他背景地物閾值為0.4，大于0.4即為其他背景地物，如圖7所示。

圖7 樣本RGB波段最大差異值Fig.7 Maximum RGB difference values of samples

3 實驗結果與分析

3.1 實驗結果

為反映本文方法在整個研究區的提取效果，運用面向對象分類法、最大似然法和本文方法在整個研究區進行燈盞花種植信息提取，結果如圖8所示。從圖8a、8b可以看出，面向對象分類法和最大似然法均存在錯誤提取的情況。面向對象分類法和最大似然法容易將燈盞花光譜信息相似的物體錯誤識別為燈盞花。從圖8a可以看出，面向對象分類法將研究區的部分碎石路面、覆膜小蔥識別為燈盞花，燈盞花提取結果較為破碎。從圖8b可以看出，最大似然法將研究區的部分碎石路面、覆膜小蔥和白色塑料編織袋識別為燈盞花，該方法能較好保留每壟燈盞花的完整性。從圖8c可以看出，研究區右側部分燈盞花存在漏檢情況，這是由于右側無人機影像存在扭曲變形。整體而言，本文方法能較好提取燈盞花信息，能夠有效去除碎石路面、覆膜小蔥和白色塑料編織袋等與燈盞花光譜相似的地物，且能去除田埂、雜草和其他植被，能夠有效保留每壟燈盞花的完整性。

圖8 3種方法對研究區的燈盞花信息提取結果Fig.8 Extraction results of Erigeron breviscapus in study area based on three methods

由于整個研究區的圖像較大，無法充分顯示細節，本文選擇具有代表性的3個場景作為實驗數據，利用本文方法、最大似然法和面向對象分類法在不同場景下進行比較，驗證不同場景下，3種方法的準確性，如圖9所示。其中，圖9a(場景1)中碎石道路與燈盞花光譜信息相近；圖9b(場景2)中有田埂、雜草、燈盞花，燈盞花長勢不均；圖9c(場景3)中有燈盞花和其他植被。

圖9 不同場景的燈盞花Fig.9 Erigeron breviscapus in different scenes

運用面向對象分類法、最大似然法和本文方法對3個場景燈盞花進行提取，結果如圖10所示。從視覺角度看，面向對象分類法在場景1與場景2中存在錯誤檢測，最大似然法在3個場景中均存在錯誤檢測的情況。其中，在場景1中，由于碎石道路與燈盞花的光譜信息相似，面向對象分類法和最大似然法都將部分碎石道路錯誤識別為燈盞花。在場景2中，運用最大似然法對燈盞花進行識別，結果顯示小部分田埂被識別為燈盞花。在場景3中，運用面向對象分類和最大似然法都將其他植物識別為燈盞花。從圖10c可以看出，最大似然法在去除管道這一背景地物上表現較好。但從3個場景的燈盞花識別結果中可以看出，面向對象分類法和最大似然法所得到的燈盞花細碎，花與花之間存在空洞，每壟燈盞花的整體性較差。本文方法在3個場景下均能較好識別出燈盞花，錯誤檢測的情況較少，且能較好保留每壟燈盞花的整體性。

圖10 燈盞花提取結果Fig.10 Extraction results of Erigeron breviscapus

3.2 實驗分析

3.2.1定量分析

為驗證所提方法的有效性，將面向對象分類法和最大似然法作為對比實驗，選取交并比[22](Intersection-over-union,IoU)、像素準確率[23](Pixel accuracy,PA)、F1值[22]作為評價指標，定量評價燈盞花提取精度。

定量評價各方法在3種情景下對燈盞花識別的準確度。計算各場景下的IoU、PA、F1值，結果如表2所示。在場景1中，本文方法與面向對象分類法、最大似然法相比，在IoU、PA、F1值這3個評價指標中均為最高，其中F1值高達95.04%。在場景1中管道所占的比例較大，最大似然法較注重地物的紋理特征和空間特征，在去除管道這一背景地物上表現較好。本文方法能夠有效去除碎石道路和土壤等背景地物，能較好保留每壟燈盞花的完整性。

表2 3種方法在3個場景下的提取精度Tab.2 Accuracy of three methods in three scenes %

場景2中，本文方法在3個評價指標中均為最優，IoU為90.74%，PA為92.35%，F1值為95.15%。本文方法能夠有效去除田埂、雜草、土壤等地物，準確識別燈盞花。由于管道隱藏在燈盞花間，而且與燈盞花存在“異物同譜”的情況，在場景1和場景2中，本文方法未能去除管道。

場景3中，本文方法在3個評價指標中仍為最優。本文方法得到的IoU為86.63%，PA為96.34%，F1值為92.84%，與面向對象分類法和最大似然法相比，精度明顯上升。深度學習能夠提取具有魯棒性的高層抽象特征，圖像的分類精度較高。運用本文方法，其他植被、土壤能被有效去除，能夠實現對燈盞花的準確識別。

本文方法在3個場景下的IoU、PA、F1值都為最高，與傳統的面向對象分類法和最大似然法相比，本文方法能較好提取燈盞花種植信息。

3.2.2消融實驗

為驗證RGB波段最大差異法有利于提高燈盞花種植信息的提取精度，將輕量級U-Net、RGB波段最大差異法和本文方法在3個情景下進行實驗，選取IoU、PA和F1值作為評價指標，結果如表3所示。從表3可以看出，RGB波段最大差異法對燈盞花種植信息提取結果有提升作用。在場景1中，運用RGB波段最大差異法使燈盞花提取IoU、PA和F1值分別提高2.48、1.72、1.38個百分點；在場景2中，運用RGB波段最大差異法使燈盞花提取IoU、PA和F1值分別提高1.68、1.62、0.94個百分點；在場景3中，運用RGB波段最大差異法使燈盞花提取IoU、PA和F1值分別提高5.07、1.86、3個百分點。雖然RGB波段最大差異法在3個場景下燈盞花信息提取結果的精度不高，但其能有效去除土壤等背景地物。

表3 消融實驗結果Tab.3 Results of ablation tests %

4 結論

(1)采用基于邊框級標注的弱監督語義分割和RGB波段最大差異法對無人機遙感燈盞花種植信息進行了提取，并通過消融實驗驗證了方法的有效性。

(2)實驗結果表明，與傳統的面向對象分類法和最大似然法相比，本文方法能較好識別燈盞花種植區，提出方法在選取的3個燈盞花場景中IoU分別為90.55%、90.74%、86.63%。

(3)總體而言，實驗結果能夠滿足小農種植下的燈盞花自動提取，且提取到每壟燈盞花的完整性較好。但仍存在一些問題：隱藏在燈盞花間的管道被錯誤檢測；采用樣本選擇確定背景地物與燈盞花之間的RGB波段最大差異閾值存在主觀性。