基于空洞Inception注意力U-Net的遙感圖像目標分割方法

李 萍，栗 娜，孟令媛

(鄭州西亞斯學院計算機與軟件工程學院，河南 鄭州 451150)

0 引言

長期以來,遙感圖像多尺度目標分割(TSRSI)在軍用和民用目標檢測和監測中一直發揮著關鍵作用。不僅在國家安全、軍事監測、導彈制導等方面有廣泛應用,在軍事目標識別定位、實時跟蹤、軍事預警、電子對抗等高科技軍事對抗中也起到了關鍵作用,并且還將有重要的發展[1-4]。Cheng等[5]綜述遙感圖像目標分割領域的最新進展和挑戰,涵蓋了大約270個出版物,并提出了兩個有前景的研究方向,即基于深度學習的特征表示和基于弱監督學習的地理空間目標分割。李曉斌等[6]針對光學遙感圖像中常見的飛機、艦船等目標,總結了目標分割方法、候選區域選擇、特征學習、分類、目標分割性能評價準則和數據集,其中對于目標分割方法,并對未來重點發展方向進行了展望。Wang等[7]提出了一種基于圓形灰度特征的端到端的輕型飛機檢測框架,該框架可以在少量訓練樣本的情況下準確檢測飛機,極大減少了對大數據集的需求。高宇歌等[8]介紹了基于幾何知識、上下文知識、輔助知識、綜合知識、一級和二級卷積神經網絡的方法,重點介紹了聯合知識和卷積神經網絡的新方法以及改進遙感圖像數據集、調整算法網絡框架、實現目標上下文推理等3種具體應用形式,給出了基于聯合知識和卷積神經網絡的遙感圖像目標分割的前景。卷積神經網絡(CNN)克服了傳統遙感圖像目標分割方法的不足,能夠提取復雜圖像的深層分類特征,在遙感圖像目標分割中取得了顯著效果[9-10]。現有很多基于CNN的遙感圖像目標分割方法都包含大量訓練參數,需要大量的訓練樣本來驅動。將特征金字塔模塊[11]、多尺度卷積[12]、特征擴展模塊[13]和注意力機制[14]等引入到CNN,得到改進的CNN模型,能夠極大提高CNN的分割性能。張省等[11]考慮了遙感圖像的場景復雜以及尺度問題,構建了一個基于空洞卷積上下文注意力網絡,在此基礎上提出了一直精細化的TSRSI方法。U-Net是一個常用的全卷積神經網絡,廣泛應用于醫學圖像分割任務,能夠實現圖像像素的定位,能夠對圖像中的每一個像素點進行分類,最后輸出的是根據像素點的類別而分割好的圖像[15]。針對傳統遙感圖像飛機分割方法對背景復雜、尺度不同的飛機分割效果不理想的問題,張善文等[16]構建了一種輕量級多尺度注意U-Net模型,并應用于遙感圖像飛機檢測方法。該模型充分利用輕量化、多尺度卷積、殘差連接、注意和U-Net等優點,通過多尺度U-Net提取不同尺度的特征圖,再通過殘差拼接將編碼特征與相應的解碼特征融合,從而增加飛機分割的細節,提高小型飛機的分割精度。張婷等[17]提出一種基于超像素與多尺度殘差U-Net相結合的遙感飛機檢測方法。該方法通過改進的U-Net提取遙感飛機的不同尺度特征圖,并通過級聯模型,將編碼特征與對應的解碼特征相融合,增加飛機分割的細節信息,學習其多尺度判別特征。

針對TSRSI中存在的特征提取困難、尺度差異較大和背景復雜以及現有的CNN模型訓練時間太長等問題,構建注意力空洞多尺度U-Net模型(ADMSU-Net),并應用于TSRSI任務。該模型將空洞Inception和空間注意力模塊相結合,極大提高模型的分割性能,利用空洞Inception模塊生成多尺度卷積感受域,提取多尺度特征;利用空間注意力模塊抑制不相關的特征,同時突出對TSRSI任務的顯著特征。

1 注意力空洞多尺度U-Net (ADMSU-Net)

構建一種基于注意力空洞多尺度U-Net (ADMSU-Net)的TSRSI方法。ADMSU-Net充分利用了多尺度卷積、空洞卷積和注意力機制的優點,其架構如圖1所示。

圖1 注意力空洞多尺度U-Net(ADMSU-Net)模型Fig.1 Attention dilated multi-scale U-Net (ADMSU-Net)

ADMSU-Net的3個主要模塊介紹如下:

1) 空洞卷積和空洞Inception模塊?？斩淳矸e可以通過在卷積核中插入孔(零)來擴大卷積核的接受域,而不增加權值參數和降低分辨率,如圖2(a)所示。為了更好地提取遙感圖像中目標的局部細節和全局上下文信息,CNN模型要求具有不同大小的多尺度接受域,Inception模塊可以獲得多尺度的感受域,而空洞卷積可以在不增加計算成本的情況下擴展感受域。在Inception中引入空洞卷積,構造一個具有不同空洞速率的空洞Inception模塊,適用于多尺度目標特征的學習。其結構如圖2(b)所示。在圖2(b)中,輸入被傳輸到4個不同的并行通道,分別由4個1×1卷積層、4個不同擴張速率的空洞卷積層和級聯層組成,其中4個空洞卷積層用于獲取局部特征,4個1×1卷積層用于獲取全局特征,降低卷積核中通道數的維數,從而減少CNN計算量。

圖2 ADMSU-Net的3個主要組成模塊Fig.2 Three main component modules of ADMSU-Net

2) 空洞卷積殘差模塊。在U-Net中,采用跳躍式連接,直接將編碼器中下采樣的底層特征與上采樣的高層細節特征結合起來,送入上采樣路徑進行分割。然而,特征圖的分辨率在不同的層次上是不同的。直接將下采樣路徑的特征與相應的上采樣路徑相結合不利于多尺度目標的精細分割。構造一個擴張卷積殘差模塊,如圖2(c)所示,將擴張率設為2,將下采樣路徑中的低層次特征進一步擴展卷積感受區域,使用Add操作與原始輸入圖像形成一個空洞卷積殘差塊。

3) 空間注意力模塊。為了提高分類和分割的特征提取性能,經常將注意力機制引入卷積塊中。設計一個空間注意力模塊,如圖2(d)所示,通過最大池化和平均池化操作,進行卷積操作:給定每個空洞卷積層中的特征圖F∈RH×W×C,其中,H、W和C分別為特征圖的長度、寬度和通道數,通過max-pooling和average-pooling生成特征圖Fmp∈RH×W×1和Fap∈RH×W×1。在卷積層上使用Sigmoid來獲得空間注意力特征圖Ms∈RH×W×1,則輸出的特征圖為Fs∈RH×W×C:

FS=FMS(F)=
Fσ(f7×7((Maxpool(F);Avgpool(F))))

(1)

式中:f7×7為大小為7×7的卷積運算;σ為Sigmoid函數;Maxpool(F)和Avgpool(F)分別為最大池化和平均池化。

最后,由SoftMax分類器實現TSRSI。其目標函數用分類交叉熵表示,用于度量實際分布與期望分布之間的差值。

為了實現精確定位,ADMSU-Net將壓縮路徑提取的局部像素特征與上采樣過程中的新特征圖相結合。將局部特征與全局特征相結合,通過特征集成提高像素類別預測的精度,從而保留下采樣過程中的一些重要特征。模型性能評定主要通過計算分割出的目標圖像與標注圖像之間的差異。交叉熵函數經常作為CNN的性能評價指標,通過計算標注圖像與分割圖像之間的交叉熵值來評定模型訓練的效果,當交叉熵值越小,表明模型的訓練效果越好。在ADMSU-Net的訓練過程中,將標注圖像與分割圖像的每一個像素點進行計算交叉熵并取平均值,利用平均像素交叉熵損失函數評定ADMSU-Net的訓練效果。平均交叉熵損失如下:

(2)

式中:p(x)為標注圖像的像素分類向量;q(x)為分割圖像的像素分類向量;n為圖像包含的總像素個數;x表示輸入圖像的特征向量;X為輸入圖像每個像素的特征向量。

由式(2)計算像素間損失值后,利用反向傳播算法將損失值回傳到網絡模型的每一個卷積層中,對卷積層的權重參數進行更新,經過多次循環迭代,直到輸出損失值穩定時結束訓練。

為了實現遙感圖像中目標的精確定位,ADMSU-Net將編碼部分提取的局部像素特征與上采樣過程中的新特征圖相結合。將局部特征與全局特征相結合,通過特征集成提高像素類別預測的精度,能夠保留下采樣過程中的一些重要特征。

2 實驗結果與分析

2.1 實驗設置和圖像數據集

為了驗證ADMSU-Net對TSRSI的性能,在公開RSI數據集EORSSD上進行TSRSI實驗,并與兩種現有的TSRSI方法進行比較:基于輕量級多尺度注意力U-Net(LWMSAU-Net)[16]和超像素與多尺度殘差U-Net相結合方法(SPMSRU-Net)[17],將U-Net作為基準網絡。為了提高模型分割效果,訓練模型遍歷數據集120輪,相應的訓練迭代次數為3 000次。采用梯度下降和反向傳播算法對模型參數進行更新,采用批量訓練方式進行實驗,批處理大小設置為10,學習率設置為1×10-10,動量設置為0.99以防止過擬合。實驗環境為處理器為Intel Xeon Gold 5120 CPU@2.20 GHz的服務器,GPU是4個NVIDIA GeForce RTX2080Ti GPU,顯存為11 GB,Python3.6.11編程。目標分割準確率表示正確分類的目標像素占真實目標像素的比值P:

(3)

式中:PT為經過網絡得到的目標分割結果與原始飛機區域的重合部分,即圖像中標注為目標像素、預測結果也為目標像素的總像素數;PF為分割結果中不屬于目標區域的部分,即圖像中標注為背景像素、預測結果為目標像素的總像素數。

EORSSD數據集包含2 000幅RSI圖像和相應的像素級標注的真圖。EORSSD數據集中的遙感圖像存在特征提取困難、尺度差異較大及目標方向的表示等問題,選擇包含一個或多個飛機、船舶和儲罐等目標的圖像,構建TSRSI數據集。該數據集中圖像中的目標大小、形狀、位置、角度、分辨率和背景等不同,圖像分辨率不同從973×760到242×239。在訓練過程中,由于直接訓練原始高分辨率遙感圖像可能影響分割精度,為了模型訓練方便,將每幅圖像的大小剪裁為128×128的圖像塊,并進行90°、180°和270°旋轉以及左右和上下鏡像操作擴充圖像,得到EORSSD目標圖像集,再進行訓練和分割。

2.2 實驗結果

為了說明空洞卷積的優勢,圖3顯示了遙感飛機圖像的4張空洞卷積特征圖,其中3×3卷積核為[0,-1,0; -1,5,-1; 0,-1,0],空洞率r取值分別為1～4。從圖3可以看出,遙感圖像中的飛機目標被4個空洞卷積后明顯突出,有利于目標分割。

為了驗證基于ADMSU-Net的TSRSI分割性能,采用5-折交差驗證法在TSRSI數據集上進行實驗并與LWMSAU-Net和 SPMSRU-Net進行比較。在實驗過程中,迭代次數設置為3 000次,不同分割方法的訓練過程如圖4所示。

圖4 模型的損失值隨迭代次數變化Fig.4 The loss of the model changes with the number of iterations

從圖4可以看出,隨著迭代次數不斷增加,損失值不斷下降,在參數的初始訓練階段一般需要進行大量迭代訓練,當次數不斷增加時Loss 值趨于穩定。當完成3 000次迭代時ADMSU-Net的損失值最低,訓練過程相對穩定;U-Net的損失值最高,變化波動較大,說明ADMSU-Net的訓練效果更好,模型更穩定。

為了評價空洞Inception模塊的優勢,分別在ADMSU-Net中使用空洞Inception模塊和Inception模型進行對比實驗。其目標分割精度與迭代次數之間的關系如圖5所示。由圖5可以看出,空洞Inception模塊明顯優于Inception模型,因為空洞Inception采用了不同空洞率的并行空洞卷積,能夠豐富特征圖中感受野的尺度多樣性,同時能夠顯著降低計算量。

圖5 空洞Inception模塊與Inception模塊的對比Fig.5 Comparison of dilated Inception module and Inception module

將經過3 000次迭代訓練的模型用于TSRSI。圖6為4種模型的TSRSI結果。從圖6看出,U-Net及其3種改進的模型都能從遙感圖像中比較準確的分割出目標圖像,而且ADMSU-Net分割的目標比較完整,能夠確定目標在遙感圖像中的具體位置,分割的噪聲背景比較低,對很小目標區域的分割效果較好;SPMSRU-Net的分割效果優于LWMSAU-Net,U-Net的分割效果比較差,出現了明顯的誤分割現象。

圖6 由4種模型分割的多尺度目標圖像Fig.6 Multi-scale RSI target image segmentation by four models

由圖6看出,U-Net及其3種改進模型都能夠準確地從背景比較簡單的遙感圖像中分割所有的目標。為了進一步表明文中所構建的模型的魯棒性,分別使用以上4種模型在比較復雜的遙感圖像上進行實驗,其中包括待分割圖像中存在復雜背景噪聲、目標太小、多個不同目標、目標模糊、周圍有復雜的非目標、光照條件復雜等情況,分割結果如圖7所示。

圖7 由4種模型分割的復雜RSI目標圖像Fig.7 Complex RSI target image segmentation by four models

比較圖6和圖7可以看出,在多種復雜背景下的TSRSI結果中,ADMSU-Net的分割效果最好,幾乎不受環境影響,能夠有效的分割出目標區域,增強了對細節部分的分割效果,分割的目標邊緣比較清晰,分割圖像最接近標注圖像。U-Net的分割效果比較差,目標輪廓比較模糊,與標注圖像差異最大;SPMSRU-Net比LWMSAU-Net分割結果中含有大量噪聲;盡管SPMSRU-Net比LWMSAU-Net的分割效果好些,但對于小目標的分割精度不夠。對于復雜光照下的目標分割問題,由于光照強度的增強,加大了分割的復雜度,導致SPMSRU-Net和LWMSAU-Net都將背景區域誤分為目標區域。ADMSU-Net分割模型能夠有效分割出不同場景下的目標區域,分割效果受自然條件影響較小,穩定性較高,該方法具有較強的魯棒性,能夠滿足不同場景下的目標分割任務。

在包含目標的2 000幅圖像數據集上,利用5-折交差驗證方法進行實驗。表1為U-Net及其3個改進模型LWMSAU-Net、SPMSRU-Net和ADMSU-Net分割目標的準確率和模型的訓練時間。

表1 4種方法的目標分割的平均準確率和模型的訓練時間Table 1 Average accuracy of target segmentation and training time by four methods

從表1看出,ADMSU-Net的分割性能最好,分割精度最高、訓練時間最少,ADMSU-Net的訓練時間最短。主要原因是ADMSU-Net的參數較少,而且利用了注意力模塊,加速網絡訓練。

2.3 結果分析

由圖4～圖7和表1可以看出,ADMSU-Net明顯比LWMSAU-Net和SPMSRU-Net好,準確率達93.14%,訓練時間為5.92 h。主要原因是ADMSU-Net;其次是SPMSRU-Net,其分割性能較好,準確率為92.35%,但訓練時間較長。主要原因是MSU-Net和LWMSAU-Net均具有多尺度特征提取能力,能夠同時對不同尺度的飛機圖像進行分割。SCNN和M-FCN不適合提取多尺度目標的多尺度特征。LWU-Net和LWMSAU-Net的訓練時間較少,其原因是他們的模型為輕量級、層數少、訓練參數少;LWMSAU-Net的訓練時間最少的原因是,它利用了多尺度卷積模塊和殘差連接模塊,加速了模型收斂。

3 結論

針對遙感圖像目標分割難題,以及現有的CNN模型的訓練時間太長和需要大量訓練樣本等問題,提出一種基于注意力空洞多尺度U-Net模型(ADMSU-Net)的遙感圖像目標分割方法。該方法充分考慮遙感圖像多樣、背景復雜以及包含的目標較小、大小不同等問題,利用空洞Inception模塊生成多尺度卷積感受域,提取多尺度特征;利用空間注意力模塊抑制不相關的特征,同時突出對目標分割顯著的特征,極大提高模型的分割性能。在包含多尺度目標的遙感圖像數據集EORSSD上的實驗結果表明,該方法是有效可行的,分割準確率為93.14%。在未來的工作中考慮目標大小和角度變化對網絡性能的影響,優化ADMSU-Net網絡,進一步提高目標分割的精度和模型的泛化能力。