基于增強學習機制的SAR圖像水域分割方法

趙維諺 沈 志 徐 真 楊 亮 雷明陽

1(云南電網有限責任公司帶電作業分公司 云南 昆明 650000) 2(北京理工大學醫工融合研究院 北京 100081) 3(北方工業大學信息學院 北京 100144)

0 引 言

隨著自然社會的不斷變遷,人類所接觸的災害種類越來越多,而合成孔徑雷達(SAR)的空間分辨率近些年來不斷提高,且具有全天時、全天候的監測預警能力,現已成為監測多類型自然災害的重要手段[1]。其中,由于地球水位逐年來不斷上升,對于洪澇的防范在我國具有非常重要的意義。對于SAR收集的遙感圖像,及時提取其中的水域范圍并進行有效分割,是進行人員轉移、預估風險、電力系統調配的重要防災減災途徑。

由于SAR圖像通常具有較大尺寸、圖像信息較復雜,且相干斑噪聲易對模型的判別能力產生影響,因此現有的其他類型圖像的分割算法難以直接應用[2-3]。目前主流的SAR圖像水域分割算法可大致分為聚類分割、閾值分割和卷積神經網絡三類算法。其中:聚類分割類算法通過歐氏距離計算相似度,完成相似物體的分類任務,然而此類算法計算成本高、效率較低[4];閾值分割類算法基于灰度級,通過預設閾值完成分割,然而此類算法在相干斑噪聲的影響下準確度較低,且閾值的設定范圍不好人為把控[5];卷積神經網絡類算法在大量數據的基礎上擬合出最優算法模型,在目標檢測、識別、跟蹤等領域廣泛使用,然而SAR圖像樣本稀少,難以利用足夠多的樣本來優化算法[6]。

為了有效解決上述方法存在的問題,本文提出一種基于增強學習的SAR圖像水域分割方法,通過選取合適的深度學習網絡模型作為基網絡,對樣本數據和目標特征兩個維度上的信息進行增強。具體而言,本文的主要貢獻如下:

(1) 在樣本數據維度上,通過旋轉拼接的方式增強網絡模型對SAR圖像水域的分割能力。

(2) 在目標特征維度上,通過引入注意力機制,從通道和空間兩個角度對網絡的提取特征能力增強。

(3) 通過在數據集上進行實驗評估可以發現,本文算法相較于其他主流算法,可以在較高效率的基礎上提升分割準確率。

1 SAR圖像水域分割基網絡

隨著深度學習在目標檢測、識別、跟蹤等領域的快速發展,在圖像分割領域,文獻[7]提出了一種用于圖像語義級分割的深度學習網絡框架Fully Convolutional Network(FCN),其已成為后續眾多主流圖像分割算法的基本框架。為了保證模型時效性,本文選取原始FCN作為分割網絡的基網絡。

FCN因使用卷積層代替全連接層而得名,是一種端到端的分割算法,采用上采樣等策略可根據輸入圖像直接得出輸出預測圖,其基本網絡結構如圖1所示。

圖1 FCN網絡結構

通過網絡最后反卷積部分,可以獲得與原圖尺寸相當的分割效果圖,這種方便、快捷的分割方式也是FCN持續在圖像分割領域占有一席之地的原因。然而,由于模型限制,FCN所獲得的結果不夠精細,準確率相對不高,特別對于小樣本的目標分割性能不佳。

2 基于增強學習的FCN分割網絡

為了有效解決上述問題,本文提出一種增強學習機制用于從數據和特征兩個維度,對網絡模型的分割準確率進行提升。所提出網絡模型的結構示意圖如圖2所示。

圖2 本文網絡的模型結構

相較于原始FCN,本文在訓練階段使用旋轉拼接的數據增強策略,對特征不清晰的樣本數據進行180°旋轉,在空間維度上將四幅圖拼接成一幅新圖像用于后續的訓練進程,以提升網絡對水域范圍不清晰的SAR圖像的辨識能力。此外,本文在卷積層之間引入基于注意力機制的特征增強策略,從通道和空間維度增加網絡模型對目標特征的關注能力。

2.1 數據增強策略

對于深度網絡模型而言,訓練數據樣本的多樣性、有效性是保證網絡在整個訓練階段維持高性能的基礎。然而,對于SAR水域圖像而言,出于要地安全防護、海洋線路監視、港口艦船檢測等方面考慮,公開數據集的樣本數據較少,且部分數據并不含有足夠多的水域場景。為此,有必要在現有數據的基礎上進行數據增強,以適配深度網絡模型所需要的數據量。

文獻[8]提出了一種有效的檢測網絡,在無須額外輸入樣本的前提下,提升了小目標檢測的準確率。在常規視場下的圖像中,當小目標對網絡損失的貢獻Rsmall與閾值t滿足:

Rsmall

(1)

即小目標對于網絡訓練過程的貢獻程度較低時,將多幅圖像拼接成一幅新圖像重新用于訓練,以增強小目標物體對網絡模型的貢獻能力,其在空間維度上拼接過程如圖3所示。

圖3 空間維度上的拼接過程

可以看出,文獻[8]的策略是將原始圖像的長、寬各等比例縮小一半后,將四幅圖像拼成新的圖像。盡管此種方式對于常規視角下的目標具有較高的檢測準確度,然而由于遙感圖像的旋轉角度不一,目標方向各異,因此需要使用新的拼接策略來適應實際需求。為此,本文對SAR水域圖像基于人工判別,分為水域范圍清晰和水域范圍不清晰兩類。對于水域范圍不清晰的圖像進行180°旋轉,將四幅旋轉前后的不清晰圖像進行拼接,拼接方式如圖4所示。

圖4 本文的拼接過程

通過此種拼接方式,網絡可以在訓練階段,從空間維度上更好地學習水域范圍不清晰SAR圖像的信息,為后續分割階段提供幫助。

2.2 特征增強策略

注意力機制是一種資源的重分配機制,通過輸入信號的一系列計算,將網絡模型對特征的注意力集中在待關注目標本身附近,該機制在圖像檢測、識別、跟蹤等領域被廣泛使用[9-11]。文獻[12]提出一種輕小型壓縮激勵模塊(Squeeze and Excitation Module,SEM),在該模塊中,壓縮和激勵兩個步驟分別用于計算通道間的依存關系、計算相互依賴項。然而,SEM僅從通道維度考慮了特征間的關系,而忽略了空間上下文信息。文獻[13]基于這個思想,提出了一種引入了空間維度特性的注意力模塊Bottleneck Attention Module(BAM),并且該模塊可以使用在各種卷積網絡的變體之中。BAM的網絡結構如圖5所示。

圖5 BAM網絡結構

可以看出,對于輸入的特征圖F,BAM經過通道注意力模塊Mc(F)和空間注意力模塊MS(F)的卷積、池化等操作,生成注意力圖M(F),整個算法流程可以表示為:

M(F)=σ(Mc(F)+MS(F))

(2)

式中:σ是Sigmoid激活函數。優化后的特征圖F′由式(3)計算得出:

F′=F+F?M(F)

(3)

式中:?表示逐元素相乘。

通道注意力模塊的計算過程為:

MC(F)=BN(MLP(AvgPool(F)))=

BN(W1(W0AvgPool(F)+b0)+b1)

(4)

式中:MLP為多層感知機;BN表示標準化層;W和b分別表示對應的權重和偏置。

空間注意力模塊的計算過程為:

(5)

式中:f表示卷積操作。網絡模型的優化過程可以被簡化為:

F′=(1+M(F))F(x,φ)

(6)

式中:φ是分割網絡中特征提取器的參數。梯度可由式(7)計算得出:

(7)

由式(7)可以看出,在SAR圖像水域分割網絡的運行過程中,目標區域的重要程度越高,相應的梯度值浮動范圍就越大。

通過BAM從通道和空間維度上對特征信息的加強,網絡模型可以聚焦于目標本身,為后續的分割任務提供有價值的信息量。為了在提升分割準確率的同時保證效率,本文在前兩組卷積層間使用了通道注意力模塊和空間注意力模塊,而由于SAR水域圖像中上下文空間信息更為重要,因此在第三組卷積層間僅使用空間注意力模塊。

3 實 驗

3.1 實驗平臺環境

為了驗證所提出SAR圖像水域分割算法的有效性,本文設計定性和定量的實驗進行對比,在數據集的制作上,部分來自云南電網有限責任公司帶電作業分公司與中國空間技術研究院合作項目中,部分來自于公開數據集[14],另一部分選取用標注軟件標注后的高分三號SAR水域圖像,分辨率為1 m和3 m。本文選取70幅含有水域范圍的圖像,平均為3 000×3 000像素大小,此外,算法框架為PyTorch,編寫語言為Python,操作系統為Ubuntu,硬件配置包括內存為12 GB的TITAN XP。本文使用的對比算法包括PSPNet[15]和FCN[7]。

3.2 實驗性能對比

利用本文方法,SAR圖像水域的效果如圖6所示。

圖6 本文方法的水域分割效果

可以看出,本文算法對于水域范圍不清晰的SAR圖像依然有較好的分割準確率。

在本文數據集上,不同算法的分割性能如表1所示。其中:“Ours”表示本文算法;“Ours-data”表示在本文算法的基礎上不使用數據增強策略,“Ours-feature”表示在本文算法的基礎上不使用特征增強策略。

表1 不同算法的性能對比

可以看出,本文算法的各個模塊都對準確率的提升有幫助。其中,在訓練階段使用的數據增強模塊可以提升網絡對水域范圍不清晰的SAR圖像的辨識能力。特征增強策略利用通道注意力模塊和空間注意力模塊增強了網絡模型對目標特征的提取能力。

4 結 語

本文針對SAR圖像水域分割任務的難點,設計兩種對應的增強方式:數據增強和特征增強,并通過定性和定量的實驗證明本文算法的有效性。然而,對于細長型水域范圍,本文算法的分割準確度不佳,這也是未來需要優化的方向。