一種交叉區域注意力的高分辨率遙感建筑物提取算法

鄧博文,徐勝軍,孟月波,劉光輝,韓九強,史 亞

1(西安建筑科技大學 信息與控制工程學院,西安 710055)

2(西安交通大學 電子科學與工程學院,西安 710049)

0 引 言

精確的建筑物分布信息對數字城市建設、生態環境監測和人口估計等科學研究具有重要意義.高分辨率遙感建筑物語義分割是遙感對地觀測技術的重要組成部分,其主要任務是對高分辨率遙感圖像進行建筑物相關的特征提取,完成對遙感圖像所有空間像素的分類[1],從而實現對高分辨遙感圖像中建筑物的提取.然而,遙感圖像中的建筑物經常存在細長連接或區域跨度較大的問題,再加上建筑物受到光照、角度和邊界不清晰以及背景信息復雜等強干擾的影響使得對于此類建筑物的精確分割帶來了巨大的挑戰.

隨著遙感技術與計算機視覺技術的發展,越來越多的研究人員對高分辨率遙感建筑物語義分割問題進行了深入的研究[2,3],提出了大量的遙感圖像分割方法.這些研究方法主要分為基于傳統機器學習的分割方法和基于深度學習的分割方法.基于傳統機器學習的分割方法主要是利用人工構造的特征如形狀、紋理、顏色和光譜與空間細節特征等來訓練分類器,例如,局部二值模式[4](Local Binary Patterns,LBPs)是一種圖像局部紋理特征提取算法,在遙感圖像分割領域一般利用單個像素與其鄰域像素的關系描述局部紋理結構的特征,但由于其局部特征編碼的特征維度過大,因此不利于遙感圖像紋理特征表達的實際應用;隨機森林[5](Random Forests)是一種以決策樹為基本分類器的集成學習模型,由多棵決策樹組合而成,當輸入待分割的遙感圖像時,最終每個像素的分類結果由多個決策樹投票決定;K鄰近[6](K-nearest Neighbors,KNN)是一種監督分類方法,其原理是利用距離度量方式來計算未知數據與已知數據的距離,然后根據其距離來確定遙感圖像不同像素語義特征的相似性,并選取最近的k個距離作為判定未知數據類別的依據;雖然基于傳統機器學習的分割方法中人工構造的特征可以有效地表示圖像的各種屬性,但是這類方法的有效性強烈依賴于人工對特定場景圖像的先驗認識的準確描述程度,這個問題導致基于傳統機器學習的分割方法往往存在泛化能力差、設計復雜等缺點,難以解決真實復雜環境下的遙感圖像語義分割問題.

近年來,深度學習由于具有可以學習任何數據的分布且無需任何關于輸入數據統計分布的先驗知識、自學習目標特征與泛化性強等特點,在遙感圖像分割領域取得了顯著的效果[7-11].基于深度學習的遙感圖像分割網絡主要利用編碼器-解碼器結構[12]對高分辨率遙感圖像的深層語義特征進行提取與并對特征進行分辨率恢復,最后完成分類,從而實現目標遙感對象的分割.Li等[13]將圖卷積應用到語義分割任務中,提出了一種改進的拉普拉斯算子并將圖推理與金字塔結構應用與原始的特征空間中,取得了較好的語義分割效果;Chen等[14]基于DeepLabV3+Net引入密集的Xception模塊,并利用多尺度融合的方法融合淺層特征和深層特征,有效增強了網絡對上下文信息的挖掘能力;Yuan[15]等提出了一種上下文聚合的方法用于增強對象信息的相互作用關系,同時設計了一種高效的隔行稀疏自注意方法,通過兩個稀疏關系矩陣的組合來建模所有像素中任意兩個像素之間的密集關系.進一步強化了網絡對上下文信息的獲取能力;為了強化網絡對遙感圖像待提取目標的表征能力與關注能力,主流的思路是在網絡中引入注意力機制[16],其中空間注意力機制可有效的增強網絡在空間上對于長距離依賴關系與上下文信息的能力.

通道注意力可增強網絡對待分割目標有效特征的關注能力.Tao[17]等提出了一種分層多尺度注意的語義分割方法,通過在層次化語義分割框架中引入注意力模塊,有效的提高了分割精度;Ding[18]等利用局部圖像塊具有清晰語義的特點提出了一種局部注意力模塊,實現了區域級注意力加權,有效增強了網絡對區域級語義的表達能力.Zhong[19]等提出了一種新的擠壓注意網絡(SANet),該網絡通過構造擠壓和注意(SA)模塊來高效關注到空間與通道特征的相關性,通過融合多尺度輸出結果,增強了網絡對上下文信息的挖掘力.

綜上所述,雖然基于注意力機制的高分辨率遙感建筑物語義分割中取得了顯著研究成果[20,21],但是現有的注意力機制并沒有針對空間局部相關性,因此在深度網絡的訓練和推理過程中對不同區域建筑物的邊緣連貫性和區域一致性等缺乏學習和監督,進而導致建筑物分割結果中經常出現邊緣不連貫與區域一致性較差的問題.為了解決上述問題,提出了一種基于交叉區域注意力的高分辨率遙感建筑物提取算法,所提算法主干基于ResUnet網絡結構,通過構造了一種交叉區域注意力模塊和分組通道自注意力模塊,強化網絡對不同尺度的建筑物區域特征的關注能力;同時,基于局部區域像素標簽分配的空間一致性假設,提出一種多尺度區域一致性監督的損失函數,約束局部區域內像素標簽分配的一致性.

1 方 法

為了解決上述問題,本文提出了一種基于交叉區域注意力、分組通道自注意力與區域一致性注意力監督的遙感建筑物語義分割方法,該方法基于ResUnet結構的語義分割網絡,構造了一種基于交叉區域注意力模塊(Cross Region Attention Module,CRA)和一種分組通道自注意力模塊(Group Channel Attention Module,GCA);為增強網絡對局部區域內像素分配標簽的平滑性,設計了一種基于區域一致性監督的損失函數.CEA-Net網絡總體結構如圖1所示.

圖1 CEA-Net總體結構圖Fig.1 Schematic of CEA-Net

CEA-Net主要由交叉區域注意力模塊、分組通道注意力模塊和基于編解碼器結構的特征提取模塊與特征分辨率恢復模塊組成,其中特征提取模塊主要基于ResNet50的殘差結構,用與提取遙感圖像中建筑物的紋理、區域邊界等淺層特征與類別、分布等深層語義特征.在特征提取模塊的每個輸出階段后都跟有一個分組通道自注意力模塊,增強目標建筑物形狀、邊緣等有效特征通道組的關注能力,減弱道路、樹木、噪聲等無效特征通道組的關注能力.然后利用基于Unet的解碼器結構設計了分辨率恢復模塊,采用漸進式上采樣對已提取特征圖進行分辨率恢復.在上采樣的特征融合階段,通過交叉區域注意力機制增強網絡對遙感圖像不同區域之間較大尺度空間與不同區域內較小尺度空間的相關性的表征能力,進而增強網絡對待分割目標區域的關注能力;最終,基于局部區域內鄰接像素傾向于取相同分割標簽的假設,提出了基于區域內鄰接像素一致性監督機制,利用遙感圖像局部區域空間相關性約束像素分割標簽的區域一致性,增強網絡對噪聲、紋理突變等干擾信息的魯棒性.

1.1 編解碼器骨干網絡

1.1.1 特征提取模塊

網絡中基于ResNet50的特征提取模塊主要由兩個階段組成.第1階段利用卷積塊(Conv1)提取遙感圖像的低級紋理特征,該卷積塊主要包含一個卷積核為7×7,步長為2×2、填充為3×3的卷積層;一個批歸一化層(Batch Normalization,BN);一個帶泄露線性整流單元(Leaky Rectified Linear Unit,LeakyReLU)和一個卷積核為3×3,步長為2×2,填充為1×1的最大池化層;第2階段包括4個基于殘差結構的殘差層(ResConv1-ResConv4),4個殘差層分別由3、4、6、3個殘差塊組成,其中每個殘差塊包含3個核大小分別為1×1,3×3,1×1,步長為1×1,填充為0×0,1×1,0×0的卷積層和一個下采樣卷積層組成.每個卷積層后有一個批歸一化層(BN)與帶泄露線性整流單元(LeakyReLU),用于增加網絡提取遙感圖像更深層語義特征的能力,結構如圖2(a)所示.

圖2 編解碼器骨干網絡結構圖Fig.2 Schematic of encoder-decoder backbone network

1.1.2 分辨率恢復模塊

基于Unet解碼器結構的分辨率恢復模塊主要利用漸進式上采樣策略對已提取遙感圖像特征圖進行分辨率恢復,并實現密集像素的預分類.該結構主要由4個上采樣塊(Upsample1-Upsample4)、4個交叉區域注意力模塊和通道組自注意力模塊與一個卷積塊(Outconv)組成,共分為5個階段.從第1階段到第4階段,每個階段包括一個上采樣模塊和一個區域注意力模塊.上采樣模塊完成對特征圖的漸進式空間分辨率恢復,為了消除反卷積導致的棋盤效應,每個上采樣塊包含一個雙線性上采樣層與兩個卷積核大小為,填充為1的卷積層,每個卷積層后跟有一個BN與LeakyReLU.同時,在上采樣的特征融合階段,利用區域注意力模塊融合不同尺度的區域級相關性增強圖,并強化網絡對遙感圖像區域之間較大尺度空間相關性的表達能力.區域注意力塊主要由多層池化、卷積層組成.最后第5階段由一個卷積塊組成,實現遙感圖像輸出特征圖的分割任務.結構如圖2(b)所示.

1.2 交叉區域注意力模塊(Cross Region Attention Module,MCRA)

交叉區域注意力模塊(CRA)主要由兩個平行分支組成,模塊整體結構如圖3所示,分別為區域內元素自注意力模塊與區域自注意力模塊.區域內元素自注意力模塊主要關注特征圖中每個子區域內元素的相關性情況,區域自注意力模塊主要針對特征圖中不同子區域之間的相關性,結合區域內元素和區域之間的相關性信息,引導網絡對區域內的建筑物細節信息與區域之間的不同尺度建筑物信息進行關注.

圖3 交叉區域注意力模塊(CRA)整體結構圖Fig.3 Schematic of CRA

區域內元素自注意力模塊由一個滑動窗口算子和4個線性映射塊組成,每個線性變換塊中包含一個Linear層、一個LayerNorm層.令Fin∈RHf×Wf×C表示輸入MCRA的特征圖,Fout∈RHf×Wf×C表示輸出的區域內元素自注意力特征圖,其中Hf,Wf,C分別為輸入CRA的特征圖的高、寬和通道數.區域內元素自注意力模塊具體流程描述如下:

首先,利用滑動窗口操作將特征圖Fin按照窗口大小P×P進行劃分,得到可劃分的所有窗口Fa∈R(Hf/P)×(Wf/P)×C×P2,數學描述如式(1)所示:

Fa=Unfoldk=P,s=P(Fin)

(1)

式(1)中,Unfoldk=P,s=P(·)代表卷積核k=P,步長s=P的滑動窗口操作.

其次,為了獲取遙感圖像不同區域內所有元素的相關性表征,利用自注意力機制建立對特征圖Fa中不同區域內的所有元素所的相關性表征.將Fa輸入線性映射塊中進行編碼,分別產生映射矩陣Q,K,V.數學描述如式(2)所示:

(2)

式中Linear代表線性層;Q∈RP2×[(Hf/P)×(Wf/P)×C],K∈R[(Hf/P)×(Wf/P)×C]×P2,V∈RP2×[(Hf/P)×(Wf/P)×C]

最后,將兩特征矩陣Q、K相乘后通過Softmax激活函數,得到區域內元素的空間注意力矩陣Z∈RP2×P2;將映射矩陣V與空間注意力矩陣Z相乘并通過映射層與反滑動窗口操作,進而得到區域內所有元素的相關性表征圖T∈RHf×Wf×C.數學描述如式(3)所示:

T=Foldk=P,s=P(V×Softmax(Q×K))

(3)

式(3)中,Foldk=P,s=P(·)代表卷積核k=P,步長s=P的反滑動窗口操作.

區域自注意力模塊由一個平均池化層和3個卷積層組成,首先利用平均池化層對輸入特征圖Fin進行平均池化操作,進而獲得Fin的區域描述符E∈R(Hf/P)×(Wf/P)× C,數學描述如式(4)所示:

E=Avgpoolk=P,s=P(Fin)

(4)

式(4)中,Avgpoolk=P,s=P(·)代表卷積核k=P,步長s=P的平均池化操作.為了獲取遙感圖像不同特征區域之間的相關性,利用自注意力機制建立對區域級特征圖中所有區域描述符之間的相關性表征.首先將具有區域級特征E利用卷積核為1的卷積層進行3次編碼并變形,分別獲得3個編碼后的特征矩陣Q′,K′,V′.數學描述如式(5)所示:

(5)

式(5)中,Convk=1(·)代表卷積核k=1的卷積層;Q′∈R[(Hf/P)×(Wf/P)]×C,K′∈R[(Hf/P)×(Wf/P)]×C,V′∈R[(Hf/P)×(Wf/P)]×C.

然后將兩特征圖矩陣Q′、K′相乘后通過激活函數Softmax,得到區域間空間注意力矩陣;最后將特征矩陣 與空間注意力矩陣V′相乘并變形與上采樣后與輸入特征圖逐元素相乘,進而得到具有區域間相關性的特征增強圖J∈RHf×Wf×C.計算過程如式(6)所示:

J=Upsamples=P(V′×Softmax(Q′×K′))?Fin

(6)

式(6)中,Upsamplescale=P(·)代表上采樣率scale=P的上采樣操作,其上采樣模式為Nearest.

最后將區域內元素自注意力模塊輸出的區域內所有元素的相關性表征圖T與區域自注意力模塊區域間相關性的特征增強圖J逐像素相加融合得到交叉區域注意力模塊的輸出Fout,數學描述見式(7):

Fout=J⊕T

(7)

式中⊕代表逐像素相乘操作.

1.3 分組通道注意力模塊(Group Channel Attention module,GCA)

組通道自注意力模塊(GCA)的總體結構如圖4所示.GCA主要用于提取相同的特征并聚合為一組,進而提高網絡對于不同特征的區分性,同時強化對于例如目標建筑物形狀、邊緣等有效特征通道組的關注能力,減弱例如道路、樹木、噪聲等無效特征通道組的關注能力.

圖4 分組通道組注意力模塊(GCA)整體結構圖Fig.4 Schematic of GCA

GCA主要由N+1個降維卷積塊和1個升維卷積塊組成.其中每個降維和升維卷積塊包含一個卷積核大小為1×1,步長為1×1的卷積層、一個批歸一化層(BN)和一個帶泄露線性整流層(LeakyReLU)組成.降維卷積的降維率為C/N,升維卷積的升維率為N.

令Fin∈RHf×Wf×C表示輸入GCA的特征圖,Fout∈RHf×Wf×C表示GCA輸出的分組通道注意力特征圖,其中Hf,Wf,C分別為輸入GCA的特征圖的高、寬和通道數.分組通道注意力模塊的流程描述如下:

為了獲取例如目標建筑物形狀、邊緣等有效特征通道組,首先將特征圖Fin輸入N個降維卷積塊中進而獲得特征組B={b1,b2,…,bN},b∈RHf×Wf×(C/N),即式(8):

(8)

(9)

1.4 鄰域一致性監督損失函數

為了提升分割結果中遙感圖像分割結果的平滑性,基于局部區域內鄰接像素傾向于取相同分割標簽的假設,提出了一種多尺度鄰域一致性監督的損失函數,增強了局部區域一致性約束,使得分割后局部區域內的平滑性更好.建立鄰域一致性監督損失的目的是量化評估CEA-Net對遙感建筑物圖像分割結果和真實像素標簽的誤差.

鄰域一致性監督損失函數losslc定義為:

(10)

式(10)中,U={u1,…,uN}表示CEA-Net輸出預測概率圖結果集合;Y={y1,…,yN}表示標簽集合,其中N為單次輸入的訓練圖像數量集合.

(11)

則有鄰域一致性監督損失函數為:

(12)

2 實驗結果與分析

2.1 實驗設置

實驗平臺工作站搭載Intel Xeon E5 2650處理器,376GB內存,4個NVIDIA 2080Ti 11G顯卡;深度學習框架采用pytorch-1.8,以及NVIDIA公司CUDA11.2的GPU運行平臺以及cuDNN8.0深度學習GPU加速庫.

CEA-Net網絡訓練過程中,輸入分別為分辨率512×512與256×256的遙感圖像.使用隨機水平翻轉與歸一化操作策略實現對遙感數據的增強.實驗中,網絡設置訓練參數批大小為12、學習輪數為 151、初始學習率為1×10-3,使用 AdamW 優化器進行優化.網絡訓練過程中,使用余弦學習率調整策略,調整周期為20輪,最小學習率設置為1×10-6.

2.2 實驗數據集與評價指標

為了驗證所提算法的有效性,本文利用WHU Building Dataset中的子數據集Aerial Imagery Dataset[22]和Massachusetts Building Dataset[23]兩個遙感建筑物圖像數據集開展實驗.Aerial Imagery Dataset由新西蘭基督城的航空和衛星圖像組成,其中包含約 22,000座獨立建筑.圖像的原始地面分辨率為0.075m.數據集中含有裁剪后分辨率為512×512的遙感圖像共8187張,其中訓練集4735張、驗證集1036張、測試集2416張.Massachusetts Building Dataset由波士頓地區的151張航拍圖像組成,每幅圖像大小為1500×1500像素,其中訓練集、驗證集、測試集分別為137、4、10張.為了方便訓練與驗證,實驗中使用帶有邊緣重疊的方法將每個原始圖像裁剪為36個分辨率的子圖.裁剪后訓練集5436張、驗證集144張、測試集360張.

為了驗證本文提出算法的有效性,本文采用精確度(Precision)[24]、召回率(Recall)[24]、交并比(Intersection Over Union,IoU)[24]和F1分數(F1-Score)[25]等評估指標進行算法有效性對比評價,各指標定義公式表示如下:

(13)

(14)

(15)

(16)

式中,TP為遙感圖像建筑物分割結果中建筑物類別分割正確的像素點總數;TN為遙感圖像建筑物分割結果中背景類別分割正確的像素點總數;FP為遙感圖像建筑物分割結果中建筑物類別分割錯誤的像素點總數;FN為遙感圖像建筑物分割結果中背景類別分割錯誤的像素點總數.

為了驗證所提模型的復雜度,本文使用乘加累積操作數(Multiply-Accumulate Operations,MACs)[26]與參數量(Parameters,Param)進行度量.

2.3 消融實驗

為了驗證所提出的CEA-Net模型各模塊的有效性,在Aerial Imagery Dataset數據集上開展了消融實驗.消融實驗主要從分割結果的Precision、Recall、IoU、F1-score 等指標以及不同變種模型的MACs和Params指標進行對比,各變種模型的相關參數設置和訓練策略均相同,以文獻[8]的語義分割模型作為基線模型(Baseline).所有對比模型輸入圖像分辨率為.表1給出網絡各變種的配置與說明,消融實驗對比結果如表2所示.

表1 CEA-Net模型變種結構表Table 1 Variant structure of CEA-Net

表2 消融實驗結果Table 2 Ablation experimental results

分析表2可知,對比Baseline,網絡加入交叉區域注意力與分組通道注意力模塊后性能有較為明顯的提升.由表2可知,Baseline+CG1比Baseline分別提高1.079%(IoU)、0.59%(Precision)、0.658%(Recall)和0.85%(F1-Score);Baseline+CG1+CG2比Baseline分別提高2.069%(IoU)、0.73%(Precision)、1.46%(Recall)和1.32%(F1-Score);Baseline+CG1+CG2+CG3比Baseline分別提高2.579%(IoU)、0.859%(Precision)、1.57%(Recall)和1.439%(F1-Score);Baseline+CG1+CG2+CG3+CG4比Baseline分別提高2.93%(IoU)、0.93%(Precision)、1.829%(Recall)和1.609%(F1-Score),證明加入交叉區域注意力與分組通道注意力模塊能增強局部區域的相關性與一致性的關注,提升了所提網絡對待分割目標建筑物的區域與邊界信息的關注能力.

2.4 Aerial Imagery Dataset數據集對比實驗

本小節為驗證所提CEA-Net有效性,與幾個主流先進語義分割網絡在Aerial Imagery Dataset數據集上進行了建筑物分割對比實驗.對比方法包括FCN[7]、Unet[8]、SegNet[9]、DeeplabV3[10]、PSPNet[11]、DR-Net[14]、Res-Unet[27]、HR-Net[28]、Chen et al[29]、RSR-Net[30].

圖5為各類對比方法在Aerial Imagery Dataset數據集部分分割結果,從左到右,圖中第1列Raw為輸入測試的遙感建筑物圖像,第2列～第8列分別為FCN、SegNet、DeeplabV3、PSPNet、Unet、Res-Unet和HR-Net算法的語義分割結果,第9列Ours為本文所提CEA-Net的語義分割結果,第10列Ground Truth為真實標簽圖像.

圖5 Aerial Imagery Dataset數據集定性對比實驗結果Fig.5 Qualitative comparison results of Aerial Imagery Dataset

定性分析.如圖5(a)行所示,本文所提出的算法CEA-Net相較于FCN、PSPNet、Res-Unet等算法能更好的提取建筑物的空間細節信息,受空間一致性的約束,使得CEA-Net能進一步減弱由建筑物粘連帶和細長連接來的分割不精確問題;而對于建筑物顏色與背景顏色相似的問題,如圖5(a)、5(c)所示,對比FCN、PSPNet、Res-Unet等算法,本文所提出的區域注意力機制能精確的關注到不顯著建筑物的邊緣與區域形狀,從而實現對建筑物顏色與背景顏色相似圖像的精確分割;如圖5(c)所示,遙感建筑物圖像中高頻率出現邊界受到光照、陰影與復雜前景顏色影響的問題,相較于FCN、PSPNet、Res-Unet等算法,所提算法可有效的注意到各類噪聲影響下的建筑物邊界,從而實現光照、陰影與復雜前景顏色影響下的建筑物分割;如圖5(b)、圖5(d)、圖5(e)、圖5(f)和圖5(g)所示,遙感建筑物圖像中由于建筑物跨度較大且其中存在環境干擾與,導致分割中對于大尺度帶干擾建筑物的欠分割問題,本算法提出了交叉區域注意力與分組通道注意力相結合的方法,使得網絡能針對性的注意到區域與區域間的相關性,同時強化對于區域內的待分割建筑物的一致性關注能力與邊界特征提取能力,從而相較于FCN、PSPNet、Res-Unet等算法能進一步提高分割效果.綜上所述,從Aerial Imagery Dataset數據集的對比實驗效果可以看出,提出的基于交叉區域注意力與分組通道注意力的遙感建筑物語義分割方法可有效對復雜場景下的遙感建筑物圖像粘連、光照陰影干擾、復雜前景與背景顏色干擾、多尺度等挑戰性問題進行較高質量的分割.

定量分析.不同算法在Aerial Imagery Dataset數據集上分割結果的定量分析表如表3所示,定量分析所采用的指標主要為精確度(Precision)、召回率(Recall)、交并比(IoU)、F1分數(F1-Score)、MACs和Param.由表3可知,提出的CEA-Net算法在Aerial Imagery Dataset數據集上Precision為95.28%,Recall為95.49%,IoU為91.2%,MACs為221.36G,Param為21.34M.第1～10行分別為FCN、SegNet、DeeplabV3、PSPNet、Unet、Res-Unet、HR-Net、DR-Net、Chen et al、RSR-Net等對比算法的語義分割量化指標.實驗表明,相較于FCN、SegNet、DeeplabV3、PSPNet、Unet、Res-Unet、HR-Net、DR-Net、Chen et al、RSR-Net等對比算法,對比指標Precision分別提升了4.53%、2.8%、1.77%、0.82%、0.93%、0.79%、2.61%、0.98%、2.03%、2.06%;指標Recall分別提升了5.48%、3.93%、2.42%、1.93%、1.82%、2.64%、1.82%、1.19、-0.07%、3.24%;指標IoU分別提升了8.74%、6%、3.78%、2.51%、2.93%、3.15%、4.68%、2.9%、1.81%、2.88%;指標F1-Score分別提升了4.98%、3.37%、2.17%、1.37%、1.6%、1.72%、2.21%、1.57%、0.97%、2.65%.計算復雜度指標高于FCN、SegNet、DeeplabV3、PSPNet、Unet、HR-Net、RSR-Net,小于Res-Net;總體參數量高于FCN、DeeplabV3、Unet、Res-Unet、RSR-Net,小于SegNet、PSPNet、HR-Net.綜上所述,從定性指標可知,和對比算法相比,本文所提ReA-Net算法在Aerial Imagery Dataset數據集具有較好的分割效果,而且在復雜場景下的遙感建筑物圖像中能進行較高質量的分割,有較好的魯棒性,且計算復雜度與參數量都在可接受的范圍.

表3 Aerial Imagery Dataset數據集定量對比實驗結果Table 3 Quantitative comparison of Aerial Imagery Dataset

2.5 Massachusetts數據集對比實驗

本小節在Massachusetts數據集上對CEA-Net與現有的經典與先進語義分割網絡進行對比實驗.對比方法包括FCN[7]、Unet[8]、SegNet[9]、DeeplabV3[10]、PSPNet[11]、Res-Unet[27]、HR-Net[28].圖6為各類對比方法在Massachusetts數據集部分分割結果.同2.4節,各子圖從左到右,Raw為輸入測試的遙感建筑物圖像,第2列～第8列分別為FCN、SegNet、DeeplabV3、PSPNet、Unet、Res-Unet和HR-Net算法的語義分割效果圖像,Ours為本文所提出方法CEA-Net的語義分割效果圖像,Ground Truth為真實標簽圖像.

圖6 Massachusetts建筑物數據集定性對比實驗結果Fig.6 Qualitative comparison results of Massachusetts Dataset

定性分析.Massachusetts建筑物數據集整體成像質量較差,主要存在如圖6(a)所示的建筑物本身顏色差距較大的情況;如圖6(b)所示由于光照與陰影造成的建筑物邊界與顏色等特征不顯著的情況;如圖6(c)所示分布較為密集的小型建筑物且存在成像模糊的情況;如圖6(d)、圖6(e)所示前景與背景顏色較為相似的情況.如圖6所示,本文所提出的算法CEA-Net相較于FCN、PSPNet、Res-Unet等算法,多尺度區域注意力機制與區域一致性監督策略能更好的增強網絡對語義特征的提取能力,通過對建筑物區域與邊界的約束與監督,可使得模型提升對局部區域與邊界的關注程度.

定量分析.對比算法在Massachusetts數據集上分割結果的定量分析表如表4所示,定量分析所采用的指標主要為精確度(Precision)、召回率(Recall)、交并比(IoU)、F1分數(F1-Score)、MACs和Param.由表4可知,提出的CEA-Net算法在Massachusetts數據集上Precision為83.77%,Recall為86.98%,IoU為74.64%,MACs為54.13G,Param為21.77M.表中,第1～9行分別為FCN、SegNet、DeeplabV3、PSPNet、Unet、Res-Unet、HR-Net、Chen et al[29]、BRRNet[31]等對比算法的語義分割量化指標.結果表明,相較于FCN、SegNet、DeeplabV3、PSPNet、Unet、Res-Unet、HR-Net、Chen et al、BRRNet 等對比算法,所提算法的對比指標Precision分別提升了6.2%、17.71%、5.32%、4.01%、3.41%、6.79%、4.25%、0.43%;指標Recall分別提升了6.56%、4.23%、4.29%、4.74%、2.58%、4.4%、4.7%、0.82%.相較于FCN、SegNet、DeeplabV3、PSPNet、Unet、Res-Unet、HR-Net、Chen et al、BRRNet等算法,所提算法的指標IoU分別提升了9.53%、16.69%、7.39%、6.72%、4.78%、 8.56%、6.87%、1.28%、0.31%;指標F1-Score分別提升了6.43%、11.92%、4.88%、4.39%、3.05%、5.72%、4.52%、0.67%、0.03%.

表4 Massachusetts建筑物數據集定量對比實驗結果Table 4 Quantitative comparison of Massachusetts dataset

3 結 論

針對遙感圖像區域連續性差、邊界模糊而導致的建筑物分割精度低的問題,提出了一種基于交叉區域注意力監督的遙感建筑物分割算法.所提算法利用編碼器對遙感圖像中建筑物的紋理、邊界與深層語義等特征進行提取,通過解碼器的漸進式上采樣策略對已提取特征圖進行分辨率恢復,通過引入交叉區域注意力與分組通道注意力模塊有效的增強高階鄰域的相關性與一致性關注能力,進而增強網絡對待分割目標的區域與邊界特征信息的提取能力.進一步的,通過引入區域一致性監督損失,強化了網絡對區域平滑性的關注,同時加強模型對建筑物邊界的敏感度與像素分類的精度.通過在公開數據集Aerial Imagery Dataset和Massachusett上的定量實驗、定性實驗與消融實驗證明了所提算法的有效性和魯棒性.