目標(biāo)上下文卷積神經(jīng)網(wǎng)絡(luò)高分遙感影像語義分割

劉艷飛，丁樂樂，孟凡效

(天津市勘察設(shè)計院集團有限公司，天津 300000)

0 引言

隨著高分辨率遙感衛(wèi)星的成功發(fā)射，高分辨率遙感影像已經(jīng)成為對地精細(xì)觀測的重要數(shù)據(jù)來源，為地理國情普查、數(shù)字城市建設(shè)、精細(xì)農(nóng)業(yè)等科學(xué)和生產(chǎn)領(lǐng)域提供了數(shù)據(jù)支撐。然而，高分辨率遙感影像所具有的可用光譜波段少、影像信息高度細(xì)節(jié)化、“異物同譜，同物異譜”等特點為高分辨率遙感影像的分類識別帶來了困難和挑戰(zhàn)。針對高分辨率遙感影像語義分割任務(wù)，國內(nèi)外學(xué)者展開了系列研究，并形成了基于空間結(jié)構(gòu)特征的分割方法[1-3]、面向?qū)ο蟮姆指罘椒╗4-6]、基于空間上下文的分割方法[7]和基于深度學(xué)習(xí)的分割方法[8-12]。

基于空間結(jié)構(gòu)特征的方法挖掘像元和鄰域像元的空間模式，提取各種形式的空間結(jié)構(gòu)特征。如何挖掘影像的空間信息，獲取描述地物目標(biāo)的特征是該方法的關(guān)鍵，常用的空間結(jié)構(gòu)特征主要有紋理特征和幾何特征。如Zhao等[13]利用高斯馬爾可夫隨機場提取紋理特征用于高分影像語義分割，Huang等[14]基于加權(quán)均值、長寬比和標(biāo)準(zhǔn)差等統(tǒng)計幾何信息構(gòu)建空間結(jié)構(gòu)特征用于像素表達(dá)。面向?qū)ο蟮姆诸惙椒▽o監(jiān)督分割和語義分割結(jié)合，不再將單一像元作為特征提取和分割的研究單元，通過無監(jiān)督分割獲得同質(zhì)性區(qū)域，然后從同質(zhì)性區(qū)域中提取特征并用于同質(zhì)性區(qū)域的語義分割。如許高程等[15]通過多尺度分割在SPOT 5衛(wèi)星影像上獲取不同空間尺度結(jié)構(gòu)下海域使用的地物斑塊，并從分割對象中提取光譜、形狀和語義特征，建立分類規(guī)則集，實現(xiàn)池塘養(yǎng)殖用海域的信息提取。曹凱等[16]采用面向?qū)ο蟮姆椒▽δ暇┦袇^(qū)部分主城區(qū)進(jìn)行水體提取，基于空間上下文的分割方法假設(shè)相鄰像元更可能屬于同一地物類別。首先通過面向像素的分割方法獲得類別概率圖，然后基于局部濾波或者擴展隨機游走算法對類別概率圖進(jìn)行精化，從而得到最終考慮空間信息的分類結(jié)果。Zhao等[17]在成對條件隨機場模型的基礎(chǔ)上，集成光譜信息、局部空間上下文信息以及空間位置信息構(gòu)建高階勢能函數(shù)挖掘影像的大尺度空間上下文信息，從不同視角提供地物判別的互補信息，提高分類制圖效果。Zhang等[18]提出用超像素代替單個像素用于條件隨機場構(gòu)圖，提出超像素-條件隨機場模型考慮空間上下文用于高分影像語義分割。

以上三類方法都需要手工設(shè)計特征以及專家先驗知識，而且分類過程和特征提取過程分離，分類器無法為特征提取過程提供指導(dǎo)監(jiān)督信息。深度學(xué)習(xí)作為一種數(shù)據(jù)驅(qū)動的模型方法，可以從數(shù)據(jù)中自動學(xué)習(xí)特征，且在深度學(xué)習(xí)模型中，分類器也被設(shè)計為網(wǎng)絡(luò)的一層，完成了形式的統(tǒng)一，實現(xiàn)特征提取和分類器學(xué)習(xí)過程的一體化。由于深度學(xué)習(xí)強大的特征學(xué)習(xí)能力，已經(jīng)被成功應(yīng)用于高分遙感影像語義分割，并獲得廣泛關(guān)注。如Tao等[19]為解決高分影像語義分割中網(wǎng)絡(luò)深度增加導(dǎo)致的梯度彌散問題，提出稠密連接網(wǎng)絡(luò)實現(xiàn)網(wǎng)絡(luò)深度和表達(dá)能力的平衡。

在高分影像語義分割中，由于 “異物同譜，同物異譜”問題，單純依靠光譜信息無法對地物目標(biāo)進(jìn)行精細(xì)分類，還需依賴像素空間上下文進(jìn)行特征提取和分類。卷積神經(jīng)網(wǎng)絡(luò)通過堆疊卷積層、池化層進(jìn)行層次化特征提取，隱式地將空間上下文信息融合到特征提取過程中。然而這種方式僅僅融合了像素自身局部范圍的上下文信息，忽略了全局影像中同類目標(biāo)像素之間的關(guān)系。針對這一問題，本文顯式地對全局空間目標(biāo)上下文建模，將目標(biāo)上下文卷積神經(jīng)網(wǎng)絡(luò)(object-context representation CNN，OCRNet)[20]用于高分遙感影像語義分割。OCRNet包含雙分支網(wǎng)絡(luò)，分別為粗分割分支和精分割分支。首先，利用粗分割分支獲得每一個像素的類別概率分布；然后，基于粗分割分支得到的類別概率分布和精分割的特征圖計算每個類別的特征中心，根據(jù)類別特征中心對每個像素進(jìn)行編碼得到編碼特征；最后，將像素的編碼特征和精分割特征疊加作為最終的表達(dá)特征用于精分割分支的語義分割任務(wù)。

1 目標(biāo)上下文卷積神經(jīng)網(wǎng)絡(luò)高分遙感影像語義分割

本文采用的方法主要包含四個部分，即骨干網(wǎng)絡(luò)特征提取、粗語義分割、全局類別中心計算和精細(xì)語義分割。總體流程圖如圖1所示。

圖1 目標(biāo)上下文卷積神經(jīng)網(wǎng)絡(luò)高分遙感影像語義分割流程圖

設(shè)輸入影像為I∈RH×W×C及其對應(yīng)的標(biāo)注影像為Y∈RH×W，其中H、W、C分別表示影像的行、列和通道數(shù)，在本文中通道數(shù)為3，即C=3。對于輸入影像I，本文利用HRNet作為骨干網(wǎng)絡(luò)進(jìn)行基本特征提取，得到基礎(chǔ)特征fb，如式(1)所示。

fb=backbone(I)

(1)

式中：backbone表示骨干網(wǎng)絡(luò)；fb表示提取得到的基礎(chǔ)特征圖。對于得到的基礎(chǔ)特征圖fb，對其進(jìn)行上采樣至H×W，并進(jìn)行卷積操作，得到像素特征圖fp=RH×W×S，其中每一個位置處的向量表示像素的特征向量。

在粗語義分割階段，本文將特征圖fb作為粗語義分割網(wǎng)絡(luò)分支輸入進(jìn)行初步語義分割，得到粗語義分割圖fcorse∈RH×W×Cla，其中Cla表示類別數(shù)，如式(2)所示。

fcorse=branch-corse(fb)

(2)

式中：branch-corse為粗語義分割模塊。在訓(xùn)練階段，得到fcorse后，計算粗語義分割損失函數(shù)，如式(3)所示。

Lcorse=CrossEntropy(fcorse，Y)

(3)

式中：CrossEntropy表示交叉熵?fù)p失函數(shù)。在粗語義分割模塊branch-corse的Cla個通道輸出中，每一個通道代表像素對某一類別的響應(yīng)。因此，在某一類別對應(yīng)的通道上，屬于該類別的像素在該通道上響應(yīng)值大，不屬于該類別的像素在該通道響應(yīng)值小。在全局類別中心計算階段，本文利用這一特性從全局中考慮空間上下文，獲得每一類像元在特征空間的類別中心。本文將fcorse的每一通道分別進(jìn)行歸一化，并將之作為權(quán)值獲得該類別對應(yīng)的類別中心，如式(4)所示。

(4)

式中：mk∈RH×W為fcorse歸一化后的第k通道，fcorse，k∈RH×W為fcorse的第k通道，fcorse，k，i∈R表示第i個像素在通道k上的響應(yīng)值。得到權(quán)重mk后，計算每一類對應(yīng)的特征中心，如式(5)所示。

(5)

式中：fp，i∈RS為像素特征圖fp的第i個特征向量；mk，i表示第權(quán)重圖mk的第i個元素；fcentor，k為第k類的類別中心。

在精細(xì)語義分割階段，本文利用得到的類別中心作為碼本對像素特征fp進(jìn)行編碼，得到新的編碼特征fc∈RH×W×T，實現(xiàn)全局信息融合，如式(6)所示。

κ(a，b)=φ(a)Tψ(b)

(6)

(7)

(8)

式中：κ(·)為距離函數(shù)；φ(·)、ψ(·)、σ(·)和ρ(·)為轉(zhuǎn)換網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)為1×1卷積層-BN歸一化層-ReLU響應(yīng)層；wi，k為像素-中心關(guān)系矩陣w中的元素，表示第i個像素與第k個類別中心的編碼權(quán)重；fc，i為全局編碼特征圖fc的第i個元素，表示第i個像素的編碼特征。通過這種編碼方式，編碼特征fc融合了全部范圍內(nèi)的空間上下文信息。在本文中，得到編碼特征fc后，將編碼特征與像素特征進(jìn)行疊加和轉(zhuǎn)化，得到最終的深度融合特征ffus用于遙感影像語義分割，表達(dá)如式(9)至式(10)所示。

fcon=[fp，fc]

(9)

ffus=g(fcon)

(10)

式中：[·]表示將兩個特征圖首尾相連進(jìn)行疊加；g(·)為轉(zhuǎn)換網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)同樣為1×1卷積層-BN歸一化層-ReLU響應(yīng)層。利用ffus進(jìn)行精細(xì)化分類，表達(dá)如式(11)至式(12)所示。

ffine=conv1×1(ffus)

(11)

Lfine=CrossEntropy(ffine，Y)

(12)

式中：conv1×1(·)表示1×1卷積。本文的最終目標(biāo)函數(shù)L如式(13)所示。

L=Lfine+λLcorse

(13)

式中：λ為粗語義分割分支損失函數(shù)權(quán)重。

在本文采用的方法中，粗語義分割分支提供了基本的類別信息用于對精細(xì)分割分支像素特征進(jìn)行全空間區(qū)域的“軟聚類”，獲得精細(xì)分割分支像素特征空間的語義類別中心，并以此為碼本對精細(xì)分支像素特征進(jìn)行編碼，建立單個與全局內(nèi)其他同類像素的空間聯(lián)系，融合全局內(nèi)同類像素的信息，提高表達(dá)能力。相比于傳統(tǒng)僅通過逐層卷積來考慮局部區(qū)域像素之間空間關(guān)系的高分語義分割方法，本文采用的方法為像素之間建立了更為廣闊的空間聯(lián)系。

2 實驗與分析

2.1 實驗設(shè)置

數(shù)據(jù)集上選用GID[21]和WHU building 數(shù)據(jù)集[22-23]兩個數(shù)據(jù)集進(jìn)行實驗。GID數(shù)據(jù)集包含150張高分2號衛(wèi)星影像，每張影像大小為6 800像素×7 200像素，包含建筑物、農(nóng)田、森林、草地和水域五個類別。在實驗中隨機抽取120張影像用于訓(xùn)練，剩余30張用于測試。WHU building數(shù)據(jù)集是建筑物提取數(shù)據(jù)集，包含四個子數(shù)據(jù)集，本文使用WHU building 數(shù)據(jù)集中的aerial imagery dataset和building change detection dataset兩個子數(shù)據(jù)集進(jìn)行實驗，其中選用“the cropped image tiles and raster labels”和“a_training_aera_before_change”兩個數(shù)據(jù)作為訓(xùn)練集進(jìn)行模型訓(xùn)練，選用“after_change”和“before_change”作為測試集(測試集為同一區(qū)域不同時期的兩幅影像)。在實驗中，為避免顯存溢出問題，本文將每張影像切割成512×512大小作為輸入用于模型訓(xùn)練。圖2為實驗數(shù)據(jù)代表樣本。為使網(wǎng)絡(luò)獲得一個較好的初始化，本文選用在cityscapes數(shù)據(jù)集[24]上進(jìn)行過預(yù)訓(xùn)練的HRNet對骨干網(wǎng)絡(luò)參數(shù)進(jìn)行初始賦值。實驗在配置有10塊Nvidia 2080Ti顯卡服務(wù)器上進(jìn)行，迭代次數(shù)為3 000，初始學(xué)習(xí)率為0.003，學(xué)習(xí)率變化策略為多項式衰減，衰減參數(shù)power為0.9，最小學(xué)習(xí)率設(shè)置為0.001，優(yōu)化方法選用隨機梯度下降。本文選用FCN、DeepLabV3Plus[25]、PSPNet[26]、PointRend[27]等方法進(jìn)行對比實驗，采用Kappa系數(shù)、總體精度OA、平均交并比MIoU、每類分類精度作為評價指標(biāo)，對于WHU building dataset，另增加一個交并比IoU作為評價指標(biāo)。

圖2 實驗數(shù)據(jù)示例樣本

2.2 實驗結(jié)果與分析

1)GID數(shù)據(jù)實驗。表1給出了本文的方法OCRNet與對比方法在GID數(shù)據(jù)集上的語義分割結(jié)果。從表1可以看出，本文采用的方法OCRNet在GID數(shù)據(jù)集上的Kappa、平均交并比MIoU以及總體精度OA分別為97.14、95.08和97.99，獲得了最優(yōu)的分割結(jié)果，相比于次優(yōu)的PointRend，在Kappa、MIoU、OA三個指標(biāo)上分別提升0.9、1.87、0.6，有效證明了OCRNet有效性。在單類分割結(jié)果上，本文的方法OCRNet在建筑物，草地以及水域三個類別獲得最高的分割精度，在農(nóng)田和森林上低于DeepLabV3Plus的結(jié)果，在這兩個類別獲得次優(yōu)的分割精度。圖3給出了本文的方法OCRNet和對比方法在GID數(shù)據(jù)集上的可視化對比情況，其中GT表示真實標(biāo)注影像。從Image的區(qū)域1和區(qū)域2中，對比方法分別將水域錯分為農(nóng)田、農(nóng)田錯分為水域，而本文的方法OCRNet對每一個像素在全局范圍內(nèi)提取上下文信息精細(xì)融合，有效地減少了水域和農(nóng)田的錯分。然而在邊界處，如Image中的區(qū)域2處，OCRNet仍然無法完全消除類別之間的錯分現(xiàn)象，這主要是因為卷積神經(jīng)網(wǎng)絡(luò)在卷積的過程中不可避免地會造成圖像的空間平滑，使得在類別邊緣處造成錯分。

表1 GID數(shù)據(jù)集語義分割結(jié)果評價表 %

圖3 OCRNet及其他方法在GID數(shù)據(jù)集上的分類結(jié)果可視化對比

2)WHU building數(shù)據(jù)實驗。為進(jìn)一步驗證OCRNet的有效性，本文在WHU building數(shù)據(jù)集進(jìn)行實驗。表2給出了在WHU building數(shù)據(jù)集上的對比實驗情況。從表2可以看出，OCRNet在Kappa系數(shù)、平均交并比MIoU、總體精度OA、每類分類精度以及交并比IoU等五個指標(biāo)上均高于對比方法，取得最優(yōu)的分割精度，其中在IoU指標(biāo)上，相對于次優(yōu)方法FCN，在IoU指標(biāo)上有2.17個點的提升，證明了算法在提高語義分割精度方面的有效性。圖4給出了所有方法在WHU building數(shù)據(jù)集上的可視化分割結(jié)果。對于區(qū)域2、3、4，對比方法FCN、DeepLabV3Plus、PSPNet和PointRend得到的分割結(jié)果較為破碎，而采用的OCRNet對每一個待分像素在全局范圍內(nèi)進(jìn)行空間信息融合，可以有效地獲得影像中同類像素的信息用于最終的表達(dá)，所以相比于對比方法，可以獲得完整的分割結(jié)果。在區(qū)域1上，OCRNet仍然獲得相對較為完整的建筑物提取結(jié)果，然而在局部區(qū)域存在提取不完整的現(xiàn)象。圖5給出了OCRNet在其中一張測試數(shù)據(jù)上的建筑物提取結(jié)果。

表2 WHU Building數(shù)據(jù)集語義分割結(jié)果評價表 %

圖4 OCRNet及其他方法在WHU building數(shù)據(jù)集上的分類結(jié)果可視化對比

圖5 OCRNet在WHU building數(shù)據(jù)集上的建筑物提取結(jié)果

本文采用的WHU building測試數(shù)據(jù)集為同一地區(qū)的不同時相數(shù)據(jù)，因此本文對兩時相的分割結(jié)果做對比，獲得建筑物的變化情況。表3給出了對比方法與OCRNet在該數(shù)據(jù)集上的變化檢測精度。從表3可以看出，在召回率Recall這個指標(biāo)上，OCRNet與FCN、PointRend相比沒有提升，略有下降。然而在Precession和F1分?jǐn)?shù)指標(biāo)上，OCRNet均有明顯提升，在Precessions上與PSPNet相比提升7.13(從85.43提升至91.73)，證明OCRNet在該數(shù)據(jù)集上具有更低的虛警率。圖6展示了OCRNet在WHU building數(shù)據(jù)集上的建筑物變化檢測結(jié)果，區(qū)域1和區(qū)域2為OCRNet提取出完整的變化圖斑，區(qū)域3為漏檢圖斑，區(qū)域4為虛警。

表3 WHU Building建筑物變化檢測結(jié)果評價表 %

圖6 OCRNet在WHU building數(shù)據(jù)集上的變化檢測結(jié)果

2.3 參數(shù)分析

在本文使用的方法中，同時訓(xùn)練粗語義分割分支和精細(xì)語義分割分支，并將兩個分支的損失函數(shù)進(jìn)行加權(quán)疊加，加權(quán)系數(shù)為λ。為研究加權(quán)系數(shù)λ對語義分割結(jié)果的影響，本文分別令λ={0.2，0.4，0.6，0.8，1.0}進(jìn)行實驗。實驗結(jié)果如圖7所示，其中MIoU、Kappa和OA為本文中網(wǎng)絡(luò)最終預(yù)測時的分割結(jié)果，C-MIoU、C-Kappa和C-OA為粗語義分割分支的分割精度指標(biāo)。

圖7 λ不同取值下，OCRNet在GID和WHU building數(shù)據(jù)集上的分割結(jié)果變化

從圖7可以看出，對于GID數(shù)據(jù)集，當(dāng)λ從0.2增加至0.4的過程中，分割精度指標(biāo)MIoU、Kappa和OA不斷提升，在λ=0.4時取得最優(yōu)值，隨后隨著λ的繼續(xù)增加，分割精度不斷下降。對于WHUbuilding數(shù)據(jù)集，建筑物提取結(jié)果基本不受系數(shù)λ影響，隨著λ改變，分割精度基本不變。在OCRNet中，粗語義分割分支的輸出將用于類別中心的特征編碼，進(jìn)而影響待分割像素在特征空間的最終表達(dá)，因此粗語義分割分支的分割精度會影響最終的分割精度。從圖7也可以看出，最終的分割精度與粗語義分割精度具有相似的變化曲線，基本隨著粗語義分割分支的分割精度變化而變化。對于GID數(shù)據(jù)集，由于其數(shù)據(jù)在空間上分布跨度較大(從中國60多個城市獲取得到的)，類內(nèi)異質(zhì)性較大，粗語義分割分支精度隨其加權(quán)系數(shù)λ變化，并在λ=0.4時取得最優(yōu)結(jié)果，因此使得OCRNet在λ=0.4獲得最優(yōu)精度。然而對于WHU building數(shù)據(jù)集，由于該數(shù)據(jù)覆蓋區(qū)域多為相鄰區(qū)域，數(shù)據(jù)同質(zhì)性較強，相比于GID數(shù)據(jù)，較為容易分割，粗語義分割分支對λ較為魯棒，因此最終的分割結(jié)果對于λ也表現(xiàn)出較為魯棒的特點，基本不隨λ波動。

圖8給出了OCRNet在GID和WHU building數(shù)據(jù)集上的預(yù)測結(jié)果與真實值對比情況。對于第一行數(shù)據(jù)GID-Ⅰ，其為典型的森林，區(qū)域內(nèi)部較為同質(zhì)，OCRNet在該區(qū)域完全分類正確。然而對來自其他區(qū)域的第二行數(shù)據(jù)GID-Ⅱ中，森林內(nèi)部如1、2、3地區(qū)表現(xiàn)出較大差異，同質(zhì)性較差，地區(qū)1和地區(qū)2被錯分為草地，地區(qū)3被錯分為農(nóng)田。尤其是地區(qū)3，與第一行中的森林差異大，視覺上與農(nóng)田這一類別較為相似。第3行給出了在WHU building數(shù)據(jù)集上的對比結(jié)果，相比于GID，WHU building建筑物和非建筑物之間具有更明顯的差異，相對更加容易分類。在第四行中，區(qū)域1、2、3是真實標(biāo)簽圖中被遺漏標(biāo)注卻被我們的模型給正確識別的。雖然區(qū)域1、2、3相對于其他房屋尺寸較小，然而其仍然表現(xiàn)出典型的建筑物的特征，而且與周圍背景差異較大，所以可以被正確識別。因此相較于WHU building，GID具有較高的類別復(fù)雜度，在OCRNet中粗語義分割分支精度對其對應(yīng)的權(quán)重λ較為敏感，最終表現(xiàn)出分割精度曲線隨粗語義分割分支權(quán)重λ起伏較大的現(xiàn)象。而在WHU building上，粗語義分割分支較為容易獲得不錯的分割結(jié)果，基本受λ影響不大，進(jìn)而分割精度曲線變化較小。

圖8 OCRNet和WHU building數(shù)據(jù)集上的預(yù)測結(jié)果與真實值對比情況

3 結(jié)束語

深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在高分遙感影像語義分割獲得成功應(yīng)用，并成為當(dāng)前高分語義分割的研究熱點。然而傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)的高分影像語義分割方法，通過堆疊卷積層、池化層進(jìn)行層次化特征提取，隱式地將空間上下文信息融合到特征提取過程中。這種方式僅僅融合了像素自身局部范圍的上下文信息，忽略了全局影像中同類像素之間的關(guān)系。本文顯式地對全局空間目標(biāo)上下文建模，將目標(biāo)上下文卷積神經(jīng)網(wǎng)絡(luò)用于高分遙感影像語義分割。在采用的方法中，包含了粗語義分割分支和精細(xì)語義分割分支的雙分支語義分割網(wǎng)絡(luò)。利用粗語義分割分支獲得每一個像素的類別概率分布，并結(jié)合精細(xì)語義分割分支獲得像素特征獲得全局空間的類別中心特征。隨后，將類別中心特征作為碼本對像素特征進(jìn)行變化，獲得融合了全局上下文信息的變換特征，并將變換特征與像素特征融合用于最終的像素表達(dá)，進(jìn)行語義分割。為驗證算法的有效性，本文在GID和WHU building語義分割數(shù)據(jù)集上進(jìn)行實驗，實驗結(jié)果證明所用算法可以有效利用全局空間上下文進(jìn)行特征融合，提高高分影像語義分割精度。