基于深度卷積網(wǎng)絡(luò)的SAR圖像地物分類研究

孫 盛，董曉冬，水文澤、劉立露

(廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，廣東 廣州 510000)

1 引言

土地利用/土地覆蓋(land use/land cover)為地表系統(tǒng)最直接的景觀標(biāo)志[1]。土地利用[2]研究一直是全球變化研究中的重要問題。通過土地利用分類，不僅可以了解各種土地類型的基本屬性，并且可以作為對(duì)土地利用的分布結(jié)構(gòu)、區(qū)域特征研究的基礎(chǔ)。土地利用在國(guó)家、地區(qū)以及全球范圍內(nèi)關(guān)于經(jīng)濟(jì)、人口、環(huán)境問題等方面為政策的建立提供了重要的依據(jù)。

地表的最早描述采用土地利用分類系統(tǒng)和植被分類系統(tǒng)實(shí)現(xiàn)， 隨著科技的不斷發(fā)展，遙感技術(shù)[3]成為獲取地表地物屬性的主要方法。由于遙感技術(shù)具有探測(cè)范圍廣、采集數(shù)據(jù)快、獲取信息手段多、信息量大等優(yōu)點(diǎn)，現(xiàn)已被廣泛應(yīng)用于土地利用分類中[4]。當(dāng)前土地分類研究中所用到數(shù)據(jù)源多光學(xué)遙感數(shù)據(jù)，通過利用地物在遙感影像上的光譜、形狀、 紋理等信息的差別進(jìn)行土地利用分類。由于中國(guó) 南方快速城市化地區(qū)常年多云雨的天氣，增加了有效光學(xué)影像獲取的難度，使得單一的光學(xué)遙感數(shù)據(jù)源很難滿足城市土地利用信息提取以及變化研究的需求[5]。對(duì)于該情況，使用合成孔徑雷達(dá) (Synthetic Aperture Radar，SAR)成為目前較好的解決方法之一。合成孔徑雷達(dá)不受外界天氣因素的影響，可全天時(shí)、全天候不間斷工作，獲取云覆蓋下的圖像信息，獲取的圖像具有較好的紋理信息，可以彌補(bǔ)光學(xué)信息的不足[6]。根據(jù)國(guó)內(nèi)外近期相關(guān)研究，張臘梅[7]等提出基于3D卷積神經(jīng)網(wǎng)絡(luò)的PolSAR圖像地物精細(xì)分類方法，將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展為三維并將其應(yīng)用于PolSAR圖像分類中，張?jiān)耓8]等提出了一種基于一致相似度網(wǎng)絡(luò)融合的極化SAR圖像非監(jiān)督地物分類方法，茍水萍[9]等提出了一種基于稀疏表示的海岸帶土地利用類型分類方法，Carolyne Danilla[10]等將卷積神經(jīng)網(wǎng)絡(luò)(CNN)與馬爾可夫隨機(jī)場(chǎng)(MRF)結(jié)合用于分析多時(shí)相系列的Sentinel-1圖像，對(duì)荷蘭弗萊福蘭的農(nóng)田進(jìn)行了分類提取。

深度學(xué)習(xí)模型靈感來源于人類腦部結(jié)構(gòu)[11]，依靠多個(gè)神經(jīng)元的聯(lián)結(jié)，對(duì)輸入數(shù)據(jù)進(jìn)行底層到高層的逐 層抽象特征，從而可以在圖像、文本和語(yǔ)音等領(lǐng)域展現(xiàn)其強(qiáng)大的能力，并轉(zhuǎn)而被用于更多領(lǐng)域。深度神經(jīng)網(wǎng)絡(luò)依靠其強(qiáng)大的學(xué)習(xí)能力和泛化能力，逐漸替代了其它機(jī)器學(xué)習(xí)手段，成為了該領(lǐng)域最主要的技術(shù)并被越來越多的學(xué)者涉足和應(yīng)用。現(xiàn)有的深度學(xué)習(xí)模型已經(jīng)有了很多，但這些模型的基本框架主要有深度置信神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和自編碼器等，其中在圖像處理領(lǐng)域應(yīng)用最廣泛的就是卷積神經(jīng)網(wǎng)絡(luò)[12]。本文使用改進(jìn)于卷積神經(jīng)網(wǎng)絡(luò)的深度模型Segnet，對(duì)SAR圖像進(jìn)行土地利用分類。根據(jù)文獻(xiàn)[13]，并且結(jié)合SAR圖像特性，把研究域內(nèi)土地分為包括水域、林地、建筑、草地、耕地、裸地、公路七個(gè)類別進(jìn)行分類和研究。

2 模型原理和分析

卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。卷積神經(jīng)網(wǎng)絡(luò)是一種多層神經(jīng)網(wǎng)絡(luò)，擅長(zhǎng)處理圖像相關(guān)的機(jī)器學(xué)習(xí)問題。近些年，針對(duì) CNN具有避免圖像的復(fù)雜前期預(yù)處理的優(yōu)勢(shì)，該網(wǎng)絡(luò)被廣泛應(yīng)用于圖像的模式分類領(lǐng)域。其基本架構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)

經(jīng)典的CNN一般包括卷積層、池化層、全連接層和分類器在卷積層中，其目的是對(duì)圖像進(jìn)行特征提取。 即通過對(duì)上一層輸出的特征圖進(jìn)行卷積，并在加入偏置后通過一個(gè)激活函數(shù)激活，得到當(dāng)前層的輸出 特征圖，即得到當(dāng)前層對(duì)應(yīng)特征情況，如式1所示

(1)

其中，x表示特征圖，Mj表示輸入特征圖的集合，k為卷積核，b為偏置，l是層序號(hào)，i是卷積核序號(hào)，j是特征圖通道序號(hào)。對(duì)于池化層而言，該層 設(shè)置的目的是對(duì)圖像進(jìn)行下采樣處理，而經(jīng)典的池 化方法包括：最大池化、均值池化等。在全連接層 中可將上一層得到的特征圖進(jìn)行按順序排列，得到 1維向量，對(duì)其進(jìn)行典型神經(jīng)網(wǎng)絡(luò)連接。最后，對(duì)于不同神經(jīng)元的輸出進(jìn)行分類器分類，一般采用 softmax或支持向量機(jī)(Support Vector Machine， SVM)分類器，得到分類標(biāo)簽。

Segnet[14]是Cambridge的Vijay Badrinarayanan提出的圖像語(yǔ)義分割深度網(wǎng)絡(luò)，是一種基于語(yǔ)義的圖像分割模型。該模型具有空間資源占用少，訓(xùn)練參數(shù)較少，訓(xùn)練速度較快的優(yōu)點(diǎn)，同時(shí)對(duì)圖像分割結(jié)果有相對(duì)明顯的提升。該模型是一種端到端的對(duì)稱結(jié)構(gòu)，包含編碼，解碼兩個(gè)部分。Segnet基于卷積神經(jīng)網(wǎng)絡(luò)，是通過修改VGG-16網(wǎng)絡(luò)得到的語(yǔ)義分割網(wǎng)絡(luò)?？梢栽谄浠A(chǔ)上進(jìn)行修改，使得網(wǎng)絡(luò)能夠適應(yīng)SAR圖像，從而使用Segnet進(jìn)行SAR圖像的分類。Segnet具有編碼器網(wǎng)絡(luò)和相應(yīng)的解碼器網(wǎng)絡(luò)，以及進(jìn)行最終像素分類的分類層。在編碼器處，執(zhí)行卷積和最大池化。在解碼器處，使用最大池化的索引進(jìn)行上采樣和卷積。最后，每個(gè)像素送到softmax分類器，使用K類softmax分類器來預(yù)測(cè)每個(gè)像素的類別。Segnet與FCN[15](Fully Convolutional Networks)思路相似，不同處主要為編碼部分和解碼部分使用的技術(shù)不一致。編碼過程中，通過卷積提取特征，該網(wǎng)絡(luò)使用的卷積為same卷積(卷積后保持圖像原尺寸)。在解碼過程中，同樣使用same卷積，此時(shí)卷積的作用是豐富因上采樣而變大圖像的信息，使得在池化過程丟失的信息可以通過學(xué)習(xí)在解碼過程中得到。在Segnet中池化層多了一個(gè)池化索引功能(每次池化，都會(huì)保存濾波器選出的權(quán)值的位置)，此功能可以有效地減少學(xué)習(xí)所需的參數(shù)，提高學(xué)習(xí)速度。在上采樣過程中，池化層而丟失的權(quán)值是無法復(fù)原的，此時(shí)使用index信息，將剩余權(quán)值恢復(fù)到池化之前的位置，減少了學(xué)習(xí)的過程，是Segnet相對(duì)于FNC有明顯提升的原因。圖3中，左半部分的網(wǎng)絡(luò)結(jié)構(gòu)為編碼器部分，通過卷積提取特征，通過池化層增大感受野，同時(shí)圖片變小。右邊是解碼器部分，通過反卷積使得圖像分類后特征得以重現(xiàn)，上采樣還原到圖像原始尺寸。最后通過softmax，輸出不同分類的最大值，得到最終分割圖。

3 數(shù)據(jù)源和方法

3.1 數(shù)據(jù)源

本文中使用的數(shù)據(jù)是TerraSAR-X衛(wèi)星拍攝的3米分辨率的HH單極化數(shù)據(jù)，拍攝時(shí)間為2018年3月23日22時(shí)31分。衛(wèi)星數(shù)據(jù)覆蓋區(qū)域?yàn)橹榻侵奕牒？?廣州市南沙區(qū))，如圖2所示。地球探測(cè)衛(wèi)星TerraSAR-X是由德國(guó)發(fā)射的首顆多用途偵察衛(wèi)星，于2007年6月15日發(fā)射。該衛(wèi)星采用太陽(yáng)同步軌道，其軌道高度約514公里，傾角97.4度，重訪周期為11天，是目前世界上探測(cè)精度較高的衛(wèi)星之一[16]。SAR衛(wèi)星運(yùn)行不依賴氣象條件，云層覆蓋和光照度，不會(huì)應(yīng)為天氣原因?qū)е聼o法獲得衛(wèi)星數(shù)據(jù)，因此對(duì)于華南地區(qū)多云多雨的天氣有較好的適應(yīng)效果。

圖2 Segnet網(wǎng)絡(luò)結(jié)構(gòu)

圖2 研究區(qū)域范圍

3.2 圖像濾波

SAR圖像中會(huì)有部分與圖像內(nèi)容無關(guān)的斑點(diǎn)，這是由于雷達(dá)目標(biāo)回波信號(hào)的衰落現(xiàn)象引起的。表現(xiàn)在圖像上，就產(chǎn)生了不可避免的斑點(diǎn)噪聲現(xiàn)象。噪聲會(huì)對(duì)SAR圖像的質(zhì)量產(chǎn)生影響，因此在處理數(shù)據(jù)之前，進(jìn)行濾波，降低噪聲是必要的工作。本文對(duì)原始SAR圖像進(jìn)行Gamma濾波算法處理，從而達(dá)到對(duì)原始圖像進(jìn)行降噪的目的。Gamma MAP濾波是一種幾何濾波法，把圖像的平面坐標(biāo)加上灰度值考慮為一種三維模型，用形態(tài)學(xué)的方法去除噪聲，這種濾波器的邊緣保持能力較好。如下式2為Gamma MAP濾波的方法

(2)

3.3 地理編碼

SAR系統(tǒng)觀測(cè)到的是電磁波入射地球表面后反射(后向散射)的雷達(dá)脈沖的強(qiáng)度和相位信息。這個(gè)信息編碼到雷達(dá)坐標(biāo)系統(tǒng)下，即斜距坐標(biāo)系，被記錄下來。實(shí)驗(yàn)中，需要將SAR數(shù)據(jù)從斜距坐標(biāo)系轉(zhuǎn)到地理坐標(biāo)系，即SAR數(shù)據(jù)的地理編碼。同時(shí)，TerraSAR-X衛(wèi)星的原始數(shù)據(jù)圖像為左右倒置，在實(shí)驗(yàn)和應(yīng)用中會(huì)產(chǎn)生標(biāo)注鏡像問題，故對(duì)SAR數(shù)據(jù)進(jìn)行地理編碼是必要的。本研究中采用WGS-84地理坐標(biāo)系。WGS-84坐標(biāo)系(World Geodetic System)是一種國(guó)際上采用的地心坐標(biāo)系。坐標(biāo)原點(diǎn)為地球質(zhì)心，其地心空間直角坐標(biāo)系的Z軸指向協(xié)議地極方向，X軸指向協(xié)議子午面和CTP赤道的交點(diǎn)，Y軸與Z軸、X軸垂直構(gòu)成右手坐標(biāo)系，稱為1984年世界大地坐標(biāo)系，是一個(gè)國(guó)際協(xié)議地球參考系統(tǒng)。

3.4 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)深度學(xué)習(xí)中普遍用到的一種數(shù)據(jù)處理方法。通過數(shù)據(jù)增強(qiáng)，增加訓(xùn)練樣本的數(shù)據(jù)量，提高模型的泛化能力。尤其在樣本數(shù)據(jù)不是足夠充分的條件下，使用數(shù)據(jù)增強(qiáng)的方法能對(duì)訓(xùn)練結(jié)果產(chǎn)生提升。本研究中，使用了翻轉(zhuǎn)，平移，縮放的方法進(jìn)行數(shù)據(jù)增強(qiáng)，使得原始樣本由180個(gè)增加到1480個(gè)，擴(kuò)充了較充分的數(shù)據(jù)。

4 實(shí)驗(yàn)及分析

為防止出現(xiàn)過擬合現(xiàn)象，Segnet模型訓(xùn)練20個(gè)Epoch。圖3表明訓(xùn)練集精度和驗(yàn)證集精度在第12Epoch之前呈增長(zhǎng)趨勢(shì)，同時(shí)損失函數(shù)值呈下降趨勢(shì)。但在第12至20個(gè)Epoch中，訓(xùn)練集損失函數(shù)、精度，驗(yàn)證集損失函數(shù)、精度，分別出現(xiàn)不同程度的波動(dòng)。其中驗(yàn)證集損失函數(shù)的波動(dòng)較大。是由于在此階段出現(xiàn)過擬合現(xiàn)象，故應(yīng)選用前12個(gè)Epoch中驗(yàn)證集精度最高的輪數(shù)時(shí)的模型。綜合以上，實(shí)驗(yàn)選取第11個(gè)Epoch的訓(xùn)練模型作為最終結(jié)果。

圖3 訓(xùn)練過程損失函數(shù)及精度變化圖

使用該模型對(duì)廣州市南沙區(qū)的TerraSAR影像進(jìn)行土地利用分類，分類結(jié)果與原始圖像和Ground-Truth對(duì)比如圖4所示，其中a1，b1為選取的兩個(gè)場(chǎng)景樣例的圖像，a2，b2為兩個(gè)所選取場(chǎng)景的Ground Truth圖像，a3，b3為使用本文方法所得的圖像分類結(jié)果。

圖4 原始圖像、GroundTruth、分類結(jié)果對(duì)比圖

使用Segnet的分類結(jié)果中各種地物區(qū)分較為完整，由于模型采用深度網(wǎng)絡(luò)，在淺層的學(xué)習(xí)中提取到圖像局部特征，在深層的學(xué)習(xí)中提取到全局特征，因而模型可以學(xué)習(xí)到充分的地物特征信息。模型對(duì)同一類地物的分割很少產(chǎn)生割裂的現(xiàn)象，錯(cuò)分現(xiàn)象也較少。但也存在少部分區(qū)域分割效果不好的情況，如圖4中b區(qū)域右上方公路部分產(chǎn)生斷裂以及類型錯(cuò)分的情況。同時(shí)由于SAR圖像固有的噪聲問題，也使得圖像中分類結(jié)果會(huì)有部分斑點(diǎn)存在。

由于本文分類方法結(jié)合了SAR圖像特征提取和Segnet深度神經(jīng)網(wǎng)絡(luò)，因此在分割結(jié)果中很好地分出不同地物類型之間的邊界，同時(shí)能夠得到較高的分類準(zhǔn)確性，實(shí)驗(yàn)分類的總體精度和Kappa系數(shù)可以證明此結(jié)論。

Kappa系數(shù)用于一致性檢驗(yàn)與衡量分類精度，Kappa系數(shù)是基于混淆矩陣的。

注：總體精度Overall Accuracy：0.791，Kappa系數(shù)：0.721

在混淆矩陣中，使用某一類別正確分類的樣本個(gè)數(shù)除以該類的真實(shí)樣本個(gè)數(shù)可得該類地物的分類精度。由圖5混淆矩陣結(jié)合精度計(jì)算公式得出：對(duì)于水域，林地，建筑，本文所使用的方法分別有96%，96%，85%的分類精確度。本文方法對(duì)比其它深度學(xué)習(xí)方法與傳統(tǒng)方法：使用基于VGG16的深度網(wǎng)絡(luò)分類方法，水域、林地、建筑的分類精度分別為89%、83%、70%；使用基于Resnet的深度網(wǎng)絡(luò)分類方法，水域、林地、建筑的分類精度分別為93%、89%、87%；使用Mahalanobis Distance分類方法水域、林地、建筑的分類精度分別為57%、49%、31%；使用Minimum Distance分類方法，三類精度分別為55%、28%、29%。比較可知，本文方法相較傳統(tǒng)方法，分類精度有較大提高，同時(shí)相對(duì)深度學(xué)習(xí)的其它方法，在水域、林地的分類精度上也有一定程度的提升。

圖5 分類結(jié)果混淆矩陣

使用Segnet模型對(duì)TerraSAR影像中的水域、林地的分類精度最高，一方面由于水體、林地的散射特性較其它地物類型有較大區(qū)別，另一方面說明使用Segnet模型對(duì)該兩類地物特征提取較好，區(qū)分顯著。建筑區(qū)域在研究中，范圍較廣，區(qū)分效果較好，但有部分被錯(cuò)分為林地。對(duì)于耕地區(qū)域，分類精度有略微下降，分析原因有耕地區(qū)域耕種作物類型多，散射特性不一致，并受季節(jié)影響較大，是導(dǎo)致該類精度有所下降的原因。公路分類精度相對(duì)較低，是由于公路在圖像中像素占有率低，而使用影像的分辨率又較低，導(dǎo)致素點(diǎn)較少，從而使得三類地物在圖像上的特征學(xué)習(xí)程度較低，導(dǎo)致對(duì)公路分類的結(jié)果精度也相對(duì)低?？偨Y(jié)上述結(jié)果，在研究區(qū)域地物分類中，使用本文方法，將地物分為7中不同類別，對(duì)多數(shù)地物可以做到70%以上的精確度，但在道路這樣的像素占有率較低的地物類別的分類結(jié)果還有待提高。

5 結(jié)束語(yǔ)

本文將廣州市南沙區(qū)作為案例，研究該地區(qū)地物分類的方法。研究中以 TerraSAR-X HH極化影像為數(shù)據(jù)源，采用Gamma MAP濾波、地理定標(biāo)、數(shù)據(jù)增強(qiáng)的方法減少圖像噪聲、校正圖像地理定位、增加數(shù)據(jù)量。訓(xùn)練Segnet深度網(wǎng)絡(luò)模型，再對(duì)圖像進(jìn)行分類預(yù)測(cè)，從而得到地物類型分類結(jié)果。水域、林地、建筑、草地、耕地、裸地均有高準(zhǔn)確率的結(jié)果，其中水域、林地的分類結(jié)果最好。

值得注意的是，本方法對(duì)公路等一些地物類型的分類結(jié)果存在一定偏差，在SAR圖像固有的噪聲在分類結(jié)果上會(huì)有少量斑點(diǎn)的問題。因此在今后的研究中，會(huì)考慮使用不同的SAR圖像結(jié)合極化分解的方法進(jìn)行分類，并且使用不同的深度網(wǎng)絡(luò)來進(jìn)行訓(xùn)練，以提高對(duì)不同圖像和地理區(qū)域的SAR圖像分類效果。