一種多尺度稀疏卷積的高分辨率遙感圖像變化檢測(cè)方法

胡 蕾，江 宇，李 進(jìn)，張永梅

1(江西師范大學(xué) 計(jì)算機(jī)信息工程學(xué)院，南昌 330022) 2(北方工業(yè)大學(xué) 信息學(xué)院，北京 100144)

1 引 言

遙感圖像變化檢測(cè)在土地監(jiān)測(cè)、環(huán)境監(jiān)測(cè)、城市規(guī)劃等中有著的重要應(yīng)用.隨著遙感技術(shù)的發(fā)展，遙感圖像的分辨率越來(lái)越高，在高分辨率遙感圖像中，車輛、樹(shù)木等大小的地物已經(jīng)可見(jiàn)，但由于光照、拍攝角度不同等影響，同一樹(shù)木及其陰影在圖像對(duì)中的位置、形狀難以完全保持一致，這種不一致并不屬于變化檢測(cè)中地物發(fā)生變化定義的范疇，但在高分辨率遙感圖像中，雖然車輛只占圖像中幾個(gè)像素，但車輛的變化是屬于地物變化的范疇.當(dāng)前的變化檢測(cè)模型多側(cè)重于檢測(cè)建筑物等較大地物的變化而忽略較小地物的變化[1]，或者檢測(cè)較小地物變化時(shí)對(duì)樹(shù)木陰影等非變換區(qū)域的容忍度較低，導(dǎo)致虛警率偏高.克服各種干擾，有效檢測(cè)出不同大小目標(biāo)的變化是高分辨遙感圖像變化檢測(cè)的重點(diǎn).

早期的變化檢測(cè)方法側(cè)重于利用像素光譜信息、空間鄰域信息等比較地物的相似性，如基于局部信息的模糊C均值聚類算法(Fuzzy C-means clustering algorithm based on local information，F(xiàn)LICM)[2]引入模糊技術(shù)去除一定的干擾噪聲.因深度學(xué)習(xí)技術(shù)在圖像目標(biāo)檢測(cè)、目標(biāo)識(shí)別、分割等方面取得了良好的效果，深度學(xué)習(xí)也被應(yīng)用于遙感圖像變化檢測(cè).Cao G和Zhao Y等分別提出一種深度置信網(wǎng)絡(luò)(Deep Belief Networks，DBN)變化檢測(cè)方法[3，4]，分別使用逐層有監(jiān)督和半監(jiān)督的貪婪學(xué)習(xí)后的深度神經(jīng)網(wǎng)絡(luò)直接從兩個(gè)圖像生成變化檢測(cè)圖，省略生成差異圖像過(guò)程，避免粗略差異圖對(duì)變化檢測(cè)結(jié)果的影響.Liu F和Zhang D等分別提出一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的變化檢測(cè)方法[5，6]，通過(guò)多層網(wǎng)絡(luò)進(jìn)行卷積、池化等操作逐步提取從低層次到高層次的抽象特征，結(jié)合不同層次的特征提升模型變化檢測(cè)能力.對(duì)于高分辨率遙感圖像處理，多尺度技術(shù)利于獲得不同尺度下的目標(biāo)特征[8]，如Guo Q等[9]引入多尺度分割技術(shù)，對(duì)分割區(qū)域的特征進(jìn)行比較分析，一定程度上提高了高分辨率遙感圖像變化檢測(cè)的精度.而基礎(chǔ)深度學(xué)習(xí)框架下變化檢測(cè)方法往往使用單一尺度對(duì)地物進(jìn)行變化檢測(cè)[7]，其泛化能力受到一定的限制.為了提高深度模型的泛化能力，通常會(huì)使用加深、加寬網(wǎng)絡(luò)模型的方法.如He K[10]為了降低模型在圖像識(shí)別中的錯(cuò)誤率，提出了具有152層網(wǎng)絡(luò)結(jié)構(gòu)的殘差神經(jīng)網(wǎng)絡(luò)(Residual Neural Network，ResNet)；Howard A Z[11]為驗(yàn)證模型寬度對(duì)準(zhǔn)確率的影響，分別用不同寬度的模型進(jìn)行試驗(yàn)，結(jié)果表明在一定范圍內(nèi)增大模型寬度可提高模型的準(zhǔn)確率.雖然加深、加寬網(wǎng)絡(luò)模型的方法會(huì)導(dǎo)致模型參數(shù)巨大、訓(xùn)練周期漫長(zhǎng)等問(wèn)題，但稀疏網(wǎng)絡(luò)模型[12]能在一定程度上解決這些問(wèn)題.

基于CNN網(wǎng)絡(luò)，本文結(jié)合高分辨率遙感圖像變化檢測(cè)目標(biāo)，提出一種多尺度稀疏卷積模塊的變化檢測(cè)方法，通過(guò)引入多尺度技術(shù)，在不同尺度下提取圖像特征；通過(guò)引入稀疏模塊技術(shù)，減少網(wǎng)絡(luò)參數(shù)、加快訓(xùn)練速度和緩解過(guò)擬合問(wèn)題，使得模型能有效檢測(cè)出地物變化情況.

2 方 法

2.1 網(wǎng)絡(luò)模型

深度學(xué)習(xí)技術(shù)下，變化檢測(cè)的網(wǎng)絡(luò)輸入可分為兩類：圖像對(duì)差異圖[13]和圖像對(duì)[14].當(dāng)輸入為圖像對(duì)差異圖時(shí)，差異圖需通過(guò)預(yù)處理獲得，其質(zhì)量對(duì)后續(xù)處理影響較大[15].當(dāng)輸入為圖像對(duì)時(shí)，可采用孿生網(wǎng)絡(luò)[16]分別對(duì)參考圖像和待檢測(cè)圖像在兩個(gè)并列的深度學(xué)習(xí)框架下獲得特征向量，并通過(guò)全連接層對(duì)拼接后的特征向量進(jìn)行融合并分析變化信息；也可采用多通道網(wǎng)絡(luò)[17]將N層通道的圖像直接疊加形成2×N層通道的圖像，在一個(gè)多層網(wǎng)絡(luò)模型下將各個(gè)通道學(xué)習(xí)到的特征向量進(jìn)行拼接，并預(yù)測(cè)結(jié)果.

圖1 基于多尺度稀疏卷積模塊的變化檢測(cè)模型Fig.1 Change detection model based on multi-scale sparse convolution module

本文采用圖像對(duì)作為網(wǎng)絡(luò)輸入，所提出的基于多尺度稀疏卷積模塊的變化檢測(cè)模型如圖1所示，其中(a)是以孿生網(wǎng)絡(luò)作為網(wǎng)絡(luò)結(jié)構(gòu)，(b)是以多通道網(wǎng)絡(luò)作為網(wǎng)絡(luò)結(jié)構(gòu).兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中間處理流程相同，稀疏模塊中卷積操作步長(zhǎng)等于1、Padding為Same，每條支路最后輸出的特征圖尺寸與原始像素塊尺寸保持一致；接著是若干個(gè)Padding為Valid、步長(zhǎng)為1的3×3卷積，特征圖每經(jīng)過(guò)一次卷積，特征圖長(zhǎng)和寬都減小2，經(jīng)過(guò)若干個(gè)卷積后特征圖尺寸變成1×1；然后所有特征圖拉成特征向量，利用全連接操作對(duì)特征信息進(jìn)行整合，并根據(jù)邏輯回歸層輸出中心像素變化概率給出預(yù)測(cè)結(jié)果.

(1)

(2)

其中，m為樣本數(shù)量，w為權(quán)重，w′為更新的權(quán)重；b為偏置，b′為更新的偏置；a為輸入的像素塊，η為學(xué)習(xí)率.

對(duì)于高分辨率遙感圖像而言，受季節(jié)、光照、氣候以及拍攝角度等影響，同一地物在不同時(shí)序圖像中光譜信息或顏色信息會(huì)出現(xiàn)差異，因此僅依賴像素點(diǎn)的光譜信息或顏色信息來(lái)判斷地物是否變化會(huì)發(fā)生嚴(yán)重的誤判.于是本文通過(guò)引入像素點(diǎn)周圍的信息來(lái)判斷像素點(diǎn)是否發(fā)生變化，比較對(duì)象是以像素點(diǎn)為中心的像素塊(本文采用的尺寸為21×21)，最終輸出的是該像素點(diǎn)變化的概率.

2.2 多尺度特征融合

變化檢測(cè)方法中傳統(tǒng)方法和一些基礎(chǔ)的深度學(xué)習(xí)方法范化能力較差，其原因主要是檢測(cè)地物的尺度比較單一[8].為適應(yīng)高分辨率遙感圖像變化檢測(cè)任務(wù)，結(jié)合多尺度技術(shù)，本文使用多尺度特征融合卷積(如圖2所示)，對(duì)輸入圖像同時(shí)進(jìn)行1×1、3×3、5×5、7×7多尺寸的卷積來(lái)獲取圖像的多尺度的信息，將圖像低分辨率大尺度特征信息與高分辨率小尺度特征信息進(jìn)行特征融合.

網(wǎng)絡(luò)模型中低分辨率大尺度圖像層側(cè)重于像素塊背景信息的分析，對(duì)像素塊做整體比較；網(wǎng)絡(luò)模型中高分辨率小尺度圖像層側(cè)重于像素塊局部信息，對(duì)像素塊做局部細(xì)節(jié)比較.同時(shí)，低分辨率大尺度圖像層能較好檢測(cè)出建筑物等大目標(biāo)發(fā)生的變化，也能較好容忍不同時(shí)相高分辨率遙感圖像存在輕微的配準(zhǔn)誤差，以及不同拍攝角度帶來(lái)的樹(shù)木、房屋等輕微形變，而高分辨率小尺度圖像層能較好地檢測(cè)出車輛等小目標(biāo)發(fā)生的變化.通過(guò)多尺度結(jié)構(gòu)，讓網(wǎng)絡(luò)模型既能學(xué)習(xí)大目標(biāo)特征也能學(xué)習(xí)小目標(biāo)特征，并提高了模型的的范化能力.

圖2 多尺度特征融合模塊Fig.2 Multi-scale feature fusion module

2.3 多尺度稀疏卷積

增加網(wǎng)絡(luò)模型的深度和寬度是改善深度卷積神經(jīng)網(wǎng)絡(luò)性能的重要途徑，但更深更寬的網(wǎng)絡(luò)模型意味著模型更大量的參數(shù)以及更多的訓(xùn)練時(shí)間，尤其在數(shù)據(jù)量不充裕的情況下，復(fù)雜的模型更容易導(dǎo)致過(guò)擬合，并且訓(xùn)練復(fù)雜模型需消耗昂貴的硬件資源.稀疏卷積[21]組合多個(gè)小卷積核，將多個(gè)稀疏矩陣合并成相關(guān)的稠密子矩陣，在獲得大卷積核相同感受野的同時(shí)減少參數(shù)的數(shù)量.

Inception稀疏卷積[22]如圖3所示，分別使用四條支路對(duì)輸入圖像進(jìn)行處理.其中池化支路為網(wǎng)絡(luò)提供一定的旋轉(zhuǎn)、平移、尺度不變性，增加了網(wǎng)絡(luò)在不同尺度下的適應(yīng)性；其他三條支路分別先使用1×1卷積核進(jìn)行信息整合，將高相關(guān)性、不同通道的信息整合到少數(shù)通道上，再通過(guò)不同尺寸的卷積核提取特征；最后將四條支路的輸出特征在通道方向進(jìn)行拼接，作為下一個(gè)模塊的輸入.在本文中，Inception稀疏卷積輸入為21×21像素塊，輸出為21×21×192特征向量.

圖3 Inception 稀疏卷積模塊Fig.3 Inception sparse convolution module

本文基于多尺度特征融合和Inception稀疏卷積所設(shè)計(jì)的多尺度稀疏卷積模塊如圖4所示.相較于多尺度特征融合，不同點(diǎn)在于，本文模型連續(xù)使用更多的1×1和3×3卷積的組合來(lái)代替較淺較大的卷積核，并使用三條不同卷積規(guī)模的支路分別提取不同尺度、不同等級(jí)的特征.模型中每條分支使用的1×1和3×3卷積數(shù)量不同，通常3×3卷積層越多，該通路輸出的語(yǔ)義信息越高級(jí).模型的3個(gè)3×3卷積核不但感受野與7×7卷積核感受野相同，而且攜帶了更多的激活函數(shù)ReLU(x)=Max(0，x)，稀疏性更強(qiáng).模型通過(guò)交替地使用3×3、1×1卷積完成從原始特征中提取和凝聚語(yǔ)義信息，使得特征響應(yīng)在通道方向上呈現(xiàn)稀疏性.其中使用1×1卷積核的目的是，將相關(guān)性很高、在同一個(gè)空間位置但是不同通道的特征連接在一起，同時(shí)對(duì)通道進(jìn)行升維和降維.

圖4 多尺度稀疏卷積模塊Fig.4 Multi-scale sparse convolution module

池化能在一定程度上通過(guò)減少參數(shù)來(lái)加快訓(xùn)練速度、突出主要特征，但也會(huì)丟失一定的特征信息，本文多尺度稀疏卷積模塊未引入池化處理，以保留更多的信息來(lái)判斷像素塊的變化性質(zhì).

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)的硬件平臺(tái)為主頻為2.3GHz的至強(qiáng)E3處理器、內(nèi)存為32GB、GPU為1080Ti；軟件平臺(tái)為PyCharm + Tensorflow 1.13.

本文實(shí)驗(yàn)數(shù)據(jù)來(lái)源為Google Earth，所選區(qū)域?yàn)槊绹?guó)小城市城區(qū)和城郊，圖像尺寸約為1600×1000，空間分辨率約為0.3米，包含RGB三個(gè)通道.實(shí)驗(yàn)中，使用Lableme工具對(duì)16組訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注，分別標(biāo)注出兩幅時(shí)序圖像中變化的目標(biāo)或者對(duì)象，然后合并兩幅圖中的標(biāo)注作為變化區(qū)域的Ground Truth.數(shù)據(jù)集中變化區(qū)域典型為車輛、房屋、道路、水域等.

考慮本文訓(xùn)練集數(shù)量有限，本文對(duì)訓(xùn)練圖片進(jìn)行數(shù)據(jù)增強(qiáng)，使訓(xùn)練后的網(wǎng)絡(luò)具有更好的泛化能力，減少訓(xùn)練后的網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象.其中本文數(shù)據(jù)增強(qiáng)過(guò)程為對(duì)訓(xùn)練數(shù)據(jù)(像素塊)進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)，以及圖像亮度和飽和度的隨機(jī)調(diào)整(上下偏差為10).

在計(jì)算交叉熵?fù)p失函數(shù)公式(1)時(shí)，為了實(shí)現(xiàn)高維空間的梯度優(yōu)化，本文使用了Adam優(yōu)化器[23].Adam優(yōu)化器引入二次方梯度矯正，尋找全局最優(yōu)點(diǎn)，并利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，經(jīng)過(guò)偏置矯正后，每一次迭代學(xué)習(xí)率有個(gè)確定范圍，從而使參數(shù)比較平穩(wěn)，具體見(jiàn)公式(3).

(3)

為了驗(yàn)證本文模型的有效性，與本文模型進(jìn)行對(duì)比的方法有傳統(tǒng)的變化檢測(cè)方法FLICM，以及基于深度網(wǎng)絡(luò)的DBN、CNN.同時(shí)，為探討孿生網(wǎng)絡(luò)和多通道網(wǎng)絡(luò)對(duì)本文方法的影響，我們分別在孿生網(wǎng)絡(luò)和多通道網(wǎng)絡(luò)下對(duì)本文模型進(jìn)行了實(shí)驗(yàn)分析，其中孿生網(wǎng)絡(luò)下多尺度稀疏卷積模型記為MS-S(Multi-scale Sparse-Siamese)，多通道網(wǎng)絡(luò)下多尺度稀疏卷積模型記為MS-M(Multi-scale Sparse-Multi-channel).

為測(cè)試本文方法在大小目標(biāo)方面的檢測(cè)能力，選擇的測(cè)試數(shù)據(jù)包含了不同大小的目標(biāo)，其中測(cè)試數(shù)據(jù)集1主要包含大量的車輛等小目標(biāo)，測(cè)試數(shù)據(jù)集2主要包含建筑物等大目標(biāo).

3.1 測(cè)試數(shù)據(jù)集1

圖5給出了測(cè)試數(shù)據(jù)集1中某區(qū)域的本文方法及其他方法的變化檢測(cè)結(jié)果，其中圖5(a)和圖5(b)為不同時(shí)序的高分辨率圖像，圖5(c)為標(biāo)準(zhǔn)的標(biāo)注圖像，從圖5(d)可看出傳統(tǒng)方法FLICM對(duì)小目標(biāo)的檢測(cè)正確率差、虛警率高，圖5(e)和圖5(f)分別為DBN[4]和CNN[6]的變化檢測(cè)結(jié)果，這兩種模型基于深度神經(jīng)網(wǎng)絡(luò)，以像素塊作為基本分析單元.本文的MS-S和MS-M檢測(cè)結(jié)果為圖5(g)和圖5(h)，在多尺度技術(shù)和稀疏卷積技術(shù)下，不僅變化區(qū)域中車輛完整性得到提升，而且變化區(qū)域中車輛獨(dú)立性也得到提升，相比基礎(chǔ)網(wǎng)絡(luò)DBN和CNN漏檢率有所下降，同時(shí)從目視效果來(lái)看，MS-S和MS-M具有相近的小目標(biāo)變化檢測(cè)能力.

表1 測(cè)試數(shù)據(jù)集1變化檢測(cè)結(jié)果Table 1 Change detection result of data set I

圖5 數(shù)據(jù)集1變化檢測(cè)結(jié)果圖Fig.5 Change detection result graphs of data set I

圖6 數(shù)據(jù)集2變化檢測(cè)結(jié)果圖Fig.6 Change detection result graphs of data set II

表1給出了本文方法及其他方法在變化檢測(cè)方面的虛警率、漏檢率、正確率和Kappa系數(shù)結(jié)果，可以看出，DBN和CNN變化檢測(cè)正確率已分別達(dá)到了88.2%和86.8%.本文MS-S與MS-M的性能很接近，其中MS-M的虛警率和漏檢率分別為最低的0.9%和7.3%，比DBN分別降低3.5%和5.1%，并且正確率和Kappa系數(shù)分別為最高的94.8%和75.6%，比DBN分別提高6.6%和8.2%.通過(guò)數(shù)據(jù)1的實(shí)驗(yàn)結(jié)果可以看出本文提出的基于多尺度稀疏卷積模型在檢測(cè)小目標(biāo)變化方面是有效的，并且效果優(yōu)于基礎(chǔ)深度網(wǎng)絡(luò)模型.

3.2 測(cè)試數(shù)據(jù)集2

測(cè)試數(shù)據(jù)集2中某區(qū)域的變化檢測(cè)結(jié)果如圖6所示，檢測(cè)結(jié)果相關(guān)評(píng)價(jià)指標(biāo)的對(duì)比如表2所示.

在圖6中，圖6(a)和圖6(b)為不同時(shí)序的高分辨率圖像，圖6(c)為標(biāo)準(zhǔn)的標(biāo)注圖像.圖6(d)為FLICM方法檢測(cè)結(jié)果，受同物異譜和同譜異物的影響，檢測(cè)效果差.圖6(e)和圖6(f)分別為DBN和CNN方法檢測(cè)結(jié)果，可以看出在大目標(biāo)檢測(cè)方面，兩種方法在大目標(biāo)完整度上存在一定不足，目標(biāo)內(nèi)部有一定漏檢.根據(jù)圖6(g)和圖6(h)的效果，相比其他方法的變化檢測(cè)結(jié)果，本文提出的MS-S和MS-M模型，能很好降低同譜異物的干擾，既可以檢測(cè)出變化區(qū)域的邊緣細(xì)節(jié)，也保證了大面積變化區(qū)域的完整性.

從表2中可看出，MS-M模型的虛警率、漏檢率最低，分別為0.8%和7.2%，比DBN分別降低了1.1%和10.3%；正確率和Kappa系數(shù)最高，分別為95.4%和74.7%，比DBN分別提高了9.3%和20.9%.MS-S和MS-M模型實(shí)驗(yàn)結(jié)果優(yōu)異是因?yàn)橐攵喑叨燃夹g(shù)，比較了不同像素塊的高級(jí)語(yǔ)義信息，能更完整地檢測(cè)出變化區(qū)域.通過(guò)測(cè)試數(shù)據(jù)集2的實(shí)驗(yàn)結(jié)果可以看出，本文提出的基于多尺度稀疏卷積模型在檢測(cè)大目標(biāo)變化方面是有效的，并且效果優(yōu)于基礎(chǔ)深度網(wǎng)絡(luò)模型.

表2 測(cè)試數(shù)據(jù)集2變化檢測(cè)結(jié)果Table 2 Change detection result of data set II

從測(cè)試數(shù)據(jù)集1和測(cè)試數(shù)據(jù)集2看，在相同情況下，MS-S和MS-M方法在大目標(biāo)檢測(cè)和小目標(biāo)檢測(cè)的完整性、漏檢和虛警上略有差異，其中評(píng)價(jià)指標(biāo)綜合考慮了大目標(biāo)及小目標(biāo)等地物的變化檢測(cè)情況.但多數(shù)情況下，多通道網(wǎng)絡(luò)框架下方法要略優(yōu)于孿生網(wǎng)絡(luò)框架下的方法，可能是因?yàn)槎喾种А⒍嗤返木W(wǎng)絡(luò)設(shè)計(jì)使得模型容量更大，學(xué)習(xí)能力更強(qiáng)，注重比較像素塊的背景信息能較好降低同物異譜和同譜異物現(xiàn)象的干擾.

4 結(jié) 論

本文為在高分辨率遙感圖像變化檢測(cè)中能有效檢測(cè)大目標(biāo)和小目標(biāo)變化情況，引入了多尺度技術(shù)，將高分辨率圖像特征和低分辨率圖像特征進(jìn)行融合，使得模型在學(xué)習(xí)大目標(biāo)特征的同時(shí)對(duì)小目標(biāo)的檢測(cè)有良好的效果；引入多尺度稀疏卷積技術(shù)，減少模型的大小、參數(shù)的數(shù)量以及加快網(wǎng)絡(luò)訓(xùn)練的速度.實(shí)驗(yàn)結(jié)果表明，本文方法在不同尺度的目標(biāo)檢測(cè)上具有良好范化能力.本文所采用的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)主要以小城市城郊數(shù)據(jù)為主，對(duì)大中城市復(fù)雜數(shù)據(jù)有待進(jìn)一步分析.