基于深度置信網(wǎng)絡(luò)與數(shù)學形態(tài)學融合的遙感影像建筑物變化檢測

朱春宇， 王明常,2*， 王鳳艷， 張海明， 李婷婷

(1.吉林大學地球探測科學與技術(shù)學院，長春130026；2.自然資源部城市國土資源監(jiān)測與仿真重點實驗室，深圳 518000)

城市建設(shè)的速度日益加快，給城市規(guī)劃與管理工作帶來了諸多問題，如城鄉(xiāng)結(jié)合部建設(shè)混亂、違反規(guī)定大規(guī)模圈地占地、產(chǎn)生大量的違法建筑物、毀壞文物、大拆大建，以及無規(guī)則擅自批建等，嚴重影響城市的可持續(xù)發(fā)展[1]。隨著中國城市化率的進一步提升，城市建設(shè)也在快速發(fā)展。在中國國土檢查業(yè)務(wù)中，建筑物的建、拆、改、擴的檢測是最重要的工作之一，是有利于抵制建筑物非法建設(shè)的工作。建筑物作為基礎(chǔ)地理信息數(shù)據(jù)庫中重要的地物標志,在大數(shù)據(jù)時代下，遙感數(shù)據(jù)獲取方法不斷豐富，信息提取技術(shù)高速發(fā)展[2]，對建筑物實現(xiàn)自動變化檢測一直是遙感研究領(lǐng)域的技術(shù)難題。基于遙感影像建筑物變化檢測是指利用多時相獲取的覆蓋同一地表區(qū)域的遙感影像及其他輔助數(shù)據(jù)來確定和分析建筑物的變化，利用計算機圖像處理系統(tǒng)，對不同時段的建筑物變化進行識別、分析，能確定一定時間間隔內(nèi)建筑物的變化，并提供建筑物的變化空間分布及其變化的定性與定量信息，是目前遙感研究領(lǐng)域的熱點之一，對于更好地進行城市規(guī)劃、災害預測和國土動態(tài)調(diào)查起著重要的作用。

建筑物變化檢測作為高分辨率遙感影像變化檢測的一個主要的應用領(lǐng)域，具有很大的科學研究意義和實用價值。與中低分辨率遙感影像相比，高分辨率遙感影像具有顯著的空間分辨率，能夠清晰刻畫城市內(nèi)部結(jié)構(gòu)要素，如建筑物、道路、車輛等。然而隨著空間分辨率的提高，遙感影像地物光譜異質(zhì)性增加，同類地物類內(nèi)方差增大，不同地物類間方差減小，導致“同物異譜，同譜異物”的現(xiàn)象愈發(fā)嚴重[3]，給傳統(tǒng)的遙感影像建筑物變化檢測方法提出巨大挑戰(zhàn)。為滿足高分辨率下遙感影像建筑物變化檢測的需求，需要研究合適的遙感影像建筑物變化檢測方法為進一步提高城市智能化程度提供技術(shù)基礎(chǔ)。有大量研究采用不同的圖像處理方法來檢測衛(wèi)星影像上建筑物的變化，這些檢測方法從初始的面向像元逐漸向基于對象的方法過渡。如均質(zhì)區(qū)域識別[4]、分水嶺分割[5]、形態(tài)學房屋指數(shù)計算[6]、自下而上/自上而下混合算法[7]等模型和方法。丁海勇等[8]提出采用數(shù)學形態(tài)學運算得到高分辨率遙感圖像的紋理特征序列，在進行決策樹分類，獲得土地利用變化前后期的圖像類別信息，然后采用圖像變化軌跡法進行變化檢測；張永梅等[9]使用Ratio梯度與交叉累計剩余熵相結(jié)合的配準算法將兩個不同時相的合成孔徑雷達(synthetic aperture radar, SAR)圖像和全色圖像進行配準，繼而使用知識規(guī)則識別SAR和全色圖像建筑區(qū)域，再利用像素比值法進行建筑物的變化檢測；劉波等[10]通過提取影像形態(tài)學建筑物指數(shù)特征，通過卡方變換將其與光譜特征進行融合，然后利用一種單分類器完成建筑物變化初始判定，最后利用改進的長寬比形狀特征完成最終建筑物變化判定；俞曉飛[11]提出了基于證據(jù)融合的城市建筑物變化檢測方法。

上述方法在遙感影像建筑物提取領(lǐng)域有著一定的進步意義，但也存在工作過于繁瑣、人工成本高等不足之處。近年來，隨著人工智能技術(shù)的發(fā)展，在深度學習、自動化的時代，提高變化檢測精度的同時節(jié)省人工成本成為科研和實踐的主要目標。

深度置信網(wǎng)絡(luò)(deep belief network, DBN)能夠?qū)W習樣本數(shù)據(jù)集中低層到高層的本質(zhì)特征，是機器學習領(lǐng)域一個代表性的模型，具有很高的靈活性。數(shù)學形態(tài)學是由法國地質(zhì)學家Matheron和Serra于1964年共同創(chuàng)立的基于積分幾何、隨機集合論等數(shù)學理論發(fā)展起來的一種非線性圖像處理和分析理論。經(jīng)過幾十年的發(fā)展，數(shù)學形態(tài)學已在圖像處理、圖形分析、計算機視覺和邊緣檢測等方面取得了優(yōu)秀成果。

傳統(tǒng)的遙感圖像變化檢測方法是針對單一目標變化檢測，根據(jù)不同目標的固有特性(如尺寸、顏色、形狀等)分別設(shè)計相應特征，然后采用人工對整幅遙感圖像中的變化目標進行提取。該類方法簡單易行，自動化程度不高。針對目前遙感影像變化檢測中的問題，研究提出基于DBN與數(shù)學形態(tài)學的融合模型對遙感影像建筑物進行變化檢測的方法，將DBN和數(shù)學形態(tài)學在圖像處理方面的優(yōu)勢充分融合，相比于傳統(tǒng)的算法能應用于各種尺度、不同分辨率和色彩的衛(wèi)星影像，且不需要去做特殊的特征提取和人工計算，可提高工作效率、減輕人力負擔，增強了建筑物變化檢測的魯棒性，并將其用于武漢大學地學智能感知與機器學習SIGMA研究組發(fā)布的Multi-temp Scene Wuhan(MtS-WH)數(shù)據(jù)集測試，結(jié)果表明了本文方法的優(yōu)越性和穩(wěn)健性。

1 方法原理

1.1 深度置信網(wǎng)絡(luò)

DBN是一個概率生成模型，區(qū)別于傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)[12]，它的特點是分類的錯誤率小[13]一類概率生成式模型，通過學習過程建立輸入數(shù)據(jù)與標簽數(shù)據(jù)間的聯(lián)合分布。DBN的總體結(jié)構(gòu)是由多個受限玻爾茲曼機(restricted Boltzmann machine，RBM)及反向傳播(back propagation, BP)神經(jīng)網(wǎng)絡(luò)加一個頂層的Softmax分類器構(gòu)成。DBN是神經(jīng)網(wǎng)絡(luò)的一種，它能夠獲取較優(yōu)的特征表達，因此，選擇DBN進行遙感影像建筑物變化檢測。DBN的組成部分RBM是隨機生成的神經(jīng)網(wǎng)絡(luò)的一種(圖1)，通過對輸入數(shù)據(jù)集的學習概率分布，本質(zhì)上是為網(wǎng)絡(luò)的狀態(tài)定義一個“能量”，當能量最小的時候，網(wǎng)絡(luò)達到理想狀態(tài)，而網(wǎng)絡(luò)的訓練就是將函數(shù)最小化。

圖1 受限玻爾茲曼機Fig.1 Restricted Boltzmann machine

一個受限玻爾茲曼機由兩層網(wǎng)絡(luò)組成，分別為可見層(visible layer)和隱藏層(hidden layer)。其中，輸入特征與可見層關(guān)聯(lián)，特征檢測器與隱藏層關(guān)聯(lián)。兩層之間為全連接，而層內(nèi)無連接。定義可見單元(v)和隱藏單元(h)的一個聯(lián)合能量為

(1)

或者用矩陣的形式表示為

E(v,h)=-aTv-bTh-hTWv

(2)

式中：vi、hj為可見單元i和隱藏單元j的兩種狀態(tài)(0和1)；ai、bj為它們的偏置，wij為它們之前的權(quán)重值，即可見層神經(jīng)元i和隱藏層神經(jīng)元j之間的連接。根據(jù)能量函數(shù)，可以得到聯(lián)合概率分布：

(3)

(4)

式中：Z被稱為配分函數(shù)，它是在節(jié)點的所有可能取值下e-E(v,h)的和(亦即使得概率分布和為1的歸一化常數(shù))。類似地可見層取值的邊緣分布可通過對所有隱層配置求和得到，即

(5)

由于RBM為一個二分圖，層內(nèi)沒有邊相連，因而隱層是否激活在給定可見層節(jié)點取值的情況下是條件獨立的。類似地，可見層節(jié)點的激活狀態(tài)在給定隱層取值的情況下也條件獨立。亦即，對m個可見層節(jié)點和n個隱層節(jié)點，可見層的配置v對于隱層配置h的條件概率為

(6)

h對于v的條件概率為

(7)

式中：單個節(jié)點的激活概率為

(8)

(9)

式中：σ(x)是Sigmoid函數(shù)；vi、hj是無偏樣本。Sigmoid函數(shù)為

(10)

在受限玻爾茲曼機求解過程中，為方便計算，通常會對對數(shù)形式的似然函數(shù)進行梯度計算[14]，即

(11)

式(11)中：<·>data和<·>model分別表示關(guān)于數(shù)據(jù)的經(jīng)驗分布與模型真實分布的期望。由于吉布斯采樣效率較低，所以采用文獻[15]提出的對比散度算法(contrastive divergence，CD)進行訓練，目前對比散度算法是受限玻爾茲曼機的標準訓練算法。

RBM訓練過程，重復以下3步。

(1)正向傳播。將輸入的圖像或者矩陣轉(zhuǎn)化為二進制的向量，將其輸入網(wǎng)絡(luò)，向量中的每個數(shù)與權(quán)重的乘積加上偏置的值經(jīng)激活函數(shù)激活后，得到該神經(jīng)元是否被激活。

(2)反向重構(gòu)。隱藏層的激活神經(jīng)元將結(jié)果反向傳遞給可見層，在可見層中，輸入將被重構(gòu)。在此過程中，數(shù)據(jù)在反向傳播經(jīng)過和正向傳播相同的權(quán)重和偏置。所以，當信息到達可見層，在給定隱藏的情況下構(gòu)成了輸入值的概率分布。對該分布采樣，輸入就被重構(gòu)了。反向傳播就是猜測原始輸入的概率分布。

(3)模型微調(diào)。通過比較重構(gòu)結(jié)果和原始數(shù)據(jù)來對重構(gòu)性能進行評估。RBM計算誤差并調(diào)整權(quán)重和偏置將誤差降低。在每一個周期(一個正向傳播和反向傳播)，計算步驟(1)和步驟(2)的均方誤差和作為誤差。這3步一直重復直到誤差足夠的小。

DBN的訓練過程：DBN是由多層受限玻爾茲曼機以及一個BP構(gòu)成，如圖2所示，將上一層受限玻爾茲曼機的輸出作為下一層受限玻爾茲曼機的輸入。DBN的訓練過程主要分為兩步，首先由于直接訓練整個DBN是很繁瑣的，所以分別單獨無監(jiān)督地訓練每一個RBM，在確保特征向量映射到不同的特征空間時，盡可能多地保留住特征信息。其次在 DBN 的最后一層設(shè)置 BP 網(wǎng)絡(luò),將所有的RBM輸出特征向量作為BP網(wǎng)絡(luò)的輸入特征向量，有監(jiān)督地訓練Softmax分類器。因為RBM是單獨訓練的，所以所獲得的參數(shù)并不是整個模型的最優(yōu)參數(shù)，因為還需要利用進行整體模型的方向傳播，將各層的RBM中的參數(shù)微調(diào)優(yōu)化成對整個模型精度最高的參數(shù)。

圖2 深度置信網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of deep belief networks

1.2 檢測結(jié)果優(yōu)化理論方法

在DBN進行建筑物變化檢測后，會存在建筑物完整度欠缺、空間存在孤立點等問題，會對建筑物變化檢測精度造成一定負影響。而數(shù)學形態(tài)學在圖像濾波、特征抽取、圖像增強和恢復等方面具有良好的性能，利用形態(tài)學算子還可以有效地消除圖像噪聲，同時保留圖像中原有的信息，突出圖像的幾何特征[16]。因此，采用數(shù)學形態(tài)學理論對建筑物變化檢測結(jié)果進行優(yōu)化。

數(shù)學形態(tài)學的基本思想是通過集合來定量描述目標信號的幾何結(jié)構(gòu)，即利用預先定義好的結(jié)構(gòu)元素與信號的集合特征進行局部匹配或修整，同時保留目標信號的主要形狀特征，以達到抑制噪聲并提取有用信息的目的。其中，結(jié)構(gòu)元素是數(shù)學形態(tài)學的基本要素，具有任意形狀和尺寸[17]。數(shù)學形態(tài)學處理對象主要為灰度圖像和二值圖像[18]，其基本運算包括膨脹、腐蝕、閉運算、開運算等。

膨脹是將于目標區(qū)域接觸的背景點合并到目標物中，使目標邊界向外部擴張，用來填補目標區(qū)域中某些空洞以及消除包含在目標區(qū)域中的小顆粒噪聲。

A⊕B={x,y|(B)xy∩A≠?}

(12)

式(12)表示用結(jié)構(gòu)B膨脹A，在B中定義一個原點，且B的移動過程與卷積核移動的過程一致，同卷積核與圖像有重疊之后再計算，將結(jié)構(gòu)元素B的原點平移到圖像像元(x，y)位置。如果在圖像像元(x，y)處與A的交際不為空，即B中為1的元素位置上對應A的圖像值至少有一個為1，則輸出圖像對應的像元(x，y)賦值為1，否則賦值為0。膨脹過程如圖3所示。

圖3 膨脹運算示意圖Fig.3 Schematic diagram of expansion operation

圖4 腐蝕運算示意圖Fig.4 Schematic diagram of corrosion operation

腐蝕可以使目標區(qū)域范圍“變小”，其實質(zhì)是造成圖像的邊界收縮，用來消除小且無意義的目標物。

A?B={x,y|(B)xy?A}

(13)

式(13)表示用結(jié)構(gòu)B腐蝕A，當B的原點平移到圖像A的像元(x，y)時，如果在(x，y)處，完全被包含在圖像A重疊的區(qū)域，即B中為1的元素位置上對應的A圖像值全部也為1，則將輸出圖像對應的像元(x，y)賦值為1，否則賦值為0。腐蝕過程如圖4所示。

形態(tài)學閉、開運算是在膨脹和腐蝕運算基礎(chǔ)上組合而來的，是膨脹、腐蝕兩種運算的不同疊加。閉運算為先膨脹再腐蝕，相對地開運算為先腐蝕再膨脹。

在實際應用中，為了獲得更好的效果，往往通過多個數(shù)學形態(tài)學基本運算的變形疊加來構(gòu)建效果較好的復合數(shù)學形態(tài)學濾波器。

2 DBN與數(shù)學形態(tài)學融合的變化檢測

將兩期影像進行預處理，預處理的過程主要包括影像配準、相對輻射校正和濾波去噪。圖像配準就是將不同時間、不同傳感器(成像設(shè)備)或不同條件下(天候、照度、攝像位置和角度等)獲取的兩幅或多幅影像進行匹配、疊加，從而消除影像之間的差異。相對輻射校正的目的是消除或改正輻射誤差而引起的影像畸變。濾波去噪是減少影像中噪聲和小斑點誤差。

經(jīng)過遙感影像的預處理過程后，標記生成訓練樣本，在影像中，將建筑物明顯變化與未變化的區(qū)域手動標記出來。因為僅僅對圖像進行簡單的標記并且精度的要求不高，所以僅需要少量的人工操作。利用樣本標記獲得的標簽，應用滑動窗的方法從標記的區(qū)域獲取大量帶有標簽的樣本，建筑物變化檢測的樣本是在兩期3波段影像中裁取大小為3×3×3圖斑，組合成1×54的二值向量作為一個樣本，訓練數(shù)據(jù)和測試數(shù)據(jù)按照4:1的比例設(shè)置，且訓練數(shù)據(jù)和測試數(shù)據(jù)中變化與未變化的樣本等量。如此選擇樣本可以有效地去除樣本誤差，提高了樣本質(zhì)量，同時也簡化了樣本選擇的繁瑣工作。

將所得到的樣本輸入融合模型中，進行訓練。將訓練好的模型以滑動窗口的方式對建筑物進行變化檢測，這樣可以有效地填補DBN模型在建筑物變化檢測中存在的不足之處，提高高分辨率遙感影像建筑物的變化檢測質(zhì)量，得到更為接近實際的變化檢測圖。變化檢測流程如圖5所示。

3 實驗與結(jié)果分析

實驗采用的影像是武漢大學地學智能感知與機器學習(sensing intelligence, geoscience and machine learning lab, SIGMA)研究組發(fā)布的Multi-temp Scene Wuhan(MtS-WH)數(shù)據(jù)集[19-20]，該數(shù)據(jù)集主要包括兩張由IKONOS傳感器獲得的，大小為7 200×6 000×3的大尺寸高分辨率遙感影像。覆蓋范圍為中國湖北省武漢市漢陽區(qū)。影像分別獲取于2002年2月和2009年6月，經(jīng)過格拉姆-施密特(Gram-Schmidt, GS)算法融合，分辨率為1 m，包含4個波段(藍、綠、紅和近紅外波段)。從兩景整幅影像中裁取同一地區(qū)的部分影像作為變化檢測的基準圖與檢測圖。每景影像由前3個波段組成，圖像的尺寸為709×1 033×3。圖6所示為實驗研究區(qū)影像。

圖5 變化檢測流程Fig.5 Process of change detection

圖6 研究區(qū)影像Fig.6 Image of study area

在模型訓練中，共隨機選取了100 000個樣本進行模型的訓練，其中80 000個為訓練樣本，20 000個測試樣本，訓練和測試樣本中，變化樣本與未變化樣本相同。實驗訓練的DBN模型的精度為92.61%，為了評價本文方法的性能，采用準確率、召回率和F1的計算方法作為評價指標。準確率指的是所有預測正確的像元個數(shù)占總像元個數(shù)的比重；召回率指的是檢測結(jié)果中變化的像元占所有真實變化的像元的比例；F1是統(tǒng)計學中用來衡量二分類模型精確度的一種指標，它同時兼顧了分類模型的精確率和召回率。F1分數(shù)可以看作是模型精確率和召回率的一種加權(quán)平均，其公式為

(12)

式(12)中：P為準確率；R為召回率。

精度評定所用的參考變化圖(圖7)為目視解譯結(jié)果，圖中白色代表變化區(qū)域，黑色代表未變化區(qū)域。DBN對建筑物進行變化檢測如圖8所示，本文方法如圖9所示。DBN檢測方法的準確率為94.68%，召回率為84.24%，F(xiàn)1為89.15；本文方法準確率為94.76%，召回率為87.63%，F(xiàn)1為91.06%。可以看出，本文方法可以作為高分辨率影像建筑物變化檢測的有效方法。

實驗環(huán)境為：操作系統(tǒng)Windows7，CPU為i7-7500，內(nèi)存8 G，編程軟件為MATLAB2017b。

圖7 參考變化圖Fig.7 Reference Change image

圖8 DBN檢測Fig.8 Image Detected by DBN

圖9 本文方法Fig.9 The method in this paper

4 結(jié)語

提出一種利用DBN結(jié)合數(shù)學形態(tài)學構(gòu)成的融合模型進行高分辨率遙感影像建筑物變化檢測的方法，充分地將DBN和數(shù)學形態(tài)學在圖像處理的性能結(jié)合起來，以彌補單一的DBN在進行變化檢測存在的建筑物變化完整度缺陷和空間孤立點缺陷，通過選取少量樣本，利用滑動窗獲取大量帶有標簽的訓練樣本，經(jīng)融合模型訓練得到分類器以達到建筑物變化檢測的目的。通過實驗可以看出，該方法可以為建筑物變化檢測提供科學依據(jù)，為高分辨率遙感影像建筑物變化檢測提供一個新的途徑。雖然本方法對建筑物變化檢測提供了一定檢測效果，但仍然具有很大的改進空間。深度學習在遙感影像建筑物變化檢測領(lǐng)域具有較大潛力，作為一種新興的技術(shù)，仍有很多工作需要研究，特別是對于陰影部分或者光照條件不一致時，變化檢測結(jié)果并不是很理想。下一步將在本文工作的基礎(chǔ)上，研究面向?qū)ο笕诤系姆椒ㄟM行遙感影像建筑物變化檢測。