卷積神經網絡下的高分二號衛星影像道路提取①

孫 卓,李冬偉,趙澤賓,張倩倩

(中國礦業大學(北京) 機電與信息工程學院,北京 100083)

隨著我國遙感衛星的更新換代,國內高分辨率遙感衛星影像星下點分辨率已經達到亞米級別,能夠識別更為精準的路況信息.但是目前地理信息庫中的道路更新問題大多數仍然采用費時費力的人工更新方式,而利用遙感影像數據實現道路識別的結果越來越精確,有逐漸代替人工更新的趨勢[1,2].

目前對遙感影像道路提取多采用傳統方式,如模

板匹配法[3-6],特定模型法[7-10],多源數據法[11,12]等.這些方法對低級別道路的提取效果很難達到生產的要求.在各類遙感影像道路提取方法中,基于深度學習領域的高分辨率遙感衛星道路提取方法能夠應對各種復雜的遙感影像成像情況,具有十分廣闊的發展前景.近年來,基于深度學習的圖像分割鄰域不斷涌現出優秀的算法結構,Long 等[13]提出使用全卷積神經網絡解決圖像語義分割問題,U-Net[14]網絡用于解決小樣本簡單圖像的分割問題,Seg Net[15]網絡解決多次池化造成位置信息丟失的問題,Deep Lab[16,17]系列網絡通過組合各網絡優化點有效提高語義分割精確度等,為神經網絡在高分辨率遙感衛星道路提取方面的應用打下基礎.

在遙感衛星影像道路的提取上,國內外研究人員對基于深度學習的圖像語義分割算法已經有了深入研究,Mnih 和Hinton[18]提出了一種采用受限玻爾茲曼機從高分辨率航拍圖像中探測道路區域的方法.為了獲得更好的結果,采用預處理以減少輸入數據的維度,采用后處理用于去除斷開的斑點并填充在道路中的缺孔中.Saito 等[19]采用卷積神經網絡直接從原始遙感圖像中提取建筑物和道路.這種方法比特定道路數據集中的Mnih 和 Hinton 方法[18]獲得了更好的結果.Cheng等[20]使用兩級編碼-解碼結構的卷積神經網絡同時完成道路檢測和道路中心線提取任務,他同時測試了多種神經網絡的提取效果,取得了優秀的綜合性能.Zhang 等[21]提出使用殘差單元結合U-Net 網絡提取道路影像,得到了較為良好的遙感衛星影像道路提取效果.

由于高分遙感影像標簽數據集難以獲取且手工制作成本較高,本文以部分高分二號衛星遙感影像瓦片為樣本,借鑒殘差網絡加深網絡層次的思想,以在小樣本數據集上表現良好的U-Net 網絡為基礎,結合殘差單元改善高分遙感衛星道路提取效果.

1 算法基本原理

1.1 U-Net

U-Net 網絡由全卷積神經網絡發展而來,詳細網絡特征見圖1.U-Net 網絡分為上采樣和下采樣兩部分,是典型的編碼-解碼結構,下采樣通過卷積和池化操作提取圖像特征信息,上采樣則通過恢復細節特征和填充空白信息得到邊緣分割圖.它繼承了全卷積神經網絡的簡潔、通用的優點,同時優化了上采樣網絡流程,改變了跳躍連接的方式,采用維度拼接的方式增加了圖像信息的“厚度”,使得卷積核在同樣的圖層上有了更多的選擇,優化邊緣分割的效果.

1.2 殘差單元

通過在神經網絡中疊加卷積、池化等操作能夠得到更加深層的網絡,深層網絡能夠整合低、中、高不同層次的輸入特征,通過更深的網絡提取更為豐富的特征,這是由于將神經網絡后面若干層作為恒等映射,這一網絡將等同于一個淺層網絡.但是隨著層次的加深,神經網絡會產生梯度消失、梯度爆炸、和網絡退化等問題,嚴重影響網絡訓練和測試的效果.通過輸入數據的初始化和神經網絡正則化層能夠實現幾十層以內的網絡的收斂,繼續增加網絡層數,仍然存在梯度消失或爆炸的問題,即前若干層網絡權值參數更新停滯或過大導致后面的網絡層不再起作用.He 等[22]通過對傳統神經網絡深入研究之后發現,傳統神經網絡架構層次越深訓練集上效果不一定越好,隨著網絡層次的加深,訓練變得越來越困難,網絡參數無法再得到優化,訓練效果反而不如淺層網絡,即產生了網絡退化問題.而使用殘差網絡能夠有效改善這一問題.

圖1 U-Net 神經網絡架構

常規卷積單元和殘差單元見圖2.其中,線性激活采用ReLU 函數,加操作使用Addition 函數.x作為輸入,F(x)為輸入x經過卷積操作之后的輸出.在殘差網絡結構中,通過捷徑連接的方式將輸入x與原輸出F(x) 相加作為新的輸出H(x),即H(x)=F(x)+x,當F(x)=0 時,H(x)=x,該卷積層輸入等于輸出,形成恒等映射,則該卷積層只具有完整傳遞信息的作用,增加網絡深度的同時,誤差不會增加.由于F(x)=H(x)-x,網絡學習F(x)相當于學習輸入和輸出的差值.

1.3 本文神經網絡架構

Zhang 等[21]提出了加入殘差模塊的方法,其提出的神經網絡架構總共有7 個殘差模塊,分為3 個下采樣、3 個上采樣和1 個橋連接.該網絡架構由于網絡深度不足,殘差單元對于圖像細節補充作用難以顯現,而殘差結構增加了冗余信息的傳遞,阻礙了對道路細節的提取,提取效果不理想.通過增加深度,使用隨機失活(dropout),調整網絡結構,本文提出一種改進的神經網絡架構,見圖3.

圖2 兩種結構對比

圖3(a)為本文殘差單元的基本結構,由兩個3×3卷積層和一個從輸入到輸出的恒等映射組成,卷積操作之前加入批量歸一化層(BN) 和ReLU 激活函數.BN 層主要作用是把在網絡傳遞中逐漸偏移的輸入分布強制拉回到均值為0 方差為1 的比較標準的正態分布,使得非線性變換函數的輸入值落入對輸入比較敏感的區域,以此避免梯度消失問題.將激活函數放在卷積操作之前,并加入批量歸一化層.經He 等研究證明,這一殘差單元結構目前是最優的,本文除輸入端的殘差單元有所差異外,其余部分均采用這一結構.殘差單元與單元之間卷積核數量翻倍,具體見表1.

由圖3(b)可見,本文神經網絡算法中共有11 個殘差單元,其中有5 個下采樣層、5 個上采樣層和1 個橋連接層.其中,上采樣層中的上采樣操作由上采樣和一個帶有線性激活函數的卷積組成,卷積參數在表1中顯示.由于采用的殘差單元增加,在橋連接層中加入隨機失活,防止網絡的過擬合和梯度消失等問題.上采樣使用Upsampling 函數,跳躍連接的方式為級聯,使用Concatenate 函數,將下采樣和上采樣過程中的特征信息結合在一起,與U-Net 的跳躍連接方式相同.在神經網絡的輸出端采用1×1 的卷積核將最終級聯的圖像融合,并采用Sigmoid 激活函數將輸出值限定在0～1之間.

圖3 本文神經網絡架構

本文神經網絡架構中,通過采用卷積步進為2 的方式代替池化層的作用,將圖像尺寸減半[22].同時該網絡卷積過程中使用了Padding 操作保持卷積過程中的圖像尺寸不變,取代了U-Net 網絡中的尺寸裁剪操作,可以保持輸入輸出圖像尺寸不變.

表1 本文卷積網絡層次

1.4 閾值濾波

由神經網絡模型提取出來的圖像像素值在0～1 之間,為提升圖像提取效果,濾除道路提取過程中的部分噪聲.經過測試,自定義二值化閾值0.94,當像素值小于0.94 時設為道路像素,當像素值大于0.94 時設為空白像素.

2 遙感圖像提取實驗

2.1 技術路線

藉由本文提出的網絡算法模型,本文設計總的技術路線見圖4.

神經網絡通過訓練樣本訓練網絡權重參數實現對測試數據的預測,假設有一組樣本(xi,yi),xi為待訓練圖像,yi為訓練標簽,樣本像素預測值為ai,樣本個數為N,則通過不斷減少預測值ai與樣本標簽yi的誤差可以實現網絡權重參數的訓練,本文采用二分類交叉熵損失函數,與U-Net 網絡相同,為:

本文選用Adam 優化器來訓練網絡,這是應用最為廣泛的優化器,訓練過程網絡參數收斂速度快,收斂效果好.優化器初始學習率設為10-5.批處理樣本大小設置為2,迭代期(epoch)設置為100.

圖4 本文技術路線

2.2 實驗樣本和平臺

本次實驗采用重慶及上海地區部分高分2 號遙感影像作為訓練數據,由于單幅影像數據量過大,現有的硬件設施無法滿足處理條件,故將重慶及上海影像分幅輸出,尺寸定為640×640 像素,采用人工交互的方式制作對應標簽,共有圖像1017 張,其中訓練集圖像912 張,驗證集圖像75 張,測試集圖像30 張,訓練集,驗證集和測試集之間無重復影像,保證數據獨立性.圖像中包括山川、河流、隧道出入口、道路、大型橋梁、建筑、植被、車輛等對象,具有較強的代表性.本次實驗采用Windows 10 操作系統,采用基于Anaconda軟件的Tensorflow-GPU,Python 3.6 開發環境.GPU 型號為NVIDIA Quadro P5000,其專用內存為16 GB.

2.3 道路提取評價指標

目前圖像分割領域評價分割效果的指標并不統一,本文除了采用基本的評價指標-準確率外,采用交并比(Intersection over Union,IoU)來作為主要評價指標.準確率表示預測正確的像素占總像素的比例,而交并比表示預測圖像與標簽圖像的像素交集占預測圖像與標簽圖像像素并集的百分比,即預測圖像與標簽圖像兩者的重疊部分的像素占重疊與非重疊部分像素總和的百分比.假設道路類像素值設為a,預測圖像像素值oi和標簽圖像像素值yi,則

其中,∩(交集)表示邏輯和操作,∪(并集)表示邏輯或操作.本文通過統計像素i的值求交并比.

2.4 實驗結果及比較

本文先使用987 張圖片對U-Net 網絡模型和Res-Unet 網絡模型和本文模型進行訓練和驗證,之后從樣本庫中抽取不同于訓練樣本的30 張遙感影像圖片作為預測樣本,圖像尺寸同樣為640×640 像素,使用本文訓練好的網絡模型對其進行道路提取并評估結果.之后將分別網絡模型替換為U-net 網絡模型和Res-Unet 網絡模型,訓練參數配置與本文保持一致,使用訓練好的模型對預測樣本進行道路提取,經過后處理閾值濾波后得到的道路提取效果見圖5.道路提取效果評估指標見表2.

圖5 測試集道路提取效果圖

表2 道路提取效果評估指標

在圖5中,方框位置各種提取方法提取下的道路圖像存在顯著差異.以道路標簽為標準,U-net (圖5(c))提取的道路較Res-Unet (圖5(d))和本文方法(圖5(e))出現許多多余的毛刺和非道路線段;Res-Unet 比之Unet 增加了圖像噪聲,使得提取的道路曲線表現粗糙;本文方法比之U-net 和Res-Unet,所提取道路的與標簽相似度更高,減少了大量毛刺、非道路線段和噪聲,但也存在道路線形中斷的問題.從表2的實驗數據看出,U-net 的準確率和交并比均優于Res-Unet 及本文方法,但由于網絡參數的增加,也犧牲了的圖像處理速度.

3 結論

本文通過對各種基于深度神經網絡的遙感影像道路提取方法進行分析和實驗,提出深層殘差U-net 網絡,有效提取圖像淺層信息的同時增強殘差單元對圖像細節的補充效果,提高了圖像的提取精度.但是本文的方法也存在道路截斷的問題,存在改進的空間,怎樣進一步增強道路線形特征是下一步研究的重點.另外,整景遙感影像分幅會造成所提取道路的不一致性.造成道路錯位或缺失,有待進一步的研究解決.