基于卷積神經網絡的遙感圖像降噪

潘凱 侯亮

摘 ?要：遙感圖像在社會治安中的作用越來越大，但由于硬件問題，遙感圖像存在噪聲較多的問題。為實現遙感圖像的降噪重建，采用空洞卷積結構提取全局信息，該結構增大感受野的同時不會增加參數數量;結合多尺度特征以恢復圖像細節，同時采用殘差學習實現輸入到輸出的映射;最后將重建區域進行拼接以得到降噪重建結果。通過實驗表明，相較于傳統降噪方法，該結構可有效剔除遙感圖像的噪聲并對圖像進行重建，且在運行效率上有較大提升。

關鍵詞：深度學習;遙感圖像;降噪;卷積神經網絡

中圖分類號：TP391 ? ? 文獻標識碼：A 文章編號：2096-4706（2020）12-0060-06

Abstract：Remote sensing images are playing an increasingly important role in society security，but due to hardware and other issues，there is a problem of more noise in remote sensing images. To achieve noise reduction and reconstruction of remote sensing images，a hollow convolution structure is used to extract global information. This structure increases the receptive field without increasing the number of parameters;combines multi-scale features to restore image details，and uses residual learning to achieve input to output Mapping;finally，the reconstructed regions are stitched together to obtain the noise reduction and reconstruction results. Experiments show that，compared with the traditional noise reduction method，this structure can effectively remove the noise of the remote sensing image and reconstruct the image，and the operation efficiency has been greatly improved.

Keywords：deep learning;remote sensing image;noise reduction;convolutional neural network

0 ?引 ?言

結合作者的實際工作經驗，遙感圖像在社會治安方面使用率極高且發揮著重要作用，如森林防火、消防演習、逃犯追蹤等眾多領域均有應用。然而遙感圖像經常受到各種噪聲的破壞，由于大氣效應和不完善的高光譜傳感器等因素，遙感圖像在成像過程中產生了許多類型的噪聲，常見的噪聲有高斯噪聲、脈沖噪聲、條紋噪聲，它們的出現嚴重破壞了遙感數據，影響了遙感圖像的處理與有效利用[1]，如分類、實例分割和目標檢測等任務。圖像去噪的目的是從噪聲觀測中恢復底層干凈圖像，這是遙感圖像處理中的一個基本問題。

在過去的幾十年中，學者們提出了許多用于遙感圖像去噪的方法。其中一些去噪方法是基于空間濾波的，例如一些學者利用圖像的局部梯度統計信息對圖像進行濾波以達到平滑降噪的目的，還有寬頻帶濾波、散斑濾波[2]、伽馬最大后驗（MAP）濾波和非局部均值去噪[3]等等。由于空間濾波傾向于使遙感圖像變暗，降噪的同時也降低了圖像亮度，因此基于變換域的去噪算法得到了發展，近年來取得了顯著的成就。這些變換域濾波器主要基于小波變換和多尺度幾何變換，如小波域貝葉斯去噪、基于輪廓域的圖像去噪[4]、基于剪切域的圖像去噪[5]等。變換域濾波的一般過程是首先對原始圖像進行變換，然后估計無噪聲系數，最后通過從處理后的系數逆變換得到去噪圖像。變換域算法能有效地抑制散斑。然而由于變換域的一些固有缺點，去噪算法會導致遙感圖像像素失真，此外，該算法大多采用像素與其相鄰像素之間的統計關系，而沒有利用更廣的局部區域信息或整個圖像的特征來進一步提高圖像去噪效果。基于塊重建的方法，如三維塊匹配算法[6]，是一種在圖像中尋找相似塊的迭代優化算法，但如果圖像具有較低數量的自相似斑塊，則會使該類方法效果大幅降低[7]。

隨著計算機視覺領域的深度學習的發展和提高，基于圖像空間特征的智能模式識別也越來越多地應用于遙感圖像降噪任務[8]。與傳統方法相比，基于深度學習的降噪方法可以自動提取遙感圖像的抽象特征并輸出像素級的去噪結果，且無需調整閾值，其抗干擾能力要優于傳統算法[9]。另一方面，卷積神經網絡（Convolutional Neural Networks，CNN）采用基于梯度的訓練方案優化了卷積核的權重，該方案通過對大量訓練圖像進行訓練及權重優化，充分提取了不同環境中的噪聲特征，間接也考慮了整個數據集上的噪聲特征相似性，而不僅是提取像素點周邊的特征。魏江[10]采用CNN并結合殘差學習結構在無人機圖像上進行了實驗并驗證了深度學習相較于傳統方法的有效性。Shuaiqi Liu[11]采用多通道的降噪網絡對圖像進行降噪，多通道的輸出通過濾波進行整合實現最終的降噪目的，但是該方法網絡寬度過大，而遙感圖像尺寸大，該方法過度耗費算力，不適用于大尺寸圖像的降噪任務。Sergey Abramov[12]通過引入高質量的參考圖像來提升降噪質量，但是仍使用傳統基于濾波的方法，依然存在圖像亮度降低、部分像素失真的問題。Kai Zhang[8]則利用殘差結構設計了新的降噪網絡并在高斯噪聲圖像上進行了實驗，與傳統降噪方法相比，結合殘差結構的卷積神經網絡結構效果更優，但是該網絡同樣存在層數深、參數量大的問題，不利于大尺寸遙感圖像的降噪任務。

針對以上問題，本文以結合殘差結構的卷積神經網絡為基礎，結合空洞卷積來提升感受野，融入注意力機制將網絡能力更多集中在噪聲位置，空洞卷積增大感受野的同時不會增加網絡參數數量，因此可消減網絡層數，進一步提高遙感圖像降噪任務的運算及訓練速率。通過這些改進可提升遙感圖像在實際工作中的使用效果，為進一步提升社會治安夯實基礎

1 ?相關工作

1.1 ?降噪任務

圖像去噪是從噪聲觀測中估計潛在干凈圖像的過程。除了圖像去噪以及與圖像加深、模糊和人工制品減少等密切相關的操作、水印去除也被認為是計算機視覺分支的預處理任務，如圖像分割和模式識別。噪聲模擬包括基于概率分布的高斯、泊松、伽馬等方法。如果圖像x被高斯白噪聲模型破壞，則可以將其表述為：

y=x+n

其中y為原圖加噪聲后的圖像，x為純凈的輸入圖像，n為隨機高斯噪聲矩陣，在殘差策略下，降噪任務的模型輸出可表示為R（y）≈-n，則降噪后圖像為x≈y+R（y）。在采用均方誤差（MSE）作為代價函數時，優化目標公式可以表示為：

其中L為指損失值，N為樣本數量，Xi、Yi為對應的干凈圖像與加入隨機噪聲的圖像對，F則表示F范數，優化目標則是最小化L的值。

1.2 ?卷積神經網絡

CNN具有局部區域卷積核，與傳統神經網絡相比，CNN中的權重共享機制減少了模型參數數量，降低了網絡復雜度，提高了網絡泛化能力。相較于密集連接的傳統神經網絡，CNN更易利用反向傳播來訓練，因為其在每個卷積層中均使用了稀疏連接，參數數量更少，可以更快地擬合。與傳統的稀疏表示相比，CNN在圖像分辨率方面提供了更好的性能，因為它具有更高的特征表示能力，在稀疏表示中，稀疏編碼是通過對圖像矩陣進行矢量化來構造的，從而丟失了二維結構信息，即局部鄰近區域像素的依賴性。相反，由于CNN為二維卷積核，因此能夠在訓練和測試階段保持二維結構信息，從而保留相鄰圖像像素之間的局部上下文信息。此外，通過遷移學習來進行模型參數權重初始化，可有效提升模型效果及模型收斂速度。

通用卷積神經網絡由輸入層、卷積層、激活層、池化層、Softmax分類器、輸出層組成，其結構如圖1所示。

卷積層是卷積神經網絡的核心結構，可提取局部的顏色、紋理等圖像特征，通過多層卷積的疊加，則可提取到更廣范圍的特征。卷積操作的具體流程如圖2所示，表示卷積核在輸入矩陣上按照設定的步長進行滑動點積并生成一個新的特征圖作為下一層的輸入。

激活層則為網絡引入了非線性變換關系，提升了模型的特征表征能力，常用的激活函數有ReLU、Sigmoid、tanh等。本文選用ReLU作為網絡的激活函數，因為ReLU相較于其它激活函數具有計算簡單且可避免梯度消失問題的優勢。三種激活函數的對比如圖3所示。

池化層包括最大值池化和均值池化兩種，本文使用最大值池化作為池化層，表示在設定的窗口范圍內選擇最大值以生成新的特征圖，該方法可保留突出特征，剔除一些無用的干擾特征。

Softmax分類器可生成每一個預測類別預測概率，且每個預測結果的值均為0到1之間，且和為1，選擇概率值最大的一類作為最終預測結果。

2 ?基于CNN的遙感降噪網絡

2.1 ?網絡結構

本文所提基于CNN的遙感圖像降噪器結構如圖4所示，它由十層組成，包括三個不同的模塊，第一部分為特征提取層，由空洞卷積（Dilated Convolution）、ReLU激活函數和批歸一化（Batch Normalization，BN）組成，空洞卷積（圖4中簡稱DConv）擴張系數分別為1、2、3、4、3、2、1;第二部分為多尺度特征融合層，通過組合不同層的特征圖，同時保留低層與高層的特征，采用通道注意力來提高更優特征圖的權重;最后一部分為遙感圖像重構層，由卷積層與激活層組成，利用原圖與噪聲預測結果相加得到最終的降噪重構的干凈圖像。網絡結構的詳細參數如表1所示。

2.2 ?空洞卷積

在經典的CNN中，卷積核需要通過池化操作及多層卷積的堆疊獲得一個更大的感受野（Receptive Field），而空洞卷積則可通過控制擴展速率來獲得不同大小的感受野，相比于傳統CNN，空洞卷積可用更少的參數數量達到擴展感受野的目的。假設輸入為一維數據，則空洞卷積是指，對于每個位置i，相應的輸出是y，特征的權重是w，則輸入特征層x的卷積計算為：

其中k為卷積核大小，r為空洞卷積擴張倍率。

在空洞卷積中，卷積核被膨脹因子擴展，r-1個零在空間維數中沿相鄰權值之間放置以創建稀疏濾波器。不同擴展速率的空洞卷積如圖5所示。

當卷積核擴張倍率為1時，空洞卷積即為標準卷積，如圖5（a）所示，一個標準的3×3卷積，其擴張倍率為1;如圖5（b）所示，卷積核大小仍然是3×3，擴張倍率為2，卷積核的感受野增加到5×5，而實際參數量仍然是3×3。感受野的值receptive field可以表示為：

receptive field=（k-1）×r+1

其中k為卷積核大小，r為卷積核擴張倍率。可以看出，空洞卷積可在不增加權重參數量的同時提高卷積層的感受野。

2.3 ?批歸一化

批歸一化是由Sergey Ioffe和Christian Szegedy提出，目前已在許多研究中得到應用，是對卷積后生成的特征圖進行歸一化。深度神經網絡的本質是學習數據的分布，而在傳統網絡結構中每一層的轉換都會導致特征向量數據分布的改變，會增加模型的學習難度。加入批歸一化層后，可保證每一層的特征向量數據分布的均衡，進而提高模型的學習效率，增強模型的泛化能力，使模型達到更好的性能，它不僅可以加快模型的收斂速度，而且更重要的是在一定程度上緩解了深層網絡中梯度彌散的問題，從而使得訓練深層網絡模型更加容易和穩定。批歸一化和殘差學習是最近CNN體系結構設計中最有影響力的兩種體系結構設計技術，K.Zhang[8]在其研究中指出，批歸一化和殘差學習的結合會使降噪任務中的效果更加明顯，因為兩者的結合不僅能夠進行快速和穩定的訓練，而且往往會產生更好的去噪性能。

2.4 ?多尺度特征融合

低層特征保留了更多的細節特征，而高層特征則提取了更廣的全局信息，這兩種特征在降噪復原的任務中均有重要作用，本文通過多尺度特征融合層將Conv5、Conv6、Conv7的輸出特征圖進行拼接，實現多尺度的特征融合，一方面可更好地保留圖像細節，另一方面也可發揮全局上下文信息的重要性。同時本文利用注意力機制針對不同的特征，生成不同的權重系數以將模型注意力更多集中在對最終降噪更有利的特征圖上，注意力的權重輸入值為Conv7的輸出，注意力權重可表示為：

αt=σ（G（C3×3（Conv7）））

其中σ（）為激活函數Sigmoid，G（）為全局平均池化層，C3×3則表示卷積核大小為3×3的卷積層，注意力權重αt為1×1×192的向量，與特征融合后的輸出結果相對應，點乘之后即可得到特征融合層的最終輸出。

2.5 ?圖像重構層

圖像重構層通過殘差學習來實現。學習殘差表示可以通過壓縮映射范圍來減少預測結果的值空間，因為噪聲圖像相較于原圖像，像素值域更緊縮些，Pengfei Xiao研究中指出與噪聲圖像相比，原始圖像的像素值范圍要大得多，這有助于網絡收斂。

3 ?實驗與分析

3.1 ?數據集

為驗證本文所提模型在遙感圖像降噪任務中的效果，建立了遙感圖像降噪數據集，由于遙感圖像分辨率較大，若做較大縮放輸入網絡則會使模型效果大大降低，因此本文采用圖像切塊的方式來減小模型輸入的尺寸。切分后數據集共有15 336張，其中訓練集12 268張，驗證集1 533張，測試集1 535張。同時為驗證該模型在不同降噪任務中的降噪效果，本文針對切分后的遙感數據集分別添加了條帶噪聲和高斯白噪聲兩種不同的噪聲，這兩種噪聲均是遙感圖像中最為常見的兩種噪聲，具體效果如圖6所示。

如圖6所示，第一列為遙感圖像裁剪后的原圖，第二列為加入條帶噪聲后的圖像，第三列為加入高斯白噪聲后的圖像，其中高斯白噪聲的生成過程如下：

其中z為圖像像素值，μ為均值，σ為標準差。

3.2 ?模型訓練與實驗結果

實驗基于Ubuntu 18.04操作系統，網絡搭建基于開源深度學習框架PyTorch。GPU（圖形處理單元）為GTX 1060 Ti，CPU型號為i7-8750H，頻率為2.10 GHz，內存為8 GB。在實驗中，將訓練集隨機采樣，圖像大小為256像素×256像素，將每個像素值歸一化到0至1之間以提高模型的數據分布學習能力，批大小為10，訓練模型采用帶動量的隨機梯度下降算法，動量設置為0.9，初始學習率設置為0.001，并設置學習率衰減，衰減率為0.8，對輸入圖像做隨機的裁剪、平移、翻轉、旋轉等處理以增加數據量，提高模型的泛化能力。實驗迭代次數為4 000次，DnCNN網絡與本文所提網絡的模型訓練過程中的損失（Loss）變化圖、峰值信噪比（Peak Signal to Noise Ratio，PSNR）變化圖及結構相似性（Structural Similarity，SSIM）變化圖如圖7所示。

實驗評價指標包括Loss、PSNR、SSIM三種，PSNR和SSIM均為降噪任務中常用的評價指標，其中PSNR表示圖像質量，其值越大則圖像質量越高、降噪性能越好，其計算公式如下。

其中（max（x））2是指圖像中最大像素值的平方，MSE為原圖與恢復后圖像的均方誤差。SSIM表示兩張圖像的相似性，包括亮度比較、對比度比較及結構比較三部分，值越大表示降噪后圖像與原圖相似度越高，降噪效果也就越佳。

如圖7所示是DnCNN網絡和本文所提出的淺層并結合空洞卷積、通道注意力、殘差學習的基于CNN的降噪網絡訓練過程中的損失變化圖、PSNR變化圖、SSIM變化圖。在損失方面，兩個網絡相差不大，本文所提網絡最終收斂值接近0.020，DnCNN網絡收斂值接近0.025，本文所提網絡略有提升，且收斂速度方面，本文所提網絡由于網絡參數較少，所以收斂速度更快;在PSNR和SSIM方面，可以看出本文所提網絡結構穩定性更優，波動較小，其中PSNR均接近40，SSIM也均超過了90%。且從圖中可以看出，本文所提網絡結構相較于DnCNN優化收斂速度要更快。另加上BM3D與NLM傳統算法的數據作為對比，最終實驗結果對比如表2所示。

由表2可知，本文所提遙感圖像降噪模型相較于BM3D與NLM傳統算法提升明顯，相較于DnCNN網絡Loss有0.004的降低，在PSNR上有0.40的提升，而SSIM有0.006的提升，提升幅度較小。但是本文所提網絡在運算速度上有較大提升，當對寬高分別為18 192、18 000的較大遙感圖像進行降噪時，本文所提網絡運行時間為143.46 s，而DnCNN的運行時間為204.28 s，運行速度上提升29.77%，由此可見本文所提網絡在加入空洞卷積結構、特征融合層和殘差學習后，對降噪效果略有提升，而運行效率上則有較大提升。同時本文也對條帶噪聲進行了實驗驗證，實驗結果如表3所示。

由表3可知，條帶噪聲降噪任務難度較低，處理效果更好，但傳統算法在條帶噪聲降噪任重中效果較差。相較于高斯白噪聲，本文所提網絡PSNR可達到50.14，SSIM有0.997，與DnCNN網絡相比基本相同，提升幅度不大。

通過以上實驗可以證明本文所提網絡結構在實際工作中相比傳統算法具有更高的精度，同時運算速率也有較大提升，可更精確的及時發現社會治安方面的危險信息。

4 ?結 ?論

在本文中，通過結合空洞卷積、注意力機制、殘差學習、特征融合等機制設計了一種新的降噪網絡。空洞卷積結構可提取更廣的上下文特征且不會增加參數數量，在大分辨率的遙感圖像上該結構提升效果明顯;同時通過特征融合層結合不同尺度的特征，在融合時利用通道注意力機制調整多尺度特征的權重系數;在圖像重構階段采用殘差學習策略，提高模型的收斂速度，降低模型學習難度。在訓練階段采用多種圖像變換方法來增加數據量進而提升模型效果，不論是高斯白噪聲還是條帶噪聲，我們的方法均顯示出良好的降噪能力，通過實驗也證實了該網絡結構的有效性。下一步要驗證該網絡結構在不同降噪任務中的效果，進一步優化網絡結構以提升模型在不同任務中的效果，提高模型的通用性。

參考文獻：

[1] MA T H，XU Z，MENG D. Remote Sensing Image Denoising via Low-Rank Tensor Approximation and Robust Noise Modeling [J].Remote Sensing，2020，12（8）：1278.

[2] LOPES A，TOUZI R，NEZRY E. Adaptive speckle filters and scene heterogeneity [J]. IEEE Transactions on Geoscience and Remote Sensing，1990，28（6）：992-1000.

[3] CHEN S X，GAO L，LI Q Y. SAR Image Despeckling by Using Nonlocal Sparse Coding Model [J].Circuits，Systems，and Signal Processing，2018，37（7）：3023-3045.

[4] PURANIKMATH S S，VANI K. Enhancement of SAR images using curvelet with controlled shrinking technique [J].Remote Sensing Letters，2016，7（1）：21-30.

[5] LIU S，SHI M，HU S，et al. Synthetic aperture radar image de-noising based on Shearlet transform using the context-based model [J].Physical Communication，2014，13：221-229.

[6] DABOV K，FOI A，KATKOVNIK V，et al. Image denoising by sparse 3-D transform-domain collaborative filtering [J].IEEE transactions on image processing ：a publication of the IEEE Signal Processing Society，2007，16（8）：2080-2095.

[7] ZHANG Q，YUAN Q Q，LI J，et al. Learning a Dilated Residual Network for SAR Image Despeckling [J].Remote Sensing，2018，10（2）：196.

[8] ZHANG K，ZUO W M，CHEN Y J，et al. Beyond a Gaussian Denoiser：Residual Learning of Deep CNN for Image Denoising [J].IEEE transactions on image processing ：a publication of the IEEE Signal Processing Society，2017，26（7）：3142-3155.

[9] DONG W S，WANG P Y，YIN W T，et al. Denoising Prior Driven Deep Neural Network for Image Restoration [J].IEEE transactions on pattern analysis and machine intelligence，2019，41（10）：2305-2318.

[10] 魏江，劉瀟，梅少輝.基于卷積神經網絡的遙感圖像去噪算法 [J].微電子學與計算機，2019，36（8）：59-62+67.

[11] LIU S Q，LIU T，GAO L L，et al. Convolutional Neural Network and Guided Filtering for SAR Image Denoising [J].Remote Sensing，2019，11（6），702.

[12] ABRAMOV S，USS M，LUKIN V，et al. Enhancement of Component Images of Multispectral Data by Denoising with Reference [J].Remote Sensing，2019，11（6）：611.

[13] XIAO P F，GUO Y C，ZHUANG P X. Removing Stripe Noise From Infrared Cloud Images via Deep Convolutional Networks [J].IEEE Photonics Journal，2018，10（4）：1-14.

作者簡介：潘凱（1978—），男，漢族，廣東韶關人，中級職稱，本科，研究方向：模式識別、深度學習;侯亮（1977—），男，漢族，廣東韶關人，中級職稱，本科，CCF會員，研究方向：深度學習、計算機通信、模式識別。