基于深度學習的合成孔徑雷達圖像去噪綜述

雷 鈺,劉帥奇,3,張璐瑤,劉 彤,趙 杰

(1.河北大學 電子信息工程學院, 河北 保定 071002； 2.河北省機器視覺技術創新中心, 河北 保定 071002； 3.中科院自動化所 模式識別國家重點實驗室, 北京 100190)

1 引言

散斑是SAR圖像中常見的一個問題，其主要來源于圖像采集，與高斯噪聲不同，散斑噪聲是空間相關和信號相關的乘性噪聲，嚴重影響了SAR圖像的分析和解譯[1-5]。因此，降低噪聲以提高SAR圖像質量對后續SAR圖像處理任務至關重要。近年來，隨著深度學習在自然圖像去噪和復原等任務中的成功應用，如何將其應用在SAR圖像去噪領域引起學術界廣泛關注。

本文對現有基于深度學習方法的SAR圖像去噪進行概述與分析，目的在于深入了解該領域的研究現狀，對迄今為止基于深度學習的SAR圖像去噪方法進行評估，分析其優勢和局限性，并展望SAR圖像去噪的發展前景。

2 SAR圖像中相干斑形成機理模型

SAR圖像中的相干斑噪聲是在雷達回波信號由于信號的衰落引起的，其形成過程與數字圖像處理中的噪聲有本質區別。從空域角度來分析可將乘性相干斑噪聲建模為[1]：

I=MN

(1)

式中：I表示含有相干斑噪聲的SAR圖像；M表示未受到噪聲影響的理想地物目標測量值；N表示SAR系統成像時產生的相干斑噪聲，且M和N相互獨立。

通常假設乘性隨機噪聲N服從L階均值為1，方差為1/L的Gamma分布[2]，則噪聲的概率密度分布函數為：

(2)

式中：L表示等效視數；Γ(·)表示Gamma函數。

由于乘性噪聲模型難以分析，通常將乘性噪聲轉化為加性模型進行分析。通常采用同態濾波將式(2)轉化為加性模型[3]。首先，對式(1)兩邊進行對數變換，可得：

Log(I)=Log(M)+Log(N)

(3)

顯然，式(3)為加性噪聲模型。在進行去噪完以后需要將去噪后的圖像再指數化返回原有的空間。這一過程中需要對圖像的均值漂移進行調整。

當然，也有學者采用構造法將乘性噪聲模型轉化為加性噪聲模型[4]，其構造過程如式(4)所示：

I=MN=M+[N-1]M=M+UM=M+V

(4)

因為M和N不相關，所以和N-1也不相關，因此V表示和真實圖像分布相關的噪聲。在上述模型中，噪聲均值從1變為0，方差變成隨M變化而變化的參數。V=M(N-1)表示一種與信號不獨立且均值為0的非平穩加性噪聲。因此噪聲圖像可以表示為I-M，因此在神經網絡中可以通過殘差學習策略進行噪聲去除，即得到R(i)≈V，然后得到干凈圖像M=I-R(i)。

3 基于深度學習的SAR去噪算法分析

深度學習方法主要是通過網絡對大量數據的特征進行學習，然后對新數據進行預測的過程。深度學習在圖像處理領域得到了廣泛的應用，如圖像分割、圖像識別、圖像超分辨率及圖像去噪等。其中，卷積神經網絡(convolutional neural networks，CNN)是最有力的工具之一，也是最早應用于SAR圖像去噪的工具。根據近年來深度學習在SAR圖像中的應用，本文將其主要歸為兩類：基于監督學習的SAR圖像去噪算法和基于自監督學習SAR圖像去噪算法。

3.1 有監督學習的SAR圖像去噪

1) 基于對數變換的SAR圖像去噪算法

Chierchia等[3]提出了第一個使用深度學習方法的SAR圖像去噪算法——SARCNN。此外，Liu等[6]提出一種基于CNN與引導濾波的SAR圖像去噪算法，該算法的泛化能力有所欠缺。Dalsasso等[7]利用19個卷積層對乘性噪聲圖像進行訓練及特征處理，提出一種新的散斑抑制算法。Zhang等[8]為解決神經網絡訓練數據量較大的問題，通過卷積去噪自編碼器(convolutioal denoising autoencoder，C-ADE)重建無斑點SAR圖像。Pan等[9]利用預訓練網絡(FFDNet)和MuLoG算法進行SAR圖像去噪。而Liu等[10]則提出一種將非下采樣剪切波與CNN相結合的SAR圖像去噪算法。

2) 基于直接殘差學習的SAR圖像去噪算法

上述算法需要對SAR圖像先進行對數變換，這使得網絡不能進行端對端訓練，并帶來一定的復雜性，因此研究人員提出了直接通過網絡訓練利用殘差進行SAR圖像去噪的思想，此類方法可以提高網絡模型的運算效率，同時更方便處理。例如，Zhang等[4]提出了SID-CNN算法；受編解碼網絡的啟發，Gu等[11]針對SAR去噪問題提出一種基于殘差編解碼器的去噪算法——REDNet。通過對原始噪聲圖像和網絡學習到的噪聲圖像進行直接相除的ID-CNN算法[12]；Zhang等[13]將7個膨脹卷積引入到一般卷積去噪網絡中，提出了SAR-DRN網絡。與SAR-DRN類似的網絡還有Ma等[14]提出的5層膨脹卷積和殘差學習構成的去噪網絡，相比于SAR-DRN該網絡更為簡單，網絡層數更淺，效果更好。Zhou等[15]提出了一種用于SAR圖像降斑的端到端深度多尺度遞歸網絡——MSRNet。2015年，用于圖像分割的U-Net網絡被提出[16]。Lattari等[17]依據SAR-DRN與U-Net網絡結構，將兩者進行結合改進，提出了一種基于對稱式編解碼器的U-Net殘差去噪網絡。由于密集連接豐富了卷積層間的信息，因此其被廣泛應用到圖像去噪領域[18]。例如，Gui等[19]提出一種膨脹密集連接散斑抑制網絡——SAR-DDCN。

在抑制散斑的同時如何能更好地保留紋理細節是研究者一直致力于解決的問題，Gu等[20]提出了一種雙分量網絡以解決上述的問題，該網絡訓練簡單，且對細節保持有一定提高。同樣為應對上述問題，Vitale等[21]提出考慮空間和統計特性的代價函數，構造了10層卷積網絡(KL-DNN)。隨后Vitale等[22]又在KL-DNN的基礎上提出了新的代價函數，效果優于KL-DNN。同年又提出了MONet[23]，將17層的卷積與一個創新的多視代價函數相結合進行去噪，獲得了很好的圖像細節保持能力。

3) 基于注意力網絡的SAR圖像去噪算法

注意力網絡能夠區別對待圖像中的信息，重點關注重要信息而忽略掉不重要信息，因此被廣泛地應用于SAR圖像去噪中。例如，Li等[24]將注意力應用于SAR圖像去噪，提出了一種膨脹殘差注意力網絡——HDRNet。得益于注意力強大的特征關注能力，去噪圖像在圖像細節上得到一定提升。而Lei等[25]將通道注意力與多層遞歸塊結構相結合，提出多級殘差注意力網絡，對真實和模擬數據進行去噪和細節保存有顯著提升。此外，Liu等[26]將密集連接與雙注意力相結合構建新的SAR去噪網絡，在運行時間和去噪性能上達到一種平衡。

4) 基于生成對抗網絡的去噪算法

生成對抗網絡(generative adversarial networks,GAN)作為深度學習中非殘差學習的一種模型，它主要由兩部分構成：生成器和判別器[27]，兩者會隨著網絡的訓練達到一種平衡。Wang等[28]首先將GAN應用于SAR圖像去噪，提出了ID-GAN算法。為解決大多數濾波方法需要復雜的參數調整才能達到所需的視覺效果的問題，Gu等[29]提出基于GAN的散斑抑制網絡。Liu等[30]為解決同態區域散斑噪聲抑制與細節保存問題，采用GAN思想進行網絡構建，生成器部分采用8個卷積層實現，判別器網絡采用四個步長卷積和一個全連接層實現。

5) 基于混合模型的SAR去噪算法

為解決應用深度學習網絡可能會帶來的過平滑問題，Kim等[31]提出一種將靜態小波變換與CNN相結合的散斑抑制算法。一些學者嘗試將預訓練好的網絡模型直接與基于模型的方法相結合用于SAR圖像去噪。Yang等[32]將DnCNN已訓練好的模型遷移到SAR圖像中，提出一種使用預訓練模型的MuLoG-CNN去噪網絡。Denis等[33]將基于塊的非局部濾波和深度學習相結合進行去噪處理。

受SAR-BM3D算法中非局部濾波強大去噪能力的影響[34]，Cozzolino等[35]將非局部濾波與深度學習相結合，提出一種CNN-NLM去噪算法，通過利用圖像間的局部相似性評估隱藏信息，提高網絡性能。該算法在圖像細節保存方面具有一定優勢。但在去噪性能上還存在一定不足。其原因在于缺乏可靠的參考圖像。Liu等[10]通過在非下采樣剪切波變換域(non-sub sample shearlet transform，NSST)應用連續循環平移算法和CNN相結合提出一種新的混合去噪算法。在輪廓線的幫助下，Liu等[36]提出CCNN去噪算法。

3.2 基于自監督學習的SAR圖像去噪

自監督學習的思想非常簡單，輸入的是一堆無監督的數據，但通過數據本身的結構或者特性，人為構造標簽出來。有了標簽之后，就可以類似監督學習一樣進行訓練。基于自監督思想，Yuan等[37]提出一種用于SAR圖像盲去噪自監督密集膨脹卷積網絡——BDSS，訓練過程不需要干凈圖像，通過優化L2損失學習噪聲，其網絡結構通過采用3個增強密集塊，并加入膨脹卷積以擴大感受野，較好的保存了圖像信息。Molini等[38]采用自監督貝葉斯去噪網絡，直接對噪聲圖像進行訓練，學習真實圖像特征，然后進行測試，從而避免通過模擬噪聲圖像學習的不準確特征信息，產生信息丟失現象，進一步提高了真實SAR圖像的去噪效果。Molini等[39]又提出盲點卷積神將網絡——Speckle2Void，通過建立貝葉斯模型來描述干凈的SAR圖像中的散斑和像素的先驗分布，文中提出該算法的非局部和局部版本，通過實驗發現，該算法優于基于模型的去噪算法。在noise2noise模型基礎上[40]，Dalsasso等[41]通過將時間變化補償并采用自監督損失函數，提出了一種新的去散斑網絡：SAR2SAR獲得了較好的去噪效果。由于自監督學習去噪算法近兩年剛應用于SAR圖像去噪，所以相關的算法還不夠成熟，因此，也成為該方向未來發展趨勢。

本文將上述所提到的SAR圖像去噪算法進行分類總結，羅列出各種算法是否使用監督學習策略，算法中的核心關鍵詞及用到的訓練集匯總于表1中，便于讀者更清晰快捷的了解算法相關信息。由表1可知，常用的訓練數據集主要為UC Merced Land Use Dataset、UCID和BSD，而測試數據集包含兩大類：一類是模擬圖像，一類是真實SAR圖像。另外，從表1中可知，傳統的單一種類的深度學習在SAR圖像去噪中已經逐漸減少，目前更多是結合多種網絡結構(注意力、膨脹卷積、GAN等)或結合圖像的先驗知識(非局部相似性、低秩性等)進行去噪。由于訓練數據集較少，因此，基于無監督深度學習的SAR圖像去噪也是未來的熱點研究方向。

表1 不同去噪算法

續表(表1)

4 訓練與測試

該部分首先對網絡訓練及測試的整體流程圖進行描述，如圖1所示。然后對實驗所用數據集的數據獲取方式和詳細信息進行介紹，同時對網絡訓練過程中常用的損失函數及性能測試時常用的去噪指標進行總結。圖1展示了采用監督學習進行訓練及測試的一般網絡結構的實現流程。具體實現步驟如下：

1) 根據所提出的網絡框架設計出具體可行的網絡結構，并對網絡中的參數進行初步確定。

2) 訓練集是從公開的數據集中選擇一定量的干凈圖像作為標簽，將訓練集中未使用的圖像作為網絡訓練過程中的測試集，并依據乘性噪聲的產生方式，對其加入一定的乘性噪聲得到模擬SAR圖像。

3) 依據不同的側重點，確定出網絡訓練過程中所需要的損失函數及優化算法。

4) 將噪聲-干凈圖像對輸入卷積神經網絡中進行訓練，得到一個初步處理后的去噪圖像，在這期間，損失函數和優化算法會對標簽和去噪圖像進行比較分析，使二者盡可能的接近，即損失函數盡可能的接近于0，表明兩者區別最小，模型產生最好的結果。然后保存訓練好的模型，并進行測試。

5) 測試階段，將模擬及真實的SAR圖像輸入到已訓練好的網絡模型中，得到散斑抑制后的干凈圖像，然后通過相應的指標進行性能測試。

圖1 圖像去噪流程示意圖

下面將對訓練及測試中用到的數據集，損失函數和評價指標進行分析。

4.1 SAR數據集

基于深度學習的SAR圖像去噪需要大量的數據來訓練網絡，這是所有基于深度學習的方法中非常重要的一個環節。因此，SAR圖像數據集的可用性亦是值得關注的。與以往合成孔徑雷達數據的可使用區域受限或保密性問題導致獲取受到限制不同，目前一些大型的合成孔徑雷達數據集已經廣泛免費提供。我們總結了基于深度學習的SAR圖像去噪任務中常用的訓練數據集，介紹了其主要特征及數據獲取路徑。

1)訓練數據集：分別從以下幾個常用的數據集進行描述Berkeley Segmentation Dataset：BSD數據集，也稱伯克利分割數據集(berkeley segmentation dataset，BSD)，于2001年由加州大學伯克利分校發布。BSDS300數據集分為包含200張圖像的訓練集和100張圖像的測試集。

UC Merced land-use dataset：該數據集是一個可用于目標檢測和圖像分類研究的21類土地利用圖像遙感數據集，每類含有100張圖像，每張圖像分辨率為256*256，共有2 100張。該數據集可從以下網址下載獲取：http://weegee.vision.ucmerced.edu/datasets/landuse.html

The Uncompressed Colour Image Database (UCID)：該數據集為一個彩色未壓縮數據集，其中包含1 338幅干凈圖像，包括自然場景和室內室外的人造物體。通過以下網址下載：http://vision.doc.ntu.ac.uk/.

ISLVRC 2012：該數據集中包含訓練數據、驗證數據和測試數據。3組數據都包含1 000類對象的圖像，總共有1 281 167張訓練圖像、50 000張驗證圖像和10萬張測試圖像。可由https://image-net.org/challenges/LSVRC/2012/下載。

Waterloo Exploration Databas：Ma等[52]構建了一個大型數據集，其中包含4 744幅原始干凈自然圖像和94 880幅受損的圖像，主要包含七種類別，分別是：人、動物、植物、自然景觀、城市景觀、靜物畫和交通運輸。可通過以下網址下載https://ece.uwaterloo.ca/～k29ma/exploration/

2) 真實數據集

SAR數據集的獲取比較困難，一些數據集往往需要進行支付才可以獲取。很多情況下，由于保密等問題，它們的訪問受到了限制。為了方便讀者檢索和下載SAR數據集，本文于表2中列出了常用真實圖像測試數據集及獲取方式。

表2 SAR數據獲取方式

表2中給出這些數據都是真實的SAR圖像數據集。這些網址也給出了數據集的描述，包括是否是星載衛星、成像的參數等。常用的數據集為Sentinel-1和TerraSar-X，它們提供了在不同的時間時刻獲取相同的場景，并允許創建大型的多時間數據集。

4.2 損失函數

在深度學習中，損失函數的選擇會影響網絡訓練的收斂速度和優化程度。通過梳理基于深度學習的SAR圖像去噪方法中所用到的損失函數，我們發現大多數方法都含有一個數據保真度損失項，其大多數采用的是L1損失或L2損失。另外，在一些方法中，損失函數會包含附加項損失，一般選擇總變分損失或感知損失。依賴于生成對抗網絡的方法包含對抗損失。

1)L1范數損失

L1范數損失用于計算同樣大小的干凈參考和模型輸出(估計值)之間的絕對值誤差，公式如下：

(5)

在SAR圖像去噪任務中，一般來講，M表示SAR圖像的干凈參考，M″表示去噪后的圖像，它們的大小都是W×H。L1范數損失函數是非凸函數，實現次優化，與L2范數損失相比，對噪聲異常值的懲罰較小。

2)L2范數損失

L2范數損失用于有監督的訓練過程，利用最小二乘法旨在計算干凈參考圖像與估計圖像之間的距離，定義為：

(6)

可以觀察到，L2范數損失是一個可微的凸函數，可使網絡實現全局最優，可以評價數據的變化程度。但它對噪聲異常值懲罰太大，易導致網絡梯度爆炸。另外，將L2作為損失函數，預測的干凈圖像可能會出現偽影。

3) 總變分(total variation，TV)損失

總變分在圖像去噪及復原任務上有著最直接和最有效的應用。受到噪聲污染的圖像的總變分比無噪聲圖像的總變分大，因此圖像噪聲可能就會對網絡學習的結果產生非常大的影響。因此我們需要在最優化問題的模型中添加一些正則項來保持圖像的光滑性，總變分損失是常用的一種正則項，配合其他損失來約束噪聲，可通過以下公式計算：

(7)

該損失在一定程度上可以最小化相鄰像素值之間的絕對差異，在保持圖像邊緣細節的同時增強圖像的平滑度。

4) 感知損失

L1或L1范數損失是在像素層面對干凈圖像和估計圖像進行約束，但真實視覺感知更依賴于圖像的特征。感知損失常用于生成對抗網絡GAN中，計算的是輸入的噪聲圖像Y和干凈參考圖像M相對應的深層特征的之間的距離，由選取的神經網絡來提取深層特征。通過最小化感知損失，使得估計的圖像M″中含有更豐富的細節信息。其定義為：

(8)

式中：φ(·)表示預訓練好的特征提取網絡模型；k表示該網絡的第k層。如在ID-GNN[28]中，作者選用預訓練好的VGG16模型的ReLU7層來提取所需的特征圖。

4.3 評價指標

1) 模擬SAR圖像的評價指標

模擬SAR圖像存在干凈參考圖像，一般采2個全參考指標——峰值信噪比(peak signal-to-noise ratio,PSNR)和結構相似性指數度量(structural similarity index,SSIM)評估去散斑性能和圖像細節保存能力。

PNSR主要用于衡量去噪算法去除噪聲的能力，PNSR值越高，表明去噪算法的散斑抑制性能越好[53]。其定義為：

(9)

式中:M表示干凈參考圖像；M″表示去噪后的圖像。

SSIM主要用于衡量去噪算法對圖像紋理結構的保持能力[54]，SSIM值越接近于1，表明去噪算法去噪后圖像的紋理信息越接近于參考圖像。其計算公式為：

(10)

式中：μM″為去噪圖像M″的平均值；μM為參考圖像M的平均值；σM為M的標準偏差；σM″為M″的標準偏差；C1和C2為數值較小的2個正值，用來維持穩定。

2) 真實SAR圖像的評價指標

由于真實圖像不存在參考圖像，因此選用無參考指標——等效視數(equivalent number of looks,ENL)，基于平均比的邊緣保持度(edge preservation degree based on the ratio of average,EPD-ROA)，散斑抑制指數(speckle suppression index,SSI)，散斑抑制和平均保持指數(speckle suppression and mean preservation index，SMPI)進行評價。

ENL是去噪圖像同質區域噪聲抑制指標[55]，ENL值越高，表明去噪算法散斑抑制效果越好。其定義為：

(11)

式中:μM″和σM″分別表示M″同質區域的均值和標準偏差。

EPD-ROA值越接近1，表明去噪圖像細節保存能力越強[56]。EPD-ROA計算公式如下：

(12)

SSI用于測量SAR圖像中噪聲的強度[57]，表示為：

(13)

式中：σM″表示去噪圖像的標準偏差；μI表示噪聲圖像的均值；μM″表示去噪圖像的均值；σI表示噪聲圖像的標準偏差。SSI值越小，表明去噪算法散斑噪聲的抑制能力越好。

SMPI被用于同時估計散斑抑制和平均保持能力，SMPI值越小越好[58]，表示為：

(14)

式中：σM″表示去噪圖像的標準偏差；σI表示噪聲圖像的標準偏差；Q=1+|μI-μM″|，μI表示噪聲圖像的均值，μM″表示去噪圖像的均值。

5 實驗結果與分析

為了說明基于深度學習去噪算法的去噪性能，通過對表1中基于深度學習的算法進行分析，從去噪能力強、細節保持能力強以及在兩者之間最大程度實現平衡這三方面進行考慮，本文選用7種算法進行對比，在Sentinel-1數據集中選擇200張圖像進行測試，將其結果繪制成圖2。

圖2 200張Sentinel-1數據集測試結果平均值直方圖

在視覺圖展示上選擇兩幅真實SAR圖像進行測試，其中圖3(a)是L=3的FIXME圖像；圖4(a)是L=1的TerraSar-X圖像，其為X波段，分辨率為1.10 m×1.04 m。每種算法的運行環境如下：IDCNN、SARDRN、NeighCNN[59]、CNN-GFF、CCSNet采用MATLAB(MatConvNet工具包)；MRANet、MRDANet采用Python(Pytorch框架)，為了方便，將測試圖像命名為SAR1和SAR2，測試結果如圖2和圖3所示。

通過圖3和圖4的視覺效果可知，IDCNN、SARDRN和NeighCNN算法去噪效果較為明顯，但是圖像細節損失嚴重，重要信息被濾除；而CNN-GFF算法能夠保留圖像中的細節信息，但去噪能力不強；CCSNet算法算法能夠在兩者之間折中，但引入偽影；MRANet算法和MRDANet算法能夠在去除噪聲的同時保存更多圖像細節信息。

圖3 SAR1圖像去噪結果圖

圖4 SAR2圖像去噪結果圖

6 結論

1) 基于深度學習的SAR圖像去噪算法正在不斷獲得研究者的關注，在深層去噪網絡架構中，采用噪聲-干凈圖像對作為訓練集的監督學習方式與傳統方式的結合可提升網絡的局部和全局特征提取能力，在自監督無監督等方面不斷探索，提升去噪性能。

2) 基于深度學習的方法進一步探索確保去噪結果在性能和細節信息上的平衡，獲得更好的視覺效果。一方面，研究者不斷向無監督學習和自監督學習探索，或利用GAN中的生成器學習真實圖像噪聲進行模擬；另一方面，在各領域出現了許多新穎有效的網絡模型，將這些網絡模型應用到SAR圖像去噪中，并很好地權衡去噪性能與細節保留之間的關系。