改進卷積神經網絡的SAR圖像噪聲抑制算法

馮博迪,楊海濤,張長弓,高宇歌

(航天工程大學航天信息學院,北京 101416)

1 引言

合成孔徑雷達是一種主動式高分辨率成像傳感器[1],與光學遙感成像不同的是,SAR成像能夠不受外界條件的干擾,全天候的對目標進行觀測,然而由于SAR圖像相干成像的特點,真實SAR圖像無法避免的會受到斑點噪聲的影響,這些噪聲大大降低了SAR圖像的質量,并對后續的解譯和分析工作造成了極大的困擾。因此,為了更好地推動SAR圖像的廣泛應用,需要采用合適的去噪算法對圖像中的斑點噪聲進行抑制削弱。

近幾十年來,涌現出了大量關于SAR圖像噪聲抑制的方法,傳統的方法有基于空域濾波的方法和基于變換域濾波的方法。前者是直接對目標圖像進行濾波,能夠有效抑制均勻區域的噪聲,但是其容易受到濾波器濾波核大小的影響,并且在圖像去噪的效果和細節保留方面存在折衷情況,二者之間的關系難以得到平衡。后者是將原始信號轉移到對應的變換域中進行濾波,再對降噪后的信號進行逆運算得到噪聲抑制后的圖像。常用的方法有Lee[2]濾波、Kuan[3]濾波和Frost[4]濾波等。變換域濾波一般通過例如傅里葉變換或小波變換[5][6]等方法進行變換,擁有優于空域濾波的效果,但在使用變換域濾波算法時,圖像復原后邊緣有時會出現虛假信息,即吉布斯(Gibbs)現象,導致圖像像素失真,傳統的噪聲抑制算法均會對圖像的邊緣信息造成一定的損失。

隨著深度學習在各領域的成功應用,為了更好的規避上述問題并獲得更好的去噪效果,深度學習被引入了圖像去噪領域[7],在深度網絡的眾多模型中,卷積神經網絡(Convolutional Neural Networks,CNN)由其優越的特征學習能力,在圖像降噪領域得到了眾多學者的青睞。Jain[8]等人使用CNN對自然圖像進行去噪,與傳統的去噪方法相比,卷積神經網絡獲得了有更為優秀的去噪效果。Zhang[9]等人提出了一種深度卷積神經網絡(DnCNN),該算法由17層的全卷積網絡構成,首次將殘差學習(Residual learning)和批標準化(Batch Normalization, BN)思想引入圖像去噪。DnCNN在圖像處理領域做出了巨大貢獻,采用了更加高效的殘差圖像學習方法,通過神經網絡計算噪聲圖像和干凈圖像的差值,引入跳躍連接,使用輸入圖像減掉學習到的殘差圖像從而實現噪聲的去除。該網絡的實驗結果證明,殘差學習和批標準化的結合能夠有效提升去噪的效果。隨后,Chierchia[10]等人采用對數變換的思想變換噪聲性質為更易去除的加性噪聲,提出了基于CNN的SAR圖像去噪方法SAR-CNN。該方法雖然取得了較好的噪聲抑制效果,但對數變換過程增加的運算量導致了噪聲去除的實際效率較低。

雖然多年來關于 SAR 圖像斑點噪聲抑制的方法研究取得了非常大的進步,但是人們仍然不斷探尋如何在有效抑制SAR圖像斑點噪聲的基礎上,更加準確的保留圖像中的細節信息。在使用CNN對圖像的噪聲進行抑制的過程中,為了得到更好的去噪效果,往往構造比較深的網絡,層疊使用卷積層來加強對圖像信息的獲取,但當網絡結構較為深的時候,網絡的參數數量較大,網絡訓練較為復雜,難以對模型進行優化,另一方面較深的網絡模型在訓練過程中容易發生梯度消失現象,對模型的調優也存在一定的難度,同時會消耗大量的時間和計算資源。因此,針對上述問題,本文在文獻[9]的基礎上,提出了一種基于Inception結構、非對稱卷積結構、殘差學習和跳躍連接的卷積神經網絡去噪模型,通過實現含噪圖像和干凈圖像的非線性映射關系來提高網絡性能。模型的第一層是Inception結構,在該層包含了4種尺度不同的卷積操作來提取更多的特征信息,在第2至16層,層疊使用非對稱卷積塊,全部采用ReLU激活函數,同時為了加快網絡的訓練速度,引入了批量歸一化操作。最后一層使用一個卷積核來進行非線性映射,并引入跳躍連接,使用殘差學習思想來學習殘差影像。

在本文的第二部分介紹了文章所使用的方法,包括網絡結構,多尺度卷積,非對稱卷積塊和訓練過程,第三部分通過實驗驗證了本文方法的有效性,并與其它經典去噪方法做對比,突出本文方法的有效性。第四部分對文章進行總結。

2 相關理論

在本節中首先對 SAR圖像噪聲模型進行了介紹,然后簡要介紹了CNN的基本原理。

2.1 SAR圖像噪聲模型

SAR圖像中的斑點噪聲是由于雷達目標回波信號的衰落現象所引起的,在進行斑點噪聲的噪聲抑制算法研究時,經常采用乘性噪聲模型對斑點噪聲進行描述。相較于傳統的高斯噪聲而言,斑點噪聲的去除更為復雜[11]。

zij=xijyij

(1)

這里zij指SAR圖像上第(i,j)個像素的強度或振幅,yij是指服從均值為1,標準偏差σ分布的噪聲。圖像去噪的過程是從含噪圖像中恢復出原始干凈圖像信息的過程,通過對圖像的處理獲得與初始圖像近似的一個估計值,獲得的估計值與初始圖像相差越小,模型的去噪效果越好。

2.2 卷積神經網絡基本原理

CNN的出現是得到了生物學領域的啟示,擁有多層結構,且是一種通過有監督學習獲得的神經網絡,生物中的神經元只對特定的局部信息有反應,與生物視覺皮層中的神經元相似,卷積神經網絡中的每個人工神經元也只對圖像的局部特征進行感知,在卷積神經網絡中,有權值共享和局部感受野兩個重要思想。如圖1所示,為經典LeNet-5[12]結構,該結構主要包含卷積層、下采樣層和全連接層。

圖1 LeNet-5網絡結構

圖2 Unit-block

CNN的特征提取功能主要是靠卷積層和池化層來實現的,卷積層通過對各區域進行卷積來實現對圖像特征的提取。卷積核的具體值可在訓練過程中通過學習獲得。下采樣層主要的作用是降低數據維度,來有效避免訓練過程中可能出現的過擬合現象,通過下采樣的操作可以有效的減少網絡中需要被處理數據的數量,同時保留有用的信息。全連接層采用多層結構,每層都包含大量神經元,可對輸入的數據進行分類或回歸。

3 基于卷積神經網絡SAR圖像去噪

對于SAR圖像的小樣本來說,如何提取和充分利用更多的特征信息至關重要。因此,為了提升網絡對圖像特征信息的捕捉,實現更為有效的特征提取,更好的得到輸入和輸出的非線性映射關系,本文構建了如圖3所示的網絡結構,使用了Inception結構來深度挖掘原始圖像,獲取更多特征信息,采用擴張卷積的方法來增加模型的感受野,在網絡構造過程中交疊使用非對稱卷積塊來進行特征映射,使用非對稱卷積塊替換掉傳統的方形對稱卷積塊,在不引入額外參數的同時,來達到提高網絡精度和提升網絡特征提取能力的目的,使用殘差學習思想來學習殘差影像,由含噪圖像減去學習到的殘差影像從而得到干凈的去噪圖像。

圖3 網絡結構圖

3.1 多特征提取層

Inception[13]網絡結構更寬,使得網絡可以更好的選擇有用的特征。在標準的CNN中,層與層之間通過提取特征信息將輸入網絡的圖像轉換成更有用的特征表示,不同類型的層提取獲得的特征種類也是不同的[14]。Inception結構的特點是可以采用不同的卷積核對同一個輸入進行特征提取,并將提取的結果連接到同一個輸出。這樣的網絡結構有助于從輸入圖像中獲取更多的特征信息,以提高網絡模型的訓練效果,在對未知的噪聲圖像進行處理時,獲得更好的泛化效果。同時,由于Inceotion模型的卷積網絡特征映射的數量增加會增大計算成本,為了避免網絡中的參數數量過多,本文的結構只在第一層使用Inception結構,旨在盡可能降低計算復雜度的同時又能增強對原始圖像特征信息的獲取,增強對輸入圖像特征信息的利用率,在該層使用3×3,5×5,7×7,9×9這4種尺度不同的卷積核并列組合來提取更多的特征信息,使用非線性Relu激活函數獲得每層的輸出值,通過concat操作對各個尺度卷積之后的數據進行拼接,同時使用擴張卷積,擴張卷積的主要優點是在不使用池化層的條件下,提供更大的感受野,同時不會引入較為復雜的計算量。在使用過程中,為了避免感受野不連續的問題,采用鋸齒型擴張率,使小的擴張率能關注近距離信息,大的擴張率來關注遠距離信息。

3.2 非對稱卷積模塊

在網絡的第2至16層,串聯堆疊使用非對稱卷積模塊來增強卷積神經網絡的內核骨架,使得網絡的特征提取能力得到提升,并通過填充零值,來確保每一層的輸出與輸入圖像的維數相同。非對稱卷積塊的主要結構如圖2所示,將3×3,1×3,3×1三個卷積核卷積運算的結果相加作為最終輸出,這種方式使得在進行卷積運算時信息集中于卷積核十字位置的像素,尤其是卷積核的中心位置的像素[15]。利用非對稱卷積組增大對信息熵較大位置的信息提取,增強了網絡的表達能力。此外,通過這種方式得到的卷積結果不會受到圖像水平/垂直翻轉的影響。

3.3 殘差學習

隨著網絡深度的增加,在網絡模型訓練的過程中可能會出現梯度消失的現象,無法有效的調整各層網絡的權重,深度網絡模型會變得難以訓練,網絡模型的映射能力逐漸退化,模型的訓練效果也會越來越差,為了解決由于網絡深度的增加而引起的模型退化問題,ResNet模型中提出了殘差模塊,通過殘差模塊構造恒等映射,來增加網絡深度。

去噪網絡中引入的殘差學習思想與殘差網絡的殘差學習不同的是,去噪網絡并不是在神經網絡層之間增加跳躍連接,而是使網絡直接學習輸出殘差。假設干凈圖片為x,含噪聲圖片為y,那有y=x+n,這里的n就是殘差,也就是噪聲。在網絡的學習過程中,通過非線性特征提取,優化殘差與網絡輸出之間的誤差,使網絡的學習結果與真實SAR圖像的噪聲分布特征更為相近。再直接使用含噪圖像減去學習到的噪聲分布圖像,達到去噪的效果。

3.4 算法流程

具體的算法流程如圖4所示,利用卷積網絡對圖像進行去噪訓練的過程中需要學習含噪圖像和干凈圖像之間映射,而SAR圖像本身就是含有斑點噪聲的含噪圖像,由于SAR圖像的斑點噪聲可以近似的看作乘性噪聲,因此首先對光學圖像添加乘性噪聲模型形成仿真數據,將仿真圖像送入網絡模型中,利用損失函數更新網絡參數,使網絡達到收斂,從而完成對網絡的訓練。本文算法在訓練過程中采用ReLU[16],批量歸一化(BN)[17],Adam算法[18]。

圖4 用于驗證算法的光學圖像

測試階段使用一副真實SAR圖像輸入網絡,通過訓練好的網絡模型,得到一幅抑制過噪聲的清晰圖像。

使用平均均方誤差(MSE)作為損失函數,具體的表示如下

(2)

式中,L為損失值,R(Li)為網絡的輸出,Ri為實際殘差。

4 實驗結果與分析

在這一部分中,主要的工作是把改進的算法應用在仿真圖像和SAR圖像上展示其運行結果。并與Forst filter、PPB[19]、SAR-BM3D[20]這三種去噪算法的性能進行比較。其中PPB、SAR-BM3D是較為先進且去噪效果較為優越的圖像去噪算法。這些算法的參數都根據參考文獻中的建議進行設置。

4.1 數據預處理

在本文中使用Train400數據集,添加乘性噪聲模型,來用于模型訓練,Train400數據集中包含400張尺寸為180×180的不含噪灰度圖像,在使用圖像進行訓練時,為了訓練方便,首先將圖像劃分成為238336張40×40的圖像塊,同時為了提高網絡性能,增強網絡的泛化性,在訓練過程中對訓練圖像進行數據增強的操作。使用python里的skimage庫對圖像添加乘性噪聲后將圖像輸入網絡進行訓練。實驗在64位windows10系統下進行,使用TensorFlow深度學習框架進行網絡訓練。

本文所用測試集分為兩部分,一部分是添加乘性噪聲的灰度圖像,一部分是真實的SAR圖像。添加了噪聲水平為L=1,2,4,8的斑點噪聲進行訓練。在仿真圖像實驗中,利用峰值信噪比(PSNR)來衡量比對不同方法的去噪性能。PSNR 是一種全參考的圖像質量評價指標,兩幅圖像間的PSNR(單位:dB)值越大,表示去噪后的圖像與原始圖像的相似度越高,去噪性能越好。在真實SAR圖像測試實驗中,使用ENL作為圖像去噪評價指標。

4.2 仿真SAR圖像去噪實驗對比

為了驗證本文算法的有效性,選擇了不同場景的圖像來對算法進行驗證,用于驗證網絡的圖像來自數據集Set12,具體圖像如圖4所示。使用峰值信噪比(PSNR)對實驗結果進行量化。

本文方法和Forst filter、PPB、SAR-BM3D這三種去噪算法的去噪結果對比圖如圖5,圖6,圖7所示。其中圖a是原始圖像,圖b是添加了噪聲強度等級L=8 乘性噪聲的含噪圖像,圖c是使用Forst filter方法去噪之后的圖像,由這三類場景的對比圖可以看出,傳統的Forst filter濾波算法去除噪聲的能力相對較差,處理之后的圖像還明顯的殘留著一些沒有濾掉的斑點噪聲。這是由于該算法去噪原理的局限性,使用該算法濾波的結果與濾波窗口的大小息息相關,當窗口較大時會失去邊緣紋理細節信息,窗口較小時會使得去噪結果的有效性降低,導致兩者之間不能得到有效平衡。圖d是使用PPB方法對圖像進行噪聲抑制之后的效果,PPB算法相較Forst 這種傳統濾波算法而言,對相干斑噪聲的抑制效果要好很多,但通過觀察細節發現,去噪后的圖像在邊緣處會產生一些偽吉布斯紋理。圖e是使用SAR-BM3D方法對圖像進行濾波處理之后的結果,SAR-BM3D是將小波變換與非局部均值去噪方法相結合產生的方法,該算法是目前圖像去噪領域被廣為認可的去噪方法,由圖可以看出,該算法較前兩種方法而言,去噪效果有了較為明顯的提升,但使用該算法處理完的圖像局部紋理過于平滑,存在細節紋理信息丟失的情況,圖f是使用本文改進的算法進行去噪處理之后的圖像。僅從視覺效果看,本文提出的方法都能較好的去除仿真圖像的相干斑噪聲,去噪之后的圖像與原始圖像的相似性更高,在細節和邊緣方面保留的信息也較多。

圖5 去噪算法流程圖

圖6 不同去噪算法對人物圖像的去噪結果圖

圖7 不同去噪算法對房屋的去噪結果圖

針對3種光學仿真圖像,4種噪聲水平,各算法的PSNR評價指標如表1所示。根據表1可以看到,在大部分情況下,由本文方法得到的去噪圖像的PSNR指標均稍高于其它算法,說明本文的去噪方法是有效且較為優越的。通過觀察對比數據發現,PSNR值并沒有隨著噪聲水平L的變化而發生較大水平的變化,這也進一步說明了本文改進的算法對噪聲變化的敏感性較低。

表1 噪聲等級L=1,2,4,8仿真光學圖像去噪性能指標PSNR

4.3 真實SAR圖像的去噪驗證

為了證明本文算法的有效性,本文選取了真實的SAR圖像來驗證去噪性能。該圖像來自于美國國防高等研究計劃署(DARPA)支持MSTAR數據集中的一張大場景圖像,分別使用Forst filter濾波算法,PPB濾波算法,SAR-BM3D濾波算法和本文使用的算法對真實SAR圖像進行去噪處理后得到的圖像如圖8所示。

圖8 不同去噪算法對船的去噪結果圖

圖9 真實SAR圖像的去噪結果圖

從各圖像的視覺效果看,使用Frost算法的去噪效果依然較差,圖像中還存在較為明顯的斑點噪聲。PPB算法抑斑效果比Frost方法有所提高,但是使用該算法去噪完的圖像產生了額外的紋理。SAR-BM3D和本文提出的方法都對SAR噪聲有較好的去除,但仔細看使用SAR-BM3D處理完之后的圖像還存在一些殘留噪聲,放大去噪處理過后的圖片,發現圖像的部分區域存在輕微模糊。而本文提出的算法對SAR圖像的斑點噪聲進行了有效的抑制,既可以在勻質區域取得很好的平滑效果,對邊緣的保持能力也較好,同時圖像中的細小的紋理特征信息也得到了保留。且沒有額外的紋理生成。

為了能夠更好的衡量對比各個算法的去噪性能,使用等效視數(ENL)對實驗結果進行量化評價,等效視數是一種衡量均勻區域光滑性的指標,被廣泛應用于SAR圖像去噪領域。ENL的值越大,表示去噪算法在平滑區域對斑點噪聲的抑制效果越好。ENL的計算公式為

在圖(a)所示的兩個紅色勻質區域內來估算ENL的值,從左到右以此為區域1和區域2,各類方法濾波之后的圖像的ENL估算結果如表2所示,通過對比發現,本文算法去噪之后的ENL值相較于其它算法較高,這也證明了本文改進的算法的優越性。

表2 真實SAR圖像的ENL估計值

5 結束語

為了降低SAR圖像中的相干斑噪聲且保持圖像原本的紋理細節信息,從而提高SAR圖像的質量,以便于后期對SAR圖像的解譯處理。本文提出了一種改進的基于CNN的斑點噪聲抑制算法,為了增強網絡模型的性能,增強網絡提取特征的能力,本文使用非對稱卷積模塊代替了傳統的對稱卷積模塊,并在網絡的第一層引入Inception來增強網絡的受野,同時使用擴張卷積操作,采用殘差學習結構,并引入批量歸一化操作,以便于加速網絡的學習過程,同時提高去噪性能。通過實驗數據證明,本文改進的用于去除SAR圖像的算法,不管在SAR圖像仿真算法還是真實的SAR圖像上都表現得較好。