結合殘差密集塊的卷積神經網絡圖像去噪方法

2020-07-20 06:16:10郭恒意賈振堂

計算機工程與設計 2020年7期

郭恒意，賈振堂

(上海電力大學電子與信息工程學院，上海 200090)

0 引言

圖像在生成、存儲和傳輸等過程中，會在一定程度上退化失真，質量下降，產生噪聲[1-4]。圖像去噪算法是圖像處理領域中的經典問題之一，具有相當長的研究歷史，并出現了很多經典的圖像去噪算法，如空間域和變換域濾波方法，以及基于統計信息的去噪算法[5-11]，而塊匹配3D濾波方法(block-matching and 3D filtering，BM3D)[10]是其中先進的經典算法之一。通過對圖像分塊處理，并利用圖像塊之間的相似性進行重構，經過濾波變換得到去噪圖像，有較好的信噪比和視覺效果。但隨著噪聲等級增高，圖像塊間的有用信息就會減少，這種利用圖像塊之間信息的去噪效果就會變差。隨著計算機計算能力的提高和深度學習的快速發展，很多前人已經把深度神經網絡用于解決圖像去噪問題。在文獻[12]中，提出一種多層感知器神經網絡(multi layer perception，MLP)圖像去噪方法，并將其作為回歸問題，成對的含噪聲和無噪聲的圖片用于估計網絡參數。MLP訓練網絡應足夠大，分割圖像得到的區塊應足夠大，以及訓練集也應足夠大。該方法的一個不足之處為無法適應不同強度的噪聲，若將不同水平的噪聲圖像作為輸入進行訓練則無法達到對特定噪聲進行訓練時的效果。文獻[13]提出用較深層的CNN網絡實現去噪，稱為DnCNN。為了解決網絡層數加深導致的梯度彌散效應，DnCNN并不對干凈圖像進行學習，而是學習圖像中所包含的噪聲。實驗結果表明，結合使用BN層與殘差學習可以提高模型的性能，DnCNN在不同噪聲水平上訓練，得到的結果要優于當前去噪方法的最優結果，如BM3D等。DnCNN網絡深度為17層，對于視覺識別任務，網絡的深度是至關重要的。網絡越深，結果越好，但是計算復雜度也隨之增大。如果計算能力受限，這種計算復雜度高的算法將不再適用。

基于以上問題，在文獻[14]和文獻[15]的啟發下，本文結合殘差密集塊、批量規范化、線性修正單元和殘差學習，提出了一種輕量級卷積神經網絡去噪模型。

1 結合殘差密集塊網絡去噪模型

圖像去噪是通過對退化的含噪圖像進行處理，估計得到原始圖像的過程。如果給定的是一個加性高斯白噪聲模型，含噪圖像可以表示為

Y=X+Z

(1)

其中，Y是含噪圖像，X為原始圖像，Z為加性高斯白噪聲。對于圖像去噪，其任務是從含噪圖像中抽離出潛在的干凈圖像。與噪聲相比，潛在的干凈圖像包含更多信息。如果卷積神經網絡直接預測潛在干凈圖像，網絡的學習負擔遠遠高于預測噪聲的負擔。

卷積神經網絡是線性濾波和非線性變換操作的交替序列。輸入層和輸出層包含一個或多個圖像。網絡的中間層稱為隱藏單元，每個隱藏單元的輸出稱為特征映射。卷積神經網絡在做相關圖像處理任務時比傳統的神經網絡有非常明顯的優勢，權值共享和局部連接極大地降低了網絡模型計算量，減少了網絡訓練參數。本文在綜合考慮充分提取特征和降低計算復雜度的基礎上，設計了結合殘差密集塊的卷積神經網絡。網絡的第一層為卷積核(3*3)的卷積層加線性修正單元(rectified linear unit，ReLU)；第二層為一個殘差密集塊(residual dense block，RDB)；接著設計了6層卷積核(3*3)的卷積層，每個卷積操作后均添加批量規范化(batch normalization，BN)層和ReLU激活；再經過卷積核(3*3)的卷積和BN操作非線性映射輸出噪聲圖像；最后通過與輸入的跳過連接抽出潛在的干凈圖像。最終實驗結果在部分測試數據上優于文獻[12]和文獻[13]的去噪效果。

1.1 殘差密集塊(RDB)結構

在卷積神經網絡中的每一層都從之前卷積層的輸出獲得輸入，并通過卷積，激活映射出更深層次的特征，不同深度的層所表達的特征都不一樣，所以單一層表征并不能充分描述輸入圖像的特征信息和分布規律，而針對這樣的問題，本文提出了一種結合RDB模塊卷積神經網絡，RDB模塊結構如圖1所示。

圖1 RDB模塊結構

后一層均與之前層相互連接，使這些縱向串接卷積層的特征均被充分利用[14]。RDB模塊的輸入輸出采用跳過連接加速整體網絡訓練速度，卷積層的縱向延伸加深了網絡深度，密集跳過連接在本質上拓寬了網絡的寬度，融合后的特征圖可充分表達原圖像的特征信息，但是同時增加了算法模型整體計算量，所以本文提出的網絡在卷積操作后全部采用ReLU作為激活函數。理論上，RDB模塊串接可以更有效地進行特征提取，但考慮到網絡整體計算復雜度的問題，本文只采用了一個RDB模塊。后面我們也對在RDB模塊中采用不同數量的卷積對去噪效果的影響分別進行了實驗和數據分析。

1.2 激活函數的選擇

當前，深度學習一個明確的目標是從原始數據中抽離出關鍵特征因子，然而原始數據中的特征通常都是關系復雜地密集纏繞在一起。如果能夠去掉其中復雜的無關特征，提取關鍵性的稀疏特征，那么就降低了學習難度。ReLU激活函數可以通過去掉負值部分引入稀疏性，并且可以根據網絡的梯度訓練自動選擇合理的激活值，即動態調節稀疏比率，保證目標函數擬合誤差不斷減小。ReLU激活函數表達式如下

f(X)=Max(X,0)

(2)

函數圖像如圖2所示。

圖2 ReLU函數圖像

由函數圖像可知，ReLU是一個簡單的分段函數，當X小于零時，函數值為零，即不激活；當X大于零時，等價于斜率為1的正比例函數。ReLU可以有效地克服梯度消失問題，從而加快訓練速度，表達形式簡單，計算速度快。

1.3 批量規范化

深度神經網絡的訓練，往往需要多次調試參數的初始化。每一層輸入數據的分布，隨前層參數的變化而變化，層間輸入分布的變化，導致訓練變得復雜，而使用小學習率參數，導致訓練較慢；此外，飽和非線性模型的函數在飽和區的導數趨于0，也使得模型不易訓練。批量規范化(BN)方法的提出者，將上述問題歸因于層間協變量偏移(internal covariate shift，ICS)問題。BN操作通過將總的訓練樣本數據分成小批次(Batch)數據，然后將數據規范化為近似標準正態分布，再通過學習得到的參數，對數據進行縮放和平移處理，恢復特征表達，緩解了梯度傳遞問題，以及飽和非線性激活問題；通過平滑優化解空間，起到了正則化作用，使模型對大步長學習率敏感度降低，更加易于訓練。

所以本文在設計的網絡結構時，于卷積層和ReLU激活層的中間添加了BN層。對于批量標準化，每個激活只添加兩個參數，并且使用反向傳播進行更新。BN與卷積的結合更有助于保留訓練數據集中圖像的先驗信息，對非稀疏分布的卷積映射輸出做歸一化處理，從而使層層相連的輸入輸出流動更穩定。

1.4 跳過式連接的殘差學習

殘差學習框架提出的初衷是為了解決網絡深度問題，即隨著網絡深度的增加，訓練精度也開始下降。通過假設幾個堆疊層的殘差映射更容易被學習，基于這樣的殘差學習策略，極其深度的卷積神經網絡就可以很容易地進行訓練，并提高了圖像分類和目標檢測的準確性。

殘差網絡中的殘差映射是向目標靠近的另一種學習策略，而且讓網絡學習信息量相對少的殘差函數總會比直接學習信息量大的原始目標難度要低。如果殘差函數趨近于零，那么網絡輸出相當于是對輸入的恒等映射。即使網絡加深，至少精度可以和之前保持一樣，這樣就解決了網絡加深時的退化問題。

而結合到圖像去噪，我們通過整體的跳過式連接來讓網絡學習信息量相對少的噪聲的圖像，再由含噪圖像和網絡輸出的差值來抽離出潛在的干凈圖像。而且在淺層特征提取時我們通過密集的跳過式連接不是為了解決深度問題，而是以這種方式來不斷引入之前層特征信息，再通過 ConCat 連接和特征融合，讓網絡自行學習所需圖像信息，從而獲得更豐富的圖像特征，為之后的學習噪聲分布奠定基礎。而且殘差學習和批量規范化結合使用可以實現快速穩定的訓練，去噪效果也更好[13]。

1.5 網絡模型整體結構

結合殘差密集塊的卷積神經網絡整體結構模型如圖3所示。

圖3 網絡整體結構

(1)第1層為Conv+ReLU,對輸入的含噪圖像進行初步特征提取。

(2)第2層為RDB層，RDB內部為4個Conv+ReLU，最后經過ConCat連接和Conv操作進行特征融合，同時增加了網絡的深度和寬度，即密集提取輸入圖像的淺卷積層特征，然后拼接融合。

(3)第3層至第8層為Conv+BN+ReLU層，組成復雜的非線性結構學習圖像中的噪聲分布。

(4)第9層為Conv層，并與輸入進行跳過式連接。

除了RDB模塊中特征融合Conv采用(1*1)的卷積核，其余全部為(3*3)的卷積核，一至八層的卷積層中卷積核數量均為128，最后一層采用單個卷積核進行卷積映射輸出圖像噪聲，與輸入跳過連接抽出潛在干凈圖像作為整體的最后輸出。

1.6 網絡的優化算法

網絡的優化算法是神經網絡中除了網絡模型的另一個核心，神經網絡參數的優化直接決定了整個網絡算法的質量。在網絡整體參數上使用梯度下降法是一種實踐中常用的反向傳播算法，隨著不斷地迭代更新網絡參數，神經網絡模型在訓練數據集上的損失不斷減少，逐漸收斂到一個較小值，而此時網絡中的參數就是所提出用于解決相關問題算法的最優解。但在解決一些非凸函數的問題時，梯度下降法并不能保證達到全局最優，存在損失收斂于某個局部最小值的情況，而且在整個訓練數據集上計算并最小化損失函數是一個龐大的計算量。而單獨在某個數據上計算優化損失函數雖然加快了訓練，但是最后得到的網絡參數將會更差，甚至可能達不到局部最優解。綜合考慮以上問題，本文在訓練網絡時選擇每次在一個Batch上計算優化損失函數，這樣不僅可以避免收斂于局部最優解，也不會使計算負擔過大。我們網絡模型所要解決優化的損失函數如下

(3)

F(Xi;θ)=Xi-H(Xi;θ)

(4)

即期望圖像Yi(標簽)與網絡估計輸出圖像F(Xi;θ) 的均方誤差，其中θ為網絡所要訓練的參數權重和偏置的集合，Xi為輸入的含噪圖像，F(Xi;θ) 是網絡估計的噪聲，N為一個Batch的輸入樣本數量。網絡的優化算法采用批量隨機梯度下降法(stochastic gradient descent，SGD)，參數θ的更新公式為

(5)

其中，ε為學習率，控制網絡參數更新的速度，設置太小會使網絡的訓練效率變慢，而設置太大又會使網絡參數更新時在最優解的兩側擺動，所以我們在訓練時將其初始值設置為0.01，每10輪縮小為之前的1/10。

2 實驗結果

本節詳細介紹了所做實驗和訓練信息。

2.1 訓練相關

實驗采用400張180*180的灰度圖像構造網絡模型的數據集，為了便于訓練，用40*40的剪裁框，滑動步長為10，將其中380張圖像剪裁成了215 552個40*40的子圖像塊作為訓練集，其余20張作為測試集。本文為了驗證RDB模塊是否能有效完成特定等級噪聲圖像去噪，對訓練集圖片分別添加了噪聲等級為15，25，50的高斯白噪聲，用于不同噪聲等級網絡的訓練。

模型訓練是在TensorFlow框架上完成的，計算機配置的CPU為InterCore第八代i7處理器，GPU為通過英偉達GTX1080，運行內存為16 GB。Batch大小設為128，每一輪訓練1684個Batch的樣本數據，共訓練50輪。

2.2 不同數量Conv+ReLU層的RDB對去噪效果影響

為了考察不同RDB模塊對網絡去噪效果的影響，我們分別對含有2、3、4個Conv+ReLU層RDB模塊的網絡模型去噪性能進行了對比，分別對應于圖4中的RDB1、RDB2、RDB3。實驗結果如圖4所示。

圖4 RDB模塊去噪效果

從結果可以看到，融合更多特征信息的RDB3取得了最好的平均峰值信噪比，這就驗證了隨著RDB模塊中卷積層的增多，RDB的輸出就會包含更多層的特征信息，對原始輸入圖像信息分布規律有更完整的表達，考慮計算復雜度問題，沒有測試包含卷積層更多RDB模塊。

2.3 與其它方法進行對比

為了更好的體現結合RDB模塊卷積神經網絡去噪效果，我們基于圖像客觀評價標準峰值信噪比(PSNR)對文獻[10]、文獻[12]、文獻[13]和文獻[16]與本文提出的方法進行了對比。表1～表3分別給出了幾種方法在噪聲等級為15、25、50的去噪PSNR(dB)的對比結果。部分數據來源于文獻[13]和文獻[15]。

從表1～表3可以看出，本文提出的去噪方法在噪聲等級為15和25時均取得了最優的去噪效果。與文獻[10]提出的最好的經典算法BMD3相比，在3種噪聲等級下平均PSNR分別高出了1.05、0.78和0.43；而與文獻[13]提出的在深度卷積神經網絡圖像去噪領域影響非常大的DnCNN方法相比較，在噪聲等級為15和25時，本文提出的去噪方法平均PSNR分別高出了0.36和0.10，僅在噪聲等級為50時，平均PSNR低了0.23。但與深度為17的DnCNN方法的計算復雜度相比，本文提出的方法消耗更少計算資源，同時在部分噪聲等級去噪上達到了更好的去噪效果。噪聲等級為15時的去噪效果如圖5所示。圖5中相同圖片從左到右分別是原圖，疊加噪聲圖和去噪圖，由圖5中的6組圖像可得，本文提出的方法在去噪時很好地保留了圖像的紋理細節，圖像中的攝像師所站的草地以及身后的背景建筑，鸚鵡的嘴唇上凹痕，還有人物佩戴的首飾等都得到了清晰自然地保留。

3 結束語

從表格數據對比和去噪效果展示可以看出，本文中的殘差密集塊可以充分利用不同層次中圖像特征信息，在圖像去噪中有很好的表現，而且隨著RDB模塊中卷積塊的增加，圖像去噪的PSNR有明顯提高。本文提出的結合殘差密集塊的卷積神經網絡，通過密集提取不同層次圖像特征，學習圖像噪聲，從含噪圖像中抽出潛在的干凈圖像，減輕了計算負擔，提高了平均峰值信噪比，很好地完成了圖像去噪任務。與先進算法DnCNN相比，在噪聲等級為15和25時分別高出了0.36和0.1。