基于雙樹小波和神經(jīng)網(wǎng)絡(luò)的圖像降噪與增強

劉文輝，許 瑞

(新疆教育學(xué)院 信息科學(xué)與技術(shù)學(xué)院，新疆 烏魯木齊 830043)

0 引 言

在圖像的拍攝和傳輸過程中，許多主觀因素和客觀因素會為圖像引入大量的噪聲，導(dǎo)致圖像的細(xì)節(jié)信息和邊緣信息受到污染[1]。圖像降噪技術(shù)是解決該問題的一個主要手段，該手段分為基于濾波器和基于變換兩大類技術(shù)，基于濾波器的技術(shù)主要有中值濾波器[2]、雙邊濾波器[3]等，基于變換的技術(shù)則主要有離散小波變換(discrete wavelet transform，DWT)[4]、雙樹小波變換[5]等。

DWT在圖像降噪方面具有顯著的效果，但是也存在缺乏平移不變性和缺乏方向選擇性的不足[6]。文獻(xiàn)[7]將DWT和雙邊濾波器結(jié)合，通過DWT和雙邊濾波器的多級降噪處理實現(xiàn)對圖像的增強。文獻(xiàn)[8]提出具備自學(xué)習(xí)能力的圖像增算法，該算法為雙樹小波變換增加了稀疏編碼和字典學(xué)習(xí)的自學(xué)習(xí)能力，對醫(yī)學(xué)圖像實現(xiàn)了較好的降噪效果。文獻(xiàn)[9]提出基于小波變換和改進(jìn)中值濾波的醫(yī)學(xué)圖像耦合去噪方法，該方法的優(yōu)點是結(jié)合中值濾波和小波的優(yōu)點提高了去噪的效果。當(dāng)前基于DWT的降噪算法實現(xiàn)了較好的總體降噪性能，但也弱化了圖像的邊緣信息，而邊緣信息是醫(yī)療病情診斷、圖像分割等應(yīng)用領(lǐng)域的關(guān)鍵信息。

為了在保持優(yōu)良降噪性能的前提下，保護(hù)圖像的邊緣信息，提出了基于神經(jīng)網(wǎng)絡(luò)和雙密度雙樹小波的圖像降噪與增強算法。本文利用CNN識別圖像的邊緣，對非邊緣區(qū)域進(jìn)行降噪處理，同時保留邊緣區(qū)域的信息。在降噪過程中，采用雙密度雙樹DWT對噪聲圖像進(jìn)行降噪處理，再訓(xùn)練神經(jīng)網(wǎng)絡(luò)來降低噪聲圖像和原圖像的均方誤差，從而對圖像進(jìn)行增強。

1 非下采樣剪切波(non subsampled shearlet，NSST)變換

小波變換缺乏平移不變性和方向選擇性，難以準(zhǔn)確提取信號的幾何特征。而NSST變換對信號的方向和形狀具有較高的敏感性，同時具備平移不變性，因此采用NSST提取圖像的空間特征。

1.1 shearlet變換

二維空間中具備復(fù)合伸縮性質(zhì)的仿射系統(tǒng)可表示為

AS(Ψ)={Ψj,l,k(x)=
|detA|j/2Ψ(SlAjx-k)∶j,l∈Zk∈Z2}

(1)

(2)

(3)

假設(shè)?ξ=(ξ1,ξ2),ξ1≠0, 那么Ψ′0(ξ) 可定義為

(4)

(5)

并且Ψ′2滿足以下關(guān)系

(6)

那么，結(jié)合式(5)和式(6)可獲得以下關(guān)系

(7)

(8)

(9)

(10)

1.2 NSST變換

NSST包含尺度分解和方向局部化兩個步驟：多尺度分解通過非下采樣金字塔濾波器組(non subsampled Laplacian pyramid，NSLP)實現(xiàn)，保證平移不變性，抑制偽吉布斯現(xiàn)象。通過剪切濾波器(shearlet filter，SF)實現(xiàn)方向局部化，源圖像經(jīng)過n級分解得到1個低頻子帶圖像和n個大小相同但尺度不同的高頻子帶圖像。

NSST變換在不同的位置k、尺度j和方向l上建立波形集。NSST利用了非下采樣的拉普拉斯金字塔濾波器和剪切濾波器SF，NSLP通過以下的迭代程序完成分解

(11)

2 算法總體設(shè)計

算法第1步通過NSST將噪聲圖像分解成若干子帶，再將細(xì)節(jié)子帶分割成9×9×J的塊，尺度的數(shù)量為J+1。第2步將數(shù)據(jù)輸入訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)，決定中心向量的類。第3步對非邊緣的系數(shù)進(jìn)行降噪處理，邊緣的系數(shù)保持不變。

2.1 CNN網(wǎng)絡(luò)設(shè)計

2.1.1 CNN網(wǎng)絡(luò)模型

假設(shè)pi表示卷積層的第i個輸入特征圖，qj表示卷積層的第j個輸出特征圖，3D卷積運算和ReLU激活函數(shù)的組合模型為

(12)

(13)

CNN模型輸出關(guān)于邊相關(guān)性的概率分布，如果中心向量和邊的相關(guān)性高，輸出值則接近1，否則輸出值接近0。

2.1.2 CNN網(wǎng)絡(luò)訓(xùn)練

將多項式logistic的softmax損失作為CNN的目標(biāo)函數(shù)。采用隨機梯度下降算法(stochastic gradient descent，SGD)最小化目標(biāo)函數(shù)，訓(xùn)練的batch大小、動量衰減和權(quán)重衰減分別設(shè)為128、0.9和0.0005。網(wǎng)絡(luò)迭代的更新規(guī)則為

(14)

式中：z,i,β和L分別為動量、迭代次數(shù)、學(xué)習(xí)率和損失函數(shù)， ?L/?wi表示目標(biāo)函數(shù)對權(quán)重w求偏導(dǎo)。

2.2 算法的總體步驟

設(shè)噪聲圖像為v，圖像降噪和增強的步驟總結(jié)為：

步驟2 創(chuàng)建9×9×J大小的3D塊，輸入CNN。

步驟4 通過雙密度雙樹小波變換(double-density double tree wavelet transform，DDDTDWT)[11]對非邊緣區(qū)域的噪聲系數(shù)進(jìn)行降噪處理。

步驟5 通過神經(jīng)網(wǎng)絡(luò)對降噪的非邊緣區(qū)域和保留的邊緣區(qū)域統(tǒng)一進(jìn)行訓(xùn)練，增強圖像的總體質(zhì)量。

3 圖像降噪與增強

基于硬閾值的小波變換圖像降噪方法存在連續(xù)性變差、光滑性變差的問題，而基于軟閾值的小波變換圖像降噪方法在信號重構(gòu)過程中容易出現(xiàn)偏差。考慮上述問題，通過雙密度雙樹小波變換實現(xiàn)圖像的降噪處理，并通過神經(jīng)網(wǎng)絡(luò)對降噪的非邊緣區(qū)域和保留的邊緣區(qū)域進(jìn)行訓(xùn)練，增強圖像的總體質(zhì)量。圖1是圖像降噪和增強的流程。

圖1 圖像降噪和增強的流程

3.1 基于雙密度雙樹小波變換的圖像降噪處理

通過母小波推導(dǎo)雙密度雙樹小波變換(double-density double tree wavelet transform，DDDTDWT)的方法為：對非邊緣區(qū)域進(jìn)行DWT變換，獲得兩個下采樣的圖像，分別經(jīng)過低通濾波器和高通濾波器獲得4個子帶，選出其中的低頻-低頻成分進(jìn)行分解。

DDDTDWT包含兩個小波函數(shù)，因此其細(xì)節(jié)系數(shù)多于DWT。其系數(shù)包含1個低通子帶和8個高通子帶，對低通系數(shù)進(jìn)行第2級分解，第2級分解共產(chǎn)生17個子帶，包含1個低通子帶和16個高通子帶。

DDDTDWT的尺度函數(shù)為

ψhi(t),ψgi(t),i=1,2

(15)

ψh1(t)≈ψh2(t-0.5)

(16)

DDDTDWT通過式(15)解決DWT的方向限制。DDDTDWT的濾波器組結(jié)構(gòu)如圖2所示，小波ψhi(t) 為ψgi(t) 的1/2偏移。

圖2 DDDTDWT的濾波器組結(jié)構(gòu)

DDDTDWT的小波函數(shù)和尺度函數(shù)分別為

ψg1(t)≈ψg2(t-0.5)

(17)

(18)

(19)

(20)

DDDTDWT具備較好的降噪性能，將復(fù)數(shù)值分成實部和虛部分別進(jìn)行降噪處理，再將實部樹和虛部樹融合獲得最終的像素值。

3.2 基于人工神經(jīng)網(wǎng)絡(luò)的圖像增強

通過人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)對圖像進(jìn)行增強，ANN的結(jié)構(gòu)包括輸入層、隱藏層和輸出層，隱藏層為10個神經(jīng)元。降噪的非邊緣區(qū)域和保留的邊緣區(qū)域作為ANN的輸入，ANN輸出增強的圖像。隱藏層神經(jīng)元的激活函數(shù)為sigmoid函數(shù)。

圖3是ANN訓(xùn)練的流程。小波降噪的輸出圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，訓(xùn)練過程中固定神經(jīng)元的數(shù)量、權(quán)重偏置和隱層數(shù)量。

圖3 ANN訓(xùn)練的流程

4 實驗與結(jié)果分析

使用本文提出的算法建立一個面向噪聲圖像的降噪和增強模型，并且在常規(guī)圖像和醫(yī)學(xué)圖像上測試了模型的有效性。

4.1 度量標(biāo)準(zhǔn)

通過PSNR評價圖像的質(zhì)量，PSNR的公式定義為

(21)

使用均方誤差(mean-square error，MSE)作為ANN訓(xùn)練的目標(biāo)函數(shù)，MSE的計算公式為

(22)

式中：I(i,j) 處理后 (i,j) 位置的像素值，K(i,j) 為原圖像 (i,j) 位置的像素值。

4.2 數(shù)據(jù)集

第1組測試圖像為兩個512×512的8比特灰度圖像和兩個256×256的8比特灰度圖像。Lena圖像和Man圖像為512×512，Cameraman圖像和Peppers圖像為256×256。采用標(biāo)準(zhǔn)偏差分別為{10,20,30,50,70}的加性高斯白噪聲對每個圖像分別進(jìn)行處理，獲得不同級別的噪聲圖像。

第2組測試圖像來自于公開醫(yī)學(xué)圖像數(shù)據(jù)庫(www.field-ii.dk/)的腎臟超聲圖像kidney圖像，該圖像被許多研究者用于圖像降噪實驗。

4.3 仿真參數(shù)

NSST的分解級數(shù)J和分解方向數(shù)Θ分別設(shè)為3和8，采用maxflat濾波器作為金字塔濾波器。Caffe是一種快速特征嵌入的卷積框架[12]，利用Caffe和2.1.2小節(jié)的內(nèi)容訓(xùn)練CNN模型，CNN的結(jié)構(gòu)如圖4所示，CNN網(wǎng)絡(luò)由2個全連接層、1個下采樣層和3個卷積層構(gòu)成，卷積層的步長為1，核大小為3×3，下采樣層的步長為3，核大小為3×3。CNN每層的權(quán)重被初始化為均值0、方差0.02的高斯分布，每層的偏置初始化為0。從ILSVRC內(nèi)隨機選擇50 000個圖像作為CNN的訓(xùn)練圖像[13]，將圖像轉(zhuǎn)化成灰度圖像，對灰度圖像分別進(jìn)行標(biāo)準(zhǔn)差為{10,20,30,50,70}的高斯白噪聲加噪處理。另外，根據(jù)3.2小節(jié)的內(nèi)容訓(xùn)練ANN。

圖4 CNN的網(wǎng)絡(luò)結(jié)構(gòu)

4.4 實驗結(jié)果與分析

4.4.1 對比方法介紹

本文算法在空間域?qū)⒃肼晥D像分割成邊緣區(qū)域和非邊緣區(qū)域，對非邊緣區(qū)域采用雙密度雙樹小波變換進(jìn)行降噪，在保留的邊緣區(qū)域和降噪的非邊緣區(qū)域輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行增強處理，本文方法簡記為NeuralDWT。因此選擇基于頻率域和基于空間域兩類圖像降噪技術(shù)作為對比方法，如下是每個方法的信息介紹：

DDDT-DWT是一種基于雙密度雙樹小波變換的圖像降噪算法[14]，本文技術(shù)也采用了DDDT-DWT技術(shù)對非邊緣區(qū)域進(jìn)行降噪處理，通過該方法可以觀察邊緣檢測機制是否有效。

DWT_Semi-soft是一種基于半軟函數(shù)普通小波的圖像降噪技術(shù)[15]，本文認(rèn)為DDDTDWT優(yōu)于常規(guī)的小波技術(shù)，通過該方法可以驗證該理念。

NL-means&sparses是一種非局部中值濾波器和空間稀疏編碼結(jié)合的圖像降噪技術(shù)[16]，該技術(shù)與本文技術(shù)的思想一致，所采用的技術(shù)有所區(qū)別，通過該方法可以觀察本文所采用的技術(shù)是否有效。

RNNID利用循環(huán)長短期記憶神經(jīng)網(wǎng)絡(luò)分析圖像空間域的結(jié)構(gòu)[17]，該算法對于醫(yī)學(xué)圖像的邊緣進(jìn)行了有效的增強。通過該方法可以觀察本文邊緣檢測是否有效。

4.4.2 視覺效果評價

首先評價圖像降噪技術(shù)的視覺效果，Man圖像中同時包含了高紋理區(qū)域和平滑區(qū)域，因此采用Man圖像作為視覺效果的benchmark圖像，結(jié)果如圖5所示，其中噪聲圖像被添加了標(biāo)準(zhǔn)偏差=20、均值=0的高斯白噪聲。圖中的降噪算法均獲得了滿足需要的視覺效果，NL-means & sparses和RNNID的降噪效果好于DDDT-DWT和DWT_Semi-soft，可看出多技術(shù)混合的降噪方法優(yōu)于單一的小波降噪方法。本文算法也獲得了較好的降噪效果，并且本文算法在高紋理區(qū)域(圖中人物的帽子、頭發(fā)等位置)的細(xì)節(jié)也略好于其它降噪方法。

圖5 Man圖像的降噪結(jié)果

然后評價了圖像降噪技術(shù)對醫(yī)學(xué)圖像的視覺效果，圖6是kidney圖像的降噪處理結(jié)果，其中噪聲圖像被添加了標(biāo)準(zhǔn)偏差=0.07、均值=0的高斯白噪聲。這些方法均獲得了滿足需要的視覺效果，NL-means & sparses的視覺效果低于其它的降噪方法，NL-means & sparses的降噪處理明顯弱化了超聲圖像內(nèi)的邊緣，并且導(dǎo)致對比度出現(xiàn)明顯的衰減。本文算法的邊緣部分保留了豐富的細(xì)節(jié)信息，在局部的液體區(qū)域?qū)崿F(xiàn)了高度的還原。

圖6 kidney超聲醫(yī)學(xué)圖像的降噪結(jié)果

4.4.3 量化指標(biāo)評價

該小節(jié)定量評價了圖像降噪技術(shù)的效果，統(tǒng)計了均值=0、標(biāo)準(zhǔn)偏差={10,30,50,70}高斯白噪聲圖像的降噪結(jié)果，結(jié)果如圖7所示。NL-means & sparses對于低噪聲的性能較好，但其性能隨著噪聲加重而衰減。總體而言，混合降噪技術(shù)的降噪性能優(yōu)于單一小波變換技術(shù)(DDDT-DWT和DWT_Semi-soft)，而本文算法的性能略高于其它4個降噪技術(shù)。

圖7 降噪算法的定量評價實驗

該小節(jié)定量評價了圖像降噪技術(shù)對醫(yī)學(xué)超聲圖像的處理效果，噪聲圖像被添加了標(biāo)準(zhǔn)偏差=0.07、均值=0的高斯白噪聲，實驗結(jié)果如圖8所示。NL-means & sparses的降噪性能低于其它4個算法，可見在醫(yī)學(xué)圖像應(yīng)用中，基于頻域變換的降噪技術(shù)好于基于空間域變換的降噪技術(shù)。RNNID技術(shù)通過長短期記憶網(wǎng)絡(luò)對醫(yī)學(xué)圖像的局部特征進(jìn)行了深度地學(xué)習(xí)，獲得了較好的降噪效果。本文算法通過邊緣保留機制和圖像增強機制提高了總體的圖像質(zhì)量，最終的圖像PNSR指標(biāo)高于其它4個降噪算法。

圖8 超聲醫(yī)學(xué)圖像的定量評價實驗

4.5 時間效率分析

本文的實驗環(huán)境為：Windows 10操作系統(tǒng)，16 GB內(nèi)存、Intel-Xeon 2.40 GHz CPU，仿真平臺為Matlab Version 7.14。比較了每個算法對512×512 Lena圖像降噪處理的平均時間：DDDT-DWT 為23.59 s、DWT_Semi-soft為6.54 s、NL-means & sparses 為29.07 s、RNNID 為42.16 s、NeuralDWT為29.33 s。DWT_Semi-soft僅包含基本小波變換和軟閾值函數(shù)兩個計算部分，其速度較快。DDDT-DWT、NL-means & sparses和本文算法的計算時間較為接近。RNNID包含復(fù)雜度的深度神經(jīng)網(wǎng)絡(luò)模型，導(dǎo)致降噪處理時間較長。

5 結(jié)束語

本文提出了基于神經(jīng)網(wǎng)絡(luò)和雙密度雙樹小波的圖像降噪與增強算法。利用CNN識別圖像的邊緣，對非邊緣區(qū)域進(jìn)行降噪處理，保留邊緣區(qū)域的信息。在降噪過程中，采用雙密度雙樹DWT對噪聲圖像進(jìn)行降噪處理，再訓(xùn)練神經(jīng)網(wǎng)絡(luò)來降低噪聲圖像和原圖像的均方誤差，從而對圖像進(jìn)行增強，實驗結(jié)果表明，本方法對于一般圖像實現(xiàn)了較好的降噪和增強效果。雖然本文算法對于超聲醫(yī)學(xué)圖像的PNSR值較高，但是在視覺效果上并未表現(xiàn)出明顯的優(yōu)勢，未來將針對醫(yī)學(xué)圖像的特點進(jìn)行深入研究和改進(jìn)。