圖像質(zhì)量感知的混合噪聲快速盲降噪算法

徐少平 劉婷云 羅 潔 張貴珍 唐祎玲

(南昌大學(xué)信息工程學(xué)院 南昌 330031)

高斯噪聲(Gaussian noise, GN)和脈沖噪聲(impulse noise, IN)是2種常見且在各類文獻(xiàn)中廣為討論的參數(shù)化噪聲模型，高斯噪聲模型常用噪聲水平值(noise level)[1-2]來反映圖像受噪聲干擾的嚴(yán)重程度，脈沖噪聲模型則以噪聲比例(noise ratio)[3]作為描述噪聲嚴(yán)重程度的指標(biāo).研究者們已經(jīng)針對這2種類型的噪聲提出了大量行之有效的降噪算法，但這些算法多是針對圖像僅受高斯[4-5]或者脈沖噪聲[6-7]單一干擾情況下所設(shè)計(jì)的.在現(xiàn)實(shí)中，圖像極易同時(shí)受高斯和脈沖噪聲干擾，簡單地先后利用脈沖降噪算法和高斯降噪算法對其降噪很難實(shí)現(xiàn)高質(zhì)量降噪的目的[8].這是因?yàn)楫?dāng)圖像受高斯和脈沖噪聲混合干擾后，2種噪聲互相影響，難以將兩者完全區(qū)分開并逐一處理.

近10年來，高斯-脈沖混合噪聲降噪逐漸成為圖像降噪領(lǐng)域的熱點(diǎn)問題[9-15].早期Cai等人[9]在變分框架(variational framework)下基于l1數(shù)據(jù)保真項(xiàng)(data-fidelity term)以及引入了包含圖像邊緣局部相似先驗(yàn)信息的Mumford-shah正則項(xiàng)對混合噪聲處理.為降低實(shí)現(xiàn)難度，該算法首先將當(dāng)前像素點(diǎn)的亮度值與局部窗口中值濾波器的輸出值進(jìn)行比較，檢測并移除圖像中可能被脈沖噪聲破壞的像素點(diǎn)，然后在變分框架下對圖像進(jìn)行復(fù)原.Cai算法的降噪效果在很大程度上依賴于對脈沖噪聲檢測的精度，這意味著其降噪效果會(huì)隨著圖像受噪聲干擾嚴(yán)重程度的加重而顯著降低.隨后，Liu等人[12]基于最大似然估計(jì)(maximum likelihood estimation)和稀疏表示(sparse representation)技術(shù)提出了一種通用加權(quán)l(xiāng)2-l0范數(shù)能量最小化模型(energy minimi-zation model)，并利用更容易逼近求解的加權(quán)保真度(weighting data fidelity)函數(shù)解決了高斯-脈沖混合噪聲的降噪問題.該算法能夠在很好保持圖像紋理的同時(shí)有效地去除高斯-脈沖混合噪聲，但由于字典學(xué)習(xí)和稀疏編碼均需要耗費(fèi)大量計(jì)算資源，且當(dāng)噪聲水平較高時(shí)，需要多次迭代才能獲得較好的降噪效果，導(dǎo)致該算法的執(zhí)行效率比較低.近期，Jiang等人[13]提出了一種稀疏非局部正則化的加權(quán)編碼(weighted encoding with sparse nonlocal regulari-zation, WESNR)混合降噪算法.該算法沒有顯式的脈沖噪聲檢測過程，而是采用加權(quán)編碼(weighted encoding)的方式隱式地統(tǒng)一處理高斯和脈沖噪聲，通過將圖像稀疏性先驗(yàn)和非局部相似先驗(yàn)信息集成到正則項(xiàng)中并引入到變分框架下完成圖像降噪任務(wù).稀疏表示和非局部相似技術(shù)的聯(lián)合使用，使得該算法對高斯-脈沖混合噪聲的降噪效果達(dá)到了比較高的水平，但執(zhí)行效率仍然較低.類似地，Huang等人[14]利用自然圖像所具有的非局部自相似性(nonlocal self-similarity)和低秩性(low-rank)，提出了一種基于拉普拉斯尺度混合(Laplacian scale mixture, LSM)模型和非局部低秩正則化(nonlocal low-rank regularization, NLR)的LSM-NLR高斯-脈沖混合噪聲降噪算法.雖然文獻(xiàn)[13-14]中的工作考慮了圖塊之間的相似性，但忽略了圖塊之間其實(shí)也存在差異.為此，Liu等人[15]提出了一個(gè)加權(quán)聯(lián)合稀疏表示非局部正則化(weighted joint sparse nonlocal regularization, WJSR)模型對高斯-脈沖混合噪聲建模，并采用加權(quán)正交匹配追蹤(weighted simultaneous orthogonal matching pursuit, W-SOMP)貪婪算法求解高度非凸的WJSR模型全局最優(yōu)解.最后，基于WJSR模型、稀疏錯(cuò)誤(sparse errors)和全局圖像先驗(yàn)知識定義目標(biāo)函數(shù)，并通過求解這個(gè)目標(biāo)函數(shù)的最優(yōu)值實(shí)現(xiàn)高斯-脈沖混合噪聲的去除.該算法的執(zhí)行效率受制于圖像大小和噪聲嚴(yán)重程度.綜上所述，現(xiàn)有的各類高斯-脈沖混合降噪算法多是在主流高斯降噪算法的基礎(chǔ)上進(jìn)行擴(kuò)展，使其也可以同時(shí)處理脈沖噪聲.這些混合噪聲降噪算法通常基于反映各種圖像先驗(yàn)信息的正則化項(xiàng)來構(gòu)建目標(biāo)函數(shù)，在迭代優(yōu)化技術(shù)支撐下通過求解目標(biāo)函數(shù)最優(yōu)值的方式完成降噪任務(wù).由于算法中字典學(xué)習(xí)、非局部估計(jì)、低秩逼近等關(guān)鍵模塊的計(jì)算復(fù)雜度太高，導(dǎo)致執(zhí)行時(shí)間過長.而降噪算法作為諸多圖像處理任務(wù)的前置預(yù)處理模塊，較長的執(zhí)行時(shí)間將嚴(yán)重拖累圖像處理系統(tǒng)的整體性能.因此，現(xiàn)有的高斯-脈沖混合噪聲降噪算法在執(zhí)行效率方面亟待提高.

近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)因其強(qiáng)大的學(xué)習(xí)能力在圖像降噪領(lǐng)域[4-5,16-17]得到了大量的應(yīng)用，所獲得的性能指標(biāo)超越了許多經(jīng)典的算法.例如，Zhang等人[4]提出了一個(gè)端到端的CNN卷積神經(jīng)網(wǎng)絡(luò)高斯降噪(denoising convolutional neural network, DnCNN)算法，能在給定高斯噪聲水平值的情況下獲得令人滿意的降噪效果.基于CNN訓(xùn)練技術(shù)的各類降噪算法在執(zhí)行效率和降噪效果2個(gè)方面(尤其是執(zhí)行效率方面)具有顯著的綜合優(yōu)勢，使其有望成為解決高斯-脈沖混合噪聲降噪問題的新途徑，但也存在若干問題需要進(jìn)一步解決.例如，雖然DnCNN降噪算法可以完成盲降噪任務(wù)，但是其降噪效果會(huì)有一定程度的下降且只能處理噪聲水平值在[0,55]范圍內(nèi)的高斯噪聲.究其原因在于：DnCNN本質(zhì)上是基于訓(xùn)練策略(training-based approach)實(shí)現(xiàn)的，其降噪性能在很大程度上受制于訓(xùn)練降噪模型時(shí)所使用的圖像與待降噪圖像受噪聲干擾的模式、程度是否趨于一致，兩者越接近，則DnCNN算法的降噪效果越好.為訓(xùn)練盲降噪模型，訓(xùn)練圖像集合中就必須涵蓋各種受不同噪聲水平干擾的噪聲圖像，這必然導(dǎo)致模型收斂比較困難，故盲降噪版DnCNN算法的降噪效果要比非盲降噪版的差一些.為提高基于訓(xùn)練的降噪算法的降噪效果，一個(gè)自然的想法就是利用某種劃分機(jī)制，將訓(xùn)練圖像集合劃分為多個(gè)在噪聲失真程度上大致相同的子集，并在各個(gè)圖像子集上訓(xùn)練相適應(yīng)的降噪模型.這樣對于給定的待降噪圖像，只要能找到一個(gè)合適的降噪模型(訓(xùn)練集合中圖像受噪聲干擾的程度與待降噪圖像近似)對其進(jìn)行復(fù)原處理，就能保證降噪效果.近期，文獻(xiàn)[18]中提出了一種基于類感知(class-aware)的全連接卷積神經(jīng)網(wǎng)絡(luò)(fully-convolutional neural network, FCNN)降噪算法，根據(jù)圖像所表達(dá)的語義內(nèi)容(例如人臉、寵物、花、起居室、街道等)的不同，將訓(xùn)練的圖像集合細(xì)分為若干個(gè)具有不同語義主題的子集并訓(xùn)練與之相匹配的精調(diào)模型(fine-tuning model).雖然這種實(shí)現(xiàn)策略確實(shí)在一定程度上提高了降噪效果，但根據(jù)圖像語義內(nèi)容構(gòu)建圖像子集的方法的普適性不強(qiáng)，因?yàn)樽匀粓D像內(nèi)容的種類遠(yuǎn)遠(yuǎn)大于文獻(xiàn)[18]中提到的那幾種.另外，即便圖像語義內(nèi)容相同，如果訓(xùn)練降噪模型所用圖像的噪聲嚴(yán)重程度與待降噪圖像相差比較大，仍然不能獲得令人滿意的降噪效果.故需要尋找一種普適性更好的劃分圖像訓(xùn)練子集的標(biāo)準(zhǔn).

通過對大量受不同高斯-脈沖混合噪聲模式(各種不同噪聲水平的高斯噪聲與不同噪聲比例的脈沖噪聲組合)干擾圖像的峰值信噪比(peak signal to noise ratio, PSNR)統(tǒng)計(jì)分析后發(fā)現(xiàn)：圖像受到混合模式近似(噪聲水平或者噪聲比例值相近)的混合噪聲干擾后，其PSNR值ζPSNR分布范圍非常接近且分布在特定的區(qū)間范圍內(nèi)，受圖像內(nèi)容的影響不大.因此，圖像的PSNR質(zhì)量值可以作為衡量混合噪聲類型和強(qiáng)度的標(biāo)準(zhǔn)，它是一種比基于圖像語義內(nèi)容劃分模型訓(xùn)練圖像子集更具有普適性的分類依據(jù).為此，提出了一種基于圖像質(zhì)量感知的快速盲降噪算法(image quality-aware fast blind denoising algorithm， IQA-FBDA).該算法首先利用基于相對淺層的CNN卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的圖像質(zhì)量評估模型估計(jì)給定待降噪圖像的ζPSNR值，然后依據(jù)該值查找預(yù)先構(gòu)建的混合噪聲模式分類字典(mixed noise pattern classification dictionary, MNPCD)以確定其所屬子類類別，最后調(diào)用預(yù)先訓(xùn)練好的與該類別相匹配的深層CNN降噪模型快速而高質(zhì)量地完成盲降噪任務(wù).大量的實(shí)驗(yàn)數(shù)據(jù)表明：所提出的IQA-FBDA算法在降噪效果上達(dá)到了當(dāng)前主流混合降噪算法的同等水平，而在執(zhí)行效率方面則比現(xiàn)有的主流高斯-脈沖混合降噪算法有顯著提升，更適用于那些對執(zhí)行時(shí)間有嚴(yán)格要求的系統(tǒng).

1 相關(guān)工作

1.1 脈沖噪聲模型

脈沖混合噪聲模型可以定義為

(1)

1.2 DnCNN降噪算法簡介

Fig. 1 The network architecture of DnCNN圖1 DnCNN網(wǎng)絡(luò)的組成架構(gòu)

(2)

其中，yi，xi分別表示第i(i=1,2,…,N)張?jiān)肼晥D像及其對應(yīng)的原始無失真圖像，Θ為CNN網(wǎng)絡(luò)參數(shù).

如圖1所示，DnCNN網(wǎng)絡(luò)模型框架的核心由3種不同類型的卷積層構(gòu)建而成.假設(shè)網(wǎng)絡(luò)深度為d，第1層采用卷積層(convolutional layer, Conv)加修正線性單元(rectified linear unit, ReLU)[20]，即圖1所示的(Conv+ReLU).其中，ReLU是作為激活函數(shù)為網(wǎng)絡(luò)提供非線性.該層使用了64個(gè)大小為3×3×1的濾波器產(chǎn)生64個(gè)特征映射圖；第2～(d-1)層在卷積層和ReLU之間加入了批歸一化(batch normalization, BN)操作，即圖1所示的(Conv+BN+ReLU)，中間層使用64個(gè)大小為3×3的濾波器.BN操作可緩解隨機(jī)梯度下降(stochastic gradient descent, SGD)訓(xùn)練算法產(chǎn)生的內(nèi)部協(xié)變量轉(zhuǎn)移(internal covariate shift)現(xiàn)象，以提高網(wǎng)絡(luò)的訓(xùn)練效率[21]；最后1層只用了1個(gè)卷積層(Conv)輸出殘差圖像.

2 IQA-FBDA算法

2.1 設(shè)計(jì)思想與技術(shù)路線

由引言可知，基于訓(xùn)練策略實(shí)現(xiàn)的CNN降噪算法其性能取決于模型的訓(xùn)練集，依據(jù)圖像的ζPSNR值劃分噪聲圖像子集比文獻(xiàn)[18]中基于圖像語義內(nèi)容進(jìn)行劃分更具普適性.因此，提出了一種基于圖像質(zhì)量感知的高斯-脈沖混合噪聲降噪算法.該算法流程框圖如圖2所示，實(shí)現(xiàn)過程共分為2個(gè)階段：

1) 訓(xùn)練階段.首先在大量無失真圖像上添加不同噪聲水平和噪聲比例的高斯-脈沖混合噪聲構(gòu)成噪聲圖像總集，基于對應(yīng)的無失真圖像計(jì)算各個(gè)噪聲圖像的ζPSNR值.然后將整個(gè)ζPSNR值的動(dòng)態(tài)變化空間細(xì)分為16個(gè)子范圍，記錄每個(gè)子范圍內(nèi)圖像的高斯噪聲水平值和脈沖噪聲比例值以構(gòu)建MNPCD噪聲模式分類字典.此外，利用深層DnCNN網(wǎng)絡(luò)架構(gòu)(對DnCNN網(wǎng)絡(luò)架構(gòu)進(jìn)行擴(kuò)展訓(xùn)練，使其可用于高斯-脈沖混合噪聲的降噪)訓(xùn)練與各個(gè)子集相匹配的專用精調(diào)降噪模型.考慮到實(shí)際降噪時(shí)僅有待降噪圖像本身可用(沒有無失真圖像作為參考圖像，無法計(jì)算ζPSNR值)，本文利用噪聲圖像總集及其對應(yīng)的圖像質(zhì)量值，基于CNN卷積神經(jīng)網(wǎng)絡(luò)技術(shù)構(gòu)建了1個(gè)預(yù)測能力強(qiáng)大的圖像質(zhì)量評估模型，直接基于待降噪圖像本身無參考地估計(jì)它的ζPSNR值作為圖像受混合噪聲干擾嚴(yán)重程度的度量.

Fig. 2 The overall framework of IQA-FBDA圖2 IQA-FBDA算法的流程框圖

2) 降噪階段.對于1張給定的噪聲圖像，首先利用圖像質(zhì)量評估模型估計(jì)圖像的ζPSNR值，然后根據(jù)該質(zhì)量值查詢MNPCD噪聲模式分類字典即可確定待降噪圖像所屬圖像子集的類別，從而調(diào)用預(yù)先訓(xùn)練好的對應(yīng)類別的混合噪聲降噪模型實(shí)現(xiàn)盲降噪任務(wù).所獲得的降噪算法在降噪效果和執(zhí)行效率2方面都表現(xiàn)出令人滿意的性能.

2.2 混合噪聲模式分類字典的構(gòu)建

不同級別的高斯噪聲(噪聲水平為5～30，間隔5)和脈沖噪聲(噪聲比例為0.1～0.5，間隔0.05)構(gòu)成了54種混合組合情況的高斯-脈沖混合噪聲，分別加入到BSD數(shù)據(jù)庫[22]中的200張?jiān)紵o失真圖像上構(gòu)成噪聲圖像集合，計(jì)算每張?jiān)肼晥D像的ζPSNR值作為評價(jià)圖像質(zhì)量的指標(biāo).根據(jù)ζPSNR值某一區(qū)段內(nèi)混合噪聲模式出現(xiàn)的種類和頻率相對固定的特點(diǎn)，將所有的組合情況分為16類(其中，將高斯噪聲水平σ<5、脈沖噪聲比例r<0.1的圖像單獨(dú)分為第16類，該類圖像受混合噪聲干擾的程度比較小)，每一類別具體包括的噪聲組合模式以及相應(yīng)的圖像質(zhì)量值范圍列在表1～2中.

由表1可知：脈沖噪聲比例相同時(shí)，高斯噪聲水平相差10以內(nèi)的圖像往往劃分到同一個(gè)類中，表明高斯噪聲水平的變化對圖像質(zhì)量的影響不大，且脈沖噪聲比例越大，高斯噪聲對圖像質(zhì)量的影響越不明顯；當(dāng)高斯噪聲水平相同時(shí)，脈沖噪聲比例僅僅相差0.05卻沒有劃分到同一類，表明脈沖噪聲對圖像質(zhì)量的影響非常大.當(dāng)高斯噪聲水平與脈沖噪聲比例都不相同時(shí)，圖像在某些時(shí)候有可能劃分到同一個(gè)類中.例如σ=30，r=0.15和σ=15，r=0.20的噪聲圖像都被劃分為第5類.由表2可知：各類圖像質(zhì)量值的變化范圍在1.0以內(nèi)，當(dāng)脈沖噪聲比例較小時(shí)、圖像質(zhì)量值相差較大(0.6～0.9)、脈沖噪聲比例較大時(shí)，圖像質(zhì)量值相差較小(0.3～0.5).圖3給出了不同類別的噪聲圖像的視覺對比圖，其中，圖3(a)～(c)被劃分第5類，圖3(d)～(f)被劃分為第10類.由圖3可知：類別不同的圖像在視覺上差異比較明顯，而屬于同一類的圖像雖然受不同模式的混合噪聲干擾，但是視覺效果差別甚微，只有通過圖像的ζPSNR值才能發(fā)現(xiàn)圖像受不同模式的噪聲干擾后發(fā)生了細(xì)微變化.綜上所述，基于表1～2可以構(gòu)建MNPCD混合噪聲模式分類字典，對于任意給定的某個(gè)圖像質(zhì)量值，直接查找該分類字典(即表1和表2)就可以判定圖像所屬類別，并可以知道該類別主要包括哪些混合組合模式.這樣，在準(zhǔn)備深層降噪模型所需要的訓(xùn)練數(shù)據(jù)時(shí)，就可以按照各個(gè)子類中的混合模式生成相應(yīng)的訓(xùn)練數(shù)據(jù)(適當(dāng)?shù)卦谠擃愒肼曀街岛驮肼暠壤底兓秶鷥?nèi)通過插值法生成部分訓(xùn)練圖像)，從而確保所獲得的訓(xùn)練圖像集合與待降噪圖像降質(zhì)程度近似.

Table 1 Noise Combination Patterns Corresponding to theClasses of Noisy Images Subsets

Table 2 The PSNR Range of Each Noisy Image Subset表2 各類噪聲圖像子集所對應(yīng)的PSNR值范圍 dB

Fig. 3 Visual comparison of different categories of noisy images圖3 不同類別的噪聲圖像在視覺上的對比

2.3 圖像質(zhì)量評估模型

考慮到執(zhí)行復(fù)雜度，采用淺層的CNN卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在圖塊級(patch level)上實(shí)現(xiàn)圖像質(zhì)量評估模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.為訓(xùn)練該模型，選取了BSD數(shù)據(jù)庫[22]中的200張圖像作為訓(xùn)練集，加入不同模式的混合噪聲后將其分解成大小為28×28的圖塊，將圖塊及其對應(yīng)的ζPSNR值分別作為圖4所示的網(wǎng)絡(luò)結(jié)構(gòu)的輸入和輸出.該預(yù)測模型執(zhí)行預(yù)測任務(wù)時(shí)以圖塊作為輸入，對于1張待降噪的噪聲圖像，隨機(jī)從圖像不同位置抽取30個(gè)大小為28×28的圖塊輸入到網(wǎng)絡(luò)，以獲得的30個(gè)圖塊質(zhì)量值的平均值代表整張待降噪圖像最終的圖像質(zhì)量(可有效克服欠估計(jì)和過估計(jì)對預(yù)測結(jié)果的影響，排除圖像內(nèi)容對預(yù)測結(jié)果的影響，且執(zhí)行效率高).圖塊大小設(shè)置為28×28以及每張圖像選取的圖塊個(gè)數(shù)為30個(gè)是根據(jù)多次實(shí)驗(yàn)結(jié)果選擇出的最優(yōu)值.這樣，根據(jù)估計(jì)出的圖像質(zhì)量值對照所創(chuàng)建的混合噪聲模式分類字典就能確定待降噪圖像的所屬混合噪聲類別.

Fig. 4 The architecture of patch-based imagequality estimator圖4 基于圖塊級的圖像質(zhì)量評估模型

為了驗(yàn)證圖像質(zhì)量評估模型的準(zhǔn)確性和混合噪聲模式分類字典的有效性，在BSD數(shù)據(jù)庫[22]中隨機(jī)選取100張圖像(與訓(xùn)練集不重疊)分別加入5種不同組合的混合噪聲(如表3所示，以這5種模式組合為例)，基于預(yù)測模型并根據(jù)分類字典確定各個(gè)噪聲圖像的類別，通過分類正確率衡量其有效性，具體實(shí)驗(yàn)數(shù)據(jù)列于表3中(σ表示高斯噪聲水平，r代表脈沖噪聲比例).由表3可知：分類正確率都在83%以上，最佳的結(jié)果達(dá)到了97%，說明所創(chuàng)建的噪聲模式分類字典和訓(xùn)練的圖像質(zhì)量估計(jì)模型是可靠的.

Table 3 Classification Accuracy of the Image QualityEstimator

2.4 深層降噪模型

IQA-FBDA算法中完成混合噪聲降噪功能的模型是以DnCNN算法中的深層網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，對網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)(輸入-輸出)進(jìn)行適當(dāng)變更，使其能去除圖像中的高斯-脈沖混合噪聲.為了訓(xùn)練各個(gè)子類別對應(yīng)的混合噪聲降噪模型，從BSD數(shù)據(jù)庫中選取200張圖像構(gòu)成原始圖像集，對于MNPCD混合噪聲模式分類字典第i個(gè)子類，對這些圖像添加該子類包括的各種模式的高斯-脈沖混合噪聲(為了獲得更好的降噪效果，根據(jù)該子類噪聲水平和噪聲比例值變化范圍用插值方法生成一定量的噪聲圖像作為訓(xùn)練數(shù)據(jù))，以滑動(dòng)窗口的方式從準(zhǔn)備好的訓(xùn)練集圖像中提取若干個(gè)大小為40×40的圖塊作為網(wǎng)絡(luò)的輸入(所采用的參數(shù)均與DnCNN模型相同，訓(xùn)練圖塊個(gè)數(shù)達(dá)到240 000個(gè))，以噪聲圖塊與對應(yīng)無失真圖塊之間的殘差映射圖塊作為輸出.在降噪階段，以整張?jiān)肼晥D像作為輸入，將噪聲圖像減去降噪模型輸出的殘差圖像即可直接得到復(fù)原圖像.

2.5 降噪后再評估策略

鑒于圖像質(zhì)量評估模型預(yù)測精度，IQA-FBDA算法在實(shí)際應(yīng)用時(shí)存在少量調(diào)用相鄰子類降噪模型完成降噪任務(wù)的情況，導(dǎo)致在某些時(shí)候不能獲得最優(yōu)的降噪效果.為此，提出降噪后再評估策略進(jìn)一步提升IQA-FBDA算法的降噪效果.具體地，在使用圖像質(zhì)量評估模型得到待降噪圖像的ζPSNR值后，調(diào)用MNPCD混合噪聲模式分類字典中與[ζPSNR-v,ζPSNR+v]區(qū)段內(nèi)所重疊的各個(gè)降噪模型對噪聲圖像進(jìn)行降噪，搜索范圍參數(shù)v=0.7.然后，通過文獻(xiàn)[1]中的算法評價(jià)各個(gè)降噪模型對噪聲圖像的降噪效果(該算法是噪聲水平評估算法，其值越小，說明降噪后的圖像質(zhì)量越好).最后，選擇最小評估值對應(yīng)的復(fù)原圖像作為最終的降噪結(jié)果.雖然降噪后再評估的策略使得算法的執(zhí)行時(shí)間有所增加，但是基于CNN預(yù)訓(xùn)練的IQA-FBDA算法的全部執(zhí)行時(shí)間相比于傳統(tǒng)的混合噪聲降噪算法來說仍然是非常少的.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證所提出IQA-FBDA算法的性能，分別在10張常用圖像(被各經(jīng)典文獻(xiàn)采用，包括Lena,Boat,Barbara,House,Peppers等)、100張BSD紋理分割數(shù)據(jù)庫[22]圖像(不同于訓(xùn)練時(shí)所使用的圖像，部分圖像如圖5所示)和100張自然場景圖像(由文獻(xiàn)[23-24]分別提供的90張和10張用于圖像質(zhì)量評價(jià)的圖像構(gòu)成)共3種不同圖像類型的數(shù)據(jù)集上進(jìn)行測試.參與對比的算法包括M-BM3D(median BM3D[25])，WESNR[13]，LSM-NLR[14]，WJSR[15]共4種具有代表性的降噪算法.其中，考慮到BM3D算法不適用于處理脈沖噪聲且需要以已知噪聲水平值作為入口參數(shù)，本文采用與文獻(xiàn)[13]類似的做法，首先利用中值濾波移除噪聲圖像中的脈沖噪聲，然后通過文獻(xiàn)[1]的工作對去除脈沖噪聲后的圖像進(jìn)行噪聲水平估計(jì)，最后以該估計(jì)值作為BM3D算法的入口參數(shù)對已濾除脈沖噪聲后的圖像再次降噪以去除高斯噪聲，改進(jìn)后的算法記為M-BM3D.降噪效果的衡量指標(biāo)為PSNR.所有算法運(yùn)行的硬件平臺均為Intel CoreTMi7-6700 3.40 GHz CPU處理器，16 GB內(nèi)存.軟件配置均為Windows 7操作系統(tǒng)，Matlab 2017b編程環(huán)境.

3.2 降噪效果比較

首先，為了驗(yàn)證IQA-FBDA算法去除高斯-隨機(jī)脈沖混合噪聲的有效性，對10張常用圖像分別添加不同水平的高斯噪聲(σ)和不同比例的脈沖噪聲(r)構(gòu)成混合噪聲圖像集，比較每張?jiān)肼晥D像使用各個(gè)對比算法復(fù)原后圖像的ζPSNR值.限于篇幅，表4僅列出各算法在Lena，Barbara，Peppers這3張圖像上的具體實(shí)驗(yàn)數(shù)據(jù)，表5則給出了各個(gè)算法在不同配置下在10張圖像上所獲得ζPSNR值的平均值.從表4～5可以看出，所提出的IQA-FBDA算法的降噪效果大部分情況下排在前2名，且復(fù)原圖像的ζPSNR值與最優(yōu)值相差甚微.

Note: The top 2 results are bold.

Table 5Average PSNR Performance of Each Algorithm on10 Commonly Used Images

表5 各算法在10張常用圖像上的平均降噪效果對比dB

Algorithmsσ=15σ=25r=0.15r=0.25r=0.45r=0.15r=0.25r=0.45M-BM3D28.2727.2224.5926.2625.3222.96WESNR28.8328.2026.3227.2426.6224.84LSM-NLR29.3927.7024.7127.7727.0424.70WJSR29.3728.3925.9127.2326.5524.82IQA-FBDA29.1828.4326.2427.7426.7024.79

Note: The top 2 results are bold.

其次，為了驗(yàn)證IQA-FBDA算法的魯棒性，在100張紋理圖像和100張自然圖像上分別進(jìn)行測試，表6和表7分別列出了各算法在這2個(gè)測試圖像集上不同高斯-脈沖混合噪聲下的平均降噪效果.從表6～7可以看出，IQA-FBDA算法的降噪效果在大多數(shù)情況下是最優(yōu)的.特別地，圖像受到混合噪聲干擾的程度越大，算法的降噪性能越好.考慮到表8所列的關(guān)于執(zhí)行效率的數(shù)據(jù)，總體上IQA-FBDA算法在降噪效果和執(zhí)行效率2個(gè)方面的綜合性能要顯著優(yōu)于其他對比算法.需要說明的是：1) IQA-FBDA算法屬于盲降噪算法，而WESNR算法、LSM-NLR算法和WJSR算法都是非盲降噪算法，需要人工設(shè)置參數(shù)，其真實(shí)性能在實(shí)際應(yīng)用中并不能達(dá)到表4～7中所列數(shù)據(jù)的水平；2)固定脈沖噪聲作為隨機(jī)脈沖噪聲的特例，所提出的IQA-FBDA算法也適用于-固定脈沖混合噪聲的去除，且同樣能獲得令人滿意的降噪效果.限于篇幅，這里不再給出具體實(shí)驗(yàn)數(shù)據(jù).

Fig. 6 Visual comparison of denoising effect on Barbara image圖6 在Barbara圖像上的降噪效果的視覺對比

表6 各算法在100張BSD圖像上的平均降噪效果對比dB

AlgorithmsGaussian-Impulse Mixed Noiseσ=10σ=20σ=30r=0.30r=0.50r=0.40r=0.30r=0.50M-BM3D25.5823.0823.2622.8220.65WESNR25.9123.8324.1023.7522.08LSM-NLR27.2024.2924.6823.7822.75WJSR25.9523.5723.9823.3722.25IQA-FBDA26.8724.5524.6824.2322.90

Note: The best values are bold.

最后，為了從視覺上對比各個(gè)算法的降噪效果，圖6給出了各算法對添加了高斯-隨機(jī)脈沖混合噪聲(σ=15，r=0.25)的Barbara圖像的降噪效果視覺對比圖.從圖6中可以看出，IQA-FBDA算法的降噪效果僅次于WJSR算法(但所提出的算法具有極高的執(zhí)行效率)，在視覺效果上兩者相差甚微，表明IQA-FBDA算法在降噪效果方面是令人滿意的.

Table 7Average PSNR Performance of Each Algorithm on100 Natural Images

表7 各算法在100張自然圖像上的平均降噪效果對比dB

AlgorithmsGaussian-Impulse Mixed Noiseσ=10σ=20σ=30s=0.30s=0.50s=0.40s=0.30s=0.50M-BM3D28.3222.1825.6221.7721.58WESNR25.8224.8424.7424.4923.27LSM-NLR25.7723.2924.6324.6122.84WJSR27.0625.0425.5524.1020.38IQA-FBDA29.1224.7927.4222.7723.57

Note: The best values are bold.

3.3 執(zhí)行時(shí)間比較

執(zhí)行效率直接影響到降噪算法的實(shí)用性，是評價(jià)算法性能的另一個(gè)重要指標(biāo).因此，將各個(gè)對比算法對10張大小為512×512的圖像進(jìn)行降噪處理，以平均執(zhí)行時(shí)間作為評價(jià)算法執(zhí)行效率的指標(biāo)，各算法在不同高斯高斯-隨機(jī)脈沖混合噪聲下的執(zhí)行時(shí)間列于表8中.由表8可知，IQA-FBDA算法的平均執(zhí)行時(shí)間在所有參與比較的算法中具有顯著優(yōu)勢，僅次于M-BM3D算法，但其降噪效果顯著優(yōu)于M-BM3D算法，故IQA-FBDA算法在降噪效果和執(zhí)行效率2個(gè)方面的綜合性能是所有參與比較算法中最優(yōu)的.其實(shí)，表8所給出的IQA-FBDA算法實(shí)驗(yàn)數(shù)據(jù)是在沒有使用圖形處理器(graphics processing unit, GPU)硬件加速條件下獲得的.若使用硬件加速技術(shù)，則執(zhí)行時(shí)間能進(jìn)入200 ms內(nèi)，其執(zhí)行效率將是最高的，可以達(dá)到實(shí)時(shí)應(yīng)用標(biāo)準(zhǔn).

Table 8 Average Execution Time of Different Algorithms表8 各算法平均執(zhí)行時(shí)間對比 s

4 總 結(jié)

對于任意給定的受高斯-脈沖混合噪聲干擾的圖像，所提出的IQA-FBDA算法通過設(shè)計(jì)無參考PSNR值預(yù)測模型以及MNPCD混合模式分類字典，能保證自動(dòng)調(diào)用與之最匹配的精調(diào)深層CNN降噪模型進(jìn)行降噪，在降噪效果和執(zhí)行效率2個(gè)方面可取得最佳平衡.與當(dāng)前主流的高斯-脈沖混合噪聲降噪算法相比，IQA-FBDA算法無需為高斯-脈沖混合噪聲設(shè)計(jì)復(fù)雜的理論描述模型，也無需設(shè)計(jì)復(fù)雜的迭代求解算法對其降噪，實(shí)現(xiàn)復(fù)雜度更低.一旦模型訓(xùn)練完成，整個(gè)執(zhí)行過程無需人工干預(yù)，屬于盲降噪算法.此外，該算法以圖像質(zhì)量值作為劃分訓(xùn)練圖像子集的標(biāo)準(zhǔn)，是一種比圖像語義內(nèi)容更具有普適性的方法，具有更廣的應(yīng)用范圍.