級聯離散小波多頻帶分解注意力圖像去噪方法

王力 李小霞 秦佳敏 朱賀 周穎玥

摘 要：針對圖像去噪網絡中下采樣導致高頻信息損失和細節保留能力差的問題，設計了一種級聯離散小波多頻帶分解注意力圖像去噪網絡。其中多尺度級聯離散小波變換結構將原始圖像分解為多個尺度下的高低頻子帶來代替傳統下采樣，能減少高頻信息損失。多頻帶特征增強模塊使用不同尺度的卷積核并行處理高低頻特征，在子網絡每一級下重復使用兩次，可增強全局和局部的關鍵特征信息。多頻帶分解注意力模塊通過注意力評估紋理細節成分的重要性并加權不同頻帶的細節特征，有助于多頻帶特征增強模塊更好地區分噪聲和邊緣細節。多頻帶選擇特征融合模塊融合多尺度多頻帶特征增強選擇性特征，提高模型對于不同尺度噪聲的去除能力。在SIDD和DND數據集上，所提方法的PSNR/SSIM指標分別達到了39.35 dB/0.918、39.72 dB/0.955。實驗結果表明，該方法的性能優于主流去噪方法，同時具有更清晰的紋理細節和邊緣等視覺效果。

關鍵詞：圖像去噪； 高頻信息； 級聯離散小波變換； 多頻帶特征增強； 多頻帶分解注意力

中圖分類號：TP391.4?? 文獻標志碼：A?? 文章編號：1001-3695（2024）01-046-0288-08

doi：10.19734/j.issn.1001-3695.2023.06.0245

Cascade discrete wavelet multi-band decomposition attention image denoising method

Abstract：To address the issue of high-frequency information loss and poor detail preservation ability in image denoising networks caused by downsampling， this paper proposed a cascade discrete wavelet multi-band decomposition attention image denoising network. The multi-scale cascade discrete wavelet transform structure decomposed the original image into high and low-frequency sub-bands at multiple scales， replacing traditional downsampling and reducing high-frequency information loss. The multi-band feature enhancement module employed convolutional kernels of different scales to process high and low-frequency features in parallel. By repeating this process twice at each level of the subnetwork， it effectively enhanced both global and local key feature information. The multi-band decomposition attention module evaluated the importance of texture detail components through attention and weighted the detail features of different bands， which helped the multi-band feature enhancement module better distinguish between noise and edge details. The multi-band selective feature fusion module fused multi-scale multi-band features to enhance selective features， improving the models ability to remove noise at different scales. The proposed method achieves PSNR/SSIM values of 39.35 dB/0.918 and 39.72 dB/0.955 on the SIDD and DND datasets， respectively. The experimental results demonstrate that the proposed method outperforms mainstream denoising methods and produces clearer visual effects， such as texture details and edges.

Key words：image denoising; high-frequency information; cascade discrete wavelet transform; multi-band feature enhancement; multi-band decomposition attention

0 引言

圖像噪聲會顯著降低圖像質量，因此消除圖像噪聲對于提高圖像的視覺質量至關重要。圖像去噪是一個不適定問題，具有很大的挑戰性。在高級計算機視覺任務的預處理步驟中，如目標檢測和圖像分割，圖像去噪扮演著重要角色。為了解決這個問題，研究人員開發了基于模型和學習的圖像去噪方法。

基于模型的方法采用基于明確定義的圖像先驗信息或噪聲統計模型的優化策略，這些方法具有良好的可解釋性和強大的泛化能力。典型的先驗信息包括圖像域的平滑性、變換域的稀疏性［1，2］、斑塊域的非局部自相似性［3，4］和低秩［5］。雖然這些方法都取得了不錯的效果，但它們仍存在以下四個缺點：a）需要人工調整參數；b）需要復雜的優化算法才能達到理想的去噪效果；c）保留圖像邊緣細節特征的能力差；d）無法去除復雜的真實噪聲。

在過去十余年，深度學習方法促進了圖像處理領域快速發展。相較于傳統的圖像去噪方法，基于深度學習的方法有很多優點。首先，這些方法通常不需要人工設置超參數或依賴于人類知識的圖像先驗。其次，它們在去除合成噪聲和真實噪聲方面都表現得更好。卷積神經網絡（convolutional neural networks，CNN）的結構非常適合于同時捕捉淺層和深層圖像特征，并且能夠從大規模的圖像訓練集中獲得強大的數據推理能力，從而表現出更優的性能。已有的一些方法，例如DnCNN［6］和FFDNet［7］，通過引入殘差學習和人工設置噪聲級別來去除圖像中的噪聲。然而，這些方法在處理真實噪聲方面表現不佳。為了應對這個問題，CBDNet［8］通過使用噪聲估計子網絡來預測噪聲圖像作為先驗知識，從而去除真實場景中圖像的真實噪聲。RIDNet［9］則使用了注意力機制來增強高頻信息的流動，并使用殘差結構減少低頻信息的傳遞，以重建去噪圖像中的詳細信息。然而，這些方法的計算復雜度較高。InvDN［10］是一種輕量級且可逆的真實圖像去噪網絡，該網絡將噪聲圖像轉換為低分辨率的干凈圖像和包含噪聲的潛在表示，從而實現干凈圖像的恢復和新噪聲圖像的生成。CVF-SID［11］中提出了一種關于真實噪聲自監督訓練去噪方法，能將噪聲圖像分解成干凈圖像、信號相關和無關的噪聲;同時還引入一種自監督的數據增強策略，以有效地增加訓練樣本的數量。MaskedTraining［12］引入輸入掩碼和注意力掩碼兩種掩碼訓練方法，通過對輸入圖像進行隨機像素掩蓋，并在訓練過程中重建缺失信息，有效提高了去噪模型的泛化能力。MIRNetv2［13］通過使用多尺度殘差塊、結合密集連接塊和全局殘差學習來保留圖像細節。但是，以上這些方法無法在具有復雜紋理和結構的區域中精細地保留圖像邊緣細節特征。引入注意力機制可以幫助網絡更準確地區分信號和噪聲，并更好地恢復圖像的細節和紋理信息。目前，許多研究已經在這方面作出了重要的貢獻。例如，Hu等人［14］將注意力機制引入到圖像分類任務中，提出了顯式建模通道間相互依賴關系的網絡，提高了網絡性能。Woo等人［15］提出了即插即用的卷積塊注意力模塊（convolutional block attention module，CBAM），通過最大池化和平均池化分別在信道空間維度提取全局圖像特征。尹海濤等人［16］提出了局部和非局部的混合注意力機制的去噪模型，能自適應調整特征通道并有效刻畫圖像中的局部和非局部特征。Qin等人［17］提出了多頻譜通道注意力框架，是一種融合頻域分析和注意力機制的嘗試。

目前通用的圖像去噪任務架構使用噪聲圖像和干凈的目標圖像對進行訓練，并對加性高斯白噪聲（additive white Gaus-sian noise，AWGN）等合成噪聲圖像進行處理，獲得了良好的視覺質量。然而，真實圖像去噪仍然是一個具有挑戰性的任務，真實圖像噪聲來源于相機系統中的處理步驟，如馬賽克、伽馬校正和壓縮多樣化。近年來，研究人員試圖通過對真實噪聲進行建模，構建基于CNN的去噪模型來處理真實世界的噪聲圖像。典型的CNN真實圖像去噪方法采用編碼器-解碼器網絡結構，然而編碼器-解碼器網絡結構中重復的下采樣操作會對圖像高頻信息造成嚴重的破壞，無法重構出高質量的圖像。圖像信息主要分為低頻信息和高頻信息兩部分。低頻信息包含了原始圖像的主要內容，而高頻信息則包含了水平、垂直和對角線細節，能夠清晰地表現圖像的紋理特征。這些信息不僅對于圖像去噪至關重要，也是其他視覺任務的關鍵。引入小波變換（wavelet transform，WT）［18］可以進一步提高圖像去噪的性能。小波變換具有多分辨率分析和時頻域逐步細分的功能，可以將特征映射分解為不同頻率以作進一步處理。通過將圖像中的高頻信息從低頻信息中分離出來，小波變換可以大大減少CNN中下采樣造成的信息損失。此外，小波變換是可逆的，在圖像處理中也得到了廣泛的應用。Sun等人［19］提出級聯離散小波變換模塊，該模塊充分利用了不同的頻率分量，通過替換現有的池化操作，提高了圖像分類任務的準確率。Liu等人［20］通過使用小波變換代替U-Net［21］中下采樣操作，利用正交化方法保留更多的信息。徐景秀等人［22］提出一種改進小波軟閾值函數方法，通過對閾值的選取方式和閾值函數進行改進來提升去噪后的圖像質量。陳清江等人［23］基于小波變換和CNN的優勢將圖像進行尺度為1的小波分解，得到高頻分量和低頻分量分別輸入網絡進行訓練，能有效去除噪聲。Duan等人［24］應用雙樹復小波變換設計了一種卷積小波神經網絡，該網絡具有抑制特定噪聲和保持特征結構的能力。盡管基于小波的去噪方法取得了成功，但仍存在一些局限性：a）固定的小波濾波器選擇和有限的分解級別可能無法捕捉到所有尺度上的信號特征；b）當噪聲水平較高時或處理復雜的真實噪聲時，去噪性能可能會惡化，因為噪聲在小波分解過程中可能會通過不同的子帶傳播；c）現有方法將所有頻率信息直接混合，或直接丟棄高頻信息，導致不同頻率信息相互作用產生偽影和失真，以及無法保留圖像邊緣細節特征等問題，特別是在具有復雜紋理和結構的區域。

針對以上問題，本文提出了一種級聯離散小波多頻帶分解注意力（cascaded discrete wavelet multi-band decomposition attention，CDW-MDA）圖像去噪網絡，該網絡結合了模型可解釋性強和CNN學習能力強的優點，采用編碼器-子網絡-解碼器結構，包括多尺度級聯離散小波變換（multi-scale cascaded discrete wavelet transform，MC-DWT）結構、多頻帶特征增強（multi-band feature enhancement，Mb-FE）模塊、多頻帶分解注意力（multi-band decomposition attention，Mb-DA）模塊以及多頻帶選擇特征融合（multi-band selective feature fusion，Mb-SFF）模塊。

具體來說，本文在編碼器和解碼器階段采用離散小波變換（discrete wavelet transform，DWT）和逆離散小波變換（inverse discrete wavelet transform，IDWT）代替了U-Net結構中的下采樣和上采樣操作，以減少下采樣操作造成的高頻信息損失并增大感受野。此外，通過級聯DWT和卷積塊，將輸入圖像分解成多尺度頻帶，其中低頻子帶包含了原始圖像的主要信息，而高頻子帶包含了水平、垂直和對角線細節信息。在子網絡階段，本文設計了多頻帶特征增強（Mb-FE）模塊、多頻帶分解注意力（Mb-DA）模塊和多頻帶選擇特征融合（Mb-SFF）模塊。首先，將不同尺度下的頻帶信息輸入Mb-FE模塊，以提取不同頻帶的全局和局部特征。然后，Mb-DA模塊對不同尺度下各頻帶的特征進行注意力加權，提高空間特征的冗余度和豐富度，并增強每個子帶的鑒別信息，從而有效地保留重要的圖像細節和抑制噪聲。Mb-SFF模塊由粗到精融合級間多尺度多頻帶特征和單一尺度下的多頻帶特征，同時保持了高頻帶與低頻帶信息的互補特性。最終，將多頻帶特征信息通過IDWT操作轉換為線性結構信息，重構出高質量的圖像。實驗結果表明，在合成噪聲和真實噪聲圖像數據集上，本文去噪方法的性能優于目前主流的去噪方法。

1 提出方法

本章提出了一種級聯離散小波多頻帶分解注意力（CDW-MDA）圖像去噪網絡。首先，整體介紹了網絡結構的數學模型和使用的損失函數，然后詳細描述了所提出的網絡中的多尺度級聯離散小波變換（MC-DWT）結構、多頻帶特征增強（Mb-FE）模塊、多頻帶分解注意力（Mb-DA）模塊以及多頻帶選擇特征融合（Mb-SFF）模塊。

1.1 CDW-MDA圖像去噪網絡結構

如圖1所示，CDW-MDA網絡采用編碼器-子網絡-解碼器的結構。在編碼器階段，將輸入的噪聲圖像進行級聯DWT和卷積塊操作，獲取四個尺度下的高低頻帶特征。本文采用DWT和IDWT代替U-Net中下采樣和上采樣操作，以減少下采樣操作造成的高頻信息損失。整個編碼器過程中的數學模型表達式如式（1）～（3）所示。

P1=F1Con（F1DWT（Iin））（1）

P2=F2Con（F2DWT（F1Con（F1DWT（Iin））））=F2Con（F2DWT（P1））（2）

Pn=FnCon（FnDWT（Pn－1）） n=1，…，4（3）

其中：Pn表示提取的第n級高頻子帶和低頻子帶特征圖;Iin∈RApH×W×C是輸入的噪聲圖像;H、W和C分別代表輸入圖像的高、寬和通道數;FnDWT（·）和FnCon（·）分別表示第n級DWT輸出和卷積塊輸出，根據實驗經驗，本文中n取4。

然后，將編碼器中提取到的不同尺度頻帶特征P1、P2 、P3 和P4分別送入子網絡中每一級的多頻帶特征增強（Mb-FE）模塊，增強全局-局部高低頻關鍵特征信息，抑制噪聲影響。隨后將增強的高頻子帶和低頻子帶特征圖送入多頻帶分解注意力（Mb-DA）模塊，捕捉分解的高低頻子帶中的關鍵細節，以充分提高空間域特征的冗余度和豐富度，從而有效地保留重要的圖像邊緣細節特征。Mb-FE的低噪聲特性可以使Mb-DA更好地捕捉圖像高低頻特征，Mb-DA的高低頻特征注意力可以幫助Mb-FE更好地區分噪聲和邊緣細節。本文在每一級的Mb-DA后疊加一個Mb-FE來構建子網絡，生成特征圖L1、L2、L3和L4。最后，將L1、L2、L3和L4送入多頻帶選擇特征融合（Mb-SFF）模塊融合多尺度高低頻帶特征，得到特征圖Of。整個子網絡的數學模型表達式如式（4）～（7）所示。

L1=F″Mb-FE（F1Mb-DA（F′Mb-FE（P1）））（4）

L2=F″Mb-FE（F2Mb-DA（F′Mb-FE（P2）））（5）

Ln=F″Mb-FE（FnMb-DA（F′Mb-FE（Pn）））（6）

Of=FMb-SFF（L1，…，L4）（7）

其中：F′Mb-FE（·）和F″Mb-FE（·）分別表示每一級的第一和第二次Mb-FE的輸出;FnMb-DA（·）表示第n級的Mb-DA的輸出;FMb-SFF（·）表示Mb-SFF操作;Of為輸出的特征圖。

在解碼器中，Of通過卷積塊和IDWT輸出得到預測殘差圖像Ires，將Ires和Iin相加就得到去噪后的圖像Iout。整個解碼器的數學模型表達如式（8）（9）所示。

Ires=F1IDWT（F1Con…（FnIDWT（FnCon（Of））））（8）

Iout=Ires+Iin（9）

其中：FnCon和FnIDWT分別表示第n級的卷積塊和IDWT操作;Ires是級聯卷積和IDWT后得到的殘差圖像;Iout為去噪后的輸出圖像。

為了提高CDW-MDA網絡在圖像去噪任務中的有效性，本文選擇L2損失來優化整個網絡。給定訓練集{Inoisy，Iclean}N包含N對噪聲圖像和相應的干凈圖像，CDW-MDA可以通過Adam［25］優化得到合適的參數，計算過程為式（10）

其中：L和Θ分別表示網絡的損失函數和參數集;HCDW-MDA（Inoisy）是CDW-MDA去噪網絡的數學表達式;Iclean為干凈圖像。

1.2 多尺度級聯離散小波變換（MC-DWT）結構

二維DWT可以將原始圖像Y分解為低頻子帶、水平高頻子帶 、垂直高頻子帶和對角線高頻子帶的組合，四個子帶圖像的像素尺寸是輸入圖像尺寸的一半，如圖2所示。本文使用由低通濾波器和高通濾波器組成的Haar小波［18］分解輸入圖像Y，如式（11）所示。

其中： fLL為低通濾波器; fLH、 fHL和fHH為三個高通濾波器。

由于四種濾波器的正交性，在下采樣過程中不會出現信息損失，這意味著利用IDWT可以完全重建目標圖像。二維DWT和IDWT的計算步驟如式（12）（13）所示。

FDWT（Y）=［fLL*Y）↓2，（fLH*Y）↓2，（fHL*Y）↓2，（fHH*Y）↓2］=

［YLL，YLH，YHL，YHH］（12）

Y=FIDWT（YLL，YLH，YHL，YHH）（13）

其中：FDWT（·）表示DWT計算;FIDWT（·）表示IDWT計算;*為卷積運算;↓2為二分降頻采樣。

本文使用Haar小波分解，將一個復雜的CNN訓練圖像去噪問題轉換為一個簡單的CNN訓練多個尺度小波子帶的問題。圖1展示了在每一級小波變換后插入一個3×3 conv+ReLU卷積塊，可以減少特征映射的通道數，并提高特征映射的帶間獨立性。每個卷積塊右側標注了通道數，且沒有池化。對于最后一個卷積塊的最后一層，僅采用3×3 conv對殘差結果進行預測。總之，MC-DWT結構取代了傳統U-Net中的上采樣和下采樣，從而避免了信息損失。DWT的時頻域逐步細分特性還有助于保留圖像細節和紋理信息。

1.3 多頻帶特征增強（Mb-FE）模塊

針對直接混合高低頻信息導致去噪效果不佳的問題，本文提出了一種多頻帶特征增強（Mb-FE）模塊，用于增強全局和局部的高低頻關鍵特征信息，并抑制噪聲影響。在CDW-MDA的每一級子網絡階段，重復使用兩次Mb-FE模塊。具體來說，Mb-FE模塊可以看作是一個雙支路四層殘差密集塊（residual dense block，RDB），前面每層的輸出使用跳躍連接與當前層的輸出相連，并輸入到下一層，以提高網絡的表達能力和性能。在Mb-FE高頻子帶支路中，采用小的3×3卷積核以更好地保留圖像細節信息，而在Mb-FE低頻子帶支路中，采用較大的5×5卷積核以獲取更多的上下文信息，從而更好地增強低頻特征。此外，每個卷積層都去除了批次歸一化 （batch normalization，BN）和池化，只保留了ReLU，以更好地保留細節特征。

如圖3所示，令Mb-FE模塊中高頻子帶和低頻子帶的特征輸入分別為P0H和P0L，高頻子帶特征圖在經過三層3×3 conv和ReLU運算后的特征圖分別為P1H、P2H和P3H，融合P1H后的局部特征圖為P4H，如式（14）所示。

P4H=conv［concat（P0H，P1H，P2H，P3H）］（14）

其中：concat（P0H，P1H，P2H，P3H）表示將特征圖P0H、P1H、P2H、P3H進行通道拼接;conv表示1×1卷積運算，用于融合局部特征。最終的輸出PoutH為融合后的局部特征圖P4H和高頻子帶輸入特征P0H進行逐像素相加，如式（15）所示。

PoutH=P0H+P4H（15）

同理，低頻子帶特征圖在經過三層5×5 conv和ReLU運算后的特征圖分別為P1L、P2L和P3L，融合P3L后的局部特征圖為P4L，如式（16）所示。

P4L=conv［concat（P0L，P1L，P2L，P3L）］（16）

其中：concat（P0L，P1L，P2L，P3L）表示將特征圖P0L、P1L、P2L、P3L進行通道拼接;conv表示1×1卷積運算，用于融合局部特征。最終的輸出PoutL為融合后的局部特征圖P4L和低頻子帶輸入特征P0L進行逐像素相加，如式（17）所示。

PoutL=P0L+P4L（17）

1.4 多頻帶分解注意力（Mb-DA）模塊

X=softmax（［FC（GAP（M［i，：，：，：］））］） i=1，2，3（19）

顯然，X是對M的注意力權重。最終的紋理特征如式（20）所示。

其中：⊙為點乘運算;c為向量的維度。

最終，通過將原始特征LL和生成的紋理特征拼接起來，以獲得更全面、更具區分性的輸出特征表示，如式（21）所示。

output features=concat（textural features，LL）（21）

1.5 多頻帶選擇特征融合（Mb-SFF）模塊

受文獻［13］的啟發，本文引入了一個非線性過程來融合多尺度特征，即多頻帶選擇特征融合（Mb-SFF）模塊，如圖5所示。與文獻［13］不同的是，本文是針對DWT分解的四個尺度下的子帶特征圖進行融合。Mb-SFF接收來自四個攜帶不同尺度子帶信息的輸入。首先將這些多尺度特征用一個元素級和組合表示，如式（22）所示。

L=L1+L2+L3+L4（22）

然后，在L的空間維度上進行全局平均池化（GAP），得到通道元素特征向量S。S經過一個1×1 conv和ReLU的卷積層生成一個緊湊的特征向量Z。Z通過四個并行的通道放大卷積層（每個尺度一個）得到四個特征描述子V1、V2、V3和V4，每個描述子的維度為1×1×C。應用softmax函數產生V1、V2、V3和V4對應的注意力激活算子S1、S2、S3和S4，這些激活算子用來自適應地重新校準多尺度特征L1、L2、L3和L4。特征重新校準和聚集以獲得輸出特征Of的計算過程，如式（23）所示。

Of=S1·L1+S2·L2+S3·L3+S4·L4（23）

2 實驗

2.1 訓練集與測試集

對于合成噪聲去噪任務，本文使用一個大型數據集DIV2K［26］作為訓練數據集，該數據集由800幅高分辨率圖像組成。在訓練過程中，大小為256×256的圖像補丁從其原始完整版本中隨機裁剪，并在圖像上添加特定噪聲水平（σ=15，25，50）的加性高斯白噪聲（AWGN）進行合成噪聲去噪評價。使用SeT12［6］和BSD68［27］數據集對灰度圖像進行去噪評價;選擇CBSD68［27］和McMaster［28］數據集對彩色圖像進行去噪評價。

對于真實圖像去噪任務，本文使用SIDD數據集［29］進行訓練，該數據集是由五部智能手機在室內捕捉不同的噪聲水平場景下采集的，包含320對圖像用于訓練，1 280對圖像用于測試。本文使用SIDD和DND數據集［30］對真實圖像去噪進行評價。在訓練和測試中，所有裁剪得到的補丁大小都是256×256。

2.2 實驗細節

CDW-MDA網絡使用的深度學習框架為PyTorch 1.8和CUDA 11.1，所有的實驗都是在Ubuntu 18.04.5版本，兩張NVIDIA GTX3080 GPU的環境下進行。真實噪聲訓練和合成噪聲訓練的批次大小為16，補丁大小為256。在訓練過程中，學習速率初始設置為1E-4，使用余弦退火策略［31］來穩定降低學習速率，并用L2損失和Adam優化器（β1=0.9，β2=0.999）來優化網絡參數。CDW-MDA網絡使用了四個不同的特征尺度，通道數分別為64、128、256和512，DWT分解級別為4，每一級別下的Mb-FE和Mb-DA數量分別為2和1。

2.3 評價指標

本文用峰值信噪比（peak signal-to-noise ratio，PSNR）和結構相似性（structural similarity，SSIM）［32］兩個指標來定量分析模型的去噪性能。PSNR越高，SSIM越接近1，表明去噪后的圖像更接近ground truth，模型去噪效果更好。PSNR和SSIM的公式為式（24）（25）

其中：W表示寬度;H表示高度;P（i， j）表示去噪圖像（i， j）位置處的像素值;K（i，j）表示ground truth圖像（i，j）位置處的像素值;μ1和μ2分別表示圖像K和P的均值;σ1和σ2分別表示圖像K和P的方差;σ1，2表示圖像K和P的協方差，且c1=0.01和c2=0.02為常數。

2.4 實驗結果與分析

2.4.1 灰度圖像去噪

為了進行客觀評價，將具有不同噪聲水平σ=15，25，50的相同噪聲AWGN添加到ground truth圖像中以獲得噪聲圖像。對于灰度圖像去噪，本文將CDW-MDA的實驗結果與一些最新的去噪方法進行了比較，包括BM3D［3］、WNNM［33］、DnCNN［6］、FFDNet［7］、DudeNet［34］、DeamNet［35］、APDNet［36］和 MACFNet［37］。表1展示了這些方法在Set12和BSD68數據集上平均PSNR結果。各表中加粗代表所列方法中的最優指標?？梢钥闯?，本文方法的定量結果多為最優或次優。在復雜噪聲下，本文模型優于所列圖像去噪方法，主要是因為CDW-MDA網絡架構能更深入地挖掘高頻信息。

圖6展示了來自Set12數據集中的圖像Barbara在σ=50下不同方法的視覺去噪結果對比，子圖題中數字表示PSNR。BM3D和WNNM在一定程度上保留了圖像的結構，但不能很好地去除噪聲。DnCNN和FFDNet使邊緣過于平滑，混淆了前景和背景。DeamNet和APDNet雖然去噪效果很好，但在去噪過程中紋理和細節保留的效果較差。相比之下，本文方法可以產生更清晰的桌布紋理細節，而且沒有產生模糊，恢復后的圖像保留了更多的紋理細節信息。

2.4.2 彩色圖像去噪

對于彩色圖像去噪，本文將CDW-MDA的實驗結果與一些最新的去噪方法進行了比較，包括CBM3D［3］、DnCNN、FFDNet、ADNet［38］、DudeNet、DeamNet、APDNet和MACFNet。表2展示了這些方法在CBSD68和McMaster數據集上的平均PSNR結果。可以看出，本文方法在McMaster數據集上取得了最好的結果，在三種不同的噪聲水平下，相較于DeamNet的PSNR增益分別為0.06 dB、0.09 dB和0.05 dB?？偟膩碚f，本文方法可以在大多數情況下獲得最高的PSNR，這是因為CDW-MDA網絡架構同時關注了圖像的全局和局部信息。

圖7展示了來自CBSD68數據集中的圖像在σ=50下不同方法的視覺去噪結果對比，從去噪圖像和放大局部圖可以看出，本文方法能夠在保持圖像特征紋理的同時降低噪聲。

2.4.3 真實噪聲圖像去噪

真實噪聲圖像的去噪是一個極具挑戰性的問題，因為真實噪聲通常具有信號依賴性，并且在空間上隨相機的特性而變化。為了評估本文方法對真實噪聲圖像的去噪性能，采用SIDD驗證數據集和DND基準數據集作為測試數據集。由于DND不提供可訓練的數據集，ground truth圖像也不公開，去噪后的圖像和結果只能通過在線系統獲得，所以本文將去噪圖像提交到DND官方網站以獲得結果。

本文將實驗結果與一些最新的去噪方法進行了比較，包括BM3D［4］、DnCNN［6］、FFDNet［7］、CBDNet［8］、RIDNet［9］、HI-GAN［39］、COLA-Net［40］、MHCNN［41］和VDIR［42］。在實驗中，本文使用相應原文提供的預訓練模型，并參考其在線系統和論文中報告的結果。表3顯示了SIDD驗證數據集上的定量結果，可以看出，本文方法在現有方法上獲得了最高的PSNR和SSIM值，與目前最好的方法相比，PSNR增益為0.06 dB，SSIM值提高了0.004。表4顯示了DND基準數據集上的定量結果，本文方法同樣獲得了最高的PSNR和SSIM值，與目前最好的方法相比，PSNR增益為0.09 dB，SSIM值提高了0.002。定量實驗結果表明，與其他七種去噪方法相比，本文CDW-MDA對于真實噪聲圖像具有更好的去噪性能。

圖8、9展示了來自SIDD數據集中不同方法的視覺去噪結果對比。傳統算法BM3D的視覺效果稍微優于DnCNN，但是兩者的去噪效果和邊緣信息保留能力有限。CBDNet和RIDNet的去噪效果有所提升，但是有殘余噪聲和偽影。相比之下，本文方法能在去除噪聲的同時保留更多的文字和白色條紋細節，因此具有更好的視覺效果。

圖10展示了來自DND數據集中不同方法的視覺去噪結果對比，由于石柱表面的雕刻凹凸不平，使圖像中的噪聲很難去除，上述方法都不能在去除噪聲和保留邊緣結構的問題上保持平衡。而本文方法可以更巧妙地恢復紋理和結構，并獲得更清晰的圖像。綜合實驗指標結果和視覺對比效果來看，本文方法在實際圖像去噪中具有一定優勢。

2.4.4 消融實驗

本文在McMaster數據集（σ=25）上進行消融實驗來驗證所提出模塊的有效性，結果如表5所示。首先，使用傳統的具有跳連接的編碼器-解碼器網絡結構（encoder-decoder，ED）作為基準網絡，即不將圖像分解為不同頻率的特征，而是從整個圖像中提取特征。MC-DWT是CDW-MDA中的關鍵結構，如果沒有此結構，專為高頻和低頻特征設計的Mb-FE和Mb-DA模塊就會失效。由實驗1可知，基準網絡結果最差，實驗2在實驗1的基礎上加入MC-DWT結構，整體性能有所提升，獲得了0.11 dB增益。對比實驗3～6可知，Mb-FE、Mb-DA、Mb-SFF分別獲得了0.25 dB、0.32 dB、0.16 dB的增益，說明這三個模塊都可以提高去噪性能。由實驗6可得，組合Mb-FE、Mb-DA和Mb-SFF相較于基準網絡獲得了1.4 dB的增益，并且達到了最佳的去噪效果。

為了驗證網絡結構中DWT分解級別參數n和有無BN層情況下模型的去噪性能，本文在Set12數據集（σ=25）進行組合消融實驗，結果如表6所示。由表6可得，當網絡結構中無BN層且n為4時，取得了最高的PSNR和SSIM值。在n取值相同下，無BN層的PSNR和SIMM值比有BN層平均分別高出0.026 dB、0.002，這是因為BN通常對每個通道進行歸一化，會導致去噪模型過度平滑圖像，從而損失一些邊緣細節信息。在無BN層的情況下，n=4時的PSNR和SSIM值比n=3和n=5分別高出0.06 dB/0.002、0.14 dB/0.003，而在有BN層的情況下，n=4時的PSNR和SSIM值比n=3和n=5分別高出0.05 dB/0.003、0.14 dB/0.005。從以上消融實驗結果可知，參數n的選取對于模型的去噪性能影響更大，n越大時導致圖像的低頻信息更多地參與重構，產生過度平滑的結果，從而導致模型的去噪性能下降。同時，較大的分解級數也會增加模型的復雜度和計算開銷。因此，實驗中選擇參數n=4且無BN層作為模型的初始設置。

3 結束語

本文基于DWT在圖像去噪中的應用，提出了一種用于圖像去噪的級聯離散小波多頻帶分解注意力（CDW-MDA）網絡。由于MC-DWT的結構設計引入DWT，能減少一般下采樣造成的頻率信息損失，Mb-FE用于增強高頻和低頻的關鍵特征信息，Mb-DA關注不同頻帶分量的特征，可以在強噪聲下的復雜場景中還原更豐富的紋理細節，Mb-SFF的融合機制充分利用了級間的多尺度高低頻特征，提高了模型對于不同尺度噪聲的去除能力。實驗結果表明，CDW-MDA 在PSNR/SSIM性能指標以及視覺效果方面相比現有的方法更優，在去噪效果和細節保留之間有著更好的平衡。未來的研究將致力于模型泛化能力更強、更輕量級的網絡以提高模型的實際應用價值，并拓展到其他圖像去模糊和圖像超分辨等低級視覺任務中。

參考文獻：

[1]張繪娟，張達敏，閆威，等.基于改進閾值函數的小波變換圖像去噪算法［J］.計算機應用研究，2020，37（5）：1545-1548，1552.（Zhang Huijuan， Zhang Damin， Yan Wei， et al. Wavelet transform image denoising algorithm based on improved threshold function［J］.Application Research of Computers，2020，37（5）：1545-1548，1552.）

［2]王科俊，熊新炎，任楨.高效均值濾波算法［J］.計算機應用研究，2010，27（2）：434-438.（Wang Kejun， Xiong Xinyan， Ren Zhen. Highly efficient mean filtering algorithm［J］.Application Research of Computers，2010，27（2）：434-438.）

［3]Dabov K， Foi A， Katkovnik V， et al. Image denoising by sparse 3D transform-domain collaborative filtering［J］.IEEE Trans on Image Processing，2007，16（8）：2080-2095.

［4]邢遠秀，李軍賢，王文波，等.基于非局部自相似序列集的一類視頻圖像盲去噪算法［J］.電子學報，2021，49（8）：1498-1506.（Xing Yuanxiu， Li Junxian， Wang Wenbo， et al. Blind video image denoising based on nonlocal self-similarity series sets［J］.Acta Electronica Sinica，2021，49（8）：1498-1506.）

［5]李小利，楊曉梅，陳代斌.基于塊和低秩張量恢復的視頻去噪方法［J］.計算機應用研究，2017，34（4）：1273-1276，1280.（Li Xiaoli， Yang Xiaomei， Chen Daibin. Patch-based video denoising using low-rank tensor recovery［J］.Application Research of Computers，2017，34（4）：1273-1276，1280.）

［6]Zhang Kai， Zuo Wangmeng， Chen Yunjin， et al. Beyond a Gaussian denoiser： residual learning of deep CNN for image denoising［J］.IEEE Trans on Image Processing，2017，26（7）：3142-3155.

［7]Zhang Kai， Zuo Wangmeng， Zhang Lei. FFDNet： toward a fast and flexible solution for CNN-based image denoising［J］.IEEE Trans on Image Processing，2018，27（9）：4608-4622.

［8]Guo Shi， Yan Zifei， Zhang Kai， et al. Toward convolutional blind denoising of real photographs［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：1712-1722.

［9]Anwar S， Barnes N. Real image denoising with feature attention［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：3155-3164.

［10]Liu Yang， Qin Zhenyue， Anwar S， et al. Invertible denoising network：a light solution for real noise removal［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：13365-13374.

［11]Neshatavar R， Yavartanoo M， Son S， et al. CVF-SID：cyclic multi-variate function for self-supervised image denoising by disentangling noise from image［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：17583-17591.

［12]Chen Haoyu， Gu Jinjin， Liu Yihao， et al. Masked image training for generalizable deep image denoising［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2023：1692-1703.

［13]Zamir S W， Arora A， Khan S， et al. Learning enriched features for fast image restoration and enhancement［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2022，45（2）：1934-1948.

［14]Hu Jie， Shen Li， Sun Gang. Squeeze-and-excitation networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：7132-7141.

［15]Woo S， Park J， Lee J Y， et al. CBAM： convolutional block attention module［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：3-19.

［16]尹海濤，鄧皓.基于混合注意力的對偶殘差去噪網絡［J］.激光與光電子學進展，2021，58（14）：139-148.（Yin Haitao， Deng Hao. Dual residual denoising network based on hybrid attention［J］.Laser & Optoelectronics Progress，2021，58（14）：139-148.）

［17]Qin Zequn， Zhang Pengyi， Wu Fei， et al. FcaNet： frequency channel attention networks［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：783-792.

［18]Shensa M J. The discrete wavelet transform： wedding the a trous and Mallat algorithms［J］.IEEE Trans on Signal Processing，1992，40（10）：2464-2482.

［19]Sun Jieqi， Li Yafeng， Zhao Qijun， et al. Cascade wavelet transform based convolutional neural networks with application to image classification［J］.Neurocomputing，2022，514：285-295.

［20]Liu Pengju， Zhang Hongzhi， Zhang Kai， et al. Multi-level wavelet-CNN for image restoration［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2018：773-782.

［21]Ronneberger O， Fischer P， Brox T. U-Net：convolutional networks for biomedical image segmentation［C］//Proc of International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin：Springer，2015：234-241.

［22]徐景秀，張青.改進小波軟閾值函數在圖像去噪中的研究應用［J］.計算機工程與科學，2022，44（1）：92-101.（Xu Jingxiu， Zhang Qing. Research and application of an improved wavelet soft threshold function in image denoising［J］.Computer Engineering & Science，2022，44（1）：92-101.）

［23]陳清江，石小涵，柴昱洲.基于小波變換與卷積神經網絡的圖像去噪算法［J］.應用光學，2020，41（2）：288-295.（Chen Qingjiang， Shi Xiaohan， Chai Yuzhou. Image denoising algorithm based on wavelet transform and convolutional neural network［J］.Journal of Applied Optics，2020，41（2）：288-295.）

［24]Duan Yiping， Liu Fang， Jiao Licheng， et al. SAR image segmentation based on convolutional-wavelet neural network and Markov random field［J］.Pattern Recognition，2017，64：255-267.

［25]Kingma D P， Ba J. Adam：a method for stochastic optimization［EB/OL］.（2014-12-22）.https：//arxiv.org/pdf/1412.6980.pdf.

［26]Agustsson E， Timofte R. Ntire 2017 challenge on single image super-resolution： dataset and study［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2017：126-135.

［27]Martin D， Fowlkes C， Tal D， et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2001：416-423.

［28]Zhang Lei， Wu Xiaolin， Buades A， et al. Color demosaicking by local directional interpolation and nonlocal adaptive thresholding［J］.Journal of Electronic Imaging，2011，20（2）：023016.

［29]Abdelhamed A， Lin S， Brown M S. A high-quality denoising dataset for smartphone cameras［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：1692-1700.

［30]Plotz T， Roth S. Benchmarking denoising algorithms with real photographs［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1586-1595.

［31]Loshchilov I， Hutter F. SGDR： stochastic gradient descent with warm restarts［EB/OL］.（2016-08-13）.https：//arxiv.org/pdf/1608.03983.pdf.

［32]Setiadi D R I M. PSNR vs SSIM：imperceptibility quality assessment for image steganography［J］.Multimedia Tools and Applications，2021，80（6）：8423-8444.

［33]Gu Shuhang， Zhang Lei， Zuo Wangmeng， et al. Weighted nuclear norm minimization with application to image denoising［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2014：2862-2869.

［34]Tian Cunwei， Xu Yong， Zuo Wangmeng， et al. Designing and trai-ning of a dual CNN for image denoising［J］.Knowledge-Based Systems，2021，226：106949.

［35]Ren Chao， He Xiaohai， Wang Chuncheng， et al. Adaptive consistency prior based deep network for image denoising［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscata-way，NJ：IEEE Press，2021：8596-8606.

［36]Jiang Bo， Lu Yao， Wang Jiahuan， et al. Deep image denoising with adaptive priors［J］.IEEE Trans on Circuits and Systems for Vi-deo Technology，2022，32（8）：5124-5136.

［37]Yu Jiaolong， Zhang Juan， Gao Yongbin. MACFNet： multi-attention complementary fusion network for image denoising［J］.Applied Intelligence，2023，53：16747-16761.

［38]Tian Chunwei， Xu Yong， Li Zuoyong， et al. Attention-guided CNN for image denoising［J］.Neural Networks，2020，124：117-129.

［39]Vo D M， Nguyen D M， Le T P， et al. HI-GAN：a hierarchical gene-rative adversarial network for blind denoising of real photographs［J］.Information Sciences，2021，570：225-240.

［40]Mou Chong， Zhang Jian， Fan Xiaopeng， et al. COLA-Net：collaborative attention network for image restoration［J］.IEEE Trans on Multimedia，2021，24：1366-1377.

［41]Zhang Jiahong， Qu Meijun， Wang Ye， et al. A multi-head convolutional neural network with multi-path attention improves image denoi-sing［C］//Proc of Pacific Rim International Conference on Artificial Intelligence.Berlin：Springer，2022：338-351.

［42]Soh J W， Cho N I. Variational deep image restoration［J］.IEEE Trans on Image Processing，2022，31：4363-4376.