基于人眼視覺感知特性的自適應雙邊濾波算法

張有航

（北京航空航天大學 機械工程及其自動化學院，北京 100191）

0 引言

圖像噪聲是存在于圖像數據中的不必要的或多余的隨機性干擾信息，這些噪聲信息會不同程度的影響人眼觀看以及圖像分析應用。常見的噪聲基本有高斯噪聲、椒鹽噪聲[1]、泊松噪聲[2]等。針對高斯、椒鹽等圖像噪聲，典型的去噪方法包括均值濾波、中值濾波、高斯濾波等。均值濾波算法計算簡單，速度快，但會使圖像模糊，特別是景物的邊緣和細節部分。高斯濾波算法對于高斯噪聲圖像能保留一定圖像細節特征，但也會造成圖像一定程度上的模糊。中值濾波對椒鹽噪聲處理效果較好，對高斯噪聲的抑制效果一般。雙邊濾波算法既考慮了參與濾波像素的距離因素，也考慮到了像素值差異，是一種改進的邊緣保護性濾波方法。除了典型的基本濾波方法之外，針對椒鹽噪聲，文獻[3]基于中值濾波對椒鹽噪聲去噪效果較好，小波變換對高斯噪聲處理中效果較好，將二者結合起來，綜合二者的優點，比單一方法去噪效果要好。另外，文獻[4]針對泊松核噪聲提出改進的雙邊濾波算法。然而，在實際生活中，由于大部分圖像噪聲是高斯噪聲，因此本文主要針對高斯噪聲進行圖像去噪處理。

目前針對視頻的高斯噪聲，文獻[5]提出了基于運動補償的自適應時域視頻降噪算法。該方法通過運動補償技術，在時域上跟蹤最匹配的運動區域并提取噪聲，并實現濾波的強度根據物體的運動強度自適應變化。實驗效果在保護邊緣和細節，提高PSNR（Peak Signal to Noise Ratio，峰值信噪比）方面更具有優勢。而文獻[6]中不僅引入了運動估計算法、自適應濾波強度機制，而且同時引入時域濾波方法和空域濾波方法。該方法在運動強度較小時進行時域濾波，運動強度過大時，進行空域濾波。因而該算法在自適應性上更強。文獻[7]面向高效能的濾波需求，提出快速雙邊濾波算法，在處理速度上具有顯著優勢，不過會導致一定的算法性能損失。

以上算法雖然有各自的優點，但是它們都具有一定的不足。一方面，它們都是基于整幅圖像進行去噪濾波，沒有考慮到圖像不同區域內容差別。這意味著，整幅圖像使用相同的濾波參數，可能會導致有的區域濾波多而產生模糊，反之另外的區域可能濾波不足而噪聲去除不干凈。另一方面，這些去噪方法沒有考慮到人眼的視覺特性HVS（Human Visual System，人眼視覺特性），即濾波后的結果未必是能夠取得較好的人眼感知質量。事實上，在圖像處理領域中，人眼是大多數被處理圖像的最終接收器，因此有必要從視覺角度出發構建人眼視覺模型，并應用于圖像降噪中以獲取更好的主觀濾波效果。為解決以上算法的不足，本文提出一種符合人眼的視覺特性的圖像降噪算法。特別地，本文提出了基于JND（Just Noticeable Difference）模型的自適應雙邊濾波算法。該方法一方面考慮到以互相不重疊的圖像塊為單位進行濾波，充分體現不同區域內容的特性不同。另一方面，本方法計算每個圖像塊的JND值，用于充分考慮各區域人眼視覺感知的失真程度。基于以上方法，本文將JND值用于自適應地決定雙邊濾波的權重，實現了基于感知的圖像自適應雙邊濾波算法。實驗結果表明相比于傳統的雙邊濾波算法，本文的自適應感知雙邊濾波算法在PSNR和SSIM（Structural Similarity，結構相似性）有了很大的提升，同時去噪后的圖像主觀質量也有顯著的改進。

1 傳統雙邊濾波方法

傳統雙邊濾波是一種非線性濾波器，它可以達到保持邊緣、降噪平滑的效果。雙邊濾波采用加權平均的方法，用當前待濾波的像素周邊像素亮度值的加權平均值獲取最終的濾波像素。在雙邊濾波過程中，每個參與加權濾波像素的權重不僅考慮了既考慮了參與濾波像素的距離因素，也考慮到了像素值差異。即總權重分為值域權重和空域權重。在平坦區域，像素差值較小，對應值域權重接近于1，此時空域權重起主要作用，相當于直接對此區域進行高斯模糊，在邊緣區域，像素差值較大，值域系數下降，導致此處濾波權重下降，當前像素受到的影響就越小，從而保持了邊緣的細節信息。

具體來說，雙邊濾波的濾波核由兩部分乘積組成：空域核與值域核。兩個濾波核通常都采用高斯函數形式。

對于以像素q為濾波中心的窗口，某一參與濾波的像素點p在雙邊濾波過程中的權重如下：

其中：Gr為p點值域權重，Gs為p點空域權重，G（p）為p點總權重。Ip為p點像素值，Iq為p點像素值，σr為值域高斯函數的標準差。σs為空域高斯函數的標準差。

根據式（3），對于像素p的濾波結果BF（p）計算方法如下：

雖然從式（4）可以看出，雙邊濾波考慮到了保護像素邊緣的行為。但是，本質上雙邊濾波由兩個高斯濾波核構成，即意味著它實際上也具有高斯濾波的性質，即當噪聲強度較大或者濾波強度過大時，圖像濾波難免會變的模糊。此外，雙邊濾波只是從像素值差異角度來看邊緣，并沒有沒考慮到圖像不同區域內容特性，也沒有考慮到人眼的視覺感知特性，濾波后的結果未必是能夠取得較好的人眼感知質量。

2 基于感知的雙邊濾波方法

2.1 JND模型概述

在圖像處理領域，JND可以用來度量人眼對圖像中不同區域失真的敏感性，本文同樣采用JND模型指導雙邊濾波。

在JND模型中，主要基于兩個關鍵因素建立感知失真模型，包括LA（Luminance adaptation，亮度自適應，指HVS對背景亮度的掩蔽效應）和CM（contrast masking，對比度掩蔽，指另一個視覺信號出現時，一個視覺信號的能見度降低的現象）。

首先，對亮度自適應產生的掩蔽效應程度LA計算方法如下：

其中：（x，y）為像素位置，f（x，y）為（x，y）處背景亮度。

其次，由于人類視覺系統的熵掩蔽特性，在計算對比掩蔽效應時，需要區分由邊緣掩蔽和紋理掩蔽造成的對比掩蔽導致的結果。事實上，通常噪聲在空間內容信息變化大的區域不容易明顯被感知到，反之在光滑和強結構區域更容易明顯被察覺。這是由于人類大腦在處理同時發生的復雜現象時的局限性，即由于觀察者對視覺內容不熟悉，紋理和結構區域會導致熵掩蔽。所以，文獻[8]提出了一種基于新的對比掩蔽估計算法的增強像素域JND模型，由邊緣掩蔽和紋理掩蔽分別產生的EMu和TMv兩方面構成的掩蔽程度值CM，計算公式如下，

其中：u指結構圖像，v指紋理圖像，EMu為結構圖像中的邊緣掩蔽，TMv為紋理圖像中的紋理掩蔽，Cs為5×5鄰域的最大亮度差，We和Wt用于反映邊緣掩蔽和紋理掩蔽對人眼影響程度的不同，分別被設置為1和3。常數β根據經驗值設置為0.117。

根據以上亮度掩蔽效應結果和對比掩蔽效應結果，最終每個像素的JND值計算如下：

其中：CIc代表兩種掩蔽效應產生的重疊掩蔽影響程度，即實際的掩蔽效果需要考慮到兩者綜合影響結果。在文獻[12]的NAMM模型中設置為0.3。

2.2 基于塊的感知雙邊濾波

傳統濾波算法都是基于整幅圖像進行去噪濾波，并沒有考慮到圖像不同區域內容差別。這意味著，整幅圖像使用相同的濾波參數，可能會導致有的區域濾波多而產生模糊，而另外的區域可能濾波不足而噪聲去除不干凈。因此本文采用基于塊方法進行濾波，將塊大小定義為N×N，不同的塊區域會有不同的濾波參數，圖像去噪效果更好。同時將每個塊的JND方差用于指導其濾波強度，整個算法過程流程圖如圖1所示。

圖1 本文所提出算法流程圖

首先，在濾波之前需要估計圖像級別的平均噪聲強度。所以，本文對于每個N×N塊的像素求方差，并進行從小到大的排序，將前10%的方差均值作為圖像的噪聲強度σ02。

其次，通過2.1節中的JND模型可以計算出圖像每個像素點的JND值，由此可進行每個塊的JND方差的計算：

基于初始幀級的噪聲強度σ02以及當前塊的JND方差，對當前塊，本文定義基于感知的雙邊濾波值域權重為：

從式（10）可以看出，本文考慮到當噪聲強度比較小的時候，部分區域內容可能比較復雜，導致JND較大，進而可能產生濾波過度的情況。因此，本文取圖像噪聲強度σ02跟每個塊區域內的JND方差最小值作為值域濾波強度。在本實驗中w取3，σjnd_r最小值設為0.1，由此得到值域高斯函數的標準差σjnd_r，并更新值域權重Gjnd_r，如下：

除此之外，在本方法中，空域權重計算方法與初始雙邊濾波方法一致，默認不變。因此，將值域權重更新為本文基于感知的值域權重模型后，與空域權重相乘得到最終權重Gjnd（p）。如第2節所示，將得到的最終權重值代入雙邊濾波中進行基于塊和感知的圖像濾波得到最終結果如下：

3 實驗結果

為驗證本文提出的感知雙邊濾波算法性能和效果，本實驗選用圖像Lena和Barboon并在MATLAB2018a進行測試。每一測試圖像分別使用MATLAB進行添加高斯噪聲，包括高斯噪聲強度σn2為25、30、35、40、45共五個噪聲水平。實驗分別使用本文提出的符合人眼視覺感知特性的自適應雙邊濾波器與傳統默認雙邊濾波器對這幾幅灰度圖像進行濾波處理進行對比。需要說明的是，本實驗中將濾波窗口大小設置為5×5，塊大小為16×16。

本實驗采用了512×512的Lena和Baboon圖像，使用PSNR和SSIM對兩種濾波方法進行評價。PSNR越大，表示圖像的失真程度越小，細節保留的更完整。另外，SSIM是衡量兩幅圖像相似度的指標，其范圍從0到1，當兩張圖像完全一樣時，SSIM值為1。通過各表可以看到，Lena圖像和Baboon圖像在各個噪聲水平上，采取本文方法的PSNR和SSIM值均大于傳統雙邊濾波算法，尤其是SSIM能高出30%，有明顯的提升效果。比如，對于Lena圖像中，本文方法濾波結果的PSNR值和SSIM值提升幅度可達7.20 dB和0.280，而對于Baboon圖像中，PSNR值和SSIM最多增益可以達到5.78dB和0.221。

進一步的，如圖2和圖3所示，本文隨機選擇了測試圖像的不同噪聲強度下的去噪結果展示濾波的主觀效果。可以看到通過對比兩幅圖像噪聲圖和使用兩種濾波方法后的圖像，不論時低噪聲強度還是高噪聲強度，本文所提出的濾波方法，可以明顯相比于傳統雙邊濾波算法。本文算法處理的圖像中噪聲點大幅減少，邊緣細節、輪廓保留比較清晰完整，在視覺效果上非常具有優勢。因此本文提出的濾波算法要優于傳統雙邊濾波算法。

圖2 Lena圖像高斯噪聲強度σn2為25

圖3 Baboon圖像高斯噪聲強度σn2為45

綜上，本文在客觀和主觀都取得了顯著的性能增益和改善，可以說明本文提出的符合人眼視覺感知特性的自適應雙邊濾波算法要優于傳統的雙邊濾波算法。

4 結論

本文從人眼視覺角度出發，同時考慮圖像內容的不同區域特性，引用JND模型和塊級濾波方法，提出一種符合人眼視覺感知特性的自適應雙邊濾波算法。實驗結果表明，本文方法可以從主觀和客觀兩方面都取得較好的實驗結果。在未來我們會考慮根據視頻圖像不同區域內容，研究自適應調整空域濾波權重以及濾波窗口的大小的方法，從而進一步改善圖像去噪效果。