權值動態化約束的跨模態非局部均值濾波器*

蔡郁青 孫忠貴

(1.聊城大學季羨林學院,山東聊城 252000;2.聊城大學數學科學學院,山東聊城 252000)

0 引言

數字圖像的應用已經滲透到生物醫學[1-2]、信息科學[3]、交通運輸[4-5]、航空航天[6]、氣象預測[7]、工業[8]、農業[9]等各個生活領域與行業。然而,由于受成像設備、環境和傳輸條件的限制,現有的圖像獲取過程難免會受到噪聲的影響,從而使成像質量下降,并給后續的圖像識別、分析、檢測等任務帶來挑戰。

近年,非局部均值濾波器(NLM)[10]因其優良的去噪性能吸引了越來越多研究者的關注。與傳統去噪算法相比,NLM濾波器主要有兩個方面的改進:(1)將濾波窗由局部拓展至非局部,更好地利用了圖像的周期性;(2)像素間的相似性計算通過其所在的圖像片,增強了算法對噪聲的魯棒性。NLM濾波器已被廣泛的應用于圖像去噪[11-15]、圖像超分辨、視頻增強等多個領域。

借助不同成像設備,可獲取同一目標多種模態的圖像[16],我們將其稱為多模態圖像。這些模態可以是可見光、近紅外等,它們從不同角度描述同一目標的不同統計信息,從而具有互補性。自然,如何在不同模態之間進行跨模態處理,已成為近年圖像處理的一個研究熱點[17-19]。本文重點對傳統的非局域均值濾波器算法進行改進,借助結構相似性度量,對濾波器權值施加動態正則化約束,從而將其應用范圍由單模態推廣至跨模態。本文將所得到新型濾波器稱為權值動態正則化約束的跨模態非局部均值濾波器(Non-local Means for Cross-modal Filtering Based on Dynamic-regularized Weights,NLM-CMDW)。相對于傳統的NLM濾波器,本文所提NLM-CMDW濾波器的優點主要體現在兩個方面:一方面,濾波器中核權值的獲取在較為可靠的模態上進行,使其更為可信。另一方面,引入相關系數進行不同模態間的結構相似性度量[20]并將其用于濾波器權值的動態正則化約束,在一定程度上避免濾波輸出的紋理復制現象。實驗的視覺效果與量化指標均表明,本文所提算法在實現跨模態去噪的同時有效避免了紋理復制現象。

1 理論基礎

1.1 NLM算法

NLM算法的基本原理是設定的相似窗在搜索窗中移動以獲取領域的相似性,再根據鄰域的相似性來確定像素的濾波權值。相似窗與搜索窗的關系圖如圖1所示。

假設Y為含噪圖像,X為原始(無噪聲)圖像,即要恢復的目標;圖像大小為N×N;搜索窗大小為S×S,其半窗寬度記為D;相似窗大小為L×L,其半窗寬度記為d。NLM算法主要實驗過程如下。

首先,計算鄰域塊之間高斯加權的歐式距離d(i,j)。d(i,j)值越小,圖像塊之間的相似度越大,反之,相似度越小。

式中:Yi和Yj分別為搜索窗內以i和j為中心像素點的圖像塊;α為高斯核向量;h為濾波參數。

其次,根據(1)式中所求的高斯加權的歐式距離,確定相似塊的權值,相似度越大,則權值越大。

式中:C(i)為歸一化因子,將w(i,j)都處理到[0,1]之間。

式中:Y(j)表示圖像中第j個像素的值。

1.2 Pearson相關系數

Pearson相關系數,是一種統計學方法,主要用于定量衡量隨機變量之間的線性關系,在本文改進算法中,我們將使用該統計量來進行不同模態間的結構相似性度量。Pearson相關系數輸出范圍一般在[-1,1],其中負值表示為負線性相關,正值為正線性相關,0則表示兩個隨機變量之間無相關性。

式中:cov(x,y)為x、y的協方差;μx和μy表示為x,y均值;σx和σy分別表示為x、y的標準差;E(x)和E(y)分別表示x、y的期望。

2 NLM算法改進

本文提出了一種基于結構相似性度量的跨模態NLM算法,在其傳統NLM算法的基礎上,實現了跨模態場景應用,并引入相關系數來度量引導圖像與目標圖像的結構差異,從而有效避免了紋理復制現象,我們的改進主要體現在兩個方面:(1)對傳統NLM算法進行跨模態實現;(2)引入Pearson相關系數避免紋理復制現象。本文算法的流程圖如圖2所示:

圖2 NLM-CMDW流程圖Fig.2 NLM-CMDW Flowchart

2.1 跨模態NLM算法(NLM-CM)的初步實現

傳統的NLM算法可以使去噪后圖像更好地保持紋理、邊緣等細節部分,但其不能實現跨模態操作,受雙邊濾波器的啟發,本文對傳統的NLM算法進行跨模態拓展。相對于當前待處理的含噪模態Y,我們選用一個更為可靠的模態Z進行權值的計算,并將相應的權值表示為w(i,j):

式中:Zi和Zj分別為彩色圖像搜索窗內以i和j為中心像素點的圖像塊。

2.2 基于相關系數的權值動態正則化約束

由文獻[21],公式(6)中的權值可解釋為下面公式(7)所定義的優化問題:

由上式可以看出,對所有權值我們施加了參數恒為h2的香農熵正則化約束。然而實際中,引導圖像Z和輸入圖像Y的結構可能存在差異。由于這種差異的存在,若直接采用公式(6)算法進行跨模態濾波,勢必導致紋理復制現象,即引導圖像中的紋理被錯誤地復制到濾波輸出中。這促使我們根據兩幅圖像的紋理一致程度不同對權值施加動態正則化約束。具體實現時將h2改進為一個基于圖像間結構性相似性的自適應正則化參數λ,即:

其中ρ(Zj,Yj)代表圖像塊Zj和Yj相關系數;為防止分母為零,引入參數β(在本文經驗取值為0.006)。顯然當ρ(Zj,Yj)越小,即兩圖片紋理越不一致時,λ越大,從而使相應信息熵變大,權值分散,從而降低當前像素對中心像素的影響;反之,即兩圖片紋理一致時本文的動態正則化會增強當前像素對中心像素的影響。

為對動態正則化問題進行優化求解,構造如下拉格朗日函數:

故有:

因此:

基于上述權值本文所得到的權值動態正則化約束的跨模態非局部均值濾波器(NLM-CMDW)模型如下:

3 實驗

為測試所提NLM-CMDW濾波器的性能,本文在Reindeer與Book兩組經典深度與彩色的跨模態圖像上進行實驗。彩色圖像相對應的灰度圖像為引導圖像,深度加噪圖像為輸入圖像。高斯噪聲的不同污染程度即標準方差由10到50。所有算法的搜索窗大小均為7×7,相似片大小均為3×3。分別從主觀視覺效果、客觀峰值信噪比(Peak Signal to Noise Ration, PSNR)以及結構相似性度量(Structural Similarity Index Measurement,SSIM)三方面對實驗結果進行評價。所有算法均在MATLAB R2017a中實現,并在一臺配置為Intel(R) Core(TM) i7-8750U CPU@2.20GHz2.21GHz,內存為8GB的PC中執行,且各算法中的參數如表1,表2所示。

表1 馴鹿(Reindeer)場景圖三種算法的實驗對比指標Tab.1 Experimental comparison index of reindeer scene chart

表2 書(book)場景圖三種算法的實驗對比指標Tab.2 Experimental comparison index of three algorithms for book scene graph

3.1 客觀指標對比

從實驗結果可以看出本文的算法在PSNR和SSIM兩個指標上都要優于傳統的NLM算法以及跨模態NLM算法(NLM-CM)。

3.2 主觀視覺效果對比

如圖2,圖3的(d)所示,使用傳統NLM算法進行修復后的圖像較為渾濁,然而使用改進后的跨模態非均值濾波器算法后的結果圖(圖3,圖4的(e))則較為清晰,但是由于其忽略了圖像間的結構差異性,將彩色圖像中未出現在深度圖像的結構傳遞到了濾波輸出中,產生了紋理復制現象。與此相反,如圖3,圖4的(f)所示,本文所提算法能夠在相關系數的幫助下能夠自適應篩選與深度圖像相一致的彩色圖像結構對其進行指導,從而避免了紋理復制。

圖3 彩色-深度圖像修復Fig.3 Color-depth image restoration

圖4 彩色-深度圖像修復Fig.4 Color-depth image restoration

4 結語

本文將經典NLM濾波器的應用由單一模態推廣到跨模態場景,并通過對權值施加不同的正則化約束,所提NLM-CMDW濾波器有效克服了傳統引導濾波紋理復制的缺陷。主觀與客觀實驗結果均表明了所提算法的有效性。然而,應當指出,與經典NLM算法類似,本文算法亦有較大的運算復雜度,如何對其進一步加速,這是下一步值得探索的工作。將所提濾波器推廣到圖像增強之外的像分割等其他跨模態應用場景,也在值得今后工作中進行嘗試。