多模圖像聯(lián)合非局部濾波快速算法

楊元琴， 魏　寧， 董方敏

(湖北省水電工程智能視覺監(jiān)測重點(diǎn)實(shí)驗(yàn)室(三峽大學(xué))，湖北 宜昌 443002)

多模圖像聯(lián)合非局部濾波快速算法

楊元琴， 魏寧， 董方敏

(湖北省水電工程智能視覺監(jiān)測重點(diǎn)實(shí)驗(yàn)室(三峽大學(xué))，湖北 宜昌 443002)

提出一種新的基于非局部均值的多模圖像濾波方法。在該方法中，對于噪聲圖像濾波采用非局部均值方法，其中對于噪聲圖像塊之間灰度相似測度權(quán)重由另一幅圖像引導(dǎo)計算。實(shí)驗(yàn)結(jié)果表明，該方法比基于局部的圖像去噪方法如雙邊濾波算法有更好地去噪效果。通過構(gòu)造聯(lián)合積分圖像對提出算法進(jìn)行加速，與原始算法相比其顯著提速兩個數(shù)量級，加速算法的復(fù)雜度不受濾波器大小影響，易于在并行系統(tǒng)中實(shí)現(xiàn)。

圖像去噪；聯(lián)合雙邊濾波；非局部濾波；積分圖像

圖像在獲取、傳輸和記錄過程中不可避免地要受到各種噪聲信號的干擾。在圖像處理與計算機(jī)視覺領(lǐng)域，圖像去噪是一項(xiàng)重要、基本的研究課題。去除圖像噪聲能提高圖像視覺質(zhì)量，是圖像后續(xù)處理的前提，另外，圖像去噪的方法在理論上與其他圖像處理有著緊密的聯(lián)系，研究圖像去噪方法有一定的理論價值和實(shí)際意義。

多模圖像是指對同一目標(biāo)在不同條件(不同時間、不同傳感器等)下獲得的兩幅或者兩幅以上的圖像，如對同一人體器官通過計算機(jī)斷層成像(computer tomograph，CT)和核磁共振成像(magnetic resonance imaging，MRI)所產(chǎn)生的圖像；對同一場景進(jìn)行拍攝時帶閃光燈和不帶閃光的圖像；用不同波段的成像設(shè)備獲取的遙感圖像等等。多模圖像一方面可以反映不同空間結(jié)構(gòu)信息形成、信息互補(bǔ)，另一方面圖像之間存在著空間位置上的高度相關(guān)性可以方便對成像內(nèi)容的結(jié)構(gòu)進(jìn)行深入分析。但多模圖像由于受到成像帶寬的限制，往往在有些波段的圖像會存在較大的噪聲干擾。多模圖像聯(lián)合去噪就是用噪聲較小模態(tài)的圖像信息來指導(dǎo)噪聲較大模態(tài)的圖像進(jìn)行濾波處理。

多模圖像聯(lián)合去噪的方法基本都是以傳統(tǒng)圖像去噪方法作為基礎(chǔ)進(jìn)行改進(jìn)而得到。傳統(tǒng)的基于空間域圖像去噪方法大致可以分為局部方法和非局部方法兩種。局部去噪方法相對簡單，主要是設(shè)計合適的濾波器與圖像做卷積運(yùn)算。其具代表性的局部聯(lián)合去噪算法是由Petschnigg等[1]提出的聯(lián)合雙邊濾波(joint bilateral filter)算法。該算法繼承了雙邊濾波(bilateral filter)算法[2]的特點(diǎn)，在構(gòu)造局部濾波器系數(shù)時不僅考慮了中心點(diǎn)與鄰域點(diǎn)之間的空間距離，同時還考慮了中心點(diǎn)與領(lǐng)域點(diǎn)灰度值之間的相似程度。而不同于雙邊濾波，聯(lián)合雙邊濾波算法在對一幅圖像進(jìn)行濾波時所使用的濾波器系數(shù)由另一幅圖像來引導(dǎo)計算。該算法在對閃光與非閃光圖像進(jìn)行聯(lián)合處理時取得了較好的效果。聯(lián)合雙邊濾波具有將多種信息進(jìn)行結(jié)合并完成濾波的特點(diǎn)，同時還被應(yīng)用到不同變換域信息聯(lián)合去噪上，如，Knaus和 Zwicker[3]提出了雙域去噪(dual denoising)。該算法通過聯(lián)合雙邊帶濾波將頻域和時域?yàn)V波的結(jié)果進(jìn)行互補(bǔ)獲得了很好的去噪效果。Yu 等[4]提出在空間域使用雙邊濾波并在變換域使用小波變化，通過將兩者的結(jié)合得到了比較好的去噪效果。邱宇等[5]將曲線波與雙邊濾波算法有機(jī)結(jié)合，取得了較好效果。蔡超等[6]將多分辨率分析概念引入到雙邊濾波中，根據(jù)噪聲強(qiáng)弱，在不同尺度下采用不同的參數(shù)可以達(dá)到比較好的去噪效果。余博等[7]對相關(guān)參數(shù)的選取進(jìn)行了研究，提出了一類自適應(yīng)的改進(jìn)雙邊濾波算法，基本實(shí)現(xiàn)了參數(shù)的自適應(yīng)選取。近年來，由于聯(lián)合雙邊濾波受到廣泛關(guān)注，其計算速度的劣勢凸顯。Zhang等[8]提出了針對聯(lián)合雙邊濾波的加速算法，并通過構(gòu)造聯(lián)合積分直方圖達(dá)到了對原始算法的加速，能夠在常數(shù)時間獲得與原始算法近似的結(jié)果。

雙邊濾波算法的加權(quán)系數(shù)不僅考慮了像素間的空間距離，也考慮了亮度相似度，因此能更好地實(shí)現(xiàn)圖像的去噪和邊緣保留[9-11]，但其存在算法魯棒性的問題。由于灰度測度權(quán)重的獲取是通過兩個獨(dú)立像素的灰度差，當(dāng)兩個像素均受到噪聲污染時，灰度測度的穩(wěn)定性就會降低，且噪聲越大穩(wěn)定性就越差。Buades等[12]提出的非局部均值算法(NL-means)能夠解決這一問題，該算法在計算灰度測度權(quán)重時不再使用當(dāng)前像素點(diǎn)與鄰域像素點(diǎn)的相似度，而是使用以這兩個像素為中心的鄰域塊之間的相似度。由于圖像通常都包含豐富的紋理，且重復(fù)出現(xiàn)，因此加權(quán)平均的像素點(diǎn)可以擴(kuò)展到整幅圖像而不必局限于圖像的局部。相比于雙邊濾波，非局部均值算法能夠獲得更準(zhǔn)確的灰度測度權(quán)重。但是，由于非局部均值算法需要計算圖像塊之間的相似性，而且圖像塊的搜索區(qū)域可以擴(kuò)展到整幅圖像，因此算法的復(fù)雜度很高。

在對多模圖像去噪的過程中，如果能將多幅圖像之間的這種非局部的相似性聯(lián)合起來進(jìn)行平均系數(shù)設(shè)計，其去噪結(jié)果能夠?qū)吘壖?xì)節(jié)和重復(fù)紋理細(xì)節(jié)得到很好地保持。目前基于非局部聯(lián)合去噪研究較少，本文提出了一種聯(lián)合非局部濾波算法，該算法旨在保持非局部濾波算法的優(yōu)勢，在對一幅圖像進(jìn)行全局濾波時，其濾波權(quán)重由參考圖像中所有的相似圖像塊決定。該算法對于含有周期性紋理的閃光與非閃光圖像，或者是存在著大量平坦區(qū)域的多模醫(yī)學(xué)圖像，相比于聯(lián)合雙邊濾波算法具有更好的去噪效果。另外，為了解決非局部算法復(fù)雜性高的問題，本文構(gòu)造了相應(yīng)的聯(lián)合積分直方圖對算法進(jìn)行了加速。通過理論分析表明，加速算法較原始算法能夠提高近2個數(shù)量級。

1　聯(lián)合非局部濾波

其中，相似測度權(quán)值{w(i,j)}j依賴于像素i與j之間的相似性，并滿足。相似測度權(quán)重{w(i,j)}j不同于原始的雙邊濾波那樣通過原始噪聲圖像來計算，而是通過聯(lián)合參考圖像I的信息計算得到。在濾波時任意兩個像素之間的相似性是以這兩個像素為中心的鄰域塊之間的相似性決定，鄰域塊灰度值向量之間的相似性通過歐氏距離計算，即：

其中，p為以當(dāng)前像素為中心的鄰域半徑。則式(1)中的權(quán)重定義為：

2　算法加速

用所提出算法進(jìn)行濾波，由于其過程存在大量的冗余計算，因此非常耗時。假設(shè)給定兩個固定像素，并通過式(2)計算兩個像素之間的相似性時，部分圖像子塊的平方差求和會被反復(fù)多次計算其他固定像素之間相似性，其計算冗余延長了計算時間。本文提出了一種基于積分直方圖的加速算法避免上述冗余，有效提高了計算效率。

假設(shè)計算圖1(a)中的兩個像素i，i+t之間的相似性，t代表兩像素點(diǎn)在空間的平移向量。將圖像I平移t個單位得到圖像It。如圖1(b)所示，可以看到每一對有著相同位移 t的圖像塊之間的相似性DP(I,i,i+t)可以通過對圖像(I–It)2中相應(yīng)塊中對應(yīng)塊的元素進(jìn)行求和得到。

為了避免對(I–It)2中的元素重復(fù)求和，構(gòu)造了積分圖像Jt，如圖1(c)所示，即：

圖1　當(dāng)比較兩個像素的相似性時，對于每個可能的位移t構(gòu)造積分圖像((a) 相似像素位移相差t；(b) 計算矩陣(I–It)2；(c) 構(gòu)造積分圖像Jt)

規(guī)定 J(0,0)=0。這樣，任意圖像塊之間的距離DP(I,i,i+t)能夠通過積分圖像 Jt快速地計算得到：

所提出的加速算法可最大程度地減少乘法和加法重復(fù)計算次數(shù)。假設(shè)給定圖像為N×N，在相似性計算時的鄰域大小為P×P，可以發(fā)現(xiàn)直接使用原始暴力方法計算的算法復(fù)雜度為O(N4×p2)。通過加速計算之后，圖像Jt的大小隨著向量t的增加而減少。加速之后算法的復(fù)雜度降為O(N4/4)。值得注意的是，加速方法其算法復(fù)雜度不依賴于圖像相似塊的大小P，這樣擴(kuò)展了算法的適用性。另外，可以看到主要計算量來自于(I–It)2的計算以及 Jt的構(gòu)造。由于參數(shù)都是相互獨(dú)立的，因此該算法能夠通過并行計算進(jìn)一步提高執(zhí)行效率。

聯(lián)合非局部濾波快速算法的步驟如下：

算法：聯(lián)合非局部濾波快速算法

步驟1. 對于每一個可能的平移量t，用參考圖像I構(gòu)造平方差圖像(I–It)2。

步驟 2. 對每一個(I–It)2通過式(4)計算得到積分圖像Jt。

3　實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證本文算法的性能，將實(shí)驗(yàn)結(jié)果與聯(lián)合雙邊濾波方法[1]的結(jié)果進(jìn)行比較。之所以不與基于積分直方圖的聯(lián)合雙邊濾波方法[8]的結(jié)果相比較，是因?yàn)楹笳呤菍η罢叩募铀俑倪M(jìn)，盡管得到了幾乎一致的實(shí)驗(yàn)效果，但是圖像質(zhì)量在灰度量化中還是有所損失。

實(shí)驗(yàn)用3個數(shù)據(jù)集進(jìn)行測試。所提出方法實(shí)驗(yàn)結(jié)果與聯(lián)合雙邊濾波方法的結(jié)果比較如圖2所示。圖2中前兩行分別是對“l(fā)amp”和“carve”圖像[1]的去噪處理。其中每一行的第1列為非閃光圖像，第2列為對應(yīng)的閃光圖像，第3列為聯(lián)合雙邊濾波方法去噪結(jié)果，第4列為所提出方法的去噪結(jié)果。一般閃光圖像具有清晰的輪廓邊緣和高對比度的邊緣信息，而非閃光圖像具有更自然的環(huán)境光氛圍和更細(xì)膩的紋理細(xì)節(jié)，但由于感光度低含有較大噪聲。為了突出兩種算法濾波的效果，實(shí)驗(yàn)中在原始非閃光圖像加入PSNR=45 dB的高斯噪聲。如圖1所示，兩種方法都得到了相比單模式圖像更好地去噪效果。但是對于重復(fù)紋理較為密集的“l(fā)amp”圖像所提出的方法對于稻草的細(xì)節(jié)紋理邊緣進(jìn)行了更好地保持，去噪效果顯著。同時對于細(xì)節(jié)紋理較多的“carve”圖像，所提出的方法在去除噪聲的同時能夠更好地保持了瓦罐表面和背景墻壁的紋理。

圖2的最后一行是從Brainweb上獲得的模擬腦部MRIT1和T2多模圖像。結(jié)果顯示對于該組圖像兩種方法的去噪效果基本持平，本文提出的方法并沒有顯示出明顯的優(yōu)勢。

圖2　實(shí)驗(yàn)結(jié)果(從第1列至第4列：非閃光圖像(噪聲圖像)；閃光圖像(參考圖像)；聯(lián)合雙邊濾波方法的去噪結(jié)果；所提出方法的去噪結(jié)果)

另外，圖3比較了本文所提出方法在不同參數(shù)下的實(shí)驗(yàn)結(jié)果。其中列表示參數(shù)h，h是式(3)中的方差，隨著h的增加圖像平滑程度越強(qiáng)；行代表鄰域塊p的大小變化，結(jié)果顯示隨著塊的增大，圖像的平滑程度減弱，這是由于當(dāng)鄰域塊過大時，對于像素灰度的度量誤差就會過大，去噪效果就會更差。從本文的測試數(shù)據(jù)可以觀察得到，當(dāng)鄰域塊大小取p=5時是比較合適的。

圖3　所提出方法在不同參數(shù)下的結(jié)果(從第1列至第3列：h=10、20、30；從上到下：p=3、5、7)

圖4為不同噪聲強(qiáng)度的圖像去噪后的結(jié)果對比。第1列表示不同的噪聲強(qiáng)度的圖像，從上至下PSNR= 45,20,10 dB。第2、3列分別表示聯(lián)合雙邊濾波方法與所提出方法得到的去噪結(jié)果(其中均選取試驗(yàn)中效果最好的參數(shù))。結(jié)果顯示所提出方法在細(xì)節(jié)部分，特別在尖銳邊緣區(qū)域、帶狀紋理等情況下能夠得到比聯(lián)合雙邊濾波方法更好地去噪效果。

圖4　不同噪聲強(qiáng)度下去噪結(jié)果對比(第1列為噪聲圖像；第2列為聯(lián)合雙邊濾波方法的去噪結(jié)果(從上至下參數(shù)設(shè)置為p=5，σs=5，σr=2、3、6)；第3列是本文方法去噪結(jié)果(參數(shù)設(shè)置為：p=5，h=10、15、20))

4　結(jié)　論

本文提出了一種針對多模圖像去噪的聯(lián)合非局部濾波算法。實(shí)驗(yàn)表明，該算法的去噪效果要優(yōu)于傳統(tǒng)的局部去噪算法，特別是對于復(fù)雜的重復(fù)性的紋理圖像更能體現(xiàn)出其優(yōu)勢。此外本文針對非局部算法計算復(fù)雜度高的問題，提出的基于聯(lián)合積分直方圖的加速算法，通過加速能夠?qū)⒂嬎銖?fù)雜度降低2個數(shù)量級，從而有效提高了算法的計算效率及適用范圍。

[1] Petschnigg G, Szeliski R, Agrawala M, et al. Digital photography with flash and no-flash image pairs [J]. ACM Transactions on Graphics, 2004, 23(3): 664-672.

[2] Tomasi C, Manduchi R. Bilateral filtering for gray and color images [C]//Proceedings of the 1998 IEEE International Conference on Computer Vision. Bombay, India,1998: 839-846.

[3] Knaus C, Zwicker M. Dual-domain image denoising [C]// Proceedings of International Conference on Image Processing. Melbourne, Austrilia, 2013: 440-444.

[4] Yu H, Zhao L, Wang H. Image denoising using trivariate shrinkage filter in the wavelet domain and joint bilateral filter in the spatial domain [J]. IEEE Transactions on Image Processing, 2009, 18(10): 2364-2369.

[5] 邱宇, 王世元, 余勇志. 一種基于曲線波的改進(jìn)自適應(yīng)交叉雙邊濾波方法[J]. 西南師范大學(xué)學(xué)報: 自然科學(xué)版, 2013, 38(2): 96-105.

[6] 蔡超, 丁明躍, 周成平, 等. 小波域中的雙邊濾波[J].電子學(xué)報, 2004, (1): 128-131.

[7] 余博, 郭蕾, 錢曉亮, 等. 一種新的自適應(yīng)雙邊濾波算法[J]. 應(yīng)用科學(xué)學(xué)報, 2012, 30(5): 517-523.

[8] Zhang K, Lafruit G, Lauwereins R, et al. Constant time joint bilateral filtering using joint integral histograms [J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society, 2012, 21(9): 4309-4314.

[9] 張闖, 遲健男, 張朝暉, 等. 基于邊緣檢測與雙邊濾波的彩色圖像去噪[J]. 電子學(xué)報, 2010, 38(8): 1776-1783.

[10] 葉仕通. 結(jié)合閾值去噪與邊緣優(yōu)化的圖像增強(qiáng)算法[J].圖學(xué)學(xué)報, 2014, 35(4): 571-576.

[11] 戚曉偉, 陳秀宏. 改進(jìn)的 Otsu 方法的雙邊濾波邊緣檢測算法[J]. 計算機(jī)工程與應(yīng)用, 2012, 48(31): 150-155.

[12] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising [C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2005, 2005: 60-65.

Accelerated Multimodal Images Joint Non-local Filtering

Yang Yuanqin,Wei Ning,Dong Fangmin

(Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University, Yichang Hubei 443002, China)

In this paper, a novel non-local averaging based multimodal image filtering method is provided. In the method, the mean average for filtering the noisy image is computed non-locally and weights for average is jointly guided by the reference image taken from another imaging device. The experiment results show that the proposed method is better than state of the art joint bilateral filter, especially in the case of the periodic texture is involved in the images. Furthermore, an acceleration algorithm is proposed by constructing integral histograms, speeding up by factor of about 2 order compared with the brute-force method. In addition, the algorithm is independent of the size of the filter, and easy to be implemented on parallel system.

image denoising; joint bilateral filter; non-local filter; integral image

TP 399

10.11996/JG.j.2095-302X.2016010074

A

2095-302X(2016)01-0074-05

2015-06-15；定稿日期：2015-09-14

國家自然科學(xué)基金項(xiàng)目(61202141)；國家自然科學(xué)基金面上項(xiàng)目(61272236)

楊元琴(1990–)，女，湖北宜昌人，碩士研究生。主要研究方向?yàn)橛嬎銠C(jī)圖像處理。E-mail：747640839@qq.com

魏寧(1980–)，男，甘肅蘭州人，副教授，博士。主要研究方向?yàn)闄C(jī)器視覺、計算機(jī)圖形學(xué)。E-mail：weininglz@163.com