改進(jìn)的流形學(xué)習(xí)圖像稀疏降噪方法

張德國， 湯一彬， 朱昌平， 韓慶邦

(河海大學(xué)江蘇省輸配電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，常州市傳感網(wǎng)與環(huán)境感知重點(diǎn)實(shí)驗(yàn)室，江蘇常州213022)

0 引言

圖像降噪一直是圖像處理領(lǐng)域中的熱點(diǎn)問題，各國學(xué)者致力于通過各種信號處理手段獲得更優(yōu)質(zhì)的圖像。

近年來，隨著對稀疏編碼研究的不斷深入，將該類方法應(yīng)用于圖像降噪領(lǐng)域取得了一定的成果。稀疏編碼的目的是尋找一組可表示該數(shù)據(jù)矩陣基向量以及數(shù)據(jù)矩陣在該組基下的映射系數(shù)，并進(jìn)行近似表示。圖像降噪中，一般認(rèn)為噪聲是一種近似誤差，因此稀疏編碼理論較好地符合這種假設(shè)。如文獻(xiàn)［1］將經(jīng)典KSVD方法應(yīng)用于圖像降噪處理中并獲得了比傳統(tǒng)降噪方法更優(yōu)的效果。雖然稀疏編碼可有效地采用數(shù)據(jù)壓縮的方法提取圖像特征，其本質(zhì)上是一種純數(shù)學(xué)的方法，往往忽略數(shù)據(jù)間內(nèi)在結(jié)構(gòu)，從而不能充分地對信息加以利用。

信號處理中的流形學(xué)習(xí)理論，恰是一種挖掘數(shù)據(jù)內(nèi)在結(jié)構(gòu)的有效方法。該方法可發(fā)掘高維數(shù)據(jù)中隱含的變量(低維數(shù)據(jù))，而這些隱含變量則往往以組合型的非線性流形嵌套在高維歐式空間內(nèi)［2］。在稀疏理論中，雖然稀疏信號的維數(shù)可能高于原始信號維數(shù)，但稀疏性的存在卻可將該稀疏信號視為低維信號，從而保證流形學(xué)習(xí)方法在稀疏領(lǐng)域中的應(yīng)用［3］。

本文將稀疏理論與流形學(xué)習(xí)相結(jié)合，提出基于拉普拉斯圖譜嵌入的稀疏編碼，利用拉普拉斯圖譜的局部相關(guān)性，通過對權(quán)重矩陣改進(jìn)，增強(qiáng)了表示數(shù)據(jù)間的關(guān)系，并通過稀疏理論進(jìn)一步優(yōu)化代表低維數(shù)據(jù)點(diǎn)的稀疏系數(shù)，從而實(shí)現(xiàn)圖像降噪效果的提高。

1 基于拉普拉斯圖譜嵌入編碼

拉普拉斯圖譜是流形學(xué)習(xí)算法中的一種數(shù)據(jù)結(jié)構(gòu)構(gòu)造方式。該方法通過建立無向有權(quán)圖表來表示數(shù)據(jù)點(diǎn)間相互關(guān)系，依靠圖形的嵌入結(jié)構(gòu)尋找低維數(shù)據(jù)點(diǎn)的表示，并在低維數(shù)據(jù)空間的映射中保持該關(guān)系。其核心思想在于，對于高維空間上鄰近的樣本數(shù)據(jù)，其低維流形上也應(yīng)該鄰近，并趨向于具有相同的類別標(biāo)記［4-5］。

1.1 稀疏圖譜嵌入

對于給定的數(shù)據(jù)矩陣 Y= [y1，y2，…，yn]∈Rm×n，可通過拉普拉斯圖譜構(gòu)造數(shù)據(jù)的局部流形結(jié)構(gòu)，并用一個簡單的k階近鄰圖來簡化該拉普拉斯圖譜法，進(jìn)而產(chǎn)生權(quán)重矩陣L=H－W。其中，拉普拉斯矩陣W中各元素表示數(shù)據(jù)點(diǎn)間的對應(yīng)距離。當(dāng)兩數(shù)據(jù)點(diǎn)yi與yj相近時，設(shè)置wij=1，否則wij=0。H為一對角陣，其對角線上元素設(shè)置為W矩陣中相應(yīng)行元素wij的累加，即Hii=wij。由此可知，拉普拉斯矩陣為一對稱、半正定矩陣，從而能夠保證本文后續(xù)提出的流形模型屬于凸優(yōu)化問題范疇。

流形學(xué)習(xí)理論中，數(shù)據(jù)點(diǎn)之間越近，越有利于聚類。引入向量 x= [x1，x2，…，xn]T∈Rn×1，并構(gòu)造函數(shù)式［6］，

式中，向量x中各分量xi與數(shù)據(jù)點(diǎn)yi相對應(yīng)。根據(jù)權(quán)重矩陣的設(shè)置，當(dāng)鄰近數(shù)據(jù)點(diǎn)yi、yj間距離較小時，式(1)數(shù)值變小，從而最小化目標(biāo)函數(shù)可確保xi、xj對應(yīng)的數(shù)據(jù)點(diǎn)yi、yj相近，有利于聚類。

更一般地，當(dāng)引入向量x泛化為矩陣時，即X=[x1，x2，…，xn]T∈Rn×k，xi與數(shù)據(jù)點(diǎn) y1相對應(yīng)，同理可得:

由于數(shù)據(jù)矩陣 Y= [y1，y2，…，yn]∈Rm×n可用維數(shù)為m×k的字典D和維數(shù)為k×n的系數(shù)矩陣X相乘來表示［7-8］，因此，將拉普拉斯圖譜構(gòu)造作為一種規(guī)則化條件加入稀疏理論時，可構(gòu)造帶約束的稀疏目標(biāo)函數(shù)如下:

式中，α，β分別為加權(quán)系數(shù)。

1.2 稀疏系數(shù)重構(gòu)

稀疏理論的具體算法實(shí)現(xiàn)，由稀疏系數(shù)獲取與字典更新兩部分組成［9］。在稀疏系數(shù)獲取部分，一般首先固定字典，求解稀疏系數(shù)。其常用的算法有MP算法 (Matching Pursuit)［10］，OMP 算 法 (Orthogonal Matching Pursuit)［11］和 BP 算法(Basis Pursuit)［12］。

1.2.1 系數(shù)獲取

首先固定字典D，更新系數(shù)矩陣X，使每一個向量xi單獨(dú)更新。由于字典D固定，故目標(biāo)函數(shù)可改為:

本文中對于向量xi的求解，首先固定其他向量xj，j≠i，并通過優(yōu)化該單個向量來解決優(yōu)化問題。因此可將目標(biāo)函數(shù)改寫為向量形式:

并進(jìn)行如下運(yùn)算:首先對于單個向量xi采用稀疏系數(shù)獲取算法，如MP、BP等，尋找在其他向量xj固定時的較優(yōu)值，然后對xi+1按相同方法進(jìn)行尋找。通過對向量x1，x2，…，xn多次迭代循環(huán)優(yōu)化，直至目標(biāo)函數(shù)取得一較小穩(wěn)定值，此時即估計(jì)為最優(yōu)解x*i，返回最優(yōu)系數(shù)矩陣 X*= [，，…，x*n]。

1.2.2 字典更新

在字典更新階段，同樣首先固定系數(shù)矩陣X，對字典 D= [ d1，d2，…，dn]進(jìn)行更新。由于系數(shù)矩陣固定，因此式(6)中第二、第三項(xiàng)均為固定值，目標(biāo)函數(shù)可簡化為求第一項(xiàng)的最小值。對目標(biāo)函數(shù)簡化，可得:

式中，常數(shù)c為對di的范數(shù)約束，一般置c=1。式(7)同樣可采用多種算法求解，如基于迭代投影的梯度下降方法［13］等。本文選用拉格朗日乘數(shù)法求解上式最小值。令:

將式(9)進(jìn)行化簡，可得:

式中，Λ為一對角元素為λi的k×k階對角矩陣，對式(10)中D與λ分別求偏導(dǎo)數(shù)并使之為零，即可求得極值點(diǎn)。對D求偏導(dǎo)數(shù)并使之為零，可得:

將式(11)代入式(10)得到目標(biāo)函數(shù):

2 權(quán)重矩陣重置

對于數(shù)據(jù)矩陣 Y= [y1，y2，…，yn]∈Rm×n，其在低維嵌入空間上的映射為矩陣X，稀疏編碼可看做是把數(shù)據(jù)矩陣Y映射為矩陣X。根據(jù)流形學(xué)習(xí)的思想，若yi和yj鄰近，則yi和yj關(guān)于字典D的基向量的線性組合系數(shù)xi和xj亦鄰近［14］。鄰近點(diǎn)的判別方法為考察對應(yīng)稀疏系數(shù)的2范數(shù)是否小于某一設(shè)定門限，若xi－xj2≤δ，δ為門限值，則判定xi和xj為鄰近點(diǎn)。

為使鄰近點(diǎn)的約束條件在圖像降噪中發(fā)揮更大作用，本文采用k近鄰準(zhǔn)則判別鄰近點(diǎn)的同時，對權(quán)重矩陣進(jìn)行重置。與yi最近的k個近鄰點(diǎn)判定設(shè)置如下:若yi和yj互為鄰近點(diǎn)，則在圖論中將yi和yj對應(yīng)邊的權(quán)重置為wij=2;若yi為yj的單向鄰近點(diǎn)，則對應(yīng)邊權(quán)重置為wij=1;若yi和yj互不為鄰近點(diǎn)，則對應(yīng)邊權(quán)重置wij=0。重置后的權(quán)重矩陣通過調(diào)節(jié)鄰近點(diǎn)的對應(yīng)邊權(quán)重，強(qiáng)調(diào)了單邊和雙邊鄰近點(diǎn)的區(qū)別，旨在提高其在流形學(xué)習(xí)中的圖像降噪能力。

3 實(shí)驗(yàn)結(jié)果

在圖像降噪實(shí)驗(yàn)中，測試圖像大小為128×128的加白噪聲圖像。稀疏目標(biāo)函數(shù)中嵌入系數(shù)α=0.1，k近鄰點(diǎn)數(shù)置為5，稀疏系數(shù)獲取部分采用OMP算法，循環(huán)迭代次數(shù)置為20，字典更新部分中字典的原子數(shù)為128。

圖1～3 分別為對 Cameraman、Lena、Pepper的多種圖像降噪方法比較。實(shí)驗(yàn)中，圖像噪聲方差為30。圖中可見，加入了采用拉普拉斯圖譜嵌入編碼方法所獲取的圖像比傳統(tǒng)K-SVD方法所得圖像具有更高的峰值信噪比(PSNR)值，圖像輪廓更為清晰，圖像細(xì)節(jié)突出。而基于重置權(quán)重矩陣的嵌入編碼方法也略優(yōu)于傳統(tǒng)嵌入編碼方法。

圖1 攝影者圖像降噪比較

圖2 麗娜圖像降噪比較

圖3 辣椒圖像降噪比較

我們同時對不同噪聲方差下的圖像降噪效果進(jìn)行統(tǒng)計(jì)，如表1所示。表中可見，對于同一幅測試圖像，隨著加入噪聲方差的增加，圖像的PSNR逐步降低。經(jīng)降噪處理后，重構(gòu)圖像的PSNR顯著提高，且噪聲的方差越大，降噪處理前后PSNR提高幅度越大。拉普拉斯圖譜嵌入的降噪效果優(yōu)于K-SVD降噪，噪聲方差為20、30、40時，采用重置權(quán)重矩陣的拉普拉斯圖譜嵌入的圖像降噪效果分別比K-SVD平均提高了約0.18，0.28，0.23 dB。同時可見，重置權(quán)重矩陣比傳統(tǒng)權(quán)重矩陣方法有小幅提高，這是因?yàn)樵趫D論中，單邊鄰接點(diǎn)存在的比重相對于雙邊連接和不連接的比重小。此外可見，噪聲方差為10時，K-SVD降噪效果優(yōu)于拉普拉斯圖譜嵌入方法。這是由于在噪聲方差較小時，式(4)的目標(biāo)函數(shù)對于強(qiáng)制加入的流形學(xué)習(xí)項(xiàng)的優(yōu)化比重增加，使得優(yōu)化結(jié)果有所偏離，從而導(dǎo)致效果不佳。

表1 圖像降噪PSNR比較

4 結(jié)語

本文將稀疏重構(gòu)與流形學(xué)習(xí)算法結(jié)合運(yùn)用于圖像降噪方面，提出了基于重置權(quán)重矩陣的拉普拉斯圖譜嵌入的稀疏編碼。該方法利用拉普拉斯圖譜的局部相關(guān)性，通過對權(quán)重矩陣的改進(jìn)，增強(qiáng)數(shù)據(jù)間的關(guān)系表示，同時又通過稀疏理論進(jìn)一步優(yōu)化代表低維數(shù)據(jù)點(diǎn)的稀疏系數(shù)進(jìn)行數(shù)據(jù)壓縮，從而進(jìn)一步提高了圖像降噪效果。

［1］ Aharon M，Elad M，Bruckstein A.K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation［J］.IEEE Transactions on Signal Processing，2006，54(11):4311-4322.

［2］ Hadsell R，Chopra S，LeCun Y.Dimensionality reduction by learning an invariant mapping［J］.IEEE，Computer Vision and Pattern Recognition，2006，2:1735-1742.

［3］ Belkin M，Niyogi P，Sindhwani V.Manifold regularization:A geometric framework for learning form labeled and unlabeled examples［J］.The Journal of Machine Learning Research，2006(7):2399-2434.

［4］ Gao S，Tsang I，Chia L，et al.Local features are not lonely-Laplacian sparse coding for image classification［C］//IEEE Conference on Computer Vision and Pattern Recognition，2010，3555-3561.

［5］ Belkin M，Niyogi P.Laplacian eigenmaps and spectral techniques for embedding and clustering［J］.Advances in Neural Information Processing Systems，2002(15):585-592.

［6］ Roweis S，Saul L.Nonlinear dimensionality reduction by locally linear embedding［J］.Science，2000，290(5500):2323-2326.

［7］ Rubinstein R，Bruckstein A M，Elad M.Dictionaries for Sparse Representation Modeling［J］.IEEE，Proceedings of the IEEE，2010，98(6):1045-1057.

［8］ Elad M，Aharon M.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Transaction on Image Processing，2006，15(12):3736-3745.

［9］ Lee H，Battle A，Raina R，A Y.Ng.Efficient sparse coding algorithms［J］.Advances in Neural Information Processing Systems，2007，20:801-808.

［10］ Mallat S， Zhang Z. Matching pursuit with time-frequency dictionaries［J］.IEEE Transaction on Signal Processing，1993，41(12):3397-3415.

［11］ Pati Y C，Rezaiifar R，Krishnaprasad P S.Orthogonal matching pursuit:Recursive function approximation with applications to wavelet decomposition［C］//Asilomar Conference on Signals，Systems and Computers，California，USA，1993，1:40-44.

［12］ Chen SS，Donoho D L，Saunders M A.Atomic decomposition by basis pursuit［J］.SIAM Journal on Scientific Computing，2001，43(1):129-159.

［13］ Censor Y，Zenios S.Parallel Optimization:Theory，Algorithms，and Applications［M］.New York:Oxford University Press，1998.

［14］ Cai D，Wang X，He X.Probabilistic dyadic data analysiswith local and global consistency［C］//Proceedings of the 26th Annual International Conference on Machine Learning，2009，105-112.

［15］ Cai D，He X，Han J.Locally consistent concept factorization for document clustering［J］.IEEE Transaction on Knowledge and Data Engineering，2011，23(6):902-913.