基于結構信息和稀疏貝葉斯學習的圖像去噪

劉 帥

(西安電子科技大學 西安 710071)

0 簡介

在圖像處理中，如何用空間變換有效地表達圖像信息，是一個很重要的問題。傳統的圖像表示方法是基于“基”的展開，如Fourier 變換和小波變換等。但這種建立在正交基上的信號分解有一定的局限性，往往不總能夠達到好的稀疏表示效果，尤其是對于變化范圍很大的圖像，效果更差。一種更好的圖像處理方法應該是根據圖像的特點，自適應地選擇合適的基函數，來完成圖像的稀疏分解。因此近年來非正交分解引起人們極大的研究興趣。超完備信號稀疏表示方法肇始于Mallat 和Zhang 于1993年提出基于冗余字典(redundant dictionary)的稀疏分解思想［1］。

2004年由Candes，Romberg，Tao 和Donoho［2］建立起來的壓縮傳感(Compressive sensing，CS)理論進一步將稀疏表示思想提升到了一個新的高度。CS理論的基礎就是要求信號在某個空間具有稀疏性，因此稀疏表示的研究有極其重要而深遠的理論意義和廣泛的應用價值。目前稀疏表示已在圖像去噪和修復［3-5］［7-10］、CS 等領域取得廣泛應用。

圖像稀疏表示理論中的一個關鍵問題就是如何設計有效的稀疏表示過完備字典。本文采用非參數貝葉斯方法［13，14］來構造和學習冗余字典來實現圖像去噪和修復，該方法可以可以更全面的捕捉詮釋圖像信息，實驗結果表明，基于非參數貝葉斯的字典學習方法在圖像去噪和修復方面具有良好的性能。

1 基于的稀疏貝葉斯學習的冗余字典學習

1)D 是給定的，通過點估計來推斷a，常用的有OMP，BP 等，這些算法的停止準則一般是假設一噪聲值或者對a的稀疏性進行約束;

2)通過學習得到字典D，但是需要預先設定字典的原子數M。

通過對已有的方法進行分析，文中采用非參數貝葉斯方法來進行學習。該方法可以同時推斷字典原子數M 和a;另一方面，相比于之前的點估計方法，該方法可以得到參數的完整后驗分布。同時，圖像本身固有一定的結構信息，本文將結構信息作為先驗，約束所構造冗余字典的更新，以更好的捕捉圖像本身的固有特性。

1．1 結構信息

圖像本身具有一定的結構信息，為了更好地實現圖像處理，有效地應用捕捉結構信息，就變得非常重要。本文采用Zhou Wang 等提出的結構信息計算方法，并將其作為字典的先驗信息，對字典進行約束更新。具體計算方式如下:

其中c 為一個常數。

1．2 Beta 過程框架

近幾年，基于非參數貝葉斯的應用研究越來越火熱。文中采用了基于Beta 非參數貝葉斯方法，假定實驗模型為:x= Da+ε，其中x∈Rn、D∈Rn×m，為了實現在學習字典D的過程中推斷字典大小M的目的，假定D∈Rn×K，在此假設K→∞，然后通過推過推斷字典D所包含的列數(即原子數)來近似的確定字典大小。我們希望求得的α ∈RK是稀疏的，即α 中除卻有限項外其余均為0，因此字典D中僅有一小部分原子被用來表示x。這里僅討論文中所用到的beta過程的部分原理。兩參數的beta過程是一個非參數的先驗。定義為H ～BP(a，b，H0)，其中H0為0～1 區間的一致分布Uni(0，1)，a＞0，b＞0。上述分布又可以表示為:

當ψ=ψk時，δψk(ψ)等于1，否則δψk(ψ)等于0。有此可見，H(ψ)代表了每一個原子ψk是否被使用的K中可能性。在K→∞時，H(ψ)就成為一個表示無限維概率的矢量，其中相應于每一個ψk的概率滿足ψk

iid ～H0。

為了便于應用H(ψ)，我們定義了N位二進制矢量zi ～{0，1}K，其中i=1，2，…，N，zi的第k個分量滿足zik ～Bernoulli(πk)。由這N個二進制列向量組成了指示矩陣Z，且Z ～{0，1}K×N，因此Z的第i列表示zi，Z的第k行則相應于原子ψk。在待處理問題中，原子ψk∈Rn代表了字典D的候選集中的成員，二進制矢量zi則表示對樣本xi使用了字典D中的哪些原子進行近似表示。

假設Ψ={ψ1，ψ2，…，ψk}，K→∞，則樣本xi可以表示為xi=Ψzi+ε，但是這種經典的表示是有著高度限制的，因為他要求字典的系數必須是二進制的。為了解決這一問題，我們引入權值矩陣W，W∈RK×N，其中wi ～N(0，γ-1w IK)，i=1，2，…，N，γw表示高斯分布的方差。則字典權值ai= zi·wi，符號·表示哈德曼乘積。從ai的構建過程可以發現，ai是稀疏的。另外，不同于廣泛使用的拉普拉斯先驗，使用拉普拉斯先驗得的稀疏系數除卻非少數相對來說比較大的系數外，其余系數則非常小;而擬議模型得出的稀疏系數除卻非0 項則是直接等于0。這樣就可以直接求解零范數。

為了計算方便，我們假定字典元素ψk服從多變量的高斯分布;在獨立同分布的準則下擬議模型如下所示:

γε、γw由滿足非信息先驗的Gamma 分層先驗來確定。同時，可以發現，上面模型具有共軛對稱性，因此可以應用吉布斯采樣來進行分析推斷字典D 以及字典大小M。

1．3 順序字典學習

在上面的討論中，我們是使用所有的數據一起來學習推斷字典D，然而，在某些應用中，N 可以能是想當大的，出于對復雜度、時間等方面的考慮，法同時學習的方法就太好了。為了解決這一問題，我們將數據分割為，依次采用beta 過程對其進行處理。算法的收斂性和詳細描述見［15］。假定表示理想字典的后驗概率，矢量Θ 代表擬議模型的所有分層參數。在貝葉斯分析中，先通過推斷，將求解結果作為先驗然后來推斷。依次類推，最終來實現推斷的目的。

2 圖像去噪

圖像信號在處理過程中，通常會受到圖像噪聲的影響，導致圖像處理不能滿足后續分析處理的要求。為了保證圖像的視覺效果，研究出有效的去噪算法，是十分必要的。以達到能從被污染的圖像中獲取原圖像真實信息，并且將圖像處理過程中對圖像本身的干擾降低到最小，為以后對圖像進行進一步的處理做好準備。另一方面，圖像在傳輸過程中經常會發生數據丟失，解壓后會有塊狀圖像信息缺失的現象;或者是原始圖像上面有了一些不期望的內容(如文字)，這種情況下就需要最大限度近似恢復原始圖像。

假定待處理圖像為I∈RNy×Nx(這里以灰度圖像為例，彩色圖像類似，見結果展示)，圖像噪聲是加性的。我們見將圖像分割為個重疊的塊。對于任意一個xi，滿足xi∈RB2，文中使用的是B=8。

如果只有加性噪聲，而沒有消失像素，則可以直接使用模型()來同時進行字典學習和圖像去噪。如果既有噪聲，又有消失像素，我們不再像之前那樣直接觀測xi，而是觀測它的子集。注意到用來恢復原始無噪完整圖像的ψ 和是從待測數據集直接推斷的，因此這里也可以使用數據集離線學習字典D。

通常圖像去噪，如［16，17］，通常預先要設置一個停止準則，或者是對某一變量值進行約束、或者是對稀疏度等。這種方法在通常是很有效的，但是如果不需要預先做出這一假設，應該是更好的。文中的擬議模型則不需要做出這種設定。該模型假設噪聲γε服從非信息Gamma 分布，然后通過他的后驗概率對其推斷;稀疏表示的稀疏度則滿足由參數a 和b 控制的Beta 分布。因此可以從數據本身求解出系數表示的平均稀疏度。上面都是以黑白圖像為例，如果是彩色圖像，也很容易，只需要將3 通道的參數分別設置就好。以γε為例，只要對三通道里的每一個B×B 塊分別假設一個γε，且這三個γε的Gamma 先驗相同就好。

3 實驗結果

通過實驗表明，對于圖像去噪和修復，采用吉布斯采樣推斷比采用變分貝葉斯推斷所得的結果更好。因此文中所有推斷均采用吉布斯采樣推斷。圖像去噪和修復過程中所用的分層參數值設置時一樣的，所有的Gamma 先驗設置為Gamma(10-6，10-6)，Beta 分布的參數為a=K 和b=N/8(設置為其它值產生的結果相似)。

文中對各個實驗圖像分別加方差為15、20、50的噪聲，用以下四種方法進行圖像去噪:(1)采用非信息先驗的基于BP 字典的非參數貝葉斯算法，所有的去噪圖像采用一樣的BP 模型;(2)K-SVD 算法，其中噪聲方差大小設定為圖像所加噪聲方差;(3)K-SVD 算法，其中噪聲方差大小設定為圖像所加噪聲方差不同的值;(4)基于DCT 字典的圖像去噪算法。下面的實驗結果給出了加噪聲后的圖像，和用算法處理后的對比圖，以及相應的數值比較。

下面三組圖像第一行第一幅代表原始圖像，第二幅為加方差為15 的高斯白噪聲后的噪聲圖像，第三幅為擬議算法的結果，第四幅為擬議算法的學習字典;第二行第一幅圖像為DCT 字典的結果;第二幅為KSVD 字典的結果，第三幅和第四幅分別為DCT 和KSVD 的學習字典。

下面三組圖像第一行第一幅代表原始圖像，第二幅為加方差為20 的高斯白噪聲后的噪聲圖像，第三幅為擬議算法的結果，第四幅為擬議算法的學習字典;第二行第一幅圖像為DCT 字典的結果;第二幅為KSVD 字典的結果，第三幅和第四幅分別為DCT 和KSVD 的學習字典。

下面三組圖像第一行第一幅代表原始圖像，第二幅為加方差為25 的高斯白噪聲后的噪聲圖像，第三幅為擬議算法的結果，第四幅為擬議算法的學習字典;第二行第一幅圖像為DCT 字典的結果;第二幅為KSVE 字典的結果，第三幅和第四幅分別為DCT 和KSVD 的學習字典。

5 總結

稀疏性在圖像處理過程中的作用越來越重要。文中在自然圖像的去噪和修復中，用基于Beta-Bernoulli 過程的非參數貝葉斯字典來實現圖像的稀疏。相比于已有算法，實驗表明，該算法有以下重要優勢

1)不需要預先知道噪聲值，而是在分析的過程中推斷早噪聲，以實現去噪;

2)可以推斷完整的后驗概率，因此可以用error bar 對結果進行分析;

3)盡管可以用訓練數據來初始化字典，但是本文的BPFA 采用隨機初始化就能得到很好的實驗結果。

當然，通過文中分析可以發現，擬議模型可以用于CS 問題中，當然也包括一些逆問題。有此可見，該算法在圖像處理中具有一定的優越性。

［1］Mallat S.G Zhi feng Zhang Matching Pursuit with Time-frequency Dictionaries［J］.IEEE Trans on Signal Processing，1993，41(12):3397-3415.

［2］David L，Donoho D.Compressed Sensing［J］.IEEE Trans on Information Theory，2006，52(4):1289-1306.

［3］M.Aharon，M.Elad，and A.M.Bruckstein.K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation.［J］.IEEE Trans.Signal Processing，2006，54:4311-4322.

［4］M.Elad and M.Aharon.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Trans.Image Processing，2006，15:3736-3745.

［5］J.Mairal，F.Bach，J.Ponce，and G.Sapiro.Online dictionary learning for sparse coding.In Proc［M］.International Conference on Machine Learning，2009.

［6］J.Mairal，F.Bach，J.Ponce，G.Sapiro，and A.Zisserman.Supervised dictionary learning.In Proc［M］.Neural Information Processing Systems，2008.

［7］J.Mairal，F.Bach，J.Ponce，G.Sapiro，and A.Zisserman.Non-local sparse models for image restoration［M］.In Proc.International Conference on Computer Vision，2009.

［8］J.Mairal，M.Elad，and G.Sapiro.Sparse representation for color image restoration［J］.IEEE Trans.Image Processing，2008，17:53-69.

［9］J.Mairal，G.Sapiro，and M.Elad.Learning multiscale sparse representations for image and video restoration［J］.SIAM Multiscale Modeling and Simulation，2008，(7):214-241，2008.

［10］M.Ranzato，C.Poultney，S.Chopra，and Y.Lecun.Efficient learning of sparse representations with an energy-based model［M］.In Proc.Neural Information Processing Systems，2006.

［11］E.Cand`es and T.Tao.Near-optimal signal recovery from random projections:universal encoding strategies IEEE Trans.Information Theory，2006，52:5406-5425.

［12］J.M.Duarte-Carvajalino and G.Sapiro.Learning to sense sparse signals:simultaneous sensing matrix and sparsifying dictionary optimization［J］.IEEE Transactions on Image Processing，2009，1395-1408.

［13］R.Thibaux and M.I.Jordan.Hierarchical beta processes and the indian buffet process［M］.In Proc.International Conference on ArticialIntelligence and Statistics，2007.

［14］J.Paisley and L.Carin.Nonparametric factor analysis with beta process priors.In Proc［M］.International Conference on Machine Learning，2009.

［15］J.Mairal，F.Bach，J.Ponce，and G.Sapiro.Online dictionary learning for sparse coding［M］.In Proc.International Conference on Machine Learning，2009.

［16］M.Elad and M.Aharon.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Trans.Image Processing，15，2006.

［17］J.Mairal，M.Elad，and G.Sapiro.Learning Multiscaes Sparse representation for image and video restoration［J］.IEEE Trans.Image Processing，2008，2(1):2014-241.