基于分塊過完備稀疏表示的多聚焦圖像融合

陳垚佳，張永平，田建艷

(1.太原理工大學 信息工程學院，山西 太原030024;2.寧波工程學院 電子與信息工程學院，浙江 寧波315211)

由于光學成像機理的限制，單幅圖像所能捕捉到的信息量有限，不能保證同一場景里的背景與目標都均勻清晰。通過對同一場景進行多聚焦拍攝，可以得到多幅不同聚焦點的圖像。多聚焦圖像融合技術就是利用這組多聚焦圖像的互補和冗余信息，得到一幅可信度高、更為人眼視覺所接受的新圖像。在醫學、遙感、計算機視覺、天氣預報及軍事目標識別等方面圖像融合技術都得到廣泛的應用。

融合技術可分為像素級、特征級、決策級三個層次的融合。目前的研究主要以像素級融合為主，其融合方法主要分為兩類:空間域方法比如像素的加權平均、偽彩色映射、非線性方法、貝葉斯優化方法、人工神經網絡法［1］等和變換域方法如金字塔分解、小波［2-5］、曲波［6］、輪廓波［7］等多分辨力變換以及經驗模式分解［8］、ICA變換［9］、非負矩陣分解［10］等。

基于變換域的圖像融合作為一種有效的融合技術得到快速發展。這種融合方法首先圖像分解到另一個變換域，對變換域系數按照一定規則進行融合，最后利用逆變換重構融合圖像。圖像變換主要是基于小波、曲波、輪廓波等多分辨力變換。這類變換是在完備基上對圖像進行表示的，不能對圖像很好的稀疏表達。近年來稀疏表示被應用于圖像處理與分析領域，如圖像去噪［11］、超分辨力［12］、修復［13］以及人臉識別等，它是在過完備基上對信號進行表示的，具有更好的稀疏表達能力。

文獻［14］中提出一種基于過完備稀疏表示的多聚焦融合算法，其本質是基于每個像素領域過完備稀疏表示然后進行融合、重構的方法，計算量較大。本文充分考慮到多聚焦圖像融合的特性，提出一種基于分塊過完備稀疏表示的多聚焦圖像融合算法。首先將源圖像分塊，利用稀疏模型分解塊圖像，然后采用加權平均的融合規則對稀疏表示系數進行融合，最后由融合系數與字典重構圖像。實驗表明，該算法得到的融合圖像在主觀視覺和客觀質量上都取得較好的效果。

1 稀疏域模型

稀疏表示問題可描述為式(1)，由于式(1)是NP問題，所以往往轉化為式(2)中的近似問題來求解

式中:‖x‖0為x的l0范數，即向量x中非零元素的個數，為信號x在過完備字典A上的稀疏表示。

一般情況下自然圖像的數據信息也具有冗余性，因此可以在冗余字典上進行稀疏表示。如果將圖像信號看做一維向量b，其稀疏表示是指信號b在冗余字典A下的低維投影，投影系數即為稀疏表示系數x。

1.1 過完備字典的構建

過完備稀疏表示問題中，選取的過完備字典是否合適關系到表示信號被表示的稀疏性。針對不同結構與特征的圖像，應采取不同形式的字典或者基函數。過完備字典的構建方法可以劃分為兩類。

1)根據數學模型來構建字典。由于其模型較簡單，正交和雙正交變換的字典構建方法一度占據主導地位。然而研究表明這種構建方法得到的字典不能保證信號表示的稀疏性，進而影響信號的重構準確度。文獻［15］提出利用適合刻畫圖像幾何邊緣的bandlet基、適合刻畫紋理的Gabor基、適合刻畫輪廓的Curvelet基等不同形狀的基函數組合構建字典。采用該類方法構建的字典優勢在于適用范圍比較廣。

2)根據樣本來設計字典。可以通過訓練樣本來學習適合某一類信號特征的字典，以確保信號表示的稀疏性。目前字典學習的算法有最大似然法、最優方向(MOD)法、最大后驗概率法、組合正交基學習算法、廣義PCA算法。能與現今的稀疏分解算法兼容的常用方法是ELAD于2006年提出的K-SVD學習算法［16］。該方法交替執行信號在當前字典的稀疏表示與原子的更新過程，來達到學習字典的目的:

(3)D(J-1)中每列原子更新，對于第k(k=1，2，…，K)列原子dk更新步驟如下:

①定義步驟(2)中使用第k列原子的標志集合:ωk={i 1≤i≤N(i)≠0}。

③根據ωk中標志元素選出Ek的部分列得到。

(4)返回步驟(2)，J=J+1。

為了探討字典維數對本文算法融合結果的影響，在給定學習對象數量的條件下，學習不同維數的字典。在后面的研究中，將利用所構建的字典探討其對融合結果的影響。

采用50幅自然圖像進行8×8的分塊，分塊處理后的塊圖像作為輸入圖像，通過K-SVD字典學習算法得到維數為64×64，64×128，64×256的過完備字典，設定迭代次數為J=50，字典圖像如圖1所示。

圖1 不同維數過完備字典圖像

1.2 稀疏表示方法

其次是設計快速有效的稀疏分解算法。目前有三類典型方法:匹配追蹤算法、基于l1范數算法、迭代收斂算法。匹配追蹤算法以貪婪算法為核心的最簡單直接的算法。本文的融合算法中，以誤差作為循環停止條件，采用正交匹配追蹤(OMP)算法來對源圖塊進行稀疏表示［17］，算法如下:

1)初始化。誤差ε，字典D，X0=0，r0=b=?。

2)從冗余字典中選出與被表示信號b內積最大的原子di，即di=

5)計算誤差rk=b-。

6)如果rk≥ε，返回步驟2)。反之，結束循環，輸出的即為所求的稀疏系數。

圖像稀疏表示即是將待融合圖像采用正交匹配追蹤算法在經過K-SVD算法學習的過完備字典上進行稀疏表示。在稀疏分解過程中，需要設置分解過程的循環停止參數ε。ε過小會影響融合圖像的分解精度，當ε過大時，迭代次數隨之提高，計算量也會隨之增大。因此該參數要慎重選擇。文獻［14］探討了ε在過完備稀疏表示圖像融合算法中的對圖像質量的影響，證實了以上的結論。

2 基于稀疏域的多聚焦融合算法

2.1 基于稀疏表示的圖像融合框架

稀疏表示具有在過完備字典上對自然圖像的稀疏表達能力。將稀疏表示引入圖像融合，提出一種圖像融合算法，算法流程圖如圖2所示。

1)源圖像預處理。假定待融合圖像為嚴格匹配圖像，首先將圖像歸一化，如圖3，然后將源圖像進行8×8分塊處理，并且將每個圖像塊像素整合成一維列向量。

2)稀疏分解。將圖像塊對應的一維向量在冗余字典上進行稀疏分解，每個圖像塊對應得到兩組稀疏表示系數。

3)稀疏系數融合。每個塊對應的兩組稀疏系數按照一定的融合規則進行融合，獲得待重構系數。

圖2 基于過完備稀疏表示的融合算法框圖

4)稀疏重構圖像。重構是分解的逆過程。結合融合系數與冗余字典按照圖3進行重構，得到最后的融合圖像。

圖3 源圖像分塊與重構示意圖

2.2 融合規則

融合規則是圖像融合算法中決定最終融合質量的關鍵步驟［18］。常用的融合規則有絕對值最大以及平均等方法。如果按照絕對值取大規則來融合，融合結果會出現很多塊效應，影響視覺效果。因此本文選用平均方法的融合規則，對系數簡單的取平均，會降低融合圖像對比度，丟失部分細節信息。

綜合以上因素，本文采用加權平均的規則進行融合。圖像塊稀疏系數的l1范數越大，攜帶的信息量就越多。基于以上理論，融合系數由式(3)計算

式中:ca，cb為源圖像分別對應圖像塊稀疏系數向量。

3 實驗與性能評價

3.1 不同算法的對比試驗

采用嚴格配準的兩組大小為256×256的多聚焦圖像進行實驗，驗證本算法的有效性。同時與基于小波分解的傳統融合算法、基于稀疏表示的融合規則取系數平均算法對比。其中小波融合方法中小波分解層數為3層，小波基選取bior2.4，融合規則為低頻系數取平均、高頻系數取大。基于稀疏表示的方法中，用圖像稀疏表示分解圖像，融合規則為系數取平均方法。圖像融合結果分別如圖4。由圖可見，本文算法的融合圖像整體效果更好。

由于不存在標準圖像，采用信息熵(Entropy)、互信息量(MI)、邊緣評價因子(Q)、空間頻率(SF)這四個指標來評價實驗結果。

1)信息熵是衡量圖像包含的信息量豐富程度的一個重要指標，被定義為

式中，pi為圖像的直方圖，即灰度值等于i的像素個數與圖像總像素個數之比。融合圖像熵值越大，表示其包含的信息量越多，融合質量越好。

2)互信息量MI被定義為)

式中，E()為圖像的互信息量，可由圖像的歸一化聯合灰度直方圖得到。互信息量MI越大，意味著融合圖像F從源圖像中繼承的信息越多，融合效果越理想。

3)空間頻率是直接反應圖像的清晰度的指標，是被作為衡量圖像整體視覺效果的標準，融合圖像的此指標值越高，意味著融合結果圖像效果越好。對于大小為M×N的圖像，其空間頻率定義為

其中RI和CI分別為行頻率和列頻率，被定義為

4)采用結構相似度Q來評價實驗結果

式中:s(A|ω)代表源圖像A中具有方差、邊緣等顯著特征的信息量。同樣指標Q值越大，表示融合圖像保留源圖像的邊緣信息越多，融合質量越高。

表1為不同算法融合結果的指標。從表1可以看出，基于稀疏表示融合圖像的互信息量指標優于傳統小波融合算法。使用過完備稀疏表示，融合規則采用系數平均的算法融合結果結構相似度指標不如傳統小波算法，但是采用本文提出的加權平均融合規則，其結構相似度的性能指標得到極大的改善，且優于傳統小波算法。

表1 不同算法融合圖像客觀指標

3.2 字典維數對圖像融合質量的影響

文獻［14］已經對圖像分塊窗口大小、正交匹配追蹤(OMP)算法中的殘差等因素對融合質量的影響進行了研究。本節通過實驗探討過完備字典維數對圖像融合結果的影響。將上文中已經學習到的不同維數(64×64，64×128，64×256)的字典均應用到本章提出的融合算法中，融合結果同樣由信息熵(Entropy)、互信息量(MI)和邊緣評價因子(Q)以及空間頻率(SF)4個指標來評價，如表2所示。

表2 不同維數字典的融合圖像客觀評價結果

從表2中的指標可以看出，在平均融合規則下，過完備字典維數越高，融合性能越好。在本章算法的加權融合規則下，在不同維數的過完備字典上表示的融合性能也有所區別。但不同的是，選取較低的字典維數反而在多數指

標下得到較好融合性能。這表明，各種融合算法的性能與字典維數的相關性還有待進一步研究。

4 結論

筆者提出一種基于分塊稀疏表示的多聚焦融合算法。首先將源圖像無重疊像素分塊，并采用稀疏域模型將分塊圖像進行表示，得到兩組稀疏系數。使用加權平均的融合規則得到融合系數。通過稀疏逆變換重構圖像。實驗表明無論是從主觀視覺還是客觀指標來評價，該算法取得了較好的融合效果，且由于傳統的小波融合算法。同時探討了過完備字典在該方法中對圖像融合質量的影響。實驗表明過完備字典的優劣是影響融合結果的一個重要因素。構建一組更適合于多聚焦圖像的過完備字典，使其具備較強提取圖像邊緣的能力，在其上的表示系數能夠更好的區分出清晰與模糊區域，對于多聚焦圖像融合算法亦是非常重要。

［1］LI S T，KWOK J，WANG Y N.Multifocus image fusion using artificial neural networks［J］.Pattern Recognition，2002，23(8):985-997.

［2］XU L，ROUX M，HE M Y，et al.A new method of image fusion based on redundant wavelet transform［C］//Proc.VIE 2008.［S.l.］:IEEE Press，2008:12-17.

［3］LEWIS J J，CALLAGHAN R J O，NIKOLOV S G，et al.Pixel-and regionbased image fusion using complex wavelets［J］.Information Fusion，2007，8(2):119-130.

［4］郭敏，任娜.基于小波變換與塊分割的多聚焦圖像融合［J］.云南大學學報:自然科學版，2008，30(3):251-255.

［5］LI H，MANJUNATH B S，MITRA A A.Multisensor image fusion using the wavelet transform［J］.Graphical Models Image Process，1995，57(3):235-245.

［6］楊俊，趙忠明.基于Curvelet變換的多聚焦圖像融合方法［J］.光電工程，2007，34(6):67-71.

［7］ZHANG Q，GUO B L.Mutifocus image fusion using the nonsubsampled contourlet transform［J］.Signal Processing，2009，89(7):1334-1346.

［8］CHEN S H，SU H B，ZHANG R H.Improving empirical mode decomposition using support vector machines for multifocus image fusion［J］.Sensors，2008，8(4):2500-2508.

［9］MITIANOUDIS N，STATHAKI T.Pixel-based and region-based image fusion schemes using ICA bases［J］.Information Fusion，2007，8(2):131-142.

［10］ZHANG S，CHEN J，MIAO D D.An image fusion method based on WNMF and region segmentation［C］//Proc.PACIIA’08:vol 2.［S.l.］:IEEE Press，2008:282-285.

［11］ELAD M，AHARON M.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Trans.Image Process，2006，15(12):3736-3745.

［12］YANG J C，WRIGHT J，HUANG T.Image super-resolution via sparse representation［J］.IEEE Trans.Image Process，2010，19(11):2861-2873.

［13］MARIAL J，ELAD M，SAPIRO G.Sparse representation for color image restoration［J］.IEEE Trans.Image Process，2008，17(1):53-69.

［14］YANG B，LI S T.Multifocus image fusion and restoration with sparse representation［J］.IEEE Trans.Instrumentation and Measurement，2010，59(4):884-892.

［15］PEYRE G.Best Basis compressed sensing［J］.Lecture Notes in Computer Science，2007，4485:80-91.

［16］AHARON M，ELAD M，BRUCKSTEIN A M.The K-SVD:an algorithm for designing of overcomplete dictionaries for sparse representations［J］.IEEE Trans.Image Process，2006，54(11):4311-4322.

［17］ROSENBLUM K，ZELNIK-MANOR L，ELDAR Y C.Dictionary optimization for block-sparse representations［EB/OL］.［2011-06-01］.http://arxiv.org/pdf/1005.0202.pdf.

［18］李亞春，武金崗，王凈.小波變換圖像融合規則性能的分析研究［J］.計算機工程與應用，2010，46(8):180-182.