基于壓縮感知的NSCT圖像融合

代鵬，許海山

(福州大學 機械工程及自動化學院，福建 福州 350116)

0 引言

圖像融合是最重要的圖像處理技術之一，它利用多傳感器對同一場景中的不同圖像獲取互補和冗余的信息，使場景具有更全面、準確的解釋[1]。它是計算機視覺、醫學圖像、軍事、遙感等領域中有關信息融合技術的最前沿研究熱點之一[2-3]。初期的圖像融合算法大多是基于空間域的分析[4]，一般采用加權平均法和主成分分析(PCA)算法。此后，許多研究人員開始嘗試從多尺度分析入手。1983年BURT等人提出了金字塔圖像分析算法，并在此變換域內分別對圖像的各子帶系數進行融合[5]。1990年，ZHOU Y T 將對比度金字塔變換應用于圖像融合，并加入了非下采樣算法[6]。到了90年代，各種小波變換的融合技術涌現。MALLET S G提出了完整小波表示的數學模型[7]。RANCHIN T和WALD L于1993年首次將標準離散小波應用到遙感圖像的融合中[8]。之后，各種基于小波融合方法被廣泛應用[9-10]。隨著多尺度分析理論的發展，出現了大量新的圖像多尺度圖分析處理方法[11-12]。與傳統方法相比，這些方法具有更好的方向識別能力和圖像稀疏表示能力。2002年，DO M N和VETTERLI M開發出了一種更趨于真實的二維圖像的描述方法—輪廓波變換法(CT)[13]。CT變換具有很好的局部特性和多向性，可以提供不同頻率和尺度的子帶分解系數。它能更稀疏地表示圖像的輪廓曲線，使圖像紋理細節的能量部分更加集中。2006年，DA CUNHA A L在CT變換的基礎上提出非下采樣輪廓波變換(nonsubsampled contourlet,NSCT)理論[14]，去除了對信號的上下采樣操作，構建非下采樣金字塔變換(NSP)和非下采樣方向濾波器組(NSDFB)，消除了Gibbs現象，并且使算法擁有平移不變性。

近年來，出現了許多基于非下采樣輪廓波變換(NSCT)的圖像融合算法。與傳統多焦點圖像融合算法相比，一種基于改進的NSCT雙通道脈沖耦合神經網絡(PCNN)的新算法被提出來[15-16]，該算法可以提高融合效果。KONG W W提出了一種基于NSCT和改進的Spiking皮層模型(ISCM)的多聚焦圖像融合方法。基于NSCT-ISCM的新型圖像融合技術在主客觀性能兩方面都優于目前流行的圖像融合技術[17]。ZHANG Q提出了一種基于NSCT和壓縮感知(compressive sensing,CS)的紅外和可見光圖像自適應融合方法，在光照條件較差的情況下更有效[18]。LI H F提出了一種基于NSCT和低層視覺特征的紅外與可見光圖像融合方案，該方案也可以獲得優越的效果[19]。因此基于NSCT的圖像融合算法在多焦點圖像融合中具有許多優勢。在魯棒主成分分析(RPCA)和NSCT中，稀疏矩陣用于基于低頻子帶系數和高頻子帶系數指導融合規則[20]，該方法可以將背景信息保留在可見圖像中。稀疏表示(SR)方法引入圖像融合后[21-22]，也被用于NSCT域進行圖像融合[23]，融合后的圖像保留了較好的結構相似性和細節。WANG Z S利用形態順序開關算子(MSTO)提取NSCT分解子帶的明暗圖像特征，然后混合融合，可有效抑制原圖像的噪聲和偽邊緣[24]。WU C M提出了雙NSCT和PCNN算法(Dual NSCT-PCNN)[25]，該算法可完全提取可見光圖像的紋理信息，解決了紋理細節不能完全融合的問題。現有NSCT圖像融合算法可以很好地融合圖像，但需處理的數據量較大，算法運行較慢，尤其在融合較大圖像或尺度分解級數與方向分解級數較大時。針對這些不足，本文將NSCT的圖像融合算法與壓縮感知理論結合，以減少NSCT圖像融合所需處理的數據量，提高算法運行速度。

1 NSCT理論

NSCT是一種優異的二維圖像多尺度分解工具。NSCT不但繼承了輪廓波變換對圖像多尺度、多方向分解的優良特性，同時彌補了輪廓波變換中所缺失的平移不變性。NSCT變換中先后使用非下采樣的金字塔(NSP)分解濾波器和非下采樣的方向濾波器組(NSDFB)對二維圖像進行分解，其過程先利用NSP對源圖像進行多尺度的分解，然后再采用NSDFB對高頻分量進行多方向分解，從而獲得不同尺度、不同方向下的子帶圖像。NSP每次將圖像分解為一個低通子帶圖像和一個帶通子帶圖像，隨后的分解都是在低通子帶上迭代進行。NSDFB的多方向分解在NSP多尺度分解結束后進行，NSDFB將NSP每級分解得到的帶通子帶分解成多個不同方向的子圖像，以提取更加精確的方向性信息。由于NSCT的分解過程中使用的是非下采樣的金字塔濾波器，因而具有平移不變性，這使得分解后的所有子圖像大小均相等。

圖1是應用NSCT對圖像分解的示意圖。

圖1 NSCT分解的結構示意圖

1.1 NSCT低頻系數融合

本文針對待NSCT變換低頻子帶的融合圖像，采用基于區域平均能量自適應加權算法。待融合圖像A和B低頻子帶的區域能量可以描述為：

(1)

(2)

其中：w表示區域窗口掩模；M×N的大小可以選擇3×3或者5×5。本文選擇3×3的模板，w=[1,2,1;2,3,2;1,2,1]/15。權重系數定義如下：

(3)

(4)

其中k0為調整權重系數的參數。因此，融合后的低頻系數可以定義為

(5)

1.2 NSCT高頻系數融合

高頻子帶系數反映了圖像的邊緣、曲線等局部特性，反映更多的獨立性信息。針對此特性，對高頻子帶采取絕對值最大原則。較大的絕對值往往對應著更清晰的亮度變化，因此該融合準則可以很好地突出圖像的細節特征。在最高尺度J分解層的融合系數為

(6)

2 壓縮感知

對于可壓縮或可稀疏的信號,壓縮感知能以遠遠低于Nyquist的采樣頻率,通過觀測矩陣進行非自適應采樣，然后利用重構算法準確重構原始信號[26]。傳統信號處理是先進行采樣，再進行壓縮，最后還需進行解壓，如此會增大采樣、傳輸、存儲的壓力；而壓縮感知處理系統的采樣過程與測量過程同時進行，減小了數據的采集、傳輸、存儲量。

若一個一維離散信號x長度為N，可通過正交基Ψ展開為x=Ψα。若x在正交基Ψ下有k個不為0的值(其中k<

盡管要從y中解出α仍不容易，但由于系數α是稀疏的，其個數大大減小，使得方程組可以通過相應的重構算法求解出來。其中，測量矩陣Φ需滿足限制性等距(RIP)準則。

3 基于NSCT-CS變換的圖像融合

本文所研究的改進NSCT圖像融合算法的主要思想是：首先，通過NSCT變換分解輸入的兩幅源圖像，分別得到各自的低頻子帶系數及高頻帶通系數；低頻系數由于不具有稀疏性，所以直接對其使用融合規則進行融合，得到融合后的低頻系數；高頻系數具有稀疏性，可運用壓縮感知對其進行測量，對測量值采用對應的融合規則進行融合，再采用重構算法對融合后的高頻系數進行重構得到重構后的高頻融合系數；最后，通過NSCT算法對低頻融合系數和重構后的高頻融合系數進行逆變換，從而獲得融合后的圖像。圖2為改進的NSCT圖像融合算法流程。

圖2 改進的NSCT圖像融合算法流程圖

4 實驗結果與分析

為了驗證本文提出的改進NSCT圖像融合算法的穩健性和有效性，將改進NSCT與其他融合算法進行了比較，如離散小波變換(DWT)算法、Contourlet變換(CT)算法和傳統NSCT融合算法結果進行對比。采用掃描電鏡圖像來確定所提出的圖像融合算法的好壞。掃描電鏡圖像是一種具有納米分辨率的高精度儀器。在納米尺度上，環境振動、溫度變化等因素容易導致樣品的傾斜和漂移，最終導致樣品的表面形貌畸變和測量誤差。圖像融合技術可以減少測量誤差，消除表面漂移。如圖3所示，兩對圖像可以在不同的測量條件下從四幅圖像中進行配準，利用圖像融合技術，對兩幅已配準的圖像進行融合，可以獲得更準確的圖像。

圖3 圖像誤差校正示意圖

本實驗選取多孔氧化鋁膜(PAA)作為測試樣品進行掃描電鏡觀察。它具有典型的高度有序的納米孔陣列結構，可以用來校準掃描電鏡。兩對(-1°和+1°、-2°和+2°)掃描電子顯微鏡(SEM)圖像經SURF算法進行配準。如表1所示，采用峰值信噪比(PSNR)和均方根誤差(RMSE)來評估SURF算法的準確性。結果表明，SURF算法提高了圖像的對比度，使配準的圖像更加清晰。

表1 兩組配準后SEM圖像的峰值信噪比

為了驗證改進NSCT方法在高分辨率圖像糾錯中的可行性，將多角度配準后的SEM圖像分別進行DWT、CT、NSCT和NSCT-CS的融合。圖4為4種方法的SEM圖像融合結果。改進后的NSCT與傳統NSCT融合算法相比，信息熵、平均梯度、空間頻率均有所增加，如表2所示。然而，相關系數和結構相似度卻相差無幾。通過分析，得出的原因有以下兩點：首先，本文算法是基于NSCT融合算法優化得到的，本質上濾波器的結構并沒有發生變化，只是對相關的融合規則進行了改進。此外，更重要的一點是，本文在原有NSCT變化的基礎上引入壓縮感知理論，對數據量進行了適當的壓縮，如圖4(d)中的融合圖像就是將高頻信息進行了60%的壓縮，在數據量減少的前提下，仍然能夠實現傳統NSCT 的融合效果，甚至在客觀數據上優于NSCT的融合效果，驗證了本文算法的優勢所在。

圖4 各算法對不同傾斜角SEM圖像的融合結果

表2 不同融合方法的客觀定量分析

總體來說，將4幅PAA掃描電鏡源圖像進行配準，獲得足夠匹配精度的待融合圖像，然后再對其進行融合實驗，可得到一幅校正圖像。融合后的圖像誤差更小，精度更好。由此可得到孔徑和距離更為精確的多孔氧化鋁樣品，也有助于樣品表面形貌的重構。因此，通過本文提出的圖像融合算法對精確配準過的SEM圖像進行誤差校正，可以獲得更為精確的樣品形貌圖像。

5 結語

NSCT具有良好的各向異性及平移不變性，但待融合圖像經NSCT分解后，其高頻信息的數據量隨分解級數和分解方向數呈指數增長，為此提出一種基于壓縮感知的NSCT圖像融合方法，減少融合數據量。該方法在SEM圖像的圖像融合應用中具有明顯的優勢。改進的NSCT圖像融合算法可以有效地保存源圖像的重要信息，具有較強的細節維護能力。對于高分辨率儀器來說，校正測量誤差、減少納米級的圖像漂移是非常重要的。基于壓縮感知的NSCT算法的圖像融合是一種潛在的、前瞻性的圖像處理技術，可用于提高高精度儀器的測量精度。