基于移不變形態中點小波的多聚焦圖像融合

沈鄭燕

基于移不變形態中點小波的多聚焦圖像融合

沈鄭燕

為解決不同聚焦深度下多幅圖像的信息融合問題，提出一種變換域處理方法。首先基于非線性的中點濾波器，以非抽樣方式構造出具有移不變性的形態中點小波變換。然后對形態中點小波變換進行提升，從而改善算法性能。最后，利用提升后的形態中點小波分解待融合圖像，選取合適的融合規則處理變換域系數，通過反變換重構得到融合后的圖像。計算機仿真實驗表明，移不變形態中點小波多分辨率分析方法能有效融合多聚焦圖像，與傳統線性小波變換或其他較流行的小波變換相比，得到的整個場景更加完整清晰。

圖像融合是圖像處理技術的研究熱點之一，在刑事偵查、物證檢驗分析等公安工作中發揮著巨大作用。其中，多聚焦圖像融合的處理對象來自于同一個傳感器，往往以消除圖像中不同聚焦深度下的圖像模糊為目的，因此如何更好地保持多聚焦圖像的細節成為融合問題的關鍵。小波分析是一種多分辨率分析方法，具有良好的時頻局部性和稀疏性，能夠捕捉細微的、非平穩的信號特征，這有利于實現多聚焦圖像融合。特別是在第二代小波變換出現后，提升框架降低了小波變換的復雜度，使通過構造新的小波變換解決圖像處理問題的可行性大大提高。然而，傳統的小波變換從數學實現上講仍是一種各向同性的線性變換，在保持圖像的邊緣細節信息方面具有局限性。近年來的許多研究對此進行改進，一部分研究成果集中在小波變換的方向性擴展上，利用各向異性的尺度關系逼近圖像細節，實現多方向的二維小波（如曲波、輪廓波等）；另一部分研究成果主要對小波框架進行非線性擴展，其中，Heijmans和Goutsias提出的結合形態學濾波器構建形態小波分析方案最具有代表性。這些新的多分辨率分析理論在信號處理領域得到了廣泛的認可，并成功應用于圖像融合。由于形態小波變換運算簡單高效、分析圖像結構能力強，本文利用其進行多聚焦圖像融合。但是，經典的形態小波分析方法不具有平移不變性，受分解層數、數據量化等的影響，處理后的圖像往往存在明顯的塊狀效應，而常用的形態Haar小波也不具有普適性，處理效果有時不盡如人意，因此，本文基于中點濾波器，構造出一種具有移不變性的形態中點小波變換，探討其在多聚焦圖像融合中的應用價值。

形態中點小波的構造

移不變形態中點小波

形態小波分析是一種極具兼容性的小波分析框架，在考慮數學形態學特點的同時，保留了小波變換多分辨率分析的優勢，是對傳統小波分析的非線性擴展。在完備重構條件的約束下，以灰度圖像f為例，通過非抽樣方式構造形態中點小波。首先定義中點濾波算子如下：

則形態中點小波的信號分析算子?↑和細節分析算子ù↑有如式（2）所示的形式，其中ωh，ωv，ωd分別對應水平、垂直和對角方向的細節信號。圖像f經過移不變形態中點小波分解后，得到一個低頻分量和三個方向上的高頻分量，由于采用非抽樣分解，每個分量的數據量與原圖像相同。相應的信號合成算子ψ↓和細節合成算子ω↓如式（3）所示。

由此，式（1）－（3）就確定了移不變形態中點小波分析方案。非抽樣方式可以提高形態中點小波變換的冗余度，使變換具有移不變性，避免圖像處理后出現塊狀效應。為了進一步驗證，分別用抽樣形態中點小波（MMW）和非抽樣的移不變形態中點小波（SIMMW）對一幅測試圖像進行分析，不同分解層上尺度信號的重構結果如圖1所示。從圖1可以看出，MMW由于不具有移不變性，尺度信號的重構結果出現塊狀效應，而且隨著分解層數的增加，粗尺度空間的塊狀效應會越來越明顯；相比之下，SIMMW具有移不變性，不同尺度的信號重構都有效避免了塊狀效應的產生，這對于圖像融合處理有重要意義。

移不變形態中點小波的提升

圖1 形態中點小波分析的移不變性比較

得到基本的SIMMW后，考慮對其進行提升，通過提升得到新的形態中點小波分析方案，進一步改善處理性能。形態小波的提升一般分為兩種方式：預測提升和更新提升。預測提升改變原有形態小波的細節分析算子和信號合成算子；而更新提升改變原有小波的信號分析算子和細節合成算子。本文考慮使用更新提升方法，結合每一分解層的細節信息改變尺度信號，從而進一步提高算法的細節保持能力，改善圖像融合效果，具體的更新算子為：

則基于更新提升格式的信號分析及細節分析算子表示為：

信號合成及細節合成算子表示為：

由此，便得到了本文用于多聚焦圖像融合的提升格式移不變形態中點小波（LSIMMW），經過提升后，圖像分解過程中的低頻細節保持能力得到了一定程度的提高，如圖2所示。

多聚焦圖像融合

利用本文提出的移不變形態中點小波進行的圖像融合屬于像素級融合，主要步驟基本與傳統線性小波圖像融合相同，具體步驟描述如下：

（1）圖像信號的延拓。由于使用非抽樣方式構造形態小波變換，為了保持信號分解和重構過程中的數據量，需要對待融合圖像信號進行延拓，在基本的信號延拓方式中，選擇對稱延拓，若分解L層，則延拓2L?1位；

（2）待融合圖像的分解。使用SIMMW或LSIMMW分別對N幅待融合圖像進行L層分解，得到N個低頻分量和3＊L＊N個高頻分量；

圖2 更新提升前后的圖像分解比較

（3）系數融合處理。選取合適的融合規則對分解后的形態小波系數進行融合處理，其中N個低頻分量的系數對應取平均，3 ＊ L＊N個高頻分量取對應位置上系數的最大絕對值，從而得到融合圖像的小波系數；

（4）融合圖像的重構。將融合后的系數進行L層SIMMW或LSIMMW合成，得到最終的融合結果。

為了驗證移不變形態中點小波融合算法的有效性，需要對融合結果進行評價。通常根據觀察者的主觀感受即可分辨出融合算法的效果，但結合客觀指標來評價更有意義，有利于進一步的圖像分析。一般可使用標準差、平均梯度和信息熵對融合結果進行客觀評價。標準差、平均梯度和信息熵分別反映圖像的對比度、清晰度和攜帶的信息量。這三個指標的數值越大，融合圖像的對比度和清晰度越高，所含信息量越多，融合效果越好。

實驗結果與分析

對兩幅典型的多聚焦圖像進行融合實驗，待融合圖像如圖3（a）和圖3（b）所示，圖像大小512′512，由于聚焦深度不同，一幅圖像前景物體清楚，背景物體模糊，另一幅則相反?，F使用sym4線性小波（LW）、二代曲波（SC）、本文提出的SIMMW和LSIMMW分別對這兩幅圖像進行融合處理，從而得到完整清晰的場景。融合過程中，小波分解層數都為5層，融合規則都是低頻系數對應取平均，高頻系數對應取最大絕對值，四種方法得到的融合結果分別如圖3（c）－圖3（f）所示。通過觀察對比可知，四種方法都有效融合了兩幅圖像，前景物體和背景物體都清晰可見，其中，本文的SIMMW和LSIMMW融合方法都沒有出現塊狀效應，LSIMMW融合的整體效果最好。四種方法融合結果的局部放大圖如圖4所示，LW融合后，圖像存在振鈴現象，細節信息受到干擾，SC和SIMMW融合效果較好，而LSIMMW融合的清晰度和對比度更高。

圖3 圖像融合效果比較

圖4 融合圖像的局部放大效果比較

圖5 標準差、平均梯度和信息熵隨分解層數的變化

下面分別統計圖3中各圖像的標準差、平均梯度和信息熵，對融合方法進行客觀評價，統計結果列于表1中。表中數據再次證明了四種方法的有效性，融合后圖像的三種指標較待融合圖像都有所提高，從具體數值上來看，SC融合方法雖然與LW融合方法接近，但其視覺效果更勝一籌，本文的SIMMW和LSIMMW方法則表現更好，由于采用提升格式進行細節保持，LSIMMW融合方法所得結果的信息熵尤為突出。另外，考慮到小波分解層數對融合效果有一定影響，故統計不同分解層數下，表1中數據的變化趨勢并進行比較，得到圖5。圖5中，LW和SW融合方法所得融合結果的標準差、平均梯度和信息熵都隨著分解層數的增加而增大，而且逐步趨于平穩，融合圖像的效果也逐漸穩定，幾乎沒有變化。本文的SIMMW和LSIMMW融合方法所得融合結果，平均梯度隨分解層數增加而平穩增大，標準差從第6層開始增速提高，而信息熵卻急劇減小，通過觀察融合圖像，第6層之后融合圖像的視覺效果越來越差。因此，本文所提融合算法要注意分解層數的選擇。

表1 圖像融合效果的客觀比較

結語

在形態小波框架下，基于中點濾波器構造出具有移不變性的形態中點小波變換，通過提升改善其信號處理的性能并應用于多聚焦圖像融合，在有效融合整個場景的同時盡可能的保留了圖像細節，且沒有出現塊狀效應。與傳統線性小波變換和較流行的曲波變換相比，本文提出的移不變形態中點小波變換在多聚焦圖像融合中更具優勢，視覺效果良好。

然而，本文的融合方法還有很大的提升空間，首先，由于采用非抽樣方式獲取移不變性，其代價是信號處理中的數據量有所增加，因此，進一步的工作可以嘗試數據量的壓縮和算法簡化；在融合規則和分解層數的選擇上，可以利用一些自適應的選擇方法；另外，還可以考慮使用其他濾波器或其他提升運算，從而構造出性能更好的非線性形態小波變換。

沈鄭燕

河南警察學院刑事科學技術系

沈鄭燕，女，博士，河南警察學院講師，主要研究方向為刑事圖像處理和語音信號處理。

河南省教育廳科學技術研究重點項目（14A620003）資助

10.3969/j.issn.1001-8972.2016.09.024