基于聯合稀疏和指導濾波的絕緣子紅外與可見光圖像融合方法

姜國慶，王世旭，王來軍，韓 強，范曉晴，蔡銀萍

?

基于聯合稀疏和指導濾波的絕緣子紅外與可見光圖像融合方法

姜國慶1，王世旭1，王來軍1，韓 強1，范曉晴2，蔡銀萍2

（1. 國網河南省電力公司檢修公司，河南 鄭州 450001；2. 華北電力大學，河北 保定 071003）

針對絕緣子紅外與可見光圖像融合過程中存在絕緣子傘盤邊緣信息模糊，亮度低和對比度差等問題，本文提出了基于聯合稀疏和參數自適應選擇指導濾波的圖像融合方法。圖像首先經過聯合稀疏模型分解，提取共有特征、紅外圖像特有特征和可見光圖像特有特征，并按照特有特征系數的活躍程度調整權重；同時應用參數自適應選擇指導濾波方法，能夠較好地保留絕緣子圖像的邊緣信息和細節信息。通過對比實驗，本文方法融合結果亮度高、邊緣清晰且邊緣強度大，同時客觀指標也較好。

聯合稀疏；參數自適應；指導濾波；絕緣子圖像；圖像融合

0 引言

圖像融合的本質是將兩個或多個由不同成像機理的傳感器獲得的同一場景且已嚴格配準后的圖像通過特定方法生成一幅包含輸入圖像信息的全新的關于此場景的描述，生成的新圖像包含的信息是任何單一傳感器圖像所不能給予的[1]。目前圖像融合技術已廣泛應用到計算機視覺處理、軍事偵察、醫學圖像診斷等領域。絕緣子紅外圖像具有一般紅外圖像的共性，如反映目標熱信息、清晰度較差，但也具有獨特的信息。絕緣子可見光圖像能清晰地反映場景和邊緣信息，但不具有熱信息。因此，將絕緣子紅外與可見光圖像融合能夠提高熱故障定位精度，具有極大研究價值。

根據融合層次的不同，圖像融合通常可分為3個層次：像素級融合、特征級融合、決策級融合[2]。像素級融合是最基本的層次，相對于其他兩級融合來說，像素級融合在保持原始信息和細節信息方面有很大的優勢，且方法簡單易實現。主要包括基于空間變換的圖像融合方法，基于多尺度分析的圖像融合方法，基于統計的圖像融合方法以及基于稀疏和壓縮感知的圖像融合方法。本文主要研究的重點是基于稀疏的紅外與可見光圖像像素級融合方法。

圖像的稀疏表示和壓縮感知近年來在圖像處理領域受到青睞，不少研究者根據需要將改進的方法應用于圖像融合之中[3]。在圖像融合中，學者們往往要求圖像最終的表示系數具有良好的稀疏性與特征保留性，這樣在融合方法的設計中，就不需要考慮源圖像那么多的像素個數，只考慮少量的稀疏系數就可以完成圖像的融合。稀疏表示緊扣簡單靈活的中心思想，將傳統的正交基過渡為過完備字典，圖像最終只由過完備字典中的經過線性組合的少數原子進行表示。經過這樣的處理之后，整幅圖像的能量就僅僅集中在少量現有的非零系數上，而這些非零系數和過完備字典中對應的原子真正代表的是原始圖像信號的內部結構信息和主要特征信息。近年來提出的聯合稀疏模型（Joint Sparsity Model, JSM）[4]在融合方面表現突出。

Yin H[5]將紅外與可見光圖像進行聯合稀疏分解，分解成為共有特征和特有特征，將共有特征和特有特征采用加權的方法融合在一起，得到最終的融合圖像。Yu N[6]提出了一種基于活動因子加權的共有特征和特有特征融合方法，但是簡單的加權方法不能夠將特有特征很好的融合在最終的稀疏系數之中，對于邊緣和細節信息的表現也不是很好。Venkataraman A[7]將正交匹配跟蹤方法與PCA（Principal Component Analysis）結合起來，使用聯合稀疏方法來得到計算機斷層掃描圖像（CT）和核磁共振圖像（MRI）的共有特征和特有特征。特有特征使用PCA進行融合，共有特征和特有特征通過加權平均進行融合，最后將融合的圖像表示出來。Luo J[8]提出擴展的聯合稀疏模型的彩色圖像融合，通過RGB之間的聯系，提出RGB間的兩兩的特有特征，使彩色圖像達到最稀疏。最終融合彩色圖像。王珺[9]等提出的方法是先對圖像進行NSCT分解，對稀疏度較低的低頻子帶圖像再進行一次聯合稀疏分解，進而提取低頻子帶圖像的共有和特有特征，并按照活動因子的大小自適應調整特有特征的權重系數。從上述總結可以看出聯合稀疏已經初步應用到圖像融合之中，但目前并沒有更好地將特有特征融合在一起。

指導濾波[10]作為最近提出的局部線性濾波模型，其基本思想是某函數上的點可以用其鄰近部分的點線性表示，這樣一個復雜的函數就可以用很多局部線性函數來表示。當需要求該函數上某一點具體的值時，只需計算所有包含該點的線性函數的值并做平均即可；同時，在濾波過程中加入一個額外的指導圖像并顯式地表現在濾波器核函數之中。這樣能快速實現圖像平滑濾波和保留邊緣的功能，在細節增強、去霧和去噪等方面有較好的應用，但在圖像融合方面的研究還很不充分。LIS[11]等提出的圖像融合方法是將圖像分解成細節層和基礎層，分別對基礎層和細節層進行指導濾波，該融合方法保留了多個源圖像的互補信息，但是如何提高該方法的性能，通過自適應地選擇指導濾波器的參數有待進一步研究。

對變電設備的紅外與可見光圖像進行融合，發揮其在故障檢測方面的作用是研究者們追求的目標。因此，針對變電設備中絕緣子圖像融合過程中存在傘盤正面邊緣信息不清晰、目標絕緣子亮度不高，對比度低等問題，本文將指導濾波與聯合稀疏模型有機結合，應用到圖像融合中，提出了一種基于聯合稀疏和參數自適應選擇指導濾波的融合方法。

1 相關理論介紹

1.1 聯合稀疏模型

文獻[4]中針對不同的應用提出3種不同的聯合稀疏模型，分別是JSM-1（共有特征和特有特征均稀疏）、JSM-2（支持共有稀疏）、JSM-3（共有特征非稀疏，特有特征稀疏）。JSM-1更合適解決圖像融合中的各類問題，因為經過JSM-1分解后的能夠提取不同源圖像的共有特征和特有特征。同時根據分布式信源編碼的思想，所有的信號都具有相同的共有稀疏部分和各個信號獨自的稀疏部分。因此要進行稀疏表示的源圖像系數i可以被分解為兩部分：共有系數c，它存在每一個源圖像中；特有系數ui，它只存在于對應的某一個源圖像中。依據JSM-1理論，共有系數用共有稀疏表示系數c表示，特有系數用特有稀疏表示系數ui表示，如公式(1)：

i＝c＋ui＝c＋ui(1)

由于本文只涉及到紅外與可見光圖像，可以將上述公式簡化為：

式中：為過完備稀疏字典。這樣將特有系數ui（=1,2）進行融合即可。

為了求解最稀疏解，即使得最稀疏，需要滿足下式：

式中：為誤差容限。代價函數具有的性質是其0范數非凸且高度不可微，此問題是一個常見的NP（Non-deterministic Polynomial）問題，一般都采用近似解代替，本文采用最為常用的正交匹配追蹤（Orthogonal Matching Pursuit, OMP）方法求解。

在求稀疏系數優化問題的時候還涉及到字典更新，在每一次求解稀疏系數的時候更新字典，用來恢復我們的融合圖像，以提高融合的效果。過完備字典是稀疏表示的基礎，其構造主要有兩類方法：一種是根據數學模型構造，常用的數學模型字典有離散余弦變換字典、過完備小波字典、脊波字典、曲波字典、輪廓波字典等[12]。但是這類字典存在一個共同的問題，未考慮待處理圖像的具體特征，一般的適用性較差。為了更好地表示圖像，研究人員提出樣本學習字典的方法，如最優方向法（MOD），K-SVD和任務驅動的字典學習方法[13-14]。其中，K-SVD是最為常用的學習方法[15]。本文選擇基于K-SVD的字典訓練方法。K-SVD在更新字典時，是對字典中的所有原子逐個更新，并不是整個字典的一次更新，將字典中的原子每一個都更新一遍，就完成的一次字典的更新，一直更新到符合設計的要求為止。

1.2 指導濾波

圖像的指導濾波[10]是一個線性移可變的濾波過程，包括指導圖像，輸入圖像和輸出圖像。其中指導圖像可以根據不同的應用選取不同的圖像，也可以直接選為輸入圖像。對于輸出圖像中的第個像素O，其計算方法如式(4)：

式中：，為像素位置，W為指導濾波器的核函數。其定義如式(5)：

式中：w為第個核函數窗口；:(,)表示第個核函數窗口的像素位置；G和G是該核函數窗口內第個像素和第個像素的灰度值；代表指導圖像在w中的均值；2表示指導圖像在窗口w中的方差；||代表窗口w中的像素個數；是平滑因子。

指導濾波的基本思想是某函數上的點可以由其鄰近部分的點線性表示，這樣一個復雜的函數就可以用很多局部線性函數來表示。當需要求該函數上某一點具體的值時，只需計算所有包含該點的線性函數的值并求其平均值即可。同時，在濾波過程中加入一個額外的指導圖像并顯式地表述在濾波器核函數之中，能快速實現圖像平滑濾波和保留邊緣的功能。

2 參數自適應選擇指導濾波

由于經典指導濾波存在不足，本文使用參數自適應選擇指導濾波方法[16]，該方法在指導圖像中加入相似性判斷并自適應選擇偏移函數和平滑因子的方法。加入相似性判斷后確定的偏移函數和平滑因子，解決了原偏移函數和平滑因子選擇未考慮窗口自身特性的問題，能夠有區別地處理窗口內的局部邊緣特征和細節信息。其方法流程如圖1所示，具體步驟描述如下：

圖1 參數自適應選擇指導濾波流程圖

步驟1：選擇輸入圖像和指導圖像，設定濾波窗口的大小＝(2＋1)(2＋1)，為窗口半徑，||代表窗口內像素點的個數。

步驟2：分別以各像素為濾波窗口的中心像素，設置核函數參數，包括以下具體步驟：

步驟①：判斷指導圖像的當前濾波窗口中各像素點的灰度值i，1≤≤||和中心像素點的灰度值m是否相似，若像素點i的灰度值與中心像素點m的灰度值的差值的絕對值大于所述指導圖像在濾波窗口中像素灰度值標準差的1/3，判斷為不相似，將所述像素點的灰度值i置為0，否則判斷為相似，所述像素點的灰度值i保持原值。

步驟②：統計當前濾波窗口中和中心像素點的灰度值m不相似的像素點的個數；判斷其是否超過預設閾值（本文閾值設為窗口中像素點總數的1/3），如果未超過，設置偏移函數i為0；否則，偏移函數按公式(6)設置：

式中：偏移量Δ＝G－；MIN(w)、MAX(w)、分別為指導圖像的當前濾波窗口內的最小像素灰度值、最大像素灰度值和像素灰度均值；G，1≤≤||為指導圖像當前濾波窗口內的第個像素的灰度值。

步驟③：確定平滑因子，灰度相似性判斷后，計算當前濾波窗口中像素灰度值的方差并保存在方差矩陣Var中。判斷每一個濾波窗口的方差是否大于等于方差矩陣Var的均值，如果是，定義為大方差濾波窗口，否則，定義為小方差濾波窗口。大方差濾波窗口內的平滑因子小于小方差濾波窗口內的平滑因子，按公式(7)選擇：

式中：和代表像素坐標；var代表方差矩陣Var的均值；Var(,)代表方差矩陣Var在(,)點的值。

步驟④：確定完偏移函數和平滑因子后，將其作為核函數的參數，輸入到核函數(5)中：

步驟3：計算濾波后的灰度值，獲得濾波后的圖像矩陣并輸出濾波圖像。

將參數自適應選擇指導濾波作為高頻的融合規則，紅外圖像與可見光圖像分別作為輸入圖像和指導圖像，根據上述濾波步驟，得到的濾波結果作為新的高頻子帶系數。

3 融合方法

本文重點解決的是絕緣子紅外與可見光圖像融合中亮度和邊緣問題，圖像經過聯合稀疏分解后，要選擇相應的融合規則，完成對共有特征和特有特征系數的融合，本文提出的融合流程圖如圖2所示。

融合后的圖像應該整合各個源圖像的共有特征和特有特征，考慮到所有源圖像對融合圖像的貢獻，融合圖像應為共有特征與特有特征的疊加之和：

圖2 融合方案框圖

融合后的第個塊矩陣按(11)式重構：

F＝F(11)

具體融合步驟如下：

步驟①：利用參數自適應選擇指導濾波，源圖像1作為指導圖像，2作為輸入圖像，得到增強結果1e；同時，源圖像2作為指導圖像，1作為輸入圖像，得到增強結果2e。

步驟④：利用訓練好的過完備字典，按(10)式得到融合后的第塊稀疏系數F。按照(11)式求得融合后的第個塊矩陣F，并按逆滑框算法重構得到新圖像f。

步驟⑤：最終的融合圖像F＝1e＋2e＋f。

4 實驗結果比較與分析

為了驗證本文基于聯合系數和參數自適應選擇指導濾波方法的有效性，與基于NSCT與參數自適應選擇指導濾波的方法進行比較，定義為方法一；方法二選擇聯合稀疏和經典指導濾波[17]進行結合，方法三選擇聯合稀疏和自適應指導濾波[18]進行結合。本實驗在兩組不同的絕緣子紅外與可見光圖像上分別進行，圖像大小均選擇256×256像素且經過嚴格配準的圖像。其中圖(a)、(b)表示絕緣子紅外及可見光圖像，圖(c)、(d)、(e)表示分別采用上述3種方法得到的實驗結果，圖(f)表示采用本文所提出方法得到的實驗結果。字典大小均為64×256。

實驗結果如圖3和圖4所示。

圖3 第一組實驗結果

圖4 第二組實驗結果

從圖3及圖4可以看出，本文方法在對比度、邊緣方面較其他方法都有所提高。相對于方法一絕緣子輪廓更加清晰，正面傘盤信息更加全面，這是由于聯合稀疏能夠將源圖像稀疏得較為徹底，而且能夠分解出紅外與可見光圖像特有特征，更利于融合。方法二和方法三都基于聯合稀疏，經過相同倍數增強后，從亮度和對比度來看，都要比本文方法低，說明經典指導濾波和文獻中的自適應指導濾波在圖像融合上的應用沒有參數自適應選擇指導濾波效果好。從絕緣子傘盤的邊緣上看，本文的方法保持了絕緣子可見光圖像傘盤正面清晰的邊緣，同時也包含了紅外圖像的熱信息。而且能看到由于光照造成的導線陰影也在融合結果中有所體現，說明融合結果對源圖像的細節信息保留較好，對于光照造成的陰影部分能夠清楚的體現出來。為了驗證本文方法的有效性，采用歸一化客觀指標均值、信息熵、邊緣強度、互信息對實驗結果進行綜合評價[18]，兩組圖像融合實驗結果如表1、表2所示。

表1 第一組圖像融合實驗評價指標

表2 第二組圖像融合實驗評價指標

從表1及表2可以看出，本文基于聯合稀疏和參數自適應選擇指導濾波方法較其他方法在均值和互信息上優勢較大，說明該在圖像對比度和繼承源圖像信息方面優勢明顯，特別是在紅外絕緣子繼承熱信息方面，對提高整體圖像的對比度有很大的貢獻。從信息熵來看，本文所研究的基于聯合稀疏和參數自適應選擇指導濾波方法優勢并不明顯，可能是由于在聯合稀疏的過程中，丟失了一部分的信息，沒有NSCT分解能夠將信息較為全面的保留。從邊緣強度看，本文方法邊緣清晰，邊緣強度值較高，能夠體現絕緣子傘盤正面的邊緣信息，達到最終的融合目的。

5 結論

針對絕緣子紅外與可見光圖像融合中存在傘盤正面邊緣信息不清晰、目標絕緣子亮度不高，對比度低等問題，本文提出了一種聯合稀疏和參數自適應選擇指導濾波的融合方法。

1）由于經典指導濾波存在偏移函數和平滑因子選擇未考慮窗口自身特性的不足，本文應用參數自適應選擇指導濾波方法，能夠有區別的處理窗口內的局部邊緣特征和細節信息。

2）絕緣子紅外圖像與可見光圖像聯合稀疏模型分解之后，可以得到共有特征、紅外圖像特有特征、可見光圖像特有特征，特有特征系數根據活動因子進行權重選擇；參數自適應選擇指導濾波增強圖像的細節信息，代替源圖像均值，在保留了圖像的亮度信息的同時融合了絕緣子傘盤邊緣信息。

實驗結果表明，和其他3種方法相比，本文方法可以將可見光傘盤邊緣信息與紅外的熱信息更好的融合，且融合結果中絕緣子傘盤正面邊緣信息清晰，邊緣強度較大，亮度較高，能夠為絕緣子的故障檢測奠定堅實基礎。

[1] 彭海. 紅外與可見光圖像融合方法研究[D]. 杭州: 浙江大學, 2012.

PENG Hai. Study on fusion method of infrared and visible images[D]. Hangzhou: Zhejiang University, 2012.

[2] 胡建文. 基于多尺度濾波和稀疏表示的圖像融合方法研究[D]. 長沙: 湖南大學, 2013.

HU Jianwen. Research on Image Fusion Method Based on Multi Scale Filtering and Sparse Representation[D]. Changsha: Hunan University, 2013.

[3] 梅家誠, 王瑞, 葉漢民. 結合稀疏表示與圖像壓縮融合的目標檢測[J]. 紅外技術, 2016, 38(3): 218-224.

MEI Jiacheng, WANG Rui, YE Hanmin. Compressive fusion and target detection based on sparse representation[J]., 2016, 38(3): 218-224.

[4] Duarte M F, Sarvotham S, Baron D, et al. Distributed compressed sensing of jointly sparse signals[C]//,, 2005: 1537-1541.

[5] YIN H, LI S. Multimodal image fusion with joint sparsity model[J]., 2011, 50(6): 1301-1305.

[6] YU N, QIU T, BI F, et al. Image features extraction and fusion based on joint sparse representation[J]., 2011, 5(5): 1074-1082.

[7] Venkataraman A, Alirezaie J, Babyn P, et al. Medical image fusion based on joint sparse method[C]// 2014(), 2014: 103-106.

[8] LUO J, YANG B, CHEN Z.[M]. Pattern Recognition, 2012: 497-504.

[9] 王珺, 彭進業, 何貴青, 等. 基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法[J]. 兵工學報, 2013, 34(7): 815-820.

WANG Jun, PENG Jinye, HE Guiqing, et al. Infrared and visible image fusion method based on non down sampling Contourlet transform and sparse representation[J]., 2013, 34(7): 815-820.

[10] HE K M, SUN J, TANG X. Guided image filtering[J]., 2013, 35(6): 1397-1409.

[11] LI S, KANG X, HU J. Image fusion with guided filtering[J].:, 2013, 22(7): 2864-2875.

[12] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]., 2006, 15(12):3736-3745.

[13] ZHANG Q, FU Y, LI H, et al. Dictionary learning method for joint sparse representation-based image fusion[J]., 2013, 52(5): 057006-057006.

[13] Lewicki M S, Sejnowski T J. Learning overcomplete represen -tations[J]., 2000, 12(2): 337-365.

[14] Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]., 2006, 54(11): 4311-4322.

[15] HE K, SUN J, TANG X. Guided image filtering[C]//(ECCV), 2010: 1-14.

[16] 戚銀城, 蔡銀萍, 趙振兵, 等. 一種基于參數選擇的圖像自適應指導濾波方法[P]. 中國: 201510593.51.4, 2015.09.18.

QI Yinchen, CAI Yinping, ZHAO Zhenbing, et al. An adaptive supervised filtering method based on parameter selection[P]. China: 201510593.51.4, 2015.09.18.

[17] Pham C C, Ha S V U, Jeon J W. Adaptive guided image filtering for sharpness enhancement and noise reduction[C]//, 2011: 323-334.

[18] 李樹濤, 王耀南, 張昌凡. 多傳感器圖像融合的客觀評價與分析[J]. 儀器儀表學報, 2002, 23(6): 651-655.

LI Shutao, WANG Yaonan, ZHANG Changfan. Objective evaluation and analysis of multi sensor image fusion[J]., 2002, 23(6): 651-655.

Image Fusion with Joint Sparse and Guided Image Filtering forInfrared and Visible Images of Insulator

JIANG Guoqing1，WANG Shixu1，WANG Laijun1，HAN Qiang1，FAN Xiaoqing2，CAI Yinping2

(1.,450001,; 2.,071003,)

Aiming at the problem that the edge information of the insulator is fuzzy, the brightness is low and the contrast is poor in the fusion of the infrared and visible images, it is proposed that a method of image fusion based on joint sparse and parameter adaptive selection guided filtering in this paper. Images are first decomposed by joint sparse model, and common features, the unique features of infrared image and visible light image are extracted. The weights are adjusted according to the active degree of the characteristic coefficient. At the same time, this paper uses a parameter adaptive selection guided filtering method, which can preserve the edge information and detail information of the insulator image well. Through the contrast experiments, this method has shown high brightness, clear edge and large edge, and objective indicators are also better.

joint sparse，parameter adaptive，guided image filtering，insulator images，image fusion

TP391

A

1001-8891(2017)06-0523-06

2016-09-25；

2016-11-01.

姜國慶（1972-），男，高級工程師，研究方向：變電檢修與運維。E-mail：jiangguoqing@hn.sgcc.com.cn。

國家電網公司科技項目（5217M015005X）。