基于低秩稀疏表示的紅外與可見光圖像序列融合方法

王文卿，高鈺迪，劉 涵，謝 國，焦鵬飛

(1.西安理工大學 自動化與信息工程學院，陜西 西安 710048；2.陜西省復雜系統控制與智能信息處理重點實驗室，陜西 西安 710048)

隨著傳感器技術的快速發展，不同類型的成像傳感器可提供不同特性的圖像數據。單一圖像數據的特性難以滿足用戶需求。圖像融合作為一種增強技術，實現了多類圖像數據的有效結合，為后續處理或者決策提供信息豐富且魯棒的圖像數據[1]。

紅外與可見光圖像融合是圖像融合研究的重要內容之一，被廣泛應用于極端環境下的視頻監控、目標檢測與識別等研究領域。可見光傳感器探測目標場景的光譜反射特性，具備較高的空間分辨率和清晰的紋理細節信息，但其受光線條件的限制，無法在特殊環境下，例如夜晚、云霧天氣或遮擋物，捕獲清晰的場景圖像。近紅外傳感器探測目標場景的熱輻射能量分布，不受光照環境的限制。然而紅外圖像清晰度和對比度較低，像素分辨率限制圖像的細節表現能力，成像質量受外界干擾嚴重，導致紅外圖像邊緣信息模糊[2]。圖像融合技術能夠將紅外圖像的目標信息與可見光圖像的紋理細節信息有效結合，為圖像的解譯與識別提供信息保障。

基于多尺度分解的融合方法是最具代表性的紅外與可見光融合技術,其主要實現步驟可歸納如下：1)利用多尺度變換算法將輸入圖像進行分解，獲得其多尺度表示系數；2)設計融合策略實現表示系數融合；3)對融合的多尺度表示系數進行逆變換，從而得到最終融合圖像。圖像融合中常用的多尺度變換方法有：Laplace金字塔、小波變換、曲波變換、輪廓波變換、剪切波變換、邊緣保存分解方法等[3-6]。為了提高融合圖像的質量，常用融合策略有：基于系數、窗口與區域的活躍度測量方法、最大值選擇與基于加權平均的系數組合方法、基于窗口或區域的一致性驗證方法等[5]。

近年來，稀疏表示理論因其優秀顯著性信息表達能力在圖像處理領域得到廣泛應用，并被成功用于紅外與可見光圖像融合。基于稀疏表示的紅外與可見光圖像融合方法主要從三個方向展開研究：1)字典構造；2)稀疏編碼；3)融合規則設計。傳統的固定基字典，如離散余弦字典[7]、多尺度幾何分析字典[8]，簡單且有效。基于學習的字典構造方法比固定基字典展現出更強的適應性和魯棒性。常見的字典學習方法有K-SVD，最優方向法，在線字典學習，多尺度字典學習等[2]。為了獲取圖像的精確稀疏表達，正交匹配追蹤[9]，同時正交匹配追蹤[8]，聯合稀疏表示模型[10]，卷積稀疏表示[11]等稀疏編碼模型被應用于紅外與可見光圖像融合。稀疏系數的非零元素表征圖像塊的顯著性特征，因此在融合規則方面往往采用最大值選擇策略與加權平均融合策略來獲取最優融合系數[5]。

本文針對場景中運動目標被遮擋的紅外與可見光圖像序列展開研究。考慮圖像序列背景高度相關特性，利用低秩稀疏表示理論將紅外圖像序列與可見光圖像序列各自分解為低秩分量與稀疏分量。然后針對低秩分量與稀疏分量的特點，采用不同的融合策略分別將紅外與可見光的低秩分量與稀疏分量融合。本文算法的主要貢獻如下：1)相較于傳統融合方法直接將紅外與可見光圖像融合帶來的運動目標信息能量弱化的問題，本文算法利用低秩稀疏分解首先將運動目標信息與背景分離，完整保留了運動目標信息；2)利用絕對值最大選擇融合策略，實現了稀疏分量的有效融合，保證了目標信息的完整性。實驗結果證明本文算法在Nato-camp與Bristol Eden Project數據集上具有優秀的融合性能。

1 低秩稀疏表示

低秩稀疏表示理論[12]是近年來提出的先進圖像表示模型，被廣泛應用視頻背景建模、圖像恢復、音樂詞曲分離、圖像矯正與去噪、圖像對齊等領域。對于某類觀測的圖像序列，假定任意一幀圖像表示為m維向量x∈Rm×1。若該圖像序列包含n幀圖像，那么可以用n個向量組成的矩陣X=[x1,x2,…,xn]∈Rm×n來表示該圖像序列。低秩稀疏表示理論能從高度相關且被稀疏噪聲污染的觀測數據中恢復出本質上低秩的數據。針對圖像序列，借助低秩稀疏表示理論，可將矩陣X分解為兩個分量：

X=L+S

(1)

式中：L表示低秩分量(具有極大相似性的背景部分)，S表示稀疏分量(噪聲或者分布范圍較小的運動目標或者前景部分)。通過求解優化問題(2)，可從觀測數據X中恢復出低秩矩陣L。

(2)

式中：rank(L)表示矩陣L的秩；‖S‖0表示矩陣S的l0范數，其意義是計算矩陣S中非零元素的個數。rank(L)與‖S‖0均為非凸函數，這使得優化問題(2)成為NP-hard問題。通過凸松弛方法，式(2)可轉化為如下優化問題：

(3)

式中：‖L‖*=∑jσj(L)表示核范數，其中σj(L)表示低秩矩陣的第j個奇異值；‖S‖1表示矩陣S的l1范數。利用增廣Lagrange乘子方法[13]可有效求解凸優化問題(3)。

2 本文算法

面向紅外與可見光圖像序列，考慮圖像序列間背景信息的高度相關性，以及運動目標的稀疏性，結合低秩稀疏表示理論與Laplace金字塔變換方法，提出了本文算法，其具體流程見圖1。根據流程圖，可將本文所提融合算法歸納為三步。

2.1 低秩稀疏分解

在對紅外與可見光圖像序列進行低秩與稀疏分解前，首先分別將紅外與可見光圖像序列中每一幀圖像變成pq維向量，其中p和q分別表示每幀圖像的行數與列數。假定X=[x1,x2,…,xn]∈Rpq×n表示紅外圖像序列，其中xi表示第i幀紅外圖像，而Y=[y1,y2,…,yn]∈Rpq×n表示可見光圖像序列，其中yi表示第i幀可見光圖像。利用低秩稀疏分解方法，可將紅外圖像序列與可見光圖像序列各自分解為低秩分量和稀疏分量。假定L1=[l1,1,l2,1,…,ln,1]與S1=[s1,1,s2,1,…,sn,1]分別表示紅外圖像序列的低秩分量與稀疏分量，其中li,1和si,1分別表示第i幀紅外圖像的低秩分量與稀疏分量，L2=[l1,2,l2,2,…,ln,2]與S2=[s1,2,s2,2,…,sn,2]分別表示可見光圖像序列的低秩分量與稀疏分量，其中li,2和si,2分別表示第i幀可見光圖像的低秩分量與稀疏分量。通過求解如下優化問題(4)與(5)，可得到低秩分量與稀疏分量的估計值。

圖1 本文算法流程圖

(4)

(5)

圖2(a)和(b)分別表示Nato-camp圖像序列中某幀紅外圖像與可見光圖像，圖2(c)和(d)分別表示該幀紅外圖像與可見光圖像的低秩分量，圖2(e)和(f)分別表示該幀紅外圖像與可見光圖像的稀疏分量。紅外圖像中前景人形目標清晰，但背景紋理細節信息丟失嚴重。而可見光圖像具有清晰的細節紋理信息，但樹林卻將人形目標完全遮擋。通過低秩稀疏分解后，紅外圖像的背景與人形目標完全分離。可見光圖像的絕大部分信息集中于低秩部分，而稀疏分量中含有極少的信息。圖3為Bristol Eden Project圖像序列中某幀紅外與可見光圖像的低秩稀疏分解。紅外圖像見圖3(a)，其背景信息模糊，但目標清晰可見。可見光圖像見圖3(b)，其具有清晰細節紋理信息，但目標被樹林遮擋，無法分辨。低秩稀疏分解后，紅外圖像的背景與目標完全分離，見圖3(c)和(e)。可見光低秩分量(圖3(d))保留了大部分信息，而其稀疏分量(圖3(f))包含了少許細節特征信息。

圖2 紅外與可見光圖像低秩稀疏分解 (Nato-camp)

圖3 紅外與可見光圖像低秩稀疏分解(Bristol Eden Project)

2.2 基于Laplace金字塔變換的低秩分量融合

低秩分量蘊含著圖像的絕大部分信息。紅外低秩圖像缺乏紋理細節信息，而可見光低秩圖像擁有清晰的紋理細節信息。因此，為了保證可見光的紋理細節信息不丟失，本文采用Laplace金字塔方法將低秩分量進行融合[14]。具體實現步驟如下。

(6)

類似的，可見光圖像低秩分量的Laplace金字塔，定義為：

(7)

2)利用不同的融合規則分別對Laplace金字塔的最頂層和其余各層進行融合。對于LPK,1和LPK,2,采用如下方式進行融合：

LPK,f=(LPK,1+LPK,2)/2

(8)

其中LPK,f表示Laplace金字塔第K層的融合結果。對于第k層圖像，采用基于一致性驗證的最大值選擇融合規則[15]。該融合規則的實現步驟如下。

a)假設存在濾波窗口W，其大小為s×s。利用二維順序統計量濾波選取濾波窗口內絕對值最大的像素值作為該窗口區域的活躍度值。通過對LPk,1與LPk,2進行濾波，可得到兩幅圖像主特征的描述圖Ak,1和Ak,2。

b)利用如下公式得到二值決策圖：

Wk,1=(W*(Ak,1>Ak,2))>floor(s×s/2)

(9)

Wk,2=1-Wk,1

(10)

式中：floor表示向下取整函數，*表示卷積操作，Wk,1表示紅外低秩分量的第k層Laplace金字塔的加權圖，Wk,2表示可見光低秩分量的第k層Laplace金字塔的加權圖。因此，Laplace金字塔第k層的融合結果可通過如下公式表示：

LPk,f=Wk,1LPk,1+Wk,2LPk,2

(11)

3)從Laplace金字塔頂層開始，通過式(12)，逐層依次遞推，可恢復出Gauss金字塔，并最終得到低秩分量的融合結果為Li,f。

(12)

2.3 基于絕對值最大策略的稀疏分量融合

由圖2～3可看出，紅外圖像的稀疏分量主要包含目標信息，而可見光圖像的稀疏分量中蘊含少量的細節信息。因此，我們采用絕對值最大策略構建權重圖：

(13)

Wi,2(p,q)=1-Wi,1(p,q)

(14)

式中Ti,1=W1*abs(Si,1)，Ti,2=W1*abs(Si,2)；W1是大小為r×r的全1矩陣；*表示卷積操作；Wi,1與Wi,2分別表示第i幀紅外與可見光圖像稀疏分量的權重圖。因此，融合稀疏分量可以通過如下公式得到：

Si,f=Wi,1Si,1+Wi,2Si,2

(15)

通過上述步驟，可得到每幀圖像的低秩分量融合結果與稀疏分量融合結果。最終融合圖像Fi可以表示為：

Fi=Li,f+Si,f

(16)

3 實驗結果與分析

本文所有融合算法在Nato-camp圖像序列[16]與Bristol Eden Project圖像序列[17]上進行驗證。Nato-camp數據集中包含31幀紅外圖像與31幀可見光圖像。Bristol Eden Project數據集中包含32幀紅外圖像與32幀可見光圖像。在測試實驗前，每一對紅外與可見光圖像經過嚴格配準。

圖4中，(a)與(b)分別表示紅外源圖像與可見光源圖像，(c)～(h)分別表示Laplace金字塔融合方法、曲波變換融合方法、雙樹復小波變換融合方法、向導濾波融合方法、基于卷積稀疏表示融合方法與本文算法的結果圖。由圖4中可以看出，Laplace金字塔融合方法、雙樹復小波變換融合方法與基于卷積稀疏表示的融合方法能有效地提高融合圖像的分辨率，保留可見光圖像的紋理細節信息。但這三種算法的融合結果圖中人形目標與紅外源圖像的人形目標相比，灰度值有較大的差異。曲波變換融合方法的結果圖整體上顯得很模糊，分辨率較低，且人形目標不夠清晰。向導濾波融合方法的結果圖中人形目標非常清晰，但叢林區域的紋理細節信息丟失嚴重，顯得很模糊。相比于五種融合算法的結果圖，本文算法的結果圖人形目標非常清晰，且紋理細節信息同樣很清晰，分辨率很高。從人類視覺的角度，本文算法的性能要優于其它五種融合算法。

圖4 紅外與可見光圖像融合結果 (Nato-camp)

為了測試融合算法的性能，本文算法與比較算法均在31幀紅外與可見光圖像對上實現。圖5為六種融合算法在31幀測試數據上的五種客觀評價指標數值結果曲線圖。表1列出了六種融合算法在31幀測試數據上的五種客觀評價指標數值結果平均值，其中最優平均數值結果被標記為粗體。對于五種客觀評價指標，熵值越大越好，而Qw、Qe、Qabf和VIF等指標值越接近于1越好。圖5(a)為熵的數值結果曲線圖，藍色曲線表示本文算法。本文算法的31幅融合圖像中大部分圖像具有最優熵值，但有少許圖像的熵值要低于對應向導濾波方法融合圖像的熵值。圖5(b)與(c)為Qw和Qe指標的數值結果曲線圖。本文算法的大部分融合圖像擁有最優的Qw和Qe的數值結果。但少量融合圖像的Qw和Qe的數值要比其它對比算法融合圖像的Qw和Qe的數值小。圖5(d)為Qabf評價指標的性能曲線，可以看到藍色曲線整體處于黑色曲線與青色曲線之下。圖5(e)為VIF指標的性能曲線，可以看出藍色曲線全部處于其余五種曲線之上，這說明本文算法的31幅融合結果均具有最優VIF值。通過表1可以看出，本文算法擁有最優的熵、Qw與VIF客觀評價指標平均值。本文算法的Qe均值要略小于雙樹復小波的Qe均值。至于Qabf評價指標，本文算法在六種算法中排在第三位，其均值比Laplace金字塔融合方法和向導濾波融合方法的均值要小。綜上所述，從視覺評估與客觀評價的角度，本文算法在31幀序列圖像上表現出很好的融合性能。

圖5 六種融合算法的客觀評價指標數值結果 (Nato-camp)

表1 六種融合算法的客觀評價結果平均值(Nato-camp)

圖6中，(a)與(b)分別表示Bristol Eden Project數據集的某幀紅外與可見光圖像,(c)～(h)分別表示五種對比算法與本文算法的融合圖像。紅外源圖像的分辨率較低，但運動目標清晰可見。可見光圖像分辨率很高，紋理細節清晰，但因樹木遮擋使得目標無法分辨。由圖中可以看出Laplace金字塔方法、曲波變換方法、雙樹復小波變換方法與卷積稀疏表示方法有效保留了可見光圖像的高分辨率信息，但目標物體的分辨率不高，信息被弱化。向導濾波方法的融合圖像分辨率非常差，細節信息不清晰，但目標物清晰可見。相較于其它五種融合算法結果，本文算法的融合圖像不僅分辨率高，細節信息清晰，且目標可視度高，易于識別。

圖7為六種融合算法在32幅融合圖像上的客觀評價數值結果，其中藍色曲線代表本文算法。圖7(a)～(c)與(e)中藍色曲線均在其它五種融合算法評價曲線之上，這表明從熵、Qw、Qe與VIF四項客觀評價指標來看，本文算法具備最優性能。圖7(d)為Qabf的性能曲線。藍色曲線處于黑色曲線下方，表明本文算法在Qabf指標上明顯低于向導濾波算法。表2列出了五種客觀評價指標數值結果平均值。除了Qabf指標外，本文算法的其余四項客觀評價指標平均值要明顯高于比較算法的對應客觀評價指標平均值。總之，無論是從視覺效果，還是客觀評價指標，本文算法對于實現紅外與可見光多幀序列圖像融合具有優秀性能。

圖6 紅外與可見光圖像融合結果(Bristol Eden Project)

表2 六種融合算法的客觀評價結果平均值 (Bristol EdenProject)

Tab.2 Objective evaluation mean valuesby six fusion methods (Bristol Eden Project)

融合方法評價指標熵QwQeQabfVIFLaplace金字塔6.3990.7740.6900.4770.397曲波變換6.3890.7470.6290.3840.376雙樹復小波變換6.5570.7700.6960.4130.453向導濾波5.8860.5480.4640.5780.073卷積稀疏表示6.2730.7600.6730.4820.322本文算法6.7690.7850.7280.4800.562

圖7 六種融合算法的客觀評價指標數值結果(Bristol Eden Project)

4 結 論

針對場景中運動目標被遮擋的紅外與可見光圖像序列，本文提出了基于低秩稀疏表示的圖像融合方法。利用低秩稀疏表示理論，將紅外圖像與可見光圖像的背景與目標進行分離，然后針對背景與目標特性，采用不同融合方法分別實現紅外與可見光低秩分量融合與稀疏分量融合。本文算法在保證背景圖像細節紋理清晰的同時，還能保證目標信息的完整性。實驗結果證明了本文算法的可行性與有效性。本文算法適用于運動目標被遮擋的紅外與可見光圖像序列融合，為目標檢測、識別與監控提供了技術支持。