基于LatLRR和PCNN的紅外與可見光融合算法

謝艷新

(吉林農業科技學院 電氣與信息工程學院，吉林 吉林 132101)

1 引 言

紅外與可見光融合技術將包含不同波段的圖像信息加以綜合，目前已經在軍事探測、遙感成像、計算機視覺等領域都有著廣泛的應用[1]。通常情況下，紅外傳感器檢測到的高熱量區域一般是人們關注的目標物體，但是其圖像的細節保留能力較差[2]。與此相反，可見光圖像卻包含豐富的細節信息，同時符合人眼的視覺特性。因此，上述兩種圖像的有效融合有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標[3]。

針對紅外與可見光圖像融合，學者們多采用多尺度分解(MST)[4]的方法進行處理。值得一提的是，在眾多MST工具中，非下采樣剪切波變換(NSST)[5]算法具有簡單的數學結構，良好的方向選擇性和各向異性。除此外，它在分解過程中去除了下采樣操作，具備平移不變性，因此具有極佳的分解效果[6]。NSST方法可將源圖像分解成一系列不同尺度、不同頻率的子帶圖像，然后采用適當的融合規則對其進行處理，最終得到融合圖像。針對低頻子帶圖像，最為常見的融合規則就是加權平均法[7]。該方法只是將源圖像的亮度進行空間疊加，容易導致融合圖像解析度下降，并且丟失很多顯著性信息。潛在低秩表示(LatLRR)[8]是一種無監督的特征提取算法，它能夠從數據中魯棒地提取圖像的顯著性特征[9]，這為本文的研究提供了一定的思路。受此啟發，鑒于LatLRR在提取圖像顯著性的過程中可以獲取顯著圖，而顯著圖包含了視覺敏感區域在空間分布的權重信息，因此本文利用它作為權重函數對低頻子帶進行自適應加權融合。相比于傳統的加權平均法，該規則兼容了源圖像之間的光譜差異性[10]，能夠表征圖像的顯著特征信息，使最終的融合圖像符合人眼視覺特性。

高頻子帶圖像包含了圖像的邊緣信息，因此往往采用“絕對值最大”[11]的規則指導融合，但這容易誤選噪聲系數作為最后的融合系數。PCNN[12]作為一種具有人眼仿生機制的模型，對紋理細節比較敏感，因此適合處理高頻子帶圖像。傳統的PCNN模型往往采用單通道模型[13]，同時其連接強度往往是恒定的，并且外界刺激一般采用單個像素值。為了彌補這些缺陷，本文提出一種改進的雙通PCNN模型處理高頻子帶信息，充分利用局部圖像信息，有效提取圖像細節。

綜上所述，本文提出一種基于LatLRR和PCNN的多尺度紅外與可見光融合算法。該方法利用NSST、PCNN和LatLRR 3種方法的優點，將可見光的紋理信息與紅外圖像的顯著性特征完美結合，最終取得了較好的融合效果。

2 相關理論

2.1 非下采樣剪切波變換(NSST)

多尺度分解：圖像f經過非下采樣金字塔(NSP)分解，最終可得k+1個與f大小相同的子帶圖像。這k+1個圖像包括1個低通子帶圖像和k個帶通子帶圖像。

方向局部化：NSST利用剪切波濾波器實現高頻圖像的方向局部化。具體實現過程為：

(1)將偽極化坐標映射到笛卡爾坐標；

(2)利用“Meyer”小波構造窗函數，生成剪切波濾波器；

(3)將k個帶通子帶圖像和“Meyer”窗函數進行卷積操作，然后獲得方向子帶圖像。

2.2 潛在低秩表示(LatLRR)

LatLRR[14]的核心思想就是將數據矩陣表示為低秩分量、稀疏分量與稀疏噪聲三者的線性疊加。對于一個圖像矩陣X∈RMN，它可能被解釋為：

X=XL+SX+E，

(1)

其中L代表低秩矩陣，L∈RNN；S代表稀疏矩陣，S∈RMM；E代表稀疏噪聲，E∈RMN；XL代表圖像的近似部分，SX代表圖像的顯著性信息。

1979年蘇格蘭獨立公投的失敗導致了蘇格蘭問題的爆發，但也帶來了意想不到的結果：文學藝術的復興和繁榮。蘇格蘭開始通過文學和藝術創作重新思考和定義自我身份，反映蘇格蘭文化藝術多樣性和“新蘇格蘭”的作品迭出，可以說“80年代是近兩個世紀以來蘇格蘭文化自我建構最重要的時期之一”（Harvie 1991：77）。《蘭納克》的出版正是對自戰后以來蘇格蘭社會變遷的回應。這部小說創作歷時近30年，跨越了蘇格蘭社會問題頻發的階段，又恰好出版于公投失敗之后，再加上格雷民族主義者的政治身份，那么就不難理解小說中對蘇格蘭民族身份和社會政治的影射和思考了。

為了解決公式(1)的問題，可以采用凸優化函數處理，即范數最小化，其表達式如下所示：

(2)

其中:λ>0；‖ ‖*表示矩陣的核范數，即矩陣的奇異值的和；‖ ‖1表示1范數，即矩陣中所有元素的絕對值之和。除此外，公式(2)也可以通過增廣拉格朗日乘子(ALM)[13]方法來解決。

2.3 脈沖式耦合神經網絡(PCNN)

鑒于傳統單通道PCNN[15]模型本身存在參數眾多且不可忽略，并且由于只能反映一個源圖像的信息，因此對圖像中的偏暗區域不敏感，為此本文采用一種改進的雙通道PCNN模型，其表達式如下：

(3)

(4)

(5)

(6)

(7)

θxy(n)=θxy(n-1)-Δ+VθYxy(n)，

(8)

(9)

3 基于LatLRR和PCNN的多尺度融合

本文針對光譜差異較大的紅外與可見光圖像融合，提出了一種基于LatLRR和PCNN的多尺度融合算法。首先，該方法利用NSST獲取圖像的低頻與高頻分量。其次，針對低頻子帶，采用基于LatLRR方法進行自適應加權融合；針對高頻分量，利用改進的雙通道PCNN模型指導其融合。最終，利用NSST逆變換重構融合子帶，獲取融合圖像。其中圖1展示了本文算法的流程圖。

圖1 本文提出的融合模型示意圖Fig.1 The Schematic of the proposed fusion mod

3.1 低頻分量的融合規則

圖像的低頻分量代表了圖像的主要能量，是圖像的近似部分，因此低頻分量的融合規則決定最終的融合效果。本文采取的融合步驟如下：

第一步：采用LatLRR算法分別對IR與VI圖像進行分解，獲得各自的顯著特征矩陣SIR(x,y)與SVI(x,y)，然后再將兩幅圖的灰度值進行歸一化，形成加權系數矩陣Si(x,y)與Sv(x,y)：

(10)

第二步：利用Si與Sv獲取低頻分量融合時的加權系數，其具體表達式如下所示：

(11)

(12)

其中：ωi(x,y)與ωv(x,y)分別代表紅外圖像與可見光圖像的加權融合系數。

第三步：利用加權系數獲得融合圖像的低頻分量，其表達式如下：

(13)

3.2 高頻分量的融合規則

為了能讓高頻分量更好地反映圖像的邊緣特征和紋理細節，本文采用一種改進的雙通道PCNN模型指導高頻分量的融合(圖 1)，其融合步驟如下：

第一步：首先，令雙通道PCNN模型中各參數初始化。鑒于圖像的平均梯度算子(AVG)[16]

恰好能能夠反映圖像的邊緣、紋理的細節，這與高頻分量的本質相似，因此采用其計算神經元的外界刺激：

(14)

Dx(x,y)=Dl,k(x,y)-Dl,k(x+1,y)，

(15)

Dy(x,y)=Dl,k(x,y)-Dl,k(x,y+1).

(16)

第二步：PCNN模型的鏈接強度反映了神經元耦合關系的強弱，為了能夠同樣反映高頻分量的特征，本文采用方向梯度和算子(SDG)作為鏈接強度：

KSDGl,k(x,y)=Dh(x,y)+Dv(x,y)，

(17)

，

(18)

，

(19)

其中:公式(17)～(19)表示對高頻子帶系數Dl,k(x,y)求解方向梯度和KSDGl,k(x,y)即高頻分量PCNN模型的鏈接強度，它能夠表達圖像的梯度特征。

第三步：迭代公式(3)～(9)直到所有神經元都被點火，計算Uxy(n),Lxy(n),θxy(n),Txy(n),Yxy(n)，融合系數的規則如下：

(20)

(21)

(22)

其中:n代表迭代次數，Dl,k(x,y)代表最終的高頻子帶融合系數。

4 實驗結果與分析

為了驗證本文算法的有效性，我們采用NSST、NSST-PCNN、NSST-SF-PCNN[17]、等方法作為對比。為了表現算法的廣泛性，我們選取了3種不同環境的紅外與可見光圖像，這些源圖像都已經過嚴格的配準。其中第一組為夜晚的街道，第二組為植被，第三組為樹叢。其中第1組到第3組圖像的大小分別為632×496、430×340、360×270。本文算法的NSST采用“maxflat”作為金字塔濾波器，其中分解層數為4層，每層分解的方向數分別為[4, 4, 8, 8]，LatLRR算法中λ=0.04。除此外，NSST-PCNN方法中的參數設置為：αL=0.069 31,αθ=0.2,VL=1,Vθ=20,θ=0.2,N=100,W=[0.707, 1, 0.707; 1, 0, 1; 0.707, 1, 0.707]。NSST方法的剪切波濾波器參數與本文相同，其低頻分量采用“加權平均規則”，高頻則采用“絕對值最大原則”。

4.1 主觀視覺評價

圖2～圖4分別代表第1組到第3組的融合實驗，每組圖中的(a)～(f)分別代表紅外圖像、可見光圖像、NSST、NSST-PCNN、NSST-SF-PCNN和本文算法的融合圖像。總的來講，基于NSST方法的融合圖像對比度都比較低，整體比較昏暗，不適合人眼視覺觀感。其中第一組實驗中，圖像的整體亮度較其他對比算法較低，因此其丟失了大量圖像特征。而NSST-PCNN、NSST-SF-PCNN方法的融合圖像都出現了一定的偽影噪點，其中以第一組實驗中兩種方法的字牌都含有黑色的噪點。并且，第三組實驗中，NSST-SF-PCNN則在樹叢中出現偽影噪點。相比之下，本文算法的融合圖像包含更為顯著的紅外目標信息和更豐富的可見光圖像背景信息，因此具有較好的主觀融合效果。由于采用了全新的低頻融合規則，因此融合圖像在主體觀感上兼容了源圖像的光譜特性，凸顯了各自的顯著性信息，更加符合人眼的視覺觀感。同時高頻規則的建立則最大程度還原梯度信息，使圖像具有清晰的邊緣細節。

圖2 第一組融合實驗的視覺對比Fig.2 Visual contrast experiments based on the first group

圖3 第二組融合實驗的視覺對比Fig.3 Visual contrast experiments based on the second group

圖4 第三組融合實驗的視覺對比Fig.4 Visual contrast experiments based on the third group

4.2 實驗評估

在大多數情況下，融合結果之間的差異不大，則難以用主觀方式正確地評價融合結果。因此，為了更加客觀地對融合效果進行評價，本文選取了以下5個客觀質量指標作為評判標準：(1)平均梯度(AVG)[18]；(2)邊緣信息保留量(QG)[19]；(3)空間頻率(SF)[20]。對于這3個指標，數值越大代表性能越好，對于3組融合圖像，詳細的定量評價見表1～表3，其中粗體值表示在上述方法中使用相同索引的最佳結果。

表1 圖2的主觀評價參數Tab.1 Objective evaluation results for Fig. 2

表2 圖3的主觀評價參數Tab.2 Objective evaluation results for Fig.3

我們可以清晰地發現，在3組實驗中，我們除了QG評價值略低于其他對比算法，剩下兩種評價值均保持領先的水平。這表明我們所提出的融合規則能更好地解決融合問題，這與主觀視覺觀感是相似的。綜上所述，本文提出的融合算法在圖像灰度值分布、邊緣細節、清晰度等方面優于其他算法，并且擁有較好的觀感。

表3 圖4的主觀評價參數Tab.3 Objective evaluation results for Fig. 4

5 結 論

本文利用基于LatLRR和PCNN的多尺度融合模型指導紅外與可見光圖像融合。該模型利用NSST作為多尺度分解工具獲取圖像的低頻與高頻分量。針對低頻分量采用基于LatLRR的方法指導其自適應加權融合，而高頻分量則利用自適應雙通道PCNN模型對其進行指導。該算法可以彌補兩種源圖像較大的光譜差異性，同時較完整地保留了豐富的紋理信息和細節信息。最終，該方法在視覺質量和定量評價方面都優于現有的其他融合算法。