基于多傳感器像素分類的紅外圖像超分辨率算法

陳繼光 蘇冰山

（鄭州航空工業(yè)管理學(xué)院 智能工程學(xué)院，河南 鄭州450046）

紅外圖像反映成像場(chǎng)景的熱力學(xué)信息，在醫(yī)療衛(wèi)生如快速體溫檢測(cè)和疾病篩查等方面應(yīng)用前景廣闊，另外，紅外圖像在軍事偵察如戰(zhàn)場(chǎng)信息捕獲等方面應(yīng)用廣泛。但是由于紅外成像原理和硬件設(shè)備技術(shù)水平的限制，紅外相機(jī)直接獲得的紅外圖像分辨率較低，并且邊緣模糊。

提高紅外圖像的分辨率成為十分必要的問題。傳統(tǒng)總廣義變分[1]（Total Generalized Variation，TGV）正則化方法可以有效保留超分辨率重建圖像的邊緣，但是紅外圖像自身的邊緣不夠清晰，使得重建圖像質(zhì)量不高。文獻(xiàn)[2]實(shí)現(xiàn)了一種基于TGV 的紅外圖像超分辨率算法，但是算法中交替方向乘數(shù)法的收斂性較差。

以上方法為基于同類紅外傳感器獲取的紅外圖像實(shí)現(xiàn)的超分辨率算法，由于紅外圖像自身的邊緣模糊，使得重建的高分辨率紅外圖像邊緣細(xì)節(jié)不夠清晰。

高分辨率可見光圖像可以容易的由相機(jī)直接獲取，并且可見光圖像的邊緣細(xì)節(jié)清晰，因此可借助同場(chǎng)景的高分辨率可見光圖像的邊緣補(bǔ)充低分辨率紅外圖像邊緣模糊的缺點(diǎn)。文獻(xiàn)[3]將TGV 正則化方法與各向異性張量[4]相結(jié)合，由高分辨率可見光圖像引導(dǎo)低分辨率圖像進(jìn)行超分辨率重建，但各向異性張量在獲取可見光圖像邊緣的同時(shí)也引入了噪聲，增加了噪聲的來(lái)源和種類，致使重建圖像被多種噪聲污染。文獻(xiàn)[5]通過(guò)一種改進(jìn)的二階TGV 正則化模型重建紅外圖像，重建的高分辨率圖像中紅外圖像自身的噪聲得到抑制，但是算法實(shí)現(xiàn)的時(shí)間變長(zhǎng)；采用相位一致[6]邊緣提取算法減少了可見光圖像噪聲的干擾，但也使得可見光圖像的邊緣信息的獲取不夠全面，同時(shí)由于引入了同場(chǎng)景可見光圖像的無(wú)關(guān)信息，使得重建結(jié)果出現(xiàn)一定的失真。文獻(xiàn)[7]將紅外圖像和同場(chǎng)景的可見光圖像的邊緣進(jìn)行相關(guān)性分類，然后得到紅外圖像的高頻信息，最后將高頻信息與TGV 模型的數(shù)據(jù)項(xiàng)結(jié)合起來(lái)得到最終的高分辨率紅外圖像，但高頻信息與正則化模型的數(shù)據(jù)項(xiàng)結(jié)合難以將可見光的邊緣信息有效的體現(xiàn)在重建結(jié)果中。

針對(duì)以上問題，本文采用一種基于多傳感器的TGV 模型實(shí)現(xiàn)紅外圖像超分辨率重建。算法利用各向異性張量獲取可見光圖像的高頻邊緣信息，然后將可見光圖像的高頻邊緣信息與對(duì)應(yīng)低分辨率紅外圖像插值放大的結(jié)果做像素相關(guān)性分類，最后以相關(guān)性分類后的相關(guān)邊緣對(duì)TGV 模型加權(quán)，得到高分辨率紅外圖像。

1 算法框架

本文算法框架下式，該算法迭代求解出最優(yōu)化條件下的超分辨率重建圖像IH：

上式由正則約束項(xiàng)R（I）和數(shù)據(jù)項(xiàng)D（I，IS）組成，I 為紅外圖像超分辨率重建后的結(jié)果，IS為低分辨率紅外圖像。正則約束項(xiàng)利用圖像的先驗(yàn)約束條件對(duì)重建的近似解空間進(jìn)行約束，得到邊緣相對(duì)清晰的唯一解；數(shù)據(jù)項(xiàng)主要用于控制重建后的高分辨率紅外圖像與原始低分辨紅外圖像的逼近程度，得到接近低分辨率原圖的高分辨率圖像。

2 算法實(shí)現(xiàn)

對(duì)于紅外圖像超分辨率來(lái)說(shuō)，二階總廣義正則化效果較好并且運(yùn)算量適合實(shí)際應(yīng)用，其表達(dá)式如下：

其中ν 為TGV 正則化算法中的對(duì)稱矩陣，a 和b 分別用于控制二階項(xiàng)與一階項(xiàng)所占比重的標(biāo)量參數(shù)。

2.1 圖像相關(guān)性分類

為了利用同一場(chǎng)景的可見光圖像和紅外圖像之間相關(guān)邊緣信息提高紅外圖像分辨率，避免非相關(guān)圖像塊對(duì)紅外超分辨重建結(jié)果造成影響，本文在提取邊緣信息后將邊緣區(qū)域分類為相關(guān)邊緣和非相關(guān)邊緣。在邊緣信息分類時(shí)我們采用相關(guān)系數(shù)分類法加以分類。

根據(jù)相關(guān)系數(shù)將圖像邊緣分類為相關(guān)邊緣和非相關(guān)邊緣的步驟是：首先提取可見光圖像邊緣，然后采用歸一化互相關(guān)方法來(lái)測(cè)定可見光圖像邊緣和插值放大后的紅外圖像像素的相似度：

2.2 相關(guān)邊緣對(duì)TGV 模型加權(quán)

本文將可見光圖像和對(duì)應(yīng)紅外圖像的相關(guān)邊緣對(duì)TGV 模型加權(quán)，同時(shí)將數(shù)據(jù)項(xiàng)與正則約束項(xiàng)結(jié)合起來(lái)，得到算法的目標(biāo)函數(shù)：

目標(biāo)函數(shù)采用一階主- 對(duì)偶優(yōu)化方法實(shí)現(xiàn)，最終結(jié)合梯度下降法求得最優(yōu)解。由此（4）式轉(zhuǎn)化為：

上式中M×N 即為待求的高分辨率紅外圖像的分辨率，p、q為主- 對(duì)偶優(yōu)化算法中的對(duì)偶變量。

在主- 對(duì)偶優(yōu)化算法中，主變量I，ν 和對(duì)偶變量p，q 通過(guò)迭代計(jì)算求解。第一次迭代時(shí)，I=IS，令ν，p，q=0，步長(zhǎng)θp，θq均設(shè)為大于0 的常數(shù)。迭代計(jì)算的三個(gè)過(guò)程如下：

第一，梯度上升迭代更新對(duì)偶變量：

I0和ν0為迭代計(jì)算的中間結(jié)果，μ 的值每次迭代時(shí)都更新。本文算法由以上計(jì)算過(guò)程得到收斂的優(yōu)化解。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)將最近鄰插值算法、文獻(xiàn)[3]的方法、文獻(xiàn)[5]的方法、本文的算法加以對(duì)比，文獻(xiàn)[3]和文獻(xiàn)[5]中的算法均為基于多傳感器的TGV 超分辨率算法。實(shí)驗(yàn)圖像源于俄勒岡州立大學(xué)的紅外和可見光圖像庫(kù)，實(shí)驗(yàn)中a 取0.023，b 取0.154，圖2 為2 倍超分辨率重建的實(shí)驗(yàn)結(jié)果，結(jié)果中圖片的分辨率為320×240。

根據(jù)實(shí)驗(yàn)結(jié)果，取圖像庫(kù)中的房屋圖像的數(shù)據(jù)，最近鄰插值算法所得結(jié)果的PSNR=37.8208；文獻(xiàn)[3]算法所得結(jié)果PSNR=38.3991；文獻(xiàn)[5]算法所得結(jié)果PSNR= 38.805；為本文算法所得結(jié)果的PSNR= 38.8498。本文獲得的高分辨率紅外圖像峰值信噪比（PSNR）最高，證明圖像質(zhì)量最高。

4 結(jié)論

基于單一種類紅外傳感器獲取的紅外圖像進(jìn)行超分辨率重建時(shí)缺乏高頻信息，使得重建圖像邊緣不清晰。基于多傳感器的TGV 算法求解高分辨率紅外圖像時(shí)引入了無(wú)關(guān)信息，使得圖像出現(xiàn)失真。針對(duì)以上問題本文實(shí)現(xiàn)了一種基于總廣義變分和圖像像素相關(guān)性分類的紅外圖像的超分辨率算法，算法利用各向異性張量提取高分辨率可見光圖像的邊緣信息，然后將分類后的相關(guān)邊緣和二階總廣義變分模型相結(jié)合。本文算法抑制了可見光圖像邊緣中無(wú)關(guān)信息的干擾，獲得邊緣清晰的高分辨率紅外圖像。實(shí)驗(yàn)結(jié)果證明本文算法效果優(yōu)于其他算法。