基于結(jié)構(gòu)稀疏化的紅外圖像超分辨率重建算法

祁偉 李偉 陳錢

（1.蘇州長風(fēng)航空電子有限公司 江蘇省蘇州市 215010）

（2.南京理工大學(xué) 江蘇省南京市 210094）

隨著高分辨率顯示設(shè)備的普及，對(duì)高分辨率、高質(zhì)量的圖像需求越來越大，超分辨率重建的目的就是將低分辨率的圖像重建成高分辨率圖像，同時(shí)保證細(xì)節(jié)較多、噪聲干擾較少。高分辨率圖能夠有助于提高大量的視覺任務(wù)，如目標(biāo)識(shí)別、人臉識(shí)別等。然而，由于成像傳感器的限制，目標(biāo)運(yùn)動(dòng)導(dǎo)致成像模糊及傳感器曝光時(shí)間等影響，獲得的圖像分辨率較低，圖像質(zhì)量相對(duì)較差，且噪聲干擾嚴(yán)重。隨著計(jì)算機(jī)視覺的發(fā)展，超分辨率重建算法得到廣泛的發(fā)展，重建出的圖像質(zhì)量相對(duì)較高，能夠滿足成像器件的需求。

最近，Gunturk等人利用基于KL變換的降維實(shí)現(xiàn)高分辨率圖像[1]。Yang利用稀疏編碼的超分辨率重建算法（Yang_SR）[8]。Datsenko等人利用正則化來實(shí)現(xiàn)圖像的超分辨率重建[2]。Glasner等人利用圖像塊中的特征信息存在冗余重現(xiàn)的特點(diǎn)，聯(lián)合多圖像特征信息實(shí)現(xiàn)超分辨率重建[3]。Takeda等人利用轉(zhuǎn)向核回歸分析圖像特征信息，對(duì)圖像進(jìn)行放大以實(shí)現(xiàn)超分辨率重建[4]。Yang等人利用圖像塊之間的自相似信息，將基于稀疏表示轉(zhuǎn)為對(duì)偶變量的稀疏約束表示，并通過正則化項(xiàng)實(shí)現(xiàn)圖像的超分辨率重建[5]。Lu等人提出一種基于非局部自相似和圖方法的稀疏編碼方法，改進(jìn)傳統(tǒng)的學(xué)習(xí)訓(xùn)練方法，重建后的圖像質(zhì)量得到顯著提升[6]。Dong等人對(duì)低分辨率圖像塊選擇子字典，引入局部回歸核和自相似信息約束噪聲，保留豐富的紋理信息，有效抑制重建過程中鋸齒和振鈴現(xiàn)象[7]。Zeyde等人利用核SVD和正交匹配跟蹤的方法（Zeyde_SR），用于圖像超分辨率重建[9]。

已有的超分辨率重建算法主要適用于自然圖像場景，很少有重建算法能夠適用于紅外圖像場景，這主要是因?yàn)榧t外圖像的成像特性和自然圖像成像特性不同，紅外圖像中高頻區(qū)域偏移嚴(yán)重，背景噪聲干擾也嚴(yán)重，圖像視覺質(zhì)量低于自然圖像的視覺質(zhì)量。考慮到上述問題，本文提出了一種基于結(jié)構(gòu)稀疏化的紅外圖像超分辨率重建算法，通過對(duì)稀疏編碼進(jìn)行結(jié)構(gòu)化設(shè)計(jì)，保留稀疏字典中較多的非零值對(duì)對(duì)應(yīng)區(qū)域的特征信息，通過對(duì)字典進(jìn)行結(jié)構(gòu)重建，保留較多的連續(xù)高頻區(qū)域信息特征。進(jìn)而，本算法能夠保留重要的紅外圖像特征信息，對(duì)離散的高頻噪聲抑制較好，圖像中背景層次感較強(qiáng)。

本文通過多種紅外圖像數(shù)據(jù)評(píng)價(jià)本文提出的紅外圖像超分辨率重建算法，實(shí)驗(yàn)結(jié)果表明本文的算法優(yōu)于傳統(tǒng)的稀疏編碼重建算法，重建后圖像清晰程度較高，背景噪聲干擾較少。

1 本文算法

對(duì)于低分辨率紅外圖像I，需要重建出高質(zhì)量的輸出紅外圖像，本文提出一種結(jié)構(gòu)化稀疏的重建算法，利用稀疏轉(zhuǎn)化矩陣重建出豐富的紋理細(xì)節(jié)和清晰的結(jié)構(gòu)信息。對(duì)傳統(tǒng)的稀疏編碼進(jìn)行結(jié)構(gòu)化優(yōu)化，保留更多清晰的結(jié)構(gòu)成份。本文采用一種結(jié)構(gòu)化的最近鄰場優(yōu)化目標(biāo)函數(shù)：

圖1

其中，ki表示低分辨率像素信息，表示為紋理代價(jià)函數(shù)、表示結(jié)構(gòu)代價(jià)函數(shù)，通過這兩種代價(jià)函數(shù)，可有效地重建出高分辨率圖像Ssr。

1.1 紋理代價(jià)函數(shù)

在紅外圖像重建過程中，紋理細(xì)節(jié)能夠表征出圖像中目標(biāo)及背景的重要特征信息，能夠有效地反映出目標(biāo)與背景的差異。本文利用紋理代價(jià)函數(shù)來度量低分辨率圖像和高分辨率圖像之間的相似性，即：

其中，Dh()表示高分辨率重建字典函數(shù)，表示重建稀疏系數(shù)，P()表示紋理重建函數(shù)，ki表示第i個(gè)圖像塊的特征信息，Q()表示高斯函數(shù)。

對(duì)于紋理重建函數(shù)，本文采用一種信息加權(quán)方法來計(jì)算紋理重建函數(shù)，即：

1.2 結(jié)構(gòu)代價(jià)函數(shù)

在紅外圖像重建過程中，結(jié)構(gòu)成份能夠表征出顯著的輪廓信息，能夠凸顯出圖像中重要的特征信息。本文利用結(jié)構(gòu)代價(jià)函數(shù)來約束重建過程中結(jié)構(gòu)成份，即：

其中，D表示高分辨率圖像降采樣字典，λ、β表示控制系數(shù)，表示正則化函數(shù)，用來保持較好的幾何特性，緩解字典訓(xùn)練過程中的不適應(yīng)性。表示L2范數(shù)，用來獲得較好的稀疏性。

2 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)平臺(tái)為intel i7-3630 2.9GHz四核CPU、8GB RAM，使用軟件為Matlab 2014B。在仿真實(shí)驗(yàn)中，利用紅外相機(jī)獲取多種紅外圖像場景，對(duì)圖像超分辨率重建算法進(jìn)行分析，采用峰值信噪比（PSNR）比對(duì)XX種圖像超分辨率重建算法。

圖1給出了紅外圖像超分辨率重建效果對(duì)比，該紅外圖像場景復(fù)雜，亮度信息較少，這增加了重建算法的復(fù)雜程度。從圖1中可以看出，重建圖像的輪廓信息比較明顯，層次也相對(duì)清晰，背景噪聲相對(duì)較少。這主要是因?yàn)楸疚乃惴▽?duì)稀疏編碼進(jìn)行結(jié)構(gòu)約束，一定程度上保留了清晰的結(jié)構(gòu)信息，對(duì)背景雜亂的噪聲抑制較強(qiáng)，有效提高了圖像的視覺質(zhì)量。其他算法忽略了低分辨率紅外圖像高頻成份的重要性，導(dǎo)致重建后出現(xiàn)人為痕跡，也出現(xiàn)了振鈴效應(yīng)，這在一定程度上影響了重建圖像的成像質(zhì)量。這些算法重建出的圖像相對(duì)模糊，重要的高頻信息丟失比較嚴(yán)重，影響了圖像的層次感。表1給出了PSNR對(duì)比結(jié)果。從表中可以看出，本文算法獲得的PSNR值最高，說明本文所提出的紅外圖像超分辨率重建算法性能最好，優(yōu)于其他幾種超分辨率重建算法，一定程度上說明本文重建算法在噪聲抑制、細(xì)節(jié)和結(jié)構(gòu)信息保持方面優(yōu)于其他算法，能夠重建出高質(zhì)量的紅外圖像。

表1給出了三種圖像超分辨率重建算法在四種不同的紅外圖像場景下的PSRN值。從表中可以看出，本文算法獲得的PSNR值最高，說明本文算法在噪聲抑制、細(xì)節(jié)重建方面具有顯著的優(yōu)勢(shì)，高的PSRN值表明算法能夠保留相對(duì)尖銳的目標(biāo)邊緣信息，獲得的結(jié)構(gòu)成份也相對(duì)清晰。這主要是因?yàn)樵诮Y(jié)構(gòu)代價(jià)函數(shù)重建過程中，對(duì)容易出現(xiàn)振鈴效應(yīng)的邊界區(qū)域噪聲抑制較好。其它重建算法獲得的PSNR值相對(duì)較低，說明這些算法在重建過程中紋理細(xì)節(jié)被淹沒在噪聲干擾中，重建出的結(jié)構(gòu)成份也相對(duì)模糊。這主要是因?yàn)檫@些重建算法沒有單獨(dú)考慮紋理細(xì)節(jié)和結(jié)構(gòu)成份信息的重要性，只是統(tǒng)一地去重建出高質(zhì)量的圖像，這嚴(yán)重降低了重建圖像的視覺質(zhì)量。

3 結(jié)束語

本文提出了一種基于結(jié)構(gòu)稀疏化的紅外圖像超分辨率重建算法，通過對(duì)稀疏編碼字典進(jìn)行結(jié)構(gòu)約束，保留了重要的紅外特征信息。實(shí)驗(yàn)結(jié)果表明，本文提出的算法能夠獲得高質(zhì)量的重建圖像，圖像較清晰，背景噪聲干擾較少，提高了圖像的視覺質(zhì)量。

表1：三種圖像超分辨率重建算法PSNR比對(duì)