基于改進總廣義變分的紅外圖像超分辨率算法

蘇冰山 陳繼光 陳雨

摘要：本文提出一種新的紅外圖像超分辨率算法。算法將一種改進型的二階總廣義變分模型與紅外圖像的高頻估計結(jié)合起來：首先根據(jù)相位一致算法提取可見光圖像和紅外圖像的邊緣;然后將提取的圖像邊緣按照相關(guān)邊緣和非相關(guān)邊緣分類;分類后依據(jù)可見光圖像與紅外圖像的二次仿射變換關(guān)系模型，得出相關(guān)邊緣紅外圖像的高頻估計;最后將高頻估計圖像與改進的二階總廣義變分模型結(jié)合起來，得到新的正則化模型，由此模型重建高分辨率紅外圖像。實驗結(jié)果證明本文算法優(yōu)于其他算法。

關(guān)鍵詞：紅外圖像超分辨;總廣義變分（TGV）;正則化;多傳感器;高頻估計

中圖分類號：TP391? ? ? ?文獻標識碼：A

文章編號：1009-3044（2019）22-0193-02

開放科學（資源服務）標識碼（OSID）：

紅外圖像反應場景的輻射情況，對外界光照條件沒有要求，成像條件是全天候的，紅外圖像在軍事偵察、醫(yī)療衛(wèi)生和安防監(jiān)控等領(lǐng)域應用廣泛。然而由于紅外圖像的成像原理和硬件技術(shù)水平的限制，可獲得的紅外圖像的邊緣不夠清晰、分辨率較低并且存在噪聲。

為了解決紅外圖像分辨率低的問題，文獻[1]通過最小角度回歸算法和基于稀疏表示的超分辨率方法重建紅外圖像;文獻[2]借助孔徑編碼器和稀疏表示完成對紅外圖像的超分辨重建;文獻[3]通過劃分區(qū)域求得自適應全變分因子合成高分辨率紅外圖像。以上方法均是利用同一種傳感器獲得的圖像進行紅外圖像的超分辨率重建，由于紅外圖像自身的局限性如邊緣模糊，存在噪聲等特點導致獲得的高分辨率紅外圖像質(zhì)量不高

可見光成像設(shè)備技術(shù)成熟且價格相對低廉，可以方便地拍攝高分辨率可見光圖像，同時，直接拍攝的高分辨率可見光圖像邊緣細節(jié)清晰，可以有效彌補紅外圖像的不足。文獻[4]利用非局部均值濾波正則化和最小二乘法結(jié)合實現(xiàn)多傳感器深度圖像的超分辨率重建，該方法即為基于多傳感器的方法。本文首先根據(jù)相位一致算法提取可見光圖像和紅外圖像的邊緣;將提取的圖像邊緣按照相關(guān)和非相關(guān)邊緣分類;依據(jù)可見光圖像與紅外圖像的二次仿射變換關(guān)系模型，得出相關(guān)邊緣紅外圖像塊的高頻估計，與一階梯度銳化算子改進的總廣義變分模型結(jié)合起來，得到新的正則化模型，并由此模型重建高分辨率紅外圖像。算法中對邊緣像素進行分類，合理的考慮了不同類型圖像的相關(guān)性，限制了可見光圖像的無關(guān)信息對重建紅外圖像的干擾。

1 本文算法框架

本文重建高分辨率紅外圖像的算法框架如圖1，該算法迭代求解出最優(yōu)化條件下的超分辨率重建圖像[IH]：

[IH=argminI{αR（I）+D（I，F(xiàn)S）}]? ? ? ? ? ? ? ? ? ? ? ? （1）

上式由正則約束項[R（I）]和數(shù)據(jù)項[D（I，F(xiàn)S）]組成，[I]為紅外圖像超分辨率重建后的結(jié)果，[FS]為低分辨率紅外圖像的高頻估計，標量參數(shù)[α]為平衡正則約束項與數(shù)據(jù)項之間關(guān)系的權(quán)重值。正則約束項利用圖像的先驗約束條件對重建的近似解空間進行約束，進而求得最優(yōu)解。

2 本文算法流程

2.1 邊緣提取和邊緣像素的相關(guān)性分類

圖像邊緣細節(jié)清晰則超分辨重建圖像會有更加理想的視覺效果。因此提取圖像邊緣細節(jié)區(qū)域?qū)λ惴ㄊ种匾１疚牟捎孟辔灰恢滦运惴ㄌ崛】梢姽鈭D像的邊緣信息[SVIS（i，j）]和紅外圖像的邊緣信息[SIR（i，j）]。

同一場景的可見光圖像和紅外圖像之間存在相關(guān)性和互補性，為了利用相關(guān)邊緣信息提高紅外圖像分辨率，避免非相關(guān)邊緣對紅外圖像超分辨重建結(jié)果造成影響，將存在相關(guān)性的圖像塊提取出來是必要的。因此在提取邊緣信息后將邊緣區(qū)域分為相關(guān)邊緣和非相關(guān)邊緣。在邊緣信息分類時我們采用相關(guān)系數(shù)分類法加以分類。

根據(jù)相關(guān)系數(shù)將圖像邊緣分類為相關(guān)邊緣和非相關(guān)邊緣的步驟是：首先分別提取紅外與可見光圖像邊緣，然后采用歸一化互相關(guān)方法來測定二者邊緣像素的相似度：

[S（i，j）=SVIS（i，j）SIR（i，j）-SVIS（i，j）SIR（i，j）（S2VIS（i，j）-SVIS（i，j）2）（S2IR（i，j）-SIR（i，j）2）]? ? ?（2）

[SVIS（i，j）]和[SIR（i，j）]是指以像素[（i，j）]為中心的大小為5×5的加權(quán)平均圖像塊，當對應像素點為中心的圖像塊的歸一化互相關(guān)系數(shù)大于[Ts]，且提取的圖像塊的邊緣強度[T]大于[Te]，當滿足這兩個條件時，則認為對應的圖像塊相關(guān)，兩個不同傳感器獲取的圖像塊之間可以通過仿射變換，本文算法中[Ts]取0.05，[Te]取0.05。

2.2 邊緣像素的高頻塊估計

相關(guān)邊緣像素可以通過仿射變換關(guān)系估計紅外圖像的高頻細節(jié)。可認為不同傳感器獲取的圖像在局部鄰域內(nèi)存在仿射變換關(guān)系，本文利用如下二次關(guān)系模型：

[Mk，lxIR=（xHσM2k，lxVIS+yHσMk，lxVIS+ze）]for[?（k，l）∈Ωc]? ?（3）

式中[Mk，l]指對圖像以像素[（i，j）]為中心取塊操作，[Hσ]代表高斯模糊核的卷積矩陣，標準差為[σ]，[e]代表單位矩陣，[x]，[y]，[z]分別代表局部仿射變換中的參數(shù)，[Ωc]指可見光圖像和紅外圖像相關(guān)邊緣像素集。

邊緣點[（k，j）]的參數(shù)[x]，[y]，[z]，可以通過平方誤差函數(shù)估算：

[E（x，y，z，σ）=Kk，lxIR-（xHσK2k，lxVIS+yHσKk，lxVIS+ze）22+λ1x2+λ2y2=（i，j）{xp2VIS，σ（i，j）+ypVIS，σ（i，j）+z-pIR（i，j）}2+λ1x2+λ2y2] ? ? ? （4）

公式中[xVIS]和[xIR]分別為可見光圖像和紅外圖像相關(guān)邊緣的圖像塊，[pIR]代表一個紅外圖像塊，[pVIS，σ]代表被標準差為[σ]的高斯核模糊的可見光圖像塊，[（i，j）]代表圖像塊中的像素點，公式中[λ1x2]和[λ2y2]是正則化項，[x]，[y]，[z]可以通過下面近似形式來計算：

[?E/?x|σ=σc=0]，[?E/?y|σ=σc=0]，[?E/?z|σ=σc=0]，[?] ? ? ? ? ? ? ? （5）

[xyz=（i，j）P4VIS，σc+λ1，（i，j）P3VIS，σc，（i，j）P2VIS，σc（i，j）P3VIS，σc，（i，j）P2VIS，σc+λ2，（i，j）PVIS，σc（i，j）P2VIS，σc，（i，j）PVIS，σc，（i，j）1-1×（i，j）P2VIS，σcPIR（i，j）PVIS，σcPIR（i，j）PIR] ? ?（6）

獲得估計的參數(shù)后，紅外圖像的高頻部分可以通過以下方式計算：

[Fk，l=xHσlK2k，lxVIS+yHσlKk，lxVIS+z-Kk，lxIR]? ? ? ? ? ? ? ? ? ? （7）

高頻部分決定了紅外圖像的細節(jié)部分，細節(jié)越豐富則超分辨重建的紅外圖像質(zhì)量相對越好，相關(guān)邊緣進行高頻估計后，改進的TGV模型與估計的高頻細節(jié)[Fk，l]結(jié)合起來并進行多次迭代運算，得到高分辨率紅外圖像。

2.3 高頻塊估計與改進的TGV模型的結(jié)合

TGV模型由任意階多項式組成，本文采用改進的TGV表達式如下：

[ ][T=mins{α2?I+α1?I-s+α0?s+D（I）-Is2}]? （8）

其中[?I]為一階梯度銳化算子，[s]為TGV正則化算法中的對稱矩陣，標量[α2]、[α1]和[α0]為權(quán)重參數(shù)。

本文將上一步驟中得到的高頻估計設(shè)為[Fs]，并將高頻估計作為數(shù)據(jù)項引入已經(jīng)改進的TGV正則化模型，將正則約束項與數(shù)據(jù)項結(jié)合起來，得到算法的目標函數(shù)：

[IH=α2?I+α1?I-s+α0?s+D（I）-Is2+D（I）-Fs2]? ? ? ? ? ?（9）

目標函數(shù)結(jié)合梯度下降法求得最優(yōu)解。由此（9）式轉(zhuǎn)化為：

[IH=minI，smaxp，qα2?I+α1?I-s，p+α0?s，q+i=1Mj=1N（Ii，j-ISi，j）2+i=1Mj=1N（Ii，j-FSi，j）2]? ? ? ? ? ? ? ?（10）

在主-對偶優(yōu)化算法中，主變量[I]，[s]和對偶變量[p]，[q]通過迭代計算求解。第一次迭代時，[I=IS]， 令[s]， [p]， [q]=0，步長[θp]，[θq]均設(shè)為大于0的常數(shù)。迭代計算的三個過程如下：

第一，對偶變量通過梯度上升迭代更新：

[pn+1=pn+θpα2?In0+α1?In0-sn0max（1，pn+θpα2?In0+α1?In0-sn0）]? ? ? ? ? （11）

[qn+1=qn+θqα0?sn0max（1，qn+θqα0?sn0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （12）

第二，主變量通過梯度下降迭代更新：

[In+1=In+kI（α2+α1）?Tpn+1+IS+FS1+kI]? ? ? ? ? ? ? ? ? ? ?（13）

[sn+1=sn+ks（α1pn+1+α0?Tqn+1）]? ? ? ? ? ? ? ? ? ? ? ? ? （14）

上式中[kI]、[ks]為步長。

第三，主變量優(yōu)化：

[In+10=In+1+μ（In+1-In0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （15）

[sn+10=sn+1+μ（sn+1-sn0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （16）

[I0]和[s0]為迭代計算的中間結(jié)果，[μ]的值在每次迭代計算時都進行更新。本文由以上計算過程得到收斂的優(yōu)化解。

3 實驗結(jié)果與分析

本文采用同場景且配準的可見光圖像和紅外圖像進行實驗。實驗將最近鄰插值算法、Choi[5]的算法、David[6]的算法以及本文算法進行對比，以求評價本文算法的效果。算法中取圖像塊的大小為[5×5]，[σ]為2，[σl]為0.3，[Ts]取0.05，[Te]取0.05，[λ1]和[λ2]取0.5，[ω]取0.01，[η]取0.01，[θp]取0.33，[θq]取0.5，[μ]的初值取0.77，[α0]取0.1，[α1]取25，[α2]取0.05。

圖2為實驗結(jié)果。

圖2? ?低分辨率輪船圖像超分辨重建得到的高分辨率紅外圖像（a）為最近鄰插值算法所得結(jié)果;（b）為Choi算法所得結(jié)果;（c）為David算法所得結(jié)果;（d）為本文算法所得結(jié)果;（e）為真實的高分辨率紅外圖像;（al）-（el）分別表示（a）-（e）矩形標注部分的局部放大圖

根據(jù)實驗結(jié)果，本文算法重建效果最好，本文算法利用相位一致性算法提取可見光圖像邊緣并對邊緣像素加以分類，限制了可見光圖像無關(guān)信息的干擾，同時將二次仿射變換得到的高頻估計加入算法模型使得重建圖像邊緣較清晰。

4 結(jié)論

本文對二階總廣義變分模型進行了改進。傳統(tǒng)的TGV模型在計算多傳感器圖像超分辨率時對正則約束項加權(quán)，容易導致可見光圖像的噪聲混入重建圖像。本文利用相位一致算法提取紅外和可見光圖像的邊緣并進行相關(guān)性分類，避免了非相關(guān)邊緣對重建圖像的干擾，然后對相關(guān)性分類以后的紅外和可見光圖像邊緣進行二次仿射變換，將得到的高頻估計圖像與改進的TGV模型結(jié)合起來，與其他算法相比本文的方法不僅有更好的視覺效果，PSNR也有提高。

參考文獻：

[1]? 戚曹，朱桂斌，唐鑒波，等. 基于稀疏表示的紅外視頻圖像超分辨率算法[J]. 計算機工程， 2016.42（3）：278-282.

[2] 王新華，歐陽繼紅，龐武斌. 壓縮編碼孔徑紅外成像超分辨重建[J]. 吉林大學學報（工學版）， 2016.46（4）：1239-1245.

[3] 翟海天，李輝，李彬. 基于區(qū)域劃分的紅外超分辨率重建[J]. 光學精密工程，2015.23（10）：2989-2996.

[4]? Jaesik Park，Hyeongwoo Kim，Yu-Wing Tai，Michael S. Brown，Inso Kweon.High Quality Depth Map Upsampling for 3D-TOF Cameras. IEEE International Conference on Computer Vision， 2011， 24（4）：1623-1630.

[5] Kyuha C，Changhyun K，Myung H K.Resolution Improvement of Infrared Images Using Visible Image Information[J]. IEEE Signal Processing Letters. 2011，18（10）：611-614.

[6] David F， Christian R， Rene R. Image Guided Depth Upsampling using Anisotropic Total Generalized Variation[A]. IEEE International Conference on Computer Vision[C]. 2013：，1-8.

【通聯(lián)編輯：光文玲】