單幀紅外圖像超分辨率重建算法研究

張祖漪,于殿泓,朱文杰,馮倫鵬,楊 芳

(西安理工大學機械與精密儀器工程學院,陜西 西安 710048)

0 引言

圖像超分辨率重構信息技術是利用單幀或多幀低清晰度圖像進行信息加工的方式,重建出高分辨率圖像[1]。圖像超分辨率重建信息技術在軍事、遙感、醫療圖像、公共安全等領域都具有比較廣泛的應用[2]。

早在20世紀60年代,Harris和Goodman就提出可以將超分辨率技術應用到圖像處理領域[3]。Huang等利用傅里葉變換的平移特性完成了低分辨率圖像的超分辨率重建研究工作[4]。Tisa和Huang創造性地將圖像超分辨率由單幀擴展到多幀,并且給出了基于頻域的逼近方法。早期的圖像超分辨率重建技術大多是以頻域法[5]為基準進行的。頻域法雖然簡單、便捷,但提升空間不大。2000年,ALam[6]等在插值法的基礎上將低分辨率圖像映射至高分辨率網格上時,采用加權最近鄰算法實現了紅外圖像超分辨率重建。

目前,主流的、基于空域法的紅外圖像超分辨率重建算法主要分為基于插值、基于重建[7]和基于學習[8]這3種。基于插值的超分辨率重建算法從圖像內部出發,通過鄰域像素的加權融合得到新的插值像素,無需外部信息即可有效提升原始圖像的分辨率。基于重建的超分辨率重建算法需要對圖像的成像過程進行建模分析。精確的圖像退化模型是該算法的成功關鍵。這使得重構算法的應用和發展受到了很大的限制。基于學習的超分辨率重建算法依賴大量的紅外圖像進行模型訓練,并且訓練得到的模型通常魯棒性較差。

為了提高紅外圖像的分辨率、盡可能消除圖像插值算法帶來的缺陷[9],本文研究了基于插值的單幀紅外圖像超分辨率重建算法,提出了邊插值邊濾波的圖像超分辨率重建方式,改善了圖像插值算法對紅外圖像的超分辨率重建效果。

1 經典的圖像插值算法

基于插值的圖像超分辨率重建算法的原理是先將低分辨率圖像的像素映射到高分辨率圖像上,再利用高分辨率圖像上的空白像素坐標值求得對應低分辨率圖像上的坐標值,最后通過低分辨率圖像上坐標點或鄰域進行像素值的計算并傳回高分辨率圖像中[10]。因為紅外圖像普遍分辨率較低,所以圖像插值算法可以在提高圖像分辨率的同時更好地發揮紅外圖像的優勢[11]。基于插值的算法主要包括最近鄰插值法、雙線性插值法、雙三次插值法[12]。

最近鄰插值法的基本原理是取待插點中歐式間距最短的4個最近鄰像素點的灰度值作為該點的最大灰度值。該算法在空間插值中,只充分利用了插值運算點附近最近的圖像灰度值作為對該點的取值范圍。由于并未考慮到其他鄰近圖像的因素,空間插值運算后所得的圖像更易出現塊效應,進而造成圖像模糊[13]。

雙線性插值法是1種一階多項式的插值算法。雙線性插值法綜合考慮了目標坐標的周圍4個像素,用原圖像中4個點計算新圖像中的1個點。具體方法為:首先分析周圍4個像素之間的相互影響作用,然后對這4個像素分配相應的權重,最后通過加權求和處理得到新的像素。因此,雙線性插值法的插值效果優于最近鄰插值法,并且經過算法處理后的圖像也相對平滑。

雙三次插值法又稱立方卷積插值法,是二維空間中常用的插值算法。該算法計算量大且相對復雜。其插值原理是利用待采樣點周圍16個點的灰度值作三次插值。該算法不僅考慮了4個直接相鄰點的灰度影響,而且兼顧了各鄰點間灰度值變化率的影響[14]。因此,雙三次插值法可以得到更接近高分辨率圖像的放大效果,但也導致了運算量的急劇增加[15]。

綜上所述,最近鄰插值算法是經典插值算法中更容易實現且計算復雜性相對較低的算法。本文在最近鄰插值算法的基礎上進行了優化,設計了1種將最近鄰插值與局部自適應高斯相結合的紅外圖像超分辨率重建算法。

2 基于局部自適應高斯的插值算法

本文考慮使用自適應高斯濾波來處理紅外圖像超分辨率重建的理論依據有以下4點:紅外圖像本身只具備少量的高頻信息,所以在針對紅外圖像插值研究中可以忽略插值對細節造成的損失;基于插值的圖像處理算法容易導致插值圖像出現鋸齒和塊效應現象;高斯濾波可以抑制鋸齒、塊效應;自適應高斯濾波可以根據圖像的特點進行選擇性的處理。局部自適應高斯濾波的一般過程如下。

①插值。這個步驟以最近鄰插值方式獲得插值像素。

(1)

式中:T為目標圖像大小;S為原始圖像大小;U為需要放大的倍率。

②局部自適應高斯[16]。這個步驟將插值得到的T進行自適應高斯濾波,并進行融合。

在二維圖像的平滑處理過程中采用高斯濾波器時,高斯函數的方差Sigma將是1個定值s。如果在平滑處理中使用較大的s將會導致過度平滑,從而使得二維圖像中缺少細節信息。如果是對平坦區域的平滑處理,則使用較大的s更好。而自適應高斯濾波器能夠根據圖像的局部平滑特性選擇不同的s,使得經過平滑處理后的圖像也可以保持較好的視覺效果。傳統的高斯濾波器一般表示為[17]：

(2)

式中:σ為標準差;k為高斯核;(x,y)為圖像的像素坐標,-k≤x,y≤k。

高斯濾波器在進行圖像處理時會剔除原始影像信息,從而導致影像模糊。自適應高斯濾波器是在平滑結果和較好保持細節信息結果中取折中方案。自適應高斯濾波器的函數如下[18]。

(3)

式中:σxy為標準差,-kxy≤x,y≤kxy。

若令最近鄰插值算法獲取的圖像像素為m、經過自適應高斯濾波處理的圖像像素為n,且a+b=1,則可以得到局部自適應高斯處理Y的結果。

Y=am+bn

(4)

根據上述的圖像算法思路,本文的優化算法流程如圖1所示。

圖1 優化算法流程圖

3 試驗分析

試驗的硬件配置為Intel(R) Xeon(R) CPU E5-26700 @2.60 GHz,軟件設備為Windows10下的64位操作系統,軟件編程為Matlab。

3.1 數據集

本文主要對公共紅外圖像數據集TNO和CVC-14展開研究。

試驗所需的部分紅外圖像如圖2所示。

圖2 試驗所需的部分紅外圖像

本文對公共紅外圖像數據集TNO的紅外圖像分別進行2倍率、3倍率和4倍率的降采樣,并對處理后的圖片分別作最近鄰插值、雙線性插值、雙三次插值、高斯最近鄰插值和局部自適應高斯最近鄰插值等處理,以完成基于增強的紅外圖像超分辨率重建的試驗。

3.2 評價指標

超分辨率圖像的重建效果通常會有2種類型的評價方式,分別為主觀評價方式和客觀評價方式[19]。主觀評價方式是通過人眼觀察圖像重建效果的優劣,給出圖像采集效果的評價。客觀評價指標有峰值信噪比(peak signal-to-noise ratio,PSNR)和結構相似性(structural similarity,SSIM)[20]。本文采用的評價方式為PSNR。PSNR評價方式能夠從全局視角評估圖像的重建效果。

(5)

式中:n的取值一般為8;M為2幅圖像之間的均方誤差;P為PSNR值。

P的數值越高,表示圖像失真越小,則圖像重建效果越好[21]。

(6)

式中:z為參考圖像;y為待評價圖像;H和W分別為圖像的高度和寬度。

3.3 算法有效性驗證

為了驗證優化算法的性能,本文分別在2倍率、3倍率、4倍率下進行了3組不同的試驗,并復現了相應倍率下的雙線性插值和雙三次插值,將其用于結果的對比參照。3組試驗分別為:最近鄰插值;高斯濾波最近鄰插值;局部自適應高斯濾波最近鄰插值(本文算法)。

消融試驗設置如下。

①2倍率試驗:最近鄰插值算法+高斯算法采用1×1的高斯濾波器,σ值取0.1;最近鄰插值算法+局部自適應高斯采用3×3的高斯濾波器,σ值自適應選取;α、β的值分別為0.7、0.3。

②3倍率試驗:最近鄰插值算法+高斯算法采用3×3的高斯濾波器,σ值取0.5;最近鄰插值算法+局部自適應高斯采用3×3的高斯濾波器,σ值自適應選取;α、β的值分別為0.7、0.3。

③4倍率試驗:最近鄰插值算法+高斯算法采用5×5的高斯濾波器,σ值取0.5;最近鄰插值算法+局部自適應高斯采用3×3的高斯濾波器,σ值自適應選取;α、β的值分別為0.7、0.3。

本文對在TNO數據集上試驗的平均插值效果進行對比。消融試驗結果如表1所示。

表1 消融試驗結果

由表1可知,本文算法在不同倍率的超分辨率重建效果均優于最近鄰插值和高斯最近鄰插值。所以本文算法可以顯著提高最近鄰插值的插值效果,且與高斯最近鄰插值存在著本質區別。

3.4 不同算法的試驗對比

本文以PSNR作為客觀的定量評價指標,對本文算法、雙線性插值算法、雙三次插值算法和最近鄰插值算法進行對比。本文對TNO數據集的紅外圖像進行超分辨率重建的算法測試。不同算法的PSNR試驗結果對比如表2所示。

表2 不同算法的PSNR試驗結果對比

表2可以直觀地反映本文算法的超分辨率重建效果明顯優于其他3種經典的圖像插值算法。由上述試驗結果可知,相比于最近鄰插值算法的重建效果,經過局部自適應高斯濾波的最近鄰插值算法重建效果清晰得多。本文算法在紅外圖像超分辨率重建的效果得到一定程度的改善。

表2只是單純地展示了本文算法的超分辨率重建效果,并不足以證明本文算法的重建性能優于其他3種經典的圖像插值算法。為了更好地體現本文算法的有效性,本文針對上述算法分別進行了耗時試驗,并記錄了上述算法在不同倍率下運行時所耗費的時間。不同算法耗費的時間對比如表3所示。

表3 不同算法耗費的時間對比

由表3可知,最近鄰插值算法相對于雙線性插值、雙三次插值和本文算法而言耗時較少,在不追求較高分辨率的情況下具有較高的運算效率。本文算法和雙三次插值算法相對于最近鄰插值算法和雙線性插值算法耗時較多。在耗時時間相近的情況下,本文算法的超分辨率重建效果優于雙三次插值算法。因為本文算法涉及自適應,即算法會在不同的圖像、尺寸的激勵下給出不同的響應,所以比其他3種經典的插值算法多了1個自適應的循環判斷過程,會有幾秒的耗時差距。

本文優化算法的效率略低于其他3種經典的插值算法。但結合前面論述的算法結果性能來看,本文算法能夠在僅多出不到2 s的耗時差距內獲得較好的超分辨率重建效果。

以圖2所示的圖片為例,本文分別運用不同算法進行超分辨率重建試驗。不同超分辨率重建效果的對比如圖3所示。

圖3 不同超分辨率重建效果的對比

由圖3可知:經過最近鄰插值算法處理的紅外圖像鋸齒現象和塊現象比較明顯;經過雙線性插值處理的紅外圖像鋸齒和塊現象依然存在,但是有所改善;經過雙三次插值處理的紅外圖像雖然有效改善了插值產生的塊效應,但是圖片整體比較模糊;經過高斯最近鄰插值算法得到的紅外圖像鋸齒和塊效應相較于最近鄰插值和雙線性插值有所改善;經過基于局部自適應高斯濾波的最近鄰插值算法(本文算法)處理得到的紅外圖像整體效果較好,雖然還會有一定的塊效應,但圖片的對比度和紋理細節都有所提升[22]。

4 結論

本文提出了1種基于插值的單幀紅外圖像超分辨率重建算法。該算法采用局部自適應高斯濾波的方式,在最近鄰插值算法的基礎上進行優化。為證明該算法的性能,本文通過多次試驗對比分析發現,本文算法使得紅外圖像超分辨率重建的效果得到了有效改善。具體表現為:其重建結果的客觀評價指標與其他3種經典的圖像插值算法相比提高了約2.8%～3.2%,并且能夠有效減少噪聲、改善鋸齒和模糊現象。本文算法可直接對紅外圖像進行超分辨率重建,具有重建速度快、效果好、易上手等優點,可以滿足大部分基礎紅外圖像超分辨率重建工作的需求。

目前,圖像超分辨率重建的相關研究重點都集中在基于學習的領域。基于學習的超分辨率重建雖然重建效果好,但是設備要求高,對紅外圖像的數據量需求大。這不利于當下的研究。所以,僅需少量圖片就可以實現重建的超分辨率重建方式有很大的研究空間。一般的圖像插值方式都類似于1個低通濾波器,但是經過低通濾波器的原始圖像會損失大部分的細節信息。本文算法在對紅外圖像進行插值超分辨率重建的同時能夠有效改善塊效應和模糊現象,提高紅外圖像超分辨率重建效果。