基于稀疏編碼的紅外圖像超分辨率重建方法

劉賀，王長龍

（陸軍工程大學石家莊校區，河北石家莊，050000）

0 引言

紅外成像是通過紅外熱像儀對物體反射和輻射的紅外線進行成像的技術。紅外目標識別與探測技術利用目標和環境之間紅外輻射的差異進行成像，由于紅外輻射受物體溫度影響較大，其具有夜間成像、溫度靈敏度高等優點，在軍事、刑事偵查、醫療等方面存在廣泛應用。但是由于紅外探測器的局限性和紅外衍射限的存在限制了紅外圖像的分辨率。不過可以通過超分辨率重建的方法提高紅外圖像分辨率，滿足實際應用中對高分辨率圖像的需求[1-2]。

超分辨率是圖像處理領域中一個重要的概念，分辨率是圖像的一個特征，表示圖像呈現細節的質量，超分辨率重建是利用信號處理的方法，由一幀或多幀低分辨率圖像來獲取高分辨率圖像的技術，根據不同分類方式可以分為以下三個方面[3-4]。

基于插值的方法是最常見的超分辨率重建方法，這些方法算法比較簡單，所以速度較快，但是圖像的細節處處理效果較差[5]。

基于重建模型的方法將圖像的一部分先驗知識作為約束加入圖像重建過程，使不適定問題變為可解問題，處理結果相對較好，但要求圖像具有較好的先驗知識[6]。

圖1 超分辨率重建方法分類

基于學習的方法通過從訓練集中學習高分辨率圖像和低分辨率圖像之間的映射關系，來完成高分辨率圖像的重建。Freeman[7]最早提出了使用訓練集來學習高分辨率圖像和低分辨率圖像之間關系的方法，不過需要大量的高、低分辨率圖像進行訓練。Chang[8]提出了基于鄰域嵌入的超分辨率算法，該方法相比上一種方法，需要更少的訓練樣本，并且具有更好的抗噪能力。Yang[9]提出利用稀疏表示的方法對高低分辨率圖像共同訓練得到學習字典來進行重建，該方法需要輸入圖像至少與訓練圖像中的某一個相似，所以需要一個適當大小的訓練數據集。Tsai[10]提出通過對高、低分辨率圖像進行分割提取相似部分來構建高、低分辨率字典，從而進行重建，計算復雜度較高。Dong[11]提出利用深度卷積神經網絡對圖像進行超分辨率重建，是深度神經網絡在超分辨率重建方面的首次運用，不過其需要大量的訓練樣本。Rasti[12]提出在獲得高、低分辨率字典之后把輸入圖像劃分為許多塊，在低分辨率字典中找出最接近的部分，來進行超分辨率重建。

針對傳統紅外圖像超分辨率重建算法效果不佳的問題，本文首先對圖像進行雙層特征提起，選擇信息量較大的圖像塊進行聯合字典訓練，然后用稀疏編碼的方法重建高分辨率圖像。

1 稀疏表示理論與圖像降質模型

1.1 稀疏表示

信號的稀疏表示[13]源于壓縮感知理論，即信號在某個正交空間中是稀疏的，就能夠以某個較低頻率采樣該信號，并通過求解優化問題，重構該信號。

圖像信號y 可以用過完備字典D 線性表示，并且α 是一個只有極少非零項的向量。

數學關系如下：

其中，y 為圖像信號，D 為過完備字典，α 為稀疏表示系數。

1.2 圖像降質模型

在圖像獲取、處理和傳輸過程中，受到外界因素以及成像系統的影響，使得圖像分辨率降低，存在降質過程。一幅高分辨率圖像經過幾何形變、模糊、降采樣和加性噪聲得到低分辨率圖像。

圖像降質模型可用式表示:

其中，hy 是高分辨率圖像，ly 是降質后的低分辨率圖像，M 表示幾何形變矩陣，H 表示模糊矩陣，S 表示降采樣矩陣，N 表示加性噪聲。本文中，低分辨率圖像是高分辨率圖像的模糊和降采樣版本，可表示為：yl=SHyh

圖3 圖像降質模型

2 算法設計

本文提出的紅外圖像超分辨率重建方法中，首先對高、低分辨率圖像進行雙層特征提取，再通過自適應選擇得到信息量較高的圖像特征快進行聯合字典訓練，之后用低分辨率字典得到稀疏表示系數，對高分辨率字典和稀疏系數應用反向投影法得到近似結果，最后應用梯度下降法對近似結果優化，得到最終的高分辨率圖像結果，如圖4 所示。

圖4 紅外圖像超分辨率重建過程

2.1 特征提取

本文在進行字典訓練前需要對圖像進行特征提取，特征提取是訓練字典的關鍵，特征提取時用到微分算子，常用的微分算子有二階拉普拉斯算子、一階梯度算子和二階梯度算子。拉普拉斯算子著重作用于圖像中灰度變化較大的區域，比較能突出圖像中的細節部分，而梯度算子能突出圖像的邊緣。為了獲得細節更加豐富的特征，本文將兩種算子結合起來，先用拉普拉斯算子提取特征，再用一階和二階梯度算子提取特征。

圖5 特征提取結果(a)原圖，(b)拉普拉斯算子，(c)拉普拉斯算子和水平一階梯度算子，(d)拉普拉斯算子和豎直一階梯度算子，(e)拉普拉斯算子和水平二階梯度算子，(f)拉普拉斯算子和豎直二階梯度算子

從圖5 中可以看出，圖像與拉普拉斯算子、一階和二階梯度算子卷積后，細節更加突出，噪聲降低。

將特征圖像Yh和 分割成特征圖像塊，不同圖像塊包含信息量不同，本文引入信息熵，圖像的熵表示表示圖像平均信息量的大小，其計算公式為:

式中pi是某個灰度值在該圖像塊所有灰度值中出現的概率，選用K-means 聚類算法將所有圖像塊分為兩類，K-means 聚類算法是非監督聚類算法中的代表，在隨機給定幾個聚類中心后，把每個點分配到離其最近的聚類中心的那一類，然后根據每一類中所有點到聚類中心平均距離最小的原則重新計算聚類中心，迭代多次，直至聚類中心位置變化低于設定的閾值，便得到聚類中心和聚類。這樣便將圖像塊分為兩類，信息熵較高的圖像塊信息熵較低的圖形塊。

2.2 聯合字典訓練

將篩選后的信息量較高的圖像塊組成訓練集 hi和 li，訓練高分辨率和低分辨率字典[14]。

式（6）與式（7）中Dh、Dl為高分辨率字典和低分辨率字典，Z 為稀疏編碼，λ 為用于正則化的權重。將式和式合并，可得到聯合字典訓練模型:

式（8）中N 和M 為矢量形式的高分辨率和低分辨率圖像塊的維度，用來平衡兩個公式的成本項，可簡化為:

圖6 稀疏字典

2.3 高分辨率重建

在得到高分辨率字典和低分辨率字典之后，進行圖像重建，首先用低分辨率字典得到圖像的稀疏表示，如下式:

式（10）中 是低分辨率圖像塊，α是稀疏系數，F是一個線性特征提取算子，作用是提供一個約束，使α盡量接近y。求解式的優化問題是NP 難問題，但只要α足夠稀疏，就可以轉化成最小化l1范數問題來求解:

根據拉格朗日乘子法對式進行轉化，拉格朗日乘子法是求解有約束問題時求解最優值的方法，可以將不等式約束條件和目標函數寫為一個式子。

式（12）中λ為l1正則化參數，用來平衡誤差和稀疏系數，對式（12）進行優化：

式（13）中P提取當前圖像與之前重建的高分辨率圖像間的重疊部分，ω是之前重建的高分辨率圖像重疊部分的值，可寫為:

由于存在噪聲，式中低分辨率圖像塊li與重建圖像Dlα并不會完全相等，由此方法重建產生的高分辨率圖像yh0可能不滿足約束條件，本文將yh0反向投影到降質模型SHyh=yl的解空間來解決這個問題:

本文采用梯度下降法對式求解，梯度下降法是求解優化問題的常用方法，梯度的方向是目標函數變化最快的方向，多次求解函數的梯度，進行迭代，最終得到目標函數的局部最小值，即最優解。如下:

式（16）中是高分辨率圖像在第t+1次迭代后的結果，是高分辨率圖像在第t次迭代后的結果，ν是梯度下降的步長，即每次沿梯度負方向移動的距離，HT和ST是模糊矩陣H和降采樣矩陣S的轉置，上述優化結果是經過超分辨率重建的高分辨率圖像結果。

算法:

（1）輸入訓練好的高分辨率字典Dh和低分辨率字典D，低分辨率圖像yl。

（2）將低分辨率圖像yl分成5×5 大小的圖像塊，每個方向有一個像素重疊。

（4）根據hi=D hα*生成高分辨率圖像塊。

3 實驗結果

為驗證本文方法的效果，本文選取雙三次插值方法進行比較，在訓練字典時，選擇字典大小為1024，圖像塊大小為5×5，將縮小2 倍后的圖像用雙三次插值方法和本文方法進行實驗仿真，結果從定性分析和定量分析兩方面進行評價，定量方面選用均方根誤差和峰值信噪比[15]兩種指標對比:

式（17）中I和K為兩個大小為m×n的單色圖像，即原始圖像和重建后的圖像，式（19）中MAXI為圖像上點的最大灰度值，在本文其數值中為255。

從結果圖可以看出，本文提出的重建方法重建的圖像清晰度優于雙三次插值方法，由表1 可知，從客觀評價指標中的峰值信噪比和均方根誤差來看，本文的重建方法也更優。

圖7 不同重建方法對比(a)本文方法，(b)雙三次插值方法，(c)輸入的低分辨率圖像，(d)原圖

4 結語

針對紅外圖像分辨率較低的問題，本文提出基于稀疏編碼的超分辨重建算法，算法首先對圖像進行雙層特征提取，選取信息量較高的圖像塊進行聯合字典訓練，通過低分辨率字典與輸入圖像塊得到稀疏系數，再將系數與高分辨圖像結合優化得到高分辨率重建圖像，重建效果優于傳統重建方法。