基于調和模型的降質圖像超分辨率復原算法

王媛芳，王 鴻，廖武忠

(1. 重慶工程學院軟件學院，重慶 400056；2. 重慶理工大學車輛工程學院，重慶 400054)

1 引言

圖像超分辨率復原是圖像處理中的關鍵部分，具備極高的理論與實際意義。在圖像的采集與輸出、變換流程中，極易造成圖像的降質，主要表現為圖像不清晰、部分失真、含有噪聲等。而在圖像的使用中，如圖像采集、圖像識別、圖像數據分析等方面，均需要高質量圖像，因此，在醫療、航天、公安、交通等諸多領域抑制圖像噪聲，對降質圖像復原具有極其重要的作用。

降質圖像超分辨率復原是將觀測圖像變成已知信息數據，恢復反映客觀物體實際場景的初始圖像。影響圖像質量的因素諸多，主要分為確定性與隨機性兩種因素。其中，確定性因素即成像系統對焦錯誤與自身問題、較長時間的曝光等；而隨機性因素即圖像信號在采集、輸送、轉換過程中出現的噪聲污染。圖像復原使用導致圖像降質的先驗知識，構建圖像降質數學模型，沿著圖像降質的反饋流程進行復原，得出超分辨率的圖像。

關于降質圖像超分辨率復原算法研究諸多，為了解決降質圖像分辨率低的問題，部分學者使用生成對抗網絡將圖像的低分辨率部分進行多尺度特征學習，并利用融合網絡進行殘差融合，得出圖像不同尺度高分辨率數據，完成降質圖像超分辨率復原；除此之外，葉雙等人針對降質圖像超分辨率復原速度慢的問題，使用K均值聚類方法把訓練樣本聚類成不同的簇，并根據各簇聚類中心更換字典原子得出對應的鄰域，使用這些鄰域完成低分辨率到高分辨率的空間映射，進而得出高分辨率圖像。

吸取以上文獻優點，本文提出基于調和模型的降質圖像超分辨率復原算法。利用圖像RGB值對降質圖像進行重構，有效提升降質圖像的信噪比；運用神經網絡的能量函數完成降質圖像超分辨率復原求解，有效降低計算難度，加快收斂速度。

2 降質圖像色彩重構

2.1 降質圖像觀測模型

構建能夠聯系初始高分辨率圖像與現實提取低頻分辨率圖像的觀測模型，該模型是降質圖像超分辨率復原算法研究的必要前提。

y

()=

DM

(，)

B

()

z

()+

n

(，)

(1)

其中，

B

()表示圖像的模糊矩陣，

M

(，)代表圖像的第

l

幀與第

k

幀間的動態補償矩陣，能夠經過運動估計算法得出，

n

表示圖像噪聲；

D

∈

R

×表示降采樣矩陣。降采樣流程如式(2)所示

(2)

面對以上問題，采用權值矩陣構建新的圖像觀測模型，即

y

()=

M

(，)

Wz

()+

n

(，)

(3)

(4)

其中，

Ω

表示降采樣模型的支撐范圍?，F實中運用矩陣元素的求解使用運動補償后的高分辨率圖像與對應的降質圖像，進而有效解決各部分表述過程中帶來的誤差問題。

2.2 圖像重構

圖像重構是圖像處理領域的一個關鍵環節，其基本理念是在減少損失圖像質量與不損失圖像質量的條件下，得出初始圖像像素的相似矩陣。為了提升降質圖像的信噪比，采用圖像RGB值方式對降質圖像進行重構，即根據原始圖像的像素RGB值與鄰域像素RGB值進行重新組合而得出的，計算過程如式(5)所示。

(5)

(6)

3 調和模型下降質圖像超分辨率復原算法

3.1 正則化圖像復原

降質圖像超分辨率復原算法是通過指定的觀測圖像，各幀圖像上點的擴展函數

h

與噪聲

n

的先驗知識來得出初始圖像的最佳估計

X

。一般情況下噪聲是未知的，這就導致傳統的最小二乘圖像復原算法適定性較差，為此采用正則化方式對其進行改進，計算過程如式(7)所示

(7)

其中，

λ

表示正則化因子；

c

表示正則化算子。

3.2 圖像邊緣確定

(8)

通過式(8)得出全部像素方差的兩個極值，并將這兩個值的差當作圖像邊緣判斷的閾值，即

(9)

其中，若

T

=1，則是圖像邊緣；若

T

=0，則是邊緣以外的部分。式(9)的正則化算子

c

經常為高通濾波設備，但缺點是在縮放邊緣與抑制噪聲同時也將圖像邊緣過濾平滑。為此，需要事先分辨出圖像的邊緣，并從0°、45°、90°、135°角度進行判別。

采用自適應正則化對邊緣四個角度進行修正，修正過程為

(10)

其中，

β

為邊緣角度的正常數值，判斷圖像邊緣對應的四個方向的高通濾波設備

p

，如式(11)所示。并經過式(12)計算得出自適應正則化算子，即：

(11)

(12)

其中，

c

表示各個方向的高通濾波設備。

3.3 調和模型下降質圖像復原計算

降質圖像超分辨率復原算法主要分為兩種：一種為利用海量的實際幀圖像與降質幀圖像數據進行學習與訓練，并利用訓練后的網絡完成降質圖像超分辨率復原；另一種采用調和模型方式，主要根據神經網絡在求解優化問題上的突出優點，把降質圖像超分辨率復原算法整合成一個極小化問題映射到神經網絡能量函數上，經過網絡演化完成降質圖像復原。

設定

B

與

c

屬于塊狀Toeplitz矩陣，‖·‖代表

L

范數；|?

X

|=(?

X/

?

i

)+(?

X/

?

i

)表示復原圖像的梯度膜數值，則調和模型下圖像復原模型為

(13)

為了加快降質圖像超分辨率復原速度，采用離散算法進行改進，得出

(14)

(15)

將式(15)引入神經網絡能量函數，得出

(16)

其中，

w

，表示網絡權參數；

b

表示偏置矢量。去掉常數項，得出

(17)

(18)

調和模型下降質圖像復原算法詳細過程如下：

通過式(16)、(17)和(18)，得出神經網絡的權參數矩陣與偏置矢量

W

=(

w

，)、

b

=(

b

)；在神經網絡更新時，神經元的變換量為Δ

x

，Δ

x

∈

R

。更新前、后網絡運行狀態分別記錄成

x

與

x

+1，

x

+1=

x

+Δ

x

e

，

e

表示第

i

個元素是1的單位矢量，而更新后神經網絡能量變換成Δ

E

=

E

(

x

+Δ

x

e

)-

E

(

x

)=-(1

/

2)

w

(Δ

x

)-

State

Δ

x

(19)

4 實驗結果分析

4.1 視覺感知性能對比分析

實驗在PROTEUS7.6環境下進行仿真，為了證實所提算法的有效性，選擇典型Lena與、Car、Fruit圖像大小尺寸為64×64，并將多尺度生成對抗網絡算法與自適應錨定鄰域回歸算法當作對照組，利用垂直方向運動模糊降質方式對這三種算法性能進行對比，對比結果如圖1所示。

當S=9時對Lena圖像(圖1(a))進行運動模糊，并添入20dB的白噪聲，得出降質圖像與重構后圖像。并使用對照組算法與本文調和模型算法對降質圖像進行超分辨率復原。

圖1 降質圖像超分辨率復原

從圖1顯著看出，本文算法性能優于對照組算法，因為本文算法利用動態補償矩陣搭建觀測模型，并利用圖像RGB值方式對降質圖像進行重構，運用神經網絡的能量函數完成降質圖像的復原，進而極大程度上提升降質圖像分辨率。為此，調和模型計算結果的精度較高。

4.2 修復圖像信噪比對比分析

在仿真中，使用圖像RGB數值重構圖像時構造R=10幅圖像，設定圖像邊緣判斷T=1，在正則化算子運算流程中，λ取值為0.2，再將實驗結果的信噪比來對比降質圖像超分辨率復原的結果，結果如表1所示，計算過程為

(20)

表1 三種算法的信噪比對比

信噪比值越大表明降質圖像超分辨率復原效果越佳。從表1可知，本文調和模型算法得出三個檢測樣本圖像的信噪比值最大，因為本文調和模型算法能夠利用圖像的梯度數據，進而較好地保留原始圖像邊緣信息，為此，得出信噪比值大于多尺度生成對抗網絡算法與自適應錨定鄰域回歸算法。

4.3 收斂性能對比分析

實驗截取Lena圖像中16×16的大小尺寸進行檢測，λ取值為0.3。圖2展示出這幾種算法隨著迭代次數增加，信噪比的變化曲線。

圖2 收斂性變換曲線

從圖2明顯看出，本文調和模型算法迭代次數少于多尺度生成對抗網絡算法與自適應錨定鄰域回歸算法迭代次數，同時信噪比數值均高于這兩種算法，因為本文調和模型算法運用神經網絡將降質圖像復原簡化成一個極小問題映射到網絡能量函數中，進而降低圖像復原運算難度，提升收斂速度，并且復原圖像分辨率較高。因此，本文調和模型算法性能最佳。

5 結論

圖像超分辨率復原是從降質圖像提取出初始圖像最佳估計的一種方式，被廣泛運用于醫療、地理以及重要圖像處理的領域中。降質圖像復原是數字化圖像處理中主要難題。在數學領域中，降質圖像復原屬于一種“病態”問題，其結果不會依賴于觀測結果，觀測過程中噪聲會嚴重影響圖像復原的效果，即使已知降質函數的狀況，也極難從降質圖像中提取超高分辨率的復原圖像。為此，提出基于調和模型的降質圖像超分辨率復原算法，此方法極大程度上提升降質圖像分辨率，并且具有較高信噪比，但因為研究時間有限，所提方法不能很好地適用于較高像素圖像復原計算，日后可以對該算法進行完善。