基于視覺傳達的多幀圖像高分辨率重建仿真

李 博

(中國醫(yī)科大學(xué)，遼寧 沈陽 110000)

1 引言

圖像處理技術(shù)不斷發(fā)展，視覺傳達技術(shù)和高分辨率重建技術(shù)在圖像處理中的應(yīng)用日益廣泛。與此同時，人們對視頻圖像的分辨率要求也日益提升。但由拍攝環(huán)境、經(jīng)濟成本等因素影響，重構(gòu)圖像分辨率較低，無法滿足醫(yī)療放射學(xué)、航天飛行、遙感測繪等應(yīng)用領(lǐng)域的實際需要[1]。基于視覺傳達技術(shù)的多幀圖像高分辨率重建方法采用結(jié)合稀疏表示算法和深度學(xué)習(xí)算法滿足上述領(lǐng)域的高分辨率圖像，無需改變當(dāng)前應(yīng)用的硬件系統(tǒng)，在重建質(zhì)量上具有非常大的優(yōu)勢，所以近年來，國防、醫(yī)學(xué)、智能交通、公共安全領(lǐng)域都獲得了廣泛的應(yīng)用[2]。

三次樣條插值法是常用的一種方法[3]，通常情況下是以單幀圖像進行空間像素點擴展，在重建過程中難以避免邊緣模糊，導(dǎo)致重建效果不好。文獻[4]方法在重建過程中，對于某些幀像素點匹配時誤差較大，致使最終重建后的圖像細(xì)節(jié)不夠豐富清晰。為此，本文提出基于視覺傳達的多幀圖像高分辨重建方法。相對于以上兩種方法，本文方法重建后的圖像質(zhì)量較好，可以保留更多的圖像細(xì)節(jié)。

2 相關(guān)理論

2.1 ScSR算法及局限性分析

(1)

(2)

多幀高分辨圖像重構(gòu)時，基于稀疏表示的高分辨率重建方法是選出梯度相對較大的數(shù)值用于后續(xù)候選字典原子的構(gòu)建[8]。

然而，相對圖像的紋理信息極為復(fù)雜，使梯度的邊緣構(gòu)造大于紋理值的變化。假如候選字典原子是通過梯度特征來選取，那么建立的字典邊緣構(gòu)造將會偏重，致使重構(gòu)后的高分辨率圖像紋理結(jié)構(gòu)極為平滑，影響高分辨圖像重建質(zhì)量。因此，通過人工手段建立的基于稀疏表示的高分辨率重建方法屬于低層級特征字典，字典在一些領(lǐng)域上具有局限性。對圖像的深層次特征進行獲取，需要創(chuàng)建新的字典，高分辨率圖像特征表述方法，是后續(xù)提高重建圖像質(zhì)量的必然手段[9]。

2.2 基于深度學(xué)習(xí)的深層次特征提取模型

PCANet是通過深度學(xué)習(xí)理論和卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的一種較為簡易的深度學(xué)習(xí)方法。PCANet是由兩個PCA(主成分分析法)濾波層、一個哈希層、一個直方圖計算層構(gòu)成的，可實現(xiàn)提取高分辨率圖像的深層次特征[10]。但是與通常使用的網(wǎng)絡(luò)不同的是，PCANet的濾波器計算效率更高。PCANet不是通過訓(xùn)練所得，而是通過獲取高分辨率圖像部分區(qū)域映射結(jié)果，再采用PCA(主成分分析法)提取高分辨率圖像主成分，各個主成分為一個獨立的濾波器[11]。

當(dāng)樣本圖像采用此濾波器，并提取特征時，無需進行多次迭代運算獲取最優(yōu)權(quán)值，由此減少了計算時間。

為了進一步論述PCANe深度網(wǎng)絡(luò)提取高分辨率圖像特征的優(yōu)勢，設(shè)定輸入圖像為N個，大小為8×8，移動距離為1的窗口遍布多幀高分辨率圖像。采用PCA計算該映射特征L1的主要部分，將L1個主要部分調(diào)試為L1個濾波器，最后得到和普通CNN一樣L1個特征映射；然后，第2層與第1層處理方式相同，而第3層能夠得出L2個映射特征。而PCANet的特征就是L2個映射特征，所以能夠為之后的圖像處理提供一個可靠的數(shù)據(jù)[12]。

因此，PCANet在提取圖像特征時，實質(zhì)是對圖像像素點直接處理，且操作階段加入了分塊處理過程，深度網(wǎng)絡(luò)輸出的圖像塊數(shù)量相比之前有所增加。PCANet采用深度網(wǎng)絡(luò)學(xué)習(xí)過程進行提取圖像的特征，通過PCANet提取的圖像特征與通過人工規(guī)則所獲取的特征相比，其細(xì)節(jié)信息更加豐富，紋理結(jié)構(gòu)更加突出，為后續(xù)高分辨率重建提供豐富的先驗知識，較好的填充了低分辨率圖像細(xì)節(jié)，便于超分辨率圖像重建。

3 基于視覺傳達的多幀圖像高分辨率重建方法

文中將PCANet與基于稀疏表示的高分辨率重建方法的優(yōu)點相結(jié)合，提出基于視覺傳達的多幀圖像高分辨率重建方法。對于多幀圖像高分辨率重建方法，先假設(shè)高分辨率圖像和低分辨率圖像是對于各自字典所具備的稀疏表達方式，接著通過PCANet深度網(wǎng)絡(luò)而得到圖像樣本特征，對字典的結(jié)合獲得一對過完備字典Dh與D1。高分辨率圖像重建階段，對低分辨率圖像采用相同的方式進行處理，通過PCANet方式進行深層次特征提取，將低分辨率圖像特征D1稀疏所表達的系數(shù)直接作用在Dh上，就能獲得相對應(yīng)的高分辨率特征圖像。實現(xiàn)低分辨率圖像的高分辨率重建。在通過PCANet深度網(wǎng)絡(luò)進行圖像樣本的挖掘，能夠獲取相對非深度網(wǎng)絡(luò)更好的圖像特征，建立的深層特征字典，也可以提升其描述能力，對圖像重建后的質(zhì)量有著顯著的提升。

(3)

以上述所得數(shù)據(jù)矩陣X來提取特征，將提取出來的特征視為ScSR模型中的特征樣本，代入PCANet的特征字典中。

(4)

通過和高分辨率圖像同樣的處理過程，給出提取低分辨率圖像深層次細(xì)節(jié)特征結(jié)果，即

(5)

式中：Fhi與Fli分別代表高分辨率圖像和低分辨率圖像的特征提取結(jié)果；Bhist代表直圖像編碼的經(jīng)過；B代表分割圖像樣本塊數(shù)。

文中通過結(jié)合稀疏編碼方法，在ScSR框架中訓(xùn)練字典，目標(biāo)是獲取一組能夠表示復(fù)雜的特征樣本字典對Dh與D1。使K對圖像生成的深層次細(xì)節(jié)特征Fhi與Fli，在Dh與D1上有著同樣的稀疏表示，且Fhi與Fli是有相同的描述系數(shù)，即

(6)

(7)

(8)

式中：N與M分別表示圖像的高、低分辨率特征塊元素值所進行列矢量的維度重排，1/N與1/M是采用平衡式(6)，(7)的Dh與D1之間的代價，為便于后續(xù)計算，將式(8)重構(gòu)得到

(9)

(10)

在獲得字典對DC后，采用基于稀疏正則模型的高分辨率圖像重建方法得出LR圖像Y的重建HR圖像X。

圖像重建階段，受到外界環(huán)境噪聲干擾，圖像中存在部分噪聲，在重建后的圖像會出現(xiàn)塊效應(yīng)以及圖像的模糊偽影。考慮到通常情況下，采用常規(guī)的反向投影模型，不能確保圖像重建之后的圖像質(zhì)量；在非部分局部相似性先驗約束下，通過圖像與圖像之間的相似塊進行匹配，來更好地保存圖像的細(xì)節(jié)。相對重建后存在的圖像塊效應(yīng)和模糊偽影，進行消除，在反向投影全局優(yōu)化的基礎(chǔ)上引進非局部的相似性經(jīng)驗約束，來優(yōu)化HR圖像。文中的全局約束與非全局約束模型X*的表達式為

(11)

4 實驗結(jié)果與分析

4.1 實驗環(huán)境與參數(shù)分析

仿真環(huán)境為Pentium M1.60GHz CPU，760M RAM。為了證明本文方法的效果，對本文方法與文獻[4]方法和三次樣條插值法進行對比分析。

結(jié)合相關(guān)仿真工具對圖像模擬實驗。假如使用高斯模糊模型，設(shè)定3×3區(qū)域不變的高斯濾波器，將其采樣因子設(shè)定為4，對所有低分辨率圖像都加進高斯噪音，滿足信噪比為30dB。

4.2 實驗結(jié)果分析

圖1分別是幾幅測試圖像使用各個算法重建的圖像結(jié)果。圖像像素為512×512。

圖1 仿真結(jié)果

根據(jù)圖1可以看出，三次樣條插值方法通過圖像單幀像素點進行空間擴展，在重建過程中難以避免導(dǎo)致邊緣模糊，重建效果一般。文獻[4]方法對于某些幀像素點匹配時誤差較大，致使最終重建后的圖像細(xì)節(jié)不夠豐富清晰，重建效果劣于三次樣條插值方法。相比之下可以看出，本文方法相較于其它兩種方法，在高分辨率圖像重構(gòu)中具有明顯的優(yōu)勢。

高頻殘差分量塊和中頻殘差分量塊絕對差和間的關(guān)系，如圖2所示。

圖2 中、高頻圖像塊間的相關(guān)性

由上圖可以看出，兩幅圖都呈現(xiàn)出正相關(guān)的特性，雖然殘差圖像塊間的相關(guān)性較原始圖像塊的相關(guān)性相對弱一些，但從圖中可見，相關(guān)性仍是非常明顯的，足夠支持本章算法的思路，可以利用中頻殘差信息來預(yù)測高頻殘差信息。

圖3 各種方法對圖像重建的結(jié)果

由上圖可以看出，文獻[4]方法由于幀像素點匹配時誤差較大，重建圖像質(zhì)量沒有明顯的提升。三次樣條插值方法具有明顯的鋸齒現(xiàn)象，且邊界的銳化保持度不明顯。所提方法不僅可以重建明顯的邊界輪廓，對不明顯的邊界紋理也有改善。主要原因在于所提方法通過PCANet深度網(wǎng)絡(luò)進行圖像樣本的挖掘，能夠獲取相對非深度網(wǎng)絡(luò)更好的圖像特征，建立的深層特征字典，也可以提升其描述能力，對圖像重建后的質(zhì)量有著顯著的提升。

均方誤差(MSE)單位為常數(shù)、結(jié)構(gòu)相似度(SSIM)單位為%。選取均方誤差(MSE)、峰值信噪比(PSNR)以及結(jié)構(gòu)相似度(SSIM)這3個評價指標(biāo)進行測試。SSIM參數(shù)用來評價圖像與圖像之間結(jié)構(gòu)失真。

(12)

(13)

(14)

表1 仿真數(shù)值的結(jié)果標(biāo)準(zhǔn)

結(jié)合圖1、2與表1結(jié)果可以看出，文獻[4]方法的均方誤差(MSE)的指標(biāo)為30.12%，峰值信噪比(PSNR)的指標(biāo)為18.65%，結(jié)構(gòu)相似度(SSIM)指標(biāo)為0.43%；三次樣條插值方法的均方誤差(MSE)的指標(biāo)為26.54%，峰值信噪比(PSNR)的指標(biāo)為19.58%，結(jié)構(gòu)相似度(SSIM)指標(biāo)為0.57%；本文方法的均方誤差(MSE)的指標(biāo)為5.54%，峰值信噪比(PSNR)的指標(biāo)為33.25%，結(jié)構(gòu)相似度(SSIM)指標(biāo)為0.95%。無論從均方誤差(MSE)、峰值信噪比(PSNR)以及結(jié)構(gòu)相似度(SSIM)這3種指標(biāo)上，還是從主觀視覺角度來看，本文提出的方法重建效果均優(yōu)于其它兩種方法，圖像重建后細(xì)節(jié)更豐富，質(zhì)量更好。

5 結(jié)論

本文提出的重建方法，通過獲取多幀圖像的深層次特征，來增強高分辨率字典以及低分辨率字典描述圖像細(xì)節(jié)信息以及框架結(jié)構(gòu)的能力，保持重建后的圖像具有豐富細(xì)節(jié)信息。本文方法在主觀評價與客觀評價上均較優(yōu)，重建后的圖像細(xì)節(jié)信息更豐富，圖像質(zhì)量更好。

未來階段將優(yōu)化重建方法的計算時間，對于影響圖像的重建眾多因素進行詳細(xì)分析，進一步提升基于視覺傳達的多幀圖像高分辨率重建效率。