基于Beltrami模型和SURE算法的彩色視頻超分辨率重建

姜永艷++韓玉兵++金文清

摘要：本文采用基于Beltrami模型的半隱式格式算法實現(xiàn)受損彩色圖像的高效優(yōu)質重建，并將其應用于彩色視頻處理。半隱式格式為基于Beltrami框架模型提出的高效算法，根據LOD/AOS分裂格式形成三對角矩陣，并采用追趕法快速求解方程，以實現(xiàn)算法的高效性。使用SURE算法以確定半隱式格式算法中的五個關鍵參數(shù)，并結合遺傳算法動態(tài)搜索最佳參數(shù)值用于逐幀重建受損圖像，從而實現(xiàn)降質視頻流的清晰化。實驗結果表明本方法的彩色視頻重建效果良好。

關鍵詞：Beltrami模型；半隱式格式；SURE；遺傳算法；視頻重建

中圖分類號：TN911.73 文獻標識碼：A 文章編號：1007-9416（2017）03-0142-04

Abstract：In this paper， a semi implicit scheme based on Beltrami model is used to reconstruct the damaged color image with high efficiency and high quality. The semi implicit scheme is an efficient algorithm based on the Beltrami framework model， which is based on the LOD/AOS splitting scheme to form the three diagonal matrix， and the method is used to solve the equation quickly to achieve the high efficiency of the algorithm. The SURE algorithm is used to determine the five key parameters of the semi implicit scheme， and the optimal parameters are searched by the genetic algorithm to reconstruct the damaged image frame by frame. The experimental results show that the proposed method is effective for color video reconstruction.

Key Words： Beltrami model； semi implicit scheme； SURE； genetic algorithm； video reconstruction

現(xiàn)實中，圖像或視頻受到來自外界干擾后，其質量會有不同程度和不同類型的損壞[1]。視頻由單幀圖像組合而成，視頻的損壞主要為單幀圖像的損壞，所以視頻重建的首要任務是高效優(yōu)質地重建單幀圖像。對于單幀圖像的重建，主要進行去噪、去模糊、插值和超分辨率等四個步驟的處理[2]。首先，對圖像進行正則化處理[3]。正則化方法有很多種，例如標準Tikhonov正則化和總變分（Total Variation： TV）正則化[4]，后者較前者而言，在處理圖像邊緣細節(jié)上更為優(yōu)異，從而能夠更好地抑制因彩色圖像邊緣色彩抖動而造成畫面模糊不清的不利現(xiàn)象。近年來，小波分析方法因其在尺度分析上的優(yōu)良特性，被廣泛地應用于圖像重建，甚至與二元樹、小波收縮和形態(tài)小波等概念結合起來[5]，形成更為有效的圖像重建方法。上述方法對于處理灰度圖像較為適用，而對于包含多個通道的彩色圖像，盡管可以對每個通道單獨處理，但對通道之間相互影響的處理效果并不理想，降低了彩色圖像的重建質量。因此，基于微分流形的圖像重建方法被提出和應用。

首先，Sochen等人將圖像嵌入映射至兩個黎曼微分流形之間，引入Nambu泛函來表示相關的“面積”度量，并提出基于Beltrami框架下的圖像重建。文獻[6]進一步提出基于Crank-Nicolson半隱式格式的LOD（locally one-dimensional）和AOS（additiveoperator splitting）分裂格式，從而形成三對角方程后快速求解。后期，王澤龍，Sidi和Wetzler等人[7-9]則開始將該算法拓展至圖像處理。

本文主要針對受損彩色圖像，即降質的每一幀，進行超分辨率重建，采用基于LOD分裂的半隱式格式的微分流形圖像重建算法實現(xiàn)。該算法涉及的五個參數(shù)，用遺傳算法GA動態(tài)搜索出參數(shù)組的范疇，結合SURE準則選出最優(yōu)參數(shù)，并將各代產生的最優(yōu)參數(shù)應用于視頻圖像的逐幀重建，從而獲取連貫而清晰的彩色視頻流。

1 Beltrami模型

基于Beltrami模型的微分流形正則化處理較其它重建方法具有良好的圖像恢復效果，該算法一般采用顯示格式迭代計算。由于顯示格式迭代計算次數(shù)多、計算量較大，不利于高效地恢復圖像，因此本節(jié)將介紹具備更高迭代效率的半隱式格式算法[10]，以便大幅度提高圖像重建的速度。

4 遺傳算法GA在彩色視頻重建上的應用

遺傳算法的主要步驟為：（1）編碼與解碼；（2）種群的選取；（3）目標函數(shù)；（4）選擇過程；（5）交叉和變異運算。

本文GA算法中目標函數(shù)就是SURE函數(shù)，即利用SURE準則選取最優(yōu)參數(shù)。

該算法機理為：首先計算出針對視頻第一幀的每個個體對應的SURE值，然后選出其中SURE值最小的一組所對應的參數(shù)來重建第一幀，并將該參數(shù)組保留至下一代。鑒于視頻的幀率很高，一般認為相鄰兩幀的差異度很小，即后幀由前幀增加一個非常小的擾動形成，從而適用于前幀的最佳參數(shù)也可能適用于后幀。為提高重建效率，將前幀的最佳參數(shù)保留至下一代中，通過遺傳算法重新整合后再選出針對后的最佳參數(shù)并重建它。再假定整個種群波動不大，就可能高效地找到最佳參數(shù)。

5 實驗研究

本次實驗中選用的均為測試標準彩色視頻，Akiyo和Coastguard視頻流中每一幀圖像的大小均為176*144，測試所用圖像均歸一化為[0，1]，對于降質圖像中：其降采樣因子均為2；添加模糊核算子大小均是7*7，且標準差為1的高斯模糊核；添加的噪聲是均值為0，標準差為0.02的加性高斯白噪聲。實驗為對降質視頻進行超分辨率重建的仿真及分析，圖像重建評價指標采用常用的峰值信噪比PSNR。圖1為Akiyo視頻的處理結果，從中觀測到重建圖像的PSNR值不斷上升，其中第50幀圖像的初始PSNR值為25.2252 dB，迭代重建后的PSNR值是26.9248 dB，信噪比提高了2dB，取得了較好的重建效果。圖2為Coastguard快艇飛馳河面視頻的處理結果，盡管其第50幀圖像的初始PSNR=21.1207dB，迭代重建后的PSNR=23.217dB，單幀恢復效果尚可，但圖3（b）中的重建PSNR值曲線圖呈現(xiàn)顯著的下降態(tài)勢，究其原因在于快艇高速運動造成相鄰兩幀差異過大，背離了本算法的假設前提。

6 結語

采用基于Beltrami模型的半隱式格式算法結合SURE算法來實現(xiàn)受損彩色圖像的優(yōu)質重建，是一種有效處理方法，特別是針對相鄰幀之間差異較小的視頻，結果尤為理想。對于相鄰幀之間畫面差異較大的視頻，本算法的重建效果有待提高。

參考文獻

[1]章毓晉.圖像處理和分析基礎[M].北京：清華大學出版社，1999.

[2]夏良正.數(shù)字圖像處理[M].南京：東南大學出版社，2003.

[3]路慶春.正則化超分辨率圖像重建算法研究[D].合肥：中國科學技術大學，2010.

[4]Goldstein T， Osher S. The split Bregmanmethod for L1-regularized problems[J]. SIAM Journal on Imaging Science， 2009， 2（2）： 323-343.

[5]Xiang Z J， Ramadge P J. Edge-preserving image regularization based on morphological wavelets and dyadic trees[J].IEEE Transactions on Image Processing， 2012， 21（4）： 1548-1560.

[6]Rosman G， Dascal L， Tai X C， et al.On semi-implicit splitting schemes for the Beltrami color image filtering[J].Journal of Mathematical Imaging and Vision， 2011，40： 199-213.

[7]王澤龍，朱炬波.Beltrami流及其在圖像去噪中的應用[J].國防科技大學學報，2012，34（5）：137-141.

[8]IdrissiSidiYassine， Samir Belfkih. Texture image segmentation using a new descriptor and mathematical morphology[J].The International Journal of Information Technology， 2013， 10（2）： 204-208.

[9]Aaron W， Ron K. Efficient Beltrami flow in patch-space[C].In “Third International Conference on Scale Space and Variational Methods in Computer Vision （SSVM 2011） [M]，”BrucksteinAMet al. （Eds.）， LNCS 6667，BerlinHeidelberg： Springer-Verlag， 2012： 134-143.

[10]Dascal L.， Rosman G.， Kimmel R. Efficient Beltrami filtering of color image via vector extrapolation[J].In Scale Space and Variational Methods in Computer Vision. Lecture Notes on Computer Science， 2007， 4485：92-103.

[11]C.stein.“Estimation of the mean of a multivariate normal distribution[J]， 1981：1135-1151.

[12]R.Giryes， M.Elad， Y.C.Eldar. The projected GSURE for automatic parameter tuning in iterative shrinkage methods[D]. 2010.

[13]S. Ramani， T. Blu， M. Unser. Monte-Carlo Sure： A Black-Box Optimization of Regularization Parameters for GeneralDenoising Algorithms[J].IEEE Transactions on Image Processing， 2008，17（9）： 1540-1554.

[14]P. Hansen D.P. OLeary， “The use of the L-curve in the regularization of discrete ill-posed problems[J]，” SIAM J. Sci. Comput.， 1993，14（6）：1487-1503.