基于自適應運動估計的視頻超分辨率重建

楊　梅

(重慶三峽學院電子與信息工程學院　重慶 404000)

?

基于自適應運動估計的視頻超分辨率重建

楊梅

(重慶三峽學院電子與信息工程學院重慶 404000)

針對傳統的空域超分辨率重建算法過度依賴配準的精度而限制了算法的適用范圍，提出基于自適應運動估計的視頻超分辨率重建算法。在非參數估計的核回歸模型的基礎上，將二維核回歸函數擴展到三維，把視頻序列中的每一個像素點表示成三維泰勒展開式。通過局部加權最小二乘法得到展示的系數，用核回歸的權重捕捉時空局部運動信息，避免了顯式的亞像素精度的運動估計。在標準測試視頻數據庫中的實驗表明，該算法具有較好的重建效果和較大適用范圍,可用于具有局部和復雜運動的視頻。

自適應運動估計超分辨率重建三維泰勒展開式

0　引　言

超分辨率重建算法是提高圖像和視頻分辨率的一種方法，通過融合多幀相似的低分辨率圖像達到提高圖像細節的目的。超分辨率重建算法在醫學圖像處理、數字電視、軍事和遙感等領域得到廣泛應用[1]。

超分辨率重建主要有基于插值、基于重建和基于學習三大類[2]。基于插值的方法比較直觀，但不能利用先驗知識，沒有考慮到運動模糊的影響，重建結果中容易出現鋸齒效應。基于學習的方法[2-4]通過對多幀圖像進行訓練以獲得高低分辨率圖像之間的構架模型，這類方法對噪聲敏感且對訓練樣本要求高，計算復雜度高。基于重建的方法利用大量的先驗知識，能夠從一定程度上保持圖像的清晰度和緩解鋸齒效應[5,6]。基于重建的方法分為頻域重建和空域重建方法[7,8]。空域超分辨率重建的效果主要由運動估計的精確性決定。

目前的視頻超分辨率重建方法主要是建立在已知或者估計出低分辨率圖像之間的亞像素精度的運動信息之上的[9]。對于全局運動的視頻，采用現有的四參數運動配準算法[10]和通過泰勒級數展開的配準算法[11]可以得到較為精確的配準結果；對于包含局部運動的視頻，一般通過基于塊匹配[12]和基于光流[13]的配準算法來估計運動信息。但是這兩種配準方法都較難得到精確的運動估計信息，特別是對于包含有復雜運動的視頻，很難實現亞像素精度；而實際拍攝的視頻，通常都包含局部運動或者復雜運動，限制了超分辨率重建的適用范圍。為了解決傳統的超分辨率重建算法高度依賴于精確的亞像素級運動估計信息的問題，受調整核回歸被用于單幅圖像的去噪和插值[14]的啟發，將調整核回歸應用到視頻的超分辨率重建中，提出基于自適應運動估計的視頻超分辨率重建算法。避免了顯式的亞像素精度的運動估計，能夠使運動估計不精確問題在重建中產生的偽影現象得到消除。算法適用于包含局部運動和復雜運動的視頻，拓寬了重建算法的適用范圍，具有較好的重建效果。

1　非參數估計的核回歸

非參數估計的方法是根據數據本身得到模型結構，這種隱含的模型稱為回歸函數。目前的非參數回歸問題的解決方法主要有：樣條函數、核函數和小波變換[15,16]。由于核回歸估計的方法直觀簡單，被廣泛地用于模式檢測與識別等領域，但在視頻處理領域，核回歸估計的方法還未得到廣泛的應用[17]。

1.1二維核回歸模型

核回歸采用全局信號或者噪聲模型的最小假設來逐點估計函數值。根據核回歸框架將圖像的數據模型定義為：

yi=z(xi)+εii=1,2,…,Pxi=[x1i,x2i]T

(1)

式(1)中，yi是在空間坐標(x1i,x2i)處的加噪采樣點，z(·)是待求的回歸函數，εi是均值為0的高斯白噪聲，P為滑動窗口中的總采樣點數。假設x是xi附近的采樣點，則可將回歸函數z(xi)局部擴展為式(2)所示的N階泰勒級數展開：

z(xi)≈z(x)+{▽z(x)}T(xi-x)+

(2)

式(2)中，▽和H分別表示兩行一列的梯度算子和兩行兩列的Hessian算子。vech是半量化算子，其用法如式(3)所示：

(3)

(4)

(5)

式(5)中：

(6)

式(6)中，K(·)是核函數，Hi是一個2×2的平滑矩陣，它表明了核函數的軌跡。不考慮回歸函數的回歸階和維數，將式(5)表示成式(7)所示的加權最小二乘問題：

(7)

式(7)中：

y=[y1,y2,…,yp]T

K=diag[KH1(x1-x),KH2(x2-x),…,KHp(xp-x)]

進一步將式(7)進行優化，得到式(5)的加權最小二乘最優估計：

(8)

采用附近采樣點的加權線性組合表示β0，如式(9)所示：

(9)

式(9)中，e1是一個列向量，它的第一個元素為1，其他的元素為0，Wi是等價的核權值函數[16]。

1.2調整核回歸模型

傳統核回歸能被表示成鄰域采樣點的局部線性組合，它等價于一個局部自適應線性濾波的過程。該模型雖然計算效率較高，但是去噪或者插值處理后的圖像不能很好地保持圖像原來的邊緣等結構信息，而調整核回歸能克服傳統核回歸的缺陷。調整核回歸是一種數據自適應核回歸，它不僅依賴于采樣數據點的密度和位置，還依賴于采樣點的放射規則。數據自適應核回歸能夠捕獲圖像的局部結構，核的尺寸和形狀局部自適應于圖像的邊緣等結構特征，在局部信號和噪聲模型下能夠以最小的假設保持和修復圖像的細節。在傳統核回歸理論的基礎上，根據式(5)，將平滑矩陣Hi表示成全局平滑參數h與捕捉數據采樣點的局部密度的標量的乘積，核的權重對圖像的水平和垂直方向的影響是相同的。如果適當地選擇平滑矩陣Hi，核函數就能捕獲圖像的局部結構信息。在調整核回歸的理論中，將平滑矩陣表示成式(10)所示的對稱矩陣：

(10)

式(10)中，Ci是空間梯度向量的局部協方差矩陣，它與圖像的局部邊緣等結構信息相關，Ci的合理選擇能夠削弱模糊的影響。

2　自適應運動估計的視頻超分辨率重建算法

2.1自適應運動估計的超分辨率重建算法模型

對于包含局部運動或者復雜運動的視頻，為了克服傳統的超分辨率重建中配準精度的不足，本文將調整核回歸應用到視頻的超分辨率重建中。將二維調整核回歸用到時空維，將二維核回歸函數擴展到三維，相應的二維權值計算公式也由二維擴展到三維。時空調整核回歸的權重用來捕獲時空邊緣的局部信號的結構。

將二維的調整核回歸擴展到三維，式(9)變成式(11)：

(11)

(12)

(13)

式(13)中，zx1(·)、zx2(·)、zt(·)分別表示水平、垂直和時間軸的一階偏導數。采用式(13)計算的協方差矩陣可能不是滿秩，因此，采用Ji的帶有正則化的奇異值分解來估計Ci，如式(14)所示：

(14)

式(14)中：

(15)

式(15)中，α為結構敏感度因子，Qq和γi分別表示拉伸算子和尺度算子，λ′和λ″是正則化參數，它們用來抑制噪聲的影響并限制γi和Qq的分母不為0。Ji的奇異值分解后的奇異值為(s1,s2,s3)，奇異向量為(v1，v2，v3)。

(16)

三維調整核回歸的調整核函數如式(17)所示：

(17)

該模型是基于時空鄰域像素點的比較，重建像素相似時空塊中的所有像素點都對該點的重建有貢獻，使得實際配準到的點無限接近于應該精確配準的點，從而避免了顯式的亞像素級運動估計，克服了配準誤差對重建的影響。

2.2自適應運動估計的超分辨率重建算法的實現

本文提出的自適應運動估計的超分辨率重建算法的步驟如下：

目標：估計超分辨率重建后的高分辨率視頻序列。

Step5根據得到的較精確的方向信息，采用三維調整核回歸，計算采樣點的空間距離以及調整核的權重Wi(·)，確定低分辨率圖像在高分辨率網格上的位置，然后帶權內插輸出高分辨率圖像。

3　實驗結果及分析

為了驗證本文方法的有效性，用標準測試視頻“foreman”和“akiyo”，采用經典的插值方法中的雙三次插值、配準效果較好的基于四參數運動配準的IBP重建方法和基于塊匹配的IBP重建方法與本文算法進行對比實驗。

3.1標準測試視頻模糊情況下的視頻重建實驗

對標準測試視頻“foreman”和“akiyo”進行模糊和下采樣后，取每個視頻的前30幀，用3×3的均勻點擴展函數對視頻幀進行模糊，下采樣因子為2。在重建中設置梯度濾波器的全局平滑參數為0.5，核函數的空間支持尺寸為5，空間分析窗口的尺寸為7，時間分析窗口的尺寸為5。超分辨率重建后的實驗結果如圖1、圖2所示，圖1中為foreman視頻第八幀的重建實驗，圖2中為akiyo視頻第四幀的重建實驗。

圖1　foreman視頻第八幀重建實驗

圖2　akiyo視頻第四幀重建實驗

從圖1和圖2可以很看出：雙三次插值放大后的圖像較模糊，紋理細節特征不豐富；對于四參數IBP的算法，存在較嚴重的重建偽影現象和振鈴效應。對于塊匹配的IBP重建方法，存在較嚴重的鋸齒現象、塊效應和振鈴效應；本文所提出的算法重建的結果有良好的去模糊效果，重建結果較好，紋理細節特征較豐富。

為了客觀上說明本文方法的有效性，采用峰值信噪比(PSNR)和結構相似度(SSIM)來評價算法的重建效果。表1和表2分別表示foreman視頻和akiyo視頻的前30幀在無噪聲情況下，在不同重建算法下的平均PSNR值和平均SSIM值。

表1　foreman視頻和akiyo視頻前30幀的平均PSNR值

表2　foreman視頻和akiyo視頻前30幀的平均SSIM值

從表1和表2可以看出，四參數IBP算法由于存在較嚴重的重建偽影現象，因此PSNR值較差，SSIM值也較低；塊匹配的IBP重建算法由于存在塊效應和鋸齒現象，所以PSNR值和SSIM值也較低；本文算法的重建結果具有較高的PSNR值和SSIM值。

3.2標準測試視頻模糊加噪聲情況下的重建實驗

在對標準測試視頻“foreman”和“akiyo”下采樣時，附加標準偏差的高斯白噪聲。重建中參數的設置和3.1節中實驗一樣。實驗結果如圖3、圖4所示，圖3中為foreman視頻第八幀的重建結果，圖4中為akiyo視頻第四幀的重建結果。

圖3　foreman視頻第八幀重建實驗

圖4　akiyo視頻第四幀重建實驗

從圖3、圖4看出：雙三次插值放大后的圖像較模糊，紋理細節特征不豐富，易受到噪聲的影響；四參數IBP的方法存在由于配準不精確而產生的偽影現象和振鈴效應；塊匹配的IBP重建方法雖然在一定程度上消除了由于運動估計不精確產生的重建偽影現象，但是在某些地方會出現較嚴重的塊效應，不能有效地去除噪聲的影響；本文方法重建后的圖像，紋理細節特征較豐富，能抑制噪聲，優于其他幾種算法。

foreman視頻和akiyo視頻的前30幀在加噪并模糊情況下，不同重建算法下的平均PSNR值和平均SSIM值分別如表3、表4所示。

表3　foreman視頻和akiyo視頻前30幀的平均PSNR值

表4　foreman視頻和akiyo視頻前30幀的平均SSIM值

將表3和表4中的數據與表1和表2進行對比，可以得到：在加噪聲的情況下，雙三次插值、四參數IBP、塊匹配IBP的重建方法由于受到噪聲的影響，PSNR值和SSIM值與無噪聲的情況下相比下降得較多，表明它們的重建方法受噪聲的影響較大。本文算法在加噪情況下雖然某些視頻的PSNR值和SSIM值較無噪聲時的小，但是下降很小，證明本文的算法對噪聲有一定的魯棒性。

綜合以上分析，可以得出：雙三次插值的PSNR值和SSIM值雖然比四參數IBP和塊匹配IBP的稍高，但是從視覺效果上看，雙三次插值的結果比較模糊，細節不清晰。塊匹配IBP的結果從視覺效果上看，雖然圖像的細節較雙三次插值的要好，但是重建的結果存在塊效應，并且在邊緣處有重建鋸齒和振鈴現象，導致它的PSNR值和SSIM值較低。四參數IBP的方法由于配準不精確的問題，導致重建后的視頻幀存在較嚴重的重建偽影現象；同時某些視頻重建時存在振鈴現象，這就導致了它的PSNR值和SSIM值較低。四參數IBP和塊匹配IBP的重建結果受噪聲影響較大。本文的重建方法對噪聲有一定的抑制作用，重建的細節信息較豐富。無論從主觀視覺效果還是從客觀評價指標上來看，本文的算法都優于其他的幾種算法。

為了進一步說明本文算法效果，對實際拍攝的2幀有噪圖像進行超分辨率重構，結果如圖5所示。

圖5　實拍圖像的重建

4　結　語

對于含有局部運動或者劇烈運動的視頻，傳統的超分辨率重建算法很難達到亞像素精度的配準結果，本文采用時空局部相鄰采樣點的線性組合來表示待重建的像素點。利用調整核函數的權重捕捉運動信息，提出了一種無需顯式運動估計的基于自適應運動估計的視頻超分辨率重建算法。通過標準測試視頻的實驗表明，本文提出的算法能自適應捕捉圖像的結構信息，對噪聲有較好的抑制作用，能有效消除運動估計不精確造成的偽影現象。

[1] 萬雪芬,楊義,崔劍.圖像超分辨率重建處理算法研究[J].激光與紅外,2011,41(11):1278-1281.

[2] 王朝暉,陳龍,焦斌亮.基于圖像非局部自相似性與分類字典學習的超分辨率重建算法[J].小型微型計算機系統,2015,36(7):1617-1619.

[3] 首照宇,廖敏璐,陳利霞.改進的基于稀疏表示的圖像超分辨率重建算法[J].計算機應用與軟件,2014,31(4):201-204.

[4] Shang L,Zhou Y,Su P U.Super-resolution restoration of MMW image based on sparse representation method[J].Neurocomputing,2014,137(5):79-88.

[5] 蔣建國,陳亞運,齊美彬,等.基于自相似性和稀疏表示的圖像超分辨率重建[J].光電工程,2015,42(12):74-81.

[6] Li Lin,Xie Yuan,Hu Wenrui,et al.Single image superresolution using combined total variation regularization by split Bregman Iteration[J].Neurocomputing,2014,142:551-560.

[7] Guo K,Yang X,Zha H,et al.Multiscale semilocal interpolation with antialiasing[J].IEEE Transactions on Image Processing,2012,21(2):615.

[8] 楊蕓.改進的BTV超分辨率重建算法[J].信息技術,2016(2):182-185.

[9] Park S C,Park M K,Kang M G.Super-resolution image reconstruction:a technical overview[J].IEEE Signal Processing Magazine,IEEE,2003,20(3):21-36.

[10] 覃鳳清,何小海,陳為龍,等.一種基于子像素配準視頻超分辨率重建方法[J].光電子·激光,2009(7):972-976.

[11] Keren D,Peleg S,Brada R.Image sequence enhancement using sub-pixel displacements[C]//IEEE Conference on Computer Vision and Pattern Recongnition,1988:742-746.

[12] 張博洋.圖像及視頻超分辨率重建技術研究[D].濟南:山東大學,2013.

[13] Tsai C J,Galatsanos N P,Katsaggelos A K.Optical flow estimation from noisy data using differential techniques[C]//IEEE International Conference on Acoustics,Speech,and Signal Processing,1999,6:3393-3396.

[14] Takeda H,Farsiu S,Milanfar P.Kernel regression for image processing and reconstruction[J].IEEE Transactions on Image Processing,2007,16(2):349-366.

[15] 萬青.基于非參數估計的核回歸圖像去噪[D].武漢:中南民族大學,2008.

[16] 劉志剛.非參數回歸的研究及其應用[D].溫州:溫州大學,2012.

[17] Wand M P,Jones M C.Monographs on Statistics and Applied Probability:Kernel Smoothing[M].New York: Chapman and Hall,1995.

VIDEO SUPER-RESOLUTION RECONSTRUCTION BASED ON SELF-ADAPTIVE MOTION ESTIMATION

Yang Mei

(CollegeofElectronicandInformationEngineering,ChongqingThreeGorgesUniversity,Chongqing404000,China)

In view of the traditional airspace super-resolution reconstruction algorithm overly dependent on the accuracy of registration which leads to the problem of limiting the scope of application of the algorithm, a video super-resolution reconstruction algorithm is proposed based on self-adaptive motion estimation. On the basis of the kernel regression model of non-parametric estimation, the two-dimensional kernel regression was extended to 3D and each pixel of video sequence was represented into three Taylor expansion. The coefficients were obtained by local weighted least squares method. The temporal local motion information was captured with kernel regression weights and explicit sub-pixel precision motion estimation was avoided. Experiments in the standard test video database show that the proposed algorithm has better reconstruction effect and wider application range, which is able to be applied to videos with local and complex motion.

Self-adaptive motion estimationSuper-resolution reconstructionThree-dimensional Taylor expansion

2016-06-04。重慶市教委科學技術研究項目(KJ1501022)。楊梅，助教，主研領域：圖像處理。

TP3

A

10.3969/j.issn.1000-386x.2016.10.034