基于參考幀的視頻播放超分辨率放大算法
2007-12-31 00:00:00柯水洲彭宇行陶陽敖永紅
計算機應用研究 2007年8期
摘要：利用連續視頻各幀之間的時域和空域相關性，在視頻播放超分辨率插值放大重建時，主要對I幀進行邊緣檢測插值，而對P幀和B幀圖像的插值則參考I幀的插值結果，從而提高整個視頻播放的主觀質量，計算量也不大。實驗結果表明，本算法對提高每幀圖像以及整體視頻主觀質量均有明顯效果，大大減少了播放時由于視頻的放大而出現的塊狀和鋸齒狀等失真。
關鍵詞：視頻播放； 超分辨率； 插值； 參考幀
中圖分類號：TP391文獻標志碼：A
文章編號：1001－3695(2007)08－0178－03
0引言
傳統的視頻回放放大技術，往往只對視頻幀每個像素進行像素復制，用相同的像素值來填充放大后的空白像素位置。當顯示屏幕變得很大、顯示分辨率變得很高的情況下，由于視頻本身的分辨率不夠大，視頻一經放大，一個像素點就被復制到周圍多個像素位置，這樣就使得圖像塊狀和鋸齒狀等失真明顯化。
同時，由于成像設備、數據壓縮等原因，不可能無限制地增大捕獲視頻的分辨率。而視頻壓縮編碼階段所作的處理也不適合增大視頻分辨率，因而大多在解碼回放階段視頻幀重建之前通過像素插值提高視頻幀的顯示分辨率來提高顯示清晰度，這就是所謂的超分辨率重構技術。
在單幀圖像和圖像序列的超分辨率重構技術領域，有很多文獻均有很好的研究。常見的圖像插值算法有最鄰域插值、雙線性插值、三次樣條插值，以及局部自適應放大算法[1]等，這些經典算法均取得了很好的插值效果。邊緣細節包含圖像的重要信息，消除邊緣細節模糊是提高插值圖像整體視覺效果的關鍵。為了改進這些經典算法在處理邊緣、紋理細節時的模糊等不足，文獻[2]提出了邊緣插值方法，采用模糊算法， 按周圍像素點權重進行插值；文獻[3]提出一種局域自適應非線性插值算法（LAI）；另外還有基于最小二乘的方法[4]、Bayesian方法[5，6]、基于凸集投影[7]的方法等。這些方法使超分辨率圖像重建得到了更廣泛的應用。
在視頻超分辨率重構技術領域，Patti等人[9]提出一種在圖像序列重構模型中增加MPEG量化級再使用POCS的方法，Chen等人[8]提出了一種改造的非壓縮圖像的方法并應用到壓縮視頻領域，Segall等人[10]則綜合前兩種方法的優點，提出了一種重構效果良好的新算法，等等。這些方法大多都是把圖像處理領域的技術加以改進后再應用到連續視頻的每一幀圖像處理中。由于視頻播放的實時性要求，對所有回放視頻幀均應用計算很復雜的圖像插值算法是不現實的。如果利用連續視頻幀與幀之間高度相關性來對視頻進行插值放大，即基于參考幀進行視頻圖像超分辨率重構，那么計算量將可能會大大減少，相對而言，這方面的研究卻還比較少。
針對視頻放大傳統算法對連續視頻幀與幀之間高度相關性的忽視，本文提出了一種基于參考幀提高回放視頻幀空間分辨率的新算法。該算法根據壓縮視頻當前幀和參考幀之間的相關性，視頻解碼回放時，當前幀放大重建算法通過參考其相應的參考幀空間分辨率提高的算法來提高當前幀的空間分辨率，從而達到回放視頻整體空間分辨率提高的目的。實驗表明，本文所提算法是有效的。
1視頻超分辨率重建算法思想
視頻壓縮編碼的時域模型中，當前幀減去預測幀得到殘差圖像，殘差圖像經過編碼后被傳輸到解碼器。在解碼端解碼播放時，殘差圖像通過與相應的預測幀相加來恢復重建當前幀圖像。這種預測幀就被稱為參考幀，它可以是一幀或多幀之前或之后的圖像。參考幀本身的編碼方式有幀內編碼（I幀）和幀間編碼兩種方式。幀間編碼圖像又分為P幀和B幀。P幀圖像只以I幀作為參考，B幀圖像則同時參考I幀和P幀，并且P幀和B幀圖像中所有像素點全部都參考相應的參考幀。視頻壓縮參考幀存在的主要原因，就是利用了連續視頻幀與幀之間的高度相似性，理論上當前幀的主要信息在其參考幀中都可以找到，這樣才使得用于傳輸的殘差圖像的能量最小，從而能夠達到壓縮的目的。因此可以認為，P幀和B幀圖像中的邊緣、紋理等細節，也存在于其參考幀（I幀或P幀）中相應的參考位置。這樣可以對作為參考幀（幀內編碼）的視頻幀圖像進行較復雜高效的插值放大算法，而對殘差圖像只作較簡單的插值，然后再與參考幀進行殘差逆運算以重建該幀圖像。
從以上的分析中，得到了基于參考幀的視頻超分辨率放大算法。本文對I幀視頻幀圖像采用圖像邊緣檢測插值技術進行超分辨率重建，力圖保持其邊緣細節；對于P幀和B幀，首先采用雙線性插值算法對其殘差圖像進行插值放大；然后以塊為單位，再與已經放大重建后的I（P）幀中的相應運動補償塊進行殘差逆運算，從而大大減少P幀和B幀的邊緣檢測復雜度，提高視頻超分辨率重建的效率。
算法基本思想大致概括如下：
a）對于I幀，進行邊緣檢測并插值放大；
b）對于P幀殘差圖像，采用雙線性插值算法進行分辨率放大重建；
c）P幀殘差圖像以放大后的塊為單位，與放大重建后的參考幀（I幀）作殘差補償逆運算，得到重建后的P幀正常圖像；
d）對于B幀，與P幀作類似處理。
2I幀邊緣檢測插值算法
I幀圖像是幀內編碼的，沒有相應的參考幀。對I幀圖像的插值作放大處理，實際上就是對單幀圖像的插值算法，與連續視頻幀與幀之間的相關性無關。
大多數較好的圖像插值算法運算量通常都非常大，不適合于實時視頻的超分辨率重建。本文采取一種較簡單的算法對視頻圖像幀進行邊緣檢測。對I幀視頻圖像進行邊緣檢測的目的，是要確定其邊緣像素點位置，插值放大時，對于邊緣上的像素點，不做插值，從而保證邊緣不被模糊化；對于非邊緣像素點，考慮到視頻播放實時性的要求，不宜采用太復雜的插值算法。因此，本文采用雙線性插值算法，以減少運算量。
邊緣檢測算子的選擇，綜合考慮到計算的復雜度和邊緣檢測效果，本文采用Roberts邊緣檢測算子。
式中： f(x，y)表示像素點(x，y)處的像素值；g(x，y)表示像素點(x，y)處的梯度值。
對于視頻圖像亮度分量和色度分量的處理，邊緣檢測插值方法基本上類似。下面主要介紹亮度分量的插值算法。
假定編碼視頻分辨率大小是176×144。那么用一個176×144大小的零矩陣B（矩陣大小與編碼視頻分辨率相同，初始值全部為0）來記錄I幀每一個像素點是否為邊緣像素點。
邊緣檢測首先從左上角第一個像素點開始，按照從左至右從上至下的順序掃描計算，設定邊緣檢測閾值T，當梯度值g(x，y)>T時，我們認為點(x，y)是邊緣像素點，記錄B[x，y]＝1。
遍歷整個視頻幀后，實際上有了兩幅圖像，一幅為I幀原圖（圖G），一幅為I幀邊緣輪廓二值圖（圖B）。下面以圖B作為參考，來對圖G進行插值放大。
假定放大倍數為Izoom（為大于1的整數），那么可以認為最終的目的是要將每個像素點插值成為Izoom的平方個像素點。
為了減少計算量，主要使用較簡單的雙線性插值算法進行插值。
a）首先對每一行（水平方向）均進行一階線性插值放大，采用下面的公式：
3P幀和B幀插值放大算法
視頻編碼運動補償時的殘差運算，是以塊為單位進行的，即運動補償時，首先把當前幀（P幀和B幀）分塊，然后以塊為單位，為各個塊分別在參考幀（I幀或P幀）中搜尋相同大小的最佳匹配塊，以使得每個塊與相應的最佳匹配塊進行殘差運算后，所得殘差塊所包含的能量最小。對于最佳匹配的兩個塊，可以認為它們包含的邊緣等細節信息點在兩個塊中的對應位置是基本一致的。因此，對于幀間編碼的P幀和B幀中的每一個塊中所包含的邊緣信息，可以從已經進行邊緣檢測放大重建后的參考幀中相應的參考塊（最佳匹配塊）中取得。這樣，當前幀的插值算法就可以利用參考幀中的邊緣檢測結果，而不必再去考慮本身的邊緣檢測，只需要簡單放大即可。
P幀是以I幀作為參考，并進行運動補償殘差運算之后得到的，因此，P幀圖像的恢復重建依賴于本身殘差圖像的殘差值和相應的參考幀（I幀）圖像，而它最主要的信息幾乎全部都在I幀中能找到。可以先對P幀殘差圖像進行簡單的插值放大后，再以放大后的I幀圖像作為參考進行塊殘差逆運算，從而得到重建并已經插值放大的P幀圖像。因為P幀與I幀圖像的高度相關性， P幀圖像的插值放大將不必再考慮邊緣檢測，從而就可以直接利用I幀圖像插值的邊緣檢測結果。
對于B幀圖像，主要是以P幀和I幀作為參考幀得到的，插值放大重建處理方法與P幀基本類似。
由此，可以得到插值放大重建后的完整的高分辨率連續視頻圖像。
插值放大重建過程如圖1所示。
4實驗
實驗采用foreman.yuv和container.yuv qcif視頻序列，原始分辨率均為176×144，YUV采樣格式為4:2:0。編解碼遵從H.264標準，JM版本為10.2。邊緣檢測閾值T設為40。
5結束語
本文采用的方法，根據I幀、P幀和B幀圖像之間的相關性，通過基于參考幀邊緣檢測的插值放大算法來提升視頻播放分辨率，從而達到提高視頻整體主觀質量的目的。實驗結果表明，算法對提高I幀、P幀和B幀圖像主觀質量均有明顯效果，計算量也不大。
參考文獻：
［1］BATTIATO S， GALLO G， STANCO F. A locally adaptive zooming algorithm for digital images [J]. Image and Vision Computing，2002，20:805－812.
[2］SHEZAF N， HAGIT A S， SUTSKOVER I，et al.Adaptive low complexity algorithm for image zooming at fractional scaling ratio [C]//Proc of the 21st IEEE Convention.Israel: Electrical and Electronic Engineers，2000:253256.
[3］RODRIGUES L， LEANDRO B D，MARCOS G L.A locally adaptive edgepreserving algorithm for image interpolation [C]//Proc of Computer Graphics and Image Processing. Fortaleza， Brazil:[s.n.]， 2002:710.
[4］NGUYEN N， MILANFAR P， GOLUB G. A computationally efficient superresolution image reconstruction algorithm [J].IEEE Transactions on Image Processing， 2001，10(4):573－583.
[5］FARSIU S， ROBINSON D， ELAD M， et al. Fast and robust superresolution [C]//Proc of IEEE International Conference on Image Processing. Barcelona:[s.n.]，2003:291－294.
[6］ELAD M， FEUER A. Superresolution restoration of an image sequence: adaptive filtering approach [J] . IEEE Transactions on Image Processing， 1999，8(3):387－395.
[7］PATTI A J， ALTUNBASAK Y. Artifact reduction for set theoretic superresolution image reconstruction with edge adaptive constraints and higherorder interpolants [J] . IEEE Transactions on Image Processing，2001，10(1):179186.
[8］PATTI A J， ALTUNBASAK Y. Superresolution image estimation for transform coded video with application to MPEG[J]. IEEE Int Conf Image Processing， 1999，5(3):179183.
[9］CHEN D， SCHULTZ R R. Extraction of highresolution video stills from mpeg sequences[J]. Image Processing，1998，14(2):465－469.
[10］SEGALL C A， KATSAGGELOS A A， MOLINA R， et al.Bayesian resolution enhancement of compressed video[J]. IEEE Trans on Image Processing， 2004，13(7):898－911.
注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”
