基于擬合平面插值的時域錯誤隱藏算法研究*

李玉峰,陳瑞寧

(沈陽航空航天大學電子信息工程學院,沈陽 110136)

基于擬合平面插值的時域錯誤隱藏算法研究*

李玉峰*,陳瑞寧

(沈陽航空航天大學電子信息工程學院,沈陽 110136)

針對H.264/AVC壓縮視頻碼流在無線信道傳輸過程中由于運動矢量失配導致圖像重構質量下降的問題,提出了一種基于擬合平面插值的時域錯誤隱藏算法。該算法主要利用平面擬合算法對受損宏塊運動矢量進行重建,同時采用外邊界匹配算法選取最優運動矢量對受損圖像進行恢復重建。實驗表明,該算法不僅避免了原始算法產生的方塊效應,而且在不同的RTP丟包概率下,該算法比自適應外邊界匹配算法得到的峰值信噪比有0.2 dB～0.8 dB提升。

H.264/AVC;時域錯誤隱藏;擬合平面插值;運動矢量

H.264/AVC是由ITU-T的視頻編碼專家組VCEG(Video Coding Experts Group)與ISO/IEC的運動圖像專家組MPEG(Moving Pictures Experts Group)大力發展研究,并于2003年由兩個專家組組成的聯合視頻專家組JVT(Joint Video Team)制定的新的數字視頻通信標準。視頻通信標準具有:低碼流、高質量、抗誤碼性能強以及網絡適應性強等特點。但是在視頻通信中,在獲得較低的冗余量與高壓縮比的的同時,視頻碼流抵抗差錯的能力變得非常脆弱[1]。傳輸過程中一旦出現比特錯誤,預測編碼和可變長編碼的使用會使錯誤更快地在視頻中擴散,使視頻質量下降。根據視頻圖像傳輸的特點提出了3種方式來提高和改善視頻的抗誤碼能力:第1,在編碼端改變編碼策略或添加冗余等方式;第2,在傳輸過程中,改善傳輸通道的質量或建立多傳輸通道;第3,在解碼端根據圖像信息對受損圖像進行錯誤隱藏。錯誤隱藏算法又可以分為:幀內(Intra frame)錯誤隱藏[2],其主要利用丟失塊正確相鄰宏塊來推測當前受損塊的內容;幀間(Inter frame)錯誤隱藏[3-4],其主要利用圖像序列的連續性,通過預測丟失塊的運動矢量來進行錯誤隱藏。

在文獻[5]中,Ali Radmehr提出了運動矢量高斯混合建模的粒子濾波進行錯誤隱藏,主要通過粒子濾波對受損宏塊的運動矢量(Motion Vector)進行恢復,在文獻[6]中,Hadi Asheritichul等提出了基于邊緣檢測的多方向插值算法MDI(Multi-Directional Interpolation),該算法利用相鄰宏塊的邊緣信息,對受損宏塊進行多方向加權插值,但是該算法對于紋理性較弱,邊緣性較強的圖像,恢復效果一般。在文獻[8]中,提出了當P幀圖像受損時,主要采用時域錯誤隱藏算法對其進行隱藏[8]。該算法主要通過對受損宏塊重新建立運動向量,在通過對運動向量的估計找到前一幀或幾幀的對應位置,并將宏塊內容復制到受損宏塊內最終得到隱藏的視頻圖像。綜合研究表明,恢復運動矢量可以分為:第1種,零運動矢量,即直接將前一幀的視頻圖像宏塊內容填充到當前受損視頻圖像中,該向量對于視頻圖像中沒有明顯運動或運動較為緩慢時,受損視頻圖像宏塊能夠有較好的恢復效果。第2種,均值運動矢量,即當P幀圖像紅快手損時利用受損宏塊相鄰正確接收宏塊運動矢量的平均值作為當前受損宏塊的運動向量;第3種,中值運動矢量,即當P幀圖像紅快手損時利用受損宏塊相鄰宏塊正確接收運動矢量的中值作為當前受損宏塊的運動向量[8]。

1 基于擬合平面插值的時域錯誤隱藏算法

時域錯誤隱藏算法[9],重點和難點都是重建受損宏塊的運動矢量,傳統的錯誤隱藏算法根據相鄰宏塊的運動矢量以及零運動矢量作為參考集利用邊界匹配算法選取最優運動矢量并最終實現錯誤隱藏。

1.1 樹狀結構運動補償

H.264視頻圖像幀間預測編碼中采用樹狀結構運動補償,每個宏塊可以進行多種模式的分割,如圖1所示。

圖1 宏塊分割模式選擇

標號為0、1、2、3的子宏塊,每個子宏塊獨立的運動補償。在視頻編碼傳輸中,宏塊的分割選擇方式以及分割后每個子宏塊的運動矢量(MV)都被編碼壓縮到比特流中。在新的編碼標準中,宏塊中平坦區域占絕大部分時采用較大尺寸的分割模式,而宏塊中存在的圖像信息豐富時采用較小尺寸的分割模式。需要補充說明的是同一像素宏塊色度和亮度通常采用同一種分割模式。

1.2 擬合平面算法

在同一幀圖像內,局部范圍內像素通常具有相同的運動矢量,又根據相鄰宏塊間的相關性,通過相鄰宏塊運動矢量建立一個擬合平面來表示相鄰宏塊的運動矢量變化走向,再根據受損宏塊的位置最后得出該受損宏塊的運動矢量估計值,增加到運動矢量集中,為外邊界匹配(OBMA)做好準備。

如圖2所示,其中圖2(a)表示受損宏塊相鄰宏塊的運動矢量,圖2(b)表示根據運動矢量擬合出的平面,可以通過空間坐標獲得受損宏塊坐標對應的運動矢量。

圖2 擬合平面算法示意圖

擬合平面具體算法如下面所示。

假設空間平面方程為:

Ax+By+Cz+D=0 (C≠0)

(1)

則

(2)

假定

甕福集團和開磷集團盡管同為貴州省的大型磷化工企業，但是，它們在市場上卻沒有太多的“兄弟”情分，更多的是市場競爭關系。

(3)

則上式可以轉變為

Z=a0x+a1y+a2

假設空間中需要擬合點的個數為m且m大于等于3。根據最小二乘法則要想擬合上述平面,需使式(4)中S值最小:

(4)

則

(5)

即

(6)

化簡得到:

(7)

(8)

(9)

則平面方程可以表示為:

Z=a0x+a1y+a2

(10)

在重建受損宏塊時,選取受損宏塊的坐標位置(x,y),得到的z值為受損宏塊的預測運動矢量,將其加入到最優運動矢量的集合中等待最優檢測。

圖3 外邊界匹配算法示意圖

2 外邊界匹配算法(OBMA)

本文中采用改進的外邊界匹配算法。該算法首先根據預測運動矢量在參考幀中找到受損宏塊的估計宏塊,然后計算受損宏塊相鄰宏塊的邊界像素值與參考幀中估計宏塊相鄰宏塊中的邊界像素值的差值,并選取差值較小的運動矢量作為最優運動矢量,如圖3所示。圖3中,右圖為受損宏塊,左圖代表相鄰幀中與受損宏塊相同位置的宏塊,黑色區域表示相鄰宏塊邊界像素,灰色區域表示受損宏塊的邊界像素。該算法相對傳統的邊界錯誤以隱藏算法降低了由于邊界匹配產生方塊效應的問題,算法復雜度不高,且能夠獲得較為準確的運動矢量。

(11)

綜上所述,基于擬合平面插值的時域錯誤隱藏算法研究,和空域錯誤隱藏算法一樣,首先判斷視頻圖像信息是否受損,若受損則判斷是I幀還是P幀圖像受損。假設受損圖像為P幀,即時域錯誤隱藏。第1步,傳統的運動矢量預測。第2步,利用擬合平面算法預測受損宏塊運動向量。第3步,利用改進的外邊緣匹配算法檢測最優運動矢量。第4步,根據得到的運動矢量進行錯誤隱藏。

3 實驗結果

實驗選取了foreman_qcif(176像素×144像素),ICE(352像素×288像素),CITY(704像素×576像素)作為測試圖片,使用LostRtp模擬丟包環境。foreman_qcif視頻序列具有運動量較小或者靜止的背景,而人臉在視頻中運動量較大的特點,如圖4(a)所示。ICE視頻序列具有背景是運動量較小或靜止的,而人在視頻中運動量較大且視頻像素較大的特點,如圖5(a)所示。CITY視頻序列具有較大運動量的視頻幀且像素值最大,如圖6(a)所示。首先利用LostRtp對圖像進行模擬丟包,其中丟包后未處理圖像分別如圖4(b)、圖5(b)、圖6(b)所示。然后,分別應用均值加權算法、自適應外邊界匹配時域錯誤隱藏算法、MDI算法和基于擬合平面插值的時域錯誤隱藏算法,仿真結果分別如圖4～圖6所示。

從仿真結果中圖4(c)、圖5(c)、圖6(c)可以看出,均值加權算法能夠使圖像中受損塊獲得較好的平滑性,而對于具有豐富邊緣信息的受損宏塊,得到的圖像邊緣有模糊甚至出現虛假邊緣現象。由圖4(d)、圖5(d)、圖6(d)可以看出,自適應外邊界錯誤隱藏算法能夠使得到的背景圖像能獲得較好的效果,且視頻圖像中運動量較大的宏塊效果一般尤其在下顎部分與帽檐部分都出現不同的方塊效應。由圖4(e)、圖5(e)、圖6(e)可以看出,MDI算法對受損宏塊恢復效果一般,由foreman看出帽檐紋理性弱邊緣性強的受損宏塊恢復一般。由4(f)、圖5(f)、圖6(f)可以看出,相對自適應外邊界錯誤隱藏算法而言,本文的自適應擬合平面插值時域錯誤隱藏算法對運動量較大的宏塊效果恢復效果較好,圖4(f)中的臉下顎部分和圖5(f)中的帽檐部分以及圖6(f)塔樓部分都有較好的恢復效果。綜上所述,在主觀方面基于擬合平面插值算法在一定程度上要優于MDI算法及自適應外邊界匹配時域錯誤隱藏算法。分別對上述測試圖片進行丟包,并進行錯誤隱藏,所得峰值信噪比[10](PeakSignaltoNoiseRatio,PSNR)數據如表1所示,算法仿真復雜度對比如表2所示。

圖6 CITY仿真結果對比

圖4 foreman_qcif仿真結果對比

圖5 ICE仿真結果對比

圖像序列尺寸信噪比PSNR/dB原始錯誤圖片均值加權算法自適應錯誤隱藏算法MDI本文算法Foreman176×144176×1446.711611.775623.466229.129325.212433.702623.875730.985725.488434.0883ICE352×28813.695634.893134.702634.857435.2937CITY704×57617.476532.920935.195235.236735.9858

表2 時域錯誤隱藏算法復雜度對比

經過錯誤隱藏后的PSNR對比圖,如圖7所示,可以看出受損圖像經過自適應外邊界匹配算法重建后的圖像峰值信噪比相對于均值加權算法重建后圖像的峰值信噪比有很大的提升。而多方向插值算法(MDI)對邊緣特性明顯的Foreman_qcif和ICE視頻圖像重建的峰值信噪比相對于自適應外邊界匹配算法較低,而對紋理信息豐富的CITY視頻圖像重建的峰值信噪比相對于自適應外邊界算法較高。而經過本文算法重建視頻圖像的峰值信噪比相對于均值加權平均算法,自適應外邊界匹配算法和MDI算法均有明顯提升。同時,本文算法復雜度略高于均值加權算法,卻低于自適應外邊界匹配算法和MDI算法,如圖8所示。

圖7 算法仿真PSNR對比圖

從客觀比較結果來看,在同一圖像下,丟包率越高,經同一算法恢復圖像的信噪比越低。經過錯誤隱藏后的PSNR對比圖,在同一圖像并且丟包率相同的情況下,利用均值加權錯誤隱藏算法可以對圖像質量恢復得到比較好的效果,自適應外邊界匹配算法以及多方向插值算法利用圖像邊緣特性對受損宏塊進行方向加權插值,對于邊緣特性明顯的圖像重建后的PSNR值有很大的提升,而對于紋理特性復雜的圖像重建效果較差。而通過本文的擬合平面插值錯誤隱藏算法恢復圖像的PSNR值優于自適應外邊界匹配錯誤隱藏算法,且圖像重建后的PSNR值提升約0.2 dB～0.8 dB。

圖8 算法復雜度對比圖

4 結論

本文針對圖像重建受損宏塊運動矢量采用基于擬合平面插值的時域錯誤隱藏算法。此算法對邊緣信息豐富的受損宏塊,一定程度上提高了圖像的恢復效果,優于均值加權算法,同時避免了自適應錯誤隱藏算法中人為設定邊緣梯度閾值造成有意義邊緣信息統計錯誤的缺點。本文算法,不僅保留了丟失塊像素加權平均算法的優點,而且能夠適合邊緣信息強度不同的錯誤隱藏。實驗結果較均值加權算法提高了0.4 dB～4.9 dB,較MDI算法提高了0.4 dB～3.1 dB,不論主觀還是客觀方面,都改善了受損圖像的質量。

[1] Yongbing Z,Xinguang X,Debin Z. Packet Video Error Concealment With Auto Regressive Model[J]. IEEE Transactions on Circuits and Systems for Video Technology,2012,22(12):12-27.

[2] Bo Y,Hamid G,Bin H. Pixel Interlacing Based Video Transmission for Low-Complexity Intra-Frame Error Concealment[J]. IEEE Transactions on Broadcasting,2011,57(2):253-257.

[3] Jie Z,Bo Y,Hamid G. Efficient Motion Vector Interpolation for Error Concealment of H.264/AVC[J]. IEEE Transactions on Broadcasting,2011.57(1):75-80.

[4] Youjun X,Liangmou F,Shengli X. An Efficient Spatio-Temporal Boundary Matching Algorithm for Video Error Concealment[J]. Multimed Tools Appl,2011,52:91-103.

[5] Ali Radmehr Abdorasoul Ghasemi. Error Concealment Via Particle Filter by Gaussian Mixture Modeling of Motion Vectors for H.264/AVC[J]. Signal,Image and Video Processing,2016,10(2):311-318.

[6] Hadi A,Hamid R.Rabiee,Nima Pourdamghani.Multi-Directional Spatial Error Concealment Using Adaptive Edge Thresholding[J]. IEEE Transactions on Consumer Electronics,2012,58(3):880-885.

[7] Lie Wen-Nung,Lee Chang-Ming,Yeh Chuang-Hua,et al. Motion Vector Recovery for Video Error Concealment by Using Iterative Dynamic-Programming Optimization[J]. IEEE Transactions on Multimedia,2014,16(1):216-227.

[8] Evaggelia T,Lisimachos P,Aggelos K. Shape Error Concealment Based on a Shape-Preserving Boundary Approximation[J]. IEEE Transactions on Image Processing,2012,21(8):3573-3584.

[9] Xiao Xueming,Cui Hutao,Tian Yang. Robust Plane Fitting Algorithm for Landing Hazard Detection[J]. 2015,51(4):2864-2875.

[10] Hadi Asheri,Hamid Rabiee,Nima Pourdamghani. Multi-Directional Spatial Error Concealment Using Adaptive Edge Thresholding[J]. IEEE Transactions on Consumer Electronics,2012.58(3):880-885.

[11] 張會新,曹翱翔,胡海風. 基于FPGA和ADV212的圖像實時壓縮系統設計[J]. 電子器件,2016,39(2):483-486.

[12] 李玉峰,李廣澤,龍科慧. 基于自適應邊緣閾值及方向加權的空間錯誤隱藏算法[J]. 光學精密工程,2016(3):626-634.

Temporal Error Concealment Algorithm Based on Fitting Plane*

LIYufeng*,CHENRuining

(School of Electronics and Information Engineering,Shenyang Aerospace University,Shenyang 110136,China)

In a wireless transmission,H.264/AVC compressed video stream can result in lower quality of image reconstruction by the mismatch of motion vectors,a temporal error concealment algorithm based on the fitting plane interpolation algorithm is proposed. This algorithm reconstructs the motion vector of the damaged macro-block by the fitting plane algorithm,and uses the outer boundary matching algorithm to select the best motion vector to reconstruct the damaged images. This algorithm not only avoids the block effects that caused by the original algorithm,but also in different probability of RTP packet losing,the peak signal to noise ratio of the algorithm has improved 0.2 dB～0.8 dB compared to the adaptive boundary matching algorithm.

H.264/AVC;temporal error concealment;fitting plane interpolation;motion vector

項目來源:國家自然科學基金項目(61171081);遼寧省自然科學基金項目(2013024008)

2016-05-18 修改日期:2016-07-21

TN911.73

A

1005-9490(2017)03-0551-06

C:6140;6430H

10.3969/j.issn.1005-9490.2017.03.007