基于幾何結構的自適應空域錯誤隱藏算法

楊 丹，盧桂馥,3，周鳴爭

?

基于幾何結構的自適應空域錯誤隱藏算法

楊 丹1,2，盧桂馥1,2,3，周鳴爭1

(1. 安徽工程大學計算機與信息學院，安徽 蕪湖 241000；2. 南京理工大學高維信息智能感知與系統(tǒng)教育部重點實驗室，南京 210094； 3. 東南大學信息科學與工程學院，南京 210096)

針對視頻傳輸時容易發(fā)生損壞或丟失數(shù)據(jù)的問題，提出一種基于幾何結構的自適應空域錯誤隱藏算法，以提高恢復圖像質(zhì)量。利用受損宏塊的相鄰2層像素提取幾何結構，依據(jù)受損塊相鄰像素區(qū)分平滑塊和邊緣塊。對平滑塊采用雙線插值，對邊緣塊根據(jù)內(nèi)外兩層的轉折點尋找邊緣方向，從而劃分區(qū)域插值運算。實驗結果表明，對于不同宏塊丟失率和不同的視頻序列，該算法所恢復的視頻序列的峰值信噪比比雙線插值、方向插值算法提高了0.5 dB~3 dB，不僅避免了虛假邊緣，而且也提高了方向插值的準確性，改善了恢復圖像的主觀效果。

幾何結構；錯誤隱藏；轉折點；雙線插值；方向插值；空域

1 概述

H.264廣泛應用在網(wǎng)絡視頻媒體傳遞、視頻實時通信、多媒體短信等各個方面。H.264運用了變長編碼、預測編碼、塊變換編碼等關鍵技術，從而具有很高的壓縮率，但是由于網(wǎng)絡帶寬的限制，信道干擾、抗誤碼能力也相應變?nèi)趿恕.264采取了一系列的切合實際的技術措施，其中包括錯誤掩蓋技術。在解碼端采用錯誤掩蓋算法，既不要增加額外的碼率，也無需改變編碼器就可以在接收端改善圖像恢復效果，其代價僅僅是在解碼端增加了一定延時和計算復雜度[1-2]。錯誤掩蓋算法分為時域掩蓋和空域掩蓋[3]。其中，時域掩蓋利用信號在時間上的連續(xù)性恢復圖像信息，它不適用復雜的視頻序列，對于有過多細節(jié)復雜的視頻研究者采用空域掩蓋算法，利用已經(jīng)正確接收的相鄰宏塊恢復丟失塊。空域錯誤掩蓋的方法有多種方法，如邊界匹配法、插值算法[4-5]等。邊界匹配法是通過匹配尋找邊緣方向，沿著該方向進行插值[6-7]。插值算法包括雙線插值(Bilinear Interpolation, BI)和方向插值(Directional Interpolation, DI)[3]。BI可以很好恢復出圖像的平滑區(qū)域，但對邊緣的恢復存在模糊；DI根據(jù)受損塊的周邊邊緣信息預測丟失塊內(nèi)的邊緣，插值恢復邊緣信息，其中常用邊緣檢測算子有Sobel算子、Prewitt算子[8-9]，該方法會形成虛假邊緣。方向插值[10]將邊緣方向歸為幾類，根據(jù)邊緣強度的大小選擇不同方向插值。還可以根據(jù)邊緣方向將受損塊分為幾個區(qū)域，對不同區(qū)域采用不同的插值。空域掩蓋算法的核心在于如何確定邊緣方向及插值運算。

為提高PSNR同時避免塊效應和虛假邊緣，本文依據(jù)受損塊相鄰像素來區(qū)分平滑塊和邊緣塊，對平滑塊運用雙線插值法，而對于邊緣塊，首先確定相鄰兩層像素中的轉折點，再進行轉折點匹配確定邊緣方向，最后受損塊恢復。

2 平滑塊的恢復

2.1 判決條件

受損宏塊的相鄰8個宏塊已被正確接收，本文利用當前宏塊的相鄰兩層像素來提取邊緣信息，如圖1所示。

圖1 圖像塊相鄰兩層像素

首先對其相鄰兩層像素進行中值濾波，以避免在后面的二值化出現(xiàn)孤立的黑像素或白像素[11]。然后分別取內(nèi)、外兩層像素當中4個最大值和4最小值并計算它們的絕對誤差。如果絕對誤差小于設定的閾值，則表示是平滑塊，采用雙線插值法恢復，如果大于閾值，采用方向插值。這里的閾值設為35。

2.2 雙線插值

雙線性插值法則利用了像素點周圍鄰近的4個像素點的線性平均權值來計算目標像素點的值。這樣可以得到較好的整體效果[12]。

其中，為宏塊內(nèi)的丟失像素；分別為與丟失像素最鄰近的4個方向的像素；分別是與丟失像素的距離。雙線插值算法示意圖如圖2所示

3 邊緣塊恢復

3.1 二值化

按順時針的方向，如果在相鄰兩層像素當中某個像素點之后顏色發(fā)生轉變，那么定義其為轉折點。內(nèi)層出現(xiàn)了轉折點，則一定有邊緣線通過這個點，而外層的轉折點幫助判斷邊緣方向。

3.2 轉折點匹配

(1)內(nèi)層有2個轉折點

圖3 二值化處理

(2)內(nèi)層有4個轉折點

圖4 有4個轉折點的情況

(3)有6個及6個以上轉折點

當有6個及以上轉折點時，轉折點的匹配比較復雜。為了提高效率同時有更好的效果，插值方向采用：

3.3 方向插值

邊緣方向確定，沿著該方向插值計算，丟失像素插值計算為：

4 仿真分析

以JM16.2為測試平臺，對幾種典型算法與本文算法進行對比實驗。采用CIF格式的Foreman, Mother, Irene視頻序列。序列結構為IPPP，使用FMO技術將錯誤宏塊轉化為分散形式，參考幀數(shù)為1幀，量化系數(shù)為28，宏塊出錯率為隨機，出錯率為3%、5%、15%、25%。本文使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)對算法進行評價。不同序列的PSNR曲線如圖5所示。

圖5 3種不同算法的PSNR曲線

在不同宏塊丟失率條件下對不同序列和其他算法的平均PSNR值如表1所示。從整個序列的平均PSNR值來看，本文算法比雙向插值和方向插值算法提高了0.5 dB~3 dB。

表1 不同宏塊丟失率下的PSNR比較 dB

圖6給出Forman使用不同的錯誤隱藏方法對圖像恢復的主觀質(zhì)量比較。可以看出，BI算法對平滑快恢復很好，但不能重建邊緣，產(chǎn)生了塊效應(PSNR為30.95 dB)。DI算法[10]基本恢復了建筑邊緣，估計不精確(PSNR為32.29 dB)，而本文算法則提供了較清晰的比緣(PSNR為33.46 dB)。

圖6 Foreman序列主觀效果圖

5 結束語

由于互聯(lián)網(wǎng)絡的多樣性與變化性，不可避免出現(xiàn)丟包，恢復視頻的錯誤隱藏技術起著重要作用。本文提出基于幾何結構的空域錯誤掩蓋算法，通過相鄰像素判別平滑塊和邊緣塊，從而采用分而治之的策略。在JM86測試平臺對多視頻序列進行仿真，結果表明，本文算法能更好地適應H.264的平滑塊與邊緣塊的特性，能有效提高錯誤隱藏的主客觀質(zhì)量，但本文沒有考慮紋理塊，下一步將考慮較復雜的紋理塊的方向劃分。

[1] Wiegand T, Sullivan G J, Bjntegaard G. Overview of the H.264/AVC Video Coding Standard[J]. IEEE Transactions on Circuits System Video Technology, 2003, 13(7): 560-576.

[2] Kung Wei-Ying, Kim Chang-Su. Spatial and Temporal Error Concealment Techniques for Video Transmission over Noisy Channels[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(7): 789-802.

[3] Wang Yao, Wu Zhenyu, Boyce J M. Modeling of Trans- mission-loss-induced Distortion in Decoded Video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(6): 716-732.

[4] Agrafiotis D, Bull D. Enhanced Error Concealment with Mode Selection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(8): 960 - 973.

[5] Wu Jun, Liu Xinggang, Yoo K Y. A Temporal Error Conceal- mentmethod for H.264/AVC Using Motion Vector Recovery[J]. IEEE Transactions on Consumer Electronics, 2008, 54(4): 1880-1885.

[6] KIM Wonki, KOO Jasung, JEONG Jechang. Fine Directional Interpolation for Spatial Error Concealment[J]. IEEE Transa- ctions on Consumer Electronics, 2006, 52(3): 1050-1056.

[7] 徐燕凌, 周源華.H.264視頻碼流時域誤碼掩蓋算法的改 進[J]. 上海交通大學學報, 2005, 39(9): 1530-1532.

[8] 肖 亮, 吳慧中, 韋志輝. 結構自適應的視頻通信誤碼圖像恢復方法研究[J]. 系統(tǒng)仿真學報, 2006, 18(11): 3021-3025.

[9] 丁志鴻, 劉立柱, 王 剛. 基于邊界分段匹配的空域視頻錯誤隱藏算法[J]. 計算機應用研究, 2011, 28(4): 1586-1591.

[10] Suh J, Ho Y. Error Concealment Based on Directional Interpolation[J]. IEEE Transactions on Consumer Electronic, 1997, 43(3): 295-302.

[11] 張 陽, 路 羊, 崔慧娟, 等. 基于H.264的內(nèi)容自適應空域誤碼掩蓋算法[J]. 清華大學學報, 2009, 49(1): 94-97.

[12] Zeng Wenjun, Liu B. Geometric-structure-based Error Con- cealment with Novel Applications in Block-based Low-bit-rate Coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 1999, 9(4): 648-665.

編輯 金胡考

Adaptive Spatial Error Concealment Algorithm Based on Geometric Structure

YANG Dan1,2, LU Gui-fu1,2,3, ZHOU Ming-zheng1

(1. School of Computer and Information, Anhui Polytechnic University, Wuhu 241000, China; 2. Key Laboratory of Intelligent Perception and Systems for High-dimensional Information, Ministry of Education, Nanjing University of Science and Technology, Nanjing 210094, China; 3. School of Information Science and Engineering, Southeast University, Nanjing 210096, China)

Aiming at the characteristic of damage or lose data during video transmission, an algorithm of adaptive spatial error concealment based on geometric structure is proposed, which can recover the quality of image better. The two nearest surrounding layers of pixels are used to extract the local geometric structure. The proposed algorithm makes use of surrounding pixels of a damaged block to distinguish between smooth block and edge block. Bilinear Interpolation(BI) is used to process smooth block, while edge block makes use of the transition point to detect the edge direction and the lost Macro Block(MB) is partitioned into segments. Each pixel in segments directionally interpolated from the boundary pixels are adjacent to the segments. Experimental results show that the value of Peak Signal to Noise Ratio(PSNR) of reconstructed video is higher than that of BI and Directional Interpolation(DI) by 0.5 dB~3 dB for different rates of lost MB and different video sequences. The proposed algorithm can not only achieve good directional interpolation but also avoid fake edges.The image’s subjective effect has great improvement.

geometric structure; error concealment; transition point; Bilinear Interpolation(BI); Directional Interpolation(DI); spatial domain

1000-3428(2014)03-0274-04

A

TP919.81

國家自然科學基金資助項目(61231002)；安徽省自然科學基金資助項目(1308085MF95)；高維信息智能感知與系統(tǒng)教育部重點實驗室(南京理工大學)開放基金資助項目(30920130122005)；中國博士后科學基金資助項目(2013M531251)。

楊 丹(1973－)，男，講師、碩士，主研方向：模式識別，視頻編碼；盧桂馥，副教授、博士；周鳴爭，教授。

2013-07-03

2013-09-30 E-mail：hotman19730916@126.com

10.3969/j.issn.1000-3428.2014.03.058