基于分割和全背景圖像的視頻修復算法

劉銘　劉雅楠　李靖宇

【摘要】 本文針對處于平行運動中的攝像機所拍攝的視頻提出了一種有效地分割、修復方法。通過SURF算法和小波變換分割成前景圖像和背景圖像并融合得到全背景圖像。修復前景時，在具有相似運動特征的圖像中搜索最佳樣本塊填補破損。修復背景時，則是在修復好的全背景中采樣填補破損幀的待修復區域。實驗表明：本文算法能較為精準的將視頻破損處修復，同時采用了全新的分割方法，不但能節省時間，還能將視頻處理的更為清晰自然。

【關鍵詞】 視頻修復 背景分割融合 全背景 圖像修復

一、引言

當今社會正處于多媒體時代，而作為其中的一員，視頻的應用也越來越頻繁，視頻損傷更是層出不窮，其修復技術也越來越受到人們的關注。早在2007年，Patwardhan等人[1]就提出通過建立光流，分別對前景和背景進行修復。但此方法運算量較大，實時性也比較差。緊接著Jia等人[2，3]利用分割技術將視頻分割為前景和背景進行修復。近年來，我國許多研究者也相繼踏入視頻修復的領域。2008年，肖春霞[4]將樣本塊的修復方法與視頻相結合，成功的修復了視頻中的大塊破損，但卻不能對細節進行精確的修復。對于攝像機平行于場景且晃動的情況，梁敏等人[5]在攝像機平行運動前提下，將運動中的攝像機轉換成靜止狀態，此方法提高了視頻修復的準確度及速度，有效保持了視頻的連續性。

對于目前的視頻修復算法來說，背景的分割、融合是一個關鍵性問題。傳統的背景分割方法在建模和更新等方面存在明顯的不足；對于處在平行運動中的攝像機來說，一般按照運動估計進行的視頻拼接方法所得到的視頻會存在誤差。針對此等現象，本文提出一種新的分割方法。

二、新的視頻修復算法

本文所提出的算法簡單有效，但前提是這段視頻中必須辦含一個完整的運動周期，以便在前景修復進行采樣。算法的流程分為以下3步：

（1）通過SURF算法對視頻各幀提取特征點、進行匹配，再利用小波變換將每一幀與第一幀進行融合得到全背景圖像；（2）利用基于樣本塊的修復方法，在具有相似運動特征的圖像中搜索最佳樣本塊，填充到前景中的待修復區域；（3）對于破損幀背景的修復，則是在修復好的全背景中采樣填補。

2.1 視頻幀的分割和全背景圖像的融合

本文的分割技術采用的是基于SURF算法和小波變換的方法進行視頻全背景的融合。處理的過程為：

（1）利用SURF算法對輸入的每幀圖像進行特征點的提取；（2）將每幀圖像的特征點和第一幀圖像的特征點進行匹配，確定圖像的重合區域；（3）利用小波變換將配準后的每一幀圖像與第一幀融合，構成一幅完整的全背景圖像。

2.1.1 基于SURF算法的圖像配準

2.1.2 基于小波變換的圖像融合

由于小波能從不同層次將圖像進行分解并融合，其效果要比普通拼接的效果要好。而在離散小波變換（DWT）中，Mallat提出的金字塔型算法[7]是計算DWT的最快速算法，所以本文在融合技術方面采用的是在小波域內通過金字塔型算法將原始圖像在不同尺度、不同方向上分解成模糊分量和細節分量[7]。

將每幀圖像的單位陣、融合系數等要素按照Mallat分解公式進行分解，然后通過Mallat重構算法合成融合圖像。通過上述方法得到的全背景如圖2所示。

2.2 前景修復

對前景的修復方法采用的是基于樣本塊的圖像修復方法逐幀修復。人工標記出前景和背景圖像中的待修復區域，在完好的視頻幀中搜索與待修復圖像運動相似的圖像進行最佳樣本塊的搜索、拷貝，并完成置信度項的更新。

2.3 背景修復

對于破損幀背景的修復則是通過得到的全背景進行采樣修復，采樣標準需要待修復區域和全背景在時間和空間上具有一致性，背景圖像修復結果如圖4所示。

三、實驗結果與分析

為驗證算法的實際修復效果，文本采用Matlab7.11對自己實際拍攝的一段78幀的視頻進行處理。計算機的環境是內存1GB，CPU為P7350 2.00GHz。

圖5顯示了應用本文算法對破損視頻進行修復后得到的結果圖，從中可以看出，無論是前景還是背景，都沒有明顯的修補跡象，修補結果令人滿意。

為了更加清晰的證明本文所提出的算法，不使文章具有主觀色彩，本文通過PSNR計算出對自拍視頻完成修復后的第51～59幀圖像的客觀評價，如表1所示，自拍視頻中的第51～59幀的PSNR值均大于36dB（PSNR>36dB可證明修復后的圖像視覺質量比較好）。

四、總結

對于傳統的背景分割方法在建模和更新等方面存在的不足，本文結合SURF算法、小波變換對背景進行分割、融合得到全背景。

對于前景修復，本文利用基于樣本塊的修復方法對視頻進行處理。對于破損幀的背景修復則在修復好的全背景中進行拷貝填充。實驗結果表明，本文的分割融合算法不僅能對各像素點進行精準的匹配分割，融合得到的全背景圖像更連續自然，還能快速的對破損視頻進行修復并取得理想的實驗效果。

作者簡介：

劉銘，女，1993年生，本科，學生，主要研究方向：數字圖像處理。

劉雅楠，通信作者，女，1987年生，碩士，助教，主要研究方向：數字圖像處理。 xiaofeng_6387@126.com。

李靖宇，男，1976年生，碩士，副教授，主要研究方向：數字圖像處理。

參 考 文 獻

[1] Patwardhan K A， Sapiro G， Bertalmio M. Video inpainting under constrained camera motion[J]. IEEE Trans on Image Processing， 2007， 16（2）： 545-553.

[2] Jia J，Wu T P， Tai Y W， et al. Video repairing： Inference of foreground and background under severe occlusion[C]. IEEE Coference on Computer Vision and Pattern Recognition（CVPR）， 2004， 1： 364-371.

[3] Jia J， Tai Y W， Wu T P， et al. Video repairing under variable illumination using cyclic motions [J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2006， 28（5）： 832-839.

[4]肖春霞，劉舒，林成春，聶勇偉，劉夢，彭群生. 基于時空全局優化的視頻修復[J]. 計算機輔助設計與圖形學學報， 2008， 20（9）： 1205-1211.

[5]梁敏，王兆仲. 攝像機平行于場景運動且晃動下的視頻修復[J]. 計算機工程與應用， 2011， 47（4）： 176-180.

[6]宋延爽，耿楠. 基于SURF算法的全景圖拼接技術研究與實現[J]. 計算機工程與設計，2012， 33（12）： 4648-4651.

[7] Mallat S G. Multifrequency channel decomposition of images and wavelet model[J]. IEEE Transact， Speech，Signal Processing， 1989， 37（12）：2091 2110.