基于小波分析的視頻圖像修復算法

丁 輝，潘 巍，張樹東

（首都師范大學 信息工程學院，北京 100048）

0 引言

由于年代久遠、保存不當等各種原因，很多歷史影像資料存在不同程度的損壞，如何修復這些影像資料，更好地保存和復用這些內容非常重要。此外，有些視頻資料由于技術限制，字幕或標志被固化于視頻中，成為視頻的一部分。但固化的字幕和標志嚴重阻礙了這些視頻資料在后期應用中的復用。針對視頻或圖像中損壞或者遺失的部分，利用視頻段中未被損壞的視頻圖像信息，按照一定的算法和規則來恢復圖像中破損區域的顏色信息或者去除圖像中的多余物體，使得整幅圖像達到視覺上的連續和完整的技術，被稱為視頻圖像修復技術。待修復區域指視頻圖像中的受損區域或多余物體，如斑點、文字、褶痕、障礙物等。

視頻圖像修復在圖像處理、視頻分析、電影工業、圖像傳輸等中有著廣泛的應用。目前，視頻圖像的修復技術主要集中在兩個領域：1）偏微分方程的修復模型[1-3]，最早由Bertalmio等[1]提出的，利用待修補區域的邊緣信息，從區域邊界各向異性地向邊界內擴散，從而確定邊緣的擴散信息和擴散方向。這種方法對圖像中的線結構具有較好的修復效果，但是無法恢復圖像的紋理細節；2）紋理合成的修復模型[4-7]，其主要思想是將圖像分解為結構部分和紋理部分，其中紋理部分使用紋理合成方法填充，結構部分用第一類修補算法修補。本文采用基于小波變換的紋理分析方法，并與文本或特征區域檢測跟蹤算法相結合，提高算法的運算速度。

1 基于小波分析的視頻圖像修復

1.1 視頻圖像損壞特征分析

引起視頻圖像損壞的原因有很多，文獻[8]通過對大量被損壞的電影視頻資料進行分析，將視頻資料的損壞情況大致總結為10個方面：視頻圖像噪聲嚴重，亮度與對比度失衡，白平衡失衡，鋸齒效應，圖像閃爍，水平或垂直條帶，隨機斑點，局部顏色失真，視頻圖像塊效應，完全損壞等。

其中比較難修復的損壞特征是水平和垂直條帶，因為損壞的面積比較大，修復過程中易引起塊效應。

另一類比較難以修復的特征是視頻中的文本或遮擋物，有一些重要和珍貴的材料會經常被多家媒體使用，那些視頻圖像上無法分割的臺標等標志將成為破壞圖像完整性的主要區域。因此，首先要定位到待去除特征區域的位置，然后利用視頻圖像的時間連續性特征進行跟蹤和修復。

1.2 圖像的小波分析

1.2.1 小波變換

設ψ(t)∈L2(R)，其傅里葉變換為ψ?(ω)，當ψ?(ω)滿足下述允許條件

時，稱ψ(t)為一個基小波或母小波[3]。將ψ(t)經伸縮和平移后就可得到一個小波序列

式中：a和b為伸縮平移因子。這是連續小波的定義，但是在實際應用中通常使用離散化小波，將連續小波的尺度參數a和b進行離散化[7]，即a=aj0,b=kaj0b0，這里 j∈Z ，擴展步長為固定值，且a0≠1，對應的離散化的小波變換系數則可表示為

當尺度參數a和b的大小改變時，可以調節小波時間和頻率分辨率，以適應待分析信號的非平穩性。

在實際圖像處理過程中，由于圖像可以看成是二維信號，利用已有的一維小波函數和尺度函數，采用可分離變量方法來構造所需的二維小波，它們是

由小波函數分離變量性質可知，二維分解過程可以通過2步完成：首先對圖像進行行分解，即信號f(x,y)的每一行作為一維信號進行分解；然后再對上一步分解后得到的中間結果進行列分解，即將每一列看成一維函數再作一次分解。這樣，二維圖像信號被分解為4個不同頻率的子波段。因此，二維小波變換具有對圖像進行多分辨率分析的特性[9]，分解效果如圖1所示。

1.2.2 視頻圖像修復算法

為了提高修復的正確率，首先要準確找到視頻中的受損部分，也就是需要修復的內容。首先，對視頻文本等標志區域進行分析，一般臺標等標志信息位于視頻幀圖像的上1/4處，而字幕等文本信息則位于視頻幀圖像的下1/4左右的位置，具體的文本提取跟蹤算法可參考前期的研究工作[10]。對已確定文本區域的視頻幀進行3層小波分解，分別對高頻子帶和低頻子帶進行修復，最后將修復后的子圖像進行重構，從而得到完整的修復后視頻圖像。視頻圖像修復流程如圖2所示。

2 實驗結果及分析

2.1 小波基的選擇

小波基ψ(t)的選擇不是唯一的，對小波基進行選擇應該滿足小波定義域緊支撐條件和容許條件。信號t的正則性、小波函數的消失矩階數和支撐的大小是影響小波基特性的主要因素。實際應用中，如果減小小波函數的支集長度，能夠減小高幅值的小波系數的數目。此外，較短的支撐還有利于減小計算量。

因此，綜合考慮濾波的實時性和效果，期望所選的小波能同時具有下列性質：1）為避免信號失真，應使小波具有對稱性或反對稱性；2）為減少運算時間，采用較短的支撐；3）為便于應用Mallat快速算法，小波應具有正交性；4）具有較高的消失矩將有利于更好地匹配待分析的信號。事實上，一個小波基不可能同時具備以上特性，因為這些特性本身存在互相的制約，例如較短的支撐和較高的消失矩是一對矛盾。Haar小波是所有正交緊支撐小波中唯一具有對稱（反對稱）性小波，但由于其過于簡單而不實用。從綜合角度出發，Daubechies系列小波是實際使用中的較好選擇。

2.2 實驗結果分析

本文選擇db4小波對視頻圖像進行多分辨率分解，分解層數為4，利用實驗室環境自行錄制的視頻和網上的視頻段進行測試。由于自行錄制的圖像無文本等要去除區域，首先人為加入損壞區域，然后利用本文算法進行修復，修復結果如圖3所示。

對于網上的視頻段檢測視頻中臺標文本區域的去除效果，如圖4所示。

對于算法效果，目前還沒有一個定量的評價標準，仍是用主觀的方法來判斷修復結果的好壞。本文也只進行了一些簡單的實驗比較，沒有作更多的定量分析。小波分析在水平和垂直方向就有很好的沿邊緣特性和多尺度多分辨率分析的優點，實驗結果表明該系統能較好地實現視頻圖像恢復。

[1]CHAN T，SHEN J.Non-texture inpainting by curvature driven diffusions（CCD）[J].Journal of Visual Communication and Image Representation，2003，12（4）：436-449.

[2]趙靜，唐曉靜.小波變換及骨架提取在圖像邊緣檢測中的應用[J].寧夏大學學報：自然科學版，2004，25（4）：328-331.

[3]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//AKELEY K.Proc.ACM Conf.Comp.Graphics（SIGGRAPH 2000）.New Orleas，LA：ACM Press，2000，417-422.

[4]劉志成，陳祥光，李宇峰，等.傳感器輸出時間序列的實時小波濾波方法[J].北京化工大學學報：自然科學版，2007，34（1）：71-75.

[5]CRMNISIA，PEREZ P，TOYAMA K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Trans.Image Processing，2004，13（9）：1200-1212.

[6]IDDO D，DANIEL C，HEZY Y.Fragment based image completion[J].ACM Trans.Graphics，2003，22（3）：303-312.

[7]魏琳，陳秀宏.基于紋理方向的圖像修復算法[J].計算機應用，2008，28（9）：2315-2317.

[8]韓軍，閔有剛，宋海華，等.視頻圖像修復算法研究[J].電視技術，2007，32（7）：72-74.

[9]MALLAT S G.A theory for multiresolution signal decomposition：The wavelet representation[C].IEEE Trans.Pattern Anlysis and Machine Intelligenc，1989，674-683.

[10]DING Hui，DING Xiaoqing，WANG Shenjin.Texture fusion based wavelet transform applied to video text enhancement[J].Journal of Information and Computational Science，2008，5（3）：2083-2090.