基于運動估計結合小波分析和運動補償的視頻去噪方法

?

基于運動估計結合小波分析和運動補償的視頻去噪方法

馮長江，毛博，薛冰

（軍械工程學院，河北石家莊050003）

摘要：在小波變換理論基礎上，提出對視頻的運動估計量進行處理來達到視頻去噪的方法。首先使用運動域細化技術和全新的基于運動補償的時間域濾波器，解決含有虛假運動矢量的實時視頻去噪問題，提高對動態目標追蹤的準確性，增強魯棒性；并且改進空間域濾波器，降低處理的復雜度。實驗結果表明：該方法是一種較為簡單且高效的視頻去噪方法。

關鍵詞：圖像增強；運動估計；視頻編碼；小波變換

收到修改稿日期：2012-06-11

0　引　言

快速準確地對運動目標識別和跟蹤一直是圖像處理領域研究的熱點。然而視頻序列中的噪聲，提高了圖像的熵，從而降低視頻壓縮性能，影響目標識別的準確性。目前對集成視頻編碼的去噪問題并沒有理想的處理方式，最為常用的去噪方式大多基于小波變換[1]，這是因為該方法能夠在確保視頻的質量、分辨率和時間域的可擴展性的同時保證視頻的壓縮性能。然而大量實驗證明，小波變換去噪方法主要基于像素的運動檢測技術，因此不能很好地去除視頻中的虛假運動元素和虛假運動矢量，從而造成識別的錯誤[2]。為解決這一問題，本文在小波變換理論基礎上，提出了一種基于運動估計的視頻去噪方法。其實質是將運動估計中每幀中相對位置改變較小的運動矢量看作標量，與原有濾波器共同作為下一幀的去噪依據，以達到除去虛假運動分量的目的，進而可以準確識別動態目標。

1　算法實現

本文提出的方案如圖1所示，空間域濾波器前面并沒有使用傳統的小波去噪，而是一種新的時間域濾波方式，它包含運動域濾波器和運動補償濾波器，前者主要用于更精確地檢測視頻序列中的運動矢量，后者則是修正運動矢量的位置。通過時間域濾波處理后的剩余噪聲在空間域上是非平穩的，這就需要根據噪聲方差利用小波分析技術進行平滑處理。通過兩次濾波后可以準確地找到視頻中的運動矢量并排除虛假的運動矢量，從而達到精確識別運動目標的目的。

1.1運動域濾波器

運動估計就是尋找最優或次優的運動向量的過程。本文提出一種基于運動估計而改進的運動域濾波器，它能夠有效地從視頻幀中找到虛假運動元素的存在并將其消除，從而有效地抑制虛假的背景運動矢量對識別帶來的影響。傳統方法是比較空間域和時間域中的運動矢量的絕對差均值（包括零運動分量）來判斷運動矢量的存在性。然而處理過程中發現背景中的虛假運動估計矢量依然存在，這是因為該方法在計算中降低了圖像中運動矢量的絕對差均值（MAD），并且縮小了搜索區域[3]，因而在此基礎上進行了優化。本文提出的方法是通過比較相應區域的絕對差均值和總體的絕對差均值來判斷運動的存在與否。首先，通過比較當前相應的塊中的像素和前一幀的像素，計算出絕對差均值Dk

γ取不同值時，發現當0.4＜γ＜0.5時視頻序列產生最好的實驗效果（如圖2所示），這是因為當γ過大時將會忽略一些運動分量的存在；相反，γ過小時會將背景的微小移動作為運動分量。圖2中還發現在0.4＜γ＜0.5以外的區域，均方誤差隨γ變化的幅度較小。

圖2　實驗效果直方圖

在濾波的過程中，要通過比較運動檢測閾值THR與每幀中塊的運動分量的絕對差均值來確定每個塊中是否有運動存在。若，則認為該塊中無運動矢量，那么將所有運動矢量分量置0，否則保留它的原始值。

1.2時間域運動補償濾波器

通過運動域濾波器后的視頻信號，由于基于運動軌跡估計的去噪方法能夠準確地估計運動分量是否存在，因而大部分虛假運動分量被“過濾”。然而使用該這種方法常常得到錯誤的運動矢量坐標[4]。為了解決這一問題，應更多地考慮運動估計的可行性，并采用合適的平滑處理。本文提出了一種基于運動補償的時間域遞歸濾波去噪方法，能夠較好地解決這一問題。

這種濾波器的主要原理是運用運動檢測變量mk

mki，j控制時間域平滑量的強弱。對于沒有檢測到運動矢量的坐標，則使用標準的時間域遞歸濾波器；而對于檢測到運動矢量的坐標，依然要對其進行濾波。但是要針對運動軌跡的估計，采用不同的濾波系數[5]，使用運動估計的方法來估計上述預測誤差的存在性，因此在這里要考慮運動估計不完全正確以及該區域是否移動，采取不同程度的時域平滑處理。其方法如下：

首先定義預測誤差εki，j，那么在塊（i，j）中第k幀的誤差為

然后根據預測誤差的定義，改進了運動補償的濾波方式。運動補償是一種描述相鄰幀差別的方法，具體來說是描述前面一幀的每個小塊怎樣移動到當前幀中的某個位置去。這種方法經常被視頻壓縮/視頻編解碼器用來減少視頻序列中的時域冗余，它也可以用來進行去除交織以及運動插值的操作。本方法基于此對視頻序列進行平滑處理，運動補償濾波器的表達式為

1.3空間域濾波器

為降低處理的復雜度，使用基于模糊小波圖像收縮的降噪技術[6]Fuzzy Shrink算法），這是一種改進的Prob Shrink小波去噪算法[7-8]。該方法使用根據條件隨區域可變的小波系數，可以有效迅速消除數字灰度圖像加性高斯噪聲。定義小波系數均值的表達式為式中：i，j——像素的坐標；

ws，d（i，j）——在坐標（i，j）的小波系數；

2K+1——窗函數的寬度；

xs，d（i，j）——在（2K+1）×（2K+1）區域內小波系數的均值。

Fuzzy Shrink算法是通過比較ws，d（i，j）和xs，d（i，j）來決定小波系數。如果ws，d（i，j）和xs，d（i，j）同時為一個較大的值時，就選擇ws，d（i，j）作為去噪的小波系數。

對于均勻方差的噪聲，Fuzzy Shrink算法可以得到理想的峰值信噪比（PSNR）。然而通過時間域濾波器處理后的噪聲方差是非均勻的，提出對Fuzzy Shrink的修改方法，使之更適應空間非平穩的估計噪聲估計量σ。使用分辨率為16×16的重疊窗口，對前面檢測出的運動矢量坐標同時沿著不同的方向移動，每次移動8個像素。對于每一個窗口，取Donoho小波域的中位數估計值即最高頻率子帶中得到的小波系數的0.675作為標準。

2　實驗結果及分析

分析本文提出的方法并與WST法進行了對比。使用了3個標準測試序列：“序列1”、“序列2”和“序列3”，并給它們分別加入標準差為σ=10，15，15的白高斯噪聲。測試序列的分辨率均為352×240。本文所有實驗的運行環境均為酷睿I5，2G內存，顯存512M，Windows7，Matlab 2008a。

2.1運動域細化理論

為評估本文所提出的運動域濾波器的效果，對在運動域估計中是否使用運動域細化得到運動補償幀的均方誤差（MSE）進行比較。均方誤差是指參數估計值與參數真值之差平方的期望值，是衡量“平均誤差”的一種較方便的方法，可以評價數據的變化程度，MSE的值越小，說明預測模型描述實驗數據精確度越高。

運動域均方誤差的定義式為

式中：Nx，Ny——運動矢量的組成部分；Nx×Ny——圖像大小。

選取一段分辨率為352×240的視頻序列進行實驗。通過實驗觀察到，運動域細化后測試序列運動補償的均方誤差明顯降低，證明了運動域濾波器的效果十分明顯。

通過比較運動過程中是否使用運動域細化得到去噪序列的PSNR均值結果，評估運動域細化的效果。峰值信噪比（PSNR）是一種評價圖像的客觀標準。在經過影像壓縮之后，輸出的影像通常都會與原始影像有某種程度不同。為了衡量經過處理后的影像品質，通常會參考PSNR值來認定某個處理程序是否令人滿意。定義如下：

經過運動域細化理論處理后的視頻序列的PSNR的均值結果如表1所示，視頻的品質得到明顯改善。

表1　是否對視頻序列使用運動域濾波器去噪得到PSNR的均值

濾波后的運動域出現更好的視覺效果。運動域細化處理前后對比，由于在沒有實際運動存在（運動矢量分量為零）的平滑區域，虛假的運動矢量被“過濾”，因而運動域被描繪為戰車預期的位置，如圖3所示。

圖3　視頻序列3運動域使用濾波器前后對比

2.2去噪結果

本節中將按照本文方法處理后得到視頻的峰值信噪比（PSNR）與在使用基于小波的時間域-空間域濾波的視頻序列降噪法（WST）得到的結果進行比較，這里按照測試序列PSNR的平均值作為參考標準。

圖4是使用本文提出的方法與WST法進行處理對比結果。經過本文提出的方法進行處理的視頻序列在測試序列中表現出更好的結果。使用本文方法去噪后圖像的峰值信噪比（PSNR）得到了改善，與WST法比較能夠提高1dB。其主要原因是該方法能夠較好地去除圖像的紋理，同時保持良好的靜態圖像邊緣。由于視頻序列1與視頻序列2相比紋理相對較少，因此與其他去噪方法相比的差異不是很大，優勢不是很明顯。

圖5是視頻序列2的去噪結果。通過對比圖4與圖5，本文的方法在視頻去噪方面勝過其他參考的方法，尤其是在圖5序列中包含較多運動元素的情況下，本文的方法體現出更大的優勢。此外，在每幀的顯示中，低頻噪聲分量很難被感知，然而使用本方

圖4　視頻序列1對比實驗結果

法處理視頻序列能夠較好地處理低頻噪聲分量。特別是在圖5中與WST方法相比能夠更好地保留圖像的紋理，抑制了模糊，靜態空間地區的戰車邊緣清晰可見，其他圖像就較為模糊了。

圖5　視頻序列2對比實驗結果

圖6是對于視頻序列2本文方法與幾種常用視頻去噪技術的性能比較，其中藍線表示使用本文方法去噪后視頻的PSNR，黑線表示使用WST法后的視頻PSNR。使用該方法去噪后視頻的PSNR值明顯優于其他方法[9-11]。

將該方法與最近提出的視頻迭代去噪算法進行比較[12-13]。視頻序列1，輸入的峰值信噪比為28dB，使用本文方法進行去噪后的峰值信噪比為30.8dB，與迭代法比較高出近0.5dB。對于視頻序列2，其峰值信噪比為28dB，使用本文方法后，其峰值信噪比變為34.61dB，使用迭代法為35.13dB。更重要的是，迭代法與本文提出的方法相比要復雜得多。例如使用迭代法，配置為4×3 GHz的處理器去處理分辨率為352×288的視頻序列，每幀大約需要4 s；使用本文方法對相同視頻序列進行處理，配置為更低速的處理器（雙核2.4 GHz），每幀大約需要使用29ms。此外，使用迭代法需要緩存7幀的數據；而本文的方法只需要使用當前幀以及前一幀，這對串行處理的硬件設備來說具有較大意義。

圖6　本文方法與WST法性能比較

3　結束語

本文提出對視頻序列中的運動估計資源進行再利用，降低了處理的復雜度以及視頻解碼積分的難度，從而達到降低去噪的難度。本方法的核心由基于運動估計的運動域濾波器以及在這種運動域濾波器基礎上提出的時間域遞歸濾波器兩部分組成。實驗結果表明，這是一種在降低復雜度的同時高效優異的視頻去噪方法。

參考文獻

[1] Daubechies I. The wavelet transform，time-frequency localization and signal analysis[J] . IEEE Trans on Information Theory，1990，36（5）：961-1005.

[2] Rahman S M M，Ahmad M O，Swamy M. Video denoising based on inter-frame statistical modeling of wavelet coefficients[J] . IEEE Trans Circuits Syst Video Technol，2007，17（2）：187-199.

[3] Liu B，Zaccarin A. New fast algorithms for the estimation of block motion vectors[J] . IEEE Trans Circuits Syst Video Technol，1993，18（3）：148-157.

[4] Jovanov L，Pizurica A，Schulte S，et al. Combined wavelet-domain and motion-compensated video denoising based on video codec motion estimation methods [J] . IEEE Trans Circuits Syst Video Technol，2009，19（3）：417-421.

[5] Balster E J，Zheng Y F，Ewing R L. Combined spatial and temporal domain wavelet shrinkage algorithm for video denoising[J] . IEEE Trans Circuits Syst for Video Technol，2006，16（2）：220-230.

[6] Saeedi J，Moradi M H，Faez K. A new wavelet-based fuzzy single and multi-channelimage denoising[J] . Image and Vision Computing，2010，28（8）：1611-1623.

[7] Pizurica A，Philips W. Estimating the probability of the presence of a signal of interest in multiresolution single and multiband image denoising[J] . IEEE Transactions on Image Processing，2006，15（3）：654-673.

[8] 王曜，朱光喜，劉瑋.結合小波預處理的圖像編碼方案[J] .計算機應用研究，2003，26（2）：240-243.

[9] 高祖昌，蘇崗，黃金，等.小波分析在PWM整流器去噪中的研究[J] .中國測試技術，2008，34（5）：119-121.

[10] 郭蘭英.第二代小波基本理論及其在圖像壓縮中的應用[R] .武漢：武漢大學，2005.

[11] 吳昌東.基于非下采樣Contourlet變換的圖像去噪方法[J] .西華大學學報：自然科學版，2011，30（6）：19-21.

[12] 王有偉，王淵鋒，徐公權.圖像定位算法的設計與實現[J] .計算機研究與發展，2002，39（6）：733-736.

[13] 張磊，涂國防.一種新型小波域運動估計算法[J] .電子與信息學報，2007，29（5）：1131-1134.

Video denoising method based on motion estimation combined with wavelet-domain and motion-compensated

FENG Chang-jiang，MAO Bo，XUE Bing

（Ordance Engineering College，Shijiazhuang 050003，China）

Abstract:On the basis of wavelet transform theory，a novel video denoising method is presented in this paper，which reuses motion estimation resources from the video coding module. Firstly，it proposed a novel motion-field filtering step that refines the accuracy of the motion estimates to a degree that is required for denoising. Secondly，a novel temporal filter was proposed that is robust against errors in the estimated motion field. Then spatial domain filter was improved to reduce the complexity of the processing. The experimental results show that the proposed method is a relatively simple and efficient in video denoising.

Key words:image enhancement；motion estimation；video coding；wavelet transform

基金項目：國防科技重點實驗室基金項目（9140C8702020803）

收稿日期：2012-04-16；

doi：10.11857/j.issn.1674-5124.2013.05.001

文章編號：1674-5124（2013）05-0001-05

文獻標志碼：A

中圖分類號：TP312；TP391.41；TN949.6+3；TM930.12

作者簡介：馮長江（1964-），男，河北石家莊市人，教授，研究方向為電子設計自動化、自動測試系統設計、故障診斷等。