視頻圖像去雨算法的比較研究

牛金星 蔣亞杰

摘 要：雨天會(huì)嚴(yán)重?fù)p害獲取的視頻圖像質(zhì)量，因此檢測(cè)和去除視頻圖像中的雨滴對(duì)圖像的復(fù)原有著重要意義。本文提出了一種單高斯背景差分法，通過(guò)實(shí)時(shí)更新背景圖像實(shí)現(xiàn)去除雨滴的目的，并與幀間差分法原理進(jìn)行了分析對(duì)比。利用MATLAB軟件進(jìn)行仿真實(shí)驗(yàn)，從客觀和主觀兩個(gè)角度對(duì)兩種算法進(jìn)行對(duì)比分析，得出單高斯背景差分法相對(duì)于幀間差分法處理效果更好，應(yīng)用范圍更廣。

關(guān)鍵詞：高斯模型;幀間差分法;雨滴;背景差分

中圖分類(lèi)號(hào)：TP751.1 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2019）04-0026-03

Comparative Study on Video Image Rainfall Algorithm

NIU Jinxing JING Yajie

（North China University of Water Resources and Electric Power，Zhengzhou Henan 450045）

Abstract： Rainy weather can seriously damage the quality of the acquired video image， so detecting and removing raindrops from the video image is important for image restoration. In this paper， a single Gaussian background difference method was proposed. The algorithm achieves the purpose of removing raindrops by updating the background image in real time， and carries out the principle analysis together with the interframe difference method. Finally， using MATLAB software to carry out simulation experiments， the two algorithms were compared and analyzed from both objective and subjective perspectives. It was concluded that single Gauss background subtraction method was better than inter-frame subtraction method and had a wider application range.

Keywords： Gauss model;interframe difference method;raindrop;image fusion

視頻監(jiān)控系統(tǒng)已廣泛應(yīng)用于交通、金融、環(huán)保以及社區(qū)生活等各個(gè)領(lǐng)域，但是降雨等天氣狀況往往導(dǎo)致監(jiān)控圖像質(zhì)量下降而影響監(jiān)控系統(tǒng)性能，且不利于后續(xù)目標(biāo)跟蹤、識(shí)別等算法施行。視頻中，雨滴與背景混雜在一起，使得圖像退化具有不確定性，也導(dǎo)致在處理過(guò)程中引入了很多不可控因素。目前，很多國(guó)內(nèi)外大學(xué)和研究所對(duì)其進(jìn)行了深入探討。

2004年，Garg等人研究了雨滴的各種特性，包括雨滴大小、形狀以及亮度特性等，發(fā)現(xiàn)雨滴經(jīng)過(guò)圖像時(shí)，在對(duì)應(yīng)像素點(diǎn)的亮度值會(huì)改變一個(gè)峰值，由此提出了一種新的方法——幀間差分法。該方法能夠檢測(cè)出雨滴的像素位置，從而達(dá)到去除雨滴的目的。但是，在雨況較大時(shí)，效果并不理想。2006年，新加坡國(guó)立大學(xué)的Zhang等人結(jié)合雨滴的時(shí)域特性，提出了一種新的檢測(cè)雨滴的方法——K-means聚類(lèi)法，但其只適用于攝像機(jī)穩(wěn)定的情況。2008年，國(guó)內(nèi)的趙旭東在K-means聚類(lèi)法的基礎(chǔ)上，完善了參數(shù)部分，一定程度上彌補(bǔ)了先前聚類(lèi)法的不足，但仍然有缺陷。鑒于此，本文提出了一種單高斯[1]背景差分法，優(yōu)化之前算法的不足，使得雨滴視頻圖像更加清晰，處理效果明顯。

1 雨滴的檢測(cè)和去除方法

1.1 單高斯背景差分法

實(shí)際環(huán)境中，隨著時(shí)間的推移，背景圖像不斷變化。引起背景變化的原因有很多：①可能在場(chǎng)景中有很多干擾因素，如場(chǎng)景中樹(shù)枝和葉子在風(fēng)中晃動(dòng)、水面的波動(dòng)等，這些運(yùn)動(dòng)物體不能簡(jiǎn)單判斷為雨滴;②照明的變化和天氣的變化可能影響檢測(cè)結(jié)果;③背景的變化，如一輛汽車(chē)從原來(lái)背景中離開(kāi)、物體改變了背景中的位置等，這些情況不能被認(rèn)為是雨滴。

由以上這些需要考慮的問(wèn)題可以得出，在單高斯背景差分法中需要實(shí)時(shí)更新背景，才能保證檢測(cè)結(jié)果的準(zhǔn)確性。

由于視頻的背景是單一、靜止不變的，復(fù)雜程度較小，同時(shí)考慮到算法的速度和效果，本文采用單高斯背景差分法。單高斯模型是以像素值為特征的經(jīng)典背景建模方法，由于采用了參數(shù)迭代方法，所以不用每次都對(duì)背景進(jìn)行建模處理，降低了算法復(fù)雜度，提高了處理速度，能滿(mǎn)足視頻背景建模的實(shí)時(shí)性。單高斯模型為每幀圖像中每個(gè)像素點(diǎn)的像素值建立了一個(gè)高斯模型[ηxt，μt，δt]，該模型滿(mǎn)足高斯分布：

[ηxt，μt，δt=e-xt-μt2δ2t] ? ? ? ? ? ? ? ? ? ? ? ? （1）

其中，[xt]表示第t幀視頻中某個(gè)像素點(diǎn)的像素值;[μt]和[δt]分別是這個(gè)像素點(diǎn)的均值和方差。如果高斯模型小于某個(gè)概率閾值，則其對(duì)應(yīng)的像素點(diǎn)被判定為背景，否則為前景。

由式（1）可看出，每個(gè)高斯模型主要是由方差和均值兩個(gè)參數(shù)決定。由于背景隨著時(shí)間變化也會(huì)發(fā)生細(xì)微變化，因此需對(duì)這兩個(gè)參數(shù)進(jìn)行更新：

[ut+1=1-αμt+αxt] ? ? ? ? ? ? ? ? ? ? （2）

[δ2t+1=1-αμ2t+αx2t] ? ? ? ? ? ? ? ? ? ? （3）

利用式（2）和式（3）可以更新t+1時(shí)刻視頻幀中的像素點(diǎn)的高斯分布參數(shù)，其中[α]是更新參數(shù)，表示背景變化的速度。根據(jù)該方法求出的背景圖像能更好地保持圖像邊緣的平滑特性，且算法簡(jiǎn)單速度快，取得的效果也能滿(mǎn)足需要。然后，采用目前使用最多且最成熟的雨滴檢測(cè)方法，即為背景減除法。背景減除法[1]的前提假設(shè)條件為視頻的背景是靜止不變的。該算法的主要思路是通過(guò)實(shí)時(shí)更新背景圖像，利用當(dāng)前幀圖像減去已知的背景圖像得到一個(gè)差值圖像，并將差值圖像和一個(gè)閾值進(jìn)行比較來(lái)實(shí)現(xiàn)二值化處理和提取雨滴的目的，而更新的背景圖像即為去除雨滴后的圖像。具體實(shí)施過(guò)程：獲取當(dāng)前視頻幀和背景圖像，將當(dāng)前視頻幀圖像[Ix，y]減去背景圖像[Bx，y]得到絕對(duì)差值圖像[Dx，y]，最后將絕對(duì)差值圖像中每個(gè)像素點(diǎn)與一個(gè)閾值threshold進(jìn)行比較，那么得到的輸出雨滴圖像[outputx，y]的值如下：

[Dx，y=Ix，y-Bx，y] ? ? ? ? ? ? ? ? ? ? ? ? ? （4）

[outputx，y255，Dx，y>thrsehold0， ?其他] ? ? ? ? ? ? ? ? （5）

考慮到視頻去雨處理算法對(duì)實(shí)時(shí)性有較高要求，所以此處運(yùn)用簡(jiǎn)單、快速背景減除法來(lái)檢測(cè)雨滴。該方法非常適用于視頻背景靜止不變的特性，能準(zhǔn)確檢測(cè)出雨滴，誤差較小。

1.2 幀間差分法

最基本最簡(jiǎn)單的幀間差分法[2]是通過(guò)對(duì)相鄰的兩個(gè)視頻幀作差運(yùn)算來(lái)檢測(cè)雨滴。它不僅適用于處理本文中研究的靜止攝像機(jī)拍攝的視頻，還能較好地處理移動(dòng)攝像機(jī)拍攝到的視頻。當(dāng)視頻中有雨滴出現(xiàn)時(shí)，相鄰的連續(xù)幀之間的某些像素值的差別會(huì)很大，然后對(duì)相應(yīng)的像素進(jìn)行差分運(yùn)算得到一個(gè)差值圖像，再根據(jù)一個(gè)給定的閾值對(duì)其進(jìn)行二值化處理即可提取出雨滴。幀間差分法的具體步驟如下。

①把第一幀視頻圖像作為初始背景圖像[B1]，迭代參數(shù)為i=1。

②將連續(xù)的相鄰兩個(gè)視頻幀做差分運(yùn)算，并根據(jù)某個(gè)閾值來(lái)進(jìn)行二值化變換得到只含有雨滴圖像BW。

[BWix，y=1，Iix，y-Ii-1x，y≥T0，Iix，y-Ii-1x，y<T] ? ? ? ? ?（6）

其中，[Ii]和[Ii-1]是連續(xù)的相鄰兩幀視頻圖像;[T]是判斷對(duì)某個(gè)像素是否進(jìn)行二值化處理的閾值。根據(jù)得到的初始雨滴圖像，可以反過(guò)來(lái)更新背景圖像，使得背景圖像更精確。

幀間差分法的優(yōu)點(diǎn)是不積累背景，檢測(cè)雨滴的速度較快，缺點(diǎn)是容易受外界環(huán)境影響。閾值的選取也很重要，或大或小都會(huì)嚴(yán)重影響雨滴檢測(cè)的準(zhǔn)確性。

場(chǎng)景相減法是利用當(dāng)前幀視頻圖像減去檢測(cè)到的雨滴圖像，由提到的雨滴圖像和當(dāng)前幀圖像得到雨滴清晰化后圖像，即不含有雨滴的視頻幀圖像。

[sharpening=Ix，y-outputx，y] ? ? ? ? ? ? ? ? ? ?（7）

式中，[sharpening]是清晰化后的圖像，[Ix，y]是當(dāng)前幀視頻圖像，[outputx，y]是檢測(cè)到的雨滴圖像。

2 實(shí)驗(yàn)結(jié)果與分析

雨天情況下，圖像的細(xì)節(jié)模糊不清或雨滴的遮擋，導(dǎo)致想要的圖像細(xì)節(jié)無(wú)法滿(mǎn)足人們對(duì)原始圖像的清晰度要求，因此本文根據(jù)以上兩種算法，分別在CPUCorei5-3210m處理器和4GB內(nèi)存的硬件環(huán)境下，利用MATLAB對(duì)雨天圖像加以仿真實(shí)驗(yàn)。本文選取雨滴靜態(tài)場(chǎng)景。靜態(tài)場(chǎng)景是指背景靜止，無(wú)非雨運(yùn)動(dòng)物體、無(wú)相機(jī)移動(dòng)或抖動(dòng)。

單高斯模型方法選取的更新參數(shù)[α]為0.1，從而達(dá)到清晰化圖像的目的，實(shí)驗(yàn)結(jié)果如圖1所示。幀間差分法采用的是兩幀幀差法實(shí)現(xiàn)雨滴的去除，如圖2所示。

實(shí)驗(yàn)結(jié)果表明，雨天環(huán)境下，幀間差分法使得圖像變得更加清晰，在一定程度上去除了雨滴，但有些細(xì)節(jié)還有雨滴存在，存在一定的缺陷。單高斯背景差分法處理的效果很明顯，基本上去除了圖像上的雨滴，有一定的魯棒性。

以上是對(duì)兩種算法進(jìn)行的客觀分析，下面從主觀角度比較分析這兩種算法，主要通過(guò)對(duì)圖像亮度、對(duì)比度、信息熵和運(yùn)行時(shí)間4個(gè)參數(shù)進(jìn)行分析。圖像亮度即圖像矩陣的平均值，值越小，圖像越暗。圖像對(duì)比度（contrast）即圖像矩陣的均方差（標(biāo)準(zhǔn)差），對(duì)比度越大，圖像中黑白反差越明顯。信息熵可以表征圖像灰度分布的聚集特性，但不能表征灰度分布的空間特性。為表征這種特性，可以在一維熵的基礎(chǔ)上引入一個(gè)特征量。該特征量能夠反映灰度分布的空間特性，以此組成二維熵。

圖像二維熵可以表示為：

[H=i=0255pi，jlogpi，j ? =i=0255fi，jN2logfi，j-2logN] ? ? ? ? ? ? ?（8）

其中，[i]表示像素灰度值且[0≤i≤255];[j]表示領(lǐng)域灰度值，其值為[0≤j≤255][;][fi，j]表示像素點(diǎn)[i，j]出現(xiàn)的頻數(shù);[N]為圖像的尺度。

選擇圖像領(lǐng)域灰度值作

3 結(jié)論

雨天情況下獲取的視頻圖像光線(xiàn)暗時(shí)模糊不清，主要原因在于雨滴會(huì)遮擋重要信息，有時(shí)彩色圖像還會(huì)失真。這一系列問(wèn)題在很大程度上縮減了視頻圖像的可用部分，因此檢測(cè)和去除視頻圖像中的雨滴對(duì)圖像的復(fù)原有著重要意義。本文從客觀和主觀兩個(gè)角度對(duì)以上兩種算法進(jìn)行對(duì)比分析發(fā)現(xiàn)，單高斯背景差分法處理效果更好，但存在一定缺陷，后續(xù)將持續(xù)改進(jìn)。

參考文獻(xiàn)：

[1]楊珺，史忠科.基于改進(jìn)單高斯模型法的交通背景提取[J].光子學(xué)報(bào)，2009（5）：1293-1296.

[2]林佳乙，于哲舟，張健，等.基于背景差分法和幀間差分法的視頻運(yùn)動(dòng)檢測(cè)[C]//2008中國(guó)儀器儀表與測(cè)控技術(shù)進(jìn)展大會(huì)論文集（Ⅲ）.2008.