基于小波分解與融合的視頻去雨技術研究

陳強

（安康學院科研處，陜西安康 725000）

近年來，計算機視覺在智慧交通、遙感探測、醫學儀器等領域都得到了廣泛應用。其中機器視覺技術用于交通監管，例如在路口對車輛速度和駕駛行為進行監控，對違規車輛實現自動識別，節省了人力資源。但在雨雪天氣下，采集到的圖像不夠清晰、對比度下降、細節丟失，在處理過程中容易出現誤判或者延時過大的情況[1-3]。去雨技術可以清晰化被雨噪聲污染的退化圖像，有利于圖像后續處理，提高相關技術的性能指標[4-6]。

雨滴在空間中的分布是隨機的，且處于高速自由下落的運動狀態，在圖像中的檢測和去除比較困難，圖像去雨技術也成為當前的研究熱點。Liu比較相鄰各幀的RGB 顏色分量，得到差值圖像，檢測結果的準確率較高，但需要增加數據量，犧牲了實時性[7]。Santhaseelan 設計的視頻去雨算法使用局部相位信息完成，去雨效果好，但同樣實時性不強[8]。

視頻去雨算法要想提高某一特性就要以犧牲其他性能為代價，存在計算量大、造成延時等問題[9]。該文根據雨線在頻率域呈現高頻的亮度特性，采用小波分解和融合的方法，從頻域角度對視頻各幀進行小波多層分解并計算出污染度，再根據污染度加權的重構規則對各幀進行小波重構，最后將各幀進行融合從而削弱圖像中的大部分雨噪聲。

1 雨滴特性

雨是日常生活中常遇到的天氣現象，在雨天拍攝圖片、視頻時，由于雨滴在空間中的分布是隨機的，且雨滴處于高速自由下落的運動狀態，雨滴在視頻成像時，會形成雨線，影響視頻的質量。雨滴為半徑0.05～1.75 mm 的近似球體，當雨滴較大時，近似為橢球體。在無風的情況下，雨滴降落受多個力學因素的共同影響，最終達到穩定速度，該速度與雨滴直徑有關。雨滴的降落方向受風向影響，在同一圖像中方向基本一致[10]。由于雨滴對光線的折射和反射，所以在圖像中，雨滴對應的像素亮度明顯高于背景像素。

另外，由于雨滴的下降速度影響，圖像上會產生模糊的雨線，降低了圖像的質量。雨滴的對應像素亮度同時受到雨滴和背景亮度的雙重影響。其亮度變化具有時間上的對稱性，并且雨滴像素的亮度值隨時間的波動很小[11]。

RGB 3 個原色通道的視角范圍遠小于雨滴視角范圍，所以通道值變化量可近似看成相等[12]。雨滴分布隨機，近地面速度較快，同一雨滴不可能出現在相鄰幀，任一像素也不會始終被雨滴遮擋。

2 圖像的小波分解與融合

圖像融合是將兩幅或多幅圖像的信息融合到一起，以獲得對同一畫面更為準確全面的圖像描述。小波分解有明顯的方向性和塔狀結構，對不同頻率的分量、方向、分解層，要用不同規則進行處理，利用冗余和互補信息來提高效果[13]。

對一幅圖像進行N層小波分解，然后進行融合，步驟如下：

1）對原始圖像（如圖1（a））進行小波分解，分解為4 個圖（圖1（b）、（c）、（d）、（e）），分別對應低頻近似系數、水平細節分量、垂直細節分量、對角細節分量。可根據實際需要，對低頻近似系數分量重復上述過程，建立小波塔形分解，分解的層數越高，數據的尺寸越小，包含的細節信息越少。

圖1 有雨圖像的小波分解

2）融合各分解層，使各層的低頻近似系數、高頻水平細節分量、高頻垂直細節分量、高頻對角細節分量等可以根據不同的要求，采用不同規則進行融合。

3）對金字塔進行圖像重構，得到融合結果。圖像融合過程如圖2 所示。

圖2 圖像融合過程

3 去雨算法

雨噪聲的頻率與景物信息有較為明顯的區別，紋理細節頻率最高，雨噪聲的頻率次之，顏色信息頻率最低。經小波分解，雨噪聲主要在低層高頻系數中，因此應盡量提高分解層數；然后再確定細節信息、雨噪聲等所在層[14]。

對退化圖像進行小波融合，根據頻率結構分別對背景與顏色、雨噪聲、紋理邊緣的細節三部分信息進行融合，并根據小波分解后的特點制定融合規則[15]。

融合雨噪聲就是融合高頻系數，融合規則的合理性是決定退化圖像中雨噪聲去除效果的關鍵。在視頻中觀察雨滴，其因移動而表現為明亮細線。雨滴呈透明液態，雨滴亮度均在200 尼特附近，比較一致[15]。

對含有雨噪聲的圖像進行小波處理時，鑒于雨的亮度比背景高得多，因此雨覆蓋的部分與背景部分的灰度相差較大，可以用局部梯度來表示灰度變化的大小，局部梯度如式（1）所示:

其中，Δxf(i,j)和Δyf(i,j)分別表示點(i,j)在水平和垂直方向上的梯度；M、N表示局部區域邊長。

雨的亮度一致，雨覆蓋部分與背景能量值高且穩定，局部能量如式（2）所示：

其中，f(i,j)表示像素灰度值。

局部梯度G和局部能量E兩個參數能表征出雨噪聲具有高且一致的亮度。

雨噪聲污染度S=G×E，表示圖像被雨噪聲污染的程度。

基于污染度的小波融合步驟如下：

1）小波分解：進行10 層小波分解，得到第2-4 層的高頻系數（含大部分雨噪聲）。

2）融合含噪高頻系數：求解2-4 層高頻系數矩陣及污染度S矩陣，對S矩陣歸一化處理，然后和系數矩陣逆加權，得到大幅減噪的新系數矩陣。

3）融合不含噪系數：融合5-10 層系數及第1 層高頻系數，其中包含了圖像主要細節信息，進行均值處理后，可突出圖像的顏色域和細節。

4）小波重構：重構融合后的系數，得到去雨圖像。融合流程如圖3 所示。

圖3 融合流程

4 實驗與驗證

為了驗證該文方法，使用Matlab 進行仿真試驗，步驟如下：

第一步，將一段有雨視頻分解成幀圖像，在利用多幅退化幀圖像進行融合的過程中，細節受損的多幅退化圖像間可以相互彌補，突出細節信息。

第二步，對每個幀畫面進行多層小波分解，隨分解層數的提高，其中的細節信息降低，呈現塔狀結構。圖4 為多層小波分解的低頻系數和分量，從上到下隨分解層數的提高，圖像中的像素塊增大，整幅圖像包含的細節信息減少，這一過程中雨噪聲在層數較低時含量較多，尤其雨噪聲在小波分解的第2-4層的含量最大，其他層多為背景信息，可以利用這個特性，制定融合規則，針對第2-4 層進行去除雨噪聲處理，將其他層進行融合，突出背景信息。

圖4 多層小波分解的低頻系數和分量

第三步，通過各幀根據污染度反向加權削減雨噪聲后進行小波融合。

第一步將視頻分解得到6 幀圖像，第二步將每一幀進行10 層小波分解，雨噪聲明顯比周圍像素亮度大，對其中第2-4 層以局部梯度來度量灰度變化，以確定雨噪聲的量，從而確定每一層的污染度。在進行融合時，根據污染度的大小反向加權，即污染度越大，權重越小，從而削弱第2-4 層的雨噪聲。由于物體邊緣或背景中的一些亮白像素容易誤判為雨噪聲，第2-4 層同樣會被削弱，所以該文對第1、5-10 層（主要含背景信息）加的權值大于1，進行補充。最后將融合好的6 幀圖像再次進行圖像融合，最終得到圖5（a）的融合結果。通過對比，融合后的圖像背景和輪廓更加清晰，雨線明顯減少，雨噪聲得到了極大抑制。

圖5 融合結果和原圖像的對比

5 結論

該文采用小波多層分解[16]和融合的方法，將圖像多層分解，確定含雨噪聲比較集中的層，并制定了基于污染度的反向加權融合規則（即污染度越大，權值越小），借此來削弱雨噪聲，并對視頻中圖像的特定層進行小波融合以去除雨線。實驗證明，該方法去雨效果明顯，具有一定的應用價值。