基于U-GAN神經網絡的視頻圖像去雨霧技術

江齊，蔡若君，葉武劍，劉怡俊，李海濤，何雯軒，劉峰

（1.廣東工業大學，廣州 510006；2.廣東訊通科技股份公司，廣州 510030；3.南京郵電大學圖像處理與圖像通信重點實驗室，南京 210046）

0 引言

隨著智能時代的快速發展，如今手機、攝像機已經存在于千家萬戶，這樣就導致大量的視頻存在。但這些拍攝的視頻很多由于天氣的云霧情況與四周環境的原因，導致視頻內容可能存在著雨霧的遮擋[1]。有很多傳統的方法也能實現些許的去雨霧，傳統的關于視頻圖像去雨霧技術主要采用自適應容差的方法，通過分離圖像內容和背景[2]，對其分別研究可以達到去除雨霧的效果[7]。

然而傳統的方法需要對視頻內容進行大量的處理，這樣導致處理的時間會很久，不能達到實時的視頻處理。同時對視頻圖像內容的處理容易使圖片的完整性遭到破壞，不能很好地保持內容的原始性。

為了能更好地得到視頻內容的去雨霧的效果，本文使用U-GAN的卷積神經網絡[5]作用于含雨霧的視頻圖像，可以得到很好的去雨霧效果，同時能很好地保存視頻的完整性。而由于如今神經網絡在因為GPU的快速發展，處理速度得到極速提升，能很好地滿足視頻關于圖像的處理的速度，以達到能夠實時處理的效果。

1 相關工作

視頻圖像處理作用于模糊圖像在很早之前就有存在了，對于雨霧現象的圖像處理更是屢見不鮮，在這些基于各種原理的圖像去雨霧技術能夠實現一定的去雨霧的效果。

傳統算法中關于圖像的去雨霧方法中基于圖像增強技術[2]的去霧方法是通過改變圖片的明亮程度和對比度來改善圖片的視覺效果，這種方法能在一定程度上提高雨霧天視頻圖像內容的清晰度，但是該方法在真實操作可能會大范圍影響圖片的顯示效果，使視頻的視覺效果遭到破壞。去雨的算法有從視頻圖像出發的，通過建立雨滴在視頻圖像中的成像模型，達到去除雨滴的目的。在文獻[3]中采用圖像高頻部分幾何分量的去雨方法[3]，首先使用平滑濾波做圖像分解，得到雨圖像的高頻部分；然后結合稀疏表示與近鄰傳播算法分離出圖像高頻部分的雨分量，用圖像的高頻部分減去雨分量并做平滑處理，以此作為幾何分量；此外，對稀疏表示過程得到的字典進行再分類，完善雨分量與非雨分量的區分，最后完成圖像恢復。

同時在以往的工作中也存在著基于深度學習的方法對雨霧圖像進行處理，在以往的這些辦法中僅僅只能對單一的雨圖或者霧圖進行圖像的去雨[4]和去霧的圖像增強。

而在現實的視頻圖像中很多都是雨霧同時存在，所以本方法運用GAN網絡的模型，使用U-GAN算法對視頻內容進行整體處理，通過卷積神經網絡對雨霧圖進行圖像特征的提取與處理，以達到同時能去雨與去霧的圖像的增強[10]。

2 基于GAN網絡的監控視頻去雨霧的增強技術

我們都了解，對于視頻的處理大多都是對視頻進行視頻幀先提取，然后再進行逐幀處理，最后還原成視頻。這樣處理能降低視頻處理的難度，同時達到處理的精確度。本文也是對針對圖像進行處理，再推廣到視頻。

2.1 數據預處理

在運用GAN神經網絡進行圖像處理時首先需要對數據圖像進行預處理[5]，我們通過拍照、搜索等方式獲取現實環境中大量沒有雨霧的清晰圖像，然后用圖像合成以及各種方法，獲得到清晰圖像對應到雨霧圖。將所有圖像一一編碼，形成對應。由于我們對圖像要做去雨霧的圖像處理，所以制作數據集時存在著大量的雨霧圖，同時按一定的比例在其中存在這只有雨干擾或者只有霧干擾的數據集，這樣在訓練數據時能提高其容錯性及魯棒性[9]。

2.2 網絡結構集流程圖

該網絡的數據輸入流程如圖1所示，根據數據集的數量多少通過一定的比例設置訓練集驗證集，將訓練集以及驗證集一起輸入到系統中，獲得去雨霧的模型。

圖1 結構流程圖

2.3 模型參數設置

GAN代表了一種基于博弈論的生成模型，其中，生成器網絡與對手競爭。從分類的角度來看，生成器網絡G產生了一些實例，這些實例積極地試圖“愚弄”鑒別器網絡工作D，其目標是使鑒別器網絡能夠區分來自數據集的“真實”和生成器網絡產生的“虛假”[7]。

而原始的GAN網絡用于處理數據是為了得到一個最小最大值：

E代表每個bath_size圖片的均值，D(y|x)代表在將霧圖或者雨圖作為標簽時將清晰圖像判別為正確的清晰圖像的概率；D(z|x)代表在將霧圖或雨圖作為標簽時將生成圖像判別為正確圖像的概率。

本文由于要處理含模糊雨霧特征的圖像，可能在處理大量數據是會有模糊圖像，參考文獻[4]正文本文采用U-GAN的算法，其損失函數表示如下[4]：

所以，本文采用的算法總損失：

Px'沿著直線定義為樣本來自真正的雙點之間數據分布，λGD為其線性參數；Ll1為兩數據集的損失。

設置參數調節，通過初始化各函數值，設置學習率以及循環次數，通過觀察循環次數獲得最理想的模型。

3 實驗結果

通過2.3實時調節參數，獲得該理想模型，將所需的視頻圖像輸入到模型中，得到所需的清晰圖像：

圖2 圖像雨霧處理結果

通過結果圖可以看出該深度學習GAN網絡可以同時處理含雨霧的視頻圖像，達到很好的去雨霧的效果。

4 結語

視頻圖像的清晰美化效果在現代圖像處理占據著很大的比重，本文的基于U-GAN網絡的圖像去雨霧技術可以同時解決圖像被雨霧遮擋的現象，同時比傳統的圖像處理更加地快速和有效，能更好地保存視頻圖像的完整性，得到更準確和清晰的圖像。