多尺度殘差群網絡的圖像去雨算法

邵羅仡, 陳清江, 尹樂璇

(西安建筑科技大學,西安 710000)

0 引言

雨天、霧天及雪天等各種天氣條件會導致圖像或視頻的視覺質量下降[1-2]。其中,雨天是較為常見的一種天氣條件,會造成圖像模糊、可視性差,從而影響戶外計算機視覺系統如視頻監控[3]、目標跟蹤[4]、目標檢測[5]等的性能,近年來,深度學習逐漸成為計算機視覺領域中最流行的方法[6-8]。現有單幅圖像去雨算法主要分為基于傳統的去雨法和基于深度學習的去雨法兩類。

基于傳統的方法:在沒有時間信息支持的情況下,早期的研究人員首先將其表述為基于形態學成分分析的圖像分解問題[9]。為了解決這一問題,提出了通過稀疏編碼引導的字典學習來學習雨和非雨兩個字典,從而通過基于稀疏編碼的信號分解去除雨紋[10];CHEN等[11]提出了一個從矩陣到張量結構的低秩模型來捕捉雨紋,從而在文獻[12]中提出了一種基于字典學習的雨條紋去除算法,該算法基于雨條紋的非線性生成模型;LI等[13]提出了利用高斯混合模型對單幅圖像的背景層和雨紋層進行處理的方法。

基于深度學習的方法:FU等[14]首先將CNN用于去雨,直接學習雨天和干凈圖像細節層之間的映射關系,在細節層上進行訓練,還引入了殘差網絡進行去雨;YANG等[15]提出了一種周期性的雨檢測和去除雨紋的遞歸網絡;ZHANG等[16]提出了一種協同估計降雨密度和去除雨紋的網絡,該網絡可以自動確定降雨密度,并去除相應的雨紋;WANG等[17]提出了一種遞進遞歸網絡,該網絡通過遞歸層來利用深度特征在各個階段的相關性。……