單幅圖像去雨算法研究的最新進展

閆碧玉　殷雅茹　于匯欣

摘? 要：在雨天所拍攝的圖像不僅影響人類視覺輸入和判斷，還使許多計算機視覺算法的有效性和穩定性降低，如檢測、識別、跟蹤等等。國內外對處理視頻上的雨滴的干擾已經有了廣泛而深入的研究，取得了很好的去除效果。然而在單幅圖像去雨雪中，由于不能利用視頻上的時域信息，單幅圖像去雨研究變得非常的困難，不但在起步晚，而且效果也差。本文針對單幅圖像去雨算法展開研究，闡述了去雨算法的研究，重點講述了三種不同類型的去雨算法，分別為深度學習去雨算法、RESCAN去雨算法、深度細節網絡去雨等。

關鍵詞：圖像去雨;深度學習;算法研究

1引言

在信息時代，計算機技術的發展越來越智能化。人類信息的主要來源是通過視覺和聽覺，其中視覺獲取的信息遠遠大于聽覺獲取的信息。通過視覺獲取的信息占80%以上，而人類通過聽覺獲取的信息僅占10%左右。計算視覺是一種通過攝像機和計算機模擬人類視覺的計算機智能。計算機視覺廣泛應用于智能交通、目標跟蹤檢測、遠程監控、體育報道、公安、軍事防御等諸多領域。然而，計算機視覺系統容易受到室外惡劣天氣的影響。其主要性能是惡劣天氣下采集的圖像會產生干擾和降質，降低計算機視覺處理算法的性能，如目標跟蹤、目標檢測、圖像檢索等。為了提高人類的視覺效果和計算機視覺系統的性能，本文將對雨天的圖像復原進行系統的闡述，特別是針對單個圖像的去雨算法研究。

2圖像去雨算法

由于在一幅圖像中沒有可用的時域信息，因此更難去除雨雪。在某些情況下，我們只能使用單個圖像（例如，相機拍攝的雨水圖像、從網絡下載的雨水圖像）。此外，在某些情況下，有必要從單個圖像中刪除雨水。例如，為了提高圖像檢索的精度，需要對圖像進行預處理以去除雨水。此外，單個圖像可以消除動態背景和運動對象的影響。由于雨水在空間的隨機分布，使得單個圖像中沒有時間域的信息，這使得國內外單個圖像中雨水去除的開始速度太慢，方法也很少，去除效果也比較差。

2.1深度學習去雨算法

Fu等人（2016）基于深度學習技術，提出了圖像去雨算法。聯合雨條檢測和去除的卷積神經網絡。文中首先根據雨條堆積形成的霧和不同的雨條形狀和方向建模。為了解決難以區分圖像的紋理和雨條，導致平滑解的問題，網絡設計檢測雨條的部分，用于抑制無雨區域的圖像紋理被去除的問題。為了增大圖像的感受野，獲得圖像的全局信息，網絡設計了一個上下文空洞卷積網絡來增大感受野，獲取圖像的全局信息。由于雨條的堆積，網絡設計循環復原的方式，通過多次的復原，從而解決了雨條去除不徹底的問題。

2.2深度細節網絡去雨算法

Yang等人（2016）提出了基于深度學習的單幅圖像去雨算法，建立卷積神經網絡從雨條的退化圖像中復原清晰圖像。文章在去除雨條時創新點主要體現在兩個方面：1）提出Negative Residual Mapping（Neg-mapping），用于刻畫清晰圖像和退化圖像間的區別，使得網絡學習的過程更為簡單2）將輸入圖像進行分解為高頻成分用于圖像復原。

普通的卷積神經網絡設計時最小化損失函數

加入Neg-mapping后，修訂的損失函數為

文中進而分別對比了普通的卷積神經網絡、殘差網絡、加入Neg-mapping的卷積神經網絡、加入Neg-mapping的殘差網絡和文中最終的方法在圖像去雨上的實現結果。文中通過實驗結果圖1，經驗式的給出加入Neg-map 可以有效的降低解空間，實現更好的復原效果。

2.3 RESCAN單圖去雨

通過卷積神經網絡以及循環神經網絡的基礎上，提出了一種新的神經網絡架構RESCSN來處理單圖雨滴。去雨問題的建模也是將問題進行分解，稍有不同的是將雨的影響進行了細分，認為R是由多種雨的紋路組成的。

文章提出了一種稱REcurrentSE Context Aggregation Net（RESCAN）的框架，整個過程是多階段的，逐步得到R。每個階段使用一種稱為SCAN的結構，這個結構主要有以下幾個特點：第一是使用空洞卷積快速擴大感知野，因為在去雨中更多的上下文信息是比較關鍵的。第二個特點是使用SE模塊，作者認為特征圖的每個頻道都可以看為某種Ri的表示（embedding），每個Ri都有一個對應的系數αi，通過引入SE模塊，可以顯式地為不同Ri賦值不同的系數。這樣每個階段都能得到某些雨的條紋，也就是說每個階段都能去除某些雨的條紋由于一個階段不可能將所有的雨的條紋都去除，因此需要多階段逐步地進行，這個過程通過RNN的結構來建模。

3.結論

通過對三種去雨算法的具體綜述，本文對圖像去雨算法有了深入的介紹。由于篇幅有限，對于不同算法的效果還需要更進一步的驗證。

參考文獻

[1]? Fu X，Huang J，Zeng D，et al. Removing Rain from Single Images via a Deep Detail Network[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society，2017.

[2]? Cai B，Xu X，Jia K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal[J]. IEEE Transactions on Image Processing，2016，25（11）：5187-5198.