基于卷積長短期記憶的殘差注意力去雨網絡

強贊霞，鮑先富

（中原工學院計算機學院，鄭州 450007）

0 引言

雨天是常見的自然天氣，雨天采集的圖片通常會出現圖像失真和背景遮擋問題。無人駕駛系統（Unmanned Driving System，UDS）常因雨紋和雨霧影響導致無法對周圍行車環境進行有效感知。去除雨紋和提升圖像質量是高效運用計算機視覺（Computer Vision，CV）算法的關鍵。為解決無人駕駛車輛在雨天條件下產生的圖像質量下降問題，本文采用生成對抗網絡（Generative Adversarial Network，GAN）［1］結合長短期記憶（Long Short-Term Memory，LSTM）單元去除圖片中的雨紋，提升無人駕駛系統的環境感知能力。

傳統去雨任務根據物理成像原理進行建模，取得一定的去雨效果。Reynolds 等［2］將雨圖進行分層，結合高斯混合模型作為先驗知識進行建模，使用半二次方分裂技術解決非凸問題。通過使用高斯混合模型對去雨模塊進行評估，但雨紋補丁位置的嚴重偽影問題仍有待解決。Kang 等［3］使用傳統形態學方法結合雙邊濾波將圖片的高低頻成分進行分解，對高頻分量中的雨紋噪聲進行處理，再與低頻分量中的背景信息融合得到去雨的圖像。該方法雖能有效定位雨紋位置，但損失了背景圖像的高頻細節信息，恢復的圖像仍存在模糊和偽影問題。Luo 等［4］將雨紋矩陣轉化為張量，將雨圖分解為背景和雨紋噪聲兩部分進行處理部分。Li 等［5］將雨紋圖分層，對反向傳遞的梯度進行正則化，使兩層梯度信息符合長尾分布和短尾分布，通過迭代解決正則化問題。綜合所述，傳統方法僅利用雨紋先驗知識進行簡單有限的線性映射，難以處理大雨中產生的密集雨紋，在細節恢復方面難以取得令人滿意的去雨效果。

單幅圖像去雨僅憑借物理模型和圖片像素的先驗信息，以往算法雖能取得不錯的雨霧去除效果，但很難在雨紋噪聲去除和細節恢復上保持良好的平衡。Qian 等［6］借助專注循環網絡生成注意力分布圖，將注意力權重送入生成對抗網絡進行訓練，取得較好的去雨效果，但該網絡僅能對附著在鏡頭的雨滴進行處理。Chen 等［7］借助遷移學習對背景和雨紋進行分離，再使用稀疏泛型卷積和低秩濾波器將雨紋去除問題轉化為雨紋分離優化問題。該方法僅使用濾波操作，未考慮不同尺度的特征融合，難以對不同程度的降雨進行適應。Fu 等［8］使用低頻濾波將雨圖分解，將高頻分量送入DerainNet 學習雨圖與背景之間的高頻分量的對應關系，背景的恢復效果差強人意。Barzegar 等［9］通過使用深度殘差單元設計DetailNet，縮小網絡中變量的映射空間，驗證了網絡映射空間大小對去雨效果的影響。Zhang 等［10］提出了基于條件生成對抗網絡（Conditional Generative Adversarial Network，CGAN）的去雨網絡，利用生成對抗網絡的數據生成能力對雨圖進行修補，這樣做基于一個強制約束，即雨圖必須與背景圖像不可區分。生成對抗網絡（GAN）為訓練提供額外的正則化和細化損失函數，結合多尺度判別器和改進的感知損失函數，對偽影的去除效果較好；但由于強制約束的加入，未對雨紋進行定位，部分雨紋沒有去除。Jiang 等［11］通過建立多尺度金字塔結構，配合通道殘差結構和注意力機制，得到優秀的去雨效果；但網絡采用完全監督的方法進行訓練，難以對不同大小的雨紋進行適應，容易產生過擬合［12］。Lai 等［13］通過高斯混合模型作為背景和雨紋先驗信息，通過預處理除霧方法解決降雨累積問題，除霧方法會增強雨紋；但導致雨紋的對比度和強度遠高于真實分布，后續操作不能有效去除增強后的雨紋。Zhang 等［14］使用迭代除霧方法對雨霧累積問題進行處理，增加大量噪聲并導致去雨的性能降低，通過感知密度和遞歸網絡處理大雨場景中雨層疊加；但無法修復降雨累積產生的色彩失真問題。

傳統去雨和多數基于深度學習的去雨方法均采用分解雨圖的方法，將去雨轉化為矩陣分解，未對雨紋位置進行定位，存在色彩失真和雨紋殘留的問題。針對上述算法存在的問題，本文提出一種基于卷積長短期記憶的殘差注意力去雨網絡算法。在對雨紋進行去除前，本文算法先使用卷積長短期記憶（Convolutional Long Short-Term Memory，CLSTM）網絡［15］生成雨紋注意力圖，對雨線進行初始定位；然后迭代使用殘差通道注意力單元（Residual Channel Attention Block，RCAB）［16］對色彩信息進行修復，以此提升網絡的去雨性能。

1 生成對抗長短期記憶網絡

目前大多數去雨算法采用如式（1）所示的物理模型處理單幅圖像去雨任務：

其中：I表示拍攝得到的雨圖；J表示雨圖的背景信息；Si表示雨紋；n表示雨紋數量。去雨主要為了從相機采集的雨圖I中恢復清晰的背景圖像J，由于背景圖像J和雨紋信息Si分布未知，雨紋的大小姿態未知，導致去雨任務變得復雜。本文整合CLSTM 和RCAB 結構，設計新的雨紋去除網絡——生成對抗去雨網絡（Generative Adversarial Deraining Network，GADN）。

1.1 網絡結構設計

GADN 的生成網絡（Generative Network，GN）主要由CLSTM 和RCAB 單元組成。GADN 除了GN 還包含判別器網絡（Discriminative Network，DN）和VGG-16 網絡，網絡主體結構如圖1 所示。GN 主要借助CLSTM 結構對雨紋進行定位，并產生雨紋MASK，然后利用RCAB 對雨紋信息進行學習。本文在GN 中引入多尺度特征融合思想，通過對雨圖進行2倍、4 倍下采樣得到尺度金字塔結構，同時在GN 的后半部分中增加RCAB 結構［17］，配合殘差組（Residual Group，RG）進行雨紋特征融合，最終將各尺度層擬合得到的雨紋特征進行反卷積上采樣融合。DN 由7 個卷積模塊組成，在網絡末尾使用全連接結構判斷去雨圖與真實背景圖片之間的相似性；另外，加入一個VGG-16 網絡，并載入網絡的預訓練權重，計算去雨圖和真實背景圖之間的概念感知損失（conceptual Perception Loss，PL），加速GN 的網絡收斂。

圖1 GADN模型的主體結構Fig.1 Main structure of GADN model

表1 GN結構設計Tab.1 GN structure design

1.2 卷積長短期記憶單元

為探求不同雨紋之間的尺度大小關聯，同時為增加GN對不同尺度的雨紋的學習能力，研究引入CLSTM 單元學習不同雨圖中雨紋的關聯性，增加網絡對不同尺度雨紋的定位能力。傳統LSTM 結構僅適用于序列任務，無法對空間特征進行學習。結合雨紋空間特征分布的相似性，本文采用CLSTM 單元對雨線長度等空間信息進行學習。通過將LSTM中的全連接權重改為卷積權重，得到如圖2 所示CLSTM 結構，表達如式（2）所示：

圖2 CLSTM結構Fig.2 CLSTM structure

其中：*代表卷積操作；·代表逐元素相乘操作；σ代表Sigmoid 函數；tanh 代表Tanh 激活函數；xt表示輸入特征；W為各個卷積的權重矩陣；bi、bf、bc是偏置向量。CLSTM 通過記憶門限權重對雨紋的特征進行記憶，Ht代表處理第t張圖片時的隱藏層向量，CLSTM 將傳統LSTM 的全連接權重改為卷積權重以更好適應計算機視覺任務，對雨紋的學習狀態由X和Ht-1決定。

1.3 模型自適應修正

雨圖的高頻分量中包含大量雨紋分布信息，不適合在通道之中被平等對待。平等處理會阻礙GN 對雨紋信息的擬合能力，造成許多可直接傳輸到網絡末端的低頻分量被GN 主干網絡學習，使得GN 對雨紋的學習能力下降。為了使GN專注學習高頻成分中的雨紋信息，本文在GN 引入RCAB，并使用殘差嵌套結構（Residual In Residual，RIR）構造殘差組（RG）。每個RG 結構由多個RCAB 和長跳躍連接（Long Skip Connection，LSC）組成。RCAB 的殘差結構和RCAB 的LSC結構允許背景信息的低頻分量通過跳躍連接進行直接前向傳播，這樣的設計使RIR 主體權重能夠專注學習雨圖高頻成分的雨紋信息；同時GN 使用RCAB 中的通道注意力機制（Channel Attention，CA）對雨圖高頻成分中的背景細節信息賦予較小的權重，以此過濾高頻分量中的背景細節信息，借助通道之間的相互依賴，自適應地進行注意力權重調整。

對于輸入CA 的特征向量X∈RH×W×C，首先進行全局池化處理（Global Pooling，GP）得到特征圖M∈RC，其中X的第k個通道的特征向量通過GP 得到mk，GP 操作使用φgp表示，計算如式（3）所示：

其中：k∈{0，1，…，C-1}；H和W分別代表卷積核的高度和寬度；i和j代表特征圖中的像素坐標。可將CA 模塊處理方法表示如式（4）所示：

其中：δ代表Leaky ReLU 激活函數；Convi×i代表核為i×i的卷積操作；r表示卷積后通道減少倍數。GN 首先對特征圖X的每個通道Xk進行GP 處理得到尺寸為1 × 1 ×C的特征向量Xk；然后使用兩次1 × 1 的卷積核進行處理，得到尺寸變化先后為1 × 1 ×、1 × 1 ×C的特征向量X2；最后將X2進行Leaky ReLU 函數激活，并與輸入CA 模塊的特征向量X進行點乘得到X′∈RH×W×C。對于輸入RCAB 的特征向 量X0∈RH×W×C的計算方式，如式（5）所示：

其中：X1、X2、Xout∈RH×W×C代表RCAB 中的特征向量；φCA代表CA 模塊的處理函數。RCAB 對輸入的特征向量X0分別進行卷積、ReLU 函數激活、卷積操作后得到X1，然后將X1送入CA 模塊進行縮放得到X2，將X0和X1相加得到輸出特征Xout，其中RCAB 中的卷積核大小均為3 × 3。

在RG 模塊中存在B個RCAB 模塊，一個卷積和LSC 組成，結構如圖3（b）所 示。對于送入RG 的特征圖X0∈RH×W×C，其特征圖的計算如式（6）所示：

圖3 殘差通道注意力網絡Fig.3 Residual channel attention network

1.4 損失函數

GADN 的網絡生成器損失LG包括3 項，分別為PL 損失Lps、正則損失項L2和邊緣信息損失Ledge，如式（7）所示：

其中：λ1和λ2表示Ledge、Lps損失函數的權重參數，本文λ1和λ2設置為0.05 和0.001 以平衡Ledge損失項。三項損失計算如式（8）～（10）所示：

其中ε 代表接近于0 的參數。

本文中將去雨圖與真實背景圖片的結構相似性（Structural SIMilarity，SSIM）和峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）加入GN 損失中，如式（8）～（10）所示，其中：fssim和fpsnr分別代表計算Io與IR的SSIM 和PSNR 函數，VGG 表示提取VGG-16 網絡的2、4、6 卷積層的特征向量的操作函數，Lap 表示使用拉普拉斯算子提取邊緣的函數。DN 損失表示判別器判斷GN 生成圖片是否為原圖所產生的判別損失。根據GAN 定義，該項損失訓練趨向0.5 為宜，LD如式（11）所示：

其中：IR代表雨圖，Io代表GN 生成的去雨圖，Igt代表雨圖對應的真實背景圖；D(Io)代表Io經過DN 處理得到的概率向量，D(IR)代表IR經過DN 處理得到的概率向量，根據交叉熵值判斷Io與IR之間向量的判別誤差。

2 實驗過程與分析

2.1 實驗環境

本文實驗基于64 位Ubuntu 21.04 系統，其中CUDA 版本為11.2、CUDNN 版本為8.2、Python 版本為3.7，GPU 為NVIDIA RTX-5000，主機內存為128 GB，GPU 為16 GB。實驗基于Tensorlfow-GPU 1.6.0 進行訓練，圖片尺寸大小為256×376，批處理大小設置3，采用Adam 優化器，初始學習率設為0.2，采用Momentum 優化器，初始學習率設置為0.02，二者學習率采用指數衰減，學習率衰減率設為0.95，且每1 000 輪更新一次。

2.2 數據集

本文實驗使用合成的數據集進行測試，驗證GADN 的去雨性能，并使用消融實驗對GN 各模塊性能進行測試，同時使用SOTA（State-Of-The-Art）網絡模型進行對比。模型使用的合成數據集共18 200 對雨圖，每對包含雨圖和相對應的真實背景圖。本文在公開的Rain100L、Rain100H 等數據集上與SOTA 模型進行對比，具體訓練集及測試集圖片組成如表2 所示。

表2 去雨數據集組成Tab.2 Composition of deraining datasets

2.3 消融實驗

為驗證各模塊對模型總體去雨的效果影響，對模型各模塊進行消融測試。對CLSTM 的使用次數t、RCAB 模塊的迭代次數B、RG 迭代次數C的網絡結構進行測試，同時采用公開數據集Real200 進行評估。實驗分別測試CLSTM 存在與否、不同RG 模塊數量、不同RCAB 模塊數量情況下，GADN的去雨性能。實驗結果如表3 所示，Model3、Model4、Model5、Model6 模型增加RG 迭代次數的同時，造成網絡模型推理時間增加。為了達到模型推理速度和性能的平衡，研究模型將RG 模塊的迭代次數設置為10。對比實驗Model1、Model2、Model5，CLSTM 對雨紋去除效果，比未加該模塊的Model2 測試得到的PSNR 和SSIM 指標增加明顯，同時Model5 比Model2、Model1 的效果更好，如表3 和圖4 所示，說明CLSTM模塊生成的雨紋MASK 對雨紋去除效果有優化作用。

圖4 熱力圖生成對比示意圖Fig.4 Heatmap generation and comparison diagram

表3 消融實驗結果Tab.3 Experimental results of ablation

模型通過使用不同數量CLSTM 模塊、RCAB 模塊、RG 模塊進行消融測試。對比Model3、Model4、Model5，去雨效果隨著RG 數量增加而逐步上升，展現了殘差通道注意力機制在圖像修復方面的優勢，但過多的RG 不利于雨紋的去除，如Model6，較深的網絡對于梯度傳遞效率較差，使得梯度難以有效傳遞到CLSTM 中，造成CLSTM 中大量參數難以修正。對比Model5、Model7、Model8 中RCAB 的迭代次數B，將B設置為4，由于CLSTM 無法進行并行計算，會大幅增加網絡推理時間，所以將t設置為1。綜合結果，將GN 結構設置為表現最優Model5 的結構。

2.4 實驗結果分析

為客觀評價模型性能，本文在6 個公開數據集上進行測試，同時使用現實世界拍攝的降雨數據集Real200 模擬真實場景。本文采用的對比模型為DerainNet（Derain Network）［8］、RESCAN（REcurrent Squeeze-and-Excitation Context Aggregation Net）［20］、PreNet（Progressive Image Deraining Network）［21］、MSPFN（Multi-Scale Progressive Fusion Network）［11］。通 過對比上述算法，對GADN 的去雨性能從PSNR、SSIM 指標和視覺效果方面進行評估。通過對比各模型在各數據集上的測試結果，如表4 和圖5 所示。

圖5 不同模型的效果對比Fig.5 Effect comparison of different models

表4 去雨效果對比Tab.4 Comparison of rain removal effect

實驗結果表明GADN 可取得比其他模型更優的去雨效果。在各測試集上，PSNR 和SSIM 數值與去雨最好的MSPFN模型相比，PSNR 分別提升0.7、2.4、2.2，評價指標SSIM 分別提升0.1、0.1、0.3。GADN 通過使用CLSTM 結構對雨紋位置進行感知，生成的MASK 指導雨紋去除。RCAB 配合殘差結構和CLSTM 生成的MASK 對網絡進行指導，修正雨線位置上的像素。雨線的色彩修正需要逐步進行，網絡使用逐步殘差結構逐步進行學習。過多地使用RCAB 和殘差結構會造成網絡難以訓練，梯度難以反向傳遞回CLSTM 結構，所以使用消融實驗探求最佳的RCAB 迭代次數，并將網絡逐步優化。

2.5 檢測效果對比

為驗證GADN 在現實場景下的實用性，本文通過對比去雨前后目標檢測算法的檢測效果，以此說明雨天條件下，圖像去雨對無人駕駛車輛的環境感知能力得提升。通過使用相同權重的YOLOv4（You Only Look Once v4）目標檢測模型［22］測試，以此驗證無人駕駛系統的環境感知能力的提升。本文使用Rain100H 級別的雨圖，進行目標檢測測試，并進行可視化對比，如圖6 所示。對比發現，經過去雨處理后的圖片再進行目標檢測，解決了如圖6（b）中出現的車輛誤檢和漏檢問題，說明GADN 對無人駕駛系統的環境感知有明顯的提升效果，說明了模型有很強的實用性，可適用于無人駕駛系統在雨天場景下的目標檢測任務。

圖6 去雨前后車輛檢測效果對比Fig.6 Comparison of vehicle detection effect before and after deraining

3 結語

對于無人駕駛汽車在雨天行車條件下，車載相機拍攝的圖片受雨紋干擾而質量下降的問題，本文提出一種單幅圖像去雨算法。本文算法使用卷積長短期記憶單元和殘差通道注意力模塊，分兩步對雨紋進行消除。實驗結果表明，該算法解決了人工偽影和雨紋殘留問題，展示了通道殘差注意力機制在圖像修復方面的優勢，同時也反映了不同雨紋之間存在序列信息相關，使用循環網絡結構有利于對雨線位置進行感知；但本文算法在對不同姿態的雨紋和不同強度的雨線的處理上，魯棒性還有待加強。接下來將進一步探究多類型天氣條件下圖像修復問題，并將其運用至無人駕駛、小樣本學習任務中。