基于空-頻上下文聯合卷積網絡的單圖像去雨

楊 青,于 明

(1.河北工業大學 電子信息工程學院， 天津 300400； 2.陸軍工程大學石家莊校區 電子與光學工程系， 石家莊 050003; 3.河北工業大學 人工智能與數據科學學院， 天津 300400)

1 引言

火控系統中的可見光探測裝備非常容易受到下雨天氣的影響導致圖像質量下降、背景場景變得模糊，這些圖像退化現象將嚴重影響系統對目標的識別、跟蹤等功能。 有效地去除圖像中的雨紋信息，可以更好地保留圖像細節信息。單圖像去雨由于缺少視頻幀之間的時域特征，去雨更具有難度，目前單圖像去雨主要可分為基于模型和數據驅動兩大類方法[1]。基于模型的去雨方法需要建立雨紋信息和背景信息的先驗，然后構建代價函數并對其進行優化。文獻[2]利用判別式稀疏編碼從圖像中的高頻分量中學習無雨分量，然后與低頻分量疊加得到雨紋去除后的圖像。文獻[3]在圖像分解的基礎上將圖像分為背景層和雨紋層，通過高斯混合模型構建先驗信息，該方法不易求取準確的高斯混合模型參數。文獻[4]融合局部和非局部稀疏約束先驗，利用降雨方向先驗信息進行單圖像去雨。

基于數據驅動的去雨方法利用深度網絡自動提取層次特征，構建從雨圖像到無雨圖像的非線性映射關系。文獻[5-6]首先通過導引濾波將雨圖像分解為低頻段和高頻段，然后利用深度殘差網絡將高頻信息映射到雨紋層，訓練穩定、收斂速度快。文獻[7]設計了一種深度循環擴張網絡聯合檢測和去除雨紋。文獻[8]使用生成對抗網絡，捕獲超出信號保真度的視覺特性，具有較好的光照、顏色和對比度分布。文獻[9]利用注意力機制構建模型獲得雨紋的密度和亮度特征，通過循環神經網絡分時學習。文獻[10]通過從局部到全局的注意力機制對去雨特征進行建模。文獻[11]設計了一種新的多階段卷積神經網絡，該網絡由幾個并行的子網絡組成，每個子網絡都能感知不同尺度的雨條紋。文獻[12]使網絡本身能夠自動確定雨密度信息，并根據估計的雨密度標簽有效地去除相應的雨條紋。文獻[13]對于不同位置的相似雨紋，采用了遞歸計算來獲取全局紋理，通過空間維度上互補和冗余信息來表征雨紋。

從上述分析可知，目前基于數據驅動的單圖像去雨方法所構建的去雨網絡通常采用負殘差、注意力機制、膨脹卷積學習像素到像素的空域映射關系，進而完成單圖像雨紋信息的去除，但存在以下不足：

1) 上下文信息大多是基于空間域特征建立，頻域特征的獲取需要人工先驗方法，弱化了雨圖像中空域與頻域之間特征的依賴關系，不易區分方向、密度隨機分布的雨紋而導致背景信息的損失；

2) 卷積神經網絡生成的特征圖在空間映射中既包含圖像的高頻信息也包含低頻信息，在空間維度中造成特征冗余，影響了網絡的運行速度。

針對以上問題，在建立頻域去雨模型的基礎上，提出一種基于空-頻域上下文聯合卷積網絡的去雨算法，結合有雨圖像中的空間特征與頻率特征來表示雨紋和無雨場景的空-頻域關系；構建面向全局信息、多頻特征映射的去雨網絡，自動提取雨紋的空頻域特征，在強化重要特征的同時兼顧網絡運行效率；最后，通過序列模塊迭代分解不同成分的雨紋特征，從而實現單圖像的去雨，恢復去雨后圖像的背景信息。

2 去雨模型

目前，在空間域中，去雨模型最直觀的表示形式就是在將有雨圖像X線性分解為無雨的同場景背景圖像Y和雨紋圖像R：

X=Y+R

(1)

在現實中，空氣中的雨滴表觀形式根據拍攝距離不同、空氣中的衰減和散射等因素而形式多樣，這就導致了雨紋的分布是不規則的，從而進一步增加了了雨紋亮度的多樣性[9]。為降低模型的復雜性，同時考慮雨紋的亮度變換對背景圖像亮度的影響，可將具有相同形狀與深度的雨紋視為同一雨層Ri(i=1,2,…,n)，有雨圖像可表示為：

(2)

在頻域中，有雨圖像X的頻率分布F(X)包含了圖像中的高頻信息和低頻信息，即F(X)={FH(X),FL(X)}。將同場景的有雨與無雨圖像對在頻域中的頻譜圖進行對比，如圖1所示，雨圖頻譜與無雨背景頻譜相比，能量由低頻部分向四周擴散，雨紋的頻率信息分布R同時存在于頻率空間的4個象限中，既有高頻信息也有低頻信息。

圖1 雨圖和無雨背景圖的頻譜圖Fig.1 Spectrum of rain image pairs

因此，雨紋的頻率信息分布FR可表示為

FR=FH→H(X)+FL→H(X)

(3)

FH→H為存在于高頻信息中的雨紋頻率、FL→H為存在于高低頻帶信息間的雨紋頻率。則雨紋圖像可由雨圖像的頻率特征表示為

R=F-1(FR)=F-1[FH→H(X)+FL→H(X)]

(4)

其中，F-1(·)表示頻域到空間域的轉換。

將式(4)代入式(2)中，有雨圖像可表示為

(5)

3 去雨算法

由于傳統頻域去雨方法是將空域中建立的去雨模型通過傅里葉變換對[14-15]、小波變換[16]的方式進行空域和頻域間的轉換，無法主動學習雨紋特征在空-頻域間的上下文信息，提出一種基于空-頻域上下文信息聯合的端到端去雨算法，簡稱空頻域聯合去雨網絡。根據雨紋頻率特點，本網絡模型以深度卷積神經網絡為基本框架，分為上下文信息聚合模塊和多頻特征映射模塊。網絡結構對應式(5)的去雨模型，將去雨過程分頻、分步執行，迭代分解出具有不同特征的雨紋，提高了模型對雨紋的識別能力。

3.1 上下文信息聚合模塊

由于無法充分獲取雨圖像背景與雨紋之間的相關特征，以及無法充分獲取雨紋像素區域間的上下文信息，導致去雨的同時背景區域內容被破壞，甚至出現過去雨的現象。根據頻率原則[17]，卷積神經網絡將學習到的局部高頻信息都集中在尺度較小的卷積核上，因此，本文中對雨圖像背景與雨紋之間的相關特征進行建模，增加有用特征，弱化非重要特征，提高特征提取的針對性。

上下文信息聚合模塊的輸入特征為雨圖像X的特征張量FX′∈Fc×h×w，輸出特征張量FX∈Fc×h×w表示為

FX=FX′×s(g(FX′),W)

(6)

其中，g(FX′)表示對輸入特征進行全局平均池化操作得到每個通道的特征全局信息；s(g(FX′),W)表示對每個通道的全局信息特征映射進行權重分配，通過兩級全連接層和非線性激活層學習權重W[18]。

3.2 多頻特征映射模塊

為實現式(4)中雨紋信息與圖像中頻率信息之間的映射關系，首次引入文獻[19]的多頻特征映射理論，將卷積算子分為低頻部分和高頻部分，每組頻率特征信息更新的同時實現組間頻率信息的交互。多頻特征映射網絡結構如圖2所示。

圖2 多頻特征映射網絡結構示意圖Fig.2 The architecture of multi-frequency feature mapping network

(7)

(8)

3.3 序列去雨網絡總體架構

根據式(2)，由于雨紋相互重疊，去雨過程需要分解成多個階段，不同階段的輸入圖像{X1,X2,…,Xn} 可看作是去除雨紋操作的一系列雨圖像的序列，各階段的輸入圖像與輸出圖像之間的關系可表示為

Xn=Xn-1-fMF(Xn-1)=

X1-fMF(X1)-…-fMF(Xn-1)=

(9)

其中，fMF(·)表示多頻特征映射模塊的輸出，即雨紋頻率特征。

去雨網絡采用上下文信息聚合模塊+多頻特征映射模塊作為每個序列的基本結構，網絡將前一序列的特征輸出作為當前序列特征的輸入，通過序列去雨操作，最終得到去雨圖像Y。其中，上下文信息聚合模塊首先由卷積層提取圖像多頻特征，對每個通道進行平均池化得到特征全局信息，通過兩級全連接+ReLU學習每個通道的特征權重。上下文信息聚合模塊的輸出頻率特征輸入到多頻特征映射模塊中，該模塊對其頻率特征進一步優化處理，對低頻特征通過下采樣進行降分辨率從而去除背景冗余信息，針對高頻特征以及低-高頻間特征進行學習映射雨紋頻率特征。由于雨紋在方向、顏色和形狀上的分布是不同的，整個去雨網絡不進行批標準化處理[20]，從而提高網絡訓練的穩定性。去雨算法整體結構如圖3所示。

圖3 去雨網絡整體結構框圖Fig.3 The architecture of de-raining network

由于雨紋特征相比背景特征更具有稀疏性，所以本算法構建的去雨網絡學習的是雨圖像X到雨紋圖像R的映射關系，其損失函數可定義為

3.4 算法描述

提出了一種基于空-頻域上下文信息聯合的卷積網絡去雨算法，該算法結合有雨圖像中的空間特征與頻率特征表示雨紋和無雨場景的空-頻域關系，構建面向多頻特征映射的去雨網絡，突出重要特征，抑制冗余信息，簡化網絡結構，提高去雨效率。具體算法流程如下：輸入：雨圖像X(分辨率w×h)

輸出：去雨圖像Y(分辨率w×h)

1 對去雨圖像X進行序列去雨；

foriin 1,2,3,4 do:

2 對序列雨圖像Xi進行3×3卷積提取特征(w×h×48)，平均池化得到特征全局信息，通過兩級全連接+ReLU得到權重重新分配的特征；

3 對特征進行分頻映射，低頻特征降分辨率(0.5w×0.5h×24)處理，進行3×3卷積并且ReLu激活，高頻特征(w×h×24)直接進行3×3卷積并且ReLu激活后，與低頻特征上采樣后合并得到雨紋頻率特征；

i=i+1；

end

5 得到去雨后的圖像Y。

4 實驗與結果分析

4.1 數據集與評價指標

為驗證算法在單圖像去雨方面的有效性，分別選取文獻[7]、文獻[12]提供的合成雨圖像對數據集和文獻[21]、文獻[22]提供的真實雨圖像數據集進行實驗。訓練集共包括11 140張圖像對，校驗集共包括2 540張圖像，測試集共包括1 320張圖像。

為了定量衡量算法的去雨效果，采用峰值信噪比[23](peak signal noise ratio,PSNR)和結構相似性(structural SIMilarity,SSIM)作為評價指標。

4.2 實驗環境與網絡設置

利用Pytorch1.2搭建網絡訓練框架，編程語言為Python 3.7，Win10操作系統，計算機配置為64G內存、Inter(R) Xeon(R) Silver 4210 CPU @ 2.2 GHz 2.19 GHz、NVIDIA GeForce RTX 2080Ti GPU。訓練過程中，從每對訓練圖像中各隨機生成100個大少為64×64的圖像塊，序列個數為4，每個序列中卷積網絡深度為4層，其中多頻映射模塊為2組，每組深度為1層。為兼顧計算效率和去雨性能，特征映射分配系數α=0.5[19]，分頻卷積核大小為3×3。為了抑制梯度方向鋸齒問題，激活函數選用LeakyReLu，超參數為0.2[9]，梯度優化算法選用ADAM，起始學習率為5×10-3，當迭代次數在15 000～17 500，學習率除以10。

4.3 模塊及參數對去雨性能的影響

為了驗證網絡結構中各模塊對整個去雨網絡的貢獻，通過各模塊的不同組合方式進行消融實驗，結果如表2所示。表2中為單獨使用上下文信息聚合模塊與多頻映射模塊以及同時使用兩模塊(網絡序列個數為4)時的實驗結果。由去雨性能評價結果可知，不同結構下的SSIM指標基本保持不變，證明本算法能保證去雨圖像的結構穩定性。對于PSNR指標，同時采用上下文信息聚合模塊和多頻特征映射模塊時能分別提高約2.92 dB和4.91 dB。證明了本算法結構設計對于提高去雨圖像質量的有效性。同時，在GPU下運行算法，運行時間沒有受到影響。

表2 模塊組合消融實驗結果Table 2 Ablation experiments of different modules about de-raining performance

4.4 合成雨圖的實驗

將本文算法與DSC[2]、GMM[3]、CNN[5]、DNN[6]、RESCAN[9]、DID-MDN[12]和MSPFN[13]等7種典型去雨算法在合成雨圖數據集RainTainH和Rain12600上進行定量分析，分析結果如表 3所示。實驗結果表明本文算法能夠取得較高的峰值信噪比和更好地結構相似性。與其他算法相比，峰值信噪比分別提高了0.3～13.36 dB和0.35～6.64 dB，結構相似度與其他算法相比分別提高了0.009～0.232和0.011～0.19。

表3 典型去雨算法在Rain12600和RainTainH的定量分析結果Table 3 Quantitative comparison of typical de-raining algorithms in RainTainH and Rain12600

數據集Rain12600是針對不同雨紋方向的合成雨圖，如圖4所示，GMM對于不同方向的雨紋只能去除少量雨線，其他對比算法均有一些明顯的雨紋殘留，圖中一些細節信息由于去雨造成了信息的丟失。與上述算法相比，本文算法對于不同方向的雨紋去除具有較好的適應能力，在去除雨紋的同時可以將圖像的細節和邊緣信息保留。

圖4 典型算法與本文算法在Rain12600上的去雨效果圖Fig.4 The results of various algorithms on Rain12600

4.5 真實雨圖的實驗

數據集MPID是真實環境下采集的雨圖像，實驗結果如圖5所示，對比算法對于較大的雨滴和較粗地雨紋的去除效果都不理想，對于較稀疏的雨紋去除效果較好，但是細節信息容易被抑制掉。本文算法對于較大的雨滴和較粗的雨紋的去除均取得了較好地去除效果，并可以較好地保存圖像的細節信息，本文算法相比其他算法具有較好的魯棒性。

圖5 典型算法與本文算法在MPID上的去雨效果圖Fig.5 The results of various methods on MPID

為了進一步驗證本文算法在去雨的同時細節信息的保留效果，通過SPA-DATA數據集進行驗證，實驗結果如圖6所示，可以看出對比算法對于去除方向隨機的雨滴和較粗的雨紋的效果不理想，并且破壞了細節信息，提出的算法對于方向隨機的雨滴和雨線、形狀較精的雨紋均好較好的去除性能，同時較好地保護了圖像中的細節以及紋理信息。

圖6 典型算法與本文算法在SPA-DATA上的去雨效果圖Fig.6 The results of various methods on SPA-DATA

在相同的計算機硬件配置下，本文算法與對比算法在運行時間上進行了比較，針對分辨率為512×512圖像，去雨運行時間如表4所示，本文算法相比對比算法在運行時間上提高了0.02～12.13 s，進行一步驗證了本文算法的網絡結構節省了計算成本，提高了運行速度。

表4 典型算法與本文算法在在運行時間上的比較(s)Table 4 Comparison between typical de-raining algorithms and our method in running time

5 結論

通過上下文信息聚合模塊，對雨圖像的全局信息重新分配權重，強化了重要特征；建立了空-頻域去雨模塊，提高了空-頻域之間上下文信息的相關性；對重新分配權重的空域特征通過多頻特征映射模塊，采用下采樣低頻特征與頻間信息交互的方式聚合了雨頻特征，去除空間冗余，提高網絡運行速度；構建序列去雨網絡，有效地去除不同成分的雨紋信息。實驗表明，算法對不同方向、不同形狀的雨紋和雨滴的去除性能有很大提升，同時對于背景圖像的細節與邊緣信息也具有較好地保護作用，但是對于密度較大的積累雨去除效果仍需進一步提高。