一種結合自注意和多尺度生成對抗網絡的圖像去雨方法*

李 然，周子淏，張月芳，羅東升，鄧紅霞

(太原理工大學信息與計算機學院，山西 晉中 030600)

1 引言

近年來許多技術需要對不同時期所拍攝的照片進行分割、識別和分析等處理，像蘋果物候期自動檢測技術等，而受不同天氣所影響，雨天拍攝的照片清晰度下降，嚴重影響圖像的分析結果。圖像質量降低的主要原因是被雨滴遮擋區域與清晰區域相比，包含不同的映象，與不被雨滴覆蓋的區域不同，雨滴覆蓋區域是由來自更廣泛環境的反射光形成的。此外，在大多數情況下，相機的焦點都在背景場景上，使得雨滴的外觀變得模糊。圖像去雨的難點在于被雨滴覆蓋區域未知，封閉未知區域的信息丟失的問題，因此本文提出自注意多尺度生成對抗網絡。

為了檢測和去除雨滴，許多人提出了相應的解決方案，包括傳統方法[1 -4]、基于非生成對抗網絡的圖像去雨技術[5 -8]和基于生成對抗網絡[9]的圖像去雨技術。其中,傳統方法包括Huang等[2]提出的一種通過對輸入圖像進行上下文約束、構造學習字典用于重建以及使用稀疏編碼原理，實現自動識別常見雨模式的方法；Tanaka等[3]提出的一種從立體圖像中檢測干擾噪聲的方法，通過對立體圖像測量的視差和立體相機系統與玻璃表面之間的距離進行比較，檢測圖像中雨滴的位置。這些方法可用于檢測雨滴但不能去除雨滴。

基于非生成對抗網絡的圖像去雨技術研究有：Tan等[10]提出了一種僅使用馬爾可夫隨機場框架中的單幅圖像輸入進行功能開發的自動化方法，基于清晰圖像和有雨圖像對比度不同，在馬爾可夫隨機場的框架下設計算法實現雨線去除。Li等[11]使用簡單的基于補丁的先驗來處理背景和雨層，這些先驗基于高斯混合模型，能夠適應雨條紋的多個方向和尺度，解決了單幅圖像中雨條紋的去除問題。Yang等[12]提出了一種方法，該方法通過層層迭代、循環和優化3個卷積通道，并引入3個損失來實現圖像去雨。Li等[13]提出了基于編解碼器結構的模型，通過引入的生成損失和特征融合實現圖像中雨條紋的去除。非生成對抗網絡方法更適合于雨線的去除，對大雨滴或濃密雨滴的去除效果欠佳。

基于生成對抗網絡實現圖像去雨的技術有：Zhang等[14]提出了一種基于條件生成對抗網絡的框架,用于改善生成網絡，生成網絡的結構為自編碼器，定義了一種新的感知損失函數，在公共和綜合數據集上進行了廣泛的實驗，并與現有的先進方法進行了定性和定量比較，結果表明該框架提升了去雨效果。Xiang等[15]提出了用于單幅圖像去除雨水的F-SGAN(Feature-Supervised Generative Adversarial Network),生成網絡進行特征監督，在去雨過程中，同時提取清晰圖像的特征，通過該特征引導生成網絡更有效地學習雨滴區域的特征，逐步優化該特征監督生成對抗網絡，以實現圖像去雨。這些方法重點關注局部區域(雨滴區域)，而對圖像的整體依賴性關注不足。與傳統方法和非生成對抗網絡相比，生成對抗網絡生成的圖像清晰度更高、更真實。因此，本文在自動編碼器結構中的卷積層之后添加自注意層，以提升圖像的全局依賴性，引入多尺度判別器，以提升圖像的清晰度，實現圖像中雨滴的去除。

2 自注意多尺度生成對抗網絡

2.1 網絡框架

生成對抗網絡有2個主要的部分：生成網絡和判別網絡。輸入圖像為附著雨滴的圖像，本文的生成網絡可生成沒有雨滴接近清晰的圖像。判別網絡評估生成網絡的結果與清晰圖像之間的差異，以驗證去雨圖像是否足夠清晰。經過不斷迭代，直到判別網絡無法判別去雨圖像是否真實即可停止。

Qian等[16]提出了注意力生成對抗網絡來實現圖像去雨，在生成網絡中增加了注意-循環網絡，以生成注意力分布圖來引導網絡檢測和去除雨滴區域。如圖1所示，本文方法在已有的網絡基礎上針對網絡結構進行了2點(橢圓所圈)改進：

(1)在自動編碼器結構中的卷積層之后添加自注意層[17]，以提升圖像的全局依賴性，所添加的自注意層如圖1右上角深色部分中黑色所代表的層。

(2)引入多尺度判別器[18]，圖1中右下角淺灰色部分為判別網絡部分。

網絡中生成網絡右側自編碼器[19]包含16個conv-ReLu塊和跳躍連接，以及2個自注意層，判別網絡所用判別器個數為2個。

2.2 自注意生成網絡

為解決被雨滴遮擋區域未知，且背景信息丟失和注意力生成對抗網絡重點關注局部區域(雨滴區域)，而對圖像的整體依賴性關注不足的問題，本文在生成網絡中添加自注意層，并在原自注意層基礎上增加特征疊加細節。如圖2所示為添加自注意層的整體結構圖，其中黑色虛線部分是所添加的特征疊加細節。自注意層的輸出結果為上一卷積層與原自注意層輸出特征圖相加(黑色虛線部分)的結果。

Figure 1 Structure of self-attention multi-scale GAN proposed in this paper圖1 自注意多尺度生成對抗網絡結構圖

該層首先將上一個卷積層輸出的特征x∈RC×N轉換為3個特征空間f，g和h，以獲取注意力信息。

(1)

(2)

Figure 2 Structure of self-attention layer 圖2 自注意層結構

2.3 多尺度判別網絡

為了進一步提升圖像的清晰度，本文引入多尺度判別器[18]，以區分所生成去雨圖像和清晰圖像之間的差異。多尺度判別器的原理：可以有個數不同的并行的判別器，這些判別器的構成完全一致，區別在于輸入圖像的大小不同，即對生成網絡生成的圖像進行不同比例的下采樣，并將獲得的不同分辨率的結果圖像分別作為各個判別器的輸入，整個判別網絡的判別結果為各個判別器結果的加權和，將該結果傳回生成網絡以引導優化生成網絡。

如圖3所示，本文使用的多尺度判別網絡[20]為2個并行的判別器。判別器D1包含7個卷積層，內核大小為(3,3)，全連接層大小為1 024，最后使用Sigmoid激活函數。圖3中2個判別器的結構完全一致，生成網絡生成的去雨圖像直接輸入D1，對生成網絡的輸出結果進行2倍下采樣，所得結果輸入D2，將D1和D2的判別結果分別加權，判別網絡的最終結果為加權后的總和，以該最終 結果引導優化生成網絡。因此，多尺度判別器可從不同分辨率的輸入圖像角度由粗到細逐漸優化網絡，以生成更清晰的圖像。

《詩·小雅·正月》：“載輸爾載，將伯助予！ ”《傳》：“將，請；伯，長也。”意謂車欲墮而請長者幫助。后用作求助或受助的意思。《聊齋志異·連瑣》：“將伯之助，義不敢忘。 ”〔2〕132

Figure 3 Structure of multi-scale discriminator 圖3 多尺度判別器結構圖

2.4 損失

本文方法中包含多尺度損失和感知損失[21]。多尺度損失通過比較不同解碼器層提取的特征以及真實圖像對應特征之間的差異，獲取廣泛的上下文信息，如式(3)所示：

(3)

其中，LM(,)表示多尺度損失，M是所選取解碼器層的個數;LMSE(,)表示均方誤差;Si表示從解碼器層中提取的第i個輸出特征;{S}表示從選取的不同解碼器層中提取的特征集合;{Ti}表示與{Si}具有相同尺度的真實特征;{T}表示對應各解碼器層相同尺度的真實特征集合;λi是不同尺度的權重。感知損失可測量自動編碼器輸出的特征與相應的清晰圖像之間的總體差異。這些功能可從受過訓練的CNN中提取。VGG是預訓練的CNN模型，可生成給定輸入圖像的特征，如式(4)所示：

LP(O,T)=LMSE(VGG(O),VGG(T))

(4)

本文生成網絡的損失如式(5)所示：

LG=10-2LGAN(O)+LATT({A},M)+

LM({S},{T})+LP(O,T)

(5)

其中，A是注意-循環網絡生成的注意力圖，{A}是注意力圖的集合。LATT表示注意力損失。M表示二值掩碼。LGAN(O)=log(1-D(O)),O=g(I)。D(O)是判別網絡生成的判別概率，I是生成對抗網絡的輸入噪聲。O是自動編碼器的輸出圖像或者整個生成網絡的輸出圖像。

3 實驗和結果分析

3.1 數據

去雨實驗過程中，所拍攝的有雨圖像和清晰圖像必須為同一個背景，雨滴區域所對應的背景需完全一致。為了使實驗結果更加有效，數據集中有一個訓練集和一個測試集，其中，訓練集包含3 600幅有雨圖像和3 600幅清晰圖像，測試集包含清晰圖像和附有雨滴圖像各425幅。各參數分別設置如下：學習率為0.000 2，批量大小為1。

3.2 評價指標

本文采用PSNR和SSIM評價指標。PSRN的計算公式如式(6)所示：

(6)

(7)

其中，MSE是當前圖像X和參考圖像Y的均方誤差；H和W分別是圖像的高和寬；n是每個像素的比特數，通常取8，即像素的灰度為256。PSNR是基于誤差敏感性的圖像質量評估指標，值越大效果越好。

SSIM分別比較了圖像之間的亮度、對比度和結構,其計算公式如式(8)所示：

綜上所述，醫護人員需要密切關注氣管插管患者的病情，給與科學合理精心的護理，注意基礎護理、氣管插管之后的濕化，感染的預防，以及各種并發癥的護理等等。同時需要關注患者的飲食，根據患者情況給與鼻飼、喂養和自理等，一切依照不同患者的情況選擇不同的方案。應該遵循從流食到普食的原則。患者的心理狀態作為新時代的醫護人員液應關注，加強同患者的溝通，對于患者和親屬可給與一定適度的相關知識教育，對于其疑問應耐心科學的解答以及建立隨訪制度。如此多方面綜合的給與患者關懷，減輕患者痛苦，減輕家庭社會負擔，提高其生存率以及生存質量。

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)

(8)

(9)

SSIM是完全參考的圖像質量評估指標，取值為[0,1]，該值越大表示失真越小。

3.3 實驗結果

(1)定量評估。將本文方法與其他現有方法(Eigen[22]、F-SGAN[15]、IPM CA(Integrating Physics Model and Conditional Adversarial)[23]、Att GAN(Attentive Generative Adversarial Network)[16]、Pix2Pix[24])在不同數據集上進行了比較。表1給出了定量結果。表1中的值有效，可看出本文所提方法在雨滴、雨線(稀疏)和雨線(稠密)3個數據集上的評價指標值均表現出優勢。其中針對雨滴數據集，網絡結構中單獨加入自注意層時，PSNR值為30.84 dB；單獨加入多尺度判別器時，PSNR值為31.02 dB。而原網絡測試結果的PSNR值為31.57 dB，即網絡中單獨加入自注意層Att+SA或多尺度判別器Att+MS時，PSNR值沒有提升。這表明本文的方法可以產生更清晰的圖像結果，在圖像的像素點、亮度、對比度和結構方面都有優勢。

Table 1 Quantitative results of different methods表1 定量評估結果

Figure 4 Rain removal results of different methods圖4 不同方法的去雨結果

Figure 5 Rain removal results of the method proposed in this paper圖5 本文方法的去雨結果

(2)定性評估。如圖4所示，在雨滴、雨線(稀疏)和雨線(稠密)3個數據集上,與Att GAN[16]、F-SGAN[15]、IPM CA[23]和Pix2Pix[24]相比，自注意多尺度生成對抗網絡去除雨滴獲得的圖像分辨率更高、更有效。如圖5所示為自對比實驗結果，包含只引入多尺度判別器(Att+MS)、只添加自注意層(Att+SA)和本文方法。結果表明，本文方法所生成的去雨圖像的顏色和對比度等方面更接近真實的圖像，圖像更清晰。

如圖6所示為損失值結果的自對比圖，可以看出，最下方黑色折線(本文方法)的損失值收斂效果更好，損失值更低，更趨近于0。

Figure 6 Self-contrast chart of loss value圖6 損失值自對比圖

4 結束語

本文提出了一種基于自注意多尺度生成對抗網絡的圖像去雨方法。該方法基礎框架為注意力生成對抗網絡，其中生成網絡由注意-循環網絡和自動編碼器組成。本文在自編碼器的卷積層后添加了自注意層，以彌補注意-循環網絡對圖像全局信息的關注不足。判別網絡引入多尺度判別器，即2個并行判別器，使用生成網絡的2倍下采樣結果和原始輸出結果作為2個判別器的輸入，從而產生更清晰的圖像。相比之下，本文方法效果更好。