基于多級聯遞進卷積結構的圖像去雨算法

張勇， 郭杰龍， 汪帆， 蘭海， 俞輝， 魏憲

（1.福州大學 電氣工程與自動化學院， 福建 福州 350108；2.中國科學院 福建物質結構研究所， 福建 福州 350108）

1 引言

隨著人工智能與深度學習的研究與發展，計算機視覺技術［1］已被廣泛應用于自動駕駛、全息投影［2］、計算光學成像［3］等各個領域，對于圖像的處理技術也提出了更高的要求。室外采集的雨天圖像會對計算機視覺任務造成不可控的惡劣影響，如準確率降低、精度下降、網絡無法收斂等。因此，將采集到的雨天圖像進行恢復，去除雨痕得到干凈的無雨圖像是相當有意義的。

現有的去雨方法往往只考慮到淺層單一尺度的雨圖特征，并未深入挖掘全局特征圖所包含的多尺度與精細化特征。本文提出了一種多級聯遞進卷積結構，可以將原有卷積核提取到的特征圖進行多層次分塊特征提取后聯合重組，分階段多次地提取特征信息，將原有特征進行深層分離再提取后送入激活層。相比于普通卷積，該卷積結構能夠在少量增加參數量的情況下有效地擴大卷積層的感受野，提升對圖像細節特征提取能力與全局特征分析能力。具體體現在雨圖中，則能夠更細致地捕捉到不同大小形狀的雨痕或雨紋，對其進行剔除且能有效地保留原無雨圖片的背景細節。

此外，該結構可以通過合理地調整通道數達到降低網絡參數量的目的，縮短了學習時間與學習成本，使網絡更加輕量化，可以便攜搭載到各種車載圖像處理設備中，有廣泛的應用前景。本文構建的去雨網絡模型在常用的主流雨天數據集與實驗室自建的自動駕駛雨天數據集中進行定量和定性的評估，實驗結果表明，本文算法的性能均優于現有方法。

2 研究現狀

2.1 單幅圖像去雨

在2017年以前，去雨網絡的研究主要集中在基于模型分析的方法［4］，這些方法主要是在雨圖模型上進行的數學解析與重構，區分出雨紋圖和無雨背景，達到去雨目的。在該領域研究中，最早由Kang等人［5］提出了一種圖像分解的方法，通過對雨圖低頻/高頻分量的分解來去除雨痕。隨后，文獻［6］構造了基于稀疏編碼的方法，通過用稀疏編碼判別式將雨層和無雨層分離。Li等人［7］提出了基于先驗的高斯混合模型，通過結合先驗知識更加有效地去除雨條紋。但基于模型分析的傳統去雨方法取得的去雨效果普遍較差，因此在2017年后，基于數據驅動（深度學習）的單幅圖像去雨的研究［4］受到了更多的關注。典型的方法包括深度卷積網絡、生成對抗網絡及半監督/無監督的方法。在深度卷積網絡方法中，文獻［8］搭建了一種多任務卷積網絡架構學習得到二進制的雨圖和干凈的背景來去除雨紋。Li等人［9］提出了一種采用擴張卷積神經的循環神經網絡，將去雨分為多個階段達到逐漸去除雨痕的效果。Ren等人［10］采用反復循環展開淺層Resnet網絡及階段性逐步處理輸入和輸出結果來取得良好的去雨效果。Wang等人［11］提出了一種內建多尺度連接塊，將其跳躍連接，以此增強網絡的特征提取能力來增強去雨能力。在生成對抗網絡的方法中，文獻［12］提出了通過多尺度的鑒別器應用于對抗生成網絡來降低去雨天圖像與真實無雨圖像間的差異。在自監督/無監督的去雨方法中，Wei等人［13］最早用半監督學習范式將輸入雨天圖像與預期無雨圖像之間的差異轉化為特定的參數化雨條紋，再將其去除達到去雨目的。Jin等人［14］率先提出了一種無監督去雨網絡，從未配對的雨天和干凈圖像中引入自監督約束項來取得去雨效果。

2.2 雨圖構成

雨圖的解構方法主要包括線性疊加模型［7］與復合雨圖模型兩大類。復合雨圖模型包括非線性復合雨紋模型［6］、大雨天氣模型［8］、周遭環境融合雨圖模型［15］、景深雨圖模型［16］等。復合雨圖模型雖可以對復雜情境下的雨圖進行建模，但存在分析困難、參數復雜的缺點，故不常運用在去雨任務中。本文采用簡單有效的線性疊加模型，該模型可以表示為：

其中：O為雨圖，B為干凈的無雨背景圖，S為雨痕圖。該建模假設圖像的雨痕條紋只是簡單疊加于干凈的無雨背景圖上，忽略較大的雨痕、雨滴在背景圖上形成的雨霧積累效應。

2.3 多尺度空間

同一圖像不同的分辨率大小、不同的圖像細節層次、不同的尺度縮放、不同卷積層級下的特征圖都屬于多尺度空間的范疇。在多尺度空間下提取的特征包含更加豐富的視覺信息，所能獲取到的信息量更多。現今，多尺度特征提取研究方法包含3類，一種是基于網絡整體結構的層間特征信息整合方法，相關的研究文獻［17-20］基于此方法，通過不同類型的卷積層間連接方式來增加網絡特征提取層的多尺度信息提取與整合能力。另一種是基于卷積結構上的創新與改進方法，文獻［21-25］通過構建出一個新穎的卷積核模塊，擴展原本普通特征提取層的卷積感受野，來取得一定的多尺度信息提取效果。文獻［26-27］則是綜合了上述兩種方法，同時對提取層結構與網絡層間連接方式進行改進，取得了一定的效果。

3 多級聯遞進卷積結構的去雨網絡

3.1 多級聯遞進卷積結構算子

為了有效提取并利用特征圖中的多尺度信息，本文提出了一種多級聯遞進卷積結構，即通過一種將通道分離后再進行階梯化卷積并拼接的操作，利用該操作來優化原本的全通道卷積運算，挖掘出特征圖的深層次特征信息并在不同的通道中構筑信息聯系。相比于普通的單層卷積方式，該結構有效地擴大了感受野范圍，增加了多尺度特征信息的提取能力。另外，我們還進一步提出了模型的輕量化改進方法，可以在保證去雨能力的同時，有效解決多尺度研究中存在的參數冗余與模型過大的缺點。

針對具體去雨任務，雨點、雨線所體現出的形態特征通常是離散分布于圖片的多個區域且形狀大小均不一致的狀態，此類分布狀態就是一種多尺度的特征分布場景。普通的卷積層對于此種特征的捕捉能力相當有限，一般的去雨網絡對該雨紋、雨痕的特征學習能力較差。因此，本文在去雨網絡中引入多級聯遞進卷積結構，如圖1所示。它可以深入挖掘特征圖的細節信息，將多尺度空間所包含的特征信息通過多分支結構分離提取再重組，從而細化每一分支提取細節特征的能力并加強通道間的特征信息融合能力，最后輸出完備的多尺度全局特征。正是通過多層次多尺度的細粒度特征提取，使我們能更為有效地捕捉到復雜雨痕特征，再將不同尺度下的雨紋特征融合提取，送入網絡中學習訓練，最終訓練得到了強泛化能力的去雨網絡。

圖1 多級聯遞進卷積結構Fig.1 Multi-cascade progressive convolution structure

在實際的特征提取過程中，定義輸入的圖片為X，首層升維卷積計算操作記為fupgrad。先通過一層1×1卷積將通道數由C擴張成2C，進行特征圖的維度增廣。該過程不改變原有特征圖的寬與高，僅對特征圖進行升維操作。通過升維計算可以得到升維后的全局特征圖X1。

之后通過四層階梯型卷積結構，每層大小均為3×3的卷積核，通道數依次減半，逐層遞減，由上至下卷積計算記為fi，(i=1，2，3，4)，輸入為Xi，輸出為Yi，可以得到Yi=fi(Xi)。隨后將得到的Yi進行concat拼接操作，再通過一層1×1卷積進行特征信息整合，輸出深層次細粒度特征提取后的特征圖Y，最終得到這一次特征提取的綜合結果。公式如式（2）所示：

在去雨網絡中，僅使用單個多級聯遞進卷積結構算子的特征分析能力較為有限，需要多層級串聯后，嵌入去雨骨干網絡當中，達到提升去雨效果的目的，同時為了減輕網絡加深帶來的網絡退化效果，該算子在實際應用時，需要引入殘差連接來減輕網絡退化帶來的性能減弱。

此外，該算子的第一層1×1卷積核為通道數升維操作，是為了擴大基礎特征圖所包含的可學習特征信息，以便能更好地進行特征融合提取。若不進行升維操作，會略微降低原有網絡效果，但卻能大幅減少原網絡中可學習的參數量，實現網絡輕量化的目的，方便搭載于各種簡易智能平臺。輕量化結構改進示意圖如圖2所示。

圖2 參數輕量化的多級聯遞進卷積結構Fig.2 Multi-cascade progressive convolution structure with lightweight parameters

3.2 漸進循環網絡結構

一般的網絡結構的搭建常采用多模塊堆疊構成。本文采用的網絡結構不同于普通堆疊，而是一個主體多次循環的層次化遞進循環網絡結構。該網絡結構由4部分構成：首先該網絡的輸入由雨圖X與階段性去雨結果Y的張量化拼接構成，第一層網絡為輸入層fin，包含一層卷積核大小為3×3的卷積層與一層ReLU激活層；第二層網絡為長短期記憶（Long short-term memory，LSTM）［28］網絡層fre，該層用于解決網絡多次循環帶來的長時依賴問題，能夠有效地記憶輸入層fin獲取到的特征圖信息；第三層網絡為多級聯遞進卷積結構模塊fm，該模塊包括5個串行連接的多級聯遞進卷積結構算子，結構內通過殘差跳躍連接的方式來減少網絡加深帶來的退化效果；最后一層為輸出層fout，包含一層卷積核大小為3×3的卷積層，用于最后的圖片還原輸出，得到去雨后的圖像。我們將第t次循環階段記為St，則第t次循環可以表示為：

該網絡由如圖3所示的主體網絡結構共循環6次得到，循環次數可以適當增加或減少。本文將在5.4節中給出相應的實驗與測試，以此證明在循環次數達到6次時，去雨網絡性能最優。基于多級聯遞進卷積結構的去雨網絡最終全局示意圖如圖4所示。

圖3 漸進循環圖像去雨網絡結構示意圖Fig.3 Schematic diagram of progressive cycle image deraining network structure

圖4 基于多級聯遞進卷積結構的去雨網絡Fig.4 Rain removal network based on multi-cascade progressive convolution structure

4 實驗工作

4.1 實驗環境及數據集

為保證實驗效果，所進行的實驗均為統一的實驗環境，實驗硬件環境與軟件環境如表1與表2所示。實驗的網絡參數配置為：學習率初始預置為0.000 5；訓練迭代次數為100；學習率分別在30、50、80次迭代時衰減學習率，衰減率γ=0.2。網絡優化工具為適應性矩陣估計算法（Adaptive moment estimation， Adam）。在數據處理方法上，我們將完整圖片裁剪為若干個100×100的補丁塊再送入網絡中進行運算，以提高網絡訓練效率。

表1 實驗硬件環境Tab.1 Experimental hardware environment

表2 實驗軟件環境Tab.2 Experimental software environment

4.2 評價指標與網絡損失函數

本文評價指標是圖像去噪領域常采用的結構相似度（Structural similarity， SSIM）［29］與峰值信噪比（Peak signal-to-noise ratio， PSNR）兩個指標，通過這兩項評價指標可以有效地比較去雨圖像與真實圖像之間的差異大小并量化表示出來。

訓練網絡所使用的損失函數為負結構相似度(-SSIM)，通過最小化損失函數來優化網絡參數，使去雨網絡的泛化能力達到最優。損失函數可以表示為：

其中：Ig代表去雨圖像，Igt表示真實無雨圖像，μ為均值，σ為方差，c為常量。

4.3 人工合成雨圖數據集

受限于雨天數據集的獲取較為困難，目前廣泛采用人工合成的雨天圖像數據集。為了測試所提出方法的有效性，我們在人工合成雨圖數據集上進行了廣泛的訓練與測試，并與其他算法的去雨效果進行評價指標與可視化結果的直觀對比。實驗所采用的數據集是Rain100H［8］、Rain100L［8］、Rain800［12］、BDD1000［30］數據集。其中Rain100H為人工合成大雨天氣數據集，采用了5種不同方向的復雜雨紋進行合成，包括1 800張訓練數據集與100張測試集。Rain100L為人工合成小雨天氣數據集，雨紋圖樣較為簡單，僅包含單一方向的雨紋圖樣，包括200張訓練集與100張測試集。Rain800數據集包含了大雨與小雨兩種天氣狀況，雨痕樣式較為復雜多樣，該數據集包含700張訓練集與100張測試集。BDD1000為實驗室自建自動駕駛領域合成雨圖數據集，從BDD100K自動駕駛數據集中選取了1 000張圖片合成而成，其中包含900張訓練集與100張測試集。BDD1000數據集主要用于驗證本文算法在自動駕駛等實際應用場景下的雨天圖像恢復能力，不同于前述3個數據集，該數據集有著更強的應用指向性和探索性，對于今后的圖像去雨任務應用研究有一定的開創性與啟發性。

5 實驗結果與分析

5.1 人工合成雨圖數據集

對比實驗選取了以下6種先進去雨方法：

（1） GMM［7］：基于傳統模型分析的方法提出的一種包含背景層與無雨層先驗信息的高斯混合模型以適應不同尺度的雨痕，更好地分離出雨紋遮擋與背景圖像。

（2） DDN［31］：基于殘差網絡提出的一種深度細節網絡，通過聚焦高頻細節來使用先驗圖像知識，從而消除背景的干擾，更好地去除圖像中的雨點雨線。

（3） RESCAN［9］：采用擴張卷積獲取更大的感受野，并將去雨任務劃分為多階段來去除。

（4） DCSFN［11］：提出了一種內建多尺度連接塊，將其跳躍連接以增強不同尺度間的內部特征聯系，提高去雨效果。

（5） PreNet［10］：提出了一個多階段的基線去雨模型，通過將每一階段的去雨輸出圖像與原始圖像拼接作為輸入，經過多次循環階段性去雨。

（6） AID-DWT［32］：通過在小波空間中施加對抗損失來探索雨圖與真實圖像相關性的半監督去雨方法。

方法1是基于傳統模型分析方法，其余均為基于深度卷積神經網絡方法，用于對兩類去雨方法取得的整體效果進行直觀對比，最終實驗結果如表3所示?？梢暬Y果如圖5所示。

表3 人工合成雨天圖像數據集實驗結果Tab.3 Experimental results of artificially synthesized rainy image dataset

圖5 人工合成雨天圖像數據集去雨實驗可視化結果Fig.5 Visualization results of artificially synthesized rainy day image dataset for rain removal experiment

從表3實驗結果可以看出，本文采用的方法僅在Rain100L數據集的SSIM指標上略低于RESCAN，其他均取得最優性能。在僅包含單一雨紋圖樣、去雨難度較低的Rain100L數據集上，PSNR達到了37.91 dB；在包含5種雨紋圖樣、去雨難度較高的Rain100H數據集上，PSNR達到了30.70 dB；在雨紋特征較為復雜的Rain800數據集上，PSNR仍能達到27.63 dB?？傮w來看，本文算法在Rain100H數據集上的優勢最為明顯，相比于GMM方法，PSNR與SSIM指標提升了16.44 dB與0.373，表明采用基于傳統模型分析方法的GMM方法已經無法處理包含多種雨紋的復雜雨圖。而相比于采用基于深度卷積網絡的DDN、RESCAN、DCSFN、PreNet、AID-DWT方法，本文方法的PSNR分別提升了8.44，4.1，3.17，1.25，0.85 dB。實驗結果表明，本文的去雨算法在深度卷積神經網絡方法中表現優異，在3個數據集上均有較好的完成度和精確度，去雨性能優越。

從圖5的可視化結果來看，基于傳統圖像處理方式的去雨方法GMM并不能有效地去除較為復雜的雨紋，尤其是包含不同方向的大雨條紋圖樣，基本沒有完成去雨任務。而基于深度卷積神經網絡的方法都能較好地完成去雨任務。DDN方法雖然去除了雨紋圖樣，但還原出來的無雨圖像較為模糊，有多處不清晰的斑塊。RESCAN方法還原的去雨圖像仍有較大的模糊化斑塊，未能很好地保留住真實圖像的原有細節。DCSFN方法的去雨效果尚可，去雨圖像已經能夠還原出接近原始圖像的無雨圖效果，但是從圖片的局部放大展示上可以看到，該方法對于細節的還原上欠佳，會將原本圖像中的部分偏白色類雨細節當作實際雨紋進行去除，造成細節失真。PreNet方法也能取得不錯的去雨效果，但存在細節還原不夠到位的缺陷，會產生小范圍的圖像噪斑。AIDDWT方法存在的問題則是在還原圖像時，細節過平滑，導致圖像局部模糊化。本文方法注重于考慮雨天圖像多尺度下的細粒度特征信息，深入學習與整合不同尺度的雨紋特征，不僅很好地分離并去除了雨紋，還能夠有效地保留原始圖片中的絕大部分細節，使之足夠逼近于真實的原始圖像，進一步證明了本文方法的優越性與可靠性。

5.2 自動駕駛合成雨天數據集實驗結果及分析

除了人工合成雨天圖像數據集之外，為了驗證在自動駕駛領域實際應用場景下的圖像去雨能力，我們在BDD1000數據集上進行實驗。

從表4的實驗結果可以看到，本文方法在該數據集上仍能取得很好的效果。本文方法的PSNR分別比GMM、RESCAN、DCSFN、AID-DWT、PreNet的PSNR高出11.41，5.06，4.3，2.66，0.67 dB。在SSIM指標上，除了基于傳統的GMM以外，其他4種基于神經網絡的去雨方法的性能指標均較為接近，但本文方法的SSIM值仍為最大值。

表4 自動駕駛領域合成雨天圖像數據集實驗結果Tab.4 Experimental results of synthetic rainy image datasets in the field of autonomous driving

從圖6的自動駕駛方向合成雨圖數據集的可視化結果可以較為明顯地看出，GMM方法僅減弱了雨痕圖樣，但并未對其進行有效去除，未達到去除雨痕的目的。RESCAN方法可以去除較大范圍的雨紋圖樣但恢復出的去雨圖像含有大范圍模糊化團塊，且仍會留下雨痕，去雨精度不高。DCSFN與AID-DWT方法性能接近，都可以達到一定的去除雨紋的效果，但無法細致地去除微小雨痕，呈現在圖像上的仍然是大小不一致的淺白色雨霧塊。PreNet方法取得了良好的效果，但在還原后的圖片上會存在小部分細節失真的情況，且圖片部分明暗程度還原效果不佳。本文方法取得的最終效果相比前述方法，由于運用了多級聯遞進卷積結構，可以更加精準地識別不同大小的雨紋、雨痕、雨霧，使得還原出的無雨圖像更加真實。尤其在自動駕駛圖像這類對采集圖片準確性與圖片真實性要求較為嚴苛的場景，本文方法仍有顯著的效果。

圖6 自動駕駛領域合成雨天圖像數據集去雨實驗可視化結果Fig.6 Visualization results of rain removal experiments on synthetic rainy image datasets in the field of autonomous driving

5.3 真實雨天的圖像去雨效果展示

除了上述展示的合成雨圖可視化結果，為了驗證在真實雨天圖像中的去雨效果，我們將本文方法在Rain100H數據集上進行訓練并保存參數，隨后在部分真實雨天圖像中進行去雨的實際性能測試，最終得到了如圖7所示的真實雨天圖像去雨可視化結果。但由于真實雨天圖像不存在標簽圖像的對照，我們采用無參考圖像評價指標——自然圖像質量評估［33］（Natural Image Quality Evaluator，NIQE）對真實雨圖的去雨效果做出評分，該值大小為0～100，數值越小代表圖像質量越好。

圖7 真實雨天圖像去雨可視化結果Fig.7 Real rainy image derained visualization results

從圖7的可視化結果可以看出，本文方法在真實雨圖數據上能夠有效地完成去雨任務，并在很大程度上保證了圖像細節紋理不存在失真的情況。而其他去雨方法或多或少地存在去雨任務完成度欠佳、圖像細節失真、去雨圖像紋理過平滑、圖像成像模糊等缺陷。而從表5的真實圖像的NIQE評分結果可以看出，本文方法在3種真實雨圖下的評分值均為最小，表明圖像質量最好，優于其他去雨方法，也印證了本文算法去雨性能的有效性與優越性。

表5 真實雨天圖像的NIQE評估Tab.5 NIQE evaluation on real rainy images

5.4 網絡循環次數消融實驗及分析

在如圖4所示的網絡結構當中，可以看到存在一個循環結構，該結構用于實現階段性去雨效果。為了驗證多次循環對網絡泛化能力的實際影響，令網絡循環次數為t，分別選取t值為1～8時，在Rain100H、Rain100L、Rain800數據集上訓練并測試，最終得到了多組PSNR指標與SSIM指標數據，并繪制出了相應的折線圖，如圖8和圖9所示。由折線圖可知，當t≤5時，本文算法在PSNR指標與SSIM指標呈上升趨勢，但并未達到最優性能，仍有性能提升空間。當t=6時，兩項指標達到最大值，且在后續繼續增大t值時，兩項指標并無明顯提升。循環次數的增加相當于增大了網絡模型的復雜度，導致網絡加深，而訓練集中的樣本數恒定，這會使網絡訓練過程中產生過擬合現象，出現網絡退化，進而造成測試集上的數據指標偏低。因此，為了保證實際去雨任務的效果，綜合實驗結果，選取網絡循環次數t=6時最為妥當。

圖8 網絡不同循環次數實驗結果（PSNR指標）折線圖Fig.8 Line chart of the experimental results （PSNR index）of different cycle times of the network

圖9 網絡不同循環次數實驗結果（SSIM指標）折線圖Fig.9 Line chart of the experimental results （SSIM index）of different cycle times of the network

5.5 算子串聯層級數量消融實驗及分析

為了探究采用不同多級聯遞進卷積結構的串聯層數對網絡實際效果產生的影響，我們構造了不同串聯層級數量的算子，在同等環境下進行實驗并與只采用普通卷積結構的基準方法對比。結構改變示意如圖10所示，其中結構A為本文默認的四層級結構，結構B為減少2層串聯層數的二層級結構，結構C為三層級結構，結構D為增加一級串聯層數的五層級結構。消融實驗結果如表6所示。

表6 不同結構分支數的消融實驗結果Tab.6 Ablation experiment results of different number of structural branches

圖10 消融實驗結構示意圖Fig.10 Schematic diagram of ablation experiment structures

從算子串聯層級數量的消融實驗結果可以看出，4種結構的實驗效果均優于基準方法，證明了本文算子對于去雨任務的有效提升，但不同的串聯層數對算子的實際效果會產生一定的影響。采用結構B與結構C的相關實驗數據表明，較少的串聯層數會影響算子的多尺度特征捕捉能力，進而影響網絡的泛化能力。在算子結構當中，每一層的串聯卷積都作用于不同的通道數下，因此卷積核在不同層級所學習到的雨紋特征是存在差異的，深層次卷積學習到的雨紋特征是細粒度的，淺層次卷積則無法學習到此種特征。因此減少層數會降低算子的深層雨紋特征提取能力，體現在實驗數據上就是相較于結構A的PSNR和SSIM兩項指標都較低，去雨任務完成度欠佳。但過多的層數也并不會為算子帶來巨量的性能提升，結構D的相關實驗數據也說明了此點。在增加一層卷積串聯層數后，雖然理論上會進一步提升算子的深層特征捕捉能力，但在實際的去雨任務當中，這種操作會增加算法的復雜程度，且由于訓練集樣本數量較少，會使得網絡訓練過擬合，從而造成測試集的指標下降。同時，由于串聯層數的增加，深層卷積核特征通道數存在逐級遞減的特性，層數越多則卷積核輸入通道數就越少，深層卷積核所接收學習到的雨紋特征也就較為有限，會產生卷積核冗余，不會為算子帶來更好的雨紋特征捕捉能力。

綜上所述，若采用二層級與三層級結構，算子的多尺度特征捕捉能力未被完全發掘，仍有些許提升空間。而進一步增加串聯層數，會使得深層卷積核冗余，在實際訓練中的學習能力較為有限，且多層級結構也會導致算法過于復雜，存在訓練過擬合風險，造成性能下降。因此，采用四層級結構不僅可以完全發揮出算子的多尺度雨紋特征捕捉能力，還可以保證算法復雜度適中，不存在過擬合風險，能夠最大程度地保證去雨效果，使恢復出的無雨圖像更加清晰真實。

5.6 輕量化結構模型實驗效果及分析

將圖4中的多級聯遞進卷積結構替換為普通卷積稱為基準方法，替換為如圖2所示的參數輕量化的多級聯遞進卷積結構稱為輕量化改進的方法，在常用人工合成雨圖數據集上進行實驗并對比，實驗結果數據如表7所示。在進行了參數輕量化的結構改進后，相比于采用圖1所示的原結構方法，在3個數據集上取得的PSNR和SSIM兩項指標結果有所下降，但相比于基準方法，在Rain100H、Rain100L、Rain800數據集的PSNR指標仍保持了0.45，0.38，0.45 dB的提升。這證明改進后的輕量化結構對于基準方法來說會有小幅度提升，仍能保證網絡的泛化能力及雨圖恢復效果。在如表8所示的參數量與算法復雜度數據對比中，輕量化改進的方法相比于原基準方法，網絡參數量降低了17.9%。在算法復雜度上，我們通過浮點運算數（Floating point operations， FLOPs）來衡量效果，改進后的方法相較于基準方法，浮點運算數下降了0.3 GFLOPs，降幅為17.75%。綜上所述，輕量化改進后的模型有效壓縮了網絡參數，不僅保證了去雨效果，還擁有更少的參數與更低的算法復雜度，這也意味著模型更小、計算量更少，在實際的網絡部署中，網絡模型的空間需求就更少，有著更好的可應用前景。

表7 輕量化結構模型實驗效果Tab.7 Lightweight structure model experimental results

表8 輕量化結構模型參數量與算法復雜度Tab.8 Lightweight structure model parameter quantity and algorithm complexity

6 結論

針對雨天圖像中雨紋多尺度場景下去雨效果欠佳的情況，本文提出了一種多級聯遞進卷積結構，將其構建成一個整體的模塊化算子，通過該算子強化對圖像中來自不同方向、不同大小的雨紋細節捕捉能力，加強特征通道信息間的聯系，最終構筑出完備的全局特征信息圖，以此有效擴大網絡特征提取層的感受野的范圍。將該算子殘差化連接后內嵌到漸進循環去雨網絡結構中，通過多次循環，分階段層次化地提取雨紋特征并對其進行去除，逐步達到恢復出真實無雨圖像的目的。本文提出的多級聯遞進卷積結構與輕量化改進結構分別在常用雨天數據集與自動駕駛方向雨天數據集進行訓練與測試，并通過量化指標與可視化結果的觀察與評判。本文算法的測試集PSNR值分別達到了30.70，37.91，27.63，35.74 dB，SSIM值分別達到了0.914，0.980，0.894，0.977，綜合指標結果均優于現有方法。同時，在可視化結果與真實去雨效果展示中，人體視覺感受與NIQE的評估結果也證明了本文結構改進對圖像去雨任務的有效性。但本文針對輕量化改進結構的實驗與研究以及自動駕駛領域數據集的擴展性探索還需要完善，因此在后續的工作中，可將輕量化去雨算法在實際場景中的應用及部署可行性探究作為本文未來的研究方向。