基于深度殘差網(wǎng)絡(luò)的圖像去雨霧算法研究

臧景峰 安彥霖

摘要：目前視頻去雨霧技術(shù)只在去霧或去雨、去模糊、圖像配準(zhǔn)等某一個(gè)特定任務(wù)中表現(xiàn)很好，具有一定的局限性。而卷積神經(jīng)網(wǎng)絡(luò)的堆疊和利用可以同時(shí)實(shí)現(xiàn)視頻圖像增強(qiáng)所需的多種功能。本文基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)含有雨霧的視頻圖像進(jìn)行處理，采用深度殘差網(wǎng)絡(luò)實(shí)現(xiàn)視頻圖像去雨霧。本文靈活運(yùn)用深度學(xué)習(xí)，得到了一種優(yōu)化的視頻去霧雨算法，具有重要的研究意義和實(shí)用價(jià)值。

關(guān)鍵詞：圖像增強(qiáng);圖像去霧雨;深度學(xué)習(xí);深度殘差網(wǎng)絡(luò)

引言

近年來(lái)，視頻圖像成了人們獲取信息的必要途徑。霧、雨、雪等惡劣天氣為圖片帶來(lái)的噪聲和污染，常常會(huì)導(dǎo)致后續(xù)的分類和識(shí)別不準(zhǔn)等影響，因此圖像去雨霧的研究對(duì)于需要在惡劣天氣下進(jìn)行圖像處理的具有極大的應(yīng)用價(jià)值。現(xiàn)有的方法有實(shí)時(shí)性低、處理過(guò)程計(jì)算量大的缺點(diǎn)。本文在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了一種基于深度殘差學(xué)習(xí)的視頻去雨霧網(wǎng)絡(luò)，對(duì)圖像去霧去雨研究具有重要意義。

1 深度學(xué)習(xí)基礎(chǔ)

1.1深度殘差網(wǎng)絡(luò)原理

深度殘差網(wǎng)絡(luò)采用跳躍連接的方式，直接將輸入信息繞道傳到輸出，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的部分，簡(jiǎn)化學(xué)習(xí)目標(biāo)和難度，解決了由于網(wǎng)絡(luò)層數(shù)加深產(chǎn)生的梯度消失和爆炸的問(wèn)題。

假設(shè)網(wǎng)絡(luò)輸入X，希望輸出H（X），那么網(wǎng)絡(luò)就只需要學(xué)習(xí)輸出一個(gè)殘差F（X）。令殘差函數(shù)F（x）=H（x）-x，則原函數(shù)變?yōu)镕（x）+x，于是直接在原網(wǎng)絡(luò)的基礎(chǔ)上加上一個(gè)跨層連接，這里的跨層連接也很簡(jiǎn)單，就是將X恒等映射（Identity Mapping）傳遞過(guò)去。

1.2 注意力機(jī)制與深度學(xué)習(xí)

注意力機(jī)制指神經(jīng)網(wǎng)絡(luò)具有將注意力集中于所需要的特征的能力。計(jì)算能力是深度神經(jīng)網(wǎng)絡(luò)發(fā)展的瓶頸，引入注意力機(jī)制，可以有效的減少運(yùn)用的運(yùn)算資源。

本文將注意力機(jī)制加入深度殘差網(wǎng)絡(luò)，形成了殘差注意力模塊，更好的提取所需要的特征，并通過(guò)殘差學(xué)習(xí)的方式將噪聲與干凈的背景圖分離，從而得到清晰的圖片。

2 深度殘差去雨霧算法

2.1 深度殘差去雨霧網(wǎng)絡(luò)模型

本文選擇動(dòng)態(tài)場(chǎng)景采集的視頻圖像，經(jīng)過(guò)特征提取器，提取我們所關(guān)注的雨、霧特征并進(jìn)行去除。本文提供了訓(xùn)練本網(wǎng)絡(luò)所用的數(shù)據(jù)集和網(wǎng)絡(luò)的性能測(cè)試方案。

2.2 特征提取模塊

輸入的特征圖先經(jīng)過(guò)卷積層、批歸一化層、帶有激活函數(shù)為Relu的卷積層，構(gòu)造了9個(gè)殘差注意力聚集模塊（Res-ABlock）通過(guò)堆疊的方式，進(jìn)行高維特征的提取和變換，既能夠提取更豐富的高維特征，又通過(guò)引入注意力模塊避免了殘差聚集網(wǎng)堆疊而造成的計(jì)算效率低。

2.3 殘差注意力模塊（Res-ABlock）

注意力模塊通常是在通道和空間兩個(gè)維度上進(jìn)行建立。與通道注意力機(jī)制不同的是，空間注意力機(jī)制是基于每一個(gè)特征圖的空間像素值的相關(guān)性程度不同而建立的。利用特征的內(nèi)在相關(guān)性，讓網(wǎng)絡(luò)集中于關(guān)鍵特征的位置。

3 實(shí)驗(yàn)方法及結(jié)論分析

3.1 數(shù)據(jù)集選擇

選擇合適的數(shù)據(jù)集，可以在測(cè)試性能過(guò)程中得到更具說(shuō)服力的結(jié)果。將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集兩部分，訓(xùn)練集用于網(wǎng)絡(luò)學(xué)習(xí)獲得提取和去除雨霧特征的性能，測(cè)試集用于測(cè)試網(wǎng)絡(luò)性能的優(yōu)點(diǎn)和局限性。去霧采用RESIDE數(shù)據(jù)集，去雨采用Rain100L和Rain100H數(shù)據(jù)集。

3.2 訓(xùn)練環(huán)境及參數(shù)

使用隨機(jī)梯度下降法，其動(dòng)量參數(shù)為0.85，權(quán)重衰減參數(shù)為5e-4。隨機(jī)梯度下降的批處理數(shù)量為128。我們一共將全部樣本訓(xùn)練了10個(gè)周期，在開(kāi)始訓(xùn)練時(shí)將學(xué)習(xí)率設(shè)置為0.01，在第5，7，9個(gè)周期時(shí)將學(xué)習(xí)率乘上0.1。

3.3實(shí)驗(yàn)結(jié)果及分析

本文采取不同濃度圖片分別進(jìn)行測(cè)試，應(yīng)用經(jīng)典和最新算法對(duì)比進(jìn)行對(duì)比，測(cè)試指標(biāo)采用PSNR（峰值信噪比），每種類型圖片應(yīng)用了兩組不同的測(cè)試樣本，每組有十張照片，所得的結(jié)果為測(cè)試樣本的平均值。

由實(shí)驗(yàn)結(jié)果可以看出，本文算法在薄霧中雨、中霧無(wú)雨、中雨濃霧圖片上效果明顯優(yōu)于其他三種算法，在薄霧中雨的條件下效果最為顯著。

4 結(jié)語(yǔ)

本文提出了一種基于深度殘差學(xué)習(xí)的視頻去雨霧網(wǎng)絡(luò)，針對(duì)含有雨霧的視頻圖像，既可以達(dá)到良好的去除雨霧的效果，又能夠保證圖像的細(xì)節(jié)不被損壞，保護(hù)視頻圖像的完整性，改善過(guò)于平滑的問(wèn)題。引入注意力模塊與殘差網(wǎng)絡(luò)相結(jié)合，有利于堆疊成深度模型來(lái)提高網(wǎng)絡(luò)性能，能在一定程度上彌補(bǔ)卷積操作的固有缺陷。作為計(jì)算機(jī)視覺(jué)中圖像分析必不可少的前序步驟，本文算法在去霧、去雨任務(wù)上達(dá)到良好的效果，能更好的實(shí)現(xiàn)視頻圖像的去雨霧，使視頻圖像清晰化。

參考文獻(xiàn)

[1]汪昱東，郭繼昌，王天保.一種改進(jìn)的霧天圖像行人和車輛檢測(cè)算法[J].西安電子科技大學(xué)學(xué)報(bào)，2020，47（04）：70-77.

[2]張杰，隋陽(yáng)，李強(qiáng)，李想，董瑋.基于卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)視頻圖像檢測(cè)[J].電子技術(shù)應(yīng)用，2019，45（04）：34-38+44.

[3]Mostafa M.El-Hashash，Hussein A.Aly.High-speed video haze removal algorithm for embedded systems[J].Journal of Real-Time Image Processing.2016-06-04.

[4]Sibaji Gaj，Anoop Kumar Rathore，et al.A robust watermarking scheme against frame blending and projection attacks[J].Multimedia Tools and Applications.2016-10-07.

[5]Wang M，Mai J，et al.A component-driven distributed framework for real-time video dehazing[J].Multimedia Tools and Applications.2017-12-27，77（9）.

基金項(xiàng)目：JJKH20210839KJ，雨霧場(chǎng)景中基于卷積神經(jīng)網(wǎng)絡(luò)的視頻圖像增強(qiáng)方法研究，吉林省教育廳科學(xué)研究項(xiàng)目