一種基于改進(jìn)AOD-Net 的航拍圖像去霧算法

李永福 崔恒奇 朱 浩 張開(kāi)碧

隨著無(wú)人機(jī)航拍技術(shù)的日益成熟,無(wú)人機(jī)航拍技術(shù)逐漸被頻繁地應(yīng)用于復(fù)雜環(huán)境地圖測(cè)繪[1],輔助駕駛[2]以及道路監(jiān)控[3]等領(lǐng)域.然而,由于航拍無(wú)人機(jī)與拍攝對(duì)象的距離通常較遠(yuǎn),因此航拍圖像更容易受霧霾環(huán)境的影響.在霧霾環(huán)境中,地面拍攝的普通圖像中近景受到霧霾的影響較小,而航拍圖像整體都會(huì)包含濃度較高的霧霾,這極大地影響了航拍圖像的成像質(zhì)量.此外,航拍圖像的比例尺較大,這要求航拍圖像具有極高的成像質(zhì)量從而保證拍攝對(duì)象清晰可見(jiàn),而霧霾環(huán)境中采集的航拍圖像的信息量會(huì)嚴(yán)重下降,其實(shí)用價(jià)值也會(huì)大打折扣.因此,為了降低霧霾環(huán)境對(duì)航拍圖像的影響,需要對(duì)無(wú)人機(jī)采集的有霧航拍圖像進(jìn)行去霧處理,同時(shí)需要增強(qiáng)去霧圖的視覺(jué)效果,強(qiáng)化圖像中的特征信息以便于后續(xù)高級(jí)計(jì)算機(jī)視覺(jué)系統(tǒng)進(jìn)行二次處理.

圖像去霧算法可以分為基于傳統(tǒng)數(shù)字圖像處理與物理模型結(jié)合的方法[4-8]和基于深度學(xué)習(xí)設(shè)計(jì)的去霧網(wǎng)絡(luò)模型的方法[9-16].基于傳統(tǒng)數(shù)字圖像處理與物理模型結(jié)合的方法一般以大氣散射物理模型[17]為基礎(chǔ),在此基礎(chǔ)上針對(duì)大氣光值與透射矩陣設(shè)計(jì)求解算法以期獲取準(zhǔn)確的數(shù)值.其中具有代表性的算法有如下三種:He 等[6]提出了基于暗通道先驗(yàn)(Dark channel prior,DCP)的去霧方法,該方法通過(guò)尋找圖像中的暗通道圖像來(lái)求解透射矩陣,再結(jié)合估計(jì)的大氣光值來(lái)消除圖像中的霧氣.Berman等[7]利用了一種邊界約束和正則化(Boundary constraint and contextual regularization,BCCR)的方式來(lái)配合大氣散射模型對(duì)圖像進(jìn)行去霧.Zhu 的團(tuán)隊(duì)[8]利用顏色衰減先驗(yàn)假設(shè)(Color attenuation prior,CAP)來(lái)獲取透射圖,再結(jié)合大氣散射模型進(jìn)行圖像去霧.

隨著深度學(xué)習(xí)在圖像領(lǐng)域的發(fā)展,許多學(xué)者嘗試通過(guò)設(shè)計(jì)合適的去霧神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行圖像去霧.基于深度學(xué)習(xí)設(shè)計(jì)的圖像去霧模型能夠被進(jìn)一步細(xì)分為基于大氣散射模型的間接參數(shù)求解型網(wǎng)絡(luò)模型和直接圖像生成型網(wǎng)絡(luò)模型[9-10].其中,基于大氣散射模型的間接參數(shù)求解型網(wǎng)絡(luò)模型一般是通過(guò)對(duì)大氣光值或者傳輸矩陣進(jìn)行網(wǎng)絡(luò)設(shè)計(jì),通過(guò)構(gòu)建高效的特征提取網(wǎng)絡(luò)結(jié)構(gòu)來(lái)準(zhǔn)確獲取二者的數(shù)值,然后進(jìn)而通過(guò)大氣散射物理模型生成無(wú)霧圖像.其中近年來(lái)具有代表性的算法有:Cai 等[11]提出了一種可以端到端進(jìn)行訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型DehazeNet,該網(wǎng)絡(luò)可以學(xué)習(xí)有霧圖像于介質(zhì)傳輸圖之間的映射關(guān)系,但是僅僅四層的單尺度直線型卷積網(wǎng)絡(luò)的特征提取能力非常有限,很容易造成傳輸圖的估計(jì)出現(xiàn)錯(cuò)誤.Ren 等[12]提出了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)(Multi-Scale Convolutional Neural Network,MSCNN)用于去霧,該網(wǎng)絡(luò)使用精細(xì)介質(zhì)傳輸網(wǎng)絡(luò)對(duì)粗糙介質(zhì)傳輸網(wǎng)絡(luò)進(jìn)行傳輸特征的細(xì)化,有效提升了去霧圖的細(xì)節(jié)特征,然而龐大的網(wǎng)絡(luò)結(jié)構(gòu)使得該網(wǎng)絡(luò)并不能短時(shí)高效地去霧,需要依賴強(qiáng)大的圖形化硬件設(shè)備.Li 等[13]提出了AOD-Net去霧算法,該方法簡(jiǎn)化了去霧模型,通過(guò)對(duì)大氣散射模型進(jìn)行變形使大氣光值以及大氣透射率合并為一個(gè)參數(shù)變量,并設(shè)計(jì)了一種簡(jiǎn)單高效的特征融合型卷積神經(jīng)網(wǎng)絡(luò)來(lái)有效獲取該變量的值.但是該算法處理真實(shí)霧圖的時(shí)候非常容易使圖像的色調(diào)丟失并且損失較多色值.而直接圖像生成型去霧網(wǎng)絡(luò)模型與間接參數(shù)求解型網(wǎng)絡(luò)模型不同,該網(wǎng)絡(luò)能夠直接學(xué)習(xí)到有霧圖像與清晰圖像之間的映射關(guān)系,將這種關(guān)系以權(quán)重文件的形式保存起來(lái),每張圖像在經(jīng)過(guò)加載了該權(quán)重文件的神經(jīng)網(wǎng)絡(luò)后能夠直接生成清晰圖像,無(wú)需依賴大氣散射模型.例如,Ren 等[14]設(shè)計(jì)了一種門控融合網(wǎng)絡(luò)(Gated fusion network,GFN),該網(wǎng)絡(luò)通過(guò)融合白平衡派生圖、對(duì)比度增強(qiáng)派生圖以及伽馬增強(qiáng)派生圖直接端到端生成無(wú)霧圖像.Chen 等[15]設(shè)計(jì)了一種門控聚合網(wǎng)絡(luò)(Gated context aggregation network,GCANet),該網(wǎng)絡(luò)通過(guò)編碼-解碼的網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)到原圖和有霧圖之間的殘差,通過(guò)將霧氣的特征殘差附加在霧圖上即可獲得去霧圖像,恢復(fù)的圖像會(huì)出現(xiàn)區(qū)域色調(diào)失衡以及圖像飽和度過(guò)低的現(xiàn)象.Qin 等[16]設(shè)計(jì)了一種端到端的特征融合注意網(wǎng)絡(luò)(Feature fusion attention network,FFANet)來(lái)獲取霧氣的殘差特征,去霧后的圖像通常會(huì)出現(xiàn)顏色失真和對(duì)比度下降的問(wèn)題.雖然端到端圖像生成型網(wǎng)絡(luò)可以不依賴大氣散射模型,但是對(duì)霧氣分布不均勻的圖像進(jìn)行去霧時(shí)非常容易出現(xiàn)去霧不徹底的問(wèn)題,并且容易出現(xiàn)大量的噪點(diǎn).

由于AOD-Net 的網(wǎng)絡(luò)結(jié)構(gòu)非常輕巧,算法耗時(shí)極短,因此該算法非常適用于無(wú)人機(jī)航拍圖像實(shí)時(shí)去霧.本文重點(diǎn)針對(duì)AOD-Net 去霧圖的細(xì)節(jié)信息丟失嚴(yán)重,去霧圖的對(duì)比度過(guò)強(qiáng)以及去霧圖噪音過(guò)多的問(wèn)題,提出一種基于AOD-Net 的多尺度航拍圖像去霧算法.本文的主要?jiǎng)?chuàng)新點(diǎn)如下:

1) 本文在AOD-Net 的基礎(chǔ)上學(xué)習(xí)FPC-Net對(duì)網(wǎng)絡(luò)層的優(yōu)化方式[18]對(duì)AOD-Net 的網(wǎng)絡(luò)層進(jìn)行了改良,并將改良的AOD-Net 嵌入到多尺度結(jié)構(gòu)中.改良后的網(wǎng)絡(luò)結(jié)構(gòu)能夠有效提升神經(jīng)網(wǎng)絡(luò)對(duì)圖像細(xì)節(jié)部分的處理能力,并且能有效削減遠(yuǎn)景部分的霧氣.

2) 與以往一些文獻(xiàn)中僅僅關(guān)注圖像重構(gòu)的像素差異而設(shè)計(jì)的損失函數(shù)不同[11-13],本文設(shè)計(jì)的損失函數(shù)在訓(xùn)練網(wǎng)絡(luò)時(shí)不僅監(jiān)視了生成圖與標(biāo)準(zhǔn)清晰圖之間的結(jié)構(gòu)差異,還關(guān)注了生成圖的視覺(jué)主觀感受以及圖像的平滑度.

3) 與以往研究中采用唯一損失函數(shù)訓(xùn)練模型的方式不同[9-16],本文訓(xùn)練所提網(wǎng)絡(luò)模型時(shí)采用了分段訓(xùn)練的方法,這種通過(guò)優(yōu)化訓(xùn)練方式來(lái)提升網(wǎng)絡(luò)的去霧性能的方式能夠有效保留網(wǎng)絡(luò)的模型復(fù)雜度,并且能夠極大程度地保證算法的實(shí)時(shí)性.

1 AOD-Net 去霧算法

AOD-Net 算法是基于簡(jiǎn)化的大氣散射模型設(shè)計(jì)的去霧算法.該算法將大氣散射模型中的大氣光值和透射矩陣合并為了一個(gè)過(guò)渡矩陣,然后利用多尺度特征融合網(wǎng)絡(luò)來(lái)獲取過(guò)渡矩陣中的數(shù)值,最后利用簡(jiǎn)化的大氣散射模型來(lái)獲得無(wú)霧圖像.AODNet 算法主要包含以下5 個(gè)步驟:

步驟 1.大氣散射模型的簡(jiǎn)化.清晰圖與對(duì)應(yīng)的有霧圖像的函數(shù)關(guān)系可以表示為:

其中t(x) 表示傳輸圖,A表示大氣光值,若要恢復(fù)出清晰圖像則必須準(zhǔn)確估計(jì)二者的值,而在AODNet 中,將式(1)中的兩個(gè)未知量通過(guò)數(shù)學(xué)公式變換合并為了一個(gè)未知量K,K的求解公式如式(2)所示,簡(jiǎn)化的大氣散射模型如式(3)所示.

步驟 2.多尺度特征融合網(wǎng)絡(luò)提取霧氣特征.AOD-Net 采用了一種多尺度特征融合的方式來(lái)增強(qiáng)網(wǎng)絡(luò)的特征提取能力,該網(wǎng)絡(luò)的結(jié)構(gòu)如圖1 所示.其中第2 個(gè)特征層合并了第1 層的特征圖,第3 個(gè)特征層融合了第2 層的特征圖,第四層特征層合并了前3 層的特征圖,最后一層輸出過(guò)渡圖像K的數(shù)值矩陣.該網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單,無(wú)復(fù)雜的支路,這保證了AOD-Net 算法的實(shí)時(shí)性.

圖1 AOD-Net 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The network architecture of AOD-Net

步驟 3.霧氣數(shù)據(jù)集的生成.AOD-Net 通過(guò)設(shè)置不同的大氣光值和散射系數(shù)將NYU2[19]的室內(nèi)清晰圖像數(shù)據(jù)集擴(kuò)充為包含了多種霧氣濃度的合成霧數(shù)據(jù)集.

步驟 4.設(shè)計(jì)用于訓(xùn)練網(wǎng)絡(luò)的損失函數(shù).AOD-Net選擇的是最簡(jiǎn)單也是最直接的均方誤差損失函數(shù)[20],該損失函數(shù)可用式(4)表示.

式(4)中的xi表示了輸入網(wǎng)絡(luò)的有霧圖像,Ji表示了合成霧圖對(duì)應(yīng)的清晰無(wú)霧圖像,f(xi) 表示AOD-Net 生成的去霧圖像.

步驟 5.經(jīng)過(guò)訓(xùn)練后的AOD-Net 可獲取對(duì)應(yīng)的權(quán)重文件,加載權(quán)重文件并用AOD-Net 讀取有霧圖像即可直接獲取去霧圖像.

2 改進(jìn)的多尺度AOD-Net

AOD-Net 去霧算法雖然擁有非常優(yōu)秀的去霧效率,但是該算法去霧后的圖像非常容易出現(xiàn)去霧不徹底、對(duì)比度過(guò)強(qiáng)、邊緣細(xì)節(jié)模糊以及色調(diào)偏暗的問(wèn)題.因此,本文對(duì)AOD-Net 算法進(jìn)行了改進(jìn).首先,針對(duì)步驟2,本文根據(jù)FPC-Net 中對(duì)網(wǎng)絡(luò)層的優(yōu)化方式改良了AOD-Net 的多尺度特征融合網(wǎng)絡(luò),FPC-Net 中采用了全逐點(diǎn)卷積與不同大小池化層結(jié)合的方式替換了大尺度卷積層,從而有效提升網(wǎng)絡(luò)的特征表達(dá)能力[21].然后,本文構(gòu)建了多尺度網(wǎng)絡(luò)結(jié)構(gòu),提升網(wǎng)絡(luò)對(duì)圖像細(xì)節(jié)霧氣的處理能力.隨后,用包含了圖像重構(gòu)損失函數(shù)、SSIM 損失函數(shù)和TV 損失函數(shù)[22]的復(fù)合損失函數(shù)替代了步驟4中的均方誤差損失函數(shù),以有效提升多尺度去霧網(wǎng)絡(luò)去霧圖的視覺(jué)效果.最后,本文還通過(guò)分段訓(xùn)練的方式替換了單一損失函數(shù)訓(xùn)練的方式,進(jìn)一步提升圖像的生成質(zhì)量.

2.1 單尺度AOD-Net 網(wǎng)絡(luò)層的改良

為了提升AOD-Net 的特征表達(dá)能力,本文參考FPC-Net 的網(wǎng)絡(luò)層優(yōu)化方式來(lái)改良AOD-Net的網(wǎng)絡(luò)結(jié)構(gòu),用該方法來(lái)強(qiáng)化網(wǎng)絡(luò)的特征表達(dá)能力,本文改良的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.這種改良方式不僅能有效提升網(wǎng)絡(luò)對(duì)特征的表達(dá)能力,使網(wǎng)絡(luò)更加緊湊,也能夠在一定程度上減少訓(xùn)練時(shí)出現(xiàn)過(guò)擬合的現(xiàn)象[18].另外,本文認(rèn)為第一層的特征有必要融合至第二個(gè)特征融合層,通過(guò)實(shí)驗(yàn)發(fā)現(xiàn),這樣的優(yōu)化能夠在一定程度上改善網(wǎng)絡(luò)對(duì)景深霧的處理能力.

圖2 本文所提的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The proposed network architecture

本文所提的網(wǎng)絡(luò)結(jié)構(gòu)總共包含5 個(gè)全逐點(diǎn)卷積層,3 個(gè)不同大小的池化層,3 次特征圖融合和1 次解卷積層組成.其中每個(gè)逐點(diǎn)卷積的卷積核大小均為1×1,輸入層和輸出層的1×1 逐點(diǎn)卷積層后無(wú)池化層和批歸一化層,其余每個(gè)逐點(diǎn)卷積后均會(huì)連接批歸一化層、ReLU 激活函數(shù)和池化層.第一個(gè)池化層的濾波核大小為3×3,padding 值為1,第二個(gè)池化層的濾波核大小為5×5,padding 值為2,第三個(gè)池化層的濾波核大小為7×7,padding 值為3,每個(gè)卷積核和池化層的濾波核的行進(jìn)步長(zhǎng)均為1,下一層輸入的特征圖會(huì)融合之前所有層網(wǎng)絡(luò)輸出的特征圖,本文的網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié)如表1 所示.

表1 本文所提網(wǎng)絡(luò)的參數(shù)Table 1 The architectures of proposed network

圖3 展示了本文所提網(wǎng)絡(luò)對(duì)景深霧的處理能力.從圖3 中可以看出AOD-Net 經(jīng)過(guò)本文的改良,圖像的遠(yuǎn)景部分的霧氣能夠被進(jìn)一步消除,而原版的AOD-Net 處理后的圖像遠(yuǎn)景部分依舊有霧氣殘余,這說(shuō)明本節(jié)在AOD-Net 的網(wǎng)絡(luò)上的改良是有效的.

圖3 去霧效果 ((a) 有霧圖像;(b) AOD-Net;(c) 改良后的AOD-Net)Fig.3 Defogging effect ((a) Fog image;(b) AOD-Net;(c) Improved AOD-Net)

2.2 多尺度網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建

AOD-Net 僅采用單尺度的網(wǎng)絡(luò)模型對(duì)圖像特征進(jìn)行提取,導(dǎo)致其對(duì)圖像細(xì)節(jié)的恢復(fù)程度較差.而多尺度結(jié)構(gòu)的網(wǎng)絡(luò)模型則對(duì)圖像的細(xì)節(jié)和紋理的恢復(fù)效果較為理想[23-25].因此本文將改進(jìn)的AODNet 嵌入多尺度網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步提升網(wǎng)絡(luò)的去霧能力,多尺度網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示.

圖4 多尺度網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The architecture of multi-scale network

本文所設(shè)計(jì)的多尺網(wǎng)絡(luò)首先將原始霧圖I進(jìn)行了2 倍和4 倍的下采樣,然后將下采樣4 倍的霧圖輸入到Scale 3 的K估計(jì)模塊得到該尺度的K估計(jì)圖,再結(jié)合式(3)獲取該尺度的去霧圖I0.25.接下來(lái)將I0.25恢復(fù)至與Scale 2 輸入圖一致的尺寸,然后將I0.25和2 倍下采樣的原圖一起輸入到Scale 2的K估計(jì)模塊,再模仿上一步獲取該尺度的去霧圖I0.5,最后,將I0.5恢復(fù)至與Scale 1 輸入圖一致的尺寸,將I0.5和原圖I一起輸入到Scale 1 的K估計(jì)模塊,再根據(jù)式(3)獲取最終的去霧圖.需要說(shuō)明的是,Scale 1 尺度上的估計(jì)模塊的輸入圖像的尺寸大小為128×128,輸入通道數(shù)為6,Scale 2 尺度上的估計(jì)模塊的輸入層的圖像尺寸為32×32,輸入通道為6,Scale 3 尺度上的估計(jì)模塊的輸入層的圖像尺寸為8×8,輸入通道為3.

2.3 損失函數(shù)的改良

本文在訓(xùn)練網(wǎng)絡(luò)時(shí)采用了一種包含了圖像重構(gòu)損失、圖像結(jié)構(gòu)相似損失和TV 損失函數(shù)的復(fù)合損失函數(shù),復(fù)合損失函數(shù)中的圖像重構(gòu)損失選擇了常用的最小均方誤差損失函數(shù)(L2損失),每張訓(xùn)練圖的重構(gòu)損失如式(5)所示.

其中Ji表示的是無(wú)霧清晰圖像,xi表示了該清晰圖像對(duì)應(yīng)的有霧圖像,Fm(xi) 代表了該有霧圖像經(jīng)過(guò)本文m尺度上網(wǎng)絡(luò)去霧處理后的圖像.

圖像結(jié)構(gòu)相似損失函數(shù)的作用是使圖像視覺(jué)效果更符合人眼主觀視覺(jué)感受.而SSIM 相較于峰值信噪比(Peak signal-to-noise ratio,PSNR)能直觀反映生成圖與標(biāo)準(zhǔn)清晰圖之間的結(jié)構(gòu)相似程度[26],因此該損失函數(shù)可以表示為式(6).

其中SSIM(Ji,Fm(xi))表示了合成霧圖去霧后的生成圖與對(duì)應(yīng)的標(biāo)準(zhǔn)無(wú)霧圖像之間的SSIM 數(shù)值.

圖像TV 損失函數(shù)是一種能夠約束圖像噪聲的損失函數(shù),通過(guò)降低TV 損失函數(shù)的數(shù)值可以在一定程度上消除因去霧算法和重構(gòu)損失函數(shù)帶來(lái)的噪聲[27].TV 損失函數(shù)的表達(dá)式如式(7)所示.

其中?x與?y分別表示了生成圖的像素在橫軸方向和縱軸方向上的梯度幅值.復(fù)合損失函數(shù)總公式如式(8)所示.

其中N代表了訓(xùn)練圖的總量,λ1、λ2和λ3分別代表了每個(gè)損失函數(shù)的權(quán)重系數(shù),?代表了訓(xùn)練時(shí)設(shè)定的權(quán)重衰減因子,w代表了網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù),?‖w‖為函數(shù)約束項(xiàng),作用是為了減少函數(shù)訓(xùn)練時(shí)出現(xiàn)過(guò)擬合現(xiàn)象.

本節(jié)所提的復(fù)合損失函數(shù)相較于AOD-Net 中使用單一的均方誤差損失函數(shù)能更有效地修正生成圖與清晰圖之間的對(duì)比度、亮度以及紋理之間的差異.

2.4 訓(xùn)練方式的改良

本文所設(shè)計(jì)的網(wǎng)絡(luò)在訓(xùn)練時(shí)采用了分段訓(xùn)練的方式,與以往單獨(dú)使用一種損失函數(shù)訓(xùn)練網(wǎng)絡(luò)的方法不同,這種分段訓(xùn)練的方式能夠擺脫局部最優(yōu)解,進(jìn)一步優(yōu)化網(wǎng)絡(luò)生成圖的質(zhì)量[28].分段函數(shù)的兩段分別由式(8)和式(9)組成.不同于式(8),式(9)中將重構(gòu)損失函數(shù)的L2損失改為了L1損失.

在進(jìn)行網(wǎng)絡(luò)效果測(cè)試前,本文對(duì)分段損失函數(shù)的有效性進(jìn)行了測(cè)試.測(cè)試實(shí)驗(yàn)的結(jié)果如圖5 和圖6所示.

圖5 不同方法訓(xùn)練本文所提模型獲得的損失曲線 ((a) 單一函數(shù)訓(xùn)練方法;(b) 分段函數(shù)訓(xùn)練方法)Fig.5 The loss curve obtained by training the proposed model with different methods ((a) The training method of single function;(b) The training method of piecewise function)

圖6 不同訓(xùn)練方式下的SSIM 與PSNR 變化曲線((a) SSIM 曲線;(b) PSNR 曲線)Fig.6 The curve of SSIM and PSNR under different training methods ((a) The curve of SSIM;(b) The curve of PSNR)

圖5(a)中的曲線分別代表了僅使用式(8)或式(9)對(duì)本文所提模型訓(xùn)練時(shí)的Loss 走勢(shì)曲線,可以看出當(dāng)訓(xùn)練至1 000 輪左右時(shí)兩個(gè)曲線均達(dá)到收斂狀態(tài),然而此時(shí)的模型還沒(méi)有達(dá)到全局最優(yōu),當(dāng)本文在1 000 輪之前選擇LMS,1 000 輪之后改用訓(xùn)練時(shí),可以獲得圖5(b)中上方的曲線,反之可以獲得圖5(b)中下方的曲線,最終用于訓(xùn)練網(wǎng)絡(luò)的損失函數(shù)如式(11)所示.

本文每10 輪訓(xùn)練會(huì)保存一次權(quán)重文件,用網(wǎng)絡(luò)加載每個(gè)權(quán)重文件對(duì)測(cè)試集中同一張有霧圖像進(jìn)行去霧,可獲得150 張生成圖.圖6 展示了這些生成圖與對(duì)應(yīng)的清晰圖樣之間的SSIM 和PSNR 的變化曲線.從圖6 中可以看出,在改變了訓(xùn)練方式之后,生成圖的SSIM 與PSNR 值均有小幅度的提升.圖7 展示了兩種不同訓(xùn)練模式下本文模型生成的去霧圖的效果.從圖7 中可以看出,圖7(e)與圖7(c)的主觀視覺(jué)效果相近,而圖7(f)虛線框中的墻壁色彩相較于圖7(d)更接近圖7(b)的墻壁色彩.

圖7 兩種不同訓(xùn)練方法下的去霧效果 ((a) 合成霧圖;(b) ground truth;(c) 所提模型用LMS 訓(xùn)練1 000 次的效果;(d) 所提模型用LMS 訓(xùn)練1 500 次的效果;(e) 所提模型用式L 訓(xùn)練1 000 次的效果;(f) 所提模型用式L 訓(xùn)練1 500 次的效果)Fig.7 Defogging effect of two different training method((a) Synthetic fog image;(b) Ground truth;(c) The proposed model was trained after 1 000 times by LMS;(d) The proposed model was trained after 1 500 times by LMS;(e)The proposed model was trained after 1 000 times by L;(f) The proposed model was trained after 1 500 times by L)

綜上可知,選擇式(11)作為本文所提網(wǎng)絡(luò)的損失函數(shù)能夠獲得更好的去霧效果.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)設(shè)備環(huán)境及參數(shù)設(shè)置

本文所提的去霧網(wǎng)絡(luò)是基于Caffe 框架實(shí)現(xiàn)的,Caffe 框架通過(guò)Matlab2016a 提供的接口來(lái)運(yùn)行,網(wǎng)絡(luò)的訓(xùn)練與霧圖處理均采用了GPU 進(jìn)行加速,GPU 型號(hào)為Nvidia RTX 2 070,顯存容量8GB,初始學(xué)習(xí)率大小設(shè)置為10–5,采用ADAM 優(yōu)化器進(jìn)行訓(xùn)練優(yōu)化,訓(xùn)練輪數(shù)設(shè)置為1 500,批處理圖像的數(shù)量為16,權(quán)重因子λ1設(shè)置為1[21],λ2的選值需根據(jù)實(shí)驗(yàn)和數(shù)據(jù)集進(jìn)行測(cè)試,本文在第3.4 節(jié)給出了測(cè)試過(guò)程,該參數(shù)設(shè)置為0.84,λ3的值選用了文獻(xiàn)[24]中的建議值2×10–8,λ4設(shè)置為1[22],動(dòng)量和權(quán)重衰減因子設(shè)置為0.9 和0.0001.訓(xùn)練所使用的霧氣數(shù)據(jù)集有AOD-Net 所提供的NYU2 合成霧數(shù)據(jù)集,內(nèi)含1 449 張清晰圖以及27 531 張對(duì)應(yīng)的合成霧圖像,同時(shí)本文還隨機(jī)選擇了RESIDE[29]的OTS (Outdoor training set)數(shù)據(jù)集中的500 張室外清晰圖,并通過(guò)這些清晰圖生成9 500 張合成霧圖,兩個(gè)合成霧數(shù)據(jù)集總計(jì)37 031 張圖片,本文按8:1:1 的比例劃分出29 616 張圖片用于訓(xùn)練、3 707張圖片作為驗(yàn)證集、3 708 張圖片作為測(cè)試集.本文選用大疆的DJI-Mini2 無(wú)人機(jī)在霧天拍攝的低空航拍圖像驗(yàn)證所提去霧算法處理自然航拍霧圖的有效性.本文所提算法還與目前使用頻率較高的幾種去霧算法進(jìn)行了對(duì)比,其中經(jīng)典去霧算法包括了DCP[6]、BCCR[7]和CAP[8],基于深度學(xué)習(xí)的去霧算法包括了DehazeNet[11]、MSCNN[12]、AOD-Net[13]、GFN[14]、GCANet[15]和FFANet[16].

3.2 在合成有霧數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果及分析

本文首先在合成有霧數(shù)據(jù)集上進(jìn)行去霧效果測(cè)試,所選用的測(cè)試圖像均來(lái)自本文構(gòu)建的測(cè)試集.采用SSIM 和PSNR 兩個(gè)指標(biāo)從客觀數(shù)值上來(lái)評(píng)價(jià)各去霧算法的優(yōu)劣,再結(jié)合各算法去霧圖的主觀視覺(jué)感受來(lái)系統(tǒng)性地評(píng)價(jià)每個(gè)算法的去霧效果.圖8展示了各個(gè)去霧算法去霧后的主觀視覺(jué)效果.表2展示了各去霧算法在測(cè)試集的3 708 張合成霧圖上的SSIM 和PSNR 指標(biāo)平均值對(duì)比.

從圖8 中可以看出,DCP 算法處理的圖像偏暗,并且天空區(qū)域會(huì)出現(xiàn)一定的失真現(xiàn)象(參考圖8(c)建筑物與天空的交界處).BCCR 算法去霧后的圖像會(huì)出現(xiàn)明顯的噪聲,并且圖像的對(duì)比度過(guò)高(參考圖8(d)室內(nèi)沙發(fā)的顏色和電視塔周明暗區(qū)域的顏色).CAP 算法對(duì)圖像的去霧程度不足(參考圖8(e)中室內(nèi)圖像依舊殘留較多霧氣),并且圖像的飽和度過(guò)高(參考圖8(e)中電視塔天空的色澤).DehazeNet算法去霧后的圖像會(huì)殘留較多霧氣(參考圖8(f)室內(nèi)的遠(yuǎn)景區(qū)域),但該算法對(duì)圖像色調(diào)的恢復(fù)程度較高.SCNN 算法對(duì)圖像色彩的恢復(fù)程度較弱但該算法對(duì)圖像色調(diào)的恢復(fù)程度較高,且圖像部分區(qū)域依舊有大量霧氣殘余(參考圖8(g)電視塔圖片的邊角區(qū)域).AOD-Net 去霧后的圖像的飽和度和對(duì)比度都過(guò)強(qiáng),導(dǎo)致圖像整體偏暗(參考圖8(h)中室外場(chǎng)景的天空區(qū)域),此外過(guò)于簡(jiǎn)單的損失函數(shù)使其對(duì)于霧氣集中區(qū)域的恢復(fù)效果較差(參考圖8(h)中圖書(shū)館中間區(qū)域的霧氣).GFN 算法去霧后的圖像對(duì)比度過(guò)強(qiáng),過(guò)強(qiáng)的對(duì)比度會(huì)導(dǎo)致圖像中色值偏低的區(qū)域損失大量的細(xì)節(jié)信息(參考圖8(i)的室內(nèi)圖像中有明顯偏暗的區(qū)域,室外夕陽(yáng)圖中建筑物的顏色也明顯偏暗).GCANet 處理后的圖像有明顯的霧氣殘留(參考圖8(j)中天空背景和建筑物交界區(qū)域的霧氣殘余).FFANet 去霧后的室內(nèi)圖像較為清晰,其去霧圖的整體色調(diào)和細(xì)節(jié)恢復(fù)程度均與清晰圖非常接近.本文所提算法去霧后的圖像的飽和度相對(duì)清晰圖會(huì)更高一些,室內(nèi)外圖像上的去霧效果略弱于FFANet(參考圖8(k)和圖8(l)的圖書(shū)館遠(yuǎn)景部分),相較于AOD-Net 在主觀視覺(jué)效果上有了一定的改善,不會(huì)出現(xiàn)太多過(guò)暗的區(qū)域,且去霧程度也更理想.

圖8 合成有霧圖像的實(shí)驗(yàn)結(jié)果展示 ((a) 有霧圖像;(b) Ground truth;(c) DCP;(d) BCCR;(e) CAP;(f) DehazeNet;(g) MSCNN;(h) AOD-Net;(i) GFN;(j) GCANet;(k) FFANet;(l) 本文算法)Fig.8 Experimental results of the synthetic fog images ((a) Fog image;(b) Ground truth;(c) DCP;(d) BCCR;(e) CAP;(f) DehazeNet;(g) MSCNN;(h) AOD-Net;(i) GFN;(j) GCANet;(k) FFANet;(l) Proposed algorithm)

從表2 中客觀數(shù)值指標(biāo)可以看出,本文所提算法在合成有霧圖像數(shù)據(jù)集上的SSIM 均值和PSNR均值相較于AOD-Net 均有一定幅度的提升,整體效果略弱于FFANet 以及GCANet.需要說(shuō)明的是,FFANet 的網(wǎng)絡(luò)層數(shù)多,模型更為復(fù)雜,因此其網(wǎng)絡(luò)對(duì)合成霧圖的去霧效果與清晰圖更接近,僅通過(guò)合成霧數(shù)值指標(biāo)對(duì)比并不能確定更適合航拍圖像的算法,因此本文在第3.3 節(jié)和第3.5 節(jié)將會(huì)分別展示各個(gè)算法在真實(shí)自然霧圖上的表現(xiàn)以及參數(shù)量和耗時(shí)的對(duì)比.

表2 在合成有霧圖像上的SSIM 與PSNR 結(jié)果Table 2 Comparison of SSIM and PSNR tested on synthetic fog images

3.3 在自然航拍霧圖上的實(shí)驗(yàn)結(jié)果及分析

為了進(jìn)一步體現(xiàn)本文所提算法的去霧有效性,本文用大疆DJI-Mini2 無(wú)人機(jī)在重慶拍攝了20 張真實(shí)有霧航拍圖像,并用各去霧算法在該組有霧航拍圖像上進(jìn)行實(shí)驗(yàn),圖9 展示了各去霧算法在四張具有挑戰(zhàn)性的航拍霧圖上的去霧效果.從圖9 中可以看出各個(gè)去霧算法在航拍霧圖上的去霧表現(xiàn)與合成有霧數(shù)據(jù)集上的表現(xiàn)基本一致,其中DCP、GFN和GCANet 算法對(duì)小范圍的霧氣去除效果不理想(參考圖9(b)、圖9(h)和圖9(i)的塔尖鐵框中的霧氣有殘余).BCCR 去霧后的圖像有明顯的色彩失真現(xiàn)象(參考圖9(c)的濃霧區(qū)域出現(xiàn)了色彩分層).AOD-Net 圖像整體亮度偏低,細(xì)節(jié)可見(jiàn)性較差.CAP 和FFANet 僅去除了圖像中部分霧氣,整體圖像依舊殘留有大量霧氣(參考圖9(d)的高速路右側(cè)的區(qū)域和圖9(j) 高塔周圍大量殘余的區(qū)塊霧).而DehazeNet 與MSCNN 對(duì)遠(yuǎn)景部分的霧氣去除程度較差(參考圖9(e)和圖9(f)的大橋圖像的遠(yuǎn)景部分依舊可以看見(jiàn)大量殘存的霧氣).本文所提的去霧算法對(duì)航拍霧圖的去霧效果較為自然,去霧圖較少出現(xiàn)過(guò)亮或者過(guò)暗的區(qū)域,不足之處是對(duì)景深霧的去除效果不佳,這可能是由于訓(xùn)練數(shù)據(jù)是合成霧而非自然霧導(dǎo)致的.

圖9 真實(shí)有霧航拍圖像的實(shí)驗(yàn)結(jié)果展示 ((a) 有霧圖像;(b) DCP;(c) BCCR;(d) CAP;(e) DehazeNet;(f) MSCNN;(g) AOD-Net;(h) GFN;(i) GCANet;(j) FFANet;(k) 本文算法)Fig.9 Experimental results of the real aerial fog images ((a) Aerial fog image;(b) DCP;(c) BCCR;(d) CAP;(e) DehazeNet;(f) MSCNN;(g) AOD-Net;(h) GFN;(i) GCANet;(j) FFANet;(k) Proposed algorithm)

與有g(shù)round truth 作為對(duì)比的全參考指標(biāo)不同,由于真實(shí)有霧圖像沒(méi)有對(duì)應(yīng)的無(wú)霧圖像用于測(cè)試SSIM 和PSNR 指標(biāo).因此,本文選擇使用如下8 種不同的客觀數(shù)值評(píng)價(jià)指標(biāo)來(lái)測(cè)試所提模型在真實(shí)霧圖上的有效性:

1) 增強(qiáng)圖像的盲圖評(píng)測(cè)方法BIQME (Blind image quality measure of enhanced images),該方法是一種包含了圖像對(duì)比度、銳度、亮度、色彩保真度以及自然程度這五種圖像因素在內(nèi)的打分機(jī)制,可以在綜合五種影響程度上給出一種較為可信的評(píng)判分?jǐn)?shù)[30].

2) 霧氣密度評(píng)估方式FADE (Fog aware density evaluator),該方法可以直接評(píng)測(cè)一幅圖像中霧氣保留的程度[31].

3) 能見(jiàn)度指數(shù)VI (Visibility index),該值用于評(píng)測(cè)去霧后圖像的能見(jiàn)度,主要評(píng)測(cè)景深霧的消除效果[32].

4) 真實(shí)性指數(shù)RI (Realness index),該值重點(diǎn)用于評(píng)測(cè)人眼視覺(jué)主觀感受,這種視覺(jué)感受程度也能夠在一定程度上反映去霧后圖像的顏色失真程度[32].

5) 基于人類啟發(fā)感知的圖像融合質(zhì)量評(píng)價(jià)CB(Chen-blum metric),該方法重點(diǎn)用于測(cè)試輸入與處理圖之間的對(duì)比度特征得分[33],其值不僅反映了圖像對(duì)比度信息,也反映了原始圖像保留的信息量[34].

6) 圖像視覺(jué)信息保真程度評(píng)價(jià)VIF (Visual information fidelity),該方法是利用處理后圖像信息與原始圖像信息進(jìn)行比對(duì),得分值可以反映圖像因處理算法而導(dǎo)致圖像的失真程度[35].

7) 基于圖像梯度的處理性能評(píng)價(jià)GB (Gradient-based performance metric),該值是一個(gè)常用的圖像質(zhì)量評(píng)估指標(biāo),通常被用來(lái)評(píng)估圖像的邊緣信息丟失程度[36].

8) 圖像熵評(píng)價(jià)指標(biāo)Entropy,該值通常用于評(píng)測(cè)處理后圖像中信息的復(fù)雜程度,即信息量的多少,常被用于測(cè)試各類圖像增強(qiáng)或復(fù)原算法的優(yōu)劣[37].

其中BIQME、VI、RI、CB、VIF、GB 以及Entropy 的值越大代表去霧圖效果越好,而FADE 的值越小代表圖像去霧程度越高.

圖10 和表3 展示了所有對(duì)比算法與本文算法在8 種評(píng)價(jià)指標(biāo)上的客觀數(shù)值對(duì)比,從中可以看出本文算法的FADE、CB、VIF、GB 以及Entropy均排名前三,這說(shuō)明本文去霧算法在去霧程度、對(duì)比度、色彩保真程度、邊緣信息保留程度以及圖像信息量上有著較為優(yōu)秀的表現(xiàn),而其余略弱于其它對(duì)比算法的指標(biāo)相較于AOD-Net 也有一定程度的提升,這說(shuō)明本文對(duì)于AOD-Net 的改進(jìn)在各項(xiàng)對(duì)比指標(biāo)上有著全面的提升.此外,我們利用本文數(shù)據(jù)集訓(xùn)練了FFANet 后,發(fā)現(xiàn)該網(wǎng)絡(luò)僅對(duì)霧氣分布均勻的圖片去霧效果良好,而對(duì)于霧氣濃度分布不均的真實(shí)圖像表現(xiàn)較差,這可能是因?yàn)樵摼W(wǎng)絡(luò)較深,對(duì)訓(xùn)練霧圖數(shù)據(jù)的擬合程度較高,一旦霧氣濃度和霧氣分布與數(shù)據(jù)集中的合成霧氣差別較大時(shí),該網(wǎng)絡(luò)的適應(yīng)性相較于淺層網(wǎng)絡(luò)會(huì)下降得更多.

另外,由于本文在網(wǎng)絡(luò)層中相較于AOD-Net額外引入了池化層,但這種逐點(diǎn)卷積與N×N大小的池化層組合的方式與N×N大小的單卷積層的感受野是一致的,并且兩者在特征提取的效果上可以劃等號(hào)[21],因此,額外引入的池化層相較于AODNet 并不會(huì)丟失更多的細(xì)節(jié)特征,而本文還進(jìn)一步通過(guò)多尺度框架提升了網(wǎng)絡(luò)對(duì)細(xì)節(jié)處?kù)F氣的特征提取能力,從表3 中GB 與Entropy 兩項(xiàng)定量的圖像信息保留量指標(biāo)也證實(shí)了本文的改良方式相較于AOD-Net 能夠保留更多的細(xì)節(jié)信息.

表3 在真實(shí)航拍霧圖上的客觀數(shù)值評(píng)價(jià):(1) 最好的結(jié)果;(2) 次好的結(jié)果;(3) 第三好的結(jié)果Table 3 Objective numerical evaluation on the fog map of real aerial photography:(1) The best result;(2) The second-best result;(3) The third-best result

3.4 損失函數(shù)的消融實(shí)驗(yàn)結(jié)果及分析

本文在損失函數(shù)的設(shè)計(jì)上采用了多個(gè)損失函數(shù)組合的方式.為了體現(xiàn)每個(gè)損失函數(shù)對(duì)最終生成圖像的影響,本文進(jìn)行了相關(guān)的消融實(shí)驗(yàn),所用圖片取自AOD-Net 測(cè)試圖像集中提供的真實(shí)City 霧景圖.消融實(shí)驗(yàn)結(jié)果如圖11 所示.從圖11 中可以看出,組合損失函數(shù)L中缺少了L1與L2會(huì)出現(xiàn)圖像的色調(diào)偏暖,而且圖像的飽和度較差(參考圖11(c)的天空區(qū)域的顏色和房屋墻體的顏色),這說(shuō)明圖像重構(gòu)損失函數(shù)會(huì)影響去霧圖像的色彩.當(dāng)L中缺少了LS時(shí)圖像的對(duì)比度會(huì)過(guò)高,而且圖像的亮度偏低(參考圖11(d)中的圖像的亮度),這是由于LS中帶有SSIM 函數(shù),而SSIM 函數(shù)的計(jì)算與圖像的亮度,結(jié)構(gòu)信息以及對(duì)比度有直接關(guān)系,因此,LS會(huì)影響去霧圖的對(duì)比度以及亮度.當(dāng)缺少LTV時(shí),建筑物表面會(huì)出現(xiàn)大片的偽影,例如圖11(e)中建筑物表面出現(xiàn)了大量灰色覆蓋,并且建筑物邊緣信息損失嚴(yán)重,這說(shuō)明LTV會(huì)直接影響圖像的邊緣信息以及主觀視覺(jué)感受,缺少多尺度框架會(huì)導(dǎo)致近景部分出現(xiàn)過(guò)度去霧而導(dǎo)致對(duì)比度升高,圖像變暗,而遠(yuǎn)景區(qū)域的霧氣去除程度則較弱.圖11(g)為圖2所示網(wǎng)絡(luò)結(jié)構(gòu)的測(cè)試結(jié)果,選用了與AOD-Net 中相同的均方誤差損失函數(shù).將圖11(g)與圖11(f)進(jìn)行對(duì)比,可以看出圖2 所示的網(wǎng)絡(luò)比AOD-Net 擁有更強(qiáng)的遠(yuǎn)景霧去除能力,進(jìn)一步佐證了第2.1 節(jié)中改良的有效性.同樣地,本文也在測(cè)試集圖片組上測(cè)試了消融實(shí)驗(yàn)每種情況下的數(shù)值指標(biāo)對(duì)比,從表4中也能直觀看出缺少任何一個(gè)部分均會(huì)導(dǎo)致最終圖像的視覺(jué)感受、真實(shí)程度、去霧程度、邊緣信息有一定程度的下降,這也證明了本文改良的網(wǎng)絡(luò)結(jié)構(gòu)以及損失函數(shù)每個(gè)部分的必要性.

表4 消融實(shí)驗(yàn)中的數(shù)值指標(biāo)Table 4 The numerical index in ablation experiment

圖11 消融實(shí)驗(yàn)結(jié)果 ((a) 航拍霧圖像;(b) 本文方法;(c) 缺少L1 與L2;(d) 缺少LS;(e) 缺少LTV;(f) 無(wú)多尺度(Mutil-Scale,MS)結(jié)構(gòu);(g) 無(wú)MS 結(jié)構(gòu)和L (損失函數(shù)為均方誤差);(h) AOD-Net)Fig.11 Experimental results of ablation study ((a) Aerial fog image;(b) Proposed algorithm;(c) w/o L1 and L2 loss function;(d) w/o LS loss function;(e) w/o LTV loss function;(f) w/o MS structure;(g) w/o MS structure and L(The loss function is the mean square error);(h) AOD-Net)

接下來(lái)為了確定本文λ2的取值,我們采用了一種范圍縮小的方法,通常λ2的取值在0 至1 之間[26],于是本文每0.1 為間隔訓(xùn)練了模型,并對(duì)圖像進(jìn)行了主觀和客觀分析,另外,由于λ2關(guān)系到圖像的視覺(jué)成像效果,因此,本文在記錄客觀數(shù)值指標(biāo)時(shí)選擇記錄了FADE、VI、RI 與CB 四個(gè)評(píng)價(jià)指標(biāo)來(lái)觀測(cè)不同的λ2對(duì)圖像的去霧程度、能見(jiàn)度、色彩保真度以及對(duì)比度的影響,以此來(lái)確定λ2的大致取值范圍,圖12 給出了不同取值的λ2對(duì)去霧效果的影響,可以看出當(dāng)取值為0.7 時(shí)圖像飽和度過(guò)高,而當(dāng)取值為0.9 時(shí)則會(huì)導(dǎo)致圖像去霧效果變差;從圖13 則可以看出λ2取值在0.8 至0.9 之間時(shí)可以取得最優(yōu)的指標(biāo),因此可以確定最優(yōu)解在0.8 至0.9 之間.接下來(lái)繼續(xù)以0.01 為間隔測(cè)試了0.81～0.89 范圍內(nèi)的λ2的最優(yōu)值,通過(guò)圖14 可以看出,綜合四種對(duì)比指標(biāo),λ2的取值為0.84 時(shí)最適合本文霧氣數(shù)據(jù)集的訓(xùn)練.

圖12 所提算法在λ2 不同取值時(shí)的去霧效果Fig.12 The dehazing effect of the proposed algorithm at different values of λ2

圖13 λ2 不同取值時(shí)的圖像指標(biāo)變化(λ2=0.1～0.9)Fig.13 The change of image index when λ2 takes different value (λ2=0.1～0.9)

圖14 λ2 不同取值時(shí)的圖像指標(biāo)變化(λ2=0.81～0.89)Fig.14 The change of image index when λ2 takes different value (λ2=0.81～0.89)

3.5 算法的耗時(shí)及模型參數(shù)對(duì)比

本文所提算法不僅關(guān)注了去霧圖像的視覺(jué)效果和圖像質(zhì)量,同時(shí)還盡力保證了去霧實(shí)時(shí)性.表5展示了各算法在原始分辨率和縮小分辨率的航拍霧圖上的處理耗時(shí),其中DCP、BCCR、CAP、DehazeNet、MSCNN 均在Matlab2016a 上運(yùn)行,使用CPU 來(lái)處理圖像.GCANet 和FFANet 采用的Pytorch-gpu 框架,而AOD-Net、GFN 和本文算法均采用MatCaffe-gpu 框架,從表中可以看出采用GPU 加速的算法在圖像處理耗時(shí)上要明顯低于采用CPU 進(jìn)行圖像處理的算法,其中AOD-Net 的去霧速度最快,而本文所提去霧算法的處理速度僅次于AOD-Net,處理640×480 分辨率大小的航拍視頻的幀率可達(dá)到35.71 FPS,基本能夠滿足該分辨率下的航拍圖像實(shí)時(shí)處理.

表5 去霧耗時(shí)對(duì)比(s)Table 5 Comparison of the defogging time-cost (s)

此外,由于無(wú)人機(jī)能夠攜帶的硬件設(shè)備有限,因此需要輕量級(jí)的模型,在考慮到后續(xù)圖像還需要經(jīng)過(guò)目標(biāo)檢測(cè)模型的處理,因此本文的模型需要預(yù)留較多的內(nèi)存給其余算法模型.表6 展示了每種算法的參數(shù)量以及模型大小.從中可以看出本文模型的參數(shù)量在多尺度結(jié)構(gòu)的影響下相較于AODNet 有較大的上升,這也使得本文模型體積相較于AOD-Net 更大,達(dá)到了286.5 KB,參數(shù)量和模型大小分別相較于AOD-Net 增加了10.9 倍和31.2 倍,但相較于其它對(duì)比模型,本文模型依舊較好地控制在了1 MB 以下,綜合去霧性能,去霧速度及模型大小,本文模型依舊是較理想的無(wú)人機(jī)圖像去霧算法.

表6 參數(shù)量與模型大小比較Table 6 Comparison of the parameters and model size

3.6 霧天航拍圖像的目標(biāo)檢測(cè)實(shí)驗(yàn)

本文還測(cè)試了所提算法對(duì)目標(biāo)檢測(cè)算法的輔助效果.為了體現(xiàn)所提去霧算法性能的優(yōu)秀,本文用目標(biāo)檢測(cè)算法分別對(duì)有霧圖像中的車輛和去霧后圖像中的車輛進(jìn)檢測(cè),目標(biāo)檢測(cè)算法使用的是YOLO算法[38],視頻來(lái)源于大疆Mini2 拍攝的霧天道路情況,我們從15 s 的視頻中隨機(jī)抽取了50 幀圖像進(jìn)行車輛檢測(cè)測(cè)試.

車輛檢測(cè)的主觀視覺(jué)效果如圖15 所示.從圖15中可以看出,在未被去霧算法去霧之前,圖像中能被YOLO 算法檢測(cè)出來(lái)的車輛數(shù)量有限,并且檢測(cè)的置信度數(shù)值較低,如圖15(a)所示.DCP、CAP、AOD-Net 以及FFANet 去霧后的圖像中能被YOLO 算法較為準(zhǔn)確地確定6 輛車,但DCP、CAP以及FFANet 去霧后的圖像中容易出現(xiàn)誤檢測(cè)的現(xiàn)象.BCCR、DehazeNet 與本文去霧算法效果較為理想,YOLO 算法能夠準(zhǔn)確地框出7 輛車,MSCNN、GFN 以及GCANet 效果較差,能被確定的車輛數(shù)均低于5 輛.

圖15 航拍去霧圖像中車輛檢測(cè)結(jié)果示例 ((a) 原圖;(b) DCP;(c) BCCR;(d) CAP;(e) DehazeNet;(f) MSCNN;(g) AOD-Net;(h) GFN;(i) GCANet;(j) FFANet;(k) 本文算法)Fig.15 Example of aerial image dehazing in vehicle detection ((a) Original;(b) DCP;(c) BCCR;(d) CAP;(e) DehazeNet;(f) MSCNN;(g) AOD-Net;(h) GFN;(i) GCANet;(j) FFANet;(k) Proposed algorithm)

表7 展示了50 幀圖片中框選出車輛的置信度的平均數(shù)值,并標(biāo)記出了表內(nèi)效果最好的前三個(gè)數(shù)值,從表中的客觀數(shù)值指標(biāo)中能夠看出本文所提去霧算法去霧后圖像中被檢測(cè)出的目標(biāo)車的置信度數(shù)值最高,該值相較于去霧前圖像提升了22.31%,此外圖中被檢測(cè)出的車輛數(shù)輛僅次于BCCR,綜合檢測(cè)度可以看出,本文提出的算法配合YOLO 檢測(cè)算法能夠有效檢測(cè)無(wú)人機(jī)霧天圖像中拍攝的車輛,具有一定的應(yīng)用價(jià)值.

表7 車輛檢測(cè)的置信度數(shù)值,標(biāo)出三個(gè)最優(yōu)的結(jié)果:(1) 最好的結(jié)果;(2) 次好的結(jié)果;(3) 第三好的結(jié)果Table 7 Confidence value of vehicle detection,marking the three best results:(1) The best result;(2) The second-best result;(3) The third-best result

3.7 在無(wú)霧圖像上的實(shí)驗(yàn)結(jié)果及分析

為了體現(xiàn)本文算法的穩(wěn)健性與魯棒性,所提算法除了在第3.2 節(jié)與第3.3 節(jié)中對(duì)有霧航拍圖像進(jìn)行測(cè)試,還對(duì)20 張隨機(jī)拍攝的無(wú)霧圖片補(bǔ)充了測(cè)試實(shí)驗(yàn),圖16 展示了各算法在清晰無(wú)霧圖像上的去霧效果對(duì)比,表8 展示了各算法處理的無(wú)霧圖像與原圖之間的PSNR 與SSIM 值,其中最優(yōu)值用粗體加下劃線標(biāo)出,次優(yōu)值用粗體標(biāo)出.從表8 可以看出,本文算法對(duì)無(wú)霧圖像的處理效果較為理想,而從圖16中能看出,本文算法對(duì)無(wú)霧圖像處理后依舊在某些區(qū)域出現(xiàn)了輕微的過(guò)度去霧現(xiàn)象,這種現(xiàn)象相較于其它對(duì)比算法要更加輕微.具體表現(xiàn)見(jiàn)圖16(k)路面顏色,部分路面的顏色相較于原圖的路面顏色要深一些,這說(shuō)明了本文會(huì)把灰色路面上磨砂區(qū)域的顏色錯(cuò)誤判斷為霧氣進(jìn)行過(guò)度去霧.結(jié)合有霧圖像與無(wú)霧圖像的處理結(jié)果,可以看出雖然本文模型僅采用了合成霧圖進(jìn)行訓(xùn)練,但卻夠在一定程度上區(qū)分有霧與無(wú)霧圖像,對(duì)有霧圖像能進(jìn)行有效去霧,而對(duì)輸入的自然清晰圖像的去霧負(fù)面影響較小,這也體現(xiàn)了本文改進(jìn)的算法具有一定的魯棒性.

表8 清晰航拍圖像上的客觀數(shù)值評(píng)價(jià)Table 8 Objective numerical evaluation on the clear images of aerial photography

圖16 清晰圖像上的去霧效果對(duì)比((a) 原圖;(b) DCP;(c) BCCR;(d) CAP;(e) DehazeNet;(f) MSCNN;(g) AOD-Net;(h) GFN;(i) GCANet;(j) FFANet;(k) 本文算法)Fig.16 Comparison of dehazing effects on clear images ((a) Original;(b) DCP;(c) BCCR;(d) CAP;(e) DehazeNet;(f) MSCNN;(g) AOD-Net;(h) GFN;(i) GCANet;(j) FFANet;(k) Proposed algorithm)

3.8 所提去霧算法的局限及結(jié)論

本文所提算法雖然在薄霧圖像與無(wú)霧圖像上擁有較好的處理效果,但是在某些場(chǎng)景下效果較差,其一是在濃霧情況下,本文的算法較難消除濃霧帶來(lái)的影響,無(wú)法恢復(fù)因濃霧遮擋的圖像細(xì)節(jié),例如圖17(a)內(nèi)大面積的濃霧,另外這種大面積且分布極其不均勻的霧氣會(huì)使本文算法在霧氣較薄的區(qū)域進(jìn)行過(guò)度去霧,這會(huì)導(dǎo)致出現(xiàn)如圖17(a)內(nèi)出現(xiàn)對(duì)比度升高而變暗的現(xiàn)象,原因可能是因?yàn)棣?的數(shù)值不合適,使訓(xùn)練出的模型不能適配這種霧氣濃度分布極其不均的圖像.其二是本文算法在處理強(qiáng)光源區(qū)域時(shí)會(huì)把強(qiáng)光當(dāng)成濃霧進(jìn)行處理,這會(huì)導(dǎo)致算法在去霧時(shí)出現(xiàn)一定程度的失真現(xiàn)象,并且色彩保真度也較低,例如圖8(l)第四列圖像、圖17(b)和圖17(c)部分高曝光區(qū)域周圍的天空出現(xiàn)了一定程度的失真,并且從表2 的PSNR 以及表3 的RI 定量指標(biāo)可以看出,本文算法去霧后圖像的色彩保真程度相較于對(duì)比算法并不算優(yōu)秀,綜合第3.2 節(jié),第3.3 節(jié),第3.7 節(jié)以及第3.8 節(jié)的實(shí)驗(yàn)及結(jié)論,可以判斷本文模型能夠勝任的環(huán)境為薄霧、無(wú)霧環(huán)境.目前還無(wú)法勝任的復(fù)雜環(huán)境為極低能見(jiàn)度的濃霧,并且抑制強(qiáng)光的能力較弱,未來(lái)需要考慮設(shè)計(jì)更優(yōu)質(zhì)的損失函數(shù)或改進(jìn)模型以及在訓(xùn)練數(shù)據(jù)集中加入復(fù)雜環(huán)境的圖像來(lái)提升算法適應(yīng)性與泛化性.

圖17 去霧失敗時(shí)的示例圖Fig.17 The example images of failure in defogging

4 結(jié)論

針對(duì)航拍圖像易受霧氣干擾、AOD-Net 對(duì)圖像細(xì)節(jié)恢復(fù)程度較差以及圖像偏暗的問(wèn)題,本文提出了一種基于改進(jìn)AOD-Net 的航拍圖像去霧算法,并與DCP 算法、BCCR 算法、CAP 算法、DehazeNet算法、MSCNN 算法、AOD-Net 算法、GFN 算法、GCANet 算法以及FFANet 算法進(jìn)行了對(duì)比.本文對(duì)AOD-Net 的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)以及訓(xùn)練方式進(jìn)行了改良,實(shí)驗(yàn)結(jié)果表明,本文算法雖然在去霧速度上相較于AOD-Net 有所下降,但去霧圖的對(duì)比度、色彩飽和度、色調(diào)恢復(fù)程度以及圖像明暗度相較于AOD-Net 均有較大改善.此外,本文所提算法去霧后的圖像的多項(xiàng)評(píng)價(jià)指標(biāo)數(shù)值相較于AODNet 均有明顯的提升.需要說(shuō)明的是,本文算法在濃霧圖像和強(qiáng)光源圖像上的表現(xiàn)不太理想,因此后續(xù)需要考慮增加此強(qiáng)光以及濃霧的訓(xùn)練數(shù)據(jù),同時(shí)考慮設(shè)計(jì)自適應(yīng)對(duì)比度拉伸方法來(lái)減少因過(guò)度去霧導(dǎo)致圖像過(guò)暗的現(xiàn)象.最后,綜合主客觀效果、算法耗時(shí)以及霧天航拍圖像中目標(biāo)檢測(cè)的效果,本文算法是一種較為優(yōu)秀的航拍圖像去霧算法.