注意力機制下的多層次特征融合圖像去霧算法

連文杰, 葉少珍, 2

(1. 福州大學計算機與大數據學院, 福建 福州 350108; 2. 福州大學智能制造仿真研究院, 福建 福州 350108)

0 引言

基于深度學習的去霧方法是通過建立網絡模型, 高效學習有霧圖像與清晰圖像的關聯, 通過建立損失函數不斷調整網絡模型使得在學習結束后得到高質量的恢復圖像. 與基于圖像增強[1]和圖像復原[2]的去霧方法相比, 深度學習在圖像識別處理方面取得了更優越的效果, 因此現在仍然被廣泛研究. 文獻[3]建立了卷積神經網絡模型, 訓練學習有霧圖像與其場景透射率的關系, 代入大氣散射模型實現圖像去霧; 文獻[4]利用大氣散射模型將大氣光照值和透射率重新組合成一個新的變量值, 重構物理模型進行特征學習實現去霧; 文獻[5]提出一種通過多引導雙邊學習的超高清圖像去霧化方法, 使用深度神經網絡來建立一個仿射雙邊網格, 可以較好保持圖像中詳細的邊緣和紋理. 文獻[6]將全局和局部交互集成在一起, 從而在有限計算資源的情況下, 更好地平衡模型容量和泛化能力. 總的來說, 上述算法主要分為估計參數法和直接修復法. 如DCP[7]、 AOD-Net[4]等, 都是通過估計透射率, 或結合大氣散射模型等物理模型實現去霧效果. 如GFN[8]、 EPDN[9]等更多是通過特征融合的方法直接對圖像進行修復. 但是這些算法都不能完美地解決去霧問題, 對于不同濃度的、 分布不均的帶霧圖而言, 大都表現得比較乏力, 有一部分在顏色較深的場景不能實現好的效果, 尤其在處理藍天、 密林等特殊的場景中.

本研究提出一種基于注意力機制的多層次融合圖像去霧算法, 分為提取特征、 融合特征和圖像重建3個部分, 通過不同的方法提取不同層次特征, 以注意力機制將特征進行融合, 能夠更好地捕捉全局特征信息、 進行圖像重建, 從而得到清晰的去霧圖像.

1 注意力機制

將模擬人類注意力的想法運用在計算機科學中, 最早的想法出現在計算機視覺領域. 只關注圖像的部分重要區域, 而不是每次都對整個圖像進行分析計算, 以此來降低圖像處理的計算復雜度, 同時提高性能. 目前所知道的注意力機制的真正起點通常是源于自然語言處理領域, 如Bahdanau等[10]的在機器翻譯模型中實現了注意力模型, 以解決循環神經網絡結構中的某些問題. 在此之后, 注意力機制高速發展, 并迅速流行于各種任務, 如文本分析、 字幕處理、 圖像復原和語音識別等.

注意力函數Attention從本質上來說, 就是能在輸入的眾多特征中精準快速找到有用的信息, 同時選擇性忽略不太重要的特征信息, 其結果通常都是生成權重矩陣, 為不同的特征賦予不同的權重, 其通用公式可定義為

(1)

其中:Q為查詢語句;K是關鍵字;V是輸入特征向量;dk為詞向量的長度, 首先Q與K的轉置做一個點積運算, 生成所需的相似度矩陣, 將得到的結果除以詞向量的長度, 目的是為了減小點積運算引起的方差過大的問題, 使其訓練時梯度更新更加穩定. 再將其做一個歸一化(softmax)處理, 得到權重系數矩陣, 最后將系數矩陣與V做張量乘法計算加權, 這樣做能最大限度地保留輸入的特征. 通過這樣計算得到的權重矩陣在訓練中的泛化能力更高, 增強了表達能力, 能夠更好地定位到特征圖中最需要關注的部分.

1.1 通道注意力

對于輸入是二維圖像的神經網絡來說, 兩個維度分別是以長寬組成的尺度空間和通道數. 考慮到特征圖過多的通道數對于關鍵信息的貢獻不同, 本模型為每個通道上的信息都賦予一個權重值, 權重越高說明通道信息越重要. 在通道域中生成注意力掩碼, 并使用它選擇重要通道. 其中最經典的就是文獻[11]提出的一種基于通道注意力機制的網絡(squeeze-and-excitation networks, SENet).

SENet 主體網絡結構如圖1所示, 在普通卷積之后引出一個分支, 將特征圖的[H,W]壓縮為[1, 1], 即圖1中的Fsq操作, 它是一種將空間維度進行特征壓縮, 但是特征通道數不發生變化, 是一個全局的池化操作. 將得到的值送入一個兩層的全連接神經網絡, 運用ReLU和Sigmoid兩種激活函數, 為每個特征通道生成不同的權重系數, 即圖1中的Fex操作. 所以FC的計算公式被定義為

FC=F?Fex(F,W)=F?σ(W2δ(W1F))

(2)

圖1 SENet主體網絡結構Fig.1 SENet main network structure

式中:σ為ReLU激活函數;δ為Sigmoid激活函數;W1、W2為中間特征向量;Fscale為按通道元素相乘的操作.通過Fex操作之后將得到的權重與輸入特征F相乘得到新特征FC, 將權重應用于原來的每個特征通道.這幫助本文網絡的性能得到明顯的提升, 與其他增加網絡深度來提升性能但計算量大大增加的方法不同, 這種方法只增加了少量的計算量.

1.2 空間注意力

對于一張特征圖, 維度是H×W×C, 與通道注意力不同, 空間注意力關注的是在H×W平面中, 比較有意義的像素點代表的特征.與通道注意力相似的有

FS=F?σ(f5×5([AvgPool(F); MaxPool(F)]))

(3)

式中:σ為ReLU激活函數.對于一個H×W×C的特征F, 為了計算其空間注意力, 首先沿通道軸使用平均池化(AvgPool)和最大池化(MaxPool)兩個操作, 使特征通道數變為1, 并將它們連接起來以生成一個有效的特征表達, 再將其經過一個5×5的卷積層, 得到的空間注意權重系數Ms與特征F相乘得到空間注意特征.對于所有的通道, 在二維平面上, 對H×W特征圖的每個像素點都會被賦予一個權重值.同樣的, 權重值越高意味著像素點的空間位置信息越重要.

2 去霧模型構建

本研究提出了一個基于注意力機制的多層次特征提取去霧網絡模型, 如圖2所示. 主要由兩個部分構成, 黃色框部分是一個三層次的特征提取增強模塊, 第一層特征提取階段由殘差密集網絡構成, 將特征通道數增加到32, 接下來兩個階段都是由自校準卷積網絡組成, 它們分別將通道數提升至64和128, 同時分別將特征分辨率降低了一半. 不同于很多任務只用第三階段的輸出, 選擇將三個階段的輸出全部反饋到圖2紅色框中的注意力模塊中. 這個部分結合了通道注意力和空間注意力的雙重注意單元, 第三層次的注意力結果與第二層次的注意力結果連接在一起再送入一個雙重注意單元, 經過一個線性插值上采樣層之后再與第一層次的注意力結果連接在一起, 最后將這個結果再通過一個像素注意力單元, 網絡捕獲到更關鍵和信息豐富的特征, 以實現更好的去霧結果. 最終的圖像重建由簡單的元素相加和一個3×3的卷積層組成.

圖2 去霧網絡模型結構Fig.2 Structure of dehaze network model

2.1 特征提取增強模塊

2.1.1殘差密集網絡

在大多數去霧網絡中, 低分辨率圖像的層次特征經常被忽略拋棄, 但其同樣蘊含大量細節特征信息, 文獻[12]提出一種殘差密集網絡來解決這一問題, 并且取得了較好的結果. 受其啟發, 本研究提出一種低層次特征提取網絡, 如圖3所示. 主體結構包含兩個3×3的卷積, 連接3個殘差密集塊(residual dense block, RDB), 再連接一個特征融合模塊, 最后再通過一個3×3的卷積得到低層次特征F′.

圖3 殘差密集提取網絡結構Fig.3 Residual dense extraction network structure

圖3黃色框中給出了RDB塊的基本結構, 它包含密集連接層、 局部特征融合和局部殘差學習, 從而形成連續存儲機制. 連續存儲機制使得前一個RDB的狀態信息能夠傳遞給當前RDB的每一層卷積, 更充分地提取低層次特征, 如圖3黃色框中藍色弧線部分. 第n個RDB的第c層輸出可被表示為

Fn, c=σ(Wn, c[Fn-1,Fn, 1, …,Fn, c-1])

(4)

式中:σ為ReLU激活函數;Wn, c為第c個卷積層的權重值. 將每個RDB的每一層的輸出特征進行映射拼接, 前一個RDB和當前RDB的每一層都直接連接到后續層, 通過這種連接方式很好地保留了前饋特征, 也能很好地保留局部特征. 網絡自適應融合前一個RDB和當前RDB中整個網絡層的狀態, 本方法中選擇使用3個RDB塊作為網絡的主干, 在得到每個RDB局部信息特征之后, 再進行一個全局特征融合和全局殘差學習. 與RDB內部相似, Concat層融合每一個RDB的輸出特征, 并且與初始輸入特征進行一個全局殘差學習, 如圖3中綠色箭頭所示, 更好地保留了低層次特征, 減少信息丟失.

最后將融合好的RDB特征送入一個3×3的卷積并將得到的特征與其自身再做一個融合, 得到第一層次的提取特征, 其結果可被定義為

F′=Fcat+Conv(Fcat)

(5)

式中: Covn是一個3×3的卷積操作;Fcat為RDB特征經過全局融合和殘差學習后的結果, 以此作為特征提取的第一層很好地保留了低層次的特征, 有助于恢復圖像細節部分.

2.1.2自校準卷積網絡

自校準卷積網絡是一種較新穎的卷積層, 文獻[13]首次提出它的結構, 它首先將通道特征分割為通道數減半的兩個部分, 將其分別通過不同的濾波器來提取和融合多尺度特征, 最后再將兩個部分的特征相加, 得到新的特征. 它每個空間位置不僅可以自適應地感受上下文信息, 還可以建模通道間的依賴關系, 以此來自動調整其感受野大小和形狀, 以更好地捕捉輸入數據的特征. 同時自校準操作只考慮每個空間位置的上下文信息而不會考慮全局信息, 減少了其他不相關區域信息的影響. 該方法基于一種自適應機制, 根據輸入特征的統計屬性學習調制卷積濾波器的權重, 可以顯著提高卷積神經網絡的準確性, 而不增加計算復雜度.

本研究提出一種基于自校準卷積的特征提取模塊, 如圖4所示. 首先是兩個3×3的卷積, 將特征通道數變為原來的兩倍, 之后引入自校準卷積網絡(SConv)來擴大卷積層的感受野, 使其能捕捉到更多細節特征, 最后再傳入一個3×3的卷積, 并且進行一個上采樣操作得到高層次特征Fout.

圖4 自校準卷積提取網絡Fig.4 Self-calibration convolution extraction network

2.2 雙重注意力單元

本節的目標是通過使用注意力機制來增加特征的表達能力, 文獻[14]提出一種結合通道注意力和空間注意力的雙重注意單元, 參考其思路, 本研究將其改造成特征提取融合的一個重要模塊, 也是本網絡的中心部分, 其具體結構如圖5所示.

圖5 雙重注意單元模塊Fig.5 Dual attention unit

3個層次的特征都分別輸入到雙重注意單元, 輸入特征首先先經過一個由兩個3×3的卷積和PReLU激活函數組成的網絡, 然后分別通過通道注意力層和空間注意力層得到特征FC和FS, 將這兩個特征張量進行拼接之后再經過一個3×3的卷積, 為了防止網絡退化, 最后將其與淺層特征Fin做一個殘差跳躍連接得到最后輸出Fout, 由式(2)～(3)可得

Fout=C(FC,FS)⊕Fin

(6)

式中:C為張量拼接計算. 卷積運算通過混合跨通道和空間信息來提取信息特征, 兩個注意力單元可以分別在通道和空間軸上學習到重要特征, 并且能在空間準確地定位, 通過不斷地增強和抑制不同的特征信息, 幫助網絡中的信息更高效地流動.

2.3 損失函數

為了優化前文所提出來的網絡, 應用了均方損失函數(mse)、 邊緣損失函數(edge)及魯棒性損失函數(charbonnier). 均方損失函數用于測量清晰圖像與去霧圖像在像素方面的差異, 邊緣損失函數有助于復原更多的細節, 魯棒性損失函數可以增強圖像的真實感. 因此總損失函數(L)被定義為

L=Lmse+αLedge+βLcharbonnier

(7)

其中:α、β是用來調整兩個損失函數相對權重的參數.在本實驗中,α=β=0.01.

3 實驗結果與分析

由于目前很難收集到大量真實世界的霧霾圖像和無霧圖像, 大多數的圖像去霧任務都使用RESIDE數據集來作為訓練和測試的數據集. 本實驗使用它的室內訓練集(13 990張圖片)和室外訓練集(29 405張圖片)進行模型的訓練, 并且使用綜合客觀測試集來進行模型效果的測試.

3.1 定量分析

為了更好地評價圖像去霧的質量, 使用峰值信噪比(peak signal to noise ratio,RPSN)和結構相似度(structural similarity,MSSI)來作為定量分析的客觀指標.RPSN是基于對應像素點之間的誤差, 即基于誤差敏感的圖像質量評價.MSSI分別從亮度、 對比度、 結構3方面度量圖像相似性. 本文算法與經典的圖像去霧算法進行對比, 其中包括DCP[7]、 AOD-Net[4]、 GFN[8]、 EPDN[9]、 RefineDNet[15]、 D4[16]、 4KDehazing[5]. 表1展示了本文算法與其他算法在RESIDE綜合測試集上的測試結果, 從中可以看出本文算法在室內外的測試集上RPSN、MSSI均取得了最高值, 說明本文算法對比其他算法具有一定的優勢, 去霧圖像受噪聲的影響更小, 去霧前后的圖像具有更高的相似度.

表1 不同算法的RPSN和MSSI對比結果

3.2 定性分析

圖6為在RESIDE綜合測試集中的部分去霧結果. 為了更好地證明本文算法的優勢, 在室內測試集中分別選擇了顏色亮眼的圖片、 光線充足的圖片和光線較暗的圖片, 在室外測試集中分別選擇了薄霧圖片、 中霧圖片和濃霧圖片, 以此從多個角度來對比效果. 通過對比發現, 雖然幾種算法都能達到去霧效果, 但去霧效果并不是都能令人滿意. AOD-Net算法處理后的圖像整體亮度偏暗, 色彩顏色偏重甚至有一點失真, 尤其在較暗處和濃霧處效果并不理想; GCA算法在處理室內的圖片取得了比較好的效果, 但是在室外圖片, 尤其是有藍天的圖片, 出現了黑斑, 并且背景顏色有一些偏淺; RefineDNet算法在室內光線較亮和較暗的圖片去霧不徹底, 在室外圖片的邊緣處理有一些偏暗, 在密集樹葉部分顏色較深; 4Kdehazing算法對于室內圖片去霧效果不徹底, 對于藍天處也還存在薄霧, 而在光線曝光處處理后帶有黑影. 本文算法在以上幾種場景中都取得了較好的去霧效果, 具有最好的視覺效果, 最接近真實圖像.

圖6 不同算法在RESIDE數據集上的測試結果Fig.6 Test results of different algorithms on RESIDE dataset

3.3 消融實驗

消融實驗能驗證前文所提出的幾個模塊的有效性. 消融實驗的詳細配置如表2所示.

表2 消融實驗配置

其中主干網絡的三層提取特征網絡都是由一個3×3的卷積和兩個殘差塊組成, 圖像特征融合重建部分使用普通的通道注意力層. 消融實驗是在RESIDE室內測試集中測試的, 具體指標見表3.

表3 消融實驗結果

從表3結果可知, 在特征提取三層網絡單獨使用殘差密集網絡和自校準卷積網絡都能使網絡提取能力增強(對比網絡1和對比網絡2), 但是將這二者結合(對比網絡3), 也就是使用本文網絡的結構可以進一步提高網絡的特征提取能力. 在將普通注意力層換成雙重注意單元之后(對比網絡4), 使網絡性能進一步提升. 最后再加上像素注意力層(本文網絡), 雖然對RPSN影響不大, 但是能使MSSI小幅度提升. 從實驗中可以看出, 本文提出的幾個模塊都對網絡性能的提升具有一定的幫助, 實現更好的圖像去霧效果.

4 結語

為了更好地解決傳統去霧算法中圖片銳化嚴重、 部分失真的問題, 本研究提出一種基于注意力機制的多層次特征融合的圖像去霧算法. 利用密集殘差網絡和自校準卷積網絡高效地提取到各個層次的特征, 不僅擴大了網絡的感受野, 同時也更好地保留住低層次特征. 結合通道注意力、 空間注意力和像素注意力將特征進行提取融合, 使得網絡中的信息流動更加高效準確, 同時在處理一些特殊的邊緣特征上也有較好的效果, 以此來重建恢復去霧圖像. 實驗表明, 文中使用的幾個模塊都能使網絡的性能提升, 尤其是殘差密集網絡和自校準卷積網絡的配合使用效果尤為突出. 本文算法大大提高了圖像的能見度, 與其他算法相比, 峰值信噪比和結構相似性都有所提高, 并且增強了主觀效果, 在細節處理之處也比其他算法更好.