改進注意力機制實現車牌圖像清晰化

呂 旋，王 標，鄒佳運，田洋川

(1.四川輕化工大學 自動化與信息工程學院，四川 宜賓 644000；2.成都視觀天下科技有限公司，四川 成都 610095)

0 引言

公安機關在破案過程中采集的車牌圖像由于運動模糊、失焦模糊、光線變化等原因無法被準確地識別，從而嚴重影響案件的偵破進度，因此對圖像進行清晰化處理具有重要的現實意義。

目前，超分辨算法主要分為3類：基于重建的算法、基于插值的算法和基于學習的算法[1]。在深度卷積神經網絡出現后，神經網絡開始大規模地被應用在圖像的超分辨處理中。2014年Dong等人提出了SRCNN[2]網絡，利用卷積神經網絡(CNN)對圖片進行超分辨處理，每個卷積核參數都是通過反向傳播更新得到，而不是人為設定。同時，深度卷積網絡會進行多層的卷積，保證了足夠大的感受野。目前已經出現VDSR[3]，EDSR[4]，DRCN[5]等眾多網絡結構算法。針對車牌這一特定領域，利用超分辨網絡來實現模糊車牌的清晰化。RCAN[6]網絡第一次將注意力機制[7]引入超分辨率領域。文中基于RCAN改進網絡，提出了基于殘差網絡的空間和通道雙重注意力網絡(RSCAN)。

文中主要創新點如下：提出了新的通道注意力機制和空間注意力機制組合的模塊(SCM)，在模型效率和計算效果上帶來提升；同時基于CCPD[8]數據集，制作新的車牌數據集，在數據集上做消融實驗，驗證提出算法的有效性；使用殘差塊，構成全局特征融合，加強各層信息的傳遞，獲得效果更好的圖像；最后改進損失函數，更加適合車牌超分辨率這一特定領域。

1 基于殘差網絡的空間和通道雙重注意力網絡

1.1網絡基本結構

超分辨率網絡框架的訓練主要由三部分構成，提升網絡的效果，也主要從這三方面改進，如圖1所示。

圖1 網絡框架主要構成Fig.1 The main components of network framework

文中在RCAN網絡的基礎上，提出RSCAN[9]。該網絡由淺層特征提取模塊、空間和通道注意力融合模塊以及圖像重建模塊構成。用ILR表示輸入的模糊車牌圖片，ICI表示輸出的清晰化圖片，用一個卷積層提取輸入圖像ILR的淺層特征，如:

FSF=HSF(ILR),

(1)

式中，HSF(·)表示使用單層卷積實現淺層特征提取。再將淺層提取的特征作為基于空間和通道注意力機制模塊的輸入，通過基于空間和通道注意力機制模塊得到映射后的高維特征，如：

FGF=HRSCAN(FSF),

(2)

式中，HRSCAF(·)表示基于空間和通道注意力機制的關于特征融合模塊的映射關系。本文提出的空間和通道注意力機制的特征融合模塊可以使網絡更加有效地利用提取的有用特征，抑制無用特征，使網絡在不增加計算的情況下有效加深網絡，增大卷積核的感受野。注意力機制融合后的特征作為上采樣的輸入，經過亞像素層[10]進行上采樣操作，得到放大的特征。如：

FUS=HUS(FGF),

(3)

式中,HUS(·)表示上采樣操作。目前在超分辨率重建領域最常用的上采樣方式有插值操作[11]、反卷積操作[12]和亞像素層操作。亞像素層是將多個特征圖重新排列合成一張更大的圖像，獲得更大的感受野，從而使網絡在重建后達到更好的效果。最后通過一個簡單的卷積將輸入的特征轉化為對應的三通道輸出圖像，如下：

ICI=HCI(FUS)=HRSCAN(ILR),

(4)

式中，HCI(·)表示重建為彩色圖片的映射函數；HRSCAN(·)表示ILR到ICI的射函數。

1.2 空間和通道注意力機制的全局特征融合模塊

在本文的網絡結構設計中，基于空間和通道的注意力機制特征融合模塊是實現特征映射的主要結構。該模塊包括A個空間和通道注意力組(Spatial and Channel Attention Groups，SCAG)和跳躍結構。

每個SCAG包含B個具有短跳躍連接的空間和通道注意力模塊(SCAB)，這樣的結構能夠使算法訓練的更深，如圖2所示。

圖2 殘差空間和通道注意力機制的網絡結構Fig.2 Network structure diagram of residual space and channel attention mechanism

第A組中的SCAG表示為：

Fa=Ha(Fa-1)=Ha(Ha-1(…H1(F0)…))，

(5)

式中，Ha為第A個SCAG；Fa-1和Fa分別是第A個SCAG的輸入和輸出，簡單地堆疊多個SCAG無法獲得更好的性能。為了解決這一問題，引入了全局殘差連接(LRC)，來穩定更深的網絡。全局殘差連接表示為：

FGF=F0+WLRFA=F0+

WLRHa(Ha-1(…H1(F0)…))。

(6)

LR不僅可以簡化SCAG之間的信息流，還可以在粗略的級別學習殘差信息。在LR輸入和特征包含著豐富的信息，網絡的目標是恢復更多有用的信息。豐富的低頻信息可以通過殘差連接傳輸到后面。

此外，每個SCAG中堆疊B個SCAB，第a個SCAG中的第b個SCAB可以表示為:

(7)

式中，Fa,b-1和Fa,b為第a個SCAG中的第b個SCAB的輸入和輸出，與SCAG模塊相似，這B個SCAB也具有局部殘差連接(SRC)，如：

Fa=Fa-1+Wa+Ha,B=Fa-1+

WaHa,B(Ha,B-1(…Ha,1(Fa-1)…)),

(8)

式中，Wa為第a個SCAB模塊尾部的一個conv的權重。LRC和SRC的存在，使更豐富的低頻信息在訓練過程中傳輸到更深層。

1.3 空間和通道注意力機制

注意力機制的提出，使得網絡能夠將更多的注意力放在有用的信息特征，對于無用的信息起到抑制作用，可以大大提高計算資源的利用率。在車牌數據集獲得質量更好的圖片。

1.3.1 空間注意力機制

空間注意力可以理解為讓神經網絡看哪里，通過注意力機制，將原始圖片中的空間信息交換到另一個空間，同時保留關鍵的信息。

Spatial Transformer[13]就是注意力機制的實現，因為訓練Spatial Transformer能夠找出信息中被關注的區域，這樣圖片局部的重要信息能夠被提取出來，如圖3所示。

圖3 空間注意力機制網絡結構圖Fig.3 Network structure diagram of spatial attention mechanism

使用一個二維卷積將通道數目壓縮為1，為了保障空間信息的充分強化，同時保障空間的權重信息，本文通過卷積操作來實現。為了更充分地提取空間信息，通過多個卷積操作，每次卷積操作縮小4倍，即W/4×H/4×1，而不是直接一個卷積變為1×1×1。

1.3.2 通道注意力機制

初始圖片經過不同的卷積核后，每一個通道都會生成新的信號，相當于每個信號都分解為核函數上的分量，給每個通道增加一個權重(權重表示該通道與關鍵信息的相關度)，權重越大，表示越需要關注該通道的信息。原文使用的注意力機制SE-NET[10]可以學習每個卷積塊的通道注意力，為各種深層CNN架構帶來明顯的性能提升，具體而言，給定輸入特征，SE模塊首先為每個通道獨立采用全局平均池化，然后使用2個全連接(FC)層以及非線性Sigmoid函數來生成通道權重。其中存在著缺陷，2個FC層旨在捕獲非線性跨通道交互，其中涉及降低維度以控制模型的復雜性，但是降維會給通道注意力預測帶來副作用，并且捕獲所有通道之間的依存關系效率不高且不必要。本文使用了一種用于深層CNN的有效通道注意(ECA-NET)[15]模塊，該模塊避免了維度縮減，并有效捕獲了跨通道交互。在不降低維度的情況下進行逐通道全局平均池化，ECA-NET通過考慮每個通道及其k個近鄰來捕獲本地跨通道交互，如圖4所示。

圖4 通道注意力機制結構Fig.4 Structure diagram of channel attention mechanism

對于ECA模塊，其中通道的權重，本模塊只考慮y{i}和它的k個鄰居之間的信息交互，計算公式為：

(9)

(10)

根據上面的分析，提出一種新的方法。該方法可以通過卷積核大小為K的一維卷積來實現通道之間的信息交互，如：

w=σ(C1D(y))，

(11)

式中，C1D代表一維卷積，它只涉及K個參數信息，因此，這種捕捉跨通道信息交互的方法保證了性能結果和模型效率。

由于ECA模塊旨在適當捕獲局部跨道信息交互，因此需要確定通道交互信息的大致范圍(即1D卷積的卷積核大小k)。雖然可以針對各種CNN架構中具有不同通道數的卷積塊進行手動優化設置信息交互的最佳范圍，但是通過手動進行交叉驗證調整將花費大量計算資源。而且分組卷積已成功地用于改善CNN架構，在固定group數量的情況下，高維(低維)通道與長距離(短距離)卷積成正比。同理，跨通道信息交互作用的覆蓋范圍(即一維卷積的內核大小k)與通道維數C也是成正比的。

該方法保證了模型效率和計算效果。給定通道維數C，k與c之間有一種映射關系，如：

C=φ(k)=2(r*k-b)，

(12)

式中，2的次方是考慮通道數量的設計一般都是以2的次方，這樣可以更方便地計算模塊K，并且r和b分別取2和1。

那么自適應卷積核大小(k)便可根據下面公式計算得到，即：

(13)

最后將提出的空間和通道注意力結合在一起，通過組合構建了具有空間和通道注意力機制的網絡結構，結構如圖5所示。

圖5 空間和通道注意力模塊(SCAB)結構Fig.5 Structure diagram of space and channel attention module (SCAB)

1.4 損失函數

損失函數：損失函數有L1、L2[16]、MSE[17]、GAN[18]的loss以及紋理結構perceptual loss[19]，為了保障有效性，清晰化目的主要是恢復至肉眼可以識別，所以選擇了L1 loss，即：

(14)

已經有人提出了梯度輪廓先驗(GPP)算法[20]，以在SISR任務中產生更尖銳的邊緣。隨后提出了梯度場的變換方法。該方法將梯度輪廓曲線按一定比例進行壓縮，并將圖像轉換為更清晰的圖像。這種方法是在深度學習時代之前提出的，因此它只會使梯度場的曲線更清晰，而不需要監督。

由于制作了成對的車牌超分辨率數據集，可以使用HR圖像的梯度場作為Ground Truth。通常，車牌圖像只包含2種顏色：字符和背景。這意味著文本圖像中不存在復雜的紋理，只需要注意字符和背景之間的邊界。因此，更好的圖像質量意味著更清晰的邊界，而不是平滑的字符。當背景不是純色時，梯度場有時并不完全是背景和字符之間的邊界。但大多數樣例都能達到目的，對訓練很有用。具有2個優點：① 梯度場生動地表現了文本和背景這2個文本圖像的特征；② LR圖像具有較寬的梯度場曲線，而HR圖像則具有較窄的梯度場曲線。通過數學計算可以方便地生成梯度場曲線，這確保了一個保密的監督。損失函數為：

LGP=Ex‖IHR(x)-ISR(x)‖，

(15)

模型的損失函數由L1損失函數和梯度損失函數共同構成，即：

L=L(θ)+λLGP。

(16)

2 實驗設置及結果分析

2.1 數據集

基于提出的RSCAN網絡，進行模糊車牌清晰化處理實驗。實驗所采用的圖片均裁剪自CCPD數據集，對于裁剪的車牌圖像，進行了上下翻轉作為高分辨率圖像，相應的低分辨率圖像制作，采用雙三次下采樣產生的低分辨率圖片。

2.2 性能評價指標

不能僅憑視覺效果進行模型評價，需要采用峰值信噪比(PSNR)和結構相似性(SSIM)[21]進行模型效果的評價，PSNR為：

(17)

式中，MAX為每個像素盡可能的最大像素值，為255；MSE為圖像與圖像之間的對應像素的均方誤差。PSNR越大說明圖片的生成效果越好。

結構相似性SSIM公式為：

(18)

式中，l(x,y)為高度比較；c(x,y)為對比度比較；s(x,y)為結構比較；μx和μy分別代表x和y的平均值；σx和σy分別代表x和y的標準差；σxy代表x和y的協方差；而c1,c2,c3都為常數，避免分母為0導致的系統錯誤。

2.3 網絡的超參數設置

為了避免網絡在訓練過程中出現欠擬合的情況，本文的數據集、訓練集高低分辨率圖像一共30 000張，測試集一共4 000張，設置Batch-size為16，即每次訓練時抽取16張48 pixel×48 pixel的低分辨率圖像集對應標簽圖像進行訓練。模糊車牌清晰化只需要將模糊車牌恢復到肉眼可以識別，所以并不需要太深的神經網絡。經過實驗在網絡結構中設置A=10，B=20網絡，RSCAN包括10個SCAG模塊，每個SCAG模塊包含20個SCAB模塊。除了在通道注意力機制內通道壓縮和擴增及特征融合的瓶頸層采用的1×1卷積核，其余卷積核大小均為3×3，空間注意力機制采用的卷積和反卷積的卷積核大小也為3×3，其步長為3，epoch=300。在訓練過程中，網絡訓練采用補0的策略來達到保持中間特征映射大小一致。對于通道注意力，其中卷積核大小k=3。

本文網絡模型采用ADAM優化器，β1=0.9，β2=0.999，ε=10-8，初始學習率設置為10-4，每當2×105次迭代后網絡學習率就下降為原來的一半，每1 000次迭代后在車牌數據集上做一次測試，方便查看網絡的訓練情況，從而可以根據訓練情況調整網絡超參數。最后為了驗證網絡的泛化能力以及車牌恢復效果，利用互聯網上的真實模糊車牌圖片來測試。硬件信息如表1所示。

表1 實驗的軟硬件平臺Tab.1 Software and hardware platform of the experiment

2.4 消融實驗

為了更清晰地展示本文的創新措施是否有效提升圖像恢復的質量，在4 000張車牌圖片組成的測試集上，對提出的改進點進行消融實驗對比。

2.4.1 SE-NET與ECA-NET的影響

首先為了驗證改進的通道注意力機制的有效性本文在只使用通道注意力機制的情況下進行如下對比實驗：一是網絡仍使用SE-NET模塊；一是網絡使用ECA-NET，具體消融實驗結果如表2所示。

表2 不同通道注意力在車牌數據集(×4)上的比較Tab.2 Comparison of the attention of different channels on the license plate data set (×4)

表2中，√表示網絡使用該模塊，×表示不選擇該模塊，實驗對比使用不同模塊的情況下，網絡模型在模糊車牌清晰化中展現出的效果，以自制車牌數據集的評測指標作為對比，可以發現使用ECA-NET相較于SE-NET在PSNR上的指標提升了0.074 dB。說明本文使用的通道注意力機制具有更好的效果。

2.4.2 空間與通道注意力機制的影響

最后在車牌數據集，比較使用通道注意力機制和本文提出的空間和通道注意力機制，在模糊車牌恢復效果上的差別，具體實驗結果如表3所示。

表3 空間與通道注意力在車牌數據集(×4)上的影響Tab.3 The influence of spatial and channel attention on the license plate data set (×4)

可以看到使用通道和空間注意力機制的算法有0.101 dB的提升，說明本文使用的空間和通道注意力機制對于模糊車牌圖片的恢復有更好的效果。

2.4.3 損失函數的影響

在最終的RSCAN網絡結構上，實驗使用L1損失函數以及改進損失函數L在網絡中的效果，結果如表4所示。

表4 不同損失函數的影響Tab.4 The influence of different loss functions

表4的結果顯示，雖然使用改進的損失函數，PSNR值有所降低，但是超分辨重建的車牌圖片在視覺上取得了更好的效果，具體結果如表5所示。

表5 不同損失函數的效果Tab.5 Effect diagrams of different loss functions

2.5 實驗結果與討論

測試主要比較了RCAN模型和本文提出的RSCAN模型。首先肉眼就可以看出將神經網絡應用于模糊車牌清晰化，取得了很好的效果，說明本文的思路是可行的。同時本文的RSCAN模型恢復的圖片細節方面的效果更好，如表6所示。使用RSCAN與其他一部分經典的超分辨(×4)網絡進行對比，檢測RSCAN網絡的優越性，如表7所示。

表6 RCAN與RSCAN測試結果比較Tab.6 Comparison of RCAN and RSCAN test results

表7 不同超分辨方法(×4)對比Tab.7 Comparison of different super-resolution methods (×4)

3 結束語

針對車牌識別遇到的一些模糊問題，根據現有的利用注意力機制的超分辨模型進行改進，提出使用ECA-NET結構，同時加入空間注意力機制。2種注意力機制的融合可以有效地獲取不同特征的權重值，使得網絡可以根據權重精準分配計算資源，在引入極少參數的同時有效地提高了超分辨率重建的質量。為了獲得更好的車牌恢復結果，改進損失函數，使用自制的車牌數據集，針對車牌這一特定情況，可以產生更好的恢復效果。實驗證明提出的車牌重建算法，在評價指標結果上有所提高，同時對一些真實圖片的恢復處理也取得了不錯的效果。