基于自適應殘差的運動圖像去模糊

歐陽寧，鄧超陽，林樂平

(1.桂林電子科技大學 認知無線電與信息處理省部共建教育部重點實驗室，廣西 桂林 541004； 2.桂林電子科技大學 信息與通信學院，廣西 桂林 541004)

0 引 言

運動圖像去模糊的目的是在給定運動模糊圖像的情況下，對未知的清晰圖像進行重建估計。傳統的運動圖像去模糊方法對模糊核的模型和參數進行估計，并在目標函數優化中，利用不同的自然先驗，如暗通道先驗[1]、數據驅動先驗[2]等，提高參數估計精度及去模糊質量。但傳統方法受到模糊核估計和對模糊源建模不準確的限制，導致圖像重建質量不高。此外，基于深度學習的運動圖像去模糊方法通過卷積神經網絡(convolutional neural network，CNN)強大的特征學習能力，能夠更好地抓取圖像特征，提高去模糊效果。然而，由于標準卷積的幾何結構是固定的，在對非均勻的運動模糊圖像提取圖像特征時局限性很大。其次，在網絡設計時都是通過加深網絡模型來擴大全局感受野，從而捕獲高頻信息，但過深的網絡模型容易導致訓練困難。

針對以上基于深度學習的運動圖像去模糊方法的不足，本文在對抗網絡基礎上提出一種基于自適應殘差的運動圖像去模糊方法。該方法在生成網絡中構造了由形變卷積模塊(deformation convolution module，DCM)[3]和通道注意力模塊(channel attention module，CAM)[4]共同組成的自適應殘差模塊(adaptive residual module，ARM)。形變卷積模塊根據所提取圖像特征的尺寸及形狀自適應的變化卷積核，促使網絡從空間層面去適應運動模糊圖像形變導致的非均勻性。通道注意力模塊則自適應地重新縮放特征，使網絡不僅能夠獲得更大的全局感受野，同時還能增強深度網絡辨別學習能力，更好關注高頻特征的學習，重建圖像的紋理細節。

1 相關研究

目前，基于深度學習在圖像復原方面的快速發展，將其運用于運動圖像去模糊的研究獲得了顯著的成果。Sun等[5]利用深層的卷積神經網絡估計圖像patch級別上的運動核的概率，然后使用馬爾可夫隨機場將基于patch的估計融合到運動核的密集域中。同時為了提高其在運動核估計中的性能，利用圖像旋轉技術擴展CNN所估計的候選運動核集。相比較傳統的手工估計模糊核的方法，CNN強大的特征學習能力，可以有效估計空間變化的運動核，能夠較好消除運動模糊。Gong等[6]將非均勻的運動模糊表示為像素方向的線性運動模糊，所提出的方法利用全卷積神經網絡(fully-convolutional deep neural network，FCNN)估計密集運動流圖進行模糊去除。與添加圖像先驗來估計模糊核相比，學習運動流可以使模型專注于模糊的原因，而不需要對圖像內容進行建模，減少了學習的復雜度。文獻[5,6]都是利用卷積神經網絡估計模糊核，然后利用傳統非盲去模糊算法在運動模糊中獲得清晰圖像。為了避免估計模糊核所帶來的不適定性，以及非盲去模糊算法繁復的計算。文獻[7]利用端到端的多尺度CNN策略來分解去模糊任務的復雜性，能夠在遮擋、運動視差和相機旋轉等動態情況下恢復清晰的圖像。另一方面，隨著生成對抗網絡的提出，將其用于各種圖像轉換任務表現出強大的生成能力。受此啟發，Kupyn等[8]使用條件對抗網絡結合感知損失進行盲運動去模糊。對抗網絡通過對圖形結構的學習，能夠快速重建出逼真的生成圖像。與此同時，通過感知損失對對抗網絡進行約束，保證了生成圖像的感知保真度。

盡管當前一些基于深度學習的運動圖像去模糊方法已經獲得了一定的效果，但在設計CNN結構時未考慮到由運動模糊圖像形變引起的非均勻性，使用標準卷積中相同的卷積核參數來處理非均勻的模糊內容，會導致網絡在對一些復雜場景下生成的模糊圖像去模糊效果較差。其次，隨著網絡加深，容易導致網絡難以訓練，無法有效提取高頻信息。

另一方面，形變卷積模塊通過對空間采樣的位置信息做進一步位移調整，以此來削弱標準卷積結構中的規則格點采樣導致網絡難以適應物體幾何形變的限制。這種自適應動態采樣的出現為解決運動模糊圖像的非均性問題提供了新的指導思路。除此之外，針對當前在空間中加深網絡模型容易使模型難以訓練等問題，通道注意力模塊采用一種全新的特征重標定策略。具體來說，就是從通道維度考慮特征之間的相互依賴性，通過學習的方式來自動獲取到每個通道特征的重要程度，提升對重要特征的學習并抑制用處不大的特征。在增加少許計算量的情況下，不僅能夠擴大全局感受野，還能使網絡在訓練過程中更加關注含有豐富高頻信息的通道，提高網絡性能。基于此思想的運用，在圖像超分辨率[9]以及圖像去噪[10]等圖像轉換任務獲得了理想的效果。通道注意力模塊的研究為恢復模糊圖像的高頻細節奠定了基礎。

基于前人的工作，本文在對抗網絡基礎上提出的基于自適應殘差的運動圖像去模糊方法。通過所構造的自適應殘差模塊，充分融合了形變卷積模塊和通道注意力模塊的優勢。能夠實現高效的模糊圖像復原。

2 基于自適應殘差的運動圖像去模糊

2.1 生成網絡

如圖1所示，生成網絡G分為3部分：淺層特征提取模塊(Me)、自適應殘差模塊(ARM)以及特征重建模塊(Mr)。Me由一個7×7卷積層和兩個3×3的卷積層組成，在每個卷積層后面都加入實例歸一化(instance normalization，IN)[12]和ReLU函數。實例歸一化層負責對通道特征的大小做歸一化，因為對于卷積神經網絡圖像去模糊來說，生成結果主要依賴于某個清晰圖像實例，保持每個圖像實例之間的獨立，可以加速模型收斂。Me的作用是對輸入的模糊圖像B進行淺層特征提取，得到淺層特征P0

圖1 網絡結構

P0=Me(B)

(1)

接下來，在淺層特征提取模塊之后加入多個ARM，對淺層特征P0進行深層次特征學習

Pr=Pl(Pl-1(…P1(P0)…))

(2)

Pl表示利用l個ARM進行深層次特征學習。權衡模型計算量與去模糊效果，本文只使用9個ARM。ARM由殘差基本塊級聯形變卷積模塊和通道注意力模塊構成。形變卷積模塊幫助網絡在提取特征時更好適應圖形的幾何形變，通道注意力模塊則能夠使網絡辨別性的學習各通道特征，提升網絡性能。其次，在每個ARM中使用的短跳連接(short skip connection，SSC)可以促進圖像低頻信息的流動，并且有助于緩解梯度消失和梯度爆炸等問題。最終，在經過多個ARM自適應抓取特征后所得到的深層次特征Pr包含更多的高頻細節信息。特征重建模塊Mr由轉置卷積和7×7卷積組成，轉置卷積后面加入實例歸一化和ReLU，使用tanh作為激活函數。特征重建模塊能夠對ARM所學習的深層次特征Pr進行重建，并結合能夠保持全局結構的全局跳躍連接(global skip connection，GSC)得到去模糊圖像y。最終由生成網絡G生成的去模糊圖像y可表示為

y=G(B)=B+Mr(Pr)=B+Mr(Pl(Pl-1(…P1(P0)…)))

(3)

2.2 判別網絡

對抗訓練已被證明可以有效地合成真實的圖像，在對抗網絡中，生成器G的目標是生成盡可能真實的圖像來欺騙判別器，判別器D的目的是將真實的圖像與生成器生成的圖像區分開來。通過生成器與判別器之間的對抗式訓練，使得生成網絡的生成能力不斷提升，最終可以復原出與清晰圖像高度相似的去模糊圖像。本模型的判別網絡使用PatchGAN方式。PatchGAN在圖像中N×N大小的圖像塊上判別出此圖像是屬于生成的去模糊圖像還是清晰圖像。為了減少PatchGAN的運行參數，設置N=64，既能夠快速判別出真假，又能準確恢復重要的圖像信息。如圖1所示的判別網絡λ1包含5個卷積層，卷積核大小都設置為4×4，除了第一層和最后一層卷積外，每一層卷積層后面都加入實例歸一化和非線性激活函數LeakyReLU。

2.3 自適應殘差模塊設計

圖2 自適應殘差模塊

2.3.1 形變卷積模塊

形變卷積模塊[3](DCM)的輸入為殘差特征。如圖3所示的輸入特征圖的白點部分，表示標準卷積結構對輸入特征圖使用規則的矩形網格進行采樣。當采用傳統的標準卷積結構對輸入的特征進行特征提取時，所獲取的特征映射fs的每個位置Pb表示如下

(4)

R表示標準的卷積結構，Pn為R的枚舉位置。但傳統的標準卷積結構未考慮到圖像的形變信息，所以在形變卷積模塊中，先利用額外的常規卷積Pa學習輸入特征的偏移量ΔPn，這個偏移量就代表圖像的形變信息，隨后把偏移量ΔPn加入到原先的白點所示的規則采樣位置得到如圖3的黑點表示的新的采樣位置，圖中(w1,w2,…w9)表示3×3大小的卷積核，它根據新的采樣位置而進行動態變化，以適應非均勻的模糊內容，最終得到的形變特征fc如下所示

圖3 形變卷積模塊

(5)

2.3.2 通道注意力模塊

通道注意力模塊[4](CAM)結構如圖4所示。通道注意力模塊的輸入來自于前一階段形變卷積模塊所提取的形變特征fc。首先，利用全局平均池化yp將形變特征fc由大小為H×W×C減小到1×1×C。此時的fc變成一個實數yc，這個實數具有全局感受野，它表征著在特征通道上響應的全局分布，而且使得靠近輸入的層也可以獲得全局感受野。如式(6)所示

圖4 通道注意力模塊

(6)

為了建模圖像特征各通道間的相關性，通道注意力引入門控機制Fex，它使用sigmoid函數和ReLU函數來體現

rc=Fex(yc)=β(HUδ(HD(yc)))

(7)

(8)

總的來說，前一階段輸入的形變特征fc通過通道注意力模塊的提取后被自適應地重新縮放選擇，可以使網絡更加關注于含有高頻特征的通道，增加對冗余特征的抑制，從而提升網絡性能。

2.4 多損失融合的優化方法

本文基于對抗網絡結構，其對抗性訓練的目標函數可以被表述為解決下列最小-最大問題

(9)

如式(9)所示，使用Wasserstein distance[13]作為判別的標準，Zg是生成圖片的數據分布，Zr是真實數據的數據分布。生成器G的目的是盡量使這個目標函數最小，而判別器D盡量最大化目標函數。其對抗損失借鑒文獻[8]中的LGAN，可如下所示

(10)

為進一步緩解對抗網絡訓練時的梯度消失或者梯度爆炸，用梯度懲罰[14]對LGAN進行約束

(11)

基于以上分析，為提升對抗網絡訓練的穩定性及圖像質量重建，本文將感知損失[15]、像素空間損失[16]與以上對抗損失相融合得到多損失目標函數

L=Lpixel+LGAN+λ1Lp

(12)

像素空間損失Lpixel用于保持圖像內容的相似性，正確的引導對抗網絡捕獲圖像的低頻信息

(13)

同時為了保持圖像的感知保真度，利用感知損失Lp來測量模糊圖像與清晰圖像之間的高層次差異，使得生成圖像與清晰圖像的內容和全局結構接近，如式(14)

(14)

φi,j表示在預先訓練好的VGG-19網絡中第i個最大池化層之前的第j個卷積所獲得的特征圖。在本模型中使用和文獻[8]中同樣預訓練好的VGG-19網絡的第3卷積層所提取的特征圖來計算感知損失。

3 實 驗

3.1 實驗數據及實驗參數

傳統的運動模糊圖像數據集大多是通過一些固定的內核進行模糊處理來得到模糊圖像，很難模擬出自然的運動模糊圖像。相比之下，本文使用的GOPRO[17]數據集則是通過GoPro Hero 4相機來捕捉每秒240幀的視頻序列，并通過平均連續的短曝光幀來生成模糊圖像。這樣形成的運動模糊圖像更加真實。GOPRO數據集包括從各種運動場景中采集到的模糊-清晰圖像對，模擬的是自然場景中由相機抖動、物體運動等情況所形成的非均勻模糊類型。其中包含了2103對訓練用的模糊-清晰圖像對以及1111對測試用的模糊-清晰圖像對。

在網絡模型訓練時，本文實驗平臺的配置為GTX1080Ti顯卡以及Ubuntu14.04操作系統，并使用pytorch深度學習框架實現。在本實驗中式(11)的λ=10，式(12)的平衡系數λ1設置為0.0001。在訓練過程中，生成器和判別器的初始學習速率都設置0.0001，批次為1。采用Adam算法進行隨機梯度優化，總的epoch=300。前150個epoch以學習率0.0001進行學習，后150個epoch學習率逐漸衰減到0。

3.2 實驗分析

為了說明本文方法在運動圖像去模糊上的有效性，在相同的條件下進行了大量的實驗。模型在GOPRO測試集上進行測試，并用峰值信噪比(peak signal to noise ratio，PSNR)和結構相似性(structural similarity，SSIM)作為評價指標。實驗給出了在全數據集下的平均PSNR和平均SSIM值。并與不同的去模糊算法進行比較。

3.2.1 不同數量自適應殘差模塊去模糊效果對比

為探究不同數量的自適應殘差模塊對去模糊效果的影響，分別在不同數量的自適應殘差模塊下進行實驗。表1中ARM-3、ARM-6、ARM-9分別代表3個、6個、9個自適應殘差模塊數量。由表中可知ARM-6比ARM-3的PSNR提高0.27。而ARM-9比ARM-6的PSNR提高了0.15，SSIM提高了0.01。綜上可知，隨著ARM模塊數量的增多，網絡能更好地適應運動模糊圖像的非均勻性，所提取得高頻信息也越多，去模糊能力也逐漸增強。但考慮到模型計算量，本算法旨在快速驗證所構造的自適應殘差模塊在運動圖像去模糊上的有效性，以下所有實驗均只使用9個自適應殘差模塊。

表1 不同數量自適應殘差模塊性能分析

3.2.2 本文方法與其它主流算法比較

本文方法與當前的4種主流去模糊算法進行比較，如Sun等[5]、Xu等[18]、Gong等[6]、Kupyn等[8]。如表2所示，在諸如Sun等[5]和Xu等[18]，Gong等[6]的去模糊算法中，PSNR值和SSIM值都比較低，說明對于運動模糊圖像來說，模型的去模糊性能較差。而本文提出的運動圖像去模糊方法較之前3種方法無論是在PSNR還是SSIM值上都有較大幅度的提升。Kupyn等[8]提出DeblurGAN，利用端到端的對抗網絡進行運動圖像去模糊，是目前把卷積神經網絡應用于運動圖像去模糊領域較為高效的方法。由表2可知，本文方法雖然比DeblurGAN的SSIM略低0.04，但是PSNR提高了0.83。綜合以上分析，驗證了由形變卷積模塊和通道注意力模塊共同構造的自適應殘差模塊在運動圖像去模糊上的有效性。

表2 本文算法與其它主流算法的比較

本文與目前先進的DeblurGAN對抗網絡去模糊算法進行了圖像細節可視化比較。如圖5所示。由圖5(a)所示的花盆，本文生成的花盆部分圖像偽影明顯更少，亮度也接近原圖像，圖像輪廓更加清晰。圖5(b)樹枝部分明顯比DeblurGAN紋理細節要多。在圖5(c)人臉上五官輪廓更加分明，比起DeblurGAN的眼睛、鼻子、嘴巴，辨識度更高。綜合以上分析以及實驗結果可知，由于對抗網絡在訓練時的不穩定性，產生的去模糊圖像仍然存在偽影嚴重，紋理細節較為模糊等問題。而本文在生成網絡中所構造的自適應殘差模塊，能夠讓對抗網絡在訓練時更好地適應運動模糊圖像的非均勻性，生成紋理更為豐富的去模糊圖像，有效抑制了模糊圖像的偽影。

圖5 圖像細節對比

3.2.3 形變卷積模塊與通道注意力模塊性能分析

為了分別驗證形變卷積模塊和通道注意力模塊在圖像去模糊上的有效性，在相同的實驗條件下分別對殘差基本塊與形變卷積模塊組成的自適應形變卷積模塊(adaptive deformation convolution module，ADCM)，以及殘差基本塊和通道注意力模塊組成的自適應注意力模塊(adaptive attention module，AAM)進行實驗結果比較。實驗結果如表3和圖6所示。

表3 形變卷積模塊與通道注意力模塊性能比較

圖6 各模塊去模糊效果對比

如表3所示，只加入形變卷積模塊的自適應形變卷積模塊(ADCM)的PSNR達到28.00，SSIM達到0.91。相比模糊圖像來說，其圖像質量有較大改善。而自適應注意力模塊(AAM)的PSNR達到28.01，SSIM達到0.90。自適應注意力模塊的去模糊效果比自適應形變卷積模塊的SSIM值低0.01，但PSNR高0.01。如圖6(a)路面的縫隙部分，AAM比ADCM模塊包含更多的細節，紋理更清晰。如圖6(b)的車牌部分，AAM比ADCM去模糊效果要清晰，細節更多。但是ADCM中整體的圖形結構要比AAM更接近清晰圖像，比如說數字2和1，AAM明顯比ADCM扭曲度要高一點。這是因為形變卷積模塊在促使網絡適應圖像形變導致的非均性時，針對的是圖像結構的學習，而通道注意力模塊則著重于對含有高頻信息通道的學習，更側重于紋理細節的生成。實驗結果表明，單獨使用形變卷積模塊和通道注意力模塊都能夠達到較好的去模糊效果，當同時融合形變卷積模塊和通道注意力模塊時，所得到ARM的去模糊效果的PSNR達到28.03，SSIM值為0.91，且如圖6所示的可視化效果也是優于ADCM和AAM，能重建出更符合清晰圖像的細節。這進一步驗證了自適應殘差模塊能夠充分融合形變卷積模塊和通道注意力模塊的優勢，兩者相輔相成，有效提升了運動圖像去模糊的效果。

4 結束語

本文在對抗網絡基礎上提出一種基于自適應殘差的運動圖像去模糊方法，該方法在生成網絡中構造了由形變卷積模塊和通道注意力模塊組成的自適應殘差模塊。其中，形變卷積模塊可以使網絡適應模糊圖像的非均勻性，更好提取圖像特征，通道注意力模塊利用特征重標定策略對所提取的形變特征進行通道調整，增強對高頻信息的學習。實驗結果表明，本文算法與當前先進的運動圖像去模糊算法相比，能夠取得較好的去模糊效果。但由于對抗網絡訓練的不穩定性，本文算法對于一些圖形結構較為豐富的運動模糊圖像的復原效果不是很好。今后將進一步探索更穩定的對抗網絡訓練機制來解決這一問題。