基于輕量化漸進式殘差網絡的圖像快速去模糊

楊愛萍 李磊磊 張 兵 何宇清

(天津大學電氣自動化與信息工程學院 天津 300072)

1 引言

圖像模糊通常因拍攝相機抖動或拍攝場景中的物體移動而產生，圖像去模糊研究的目的是從給定的模糊圖像中估計出高質量清晰圖像，以滿足日益增長的手持相機用戶的需求，并應用在各種計算機視覺任務，例如交通安全[1]、監控影像[2]、醫學影像[3]和目標檢測[4]等領域。

圖像去模糊是一個逆問題，國內外學者已經提出了大量方法，其一般思路是通過正則化方法來約束該問題的解空間。傳統的去模糊方法大多基于變分模型，圖像恢復的質量取決于算法先驗的選擇，如暗通道先驗[5]有助于自然圖像的復原，像素強度先驗[6]有助于得到顯著邊緣，梯度先驗[7]能夠有效去除偽影等。Zhang等人[8]分別利用低、中、高3種不同強度的灰度先驗估計模糊核，進而估計清晰圖像。雖然上述方法取得了一定的復原效果，但這類方法嚴重依賴于對圖像信息的先驗假設，導致模型泛化能力較差。同時，這類方法對模糊核的假設過于簡單，而實際的模糊類型往往是復雜和非線性的，現有方法難以得到實際應用。

近年來，由于深度神經網絡具有強大的非線性擬合能力，其在低層視覺任務如圖像超分辨率[9]、圖像去模糊[10–12]等領域得到了廣泛的應用。對于空間均勻模糊去除問題，一些研究利用深度神經網絡學習一個從模糊圖像到模糊核的映射函數。Jain等人[13]最早將卷積神經網絡用于圖像去模糊，其結合馬爾可夫隨機場模型提出了一個淺層的去模糊網絡，避免了傳統應用馬爾可夫隨機場模型去模糊計算困難等問題。Vasu等人[10]通過使用不同尺度的模糊先驗構建模糊圖像作為輸入樣本訓練神經網絡，學習從模糊圖像到模糊核的映射函數。但是，由于實際模糊軌跡類型的隨機多樣性，采用神經網絡估計模糊核的方法對于非均勻模糊去除效果較差。為了改善空域可變模糊去除效果，一些研究采用端到端網絡學習模糊圖像到清晰圖像之間的映射關系。Nah等人[12]模擬傳統由粗到細的多尺度估計方法，率先提出一種多尺度卷積神經網絡，并利用多尺度損失函數約束網絡訓練，對多種降質原因引起的圖像模糊進行復原。在此基礎上，Tao等人[14]提出不同尺度共享網絡權重的尺度循環去模糊神經網絡(Scaled Recurrent defuzzy Neural network,SRN)，其具有更簡單的網絡結構、更少的參數且更容易訓練。Zhang等人[15]提出一個空間變換的循環神經網絡來解決動態場景下的去模糊問題，模型明顯更小、運行更快。Gao等人[16]提出選擇性參數共享跳躍連接去模糊網絡(PSS-SNR)，由粗及細提取圖像特征，并使用嵌套跳躍連接及選擇性參數共享等方式減輕網絡訓練難度同時提高去模糊性能。文獻[4,17]先后提出DeblurGAN, DeblurGAN-v2，利用生成式對抗網絡恢復出更加逼真的清晰圖像；但其采用交叉熵損失函數，易出現梯度飽和現象，從而降低了網絡訓練效率。Suin等人[18]利用全局注意機制和自適應局部濾波器進行特征提取，提高了圖像去模糊性能，且具有較快的速度。然而，這些方法通常采用插值技術將模糊圖像縮小到指定倍數后獲得低分辨率圖像再輸入至網絡，這樣仍會增加網絡的計算量并消耗大量的內存。另外，隨著網絡層數加深和結構加寬，網絡的整體參數量也大幅度增加，需要更多的計算資源和內存消耗，難以用于實際場景[19]。

針對上述問題，本文提出一種簡單輕量的漸進式殘差去模糊網絡。首先，設計淺層的殘差網絡結構作為基準模型，可充分利用圖像局部特征信息；在此基礎上，設置多階段遞歸調用上述基準模型，構造漸進式殘差去模糊網絡；同時，在不同階段殘差網絡之間進行參數共享以減少網絡參數，簡化網絡模型。為了進一步提升去模糊網絡的特征重建性能，提出基于特征重標定策略的特征融合模塊，使得在引入少量參數的情況下，對輸入圖像與各個殘差網絡的輸出特征圖進行通道加權，并對特征圖的空間信息進行自適應選擇，有效提升網絡的特征選擇能力，實現更好的特征重建。實驗結果表明，所提網絡模型輕量快速，對各種可變模糊去除均可實現理想復原效果。

2 基本原理

2.1 圖像去模糊數學模型

圖像去模糊問題是圖像處理和計算機視覺領域中的一個經典問題，它的目標是恢復模糊輸入中隱含的清晰圖像。當模糊核滿足空間不變性時，模糊過程可以建模為式(1)的數學模型[20]

2.2 殘差學習

殘差學習是構建輕量化模型的基本手段，殘差學習也可稱為局部殘差學習，其通過跳躍連接將網絡的1層或多層進行連接。殘差網絡將淺層的特征直接復制到深層特征中進行殘差映射替代網絡層的堆疊，保證了網絡在學習過程中能夠進行恒等映射，有效地避免了網絡模型的退化，殘差網絡結構如圖1所示。對于一個卷積神經網絡，當輸入特征為x時，網絡通過學習映射輸出的特征為H(x)，通過學習得到殘差F(x)=H(x)?x，最終卷積神經網絡學習所得特征為H(x)=F(x)+x。

圖1 殘差網絡結構

殘差結構可以改變神經網絡的學習目標，把原卷積神經網絡學習目標函數等于恒定值的情況改為使輸入輸出的殘差為零。通過殘差網絡學習，使卷積神經網絡對輸出的變化更為敏感，解決了隨著網絡層數不斷加深出現梯度消失以及梯度爆炸等問題，避免了模型退化現象。

3 本文方法

本文設計的輕量化漸進式殘差網絡去模糊模型如圖2所示。網絡主體由兩部分組成，分別是殘差網絡模塊和特征重標定模塊。

為了充分利用圖像的局部特征信息，并加強反向傳播時的信息流通和信息補償，論文以殘差網絡模塊作為基準模塊并進行多階段遞歸調用。殘差網絡模塊由常規殘差結構組成，每個殘差結構設計包含兩個普通卷積層，以保證整體網絡簡單輕量。多階段遞歸調用具體過程如圖2所示，在第1個階段，特征提取層提取模糊圖像特征，提取特征經過特征映射層學習模糊圖像與清晰圖像間的映射關系，并由輸出層輸出特征圖。之后的每個階段都將上一階段殘差網絡的輸出與原始模糊圖像作為一個整體輸入至特征重標定模塊，將特征選擇的結果傳遞至下一階段。同時，在網絡每個階段進行了參數共享，可大大簡化網絡模型，減少網絡參數。

圖2 整體網絡結構

特征重標定模塊則由通道注意力和空間注意力環節級聯構成，在不引入新的空間維度情況下進行特征通道和特征空間融合，提升重要特征并抑制對當前任務用處不大的特征，在只增加少量參數的情況下選擇有效的特征信息，提升網絡的特征選擇能力，改善去模糊網絡的重建效果。

3.1 輕量化漸進式殘差網絡

本文提出的殘差網絡模塊被設計為淺層殘差網絡，以加快網絡收斂速度。整體網絡是對淺層殘差網絡模塊的多階段遞歸調用，同時對不同階段殘差網絡模塊之間實現參數共享，網絡的參數量大大降低，整體網絡簡單輕量。

具體地，殘差網絡模塊包括3部分，分別是特征提取層、特征映射層和輸出層，如圖3所示。特征提取層包含一個卷積核大小為3× 3，步長為1，池化為1的卷積層和一個ReLU激活函數，用于提取輸入圖像特征。特征映射層對第1部分提取的輸入特征進行非線性映射和迭代運算，學習模糊圖像到清晰圖像之間的映射關系。

圖3 殘差網絡模塊結構

特征映射層由常規殘差結構構成，包含卷積核大小為3× 3，步長為1，池化為1的卷積層和激活函數組。本文在不同殘差塊分別采用Tanh激活函數、ReLU激活函數和Sigmoid激活函數3種激活函數，有效降低了網絡的計算成本，避免了梯度爆炸和梯度消失現象。輸出層包含一個卷積核大小為3× 3，步長為1，池化為1的卷積層和ReLU激活函數，用于輸出網絡所學習到的圖像特征并輸出相同大小的去模糊結果。對于第t個殘差網絡，其輸出可表示為

其中，xt?1為上一階段殘差網絡輸出特征圖，y為網絡輸入模糊圖像，fFR為 特征重標定操作，xFR為經過特征重標定后輸入殘差網絡的特征圖，fin為殘差網絡特征提取層。首先，特征重標定模塊將上一階段殘差網絡輸出特征圖與模糊圖像融合后進行特征重標定得到xFR，殘差網絡再將經過特征重標定

3.2 基于特征重標定策略的特征融合

為了進一步提升去模糊網絡的特征重建性能，本文在漸進式殘差網絡中設計了一種特征重標定模塊，引入通道注意力以及空間注意力機制協同操作提升網絡的特征選擇能力，特征重標定模塊的網絡結構如圖4所示。為了盡可能簡化模型，網絡并不引入新的空間維度對特征通道與特征空間進行融合，而是采用了一種特征重標定策略提升有用特征并抑制用處不大的特征，因此模塊可控制在只增加少量參數的情況下，有效提升去模糊網絡的特征重建能力。

圖4 特征重標定模塊結構

由于卷積神經網絡卷積運算過程中卷積核只關心局部感受野信息，每個單元的輸出特征都不能利用感受野區域外的上下文信息，因此通過卷積所得到的通道關系是局部且不準確的[21]。為了解決這種通道間的依賴關系，注意力模塊首先對全局空間信息進行壓縮，將每個通道特征圖在整張圖中的位置信息進行融合，可避免小尺寸卷積核提取特征感受野范圍太小造成網絡評估偏差。壓縮過程主要通過全局平均池化來實現以產生通道的統計信息。對包含C個通道、尺寸為H×W的 特征圖U=[u1,u2,...,uc]進行全局平均池化操作得到各個通道的統計量z，其中z的第c項可表示為

接著，為了充分利用壓縮操作整合提取的特征，系統通過評估操作獲得通道間的相關性。評估操作主要通過兩個 1×1 的卷積層來學習各個通道的權重映射，并通過 ReLU 激活函數和 Sigmoid激活函數作為門函數獲得各個通道之間的權重輸出，可表示為

進一步，注意力模塊對評估操作得到的各通道的權重值及各通道提取到的特征圖進行特征重標定處理，以得到更有效的特征表示。卷積神經網絡中各通道所表達的信息具有不同的含義，包括提取圖像色彩信息的通道、提取圖像細節信息的通道等。對于圖像去模糊，不同通道受模糊核影響不同，其提取的特征信息、特征強弱也有所不同。因此，可利用注意力機制對每個通道的特征圖進行選擇性加權。如圖4所示，對于各通道輸入特征，為其每個通道生成不同的加權特征圖，處理后的特征圖可表示為

特征重標定模塊對不同階段得到的特征圖進行加權處理，從通道和空間兩個層面對特征信息進行選擇，以得到更有效的特征表示，改善去模糊效果。

3.3 損失函數

為了更好地約束網絡訓練和去除人工偽影，本文在訓練網絡時采用的L2損失函數(最小平方誤差)和感知損失，其中 L2損失函數可以表示為

本文基于輕量化漸進式殘差網絡的圖像快速去模糊算法流程圖如圖5所示。

圖5 本文去模糊算法流程圖

4 實驗與結果分析

4.1 數據集及實驗設置

實驗采用的訓練數據集為GOPRO訓練集，包括2103張清晰圖像以及對應的2103張模糊圖像，主要包含由相機抖動或物體運動造成的模糊類型，可以模擬動態場景下的圖像模糊情形。同時采用GOPRO測試集評估網絡去模糊性能，其包含1111張清晰-模糊圖像對。訓練過程采用ADAM優化器更新網絡參數，基礎參數設置為：β1=0.9,β2=0.999。學習率初始化為0.0001，訓練150個階段后學習率衰減為0.000001，批大小設置為16。實驗環境為Python 3.6，Pytorch，Ubuntu16.04，顯卡為NVIDIA 1080Ti GPU。

4.2 實驗結果

為說明本文算法的有效性，從客觀評價指標和主觀視覺效果兩個方面與近年來先進的去模糊算法進行對比，對比的算法主要包括Tao等人[14]提出的尺度間權值共享循環網絡SRN、Kupyn等人[4]提出的快速生成式對抗去模糊網絡DeblurGAN-v2和Gao等人[16]提出的選擇性參數共享跳躍連接去模糊網絡等。

采用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結構相似性(Structural SIMilarity,SSIM)兩種客觀指標評價去模糊算法恢復的圖像質量，同時采用模型參數量和運行時間評價去模糊算法的效率，各方法實驗結果如表1所示。其中，紅色表示該指標中最好的結果，藍色代表次好的結果。由表1可以看出，本文提出的漸進式殘差去模糊網絡處理時間最短，所用參數量最少。相較于文獻[4,6,9,12,14]，本文方法在峰值信噪比和結構相似性方面都有較大提升。結構相似性指標略低于DeblurGAN-v2[17]，但是峰值信噪比要優于該方法。Gao等人[16]提出的選擇性參數共享跳躍連接去模糊方法取得了最好的去模糊結果，但是該方法采用多尺度網絡結構，輸入過程中大量的上采樣、下采樣操作需要大量的計算和內存開銷，導致網絡處理時間慢，運行時間長。總體來說，本文算法可以實現理想的去模糊效果，同時可大大減少參數量，顯著提升網絡運行速度。

表1 在合成數據集上PSNR和SSIM結果

進一步，為了更加直觀地說明本文提出的去模糊算法的性能，在GOPRO數據集中選取4張模糊圖像與目前流行的算法進行去模糊效果對比，各方法去模糊效果如圖6所示。

由圖6(c)可以看出，當圖像出現較嚴重模糊的情況時，文獻[14]的尺度循環去模糊網絡，復原圖像存在偽影且細節恢復不足 (如圖6(c)中第1張圖中廣告牌、第3張圖的汽車輪廓以及第4張圖的車身標語)。由圖6(d)可以看出，文獻[17]DeblurGAN去模糊后的圖像視覺效果良好，但細節恢復不足(如圖6(d)中最后一張圖中車身標語的文字區域細節信息損失嚴重)。如圖6(f)所示，Zhang等人[9]使用的傳統方法仍然存在振鈴和紋路現象，視覺效果較差。由圖6(e)和圖6(g)可以看出，本文方法與文獻[16]方法都能實現較好的去模糊視覺效果。如圖6所示，第1張圖 “街景”圖像對比，本文提出的漸進式殘差網絡所恢復的清晰圖像更加清晰，腿和手指等邊緣部分去除偽影效果更加明顯；第2張圖中本文算法對車牌部分恢復的數字更加清晰。另外，對于第3張圖中快速行駛的汽車，可以看出本文算法可以恢復出較好的汽車輪廓；最后一張圖中本文算法對汽車反光鏡部分的恢復以及車身標語的恢復效果均優于其他算法，且可較好地保持圖像的細節特征。綜上可以看出，本文提出去模糊網絡模型復原得到的圖像具有更好的視覺質量。

圖6 GOPRO數據集上實驗結果

針對實際應用問題，圖像去模糊作為圖像預處理方法，應用在各種高層次計算機視覺任務中，如顯著性檢測[22]。圖7的模糊-清晰圖像對是由真實相機拍攝而成的，利用本文去模糊算法對模糊圖像進行了恢復，結果如圖7(b)所示，較為清晰地恢復了模糊圖像，且運行時間為0.5 s，速度快實用性高。此外，本文利用文獻[23]代碼分別對模糊圖像、本文算法恢復圖像和清晰圖像做了顯著性檢測，結果如圖7所示。圖7(c)為清晰圖像檢測的顯著圖，很好地識別到了雕像的人形邊界，而圖7(a)模糊圖像的顯著圖頭部和上半身產生了不同程度的偽邊界，這是由于其雕像邊界運動模糊不再準確。而本文算法去模糊的顯著圖除了多余識別雕像底座之外，人形輪廓恢復得很好，說明本文去模糊算法可以很好地應用到實際計算機視覺任務當中。

圖7 本文算法去模糊實例

4.3 消融實驗

為了驗證本文提出的去模糊網絡中每個模塊的有效性及合理性，本文進行了消融實驗，分別驗證特征重標定模塊以及殘差模塊遞歸次數的有效性。

4.3.1 特征重標定模塊

表2給出了特征重標定模塊使用通道注意力機制及空間注意力機制不同組合的去模糊效果對比，圖8給出了相應的實驗結果圖。可以看出，不使用空間注意力機制和通道注意力機制的漸進式殘差網絡參數量為26.316 Mb，峰值信噪比為 30.08 dB。僅使用通道注意力機制相對于無注意力機制的殘差網絡PSNR提升0.08 dB，而參數量僅提升了0.003 Mb。另外，僅使用空間注意力機制相對于無注意力機制的殘差網絡PSNR提升0.06 dB，參數量僅提升了0.001 Mb。同時使用空間注意力機制和通道注意力機制的漸進式殘差網絡PSNR提升了0.13 dB，參數量僅提升了0.005 Mb，恢復的圖像局部模糊更少，結構更清晰，效果最好。可以發現，同時使用兩種注意力機制可取得最優性能同時只增加微小參數量。因此，特征重標定模塊同時使用空間注意力機制和通道注意力機制提升網絡性能。

圖8 特征重標定模塊消融實驗主觀恢復結果對比

4.3.2 殘差模塊遞歸次數

對于不同遞歸數量殘差塊T=5, 6, 7的漸進式殘差網絡分別進行訓練，并在GOPRO數據集上進行測試，以探究不同數量殘差塊對網絡性能的影響。

如表3和圖9所示，對于T=5時，即漸進式殘差網絡使用5個殘差塊時網絡參數量為20.064 Mb，峰值信噪比為30.17 dB。當漸進式殘差網絡使用6個殘差塊時網絡參數量為26.321 Mb，峰值信噪比為30.21 dB。可以看到，相對于T=5時PSNR提升了0.04 dB，網絡參數量提升了6.257 Mb。漸進式殘差網絡使用7個殘差塊時網絡參數量為30.712 Mb，峰值信噪比為 30.21 dB。通過對比可以發現，當使用5個遞歸殘差塊時網絡參數量最少，網絡性能也相應產生了一定的下降。當使用6個殘差塊時，網絡既實現了較好的去模糊效果，參數量也相對較少。當漸進式殘差網絡使用7個殘差塊時，網絡的去模糊性能并未顯著提升，但網絡運行時間相對于6個殘差塊提升了2～3倍，且需要更高的運算開銷。因此，本文使用含有6個殘差塊的漸進式遞歸殘差網絡，在只含有少量參數的情況下實現了良好的去模糊性能。

圖9 殘差模塊遞歸次數消融實驗主觀恢復結果對比

5 結束語

針對目前去模糊網絡模型參數量大、運算時間長、難以分析不同模塊的具體作用等問題，本文設計了一種輕量、快速的去模糊網絡。在多個階段遞歸調用殘差網絡基準模型，并在不同階段進行參數共享以簡化網絡模型，提升去模糊網絡效率。同時引入基于特征重標定策略的特征融合模塊對輸入圖像與各個殘差網絡的輸出特征圖進行通道加權，提升網絡的特征選擇能力，實現更好的特征重建，得到了更好更快的去模糊結果。