基于Transformer 和多尺度CNN 的圖像去模糊

李現國，李 濱

（1.天津工業大學 電子與信息工程學院，天津 300387；2.天津市光電檢測技術與系統重點實驗室，天津 300387）

0 概述

圖像去模糊是利用圖像處理技術將模糊圖像恢復成有清晰邊緣結構和豐富細節的圖像。由于造成圖像模糊的原因很多，因此圖像去模糊問題是一個有多個未知解的高度不適定問題。在圖像去模糊任務中，傳統方法多數是將其建模為模糊核估計問題進行求解，但在現實世界中模糊核是未知的且非常復雜，最終會因為模糊核估計的不準確而導致模糊圖像的恢復效果不佳。傳統圖像去模糊方法主要有基于最大后驗概率（Maximum A Posterior，MAP）［1-3］、基于變分貝葉斯（Variational Bayesian，VB）［4-5］和基于LMS 自適應算法［6］。通過將原始圖像與模糊核的聯合后驗概率在圖像空間邊際化，然后求解模糊核的邊際分布，進而實現圖像盲復原。傳統圖像去模糊研究通常集中于解決簡單的相機抖動或者目標運動產生的模糊問題，僅在特定模糊圖像上具有良好的效果。

近年來，學者們對基于卷積神經網絡（Convolutional Neural Network，CNN）的圖像去模糊方法進行了廣泛研究［7-9］。早期，基于CNN 的圖像去模糊方法將CNN 作為模糊核估計器，構建基于CNN 的模糊核估計和基于核反卷積的兩階段圖像去模糊框架［10-11］。JIAN 等［11］提出使用CNN 估計運動模糊的空間變化核，去除非均勻模糊，但由于模糊特性復雜，模糊核估計方法在實際場景中不能很好地恢復模糊圖像。目前，基于CNN 的圖像去模糊方法旨在以端到端方式直接學習模糊-清晰圖像對之間的復雜關系［12-14］。KUPYN 等［12］提出DeblurGAN，基于GAN 和內容損失，以單尺度的方式實現圖像去模糊。盡管單尺度在去模糊效率上表現良好，但由于未能提取多種特征信息，導致去模糊性能和恢復圖像細節上效果欠佳。NAH 等［13］基于coarse-to-fine 策略，引入一種用于動態場景去模糊的深度多尺度CNN 網絡DeepDeblur，在不估計任何模糊核的情況下提取圖像多尺度信息，直接從模糊圖像中恢復清晰圖像。ZHAO 等［14］提出一種輕量化和實時的無監督圖像盲去模糊方法FCL-GAN，既沒有圖像域限制，也沒有圖像分辨率限制，保證了輕量化和性能優勢。ZHAO 等［15］提出一種用于盲運動去模糊的通用無監督顏色保留網絡CRNet，易于擴展到其他受色彩影響的畸變任務，同時引入模糊偏移估計和自適應模糊校正，改進去模糊任務。

雖然CNN 在單圖像去模糊領域取得了良好的效果，但存在以下問題：1）卷積算子的感受野有限，難以捕獲到遠程像素的信息，若要增加感受野，則只能增加網絡深度，然而會造成計算量過大和信息丟失問題；2）卷積核在推理時有靜態權值，不能靈活地適應輸入內容。受Transformer［16-17］具有全局信息建模特性的啟發，DOSOVITSKIY等［18］提出視覺Transformer（Vision Transformer，ViT）來執行圖像識別任務，以具有位置嵌入的2D 圖像塊為輸入，在大數據集上進行預訓練，取得了與基于CNN 的方法相當的性能。TOUVRON 等［19］將Transformer 與蒸餾方法相結合，提出一種高效的圖像Transformer（DeiT），可在中型數據集上訓練Transformer，具有較好的魯棒性。

受UNet多尺度單圖像去模糊［20］和Transformer［16，21-22］工作的啟發，本文將Transformer 引入CNN 網絡，但直接將Transformer 嵌入CNN 網絡存在以下問題：1）嵌入后應用CNN 網絡的訓練策略因Transformer參數量過多導致無法訓練；2）應用局部方式計算多頭自注意力（Multi-Head Self-Attention，MHSA）會造成局部窗口之間缺少信息聯系且去模糊效果差。針對上述問題，本文提出一種基于Transformer 和多尺度CNN 的圖像去模糊網絡（T-MIMO-UNet）。利用CNN 網絡提取空間特征，同時對輸入圖像進行下采樣得到多尺度的特征圖，通過將多尺度特征相互融合和補充，有效利用每個尺度的信息，更好地處理各種圖像模糊問題。設計一種局部增強Transformer 模塊（Enhanced Local Transformer Module，EL-TM），能夠利用Transformer 的全局特性有效獲取全局信息。當每個尺度的特征輸入到EL-TM 中進行全局建模時，針對輸入圖像尺寸過大的問題，設計一種局部多頭自注意力計算網絡（Local Multi-Head Self-Attention Network，L-MHSAN），采用窗口的方式在局部逐塊計算MHSA，以解決圖像尺寸過大導致的訓練難度增加的問題。針對在L-MHSAN 中劃分窗口計算MHSA 后跨窗口的信息交互消失問題，設計一種增強前饋網絡（Enhanced Feed-Forward Network，EFFN），通過增加深度可分離卷積層，促進不同窗口之間的信息交互，有效獲取全局信息，提升圖像清晰度和計算效率。

1 圖像去模糊網絡

本文提出的T-MIMO-UNet 結構如圖1 所示。該網絡主要由多尺度輸入編碼器、EL-TM、非對稱特征融合（Asymmetric Feature Fusion，AFF）模塊和多尺度輸出解碼器組成，其中，編碼器采用兩個編碼塊（Encoder Block，EB），解碼器采用3 個解碼 塊（Decoder Block，DB），EL-TM采用12 個局部增強Transformer 層（Enhanced Local Transformer Layer，EL-TL）。

T-MIMO-UNet 建立在基于編碼器-解碼器的單一UNet 架構上，可充分利用CNN 從圖像中提取的多尺度空間特征。此外，為了捕獲全局依賴關系，利用Transformer 編碼器對全局空間進行建模，并基于EL-TM 進行局部窗口之間的信息交互，實現多尺度去模糊。

1.1 多尺度輸入編碼器

多尺度架構可以有效地處理不同程度的圖像模糊［23］，同時各種基于CNN 的去模糊方法［13，24-25］也都采用將不同尺度的模糊圖像作為網絡的基本輸入。在T-MIMO-UNet 的編碼器中，通過編碼塊將不同尺度的模糊圖像作為輸入，其中，EB1由卷積層、殘差塊構成，EB2由卷積層、特征融合模塊（FAM）［20］和殘差塊構成，已有實驗［20］證明了FAM 能夠提高模型性能。

使用多尺度策略作為單個U-Net 的輸入，將原始尺度的模糊圖像B1進行2 次1/2 下采樣，得到另外2 個尺度的模糊圖像B2和B3。B1和B2尺度的模糊圖像通過EB1和EB2提取特征，B3尺度的模糊圖像在經過預處理后輸入Transformer架構EL-TM 進行全局特征建模。此外，除了在每個尺度的編碼器或EL-TM 中提取特征外，對于B2和B3尺度，還會分別從上面尺度的模糊圖像中提取縮小的特征，然后將這2 種特征融合，2種信息相互補充，更有助于處理圖像模糊問題。

在每個尺度的編碼器或Transformer 模塊中提取特征時，使用淺卷積模塊（Shallow Convolution Module，SCM）［20］對下采樣圖像B2和B3進行特征提取處理。SCM 使用2 個堆疊的3×3 和1×1 的卷積層，然后在最后一個1×1 卷積層中將提取的特征與輸入的當前尺度圖像連接起來，再使用一個1×1 卷積層進一步細化連接，經過SCM 的輸出用Zk,out表示。

對于原始尺度的模糊圖像B1，沒有使用SCM，而是直接輸入編碼塊EB1。對于使用了SCM 的模糊圖像B2，將SCM 的輸出Z2,out與B1尺度的編碼器輸出E1,out使用FAM 進行融合，在融合前使用stride 取值為2 的卷積層以保證2 個特征具有相同的尺寸，最后使用1 個殘差塊繼續細化特征。

對于B3尺度的模糊圖像，將此時SCM 的輸出Z3,out與B2尺度的編碼器輸出E2,out進行特征融合，此時的特征圖經過多次淺層特征提取和前2 個尺度的卷積特征提取后，每個像素具備了更深的感受野，這時輸入EL-TM 利用Transformer 的全局特征信息建模能力，進一步學習與全局感受野的遠程相關性，之后將提取的全局特征輸入殘差塊。

1.2 局部增強Transformer 模塊

自Transformer 架構［16］被應用于深度學習領域以來，其全局信息建模特性引起了學者們的廣泛關注。CNN 作為視覺領域的通用主干網絡，在圖像去模糊任務中應用廣泛，但CNN 卷積算子存在感受野有限的問題，隨著網絡層數的不斷加深，CNN 這一問題體現的越發明顯，Transformer 的全局性可以緩解這一缺陷。在處理模糊圖像時，Transformer往往因數據集中過大的圖像尺寸而造成計算復雜度過高，最終使去模糊的視覺任務失敗。為了增強Transformer 架構在去模糊領域的通用性，設計一種局部增強Transformer 模塊，如圖2 所示。局部增強Transformer 模塊由多個局部增強Transformer 層構成。每個局部增強Transformer層由L-MHSAN 和EFFN 構成。

圖2 局部增強Transformer 模塊結構Fig.2 Structure of the enhanced local Transformer module

在T-MIMO-UNet 結構中，將B1和B2尺度提取的特征與B3尺度融合，然后將所獲得的特征圖I?RN×D通過EL-TM 進一步進行特征提取，其中，N表示輸入分辨率H×W，H表示圖像高度，W表示圖像寬度，D表示輸入通道數。

B3尺度的圖像特征在與其他尺度特征相加并輸入局部增強Transformer 模塊計算MHSA 前，需要經過淺卷積模塊的處理，處理后的圖像與B2尺度的編碼器輸出E2,out相融合。由于圖像去模糊數據集的大尺寸特性導致計算MHSA 時計算量過大，大大增加了訓練難度。為了解決這個問題，在局部增強Transformer 層中設計了一種局部多頭自注意力計算網絡。

局部多頭自注意力計算網絡結構如圖3 所示。首先讀取融合特征的維度并進行記錄，由于融合特征仍然與圖像維度一致，即（Y，H，W，D），其中，Y表示圖像批處理大小。使用Flatten 操作將圖像的寬度、高度等展開成一維數據的形式，即（Y，D，H×W），之后將展開后的數據形式轉換為（Y，H×W，D），便可將融合后的圖像特征輸入局部增強Transformer 層計算MHSA。

圖3 局部多頭自注意力計算網絡結構Fig.3 Structure of the local multi-head self-attention network

圖像特征輸入局部增強Transformer 層后，局部多頭自注意力計算網絡將特征圖I?RN×D劃分成P個不重疊的窗口I→{I1,I2,…,IP}，窗口個數P的計算公式如式（1）所示。在每個窗口中獨立計算多頭自注意力。針對一個局部窗口特征圖X?RM2×D，Query、Key、Value 矩陣Q、K、V計算公式如式（2）所示。基于局部窗口的自注意力計算公式如式（3）所示。將AQ,K,V并行計算C次并連接，得到多頭自注意力計算結果AQ,K,V，然后經過窗口特征合并操作重構得到中間特征fM，計算公式如式（4）所示。

其中：M2表示被劃分的窗口尺寸；PQ、PK、PV分別表示在不同窗口共享的投影矩陣；d表示，C為多頭自注意力的頭數量；View 表示重構操作；Window-reverse表示窗口特征合并操作；fM特征維度為（Y，H，W，D）。

將多頭自注意力在局部不重疊的窗口中分別計算時，不同窗口之間信息交互會消失，跨窗口之間沒有信息交流會限制建模能力。為了解決這個問題，在局部增強Transformer 層中的前饋網絡（Feed-Forward Network，FFN）結構上進行改進，設計一種增強前饋網絡，在2 個全連接層間增加了2 個深度可分離卷積層（Depthwise separable Convolution，DepthConv），并合理利用跳躍連接與輸入特征建立聯系。增強前饋網絡結構如圖4 所示。

圖4 增強前饋網絡結構Fig.4 Structure of the enhanced feed-forward network

首先，對于輸入的中間特征fM，經過第1 個全連接層，再經過正則化和激活操作輸入第1 個深度可分離卷積層后以殘差的方式進行跳躍連接得到中間特征計算的第1 個階段的計算結果，計算過程可表示如下：

其中：LN 表示全連接操作；DepthConv 表示深度可分離卷積操作。

然后，fM,1經過正則化操作和第2 個深度可分離卷積層，通過殘差相加得到中間特征計算的第2 個階段的計算結果fM,2，fM、fM,1和fM,2跳躍連接得到中間特征計算的第3 個階段的計算結果fM,3，即：

最后，fM,3經過第2 個全連接層和正則化、卷積操作后與fI相加得到EL-TL 模塊最終提取的特征fF。

深度可分離卷積不僅能增強局部性，而且能增加窗口之間特征的局部信息交互［26］，同時相對于普通卷積而言，深度可分離卷積能有效減少模型的參數量。

1.3 非對稱特征融合模塊

使用AFF 模塊［20］將編碼器中提取的特征進行融合。特征融合策略沒有使用對稱融合［27］及只進行相鄰2 個尺度的特征融合［13］，而是將3 個尺度的特征再次進行融合輸入至DB1和DB2。

1.4 多尺度輸出解碼器

使用上采樣或下采樣操作將不同尺度的特征輸入AFF 模塊進行特征融合后，將這些特征輸入網絡解碼端，對每個尺寸的圖像進行重建。解碼器依然采用單個U 形網絡模擬多級聯U 型網絡輸出不同尺度的去模糊圖像。解碼塊均由卷積層和殘差塊構成。由于解碼塊的輸出是一個特征圖而不是一幅圖像，因此在重建每一層圖像時，使用一個卷積層作為生成圖像的映射函數。在實驗過程中，因無需B2和B3尺度的去模糊圖像S2和S3，本文模型只將原始B1尺度進行去模糊，輸出S1在后面的實驗中進行對比。

2 實驗與結果分析

網絡模 型在訓 練時使 用Intel?Xeon?Silver 4210 CPU @ 2.20 GHz 硬件平臺，內存為93.1 GB，GTX1080Ti 11 GB。軟件環境為Ubuntu18.04 操作系統，深度學習環境為PyTorch1.4.0。

2.1 數據集和實現細節

使用GoPro［13］訓練數據集來訓練網絡，訓練數據集中包括2 103 對模糊和清晰的圖像對；使用GoPro 測試數據集來測試網絡，測試數據集中包括1 111 對圖像 對。此外，在RealBlur［28］真實場 景數據集中測試了模型的有效性，RealBlur 測試數據集包含RealBlur-R 和RealBlur-J 這2 個子數據集，每個數據集包括980 對圖像對。

網絡訓練的初始學習率為10-4，之后每迭代訓練500 輪就下降50%。對于每次迭代訓練，都將圖像隨機剪切為256×256 像素。為了使模型充分收斂，在GoPro 訓練數據集中進行3 000 輪的迭代訓練，以使模型收斂。

2.2 損失函數

在優化網絡參數時，使用多尺度內容損失函數［13］，定義如下：

其中：K表示尺度；SK和GK分別表示模型預測的清晰圖像和真實清晰圖像；使用每一輪計算的損失次數tK進行歸一化處理。

研究表明：增加輔助損失項可以提高模型性能，且最小化特征空間中輸入和輸出之間距離的輔助損失項已在圖像恢復任務中得到廣泛應用，并取得了良好的效果［29］。去模糊主要是恢復圖像高頻分量的特性，使用多尺度頻率重建（Multi-Scale Frequency Reconstruction，MSFR）損失函 數［20］作為輔 助損失項。尺度頻率重建損失函數能夠測量頻域中多尺度真實圖像和去模糊圖像之間的L1 距離，定義如下：

其中：FT 表示快速傅里葉變換。

網絡訓練的損失函數可表示如下：

2.3 去模糊定量效果分析

將T-MIMO-UNet與DeblurGAN［12］、DeepDeblur［13］、FCL-GAN［14］、CRNet［15］、MIMO-UNet［20］、MIMOUNet+［20］、PSS-NSC［24］、SRN［25］、DMPHN［30］、MPRNet［31］、DeblurGAN-v2［32］等經典的去模糊網絡進行比較，定量地分析其性能。為了實現計算復雜度和去模糊精度之間的權衡，同時提出T-MIMO-UNet 的變體，即T-MIMO-UNet+和T-MIMO-UNet++，其中，T-MIMOUNet 中使用10 個殘差塊和12 個EL-TM，T-MIMOUNet+中使用20 個殘差塊和6 個EL-TM，T-MIMOUNet++是在T-MIMO-UNet+的基礎上將EFFN 中的深度可分離卷積替換成普通卷積。在GoPro 測試數據集上與其他網絡的測試結果比較如表1 所示，其中，粗體表示每列最優值，下劃線表示每列次優值。由表1 可以看出：與MIMO-UNet 基礎網絡相比，T-MIMO-UNet 及其2 個變體網絡的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）分別提升了0.39 dB、0.54 dB、0.66 dB；與DeepDeblur、DeblurGAN、SRN網絡相比，T-MIMO-UNet 的PSNR 分別提升了2.89 dB、3.42 dB、1.86 dB；特別是在平均SSIM 指標上，T-MIMO-UNet 及其變體網絡明顯優于對比網絡；與MPRNet 網絡相比，T-MIMO-UNet 及其變體網絡盡管PSNR 略有欠缺，但在模型參數量和去模糊處理時間上有更好的表現，T-MIMO-UNet 參數量減少為MPRNet 的1/2，處理時間減少為MPRNet 的1/8。

表1 在GoPro 測試數據集上的測試結果比較 Table 1 Comparison of test results on the GoPro test dataset

為了驗證多尺度策略去模糊性能的優越性，與基 于CNN 的單尺 度去模 糊網絡Deblur-GAN［12］、SDWNet［33］和基于 雙尺度 策略的 去模糊網絡DeblurGAN-v2［32］進行比較。在GoPro 測試數據集上單尺度、雙尺度與多尺度定量性能比較結果如表2所示。由表2 可以看出，多尺度特征提取方式優于單尺度和雙尺度特征提取方式，驗證了多尺度信息提取的優勢。

表2 在GoPro 測試數據集上單尺度、雙尺度與多尺度定量性能比較 Table 2 Comparison of quantitative performance among single-scale，double-scale and multi-scale on the GoPro test dataset

為了驗證T-MIMO-UNet 在真實場景中的有效性，在RealBlur 測試數據集［28］上將T-MIMO-UNet 與DeblurGAN［12］、DeepDeblur［13］、FCL-GAN［14］、MIMOUNet［20］、MIMO-UNet+［20］、SRN［25］、DMPHN［30］、MPRNet［31］、DeblurGAN-v2［32］等經典的去模糊網絡進行比較，平均PSNR 和SSIM 定量比較結果如表3 所示，其中，粗體表示每列最優值，下劃線表示每列次優值，可以看出T-MIMO-UNet 及其變體網絡仍然取得了比較好的效果，PSNR 和SSIM 值非常接近MPRNet。

表3 在RealBlur 測試數據集上的平均PSNR 和SSIM Table 3 Average PSNR and SSIM on the RealBlur test dataset

2.4 去模糊定性結果分析和消融實驗

對T-MIMO-UNet 的圖像去模糊效果進行主觀分析，并將其與其他網絡的圖像去模糊效果進行比較，如圖5 所示，為了充分展示去模糊效果，放大了圖中的細節。由圖5 可以看出，與其他網絡的去模糊結果相比，T-MIMO-UNet 獲取的去模糊圖像紋理更清晰，視覺效果更好。

圖5 在GoPro 測試數據集上的去模糊效果Fig.5 Deblurring effects on the GoPro test dataset

為了證明增強前饋網絡中使用深度可分離卷積對于降低網絡模型參數量的有效性，在T-MIMOUNet 中將深度可分離卷積替換為普通卷積進行性能對比實驗，實驗結果如表4 所示。由表4 可以看出，對于T-MIMO-UNet，在增強前饋網絡中使用傳統卷積時，相比使用深度可分離卷積的網絡模型的PSNR 提升了0.09%，參數量提升了5.6%。在參數量上使用深度分離卷積的網絡模型具備較大的優勢，滿足部分場景中需要模型規模小、運行速度快的需求。此外，使用深度分離卷積的網絡模型能夠增加窗口之間特征的局部信息交互。因此，根據綜合性能和模型參數量，在T-MIMO-UNet 模型中使用深度可分離卷積。

表4 深度可分離卷積與普通卷積的性能對比 Table 4 Performance comparison between depthwise separable convolution and ordinary convolution

為了驗證所設計的EL-TM 的有效性，并驗證所使用EL-TM 中EL-TL 數量的最優選擇，針對EL-TM中EL-TL 數量在GoPro 測試數據集上進行消融實驗，實驗結果如表5 所示。當EL-TL 數量為0 時表示沒有使用本文提出的EL-TM 時的網絡模型性能，由表5 可以看出，加入了EL-TM 的網絡模型相比未加入EL-TM 的網絡模型在性能上有了明顯的提升，且隨著EL-TL 數量的增加性能逐漸提升。但在EL-TL數量大于12 后，由于網絡模型的復雜度提升，在本文設定的硬件條件下難以進行訓練，因此選擇ELTL 數量為12 與CNN 結合作為最終模型。需要說明的是：若硬件條件允許，則可繼續增加網絡模型中的EL-TL 數量，從而取得更好的PSNR 和SSIM 性能。

表5 在GoPro 測試數據集上的EL-TM 消融實驗結果 Table 5 Ablation experimental results of EL-TM on the GoPro test dataset

3 結束語

本文提出一個新的去模糊網絡T-MIMOUNet，將Transformer 整合到基于CNN 的UNet，實現動態場景下的單圖像盲去模糊，不僅繼承了CNN 在建模局部上下文信息方面的優勢，而且還利用了Transformer 學習全局語義相關性。在GoPro 和RealBlur 測試數據集上的實驗結果驗證了T-MIMO-UNet 的有效性。后續將繼續對視覺Transformer 進行研究，探索結合多尺度CNN 與視覺Transformer 的網絡模型，進一步提升其在動態場景下的去模糊性能。