基于多尺度的混合注意力機制圖像超分辨率重建

黃慧玲

引言

超分辨率重建是計算機視覺和圖像處理領域一個經典的問題，旨在從低分辨率的圖像中重建出具有清晰的紋理、邊緣和高質量視覺感官的高分辨率圖像。在計算機視覺領域中被認為是一個經典的病態逆問題[1]。高分辨的圖片經過模糊、扭曲和下采樣等多種操作后，可得到一張低分辨率圖像。然而從低分辨率圖像重建到高分辨率這個過程中，存在無限多種高分辨率圖像對應，是不可逆的。目前基于深度學習超分辨重建方法研究熱度最高，這類算法利用機器學習方法從大量訓練數據中學習低分辨率和高分辨率圖像之間的映射關系，通常能夠更好地恢復圖像細節，缺點是需要大量的訓練數據和計算資源。深度學習本質上是利用大量訓練數據和強大的模型學習能力，能夠更好地重建圖像細節，獲得更高質量的超分辨率結果。

本文主要討論的是基于深度學習的超分辨率重建，針對如何在提取更加豐富的特征時，關注提取特征與重建特征的相關性這一問題，提出了多尺度的混合注意力機制超分辨重建網絡，主要貢獻如下：

（1）多尺度提取特征：一個大的感受野可提供更多的上下文細節，并通過結合本地和全局信息幫助重建出更好的性能。因此，將局部信息和全局信息結合起來，在不同尺度上為圖像提供上下文信息，設計了一個多分支網絡。

（2）混合注意力機制：由通道注意力和空間注意力相結合，并融合到多分支模型中，實現在提取更加豐富特征情況下，關注提取特征與重建特征的相關性，從而提高重建質量。

一、網絡結構整體設計

整個網絡的結構如圖1所示，分為特征提取、全局殘差學習和上采樣模塊。特征提取的作用是提取超分辨重建需要的低中高分辨率信息，豐富的特征信息利于圖像重建。設計網絡結構的關鍵是采用多尺度融合注意力模塊級聯的方式，其中多尺度是指運用了兩條信息流獲取上下文的信息，混合注意力是指從通道和空間兩個角度來優化選擇的特征，使獲取的特征更利于超分辨率重建。全局殘差學習的作用就是不丟失剛進入網絡的初始特征，即低頻特征通過全局殘差可以將低頻信息流流向網絡的最后階段，參與重建，實現了全局跳躍連接，以增強模型的非線性映射能力。上采樣（Upsampling）模塊的作用是生成與SR圖像相同的目標尺寸。

圖1 網絡整體結構

（一）多尺度混合注意力模塊（Multi scale mixed attention module）

網絡結構除了深度會帶來更多的特征信息，網絡的寬度也會。在GoogleLeNet中采用的inception模塊中，由四條并行路徑組成，旨在從不同的空間大小中提取信息[2]。這種多分支的結構在SR上也得到了應用[3-4]，因此在本網絡中借助了拓展寬度獲取特征信息的思想，提出了多尺度模塊，如圖2所示：

圖2 多尺度混合注意力模塊圖

多尺度混合注意力模塊是構成網絡的關鍵部分，以實現更強大的多尺度特征表達和特征相關性學習。為了改進信息豐富的多尺度特征表示能力，設計了一個帶有注意機制的殘差多尺度模塊MSMAM，該模塊由卷積核、注意力機制和殘差連接組成，首先通過一個3×3的卷積核，接著分為一個并行網絡，依次通過不同數量的3×3的卷積核，然后分別經過通道注意力和空間注意力接著兩條網絡求和，最后經過一個1×1的卷積核，并且運用殘差連接用輸入卷積核與從1×1輸出的卷積進行融合。

（二）混合注意力機制

本網絡提出的融合網絡是通道注意力網絡與空間注意力網絡的結合，并把其放在多尺度特征提取中，有選擇性地提取出更有利于超分辨率重建的特征。

通道注意力的計算過程如圖3所示，首先模塊輸入一個H×W×C的一組特征圖，其中H指特征圖的高度，W指寬度，C指通道數。經過全局和平均池化計算得到每個通道的均值，即1×1×C。之后通過1×1卷積操作將通道數量縮小一定的倍數，接著經過Relu函數進行非線性化，然后再通過1×1卷積操作將通道數放大相同的倍數至原來的數量，接著再經過一個Sigmoid激活函數，即可得到每個通道的權重，即通道注意力。通過學習得到每個通道注意力參數，再與輸入的特征圖相乘，得到選擇后化特征信息輸出。

圖3 通道注意力

空間注意力機制是一種在計算機視覺任務中應用的注意力機制。它允許模型集中注意力在圖像的不同空間位置上，以便更好地處理圖像中的相關信息。其基本思想是對輸入圖像的空間內容信息映射到另一個空間內容上并保留通過計算選定的關鍵信息，對每個區域根據權重計算并輸出，從而確定圖像中比較重要區域的位置信息。空間注意力機制形成的基本流程通常是通過降低輸入張量的通道維數來挖掘位置信息，然后利用卷積計算空間注意力從而使得目標區域得以增強。

二、實驗結果與分析

在服務器主機上搭建的實驗環境，CPU為Intel(R)Xeon(R) Platinum 8375C CPU @ 2.90GHzPC，GPU為RTX 4090(24GB) ＊ 1，配備了1.10.0版本的PyTorch，以及3.8版本的python，采用了ubuntu20.04操作系統。本實驗采用數據集DIV2K[5]作為訓練集，使用Set5作為驗證集，基于驗證集上的實驗結果選取出最優的網絡結構，并用最優的網絡結構來測試Set14、BSD100和Urban100數據集。在訓練過程中，本實驗將每1000次迭代作為一個epoch。每個epoch后在Set5數據集上進行驗證從而選出最好的模型。初始學習率被設置為1×10-4，并每隔300個epoch將其減半。為了優化提出的網絡，采用了Adam優化器[6]，相應的超參數為β1=0.9,β2=0.999,∈=10-8。

（一）定量分析

為了驗證本網絡的重建質量，將與一些經典的超分辨率重建領域的模型進行比較，模型有：Bicubic、SRCNN、VDSR、ESCPN、LapSRN等。將模型在數據集Set5、Set14、BSD100和Urban100進行測試，選取PSNR和SSIM為評價指標，在×3的放大因子下與設計的網絡模型進行定量比較。

通過表1可以看出，通過在×3的放大因子以及4個不同的測試集測試實驗下，相較于淺層網絡SRCNN，網絡較深的VDSR、LapSRN、DRRN都取得了更好的PSNR以及SSIM平均值，其中VDSR是單信息流的線性結構，Lap-SRN使用了金字塔結構逐漸重建連接，DRR是使用遞歸鏈接的卷積層，這是三類有代表的超分辨率重建模型。與設計的多尺度混合注意力機制相對比，都略低于它的PSNR以及SSIM平均值。

表1 不同模型在放大因子為3的PSNR和SSIM均值對比

（二）定性分析

為了體現重建圖片在視覺上的效果，將Bicubic、SRCNN、VDSR、LapSRN與提出的模型在set5和urban100數據集上分別選一張圖片來進行重建效果對比，如圖4展示了×3放大尺度的視覺對比。對于Set5中的“baby”，提出的模型能以較少的模糊和噪聲還原眼部輪廓。對于urban100中的“img_069”，提出的模型可以以更少的模糊恢復出可信的邊緣。因此，提出的模型可以恢復出更精確的圖像細節，圖像整體的清晰度更高，視覺效果上更進一步。

圖4 不同超分辨率方法在Set5和BSDS100上的重建結果對比（重建倍數為3）

結論

為了解決提取豐富特征的同時關注提取特征與重建特征的相關性問題，提出了多尺度的混合注意力機制超分辨重建網絡。從多尺度特征提取、通道注意力機制、空間注意力等角度分析了模型的搭建，接著在一定的實驗條件下進行實驗。通過從定量和定性的角度做對比實驗，把本模型與在超分辨率重建上經典的模型相對比，實驗結果表明，該模型在定量比較上優于經典模型，在客觀評價指標PSNR/SSIM上取得了較高的數值；在定性比較上也取得了接近HR圖像的重建質量，在視覺效果上相比于其他模型也具有良好的感知質量。