分層特征融合網絡航拍圖像超分辨率重建

楊夏寧，王幫海，李佐龍

廣東工業大學 計算機學院，廣州 510006

近年來，得益于卷積神經網絡的發展，圖像超分辨率重建的效果得到了顯著提高，使其在人臉超分[1]、安防監控[2]、航拍遙感[3]和醫療衛生[4]等領域得到了廣泛的應用。在硬件方面提高圖像超分辨率的效果通常有三種途徑：減小像素傳感器的尺寸、增加感光芯片尺寸和提高相機的焦距[5]。但受限于成本，人們無法在所有場景中都使用高昂的拍攝設備，故而以算法作為輔助手段的低成本方法成為了研究的熱點。

圖像超分辨重建算法可分為基于傳統插值[6]、基于重構[7]和基于學習三種。相比基于插值和重構的方法，基于深度學習的圖像超分辨率重建在效果上更優越。圖像超分辨率技術在數學上屬于高度欠定問題[8]，即從低分辨率圖像（low-resolution，LR）到高分辨率圖像（high-resolution，HR）重建過程中由于圖像特征信息的缺失，映射解空間并不唯一。并且放大因子越大，重建所欠缺的信息就越多，最終得到重建的效果也越差。為此許多深度學習的方法都致力于通過構建更深層或更寬的結構來提升網絡的容量來承載LR圖像與HR圖像之間復雜的映射關系。

2014 年，Dong 等人[9-10]首次在其提出的神經網絡SRCNN（super resolution convolutional neural network）中，將深度學習方法應用到了圖像超分辨率重建領域中，并在后續工作中改進SRCNN上采樣方式，進一步提出了FSRCNN（accelerating the super-resolution convolutional neural network）[11]。2015年，Kim等人[12]受到殘差網絡的啟發，首次將殘差網絡[13]（residual network，ResNet）應用于圖像超分辨率重建網絡中，提出VDSR（very deep convolution networks for super-resolution）模型，成功將SRCNN的3層網絡結構，跨越式的增加到20 層，自此基于深度學習的超分辨率重建工作開始朝著構建更深層網絡的方向發展。2016年，Kim等人[14]提出了深層卷積神經網絡DRCN（deeply-recursive convolutional network）。該模型借鑒了遞歸神經網絡RNN[15]（recurrent neural network regularization）結構，將非線性映射層拓展為16個遞歸層，同樣達到了加大網絡深度的目的。2017 年，Tai 等人[16]提出的DRRN（deep recursive residual network）在DRCN全局殘差學習的基礎上引入局部殘差學習，網絡權重在遞歸的局部殘差中共享。得益于遞歸和殘差思想的結合，DRRN 最終將網絡模型提高到了52 層。不同于VDSR 著重于增加網絡深度，2017年，Tong等人[17]提出的SRDenseNet模型將DenseNet[18]（dense convolutional network）中密集殘差連接結構應用到了圖像超分辨率重建網絡中。實驗結果表明，SRDenseNet 的密集連接結構加強了局部特征的傳播，在不同深度的網絡層中起到了信息互補的作用，從而提高了邊緣和紋理的重建效果。2017年，Lim等人[19]提出的EDSR（enhanced deep super-resolution network）網絡模型簡化了SRDenseNet 的殘差模塊，指出ResNet 網絡中的殘差結構在圖像超分辨率重建領域的局限性，并使用去除批歸一化層（batch normalization layer）的殘差結構作為非線性映射層的堆疊模塊。去除批歸一化層減少了模型的參數，從而讓EDSR成功構建更深層的網絡結構，提高網絡的整體性能。

由SRCNN到EDSR表明越深的網絡和更密集的殘差結構能夠有效的提高超分辨率重建的最終效果。但深層神經網絡訓練難度較大，需要耗費巨大的計算資源，同時在深層卷積過程中難以避免地會造成圖像信息的損失。一味的堆疊網絡的深度已經無法有較大的突破。如何在有限的資源里充分發揮網絡的效能成為圖像超分辨率任務的新挑戰。

針對以上問題，本文提出一種分層特征融合的圖像超分辨率重建網絡。該網絡使用分層結構完成通道特征的融合，以此來補償卷積過程中圖像信息的損失。網絡將逐層遞增特征通道的數量，以保留更多分辨率信息，而且特征通道數的增加也為上一層提供了更多的整合信息。為加強圖像低頻信息在網絡中的傳遞，本文算法在基礎殘差塊中使用密集連接結構，組成密集連接殘差塊。此外，在基礎殘差結構中引入不降維輕量級注意力模塊，以提高模型對圖像高頻信息的敏感度。與現有的方法對比，尤其是在較為復雜的環境中，本文算法在重建效果上具備一定的優勢，證明了算法有效性。

1 相關工作

1.1 U-Net算法

Ronnerberger等人[20]在2015年提出U-Net全連接神經網絡并應用于醫學圖像分割。受限于醫學圖像數據樣本較少的問題，U-Net 采取了一種對稱式的U 形結構以充分提取有限圖像樣本中的特征信息。整個網絡結構主要分為下采樣收縮過程和上采樣擴充兩個過程。下采樣操作共有四次，每一次都會通過增加卷積核數目來將圖像的特征通道數加倍。卷積之后使用全局平均池化（global average pooling，GAP）縮小特征圖尺寸，以減小網絡訓練的難度。如此逐層地通過卷積操作來遞增特征通道數量不僅減輕了訓練全卷積網絡的負擔，也能夠充分提取到圖像信息的有利部分。

上采樣通過反卷積[21]（deconvolution）來實現。在特征圖上采樣擴張的過程中，卷積核的數目會逐層減半，同時使用反卷積將特征圖尺寸逐層復原。U形網絡中，同層收縮和擴張路徑的特征信息會通過跳躍連接融合在一起后，再通過卷積層進行特征提取。U形結構中收縮路徑提取的定位信息會與擴張路徑中提取的高級特征信息進行結合，一定程度上為網絡提供了注意力。此外，在下采樣過程中丟失的圖像信息也可以通過對稱的網絡結構得到相應的補償，減少連續卷積中圖像信息的損失。

1.2 通道注意力機制

2017 年，Hu 等人[22]首次在SENet（squeeze-andexcitation network）中提出通道注意力學習機制開始，通道注意力機制就被應用于各種網絡模型中。2018年，Zhang等人[23]提出的RCAN網絡在殘差模塊中插入通道注意力模塊，雖然增加了一部分計算量，但是相比較于VDSR 和EDSR 等沒有使用注意力模塊的深層網絡，RCAN 獲得了更好的重建效果。如圖1 為RCAN 插入局部殘差結構中的通道注意力模塊的基本結構。

圖1 通道注意力模塊Fig.1 Channel attention module

假設輸入形狀為H×W×C的特征圖χ=[x1,…,xc,…,xC]。擠壓的過程首先使用全局平均池化（GAP）將全局空間信息轉換為通道描述符z，z是形狀為1×1×C的特征圖，表征輸入特征通道的統計量，即該通道共享感受野的范圍。z的第c個元素zc為：

f(·) 和δ(·) 分別表示sigmoid 函數和ReLU 激活函數，WD、WU為卷積層的權重設置。兩個全連接層間的瓶頸結構用于降低整個模型的復雜度，最終得到通道統計量s。該統計量與初始輸入特征圖進行加權后完成對輸入特征圖通道xc微調：

SE 注意力模塊對通道的依賴性進行建模，通過加權的方法對特征進行逐通道調整，使得網絡可以通過學習全局信息來有選擇性的加強或抑制網絡的學習過程，從而達到網絡側重學習對重建有益信息的目的。

2 本文方法

本文借鑒了U-Net的對稱式分層特征融合結構，整體的網絡結構展示如圖2 所示。主要分為特征圖通道擴張（channels expansion）、特征圖通道融合（channels fusion）和上采樣重建（reconstruction）3個模塊。向下路徑為特征圖通道數擴張的過程，特征通道數的增加能保留更多的分辨率信息。網絡右側向上的路徑為特征提取和融合的過程，同一層的特征通過跳躍連接進行拼接后將輸入到密集殘差塊中進行特征提取，最終由上采樣重建得到高分辨率圖像。

圖2 分層特征融合網絡框架圖Fig.2 Architecture of hierarchical feature fusion network（HFFN）

2.1 整體分層特征融合結構

U-Net 設計之初用于醫學圖像分割，每層的下采樣操作除了增加特征通道數量之外，還會縮小特征圖的大小，以減小網絡訓練的難度。為最大程度的避免分辨率的損失，特征圖的大小在圖像超分辨率任務中應保持不變。本文算法改進U-Net網絡的下采樣操作，保持特征圖通道擴張路徑中特征圖大小不變，而只增加特征圖通道數量。同時為了減小網絡訓練的難度，特征圖通道擴張操作只進行兩次，每一次擴張路徑的卷積模塊（convolution block，CB）會將特征圖的通道數增至上一層的2倍，兩次卷積模塊操作最終將通道數增加至初始的4倍。

網絡首先輸入RGB三通道LR圖像，初始卷積使用64個大小為3×3的卷積核將LR圖像轉換為特征通道數為64的粗特征圖F0，并在兩次向下卷積模塊中將特征圖通道數量分別增至F1（128層）和F2（256層）：

其中，fCB表示卷積模塊操作，經過兩次fCB后得到特征圖F2。

F2送入特征圖通道融合階段，在堆疊的密集殘差塊（dense residual block，DRB）中進行特征提取。密集殘差塊的輸出經過一次3×3卷積操作將256層特征圖融合為128層特征圖F′2：

密集殘差模塊（DRB）結構由多個基礎殘差塊構成，激活函數使用LeakyReLU，具體結構在下節說明。

2.2 密集殘差模塊DRB

殘差學習方法自VDSR 開始就被廣泛應用到圖像超分辨率重建網絡中。為了能夠更好地發揮出殘差學習的性能，大部分的工作如VDSR和EDSR都是盡可能多的堆疊殘差模塊。但二者都僅有一段連接全局殘差的跳躍連接，特征信息在輸入殘差塊后需要經過漫長的路徑輸出到網絡的末端，連續的卷積層無可避免的造成圖像信息的損失，最終影響到圖像重建的效果。本文在U 形結構特征圖通道融合路徑中使用密集連接的殘差結構可以有效減少圖像特征損失。

殘差特征增強框架（residual feature aggregation framework，RFA）是由Liu 等人[24]于2020 年提出的殘差塊密集連接方案，用以加強局部殘差信息的傳遞。如圖3展示了該結構的大體框架。每4 個基礎殘差注意力模塊（residual attention block，RAB）組成一個密集殘差塊（DRB）結構。前3 個殘差注意力塊的特征信息會直接輸入到DRB 模塊的尾部，并且與最后一個殘差注意力塊的輸出拼接，最后通過1×1卷積進行特征融合。相比于簡單堆疊的殘差結構，局部殘差信息在每一個密集殘差塊中是直接相連的，使其在密集殘差塊中幾乎是無損失的進行傳遞。密集殘差結構的使用除了能夠保證網絡訓練的穩定性，減緩梯度消失和梯度爆炸問題之外，還保證了圖像中較為平滑的低頻信息在網絡結構中能夠得到有效的傳遞，從而使整個網絡更注重于圖像高頻信息的學習，有利于提高最終重建的效果。

圖3 密集殘差塊Fig.3 Dense residual block（DRB）

2.3 ECA模塊

圖像中的低頻信息比較平滑，而高頻信息則更多的表征著圖像的邊緣、語義和其他的細節。但無論是圖像的低頻信息還是高頻信息，在特征通道中都是被同等對待的。不同于文本信息，圖像中信息量龐大。一味的堆疊殘差塊不僅需要耗費巨大的計算資源，而且對最終重建效果的提升也非常有限，無法有效的提高網絡的表征能力。為了讓深層網絡更注重于高頻信息的學習，本文在殘差結構中插入注意力機制，以增加各通道之間的差異性，增強跨通道的判別性學習能力。

對于圖像超分辨率重建任務而言，通道注意力模塊的輕量化同樣非常重要。為了減輕SENet 中注意力模塊的參數量，2020 年由Wang 等人[25]提出的不降維輕量級通道注意力模塊ECA（efficient channel attention）改進了SE 通道注意力模塊中的全連接層的降維操作，指出降維會損害注意力模塊的性能。ECA 改用自適應調整大小的一維卷積核，在提升效果的同時也降低了參數總量。

ECA模塊通過對比SE模塊的兩個變體：SE-Var2和SE-Var3。指出SE-Var2獨立計算單通道權重，雖然參數量很少但得到的效果不佳。相反的，SE-Var3 通過單個全連接層（fully connected layer），將跨通道注意力效能提到了最高，但是參數量卻非常大。SE-Var2 的參數量為C，參數矩陣為：

SE-Var3參數量為C×C，參數矩陣為：

其中，wi,j表示單通道之間的權重參數，WVar3考慮了所有通道之間關系，故而參數量也最大。

RCAN 中使用的通道注意力模塊主要由全局平均池化層、全連接層和Sigmoid 函數組成。其結構如圖1所示。為了避免出現SE-Var3龐大的參數量，第一個全連接層會降低特征矩陣的維度以減小模型的復雜度，但維度的縮減同時也會損害注意力機制的部分性能。ECA模型就此對降維操作進行了改進：使用自適應調整大小的一維卷積核k代替了SE 模塊中的全連接層，只加強相鄰通道之間的跨通道信息交流。該結構如圖4所示。

圖4 ECA模塊Fig.4 Efficient channel attention module

自適應一維卷積的特征矩陣參數量為k×C，特征矩陣表示為：

得益于注意力模塊的輕量化，本文算法在每個基礎殘差模塊中都插入ECA 注意力機制，具體插入位置如圖3所示。

2.4 亞像素卷積

亞像素卷積層上采樣方法由Shi 等人[26]于2016 年在ESPCN（efficient sub-pixel convolutional neural network）網絡中提出，其原理如圖5 所示。亞像素卷積層會將特征圖單個像素的所有通道重新排列，組成高分辨率空間的單個像素區域。首先，LR 圖像經過多個卷積特征提取層得到形狀為H×W×r2的特征圖，并以此作為亞像素卷積層的輸入，r為圖像的放大因子。該層會將單像素的r2個通道重新排列成為一個r×r區域，對應著HR圖像的一個像素點區域，最終得到形狀為rH×rW×1的HR圖像。

圖5 亞像素卷積Fig.5 Sub-pixel convolution

不同于插值法簡單的利用圖像相鄰像素來計算待插像素的值，也不像反卷積上采樣中存在大量的補零操作，亞像素卷積并沒有涉及到卷積操作，而是一種基于反抽樣思想的方法，因而相比于其他上采樣方法更高效、快速。加之亞像素卷積是基于學習的上采樣方法，有效地避免了過多人工因素的引入，同時也能夠減輕了生成圖像鋸齒狀失真等問題。

3 實驗與分析

對模型進行驗證的實驗環境為：Ubuntu18.04LTS操作系統，采用Pytorch1.7深度學習框架，cuda11.1加速學習。實驗的硬件設備配置為Intel?Core?i7-10700K@3.8 GHz 處 理 器，16 GB 運 行 內 存，NVIDIA Geforce RTX3080（10 GB）顯卡。

3.1 實驗數據集準備

本文選用由Xia 等人[27]提出的公開航拍圖像數據集，該數據集提供了800×800到4 000×4 000不同分辨率下的大部分航拍場景圖，主要包含汽車停車場、飛機場、居民區、運動場、港口、高架橋、農田、高速跑道等。本文實驗選取114張涵蓋大部分場景的高分辨率圖片，將其中100張切割成分辨率為480×480的小圖，共計8 234張圖片作為網絡的訓練數據，余下14 張圖片作為驗證和測試集。相對應的，作為測試集的14 張圖片也涵蓋了絕大部分航拍場景。

ESRGAN（enhanced super-resolution generative adversarial network）[28]網絡通過對比使用DIV2K 數據集、Flickr2K 和OST 數據集訓練得到的模型，證明了大規模、內容豐富的圖像數據可以有效地提升的網絡的訓練效果。因此在數據選擇時應盡可能的涵蓋多個場景，并且在原數據的基礎上，采用隨機水平翻轉、垂直翻轉和水平垂直翻轉的方式擴增數據集以提升網絡訓練的效果。

本文實驗將輸入RGB 三通道的圖像數據進行訓練。為了得到配對的低分辨率圖像，使用MATLAB 對裁切后的高分辨率圖像進行雙三次插值（Bicubic）下采樣。分別得到不同尺度因子（×2、×3、×4）的低分辨率圖像，與裁切后的HR圖像制作成配對的數據集。

3.2 結構參數

分層特征融合網絡的參數設置如圖表1 所示。網絡訓練參數設置如下：訓練共計8 234對480×480圖像，輸入網絡后會在480×480分辨率中隨機的切出96×96的子圖像，每16 對子圖像作為一批，共計訓練30 萬個周期。訓練使用Adam優化器，β1=0.9，β2=0.99。初始學習率為10-4，迭代20 萬個周期后學習率減半。損失函數為L1損失函數。

表1 分層特征融合網絡的參數設置Table 1 Parameters setting of hierarchical feature fusion networks

3.3 圖像重建效果比較

使用峰值信噪比（PSNR）和結構相似性（SSIM）作為主要的評價指標，并且與雙三次插值法（Bicubic）、SRCNN、SRResNet、EDSR 網絡做對比實驗。各個模型輸入的初始特征圖通道數均為64，在選用的航拍圖像當中分別進行訓練，迭代次數為30萬，其他參數保持原設置不變。實驗主要測試算法在不同的航拍環境（飛機場、居民區、海面、高架橋、機場跑道、運動場）中重建的效果。表2 展示不同算法在14 張不同場景測試圖片下的平均PSNR/SSIM值。通過對比可以發現在絕大部分場景下，本文方法都優于比較算法。14張測試場景圖平均PSNR 值與SRResNet、EDSR 和SRCNN 進行比較，分別高0.18 dB、0.14 dB和2.88 dB。

表2 不同圖像超分辨率重建算法在14種航拍場景中的平均表現Table 2 Average performance of different image super-resolution reconstruction algorithms on 14 aerial images

為了測試本文算法在更具體的場景中圖像重建效果，現分別在飛機場、居民區、海面、高架橋、機場跑道和運動場六個常見的航拍場景中選擇一定數量的測試圖片。并分別計算不同算法的平均PSNR/SSIM 值，結果展示如表3所示。可以發現在較為簡單的場景（如飛機場和跑道上）EDSR和本文算法在效果上接近。但是在較為復雜的環境（如密集的居民區和港口區域）本文算法有更為明顯的優勢，尤其是放大因子較大時，相比較于EDSR 重建的效果更好。放大因子為4 倍的情況下，居民區圖像重建效果較EDSR高出0.16 dB，港口區域高出0.28 dB。

表3 不同圖像超分辨率重建算法在不同航拍圖像重建中的表現Table 3 Performance of different image super-resolution reconstruction algorithms in different aerial images reconstruction

為了能夠更直觀地對比各個算法在不同放大因子下重建的效果，現在不同場景中抽取一張測試圖片，使用各個算法進行圖像超分辨重建。如圖6為5個算法在飛機場和運動場中放大2 倍的圖像超分辨率重建的最終效果。如圖7和圖8分別展示了在放大因子為3倍和4倍的情況下，機場跑道、港口、居民區和高架橋上圖像重建的主觀效果。對比可知在復雜的高架橋環境下，本文算法重建得到的車輛圖像邊緣更為清晰。

圖6 不同航拍場景下×2重建對比Fig.6 Comparison of ×2 image reconstruction in different aerial scenes

圖7 不同航拍場景下×3重建對比Fig.7 Comparison of ×3 image reconstruction in different aerial scenes

圖8 不同航拍場景下×4重建對比圖Fig.8 Comparison of ×4 image reconstruction in different aerial scenes

4 結束語

本文針對圖像超分辨率重建在復雜航拍環境中圖像特征損失嚴重，特征利用率不高的問題，結合U-Net分層特征融合的思想，采用更為密集的殘差連接塊和輕量級特征注意力機制，構建分層特征融合網絡。本文算法降低了特征信息在殘差塊中的損失，加強了局部殘差的傳遞；同時分層結構能夠更好保留重建圖像的邊緣細節信息，減緩深層網絡帶來的梯度消失和梯度爆炸問題。為了驗證算法的有效性，本文實驗部分在公開的航拍圖像中制作模型訓練所需要的數據集，并分別在SRCNN、SRResNet 和EDSR 模型中進行訓練。對比實驗結果可知，無論是在主觀視覺感受，還是在客觀評價指標PSNR/SSIM上，本文算法都有更好的表現，有效重建了復雜航拍環境中圖像的紋理邊緣，成功拓展了航拍圖像在其他高級視覺任務中的應用。下一步的工作將對算法進行適應性改進，使模型在不同的環境中有更好的魯棒性，并降低模型的復雜度，提高網絡訓練的效率。