基于生成對抗網絡的多幅離焦圖像超分辨率重建算法

斯 捷，肖 雄，李 涇，馬明勛，毛玉星

（1.浙江圖盛輸變電工程有限公司，浙江 溫州 325000；2.重慶大學 電氣工程學院，重慶 400044；3.國網浙江電力有限公司溫州供電公司，浙江 溫州 325000）

0 概述

圖像是人類視覺的基礎，生活中多數感知均與圖像息息相關。圖像中存儲的信息量大小以及圖像細節的精細程度取決于圖像分辨率的高低。在通常情況下，一張細節信息豐富且視覺效果清晰的圖像，大都具有較大的像素，即具有較高的分辨率。隨著信息化時代的不斷發展，為了獲得更加良好的觀感體驗，人們對分辨率的要求越來越高。然而，受限于信息傳輸、硬件設備、成像原理等客觀因素的制約，圖像的分辨率往往難以達到令人滿意的水平。因此，圖像超分辨率（Super Resolution，SR）重建作為能夠將圖像由低分辨率轉化為高分辨率、豐富圖像細節信息的圖像處理技術，引起了國內外研究人員的廣泛關注。對超分辨率算法的研究不僅能促使相關理論技術的完善，而且能產生重要的應用價值。

超分辨率重建技術自20 世紀80 年代被提出，至今發展已有40 多年，近年來國內外學者對超分辨率問題展開了諸多方面的研究。從研究對象來看，超分辨率算法可以分為二維圖像的超分辨率、二維流形數據的超分辨率和三維數據的超分辨率。目前超分辨率算法的研究大都集中于二維圖像的超分辨率問題上，而關于二維流形數據和三維數據的研究仍較少。

2014 年，DONG 等［1-2］提出了基于卷積神經網絡的超分辨率重建算法，通過學習低分辨率圖像與高分辨率圖像間的非線性映射關系，完成特征提取及圖像重建。與之前的研究方法相比，該方法具有更好的重建效果。在這之后，各式各樣的網絡結構開始被提出。在KIM 等［3-4］的研究中，大幅增加了卷積網絡的深度，同時引入殘差學習結構及遞歸跳躍層機制來改善模型中的收斂率問題。ZHANG 等［5］利用殘差密集結構，從密集連接的卷積層中提取出大量的局部特征，用于穩定更大范圍網絡的訓練，并從局部特征中學習有效的特征。LIM 等［6］通過移除不必要的批量歸一化層來改善深度網絡結構中的梯度消失問題，從而穩定訓練過程，同時提出一種多尺度的超分辨率重建方法，取得了良好的效果。

為了進一步改善圖像的質量，牛津視覺幾何小組提出一種基于VGG［7］網絡的感知損失函數［8］。小組成員結合損失函數的優點，提出在圖像超分辨率任務中利用感知損失函數訓練前饋網絡的方法。該方法產生了令人滿意的視覺效果，從而取代了逐像素損失函數。

隨著生成對抗網絡（Generative Adversarial Network，GAN）的提出，LEDIG 等［9］將GAN 的框架結構運用到了圖像超分辨率重建算法中并命名為SRGAN。他們將對抗損失函數與感知損失函數相結合，利用生成網絡和判別網絡之間的博弈關系，重建出的圖像在細節紋理和肉眼感知上更加真實，而非只是提升圖像的峰值信噪比（PSNR）指標。作為一項開創性工作，SRGAN 為后一步的基于GAN 的SR 算法奠定了基礎。基于這些工作，BULAT 等［10］專注于利用GAN 實現任意姿勢的臉部SR 算法并精準定位面部位置。文獻［11］通過附加在特征域中工作的額外判別網絡來產生更真實的結果。通常來說，成對的訓練集數據是在高清圖像下采樣所獲得，然而ZHANG 等［12］指出真正的圖像降級不遵循這個假設，輸入真實圖像將產生糟糕的性能。因此他們提出了一個框架，將不同程度的模糊核和噪聲水平輸入到網絡中，并運用到真實圖像中。面對同樣的問題，BULAT 等［13］提出了一種2 步走的方法，在重建之前先訓練一個將高分辨率圖像轉化為低分辨率圖像的網絡，用于正確的學習圖像退化，再利用訓練集進行重建訓練。

文獻［14］將GAN 網絡的基礎模塊改為RRDB（Residual-in-Residual Dense Block），并且改善了感知損失函數的輸出方式。另外，還引入了相對判別網絡來預測相對的真實性。文獻［15］通過將分割概率圖結合在一起，恢復出忠實于語義類的紋理。本文提出的算法原理與文獻［16］有著密切的關系，將使用卷積自編碼器以獲得離焦特征圖，并借用空間特征變換層將特征圖作為聯合輸入到GAN 網絡中。

本文提出一種基于對抗網絡的融合多幅離焦圖像的超分辨率重建算法，構建基于運動模糊和高斯模糊的卷積去噪自編碼器模型，實現圖像的特征提取及去模糊過程，依據基于生成對抗網絡的SR 算法，完成與離焦圖像的特征融合。最終基于Celeb A人臉圖像數據集進行模型的訓練學習，通過PSNR和結構相似性（SSIM）對比圖像的視覺效果來定量且定性驗證本文算法的有效性。

1 本文方法

1.1 基于自編碼器的離焦圖像特征提取

1.1.1 離焦圖像的生成模擬

運動模糊的模型原理主要在水平勻速直線運動條件下展開探討。然而在獲取神經網絡訓練所需要的成對清晰模糊圖像時，并沒有簡單的方法。

文獻［17］首先利用運動向量來代表小塊圖像區域的運動核，然后對模糊向量進行離散化，根據不同的長度與方向生成73 個候選線性運動核，最后與自然圖像卷積，從而生成綜合模糊圖像。文獻［18］同樣使用線性運動內核創建綜合模糊圖像。文獻［19］在一個有限尺寸的網格中隨機采樣6 個點用線段相連，并將線段上每個像素的核值設置為從均值為1、標準差為0.5 的高斯分布中采樣的值，然后將這些值裁剪為正，并將內核標準化為單位和，以此來創建模糊內核。

在運動模糊過程中，本文使用了能更加真實模擬復雜模糊核的算法。該算法遵循了文獻［20］中所描述的隨機軌跡生成的概念。軌跡通過在規則的像素網格上連續采樣得到，且每條軌跡由一個粒子在連續域中的二維隨機運動位置組成。粒子有初始速度矢量，在每次迭代中，受到指向當前粒子位置的高斯擾動和確定性慣性分量的影響。此外，在小概率下，會出現一個使粒子速度反轉的脈沖擾動，以此模擬用戶按下相機按鈕或補償相機抖動時發生的突然運動。在每一步中，速度都會被歸一化以保證相同曝光的軌跡有相同的長度。每個擾動都由各自的參數控制，當所有擾動參數設置為0 時生成直線軌跡。

軌跡矢量為復雜矢量，由馬爾科夫過程完成整個軌跡的生成。如圖1 所示，軌跡的下一個位置由前一個位置的速度、脈沖參數及高斯攝動方程共同決定，最后對軌跡矢量應用亞像素插值法生成模糊核。

圖1 運動模糊模擬示意圖Fig.1 Diagram of motion blur simulation

1.1.2 基于自編碼器的圖像特征提取

去噪自編碼器是一類以損失數據作為輸入，以預測原始未被損壞的數據作為輸出的自編碼器，其與普通自編碼器相比增加了數據有損處理，例如噪聲、模糊等。在有限的損失處理下，數據間的結構相關性仍然得到了保存，通過特征提取后，依舊可以重建出原始圖像。

本文將模糊后的圖像視作有損數據，構建去模糊自編碼器并對模糊圖像進行編碼處理，以去除圖像冗余信息，通過解碼操作，恢復原始清晰圖像，從而以訓練卷積神經網絡獲取圖像中的關鍵特征部分，并加以壓縮，為后續圖像的超分辨率重建部分打下基礎。

去模糊自編碼器的訓練過程如下：

2）將損壞樣本x?輸入到編碼器中，可表示為如式（1）所示：

其中：s為激活函數。

3）經過編碼后的數據輸入到解碼器中，解碼部分如式（3）和式（4）所示：

4）針對單個訓練樣本數據對，構建損失函數L(x,z)，如式（5）所示：

該函數可用于衡量解碼輸出z與原始數據樣本x之間接近程度。

5）對于具有n個樣本的訓練集，每一個樣本數據可以得到相應的h(i)與z(i)。當平均重構誤差最小時可以獲取最優的編碼器解碼器網絡參數，如式（6）所示：

同時，為防止權值過大引起的過擬合，對式（6）設置一個權重衰減項，如式（7）所示：

整合上面兩式得到目標函數，如式（8）所示，此時h(i)即為的低維度特征表示。

其中：λ為權重衰減參數。

1.2 基于離焦圖像的對抗超分辨率重建算法

1.2.1 網絡結構

網絡結構如下：

1）生成網絡

生成對抗網絡是通過對抗的方式，去學習數據分布，從而產生新的數據。整個框架由生成網絡和判別網絡2 部分組成。在超分辨率重建中，生成網絡定義為Gθ，負責將一張低分辨率LR 圖像重建為超分辨率SR 圖像；判別網絡定義為Dη，作用是將重建出的SR 圖像與原始HR 圖像進行對比，判斷重建圖像的真實性。生成網絡與判別網絡分別由參數θ與η所確定，整個過程交替進行，通過對抗的方式解決最大化、最小化問題，如式（9）所示：

其中：pHR與pLR分別為HR 圖像與LR 圖像各自訓練集的分布。

生成網絡結構的中間部分由16 個殘差模塊構成，層與層之間以及整個模塊前后都有跳躍連接，從而減少每層信息承載，加速模型收斂。在網絡最后設置2 個亞像素卷積層，使初始LR 圖像分辨率倍增4 倍，以實現超分辨率重建的效果。整個重建過程的思想是先使用較深神經網絡對低分辨率圖像信息進行整合，再摒棄復雜無效的反卷積，利用亞像素卷積操作完成重建。

2）判別網絡

在卷積神經網絡中，感受野（Receptive Field）的定義是卷積神經網絡每一層輸出的特征圖上的像素點在輸入圖片上映射的區域大小，通常感受野的設定是越大越好。然而，更大的感受野往往意味著更大的卷積核以及更多的網絡參數。在卷積操作中，輸出矩陣高和寬可分別由式（10）和（11）計算：

其中：stride 代表步長。假設一張圖像的大小為28 像素×28 像素，利用5×5 大小的卷積核，步長為1，則輸出圖像大小為(28-5)/1+1=24，參數為5×5×c，其中c為輸入輸出矩陣深度的乘積。卷積核的大小與網絡參數成正比。

在判別網絡結構里的8 個卷積層中，均采用了3×3 尺寸的卷積核。除此之外，使用了Leaky ReLU激活函數并取消了常規卷積過程中的最大池化操作。整個過程中，特征圖由64 張增加到512 張，每次特征圖倍增的同時均使用步長為2 的卷積核，以減少輸出尺寸。最后利用2 個全連接網絡和1 個sigmoid 激活函數，來獲得樣本分類的概率，以此判別真偽。結構如圖2 所示，其中：k表示每個卷積層對應的內核大小；n表示特征映射的數量；s代表步長。

圖2 判別網絡的架構Fig.2 Structure of discriminant network

1.2.2 損失函數

損失函數即目標函數，算法的求解過程即是對這個目標函數優化的過程。為了使超分辨率重建后的SR 圖像能與HR 圖像盡可能地相似，損失函數將分為像素域與感知域2 個部分。像素域使用MSE 損失函數，通過將2 類不同圖像逐像素對比，以保證獲得更高的PSNR 分數。基于MSE 損失函數的算法常導致輸出結果過于平滑，使人眼感知效果不佳，因此需要在感知域的損失函數上進行限制。

作用于感知域的感知損失函數稱為Perceputal Loss，它度量了2 幅圖像特征之間的歐氏距離，因此使用它來約束SR 圖像與HR 圖像之間的特征相似性，以保證人眼感知效果。為了獲取特征間的距離，感知損失函數通常使用1 個已經過預訓練的用于圖像分類的網絡模型，再將2 類圖像輸入模型以對比深層次的特征。此處使用了經典圖像識別網絡vgg-16 的損失函數Lvgg，基于交叉熵的對抗損失和均方誤差損失Lmse也被用來幫助重建圖像。生成網絡的損失函數如式（12）所示：

其中：η與λ為平衡不同損失項的系數。

1.2.3 相對判別網絡

在標準生成對抗網絡中，就未經過函數激活的C(x) 而言，判別網絡可被簡單定義為D(x)=sigmoid(C(x))，根據D(x)的大小來判斷圖像的真偽。

與文獻［14］相似，為了保證判別網絡的輸出與真偽圖像兩者均能產生聯系，本文引入相對判別概念以改進判別網絡。針對真偽圖像對(xr,xf)，定義=sigmoid(C(xr)-C(xf))。這樣的定義為整個網絡增加了相對性，判別網絡將會估計給定真實圖像xr比虛假圖像xf更真實的概率。同理，D()=sigmoid(C(xr)-C(xf))代表著相對更虛假的概率。由此，式（9）的第1 項可以改寫為式（13）：

其中：IHR～pHR；xf～Gθ(ILR)；ILR～pLR。

由于原式第1 項沒有生成網絡Gθ的參與，梯度為0，因此在優化中通常被忽略。而改進之后，第1 項受到Gθ生成的xf的影響，梯度不再為0，因此能夠幫助生成網絡完成損失函數優化，使生成網絡的訓練變為整個公式的最小化過程而非僅有后半部分。

批量輸入的圖像對存在不同的組合方式，為簡化算法時間復雜度，可加入均值概念，對判別網絡進行重新定義。如式（14）所示：

其中：C(xr)、C(xf)為真實圖像與虛假圖像未經過激活函數轉換的分布；C(x)為當前圖像分布，如果x是真實圖像，則從虛假圖像的分布中獲取期望值進行相對判別。

當損失函數修改為相對損失之后，損失函數將衡量真假圖片間的相對真實性。在對抗性訓練中，2 種損失可以從生成數據和真實數據的梯度中獲得收益，以獲得更好的效果。

1.2.4 基于空間特征變換層的信息融合

本文利用改進的去噪自編碼器，針對離焦圖像的特征進行壓縮重組訓練，網絡中經過訓練的編碼部分能實現特征的提取功能。而要使這些特征圖對超分辨率重建過程產生幫助，則需要用到信息特征融合技術。

為了將自編碼器與GAN 的框架相結合，先利用已經訓練好的自編碼器編碼部分，輸入離焦圖像；再將編碼部分輸出的離焦特征圖添加到圖像重建的過程中；最后使用空間特征變換（Spatial Feature Transform，SFT）網絡層結構來實現特征的融合。在空間特征變換過程中，針對不同的模糊類型特征圖像，先進行合并運算操作，如圖3 所示。

圖3 特征圖合并操作Fig.3 Feature map merge operation

運算式如式（15）所示：

其中：iσ與im分別代表高斯模糊及運動模糊的特征圖。

基于合并而成的特征圖這一先驗信息I，SFT 網絡層通過映射關系輸出調制參數對(γ,β)，如式（16）所示：

函數M與N可以是任意映射算法，在本文中使用了具有2 層深度的神經網絡作為映射算法以便優化。在獲得(γ,β)之后，將γ定義為縮放參數，β定義為移動參數，運用類仿射變換的方式，將合并運算與條件伸縮運算相結合，如式（17）所示：

其中：F代表SFT 層輸出作為后續網絡輸入的特征圖，其維度與γ和β相同；?代表按元素相乘。由于保留了空間維度，SFT 層不僅執行特征操作，還執行空間轉換，能夠有效地轉換和操作空間信息。空間特征變換層結構如圖4 所示。

圖4 空間特征變換層Fig.4 Spatial feature transform layer

由于SFT 層計算量不大，且無法得知模型何處需要使用到條件信息，因此在每一個殘差模塊中均加入SFT 層，整個生成器網絡結構如圖5 所示。

圖5 生成網絡的架構Fig.5 Structure of generate network

2 實驗結果與分析

2.1 離焦圖像特征提取實驗

整個訓練過程中使用Celeb A 數據集，在離焦圖像訓練集獲取時，分別對數據集進行了高斯模糊與運動模糊處理，高斯模糊直接使用了Opencv 中的高斯模糊函數，半徑參數設置為2 以下的隨機數。首先將離焦圖像訓練集輸入到自編碼器網絡中，在網絡層中完成特征提取降維工作。然后利用后續的網絡層將隱藏層中的特征進行解碼放大，輸出一張尺寸與輸入相同的圖像。利用均方誤差損失函數通過與未離焦原圖的對比完成優化，整個編碼解碼過程類似于圖像去模糊過程。在參數設置上，將學習率設置為1×10-4，Adam 優化器參數設置為0.9，訓練次數30 000 次，低分辨率圖像的尺寸設置為44 像素×52 像素。具體結構如圖6 所示，包含核尺寸k、特征圖數量n與步長s。

圖6 自編碼器結構及實現過程Fig.6 Structure and implementation process of AE

在實驗過程中，離焦圖像作為有損數據輸入到模型中，圖像的損失程度與解碼后的效果息息相關。為探究模型能夠處理的模糊程度的邊界，將不同離焦度的圖像作為輸入，再對比重建后的效果。當離焦程度從0～2 變化時，重建圖像效果如圖7 所示，其中第1 行為離焦圖，第2 行為重建圖。

圖7 不同離焦程度圖像的重建效果示例Fig.7 Examples of image reconstruction with different defocus degrees

由圖8 可知，對比圖像的均方誤差（MSE）與結構相似性（SSIM）指標，從線條1 代表的離焦圖像可以得出隨著模糊程度的加大，結構相似性在下降，均方誤差值在增加；由線條2 代表的重建圖像可以得出，模糊程度為1 時重建圖像取得最佳效果，而當模糊程度較小或較大時，模型的重建效果一般。考慮到收斂速度及網絡參數的原因，以上實驗中使用到的卷積核規模均為3×3。

圖8 不同離焦程度圖像效果對比Fig.8 Index comparison of different defocus degrees

根據傳統反卷積維納算法，其逆副核雖然有限但能夠提供足夠大的空間支持，這表明反卷積與夠大的空間卷積近似。由于離焦圖像的獲取依賴于卷積過程，所以在不考慮收斂速度的情況下，對比了3 種不同規模卷積核（3×3，5×5，7×7）所訓練模型的重建效果，如圖9 所示。

圖9 不同尺寸卷積核模型效果對比Fig.9 Comparison of effects of different size convolution kernel models

根據重建出的效果可以看出，作為有損降維算法，卷積自編碼器能夠完成離焦圖像的降維重建工作。理論上，較大卷積核需要更多的訓練時間，但后續實驗證明，在離焦程度較小時，卷積核選擇3×3 尺寸效果達到最佳。隨著離焦程度的不斷增大，較大的卷積核能夠更好的完成空間卷積的近似。而面對訓練集中未出現的更大范圍的離焦現象，模型的重建效果急劇下滑。

2.2 超分辨率重建實驗

考慮到實驗設備與環境，本文的實驗基于Celeb A人臉圖像數據集，人臉圖像特征更集中，有利于模型的訓練學習。此外，在感知損失函數部分，使用了基于ImageNet 預訓練的VGG-19 網絡。實驗的分辨率倍增數設置為4 倍，以便與文獻SRGAN 進行對比。所有的低分辨率圖像均從高分辨率圖像插值下采樣獲得，以便重建后的圖像與原高分辨率圖像進行質量指標的相關計算。

設置高分辨率圖像HR 的尺寸為176 像素×208 像素，相應的低分辨率圖像LR的尺寸為44像素×52像素。為了更好地從離焦圖像中獲取可能的補充信息，在離焦圖像的處理上，實驗并未設置特別大的離焦半徑，高斯模糊最大半徑設置為1，而運動模糊最大設置為4。在這樣的設置下，自編碼器的解碼部分仍能重建出較好的結果。

在上一部分的實驗中，自編碼器完成了離焦圖像的特征提取以及重建工作，接著利用已訓練好的自編碼器的編碼部分，通過SFT 網絡層結構，與生成對抗網絡相結合。圖10 為輸入圖像示例，分別為低分辨率圖像以及不同模糊處理后的圖像。

圖10 輸入圖像示例Fig.10 Sample of input images

為比較實驗結果，本文引入其他的超分辨率重建算法作為比較，例如雙三次插值以及同樣在Celeb A上訓練出的SRGAN 算法。基于多幅離焦圖像重建的效果如圖11 所示，從左到右依次為雙三次插值算法、SRGAN 算法、本文算法以及原HR 圖像。

圖11 重建效果對比Fig.11 Comparision of reconstruction

從視覺對比中可以看出，雙三次插值方法產生的圖像質量較差，大量細節丟失導致邊緣高度模糊，甚至出現偽影。與雙三次插值圖像相比，SRGAN 圖像有明顯的改善，圖像更加清晰，然而由于一些虛假細節的存在，導致整張臉部看起來不夠真實。相比之下，通過多幅離焦圖像重建出的圖像視覺效果更為真實，并且邊緣信息也得到了保留。為了能更加精確地比較幾種算法，本文通過峰值信噪比（PSNR）與結果相似性（SSIM）這2 種常用的評價圖像質量的指標進行了計算，算法測試結果如表1 所示，加粗數值越多，表示該算法效果越好。

表1 3 種超分辨率算法測試結果對比Table 1 Comparison of test results of three superresolution algorithms

從表1 中可以看出，在某些情況下，雙三次插值算法獲得了高于其他的PSNR 值，結合其視覺質量效果可以發現，這與前文關于PSNR 的介紹以及論文SRGAN 中的結論一致：衡量像素間相似度的PSNR 無法真實反映圖像的感知質量，獲得最高的PSNR 值有時并不意味著最好的超分辨率重建效果。從SSIM 值來看，本文所提出的算法在大多數情況下能獲得更高的數值，即使在未取得最高的時候也與數值最高的SRGAN 相近。這意味著基于多幅離焦圖像的超分辨率算法能生成更為優秀的重建圖像。

3 結束語

本文以離焦圖像作為切入點，提出圖像超分辨率重建算法。針對離焦圖像的特性，結合去噪自編碼器模型完成特征提取與重建。在融合離焦特征信息時，采用空間特征變換層網絡，以類仿射變換的方式將自編碼器模型的編碼部分與每一個殘差塊結合。將模型在Celeb A 人臉數據集上進行訓練，實驗結果表明，與雙三次插值、SRGAN 超分辨率算法的重建效果相比，本文算法能更好地恢復圖像細節，并且在多數情況下能夠獲得更高的PSNR 與SSIM 數值。結合離焦圖像的超分辨率重建算法能獲得更好的圖像重建效果，在電力傳輸與運維場景視覺監控領域具有一定的使用價值。下一步將研究深度學習模型輕量化，加快訓練速度，降低權重參數數量，以保證圖像重建的效果更具真實性。