光學合成孔徑圖像超分辨率重建技術研究

劉玉雯，吳玲玲，聶 亮，陳 靖

(西安工業(yè)大學 光電工程學院，西安 710021)

0 引言

空間遙感的發(fā)展對于高分辨率圖像的要求不斷提高，對于單孔徑(主鏡)望遠鏡而言，較高的空間分辨率需要大孔徑支持[1]。入瞳直徑越大，光學系統(tǒng)的空間分辨率越高。光學合成孔徑通過組合子光學系統(tǒng)，等效單一大口徑，提高系統(tǒng)分辨率。光學合成孔徑的設計雖然降低了生產(chǎn)成本，但成像時會有中頻信息的缺失，光瞳優(yōu)化、相位調(diào)制、圖像復原等都是補償中頻信息的關鍵技術。

2002年，F(xiàn)ienup對比不同噪聲模型及填充因子，采用極大似然法和維納濾波進行圖像復原研究[2]；2010年，Stokes研究提高Golay9圖像中頻對比度問題[3]；2010年，李波對比維納濾波、最小二乘濾波和極大似然盲去卷積在Golay3的復原作用[4]；2010年，魏小峰等人實驗得出維納濾波算法效果較好，而盲解卷積法能最大程度實現(xiàn)復原效果[5]；2017年，陳灝對不同光瞳排布進行仿真，提出改進維納濾波算法得到最適宜的復原結果[6]；2019年，姜艷超通過仿真實驗發(fā)現(xiàn)WDALRD算法能夠有效保留圖像紋理和邊緣信息[7]；2020年，唐睢使用U-Net卷積網(wǎng)絡復原三臂形光學合成孔徑的圖像，能實現(xiàn)圖像的快速盲復原[8]；畢玉萍提出SRGAN融合拉普拉斯金字塔思想，通過分階段重建圖像提升圖像的重建質(zhì)量[9]；江玉寧提出改進SRGAN殘差塊并融合紋理損失的重建算法，降低訓練難度及圖像偽影問題[10]。

基于深度學習的超分辨率重建算法首次應用于光學合成孔徑圖像復原領域。本文將分析合成孔徑成像退化原因，選定合成孔徑系統(tǒng)參數(shù)后，對選定的遙感圖像進行仿真數(shù)據(jù)集構建，提出一種改進的SRGAN算法對光學合成孔徑成像進行復原研究。

1 光學合成孔徑

1.1 光學合成孔徑分析

光學合成孔徑是將多個小孔徑光學系統(tǒng)按照一定的組合規(guī)律排列，組成等效的大型綜合光學系統(tǒng)。每個子孔徑收集的光線匯聚到共同的焦平面上，進行相干疊加，光學合成孔徑的分辨率高于任一子系統(tǒng)。子孔徑的排列形式有環(huán)形、三臂形、Golay及其組合的復雜形式，相比三臂形和Golay形排布，環(huán)形結構均勻排列，填充因子范圍較廣，有較大的裝調(diào)余量，易于加工裝調(diào)，故應用較廣泛。

本文將研究合成孔徑環(huán)形七孔結構的圖像仿真及復原。由環(huán)形七孔的子孔徑坐標和光瞳函數(shù)等，可得其光瞳排布和MTF分布，如圖1所示。

根據(jù)圖1可知，合成孔徑的MTF主峰明顯，次峰按規(guī)則分布擴展，中低頻下降較快，這是成像模糊的主要原因。

光學合成孔徑是子孔徑相干疊加的組合形式，導致其成像退化的因素除光學合成孔徑固有的中頻信息損失，還有裝調(diào)誤差引起的散焦和混疊，成像系統(tǒng)的噪聲及未知因素。所以，光學合成孔徑成像需要進行復原處理，而復原難點及重點是恢復圖像的中低頻信息。

1.2 光學合成孔徑仿真成像

光學傳遞函數(shù)(OTF)反映系統(tǒng)的空間頻率響應特性。對于已知光瞳函數(shù)P(x,y)的理想系統(tǒng)，對合成孔徑點擴散函數(shù)PSF作傅里葉變換后進行歸一化處理或?qū)馔瘮?shù)進行歸一化自相關處理，可得到系統(tǒng)的光學傳遞函數(shù)OTF。根據(jù)合成孔徑成像的傅里葉變換規(guī)律，可模擬合成孔徑成像，并根據(jù)仿真結果進行圖像復原研究。分別采用環(huán)形七孔的不同填充因子做合成孔徑的仿真圖像比較，如圖2所示。

圖2 合成孔徑仿真成像

由圖2可知，填充因子數(shù)較小，即光學系統(tǒng)進光量較少，成像模糊，缺少紋理等細節(jié)特征，符合合成孔徑的成像規(guī)律。隨著填充因子的增大，圖像的模糊程度減少，但輪廓特征分辨率仍較低。仿真圖像與原圖對比后的圖像質(zhì)量評價如表1所示。

表1 環(huán)形七孔仿真圖像質(zhì)量評價

據(jù)表1結果顯示，填充因子越小，圖像質(zhì)量越差，分辨率越低，更需要進行圖像復原處理。本文針對填充因子為0.35的環(huán)形七孔光學合成孔徑系統(tǒng)進行仿真數(shù)據(jù)集構建及圖像復原研究。

2 圖像超分辨率重建

2.1 傳統(tǒng)超分辨率重建算法

傳統(tǒng)超分辨率重建算法先將低分辨率圖像進行寬高維度的放大，圖像直接放大后會有空白像素，使用插值法進行像素填充，最終生成近似的高分辨率圖像。這種重建算法實際是將原圖按相近的像素進行擴充，效果不理想。

基于深度學習的超分辨率重建算法通過神經(jīng)網(wǎng)絡直接學習低分辨率圖像到高分辨率圖像的映射函數(shù)。超分辨率卷積神經(jīng)網(wǎng)絡(SRCNN)首次將卷積神經(jīng)網(wǎng)絡融入超分辨率重建技術中，從低分辨率圖像中提取圖像塊，每個圖像塊被卷積核生成多維特征矩陣；其次，將特征矩陣通過非線性映射，生成更高維的特征矩陣；最后將高維特征矩陣重建成高分辨率圖像。

SRCNN網(wǎng)絡由三部分組成，首先從低分辨率圖像中提取圖像塊，每個圖像塊被卷積生成多維特征矩陣；其次，將特征矩陣通過非線性映射，生成更高維的特征矩陣；最后將高維特征矩陣重建成高分辨率圖像。SRCNN首次將卷積網(wǎng)絡加入超分辨率重建方法中，通過卷積網(wǎng)絡學習圖像特征，故重建效果略優(yōu)于插值的重建算法。SRCNN使用的網(wǎng)絡層數(shù)較少，計算參數(shù)相對較少，網(wǎng)絡計算較快。

2.2 改進的SRGAN算法

在2.1節(jié)中提到的SRCNN是讓卷積逐像素塊學習，將學習到的像素特征添加到特征矩陣的空白位置，輸出高分辨率圖像。但該方法缺乏對于中頻細節(jié)特征的處理，這正是合成孔徑成像中急需解決的問題。

SRGAN的輸入是輪廓較模糊的低分辨率圖像，經(jīng)過生成對抗網(wǎng)絡中的生成器、判別器，迭代優(yōu)化后生成的高分辨率圖像作為合成孔徑復原圖像。SRGAN將生成對抗網(wǎng)絡GAN融入圖像超分辨率重建中，GAN的作用是增加一個鑒別網(wǎng)絡和兩個損失，用一種交替訓練的方式訓練兩個網(wǎng)絡。原SRGAN網(wǎng)絡的結構如圖3所示。

圖3 SRGAN結構圖

生成網(wǎng)絡是通過迭代生成近似甚至優(yōu)于輸入圖像的高分辨率圖像；判別網(wǎng)絡比較生成圖像與輸入圖像，輸出0或1作為判別結果；VGG16/19的加入是為提取生成圖像和輸入圖像的特征，進行特征層的比較。SRGAN網(wǎng)絡根據(jù)感知損失和對抗損失，讓生成網(wǎng)絡和判別網(wǎng)絡交替學習，其中對抗損失值越接近1表示生成效果越好。相比于原SRGAN網(wǎng)絡，本次對SRGAN內(nèi)部的生成器網(wǎng)絡改進如下：

1)構建多尺度殘差結構。光學合成孔徑圖像需要復原缺失的中頻信息，結合ASPP網(wǎng)絡設計思想，將生成器殘差網(wǎng)絡結構變?yōu)槿龑託埐钐崛【W(wǎng)絡，在不改變特征圖大小的同時控制感受野，有利于提取多尺度信息。改進的SRGAN生成器的殘差結構如圖4所示。

圖4 去除BN層的SRGAN生成器結構

在殘差網(wǎng)絡內(nèi)部設置不同尺度的卷積核，提高特征網(wǎng)絡的感受野，將不同層次的圖像信息進行融合，使輸出圖像具有紋理及抽象信息。在本次設計中將激活函數(shù)變換為LeakyReLU函數(shù)，該函數(shù)計算高效、收斂快速，在一定程度上緩解了梯度消失。

2)選用部分殘差塊作多尺度融合。特征網(wǎng)絡的設計一般是從網(wǎng)絡深度或網(wǎng)絡寬度進行改進，這些設計是通過增大模型容量提高準確率，而這些設計的計算量巨大且效率不高，需要大量的人工調(diào)參。

多尺度特征提取網(wǎng)絡并聯(lián)了3個尺度的卷積核，可以讓網(wǎng)絡充分感知圖像的特征信息。多尺度網(wǎng)絡若使用過多，則會增加整體模型的復雜度和推理時間。本次設計只改變原生成器網(wǎng)絡中的2個殘差塊即B2和B7模塊，并在多尺度特征融合后，使用(1,1)卷積核作尺度壓縮。改進的SRGAN結構如圖5所示。

圖5 改進的SRGAN結構

隨卷積網(wǎng)絡的特征提取，圖片分辨率會越來越小，到最后小目標的特征信息可能就會丟失，從而對小目標輪廓復原效果不好。本次設計使用的(3,3)、(5,5)、(7,7)卷積核能較好地適應大目標與小目標的圖像信息，讓模型學習更加穩(wěn)定高效。

2.3 超分辨率重建圖像評價指標

峰值信噪比和結構相似度是超分辨率重建常用的2種圖像質(zhì)量評價指標。

PSNR即峰值信噪比，借助均方誤差來計算圖像失真情況，PSNR值越大代表失真圖像與參考圖像越接近。PSNR是目前圖像處理領域最廣泛的數(shù)值評估方式之一，但其像質(zhì)評價結果可能與人眼視覺感受有差異。PSNR計算如式(1)、(2):

(1)

(2)

其中：I、K表示原圖與輸入圖像，mn表示圖像尺寸，MAXI2為圖像最大可能像素值。

SSIM即結構相似度，是一種符合人眼直覺的圖像質(zhì)量評價標準，計算參考圖像與失真圖像之間的差距，最后用計算出的值作為指標來衡量失真圖像的質(zhì)量，其計算公式如式(3)：

(3)

其中：μ代表均值，σ代表方差，σIK表示協(xié)方差，c1、c2為常數(shù)。SSIM從亮度、對比度、結構對圖像進行評價，其結果越接近1表明圖像越相似，復原效果越好。

3 實驗結果與分析

隨機選出NWPU VHR-10遙感圖像中部分圖像，根據(jù)1.2節(jié)的系統(tǒng)參數(shù)仿真合成孔徑成像結果，構建復原數(shù)據(jù)集。

本次網(wǎng)絡構建基于Python 3.74和Pytorch 1.6框架搭建，在Tesla K80顯卡和NVIDIA GeForce GTX 1080Ti GPU的配置環(huán)境下完成訓練和測試。

3.1 數(shù)據(jù)增強后的SRGAN圖像復原結果

數(shù)據(jù)增強主要采用圖像亮度變化和圖像隨機翻轉(zhuǎn)處理，針對光學合成孔徑所成的灰度圖像，亮度改變可增加數(shù)據(jù)集圖像的灰度差異變化，增強模型的學習能力。

對2個數(shù)據(jù)集進行對比訓練，其中original數(shù)據(jù)集包括40張圖像，augment數(shù)據(jù)集包括320張數(shù)據(jù)增強后的圖像，對每個數(shù)據(jù)集進行100個epochs的訓練。隨機選取augment數(shù)據(jù)集的測試結果，分別為SRGAN迭代1、10、20、50、100個epoch的復原效果圖，如圖6所示。

圖6 SRGAN迭代效果

根據(jù)圖6選取的5個迭代epoch，記錄每個epoch的復原圖像與原圖對比后的像質(zhì)評價結果，如表2所示。

表2圖像增強像質(zhì)評價結果

根據(jù)表3的評價結果，SRGAN在原數(shù)據(jù)集上訓練的PSNR值比數(shù)據(jù)增強后的數(shù)據(jù)集低3 dB，整個測試過程原數(shù)據(jù)集的PSNR均值為23.6 dB，數(shù)據(jù)增強數(shù)據(jù)集的PSNR均值為26 dB。

數(shù)據(jù)增強數(shù)據(jù)集的損失函數(shù)表現(xiàn)均優(yōu)于未作數(shù)據(jù)預處理的原數(shù)據(jù)集，在數(shù)據(jù)集一定的情況下，數(shù)據(jù)增強處理可增加模型訓練的穩(wěn)定性和準確性。

3.2 改進SRGAN結構后的圖像復原結果

根據(jù)2.2節(jié)的算法改進，將生成器中的B2和B7變換成多尺度特征提取網(wǎng)絡，生成器中的激活函數(shù)全部使用LeakyReLU，所有卷積核在提取圖像特征時均不改變圖像尺度，將原SRGAN網(wǎng)絡與改進后的SRGAN網(wǎng)絡在數(shù)據(jù)增強數(shù)據(jù)集上訓練100個epochs，顯示前50個epochs的損失函數(shù)如圖7所示。

圖7 兩種SRGAN網(wǎng)絡的損失值比較

由圖7可知，改進算法的感知損失收斂速度低于原算法，說明多尺度特征提取網(wǎng)絡會占用一定的計算時間。改進算法的感知損失下降較為平穩(wěn)，證明其在較少迭代次數(shù)后，就能有效學習圖像特征。對抗損失代表了經(jīng)模型判別器鑒別后的復原效果，對抗損失越接近1代表與原圖像越接近，失真程度越少。改進算法的對抗損失在迭代過程中在1附近小幅波動，證明改進算法復原效果較好，可使模型學習更加穩(wěn)定。

3.3 多種超分辨率重建算法的復原結果對比

傳統(tǒng)超分辨率重建算法選用最近鄰插值、雙三次插值、SRCNN算法。將上述3種方法與原SRGAN算法和本文提出的改進算法進行復原效果對比。

為使SRGAN網(wǎng)絡運行更加穩(wěn)定，均使用倍率因子為4作為網(wǎng)絡輸入。所有網(wǎng)絡均使用數(shù)據(jù)增強數(shù)據(jù)集進行復原效果對比。5種復原算法的最終復原效果如圖8所示。

圖8 復原算法對比

根據(jù)圖8所示的算法復原效果對比，使用PSNR和SSIM對上述算法作像質(zhì)評價，如表3所示。

表3 多種復原算法像質(zhì)評價結果

根據(jù)表3像質(zhì)評價結果，上述復原算法均能提升仿真圖像的復原效果。SRCNN通過卷積網(wǎng)絡學習圖像特征，故重建效果略優(yōu)于插值的重建算法。改進算法相比原SRGAN算法PSNR提升2 dB。對比上述5種復原算法，改進的SRGAN對光學合成孔徑的復原效果最好，PSNR值可達30 dB。

4 結束語

本文通過仿真分析發(fā)現(xiàn)，合成孔徑成像系統(tǒng)固有的中頻信息缺失是系統(tǒng)成像退化的主要原因，在不改變光學合成孔徑成像系統(tǒng)結構的前提下，提出一種改進的超分辨率生成對抗網(wǎng)絡，對合成孔徑圖像進行復原研究。通過對光學合成孔徑系統(tǒng)的計算及結構分析，確定本文研究的系統(tǒng)參數(shù)，并根據(jù)系統(tǒng)參數(shù)構建合成孔徑仿真數(shù)據(jù)集。由于合成孔徑成像為灰度圖像，使用數(shù)據(jù)增強算法對仿真數(shù)據(jù)集進行亮度調(diào)整。本文的改進算法變換SRGAN生成網(wǎng)絡的殘差結構，設置不同卷積核增加網(wǎng)絡感受野，從3個尺度提取圖像特征。與傳統(tǒng)超分辨率圖像復原算法相比，本文算法在運行中更加穩(wěn)定，收斂速度較快，對光學合成孔徑的圖像復原效果最好，與原仿真圖像相比峰值信噪比提升10 dB。