基于多尺度特征增強的合成孔徑光學圖像復原*

張銀勝 童俊毅 陳戈 單夢姣 王碩洋 單慧琳?

1) (無錫學院江蘇省集成電路可靠性技術及檢測系統工程研究中心,無錫 214105)

2) (南京信息工程大學電子信息工程學院,南京 210044)

受物理孔徑大小和光線散射等影響,合成孔徑光學系統成像因通光面積不足和相位失真而出現降質模糊.傳統合成孔徑光學系統成像復原算法對噪聲敏感,過于依賴退化模型,自適應性差.對此提出一種基于生成對抗網絡的光學圖像復原方法,采用U-Net 結構獲取圖像多級尺度特征,利用基于自注意力的混合域注意力提高網絡在空間、通道上的特征提取能力,構造多尺度特征融合模塊和特征增強模塊,融合不同尺度特征間的信息,優化了編解碼層的信息交互方式,增強了整體網絡對原始圖像真實結構的關注力,避免在復原過程中被振鈴現象產生的偽影干擾.實驗結果表明,與其他現有方法相比,該方法在峰值信噪比、結構相似性和感知相似度評估指標上分別提高了1.51%,4.42%和5.22%,有效解決合成孔徑光學系統成像結果模糊退化的問題.

1 引言

隨著高分辨率成像技術在對地觀測、環境監測和軍事偵察等領域的廣泛應用[1],對成像技術分辨率的要求越來越高.光學系統成像的分辨率往往與系統孔徑大小成正比,但受光學元件的材料和設計、加工難度等影響,傳統光學系統的物理孔徑大小受到限制,且系統的分辨率通常無法隨意改變,并隨著觀測距離增大而下降,靈活性較低.合成孔徑光學成像技術通過一定的空間方式將多個獨立的子孔徑以一定方式排列,獲得和單一大孔徑成像等效的分辨率.加工難度小,成本低且更易實現的優點使其廣泛應用于各成像系統中[2].

伴隨合成孔徑光學系統的廣泛應用,其自身問題也逐漸顯現,其中影響最大的是多孔成像帶來的降質模糊問題,原因主要有兩方面: 1)多個子孔徑組合會減小光線通過的有效面積,引起系統中點擴散函數(point spread function,PSF)[3]變化,造成調制傳遞函數(modulation transfer function,MTF)的中低頻下降,最終影響成像的細節和分辨率.2)由于光波傳播特性,不同子孔徑可能具有細微的相位差異,多個子孔徑組合時,相位間會產生共相誤差[4],導致圖像模糊并產生偽影,嚴重時甚至無法成像.

為了獲得高分辨率圖像,通常在合成孔徑光學系統成像后結合圖像復原技術獲得清晰的圖像,但傳統圖像復原技術需要針對光學系統成像中的干擾特性進行分析,過度依賴人工設計模型且難以適用于不同的場景.深度學習的發展有力促進了圖像復原技術的提升,針對普通模糊類型圖像,Sun 等[5]利用卷積神經網絡預測模糊的概率分布,對受損圖像進行去模糊操作,耗時較長且在不同場景下需要重新進行預測.Tao 等[6]、Zamir 等[7]和Chong 等[8]采用多尺度網絡,直接對受損圖像進行復原,并對不同階段的特征進行交叉融合,優化了特征信息在不同尺度間的傳遞方式.Li 等[9]關注受損圖像的多尺度特征,將退化表征引入去模糊的過程,使網絡能很好地處理空間變化且復雜的模糊類型.Kupyn 等[10,11]提出基于深度殘差結構的去模糊網絡,并引入特征金字塔結構和輕量化的特征提取網絡,利用殘差結構提取圖像的深層信息,在多個數據集上取得了良好的去模糊效果,但對圖像暗部細節處理較差.江澤濤和覃露露[12]采用基于UNet 的生成對抗網絡來處理暗部細節缺失的圖像,在過暗環境下能夠恢復圖像的原有細節,但對圖像去模糊、去噪效果不佳.陳炳權等[13]、王山豹等[14]和劉杰等[15]針對圖像結構特征的提取,提出多種尺度特征增強融合方法,提高了網絡特征提取能力和結構銳化表達能力.在圖像復原任務中,同時關注圖像的空間和通道信息尤為重要[16],王向軍和歐陽文森[17]針對空間注意力和通道注意力之間的串、并等多種結合方式,提出一種最優連接結構.Zamir 等[18]提出基于改進多頭注意力機制的Transformer 網絡,缺點是網絡模型較大難以訓練.Li 等[19]進一步完善自注意力機制,通過窗口自注意力和通道注意力增強卷積,在全局、區域和局部范圍內明確地模擬圖像層次結構,在特征提取過程中更重視原始圖像結構信息.Tsai 等[20]在圖像水平和垂直方向重新加權圖像特征,降低了Transformer 結構的參數量.Chen 等[21]在Zamir 等[18]基礎上與簡單U-Net 架構進行融合,進一步降低了網絡復雜度,在去噪和去模糊任務上取得了顯著提升.

Tang 等[22,23]提出訓練神經網絡對合成孔徑光學系統圖像進行處理,采用U-Net 模型對退化的合成孔徑圖像進行復原,但其采用的網絡結構較為傳統,對原始圖像多尺度信息的利用停留在簡單跳連接上,且引入的殘差注意力機制未能同時關注空間和通道上的信息,在合成孔徑光學圖像復原任務上仍有提升空間.與傳統圖像中的運動模糊和抖動模糊不同,合成孔徑光學系統的成像模糊一般為點擴散函數所描述的特定情況,模糊形狀也呈現非均勻分布.此外,受子孔徑相位排列影響,合成孔徑光學系統成像容易產生振鈴現象,進行復原時易受振鈴現象影響而產生偽影.

針對以上問題,本文提出一種合成孔徑光學圖像復原方法,基于多路特征增強的生成對抗網絡架 構(multiple feature enhancement generative adversarial network,MFE-GAN),能高效、準確恢復受損的合成孔徑光學圖像.針對去模糊任務中圖像多尺度信息利用不足的問題,構造了一種多尺度特征聚合模塊(multi-scale feature aggregation module,MSFA),更好融合不同尺度特征間信息;針對合成孔徑光學退化圖像中存在的振鈴現象,構造了一種特征增強模塊(feature enhancement module,FEM),加強關注退化圖像中邊緣信息,銳化圖像的真實結構;針對傳統網絡對關鍵特征信息關注不足的情況,在自注意力和文獻[17]的基礎上提出一種基于自注意力的混合域注意力機制(mixed domain attention based on self-attention,MDBS),關注圖像關鍵信息;采用多尺度判別器對生成結果在不同尺度上進行綜合判別,加強了鑒別器對生成結果的監督作用.本文在遙感數據集上進行實驗,和其他主流算法對比,實驗結果證明了本方法在合成孔徑光學系統圖像復原任務中的有效性和優越性.

2 網絡模型

2.1 合成孔徑光學系統退化模型

合成孔徑光學系統由多個子孔徑按一定方式在像面排列,在滿足相位條件后在焦平面上通過干涉成像.以環形八孔陣列的光學系統為例,8 個子孔徑環形排列共同作用來代替單一大孔徑,但整體系統的PSF 會發生明顯彌散現象,導致最終成像發生受損退化,產生振鈴現象.圖1(a),(b)分別為合成孔徑系統八孔徑環形陣列結構示意和發生彌散后的光學系統PSF.

圖1 (a)合成孔徑系統八孔徑環形陣列結構示意圖;(b)發生彌散后的光學系統PSFFig.1.(a) Structure diagram of eight-aperture ring array of synthetic aperture system;(b) optical system PSF after dispersion.

所提退化模型的成像過程可簡單描述為

式中,M(x,y) 表示退化圖像,I(x,y) 表示原始圖像,n(x,y) 表示成像過程中受到的噪聲,p(x,y) 表示光學系統的PSF,?表示卷積過程,即利用實際測得的光學系統點擴散函數與原始圖像進行卷積,模擬實際成像中的受損退化過程,并加入噪聲模擬系統固有噪聲.光學系統PSF 的具體計算式為

式中,F為光學系統的PSF;(x,y) 為圖像的平面坐標;λ為中心波長;f為焦距;am和bm分別表示子孔徑圓心在坐標軸上的位置;Fsub為光學系統中各個子孔徑的點擴散函數,

其中,J1為一階Bessel 函數,D為光瞳的直徑,r=

2.2 MFE-GAN 復原模型

本文提出的MFE-GAN 復原網絡總體框架圖如圖2 所示,由一個生成器和一個多尺度鑒別器共同組成,其中生成器由編碼區、特征融合區和解碼區組成.生成器對輸入的模糊圖像進行信息采集,根據關鍵特征生成新圖像后,傳遞給判別器在多個尺度上進行綜合判別.

圖2 MFE-GAN 總體框架圖Fig.2.MFE-GAN General frame diagram.

2.3 生成器模型

對于合成孔徑光學圖像的復原而言,網絡的特征提取能力和對原始圖像多尺度信息的利用程度,會直接影響復原的結果.MFE-GAN 網絡的生成器由編碼區、解碼區和特征融合區組成.其中編碼區由多層卷積組成,深層提取圖像的底層信息,利用步長卷積的特性來代替傳統U-Net 網絡中的下采樣,獲取圖像不同尺度特征,一定程度上減輕了下采樣過程中產生的信息丟失問題.解碼區采用解卷積達到上采樣的效果,每層在輸入之前與經過特征融合區域后的編碼區對應特征相結合,再進行解卷積操作,提高了網絡的特征提取能力,使得特征信息在編解碼區更好交互,并在編碼區和解碼區之間添加隱藏層保證了整體生成器的流通性.為了更好關注原始圖像的局部細節信息,分別在編解碼區域中部提出基于自注意力的混合域注意力,讓整體網絡在編解碼的過程中更好關注圖像關鍵信息.

2.4 多尺度特征聚合模塊

傳統U-Net 網絡結構采用簡單跳躍連接方式將原始圖像信息從編碼區傳遞到解碼區域,未充分利用圖像不同尺度的特征.本文提出一種多尺度特征聚合模塊MSFA,具體結構如圖3 所示.MSFA共有4 個輸入,分別對不同尺度上的特征信息進行融合后再進行跳躍連接.由于深層特征是由淺層特征卷積而來,因此采用從下至上的融合方式,分別讓編碼區域的深層特征與上一級特征信息融合,再跳躍連接到解碼區域,使得跳躍連接的特征圖不僅具有淺層特征的信息,還融合了深層特征的信息,更好地利用了原始圖像的多尺度特征,進一步挖掘圖像深層信息.為了防止尺度差異過大帶來的特征信息差異問題,在本文生成器中采用兩個多尺度特征聚合模塊,對圖像的淺層特征和深層特征分別進行特征聚合操作.

圖3 多尺度特征聚合模塊Fig.3.Multi-scale feature aggregation module.

圖3 所示為網絡淺層中的多尺度特征聚合模塊,共有4 個輸入,其中最上層特征大小為 64×128×128,其中64 為通道數、128 為寬和高,中間兩層特征大小為 128×64×64,最下層特征大小為256×32×32 .首先利用1×1 的卷積層將特征的通道數調整為與上一層特征的通道數相同,再經過特征增強模塊,得到對應特征的權重圖后,讓輸入特征的每個通道特征圖和對應的像素權重進行按位相乘.得到全新特征后,一方面輸出到解碼層與對應生成特征進行跳躍連接,另一方面利用反卷積層、歸一化層和激活層將其恢復成與上級特征圖相同尺度大小,再與上級特征進行相加.為了使級間特征之間融合更加自然,保證本級特征在多尺度融合的基礎上不會被其他級的特征信息過度影響,本文采用門控卷積的思想,利用門控機制讓網絡自適應的去決定每種尺度特征融入下一尺度特征的多少.

由于合成孔徑光學退化圖像與傳統模糊圖像不同,其模糊類型呈對稱狀且會產生振鈴現象,為使網絡更加關注圖像的真實結構信息,本文提出一種特征增強模塊FEM,進一步加強每級的尺度特征表達,使生成圖像的結構信息更加銳化.MSFA中,在本級尺度特征與下級尺度特征融合后,通過特征增強模塊FEM 對融合后的特征進行特征增強,獲取更加突出的特征表達后一路繼續向上級特征融合,一路跳躍連接到解碼區對應尺度特征.具體特征加強模塊如圖4 所示.

圖4 特征加強模塊FEMFig.4.Feature enhancement module FEM.

FEM 模塊在獲得輸入特征后,根據特征圖的不同尺度對其進行通道上的最大池化和平均池化操作,分別獲得特征權重圖q1和q2.將q1和q2進行融合后輸出,再對輸入特征進行兩次卷積后與權重圖q2進行相乘操作獲得特征權重圖q3,再與權重圖q1和q3融合后,共同構成特征空間權重圖.最終通過卷積操作獲得特征空間的像素位權重圖qm.在多尺度融合模塊中,融合的不同尺度特征根據每層的特征空間權重圖qm對特征信息進行重新學習,提高了網絡對關鍵信息的關注能力及表達能力.

2.5 基于自注意力的混合域注意力模塊

在提取原始圖像尺度特征的過程中,為了更好地關注圖像信息重點,提出一種基于自注意力的混合域注意力模塊MDBS,具體結構如圖5 所示.在CBAM(convolutional block attention module)注意力[16]和文獻[17]的研究基礎上,引入自注意力的計算方式,先對輸入特征在空間域上進行增強,更好關注空間信息.將通道數為C、高為H、寬為W的特征A經過卷積層后,通過重塑和轉置操作得到大小為N×C的特征B(其中N=H×W),再將特征A經過卷積層后僅通過重塑操作得到特征C和特征D,隨后將特征B與特征C進行矩陣相乘和歸一化操作得空間特征圖S.設置兩個自學習的權重因子?和β(初始均為0),將提取到的特征D與空間特征圖S進行相乘,重塑為原始大小尺寸的特征后,在權重因子?的影響下與原始輸入特征A進行相加融合,再將原始輸入特征A在權重因子β的影響下與融合后的特征進行矩陣相乘,最終得到重點關注空間信息的特征A′.因為在通道域上不需要關注空間信息,因此直接對特征A′進行與空間域類似重塑和轉置操作,得到特征E,F和特征G,特征F與特征G在相乘后進行歸一化操作得到通道特征圖X,隨后用特征E與通道特征圖X分別計算軟注意力和硬注意力,軟注意力即計算二者對應位置的注意力權重,硬注意力即只計算二者對應位置的特征最大值,最終將得到的兩個特征結果在通道域上拼接后利用卷積層進行融合得到特征H,再添加一個自學習權重因子δ(初始為0),融合后的輸出特征在δ的影響下與之前提取到的空間特征A′再次進行相加,進一步增強模塊對空間上的關注能力,得到最終的輸出特征P.

圖5 基于自注意力的混合域注意力MDBSFig.5.Attention in mixed soft and hard domains MDBS.

2.6 判別器模型

在生成對抗網絡訓練中,若判別器判別能力與生成器的生成能力不匹配,極易發生判別器無法準確區分原始圖像和生成圖像的現象,從而導致整體訓練失敗.為使判別器具有更準確、高效的識別能力,采用三輸入的判別器在不同尺度上進行綜合判別.判別器接受生成器生成圖像尺度P,(P-1)和尺度(P-2),尺度P經過3 次卷積后和經過1 次卷積后的特征圖尺度(P-1)進行融合,得到的特征信息再經過一次卷積后與卷積后的尺度(P-2)的特征信息進行融合,最終輸出對生成圖像的綜合評分.判別器結構如圖6 所示.

圖6 判別器結構圖Fig.6.Discriminator structure diagram.

2.7 損失函數

為了進一步提高生成對抗網絡的訓練效率,緩解生成對抗網絡訓練中梯度消失和模式崩潰等現象的發生,本文采用Wasserstein 距離代替傳統Jensen-Shannon (JS)散度作為代價函數,更準確地衡量真實數據分布與生成數據分布之間的差異.具體定義式為

其中pr和pg分別表示真實分布和生成分布,sup(·)代表函數值的上確界;K為Lipschitz 常數,∥f∥L≤K表示函數f滿足K-Lipschitz 連續,E為不同分布下的數學期望.

生成器的損失函數定義為生成樣本與真實樣本之間的Wasserstein 距離的相反數,

其中,E為數學期望,D表示為判別器輸出,G表示為生成器輸出,z表示輸入的退化圖像.此外,在生成器網絡中引入了峰值信噪比(peak signal to noise ratio,PSNR)損失和結構相似度(structural similarity,SSIM)損失,分別用于減少生成圖像與原始圖像之間的像素誤差和結構誤差.PSNR 損失基于均方差(mean squared error,MSE)函數設定,SSIM 損失基于兩張圖像窗口化后的均值、方差和協方差設定.具體見(6)式和(7)式:

其中,K為常量,表示圖像的亮度范圍,一般取255;lg 函數用于減少歐幾里得波動;h,w分別表示圖像寬和高;M,N分別表示生成圖像和原始圖像.

其中,a和b分布表示生成區域與原圖區域,μa和μa表示均值,σa和σb表示標準差,σab表示a和b的協方差,常數C1=0.0001和C2=0.0009 用于保證分子分母均不為0.

綜上所述,整體生成器網絡的最終損失函數定義式為

其中λ,λpsnr和λssim分別表示用于控制生成器損失、信噪損失和結構損失權重的超參數.

3 實驗及結果分析

3.1 實驗環境

具體實驗環境配置如表1 所列.

表1 實驗環境Table 1.Experimental environment.

3.2 合成孔徑光學系統圖像退化實驗

本文實驗采用NWPU-RESISC45 遙感數據集,其中共包含大小為256×256 的31500 張圖像,涵蓋45 個類別,每個類別包含700 張圖像,為了證明本方法的普遍適用性,從中隨機挑選20 類,每類隨機選出400 張圖像,共計8000 張圖像.為了模擬合成孔徑光學系統成像異常的情況,本文采用八孔徑環形陣列結構的合成孔徑光學系統實際測得的系統點擴散函數,利用(1)式和(2)式計算生成退化圖像,并對退化圖像加入55—65 dB 加性高斯噪聲來模擬真實成像過程中的系統噪聲,作為本實驗數據集.其中隨機選出7000 張作為訓練集,1000 張作為測試集.圖7 為原始圖像與退化圖像對比圖,其中圖7(a)為原始遙感圖像,圖7(b)為退化模型生成的帶有振鈴現象和系統噪聲的退化圖像.

圖7 (a)原始圖像與(b)退化圖像對比Fig.7.Comparison between original image (a) and degraded image(b).

3.3 對比實驗

針對合成孔徑光學系統成像帶來的降質模糊和振鈴現象等問題,目前基本采用傳統算法來解決.因此本文選取傳統的復原算法維納濾波(Wiener filtering,WF)算法[5],基于深度學習的去模糊算法Deblur GAN 算法[10]、SRN 算法[6]、MPR-Net算法[7]和Stripformer 算法[20]與MFE-GAN 算法進行對比.具體可視化結果如圖8 所示,其中圖8(a)為原始清晰圖像,圖8(b)為經過合成孔徑退化模型后的退化圖像,圖8(c)—(g)分別為對比算法可視化結果,圖8(h)為MFE-GAN 算法可視化結果.

圖8 對比試驗可視化結果 (a)原始清晰圖像;(b) 退化圖像;(c) 維納濾波算法;(d) Deblur GAN 算法;(e) SRN 算法;(f) MPRNet 算法;(g) Stripformer 算法;(h)本文算法Fig.8.Visualization results of comparison experiment: (a) Clear image;(b) degraded image;(c) Wiener filtering;(d) Deblur GAN;(e) SRN;(f) MPR-Net;(g) Stripformer;(h) our proposed method.

為了進一步評估本方法的復原效果,引入峰值信噪比、結構相似度、可學習感知圖像塊相似度(learned perceptual image patch similarity,LPIPS)和弗雷歇距離(Fréchet inception distance,FID)4 種圖像質量評價標準.其中,峰值信噪比指標在像素層面上對生成圖像和原始圖像進行對比;結構相似度指標綜合考慮了生成圖像和原始圖像在亮度、對比度和結構方面的相似性;可學習感知圖像塊相似度通過學習感知特征來評估兩張圖像之間的差異和相似度,能較好地反映人類視覺感知中的差異;弗雷歇距離則是將生成圖像和原始圖像輸入至預訓練的Inception 網絡中進行特征比較來判斷兩幅圖像的差異.數值上,PSNR,SSIM 值越大,而LPIPS,FID 值越小表明生成的圖像更加合理、真實.不同方法定量對比結果如表2 所列.

表2 不同算法定量實驗結果Table 2.Quantitative experiment results of different algorithms.

由各算法對比可視化結果圖8 可見,傳統算法維納濾波方法生成結果較差,圖像具有明顯偽影和噪點,如表2 所示定量實驗結果的峰值信噪比和結構相似性都非常低,僅為15.227 和0.5452,同時LPIPS 和FID 指標分別為0.0896 和3.9776,表示生成圖像素質差,與原始圖像差距較大;Deblur GAN算法的生成圖像在整體色彩結構上較為明亮,其在細節部分仍存在噪點,整體結構恢復較為完整,峰值信噪比和結構相似度為22.379 和0.7011,LPIPS和FID 分別為0.0383 和1.2534;SRN 算法的生成圖像效果略差,在關鍵結構附近會生成偽影,且具有明顯噪點,但與傳統維納濾波算法相比較好,其峰值信噪比為17.639,結構相似度為0.6588,LPIPS和FID 分別為0.0697 和2.1246;MPR-Net 算法的生成結果較優秀,整體圖像噪點較少,但因為生成圖像過于平滑,部分圖像的銳化細節丟失,其峰值信噪比為24.725,結構相似度為0.7364;Stripformer算法雖在峰值信噪比上大大提高,但其生成圖像會丟失部分細小的邊線信息,如圖8(g)中飛機圖像的右上部裂縫未能很好復原;相比于上述算法,本文所提方法可以有效地復原退化圖像,不僅能很好恢復圖像的整體結構,對于細節信息也不會過度丟失,其峰值信噪比和結構相似度提高了0.395 和0.0334,LPIPS 和FID 分別為0.0363 和0.8979.

針對合成孔徑光學系統成像中出現的振鈴現象,本方法提出的特征加強模塊可以重點關注退化圖像的結構信息,為進一步驗證該方法的獨特性,選用受3 種不同振鈴增益因子n影響下的退化圖像,與正常退化圖像進行復原對比,如圖9 所示.

圖9 不同振鈴增益影響下的退化圖像 (a) n=0;(b) n=1;(c) n=2;(d) n=10Fig.9.Degraded images under the influence of different ringing gains: (a) n=0;(b) n=1;(c) n=2;(d) n=10.

圖9(a)為n=0 時真實光學儀器系統成像結果,圖9(b)—(d)是提高振鈴增益因子后的結果,隨著增益因子n的逐漸提高,原始圖像結構附近出現更多偽影,會對圖像復原的結果造成較大干擾.本文提出的特征加強模塊FEM 可以銳化圖像特征,復原出真實結構信息,具體復原結果如圖10所示.

圖10 不同振鈴增益影響下本文方法對圖像的復原結果 (a) n=0;(b) n=1;(c) n=2;(d) n=10Fig.10.Results of image restoration obtained by this method under the influence of different ringing gains: (a) n=0;(b) n=1;(c) n=2;(d) n=10.

由圖10 可見,當振鈴增益因子n=0和n=1時修復結果幾乎無區別,當n增大到10 時,才會在局部細節區域出現偽影.為了進一步證明本方法的優越性,選取振鈴增益因子n=10 的受損圖像進行復原,與3 種深度學習復原方法進行定量對比.由圖11 可見,Deblur GAN 的復原結果在飛機周圍出現明顯偽影,且整體色彩有偏差;SRN 針對較大目標的復原結果較好,但在小目標復原時仍在細節處出現錯位偽影;MPR-Net 方法對結構特征處理較好,基本復原了特征信息,但整體圖像噪點較高;Stripformer 方法生成的圖像會丟失部分邊線細節信息;本文方法相對更好地生成了原始圖像的結構信息,幾乎未出現偽影,一定程度上也降低了部分噪點.具體定量結果如表3 所列.

表3 在 n=10 振鈴增益影響下不同算法的定量實驗結果Table 3.Quantitative experimental results of different algorithms under the influence of ringing gain(n=10).

圖11 振鈴增益n=10 時,本文方法與其他方法對圖像的復原結果對比 (a)受損圖像;(b) Deblur GAN 算法;(c) SRN 算法;(d) MPR-Net 算法;(e) Stripformer 算法;(f)本文方法Fig.11.Comparison of image restoration results between the proposed method and other methods under the influence of ringing gain (n=10): (a) Damaged image;(b) Deblur GAN;(c) SRN;(d) MPR-Net;(e) Stripformer;(f) our proposed method.

此外,本文方法對于部分顏色異常的圖像也有很好的復原效果,如過度曝光和整體光線較暗等異常情況,具體結果如圖12 所示,其中,圖12(a)為光線異常圖像,圖12(b)為退化后的光線異常圖像,圖12(c)為本文復原后的生成圖像.針對于過度曝光情況,本文方法可以將其復原為正常顏色,能較好突出原始圖像的結構信息和細節信息;對于整體光線較暗的情況,本文方法可以提高其整體明亮程度,并突出相應細節信息.

圖12 對光線異常退化圖像的修復結果 (a)光線異常圖像;(b)退化后的光線異常圖像;(c)本文復原后的生成圖像Fig.12.Repair results of abnormal light degradation images: (a) Abnormal light image;(b) degraded images of light anomalies;(c) generated image after restoration of ours.

3.4 消融實驗

為驗證本文方法中各模塊對整體網絡復原性能的影響,進行消融實驗,在此過程中除消融項外,其他結構和參數保持不變.具體消融實驗結果如表4 所列,標記“√”表示模型在訓練過程中包含了對應項.其中策略1—策略4 采用傳統判別器,策略1 表示整體網絡僅采用U-Net 結構作為生成器;策略2 表示在U-Net 基礎上引入多尺度特征融合模塊;策略3 表示在多尺度特征融合的基礎上引入特征加強模塊;策略4 表示在策略3 的基礎上引入混合域注意力;策略5—策略9 采用多尺度判別器進行判別,策略5 表示在生成器中引入U-Net 結構、多尺度特征融合模塊和特征加強模塊;策略6表示在策略5 的基礎上使用混合域注意力,而不采用特征加強模塊;策略7 表示不采用多尺度特征融合模塊,對U-Net 跳連接分別采用特征加強模塊,同時引入注意力模塊和多尺度判別器;策略8 表示不采用多尺度特征融合模塊和特征加強模塊,僅測試注意力模塊和多尺度判別器組合對整體網絡帶來的性能影響;策略9 表示僅采用U-Net 結構、特征加強模塊和多尺度判別器.實驗結果對比如表4所列.

表4 消融實驗數據對比Table 4.Comparison of G1 ablation data of coarse repair network.

策略1 僅采用U-Net 結構的生成對抗網絡時,峰值信噪比和結構相似度都比較低,分別為19.306和0.5865,這代表整體生成結果較差;策略2 引入多尺度特征融合模塊,更好地利用了圖像的多尺度特征,峰值信噪比和結構相似度大幅上升;策略3進一步在多尺度特征融合模塊中加入特征加強模塊,使得整體網絡更加關注圖像的多尺度特征,復原結果進一步提高,峰值信噪比和結構相似性分別提高到23.872 和0.6927,LPIPS 和FID 分別為0.0579 和0.9103;策略4 在編碼器中加入混合域注意力,進一步關注圖像的高級特征,優化了復原結果,峰值信噪比和結構相似性分別提高到25.425和0.7563;策略5 取消了注意力模塊,將判別器改為多尺度判別器,使得整體網絡更好收斂,但因缺少注意力因素,結果相比于策略4 較差;策略6 和策略7 在與本文策略對比下,證明了將多尺度融合模塊和特征加強模塊相結合的效果最佳;策略8 直接將二者取消,結果峰值信噪比和結構相似性大幅度下降;策略9 在策略7 的基礎上取消了注意力模塊,使峰值信噪比和結構相似性分別下降到22.944和0.6627,LPIPS 和FID 分別為0.0682 和0.9763,證明了注意力模塊的必要性.

4 結論

本文提出一種基于多尺度特征增強的合成孔徑光學圖像復原方法,針對合成孔徑光學系統成像出現的振鈴現象專門提出特征加強模塊,關注原始圖像的真實結構信息,同時利用基于自注意力的混合域注意力增加整體網絡對關鍵信息的關注能力.在NWPU-RESISC45 遙感數據集上采用真實光學儀器測得模糊核進行模擬退化實驗并進行復原實驗,相比于傳統光學系統圖像復原算法復原效果明顯提高,且具有更好的適用性.相比于深度學習主流復原算法,能更好復原帶有振鈴現象的退化圖像,最終結果在PSNR 和SSIM 評估指標上分別提高了1.51%和4.42%,LPIPS 和FID 指標上分別達到0.0363 和0.8979.此外原始圖像數據過度曝光或光線不足等異常情況,本文方法也能將其復原,證明了本方法在實際場景中的實用性.本文方法注重采集原始圖像的多尺度信息進行特征融合,造成整體網絡參數量略大,部署到移動端后對退化圖像復原時間略長,無法做到實時復原,未來工作將針對各模塊進行輕量化設計,包括注意力機制輕量化和減輕特征融合中的冗余計算過程,使網絡參數量更小,從而做到實時復原的需求.

感謝中國科學院光電技術研究所鐘爍、范斌老師為本文退化實驗提供的真實光學系統模型參數.