基于生成逆推的大氣湍流退化圖像復(fù)原方法

崔浩然 苗壯 王家寶 余沛毅 王培龍

摘 要：大氣湍流是影響遠(yuǎn)距離成像質(zhì)量的重要因素。雖然已有的深度學(xué)習(xí)模型能夠較好地抑制大氣湍流引起的圖像像素幾何位移與空間模糊，但是這些模型需要大量的參數(shù)和計(jì)算量。為了解決該問(wèn)題，提出了一種輕量化的基于生成逆推的大氣湍流退化圖像復(fù)原模型，該模型包含了去模糊、去偏移和湍流再生成三個(gè)核心模塊。其中，去模糊模塊通過(guò)高維特征映射塊、細(xì)節(jié)特征抽取塊和特征補(bǔ)充塊，抑制湍流引起的圖像模糊；去偏移模塊通過(guò)兩層卷積，補(bǔ)償湍流引起的像素位移；湍流再生成模塊通過(guò)卷積等操作再次生成湍流退化圖像。在去模糊模塊中，設(shè)計(jì)了基于注意力的特征補(bǔ)充模塊，該模塊融合了通道注意力機(jī)制與空間混合注意力機(jī)制，能在訓(xùn)練過(guò)程中關(guān)注圖像中的重要細(xì)節(jié)信息。在公開(kāi)的Heat Chamber與自建的Helen兩個(gè)數(shù)據(jù)集上，所提模型分別取得了19.94 dB、23.51 dB的峰值信噪比和0.688 2、0.752 1的結(jié)構(gòu)相似性。在達(dá)到當(dāng)前最佳SOTA方法性能的同時(shí)，參數(shù)量與計(jì)算量有所減少。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)大氣湍流退化圖像復(fù)原有良好的效果。

關(guān)鍵詞：大氣湍流； 退化圖像復(fù)原； 深度學(xué)習(xí)； 注意力機(jī)制

中圖分類(lèi)號(hào)：TP391?? 文獻(xiàn)標(biāo)志碼：A?? 文章編號(hào)：1001-3695（2024）01-045-0282-06

doi：10.19734/j.issn.1001-3695.2023.07.0267

Restoration method for atmospheric turbulence degraded images based on generative inversion

Abstract：Atmospheric turbulence is a crucial factor that affects the quality of long-distance imaging. Though current deep learning models can effectively suppress geometric displacement and spatial blurring caused by atmospheric turbulence， such models require a large number of parameters and computational resources. To tackle this problem， this paper proposed a lightweight atmospheric turbulence degraded image restoration model based on generative inversion that entailed three core mo-dules： the DeBlur module， the remove shift module， and the turbulence regeneration module. The DeBlur module used high-dimensional feature mapping blocks， detail feature extraction blocks， and feature compensation blocks to suppress image blurring caused by turbulence. The remove shift module compensated for pixel displacement caused by turbulence using two convolutional layers. The turbulence regeneration module regenerated turbulence degraded images through convolutional operations. In the DeBlur module， it designed an attention-based feature compensation module that integrated the channel attention mechanism and the spatial mixed attention mechanism to focus on essential detail information in the image during training. The proposed model achieved peak signal-to-noise ratios of 19.94 dB and 23.51 dB， and structural similarity values of 0.688 2 and 0.752 1 on publicly available dataset Heat Chamber and self-built dataset Helen， respectively. Furthermore， it reduced the number of parameters and computational resources， compared to the current state-of-the-art （SOTA） method. The experimental results demonstrate the effectiveness of this method in restoring atmospheric turbulence degraded images.

Key words：atmospheric turbulence; degraded image restoration; deep learning; attention mechanism

0 引言

大氣湍流產(chǎn)生的原因主要受溫度與距離的影響，由于空氣中氣流的溫度、海拔、風(fēng)速、霧等因素的變化，使得大氣折射率產(chǎn)生時(shí)空上的隨機(jī)波動(dòng)，該現(xiàn)象導(dǎo)致捕獲的圖像內(nèi)容出現(xiàn)形變扭曲和模糊［1，2］。圖像分類(lèi)、目標(biāo)檢測(cè)、目標(biāo)跟蹤等計(jì)算機(jī)視覺(jué)領(lǐng)域的下游任務(wù)以及遠(yuǎn)距離光學(xué)成像、激光雷達(dá)成像等應(yīng)用都受到大氣湍流的嚴(yán)重困擾。相比于霧化、噪聲等干擾因素，大氣湍流引起的圖像幾何失真和空間模糊更難修復(fù)，亟待提出更高效的大氣湍流退化圖像復(fù)原方法。

現(xiàn)有針對(duì)大氣湍流退化圖像信息復(fù)原的方法可以分為基于光學(xué)處理的方法［3～5］和基于圖像處理的方法［6～11］。基于光學(xué)處理的方法通過(guò)實(shí)時(shí)監(jiān)測(cè)大氣湍流的影響，利用變形鏡或變焦鏡對(duì)光線進(jìn)行實(shí)時(shí)調(diào)整，從而補(bǔ)償大氣湍流對(duì)光線的擾動(dòng)，并改善成像質(zhì)量，但是該類(lèi)方法大多需要昂貴的光學(xué)硬件設(shè)備，同時(shí)計(jì)算量大且操作復(fù)雜。現(xiàn)有的大部分基于圖像處理的方法都是基于幸運(yùn)幀的思想［7～10］，通過(guò)利用拍攝獲取多幀圖像中受影響較小的幀（幸運(yùn)幀）來(lái)抑制湍流影響。但是幸運(yùn)幀在長(zhǎng)曝光與存在運(yùn)動(dòng)目標(biāo)的場(chǎng)景下出現(xiàn)的概率十分低，所以這些方法很難在實(shí)際中應(yīng)用。比如卷積去模糊的計(jì)算方法［6，11］，都假設(shè)物體和照相機(jī)處于靜止的狀態(tài)，但在存在物體運(yùn)動(dòng)應(yīng)用場(chǎng)景中的效果不理想。現(xiàn)有基于圖像處理的深度學(xué)習(xí)方法［12～15］針對(duì)大氣湍流引起的人臉圖像退化問(wèn)題取得了很好的效果，但未能推廣到一般的場(chǎng)景之中。基于Diffusion［16］和Transformer［17～19］的方法在圖像復(fù)原任務(wù)中往往表現(xiàn)出很好的性能，但需要消耗大量的內(nèi)存與計(jì)算資源。

針對(duì)以上問(wèn)題，設(shè)計(jì)了一種輕量化的基于生成逆推的圖像復(fù)原模型來(lái)加速處理湍流引起的圖像退化問(wèn)題，從湍流生成的角度出發(fā)來(lái)消除其對(duì)圖像質(zhì)量的影響。該模型包括去模糊模塊、去偏移模塊和湍流再生成模塊。同時(shí)設(shè)計(jì)了基于注意力的特征補(bǔ)充模塊，該模塊融合了通道注意力機(jī)制與空間混合注意力機(jī)制，在訓(xùn)練過(guò)程中關(guān)注圖像中重要的細(xì)節(jié)，達(dá)到更好的湍流退化圖像復(fù)原效果。實(shí)驗(yàn)結(jié)果表明，該方法在主觀的視覺(jué)感受和定性評(píng)價(jià)指標(biāo)上與當(dāng)前SOTA方法相比，達(dá)到了同樣的性能，同時(shí)減少了參數(shù)量與計(jì)算量。

1 相關(guān)工作

1.1 大氣湍流圖像復(fù)原方法

光學(xué)界和計(jì)算機(jī)視覺(jué)領(lǐng)域在關(guān)于大氣湍流退化圖像復(fù)原方法上的研究已經(jīng)有幾十年。光學(xué)界對(duì)于大氣湍流圖像復(fù)原處理主要基于自適應(yīng)光學(xué)元器件的補(bǔ)償方法，如相干光自適應(yīng)（coherent optical adaptive）［3］和基于波前時(shí)域譜（wave-front temporal spectra）［4］方法。但是此類(lèi)方法大多需要昂貴的物理器件，成本很高。計(jì)算機(jī)視覺(jué)領(lǐng)域的傳統(tǒng)方法大多基于幸運(yùn)區(qū)域多幀成像的策略［6～11］，這些方法利用每幀中被湍流影響最小的區(qū)域來(lái)融合一張干凈銳利的圖像，但是在長(zhǎng)曝光的情況下，運(yùn)動(dòng)模糊使得幸運(yùn)區(qū)域減少，這些方法就不再適用了。現(xiàn)階段隨著人工智能的發(fā)展，出現(xiàn)了許多基于深度學(xué)習(xí)方法的大氣湍流退化圖像復(fù)原方案。Yasarla等人［12，13］利用基于CNN的方法來(lái)重建湍流退化的圖像，提出了Monte Carlo［13］的手段幫助網(wǎng)絡(luò)訓(xùn)練。Lau等人［14］采用GAN的方法，設(shè)計(jì)了三個(gè)生成器分別用來(lái)去模糊、去變形、融合圖像，并配有判別器來(lái)幫助重建圖像。最近，Mao等人［17］提出一種基于Transformer模型的大氣湍流圖像復(fù)原網(wǎng)絡(luò)架構(gòu)，同時(shí)利用湍流的物理特性來(lái)訓(xùn)練網(wǎng)絡(luò)，但是該模型需要大量的參數(shù)參與計(jì)算，將消耗大量計(jì)算資源。同樣地，文獻(xiàn)［15，16，18，19］中也存在計(jì)算量大，難以訓(xùn)練的問(wèn)題。

1.2 用于圖像處理的注意力

注意力機(jī)制的思想是關(guān)注神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中更重要的信息。Hu等人［20］最早提出SENet（squeeze-and-excitation networks），針對(duì)特征通道的關(guān)系，根據(jù)損失來(lái)學(xué)習(xí)特征權(quán)重。Woo等人［21］進(jìn)一步提出了通道融合空間的注意力機(jī)制。為了提升文本序列中的交互關(guān)系，Vaswani等人［22］提出了多頭注意力機(jī)制，同時(shí)該方法在計(jì)算機(jī)視覺(jué)上也有所應(yīng)用。圖像復(fù)原任務(wù)中，鄔開(kāi)俊等人［23］在UNet中的每一層編碼器和解碼器之間增加了改進(jìn)之后的注意力機(jī)制來(lái)更好地復(fù)原大面積破損區(qū)域。Qin等人［24］設(shè)計(jì)了融合通道與像素注意力機(jī)制模塊實(shí)現(xiàn)去霧任務(wù)。Li等人［25］基于Transfomer的架構(gòu)提出條紋自注意力來(lái)實(shí)現(xiàn)特征全局依賴(lài)，但在Transfomer所提及的結(jié)構(gòu)中，對(duì)圖像進(jìn)行自注意力操作時(shí)，需要大量的參數(shù)量進(jìn)行計(jì)算。Chen等人［26］發(fā)現(xiàn)在圖像復(fù)原領(lǐng)域，簡(jiǎn)單的通道注意力機(jī)制就可以實(shí)現(xiàn)Transfomer長(zhǎng)程依賴(lài)的效果。因此本文提出了基于注意力的特征補(bǔ)充模塊，訓(xùn)練時(shí)主要關(guān)注圖像中重要的細(xì)節(jié)信息，對(duì)背景等低頻信息賦予較小的權(quán)重。

2 基于生成逆推的大氣湍流圖像復(fù)原方法

2.1 湍流退化過(guò)程建模

大氣湍流造成圖像內(nèi)容產(chǎn)生幾何形變與模糊，在假設(shè)場(chǎng)景與成像傳感器為靜止的情況下，由大氣湍流所引起的圖像退化建模過(guò)程可表示為

xt=f（xc）+n（1）

f（·）=bg（2）

其中：f（·）表示湍流退化函數(shù);n表示噪聲。湍流退化函數(shù)f由像素幾何位移函數(shù)g（·）和模糊卷積函數(shù)b（·）聯(lián)合構(gòu)成。給定一幅干凈圖像xc，經(jīng)過(guò)函數(shù)f操作（依次經(jīng)過(guò)像素幾何位移函數(shù)g的操作和模糊卷積函數(shù)b的操作），再疊加噪聲n，則生成大氣湍流退化后的圖像xt。根據(jù)上述退化建模過(guò)程可知，要想將退化后的xt還原為退化前的xc，則需要構(gòu)建像素幾何位移函數(shù)g（·）和模糊卷積函數(shù)b（·）的逆函數(shù)g－1（·）和b－1（·），并通過(guò)xc=g－1（b－1（xt－n））將湍流退化圖像xt復(fù)原為干凈圖像xc。不幸的是，現(xiàn)實(shí)中幾何位移函數(shù)g（·）和模糊卷積函數(shù)b（·）的操作雖然可以數(shù)學(xué)建模，但是逆過(guò)程的操作很顯然無(wú)法實(shí)現(xiàn)唯一復(fù)原，因此擬采用深度卷積神經(jīng)網(wǎng)絡(luò)手段近似擬合逆函數(shù)g－1（·）和b－1（·）的過(guò)程，并基于大數(shù)據(jù)學(xué)習(xí)這一映射過(guò)程參數(shù)。

2.2 基于生成逆推的大氣湍流退化圖像復(fù)原模型

為了有效地抑制大氣湍流在成像過(guò)程中對(duì)圖像造成的退化，基于2.1節(jié)的分析，設(shè)計(jì)并提出了一種基于生成逆推的大氣湍流退化圖像復(fù)原模型（atmospheric turbulence degraded ima-ge restoration model based on generative inversion propagation，ATDIR）。如圖1所示，該模型主要包括去模糊模塊（deblur module，DBM）、去偏移模塊（remove shift module，RSM）和湍流再生成模塊（turbulence regeneration module，TRM）。其中，DBM模塊用于近似擬合模糊卷積函數(shù)b（·）的逆操作b-1（·），RSM模塊用于近似像素位幾何移函數(shù)g（·）的逆操作g-1（·），TRM模塊利用逆推的思想來(lái)模擬大氣湍流生成的過(guò)程，輔助神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。給定一幅湍流退化圖像xt，經(jīng)過(guò)DBM和RSM模塊可以得到復(fù)原圖像x′c，其中經(jīng)過(guò)DBM模塊的中間結(jié)果經(jīng)過(guò)TRM模塊，可以再次生成模擬湍流退化的圖像x′t。通過(guò)在x′c與xc、x′t與xt之間增加監(jiān)督損失，可監(jiān)督模型從數(shù)據(jù)中進(jìn)行參數(shù)的有效學(xué)習(xí)。

2.2.1 去模糊模塊DBM

去模糊模塊的目的就是讓受湍流影響的圖像細(xì)節(jié)更清晰，該模塊采用已有的圖像去模糊方法［24］進(jìn)行設(shè)計(jì)，利用基于CNN的深度殘差網(wǎng)絡(luò)結(jié)構(gòu)，其中局部的殘差連接允許低頻信息傳輸至深層，與經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)去模糊重構(gòu)的信息融合得到干凈圖片。不過(guò)，為了處理這種不同于一般情況下導(dǎo)致的模糊，本文設(shè)計(jì)了能更有效適配湍流的去模糊模塊，且與后續(xù)去偏移模塊聯(lián)合進(jìn)行湍流的抑制。如圖1所示，該模塊包括一個(gè)基本的高維特征映射塊（high-dimensional feature mapping block，HFMB）、三組由殘差模塊構(gòu)建的細(xì)節(jié)特征抽取塊（fine-grained feature extraction block，F(xiàn)FEB），以及一個(gè)基于注意力的特征補(bǔ)充塊（attention-based feature compensation block，AFCB）。給定一幅湍流退化圖像xt，依次經(jīng)過(guò)HFMB、FFEB和AFCB的處理，輸出模糊圖像補(bǔ)充特征Fb。

1）HFMB 如圖1所示，高維特征映射模塊GH僅由一個(gè)卷積層組成。給定圖像xt∈RAp3×H×W，則輸出高維特征F0b∈RApC×H×W，計(jì)算過(guò)程為

其中：W0∈RAp3×C×3×3為卷積操作的卷積核參數(shù); C為特征通道數(shù);H為圖像高度;W為圖像寬度。為了保持處理前后圖像尺寸不變，3×3卷積核步長(zhǎng)為1，且padding為1。

2）FFEB 如圖1所示，該模塊由三個(gè)具有跳接結(jié)構(gòu)的基本組塊構(gòu)成，前一個(gè)組塊的輸出作為后一個(gè)組塊的輸入，依次計(jì)算，對(duì)應(yīng)輸出的特征為

Fib=GiF（Fi－1b） i=1，2，3（4）

其中：每個(gè)組塊GiF又由六個(gè)類(lèi)似殘差塊結(jié)構(gòu){gij}6j=1組成，前一個(gè)結(jié)構(gòu)的輸出作為后一個(gè)組塊的輸入，依次計(jì)算。具體地，每個(gè)結(jié)構(gòu)如圖2所示，給定輸入特征Fi，j－1b，先經(jīng)過(guò)一個(gè)卷積層和ReLU激活層，與輸入特征加和后，再經(jīng)過(guò)一個(gè)卷積層和一個(gè)基于注意力的特征補(bǔ)償塊GA，對(duì)應(yīng)輸出的特征Fi，jb，整個(gè)計(jì)算過(guò)程如下：

其中：Wi，j1∈RApC×C×3×3、Wi，j2∈RApC×C×3×3分別為兩個(gè)卷積操作的卷積核參數(shù);C為特征通道數(shù);δ（·）表示ReLU激活函數(shù);GA（·）表示AFCB模塊操作過(guò)程。通過(guò)上述類(lèi)似殘差模塊結(jié)構(gòu)的跨層連接，可以使得模型直接學(xué)習(xí)退化圖像的細(xì)節(jié)，降低模型參數(shù)學(xué)習(xí)訓(xùn)練難度。

3）AFCB 如圖1所示，該模塊由通道注意力（channel attention，CA）和空間混合注意力（spatial mixed attention，SMA）聯(lián)合構(gòu)成。

2.2.2 基于注意力的特征補(bǔ)充塊AFCB

圖3展示了AFCB模塊的內(nèi)部結(jié)構(gòu)，該模塊提高了深度殘差網(wǎng)絡(luò)的表現(xiàn)力和處理不同信息時(shí)的靈活性。該模塊主要分為通道注意力與空間混合注意力兩個(gè)步驟。

1）通道注意力計(jì)算過(guò)程 CA將每個(gè)通道特征圖壓縮為一個(gè)值作為通道的注意力權(quán)重，并與原通道特征圖進(jìn)行乘積加權(quán)。給定輸入特征Fin∈RApC×H×W，首先，對(duì)特征圖的每個(gè)通道執(zhí)行全局均值池化操作：

其中：Fin（c，a，b）表示Fin在通道c、位置（a，b）上的值;輸出fmid∈RApC×1×1為一個(gè)通道數(shù)為C的一維特征。

然后，計(jì)算權(quán)重：

其中：w1ca∈RAp3×1×1和w2ca∈RAp3×1×1為一維卷積核參數(shù)，卷積步長(zhǎng)和padding均為1;δ（·）表示ReLU激活函數(shù);σ（·）表示sigmoid函數(shù);輸出wca∈RApC×1×1表示為不同通道賦予不同的權(quán)重。

最后，對(duì)輸入特征Fin進(jìn)行元素級(jí)點(diǎn)乘操作，得到通道加權(quán)的輸出為

2）空間混合注意力計(jì)算過(guò)程 SMA將每個(gè)空間位置上不同通道的特征值壓縮為一個(gè)權(quán)重，并與原通道特征圖進(jìn)行乘積加權(quán)。給定輸入特征Fmid∈RApC×H×W，首先，對(duì)Fmid分別在通道維執(zhí)行最大值池化與平均值池化的操作：

其中：Fin（c，a，b）表示Fin在通道c、位置（a，b）上的值;輸出favg∈RAp1×H×W和fmax∈RAp1×H×W為二維特征。

然后，計(jì)算權(quán)重：

其中：fcat=［favg;fmax］∈RAp2×H×W為通道級(jí)的平均值特征favg和最大值特征fmax拼接后的特征;w1sma∈RAp2×1×3×3和w2sma∈RAp1×1×3×3為二維卷積核參數(shù)，卷積步長(zhǎng)和padding均為1;δ（·）表示ReLU激活函數(shù);σ（·）表示sigmoid函數(shù)，輸出wsma∈RAp1×H×W表示為不同空間位置賦予不同的權(quán)重。

最后，對(duì)輸入特征Fmid進(jìn)行元素級(jí)點(diǎn)乘操作，得到空間加權(quán)的輸出為

2.2.3 去偏移模塊RSM

RSM模塊的目的是用來(lái)抑制大氣湍流對(duì)圖像造成的像素偏移，用卷積神經(jīng)網(wǎng)絡(luò)的手段來(lái)近似擬合像素幾何位移函數(shù)的逆變換g－1（·）。如圖1所示，RSM模塊由兩個(gè)卷積層和殘差連接傳輸?shù)牡蛯訄D像信息組成。湍流退化圖像xt經(jīng)過(guò)DBM后輸出模糊圖像補(bǔ)充特征Fb∈RApC×H×W，再經(jīng)過(guò)RSM模塊后得到最終的干凈圖像xc。具體計(jì)算過(guò)程為

其中：Wr∈RApC×3×3×3為第一層卷積操作的卷積核參數(shù);Wf∈RAp3×3×3×3為第二層卷積操作的卷積核參數(shù);C為特征通道數(shù);H為圖像高度;W為圖像寬度。為了恢復(fù)原始通道大小且保持圖像尺寸不變，3×3卷積核步長(zhǎng)為1，且padding為1。在ATDIR訓(xùn)練的過(guò)程中，網(wǎng)絡(luò)通過(guò)學(xué)習(xí)不斷地更新卷積參數(shù)，以矯正幾何像素位移給圖像帶來(lái)的影響，從而達(dá)到去偏移的效果。

2.2.4 湍流再生成模塊TRM

為了逆推湍流形成的過(guò)程，如圖1所示，利用自監(jiān)督學(xué)習(xí)的思想設(shè)計(jì)了湍流再生成模塊TRM。TRM模塊由通道恢復(fù)卷積和湍流抑制后的干凈圖像x′c組成。湍流退化圖像xt經(jīng)過(guò)DBM后輸出模糊圖像補(bǔ)充特征Fb∈RApC×H×W。首先，經(jīng)過(guò)一層通道恢復(fù)卷積得到模擬湍流效應(yīng)的特征圖xfm：

接著，與經(jīng)過(guò)DBM與RSM后得到的重建干凈圖像x′c進(jìn)行像素相乘操作，再次生成模擬湍流退化的圖像x′t：

最后，模擬湍流退化圖像與真實(shí)場(chǎng)景中的湍流退化圖像xt之間增加監(jiān)督損失，逆推真實(shí)湍流生成的過(guò)程，輔助ATDIR的訓(xùn)練。

2.2.5 湍流退化圖像復(fù)原模型的監(jiān)督學(xué)習(xí)損失

假設(shè)輸入湍流退化圖像xt，其對(duì)應(yīng)的無(wú)湍流圖像xc，經(jīng)模型輸出的復(fù)原圖像x′c和生成的模擬湍流退化圖像x′t，則在x′t與xt、x′c與xc之間增加監(jiān)督學(xué)習(xí)損失，具體損失采用平滑L1損失［27］，計(jì)算過(guò)程如下：

LAp=αLApsupervised_loss+（1－α）LApself_loss（16）

其中：LApsupervised_loss=LApsmooth_L1（xc，x′c）計(jì)算的是復(fù)原的x′c與ground truth xc之間的損失，最小化該損失的目的是使湍流退化圖像可以逼近真實(shí)無(wú)湍流的圖像；LApself_loss=LApsmooth_L1（xt，x′t）負(fù)責(zé)計(jì)算模擬湍流退化圖像x′t與真實(shí)湍流退化圖像xt之間的損失，最小化該損失的目的是讓模型學(xué)習(xí)到可有效逆推建模湍流生成過(guò)程。實(shí)驗(yàn)中，平衡兩種損失的權(quán)重α設(shè)為0.9。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)設(shè)置

1）數(shù)據(jù)集 在公開(kāi)的Heat Chamber［17］數(shù)據(jù)集和自制的Helen［28］數(shù)據(jù)集上評(píng)估本文方法。自制的Helen數(shù)據(jù)集包含2 300張干凈的人臉數(shù)據(jù)，使用文獻(xiàn)［29］的方法來(lái)合成湍流退化后的人臉圖像。Heat Chamber數(shù)據(jù)集是真實(shí)場(chǎng)景下拍攝的，包含200個(gè)場(chǎng)景的18 000張圖像。該數(shù)據(jù)集通過(guò)改變溫度與距離兩個(gè)因素來(lái)拍攝真實(shí)的湍流退化圖像。

2）參數(shù)設(shè)置 在兩塊NVIDIA RTX 3090 GPU上使用PyTorch 1.11.0實(shí)現(xiàn)ATDIR。采用Adam優(yōu)化器［30］優(yōu)化網(wǎng)絡(luò)參數(shù)，其參數(shù)設(shè)置為默認(rèn)值。將初始學(xué)習(xí)率設(shè)置為0.000 1，使用余弦退火策略對(duì)學(xué)習(xí)率進(jìn)行調(diào)整。訓(xùn)練與測(cè)試時(shí)將批量大小設(shè)置為2，在合成人臉數(shù)據(jù)集上訓(xùn)練20代，在合成的52 700對(duì)真實(shí)場(chǎng)景數(shù)據(jù)集中訓(xùn)練50代。

3）對(duì)比方法與評(píng)估指標(biāo) 將ATDIR與基于CNN的方法（TDNR［12］、MPRNet［31］、MTRNN［32］），和目前主流的基于Transformer的方法（Restormer［18］、UFormer［19］、TurbNet［17］）相比較。采用圖像評(píng)估中的指標(biāo)峰值信噪比（peak signal-to-noise ratio，PSNR）和結(jié)構(gòu)相似度（structural similarity index，SSIM）。PSNR是基于像素點(diǎn)之間的誤差，數(shù)值越大代表失真的效果越小。SSIM是兩張圖像之間相似性的度量，其數(shù)值為［0，1］，數(shù)值越大表示圖像之間相似性越高，在此可用于反映復(fù)原后的圖像與干凈圖像的結(jié)構(gòu)相似性。

3.2 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的優(yōu)越性，在Heat Chamber數(shù)據(jù)集上進(jìn)行評(píng)估，結(jié)果如表1所示。表1展示了基于CNN與基于Transfomer的幾種主流圖像復(fù)原方法的PSNR與SSIM值，同時(shí)對(duì)比了不同方法之間的參數(shù)量和乘加累積操作數(shù)（multiply-accumulate operations，MACs）。

從結(jié)果可以發(fā)現(xiàn)，基于CNN的方法中，PSNR與SSIM指標(biāo)中最優(yōu)方法的MPRNet為18.68 dB與0.657 7，較TDNR分別提升了0.26 dB和0.015 3。在總參數(shù)量與GMACs的評(píng)估指標(biāo)中，基于CNN的最優(yōu)方法的TDNR分別消耗了0.992 M的參數(shù)量與72.91 G的計(jì)算量，較MPRNet分別減少了2.648 M與17.76 G。ATDIR與上述基于CNN的方法相比，PSNR、SSIM和GMACs指標(biāo)均有所提升。ATDIR與MPRNet相比，PSNR與SSIM分別提升了1.28 dB與0.030 5，并且在總參數(shù)量與GMACs上分別減少了2.17 M與31.76 G。同時(shí)，ATDIR較參數(shù)量取得最優(yōu)的TDNR，PSNR與SSIM分別提升了1.54 dB與0.045 8，MACs減少14.00 G，而總參數(shù)量?jī)H多出了0.478 M。

在基于Transfomer的幾種主流圖像復(fù)原方法中，TurbNet在PSNR與SSIM指標(biāo)中取得了最優(yōu)效果，分別為19.94 dB與0.693 4，較其中的次優(yōu)方法UFormer分別提高了0.82 dB與0.009 4，比Restormer分別提高了0.93 dB與0.007 7。Restormer在基于Transfomer的方法中消耗了最少的總參數(shù)量與MACs，分別為26.13 M與86.05 G，較UFormer分別減少了24.75 M與3.41 G，較TurbNet分別減少了0.47 M與18.91 G。

與所有方法對(duì)比中，在PSNR指標(biāo)上，ATDIR取得了最好的性能19.96 dB。在SSIM指標(biāo)上，ATDIR取得了次優(yōu)性能，比TurbNet僅僅低了0.005 2。在總參數(shù)量上，ATDIR消耗了1.47 M的內(nèi)存容量，比最優(yōu)方法TDNR僅多出了0.478 M，但是在PSNR、SSIM和GMACs指標(biāo)中遠(yuǎn)高于TDNR和其他基于CNN的方法。在計(jì)算量上，本文方法也取得了最優(yōu)性能。雖然TurbNet在SSIM和PSNR指標(biāo)中分別取得了最優(yōu)與次優(yōu)的效果，但是其開(kāi)銷(xiāo)所需的參數(shù)量是ATDIR的18倍，計(jì)算量是ATDIR的1.8倍。綜合來(lái)看，ATDIR在湍流抑制的同時(shí)，在性能上也表現(xiàn)出了很好的效果。

為了驗(yàn)證ATDIR對(duì)圖片中重要信息的恢復(fù)能力，本文對(duì)比了在PSNR上表現(xiàn)最優(yōu)的TurbNet和ATDIR，部分結(jié)果如圖4所示。其中第一行代表干凈的圖像，第二行代表湍流退化后的圖像，第三行是TurbNet對(duì)湍流退化圖像復(fù)原效果，第四行是ATDIR對(duì)湍流退化圖像復(fù)原效果。由圖4中方框所選部分的細(xì)節(jié)可知，在第一列飛機(jī)圖片的車(chē)輪陰影處和第三列飛機(jī)的尾翼處，ATDIR明顯比TurbNet有著更好的去模糊與去偏移效果。在第二列和第四列圖的建筑中方框所選部分，ATDIR復(fù)原了建筑物關(guān)鍵細(xì)節(jié)信息。盡管TurbNet有著很好的全局圖片復(fù)原效果，但是在細(xì)節(jié)處復(fù)原的圖像信息并沒(méi)有ATDIR多，例如在第五列圖片中的風(fēng)車(chē)扇葉中，ATDIR在紅框中所復(fù)原的細(xì)節(jié)信息比TurbNet多（參見(jiàn)電子版）。

為了驗(yàn)證ATDIR的魯棒性，本文在自制的Helen與Heat Chamber 數(shù)據(jù)集上進(jìn)行測(cè)試。圖5中給出了本文方法對(duì)湍流退化圖進(jìn)行復(fù)原的效果圖，其中第一行代表湍流擾動(dòng)后的圖片，第二行表示經(jīng)過(guò)ATDIR復(fù)原后的湍流退化圖像。在前三列的建筑物場(chǎng)景中，ATDIR很好地抑制了由湍流引起的模糊與像素位移，復(fù)原的圖像中突出了建筑的邊緣輪廓與關(guān)鍵信息細(xì)節(jié)。在后三列的人臉湍流圖像中，ATDIR復(fù)原了人臉中的五官特征和面部表情信息，整體提高了圖片的視覺(jué)質(zhì)量。ATDIR可以更準(zhǔn)確地復(fù)原湍流模糊圖像中的細(xì)節(jié)和紋理，從而使修復(fù)的圖像質(zhì)量更高。此外，ATDIR對(duì)于噪聲和其他圖像偽影也更具魯棒性。因此，ATDIR是一種非常有潛力的圖像復(fù)原方法，適用于各種湍流環(huán)境下的圖像復(fù)原和相關(guān)領(lǐng)域的研究。

為了驗(yàn)證本文AFCB與TRM的作用，在自制的Helen與Heat Chamber數(shù)據(jù)集中進(jìn)行了消融實(shí)驗(yàn)。第一個(gè)實(shí)驗(yàn)，ATDIR-AFCB表示在殘差結(jié)構(gòu)中去除AFCB模塊，第二個(gè)實(shí)驗(yàn)，ATDIR-TRM表示去除湍流再生成模塊TRM。實(shí)驗(yàn)結(jié)果如表2所示。

在去除這兩個(gè)模塊后，模型的性能均有所下降。在第一個(gè)實(shí)驗(yàn)ATDIR-AFCB中，在自制的Helen與Heat Chamber數(shù)據(jù)集中，PSNR分別下降了0.19 dB、0.28 dB，在SSIM上分別下降了0.003、0.006 2，這說(shuō)明AFCB模塊使網(wǎng)絡(luò)聚焦圖像中的重要信息更好地復(fù)原了湍流退化后的圖像。在第二個(gè)實(shí)驗(yàn)ATDIR-TRM中，在自制的Helen與Heat Chamber數(shù)據(jù)集中，PSNR分別下降了0.1 dB、0.13 dB，在SSIM上分別下降了0.001 3、0.009 5，實(shí)驗(yàn)結(jié)果表明TRM對(duì)網(wǎng)絡(luò)的訓(xùn)練必不可少，該模塊通過(guò)模擬湍流生成來(lái)提高模型的泛化能力。

4 結(jié)束語(yǔ)

針對(duì)大氣湍流對(duì)成像的影響，提出了一種輕量化的基于生成逆推的大氣湍流退化圖像復(fù)原模型。為了使模型在訓(xùn)練過(guò)程中更加聚焦圖像中的關(guān)鍵信息，設(shè)計(jì)了一個(gè)基于注意力的特征補(bǔ)充模塊。同時(shí)利用湍流再生成模塊輔助訓(xùn)練，進(jìn)一步提升了模型抑制湍流的性能。實(shí)驗(yàn)表明，本文方法能減輕圖像的像素幾何位移和空間模糊，提高了復(fù)原后圖像的視覺(jué)質(zhì)量。今后的工作中，希望在提升網(wǎng)絡(luò)復(fù)原湍流退化圖像性能的同時(shí)獲得分辨率更高的圖像。

參考文獻(xiàn)：

[1]徐斌，葛寶臻，呂且妮，等.基于二次二維經(jīng)驗(yàn)?zāi)B(tài)分解去噪的湍流退化圖像復(fù)原算法［J］.計(jì)算機(jī)應(yīng)用研究，2020，37（5）：1582-1586.（Xu Bin， Ge Baozhen， Lyu Qieni， et al. Turbulence-degraded image restoration algorithm based on twice bi-dimensional empirical mode decomposition denoising［J］.Application Research of Computers，2020，37（5）：1582-1586.）

[2]Tatarski V I. Wave propagation in a turbulent medium［M］.［S.l.］：Courier Dover Publications，2016.

[3]Pearson J E. Atmospheric turbulence compensation using coherent optical adaptive techniques［J］.Applied Optics，1976，15（3）：622-631.

[4]Conan J M， Rousset G， Madec P Y. Wave-front temporal spectra in high-resolution imaging through turbulence［J］.Journal of the Optical Society of America A，1995，12（7）：1559-1570.

[5]Diament P， Teich M C. Photodetection of low-level radiation through the turbulent atmosphere［J］.Journal of the Optical Society of America A，1970，60（11）：1489-1494.

[6]Metari S， Deschenes F. A new convolution kernel for atmospheric point spread function applied to computer vision［C］//Proc of the 11th International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2007：1-8.

[7]Lau C P， Lai Y H， Lui L M. Restoration of atmospheric turbulence-distorted images via RPCA and quasiconformal maps［J］.Inverse Problems，2019，35（7）：074002.

[8]Hirsch M， Sra S， Schlkopf B， et al. Efficient filter flow for space-variant multiframe blind deconvolution［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2010：607-614.

[9]Anantrasirichai N， Achim A， Kingsbury N G， et al. Atmospheric turbulence mitigation using complex wavelet-based fusion［J］.IEEE Trans on Image Processing，2013，22（6）：2398-2408.

[10]Mao Z， Chimitt N， Chan S H. Image reconstruction of static and dynamic scenes through anisoplanatic turbulence［J］.IEEE Trans on Computational Imaging，2020，6：1415-1428.

[11]Zhu X， Milanfar P. Removing atmospheric turbulence via space-invariant deconvolution［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2012，35（1）：157-170.

[12]Yasarla R， Patel V M. Learning to restore a single face image degra-ded by atmospheric turbulence using CNNs［EB/OL］.（2020-07-16）.https：//arxiv.org/abs/2007.08404.

[13]Yasarla R， Patel V M. Learning to restore images degraded by atmospheric turbulence using uncertainty［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2021：1694-1698.

[14]Lau C P， Castillo C D， Chellappa R. ATFaceGAN： single face semantic aware image restoration and recognition from atmospheric turbulence［J］.IEEE Trans on Biometrics，Behavior，and Identity Science，2021，3（2）：240-251.

[15]劉洪瑞，李碩士，朱新山，等.風(fēng)格感知和多尺度注意力的人臉圖像修復(fù)［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2022，54（5）：49-56.（Liu Hong-rui， Li Shuoshi， Zhu Xinshan， et al. Face image restoration with style perception and multi-scale attention［J］.Journal of Harbin Institute of Technology，2022，54（5）：49-56.）

[16]Nair N G， Mei K， Patel V M. AT-DDPM：restoring faces degraded by atmospheric turbulence using denoising diffusion probabilistic models［C］//Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway，NJ：IEEE Press，2023：3434-3443.

[17]Mao Zhiyuan， Jaiswal A， Wang Zhangyang， et al. Single frame atmospheric turbulence mitigation：a benchmark study and a new physics inspired transformer model［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2022：430-446.

[18]Zamir S W， Arora A， Khan S， et al. Restormer： efficient Transfor-mer for high-resolution image restoration［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：5728-5739.

[19]Wang Zhendong， Cun Xiaodong， Bao Jianmin， et al. UFormer： a general U-shaped transformer for image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：17683-17693.

[20]Hu Jie， Shen Li， Albanie S. Squeeze-and-excitation networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2018：7132-7141.

[21]Woo S， Park J， Lee J Y， et al. CBAM： convolutional block attention module［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：3-19.

[22]Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Proc of the 31st Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

[23]鄔開(kāi)俊，單宏全，梅源，等.基于注意力和卷積特征重排的圖像修復(fù)［J］.計(jì)算機(jī)應(yīng)用研究，2023，40（2）：617-622.（Wu Kaijun， Shan Hongquan， Mei Yuan， et al. Image restoration based on attention and convolution feature rearrangement［J］.Application Research of Computers，2023，40（2）：617-622.）

[24]Qin Xu， Wang Zhilin， Bai Yuanchao， et al. FFA-Net：feature fusion attention network for single image dehazing［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：11908-11915.

[25]Li Yawei， Fan Yuchen， Xiang Xiaoyu， et al. Efficient and explicit modelling of image hierarchies for image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2023：18278-18289.

[26]Chen Liangyu， Chu Xiaojie， Zhang Xiangyu， et al. Simple baselines for image restoration［C］//Proc of the 17th European Conference on Computer Vision.Berlin：Springer，2022：17-33.

[27]Girshick R. Fast R-CNN［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2015：1440-1448.

[28]Le V， Brandt J， Lin Zhe， et al. Interactive facial feature localization［C］//Proc of the 12th European Conference on Computer Vision.Berlin：Springer，2012：679-692.

[29]Mao Zhiyuan， Chimitt N， Chan S H. Accelerating atmospheric turbulence simulation via learned phase-to-space transform［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：14759-14768.

[30]Kingma D P， Ba J. Adam： a method for stochastic optimization［EB/OL］.（2017-01-30）.https：//arxiv.org/abs/1412.6980.

[31]Zamir S W， Arora A， Khan S， et al. Multi-stage progressive image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：14821-14831.

[32]Park D， Kang D U， Kim J， et al. Multi-temporal recurrent neural networks for progressive non-uniform single image deblurring with incremental temporal training［C］//Proc of the 16th European Confe-rence on Computer Vision.Berlin：Springer，2020：327-343.

[33]He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Deep residual learning for image recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：770-778.