基于擴散模型的流場超分辨率重建方法1)

韓 陽 朱軍鵬 郭春雨 范毅偉 汪永號

* (哈爾濱工程大學船舶工程學院,哈爾濱 150001)

? (哈爾濱工程大學青島創新發展基地,山東青島 266000)

引言

在流體力學領域,通過實驗或數值模擬手段都難以獲得復雜湍流速度場信息,因此如何能簡便地獲取高保真、高分辨率的流場信息是研究人員長期以來的追求目標.流場的超分辨率重建技術可將低分辨率流場數據通過預先訓練好的神經網絡模型直接重建成高分辨率的流場數據,相較于計算流體動力學方法(CFD)可以節約大量計算資源和時間成本.在本文中,提出一種具有廣泛適用性的神經網絡模型,可以將低分辨率的流場信息提高其分辨率并還原各種經典流場的流動細節.

深度學習作為一種新興技術在圖像處理、自然語言處理、語音識別和多模態學習[1]等領域發展迅速.近年來,該技術被應用于實驗流體力學方向,處理大量復雜非線性和高維度流場數據[2-3].通過深度學習方法可以對流體運動進行估計,從而提升流體速度場的分辨率.例如,Guo 等[4]研發了一種實時預測的卷積模型,以低錯誤率為代價,預測速度比CFD快了兩個數量級.Lee 等[5]開發了一個4 級回歸卷積網絡,從輸入兩張圖像中獲取速度場.Cai 等[6]基于卷積神經網絡對PIV 粒子圖像對進行流動估計.然而這些基于卷積神經網絡對流體運動估計缺乏先驗物理規律.為了彌補基于卷積神經網絡對流動估計性能的不足,Lagemann 等[7]提出了基于光流架構的遞歸全場變換(RAFT)模型,在低密度顆粒密度和光照強度變化的條件下表現良好,并且可以端到端地學習位移場.

除此之外許多研究專注于利用深度學習其強大的流動信息特征提取與數據同化的能力,對低分辨率流場進行超分辨率重建.在計算機視覺領域,超分辨率(SR)是一種通過數字信號處理的方法提高圖像空間分辨率的技術.2014 年Dong 等[8]首次在SR 問題上使用深度學習方法,提出用于單圖像超分辨率的SRCNN 模型,執行端到端的超分辨率任務.隨后多種超分辨率模型被設計出來,例如超深超分辨率網絡VDSR[9]、超分辨率生成對抗網絡SRGAN[10]、稠密連接超分辨率網絡SRDenseNet[11]和深度殘差通道注意力網絡RCAN[12]等模型.SR 已成為計算機視覺領域的研究熱點.受此啟發,研究人員將深度學習方法應用于流場的超分辨率重建.

例如,Lee 等[13]提出了基于生成對抗網絡(GAN)的湍流小尺度建模方法,該方法可以憑借較少的計算成本對未處理的模擬數據進行結構預測.Deng 等[14]將超分辨率生成對抗網絡(SRGAN[10])和增強型SRGAN(ESRGAN[15])應用于流場的超分辨率重建任務中,以增強兩個并排圓柱后面復雜尾流的空間分辨率,結果表明可以把粗流場的空間分辨率顯著提高42和82倍,能夠準確地重建高分辨率(HR)流場.Fukaimi 等[16]開發了一種混合下采樣跳躍連接/多尺度模型,對二維圓柱繞流進行測試,僅僅需要50 個訓練數據,就可以極大地提高空間分辨率.但是該研究的工況和所搭建的模型都比較簡單.Liu 等[17]設計了靜態卷積神經網絡(SCNN)和多時間路徑神經網絡(MTPC),可以高精度重建強制各向同性湍流的高分辨率流場.Kong 等[18]做了類似的工作,提出了多路徑超分辨率卷積神經網絡(MPSRC),可以捕捉溫度場的空間分布特征,成功超分辨率重建超燃沖壓發動機燃燒室的溫度場.Ferdian 等[19]提出一種新型超分辨率4DFlowNet 模型,通過學習從有噪聲的低分辨率(LR)圖像到無噪聲HR 相位圖像的映射,能夠產生清晰解剖區域的無噪聲超分辨率相位圖像.2021 年Fukaimi 等[20]開發了用于時空SR 分析的深度學習方法,可以從空間和時間上的少量數據點重建高分辨率流場.但是其模型訓練十分復雜,并嚴重依賴訓練數據的時空關系.Bi 等[21]設計由多個多尺度聚合塊(LMAB)組成的FlowSRNet 模型,同時做了輕量化設計,提出LiteFlowSRNet 架構,對各種經典流場進行超分辨率重建,達到了先進SR 性能.為了對流場進行物理約束,Raissi 等[22]提出了基于物理的神經網絡(PINN),可以用偏微分方程描述給定數據集的物理規律,并在圓柱繞流的示例中展示其解決高維逆問題的能力.隨后Raissi 等[23]將流體力學基本方程N-S 方程編碼到神經網絡里,通過自動微分技術對模型輸出求導,并帶入N-S 方程計算殘差,最終反向傳播優化模型參數,實現通過軟約束對顱內動脈瘤影像的生物流場重構.Shu 等[24]提出一種僅在訓練時使用高保真數據的擴散模型,用于從低保真CFD 數據輸入重建高保真 CFD 數據,并且可以通過使用已知偏微分方程的物理信息來提高計算準確性,然而文中并未將擴散模型與其他深度學習模型進行詳細的流場重建性能對比.

與上述工作不同,本文提出了一種適用于流場超分辨率重建的生成模型FlowDiffusionNet(FDiff-Net),該模型是基于擴散概率模型提出的.擴散概率模型(擴散模型)[25-26]是一種生成模型,其使用馬爾科夫鏈將簡單分布(如高斯分布)中的潛在變量轉換為復雜分布的數據.擴散模型已經在諸如圖像合成和超分辨率圖像重建等領域中大放異彩.其中,谷歌團隊提出的SR3[27]模型和浙江大學提出的單張圖片超分辨率擴散模型SRdiff[28]均在圖像超分辨率上取得了優異的結果.受此啟發利用擴散模型對低保真的流場數據進行重建,所提出的模型主要由低分辨率(LR)編碼器和模型主體構成,利用殘差特征蒸餾模塊(RFDB)[29]作為LR 編碼器對低保真數據進行編碼,模型主體選用Unet 作為架構并增加自注意力層,使得模型在深層次里獲得更大的感受野.對所提出的FlowDiffusionNet 模型在多個經典流場數據集上進行了測試,并比較了直接預測高保真流場數據進行流場重建與預測高保真數據殘差后進而重建流場的性能.并且在推理過程中,為了加快推理速度,引入了Dpm-solver[30]求解器.總結為以下3 項貢獻:

(1)提出了便于遷移訓練的FlowDiffusionNet 軟約束擴散模型,用于精準地進行流場超分辨率重建,為了更好提取LR 流場的特征,選用了RFDB 模塊作為LR 編碼器;

(2)提高了模型的流場超分辨率重建速度,將DPM-solver 求解器應用到推理過程,提高了模型的效率;

(3)全面評估該模型的性能,構建了多種經典SR 流場數據集,并根據不同因素對復雜流場進行降采樣,從而驗證模型的適用性與穩定性.

1 研究方法

1.1 總體框架

擴散模型作為一種新興的生成式模型,避免以往對抗神經網絡難以收斂以及崩潰的問題,因此更適用于處理比較大的流場數據信息.并且擴散模型相較于卷積神經網絡與物理神經網絡,更易進行不同降采樣倍率的遷移學習,其適用性和泛化性更強.本文方法總體框架如圖1 所示,包括兩個過程: 前向擴散過程在上面用綠色箭頭表示,為無參數學習;反向擴散過程在下面用藍色箭頭表示,進行參數優化.圖中y0表示預測流場的殘差,參數 θ是由神經網絡模型擬合的.

圖1 FlowDiffusionNet 模型重建高保真流場的原理Fig.1 The principle of FlowDiffusionNet model to reconstruct high-fidelity flow field

1.2 擴散模型

在本節中,介紹擴散模型的基本概念[25].擴散模型是一類概率生成模型,采用參數化馬爾可夫鏈,通過變分推理訓練,學習如何逆轉逐漸退化訓練數據結構的過程.擴散模型訓練過程分為兩個階段: 前向擴散過程和反向去噪過程.

前向擴散過程可以描述為逐漸破壞數據結構的前向加噪處理,通過不斷向輸入的數據中添加低水平的噪聲(高斯噪聲),直到全部變成高斯噪聲.給定原始的訓練樣本滿足y0～q(y0),通過預先設置好的一組數據 β1,β2,···,βT∈[0,1),將數據分布q(y)轉換成潛在變量q(yT)

其中T是擴散總步數,βt可看作控制擴散步驟方差的超參數,I是與輸入數據y0具有相同維度的矩陣,N(y;μ,σ)表示均值為μ且方差為α的正態分布.前向過程可對任意的時間步t處進行采樣

反向擴散過程可以描述為學習從噪聲輸入中恢復原始數據的反向去噪處理,采用類似的迭代過程,通過每一步去除噪聲,最終重建原始數據.然而,由于q(yt-1|yt)取決于整個數據分布,擴散模型使用神經網絡作如下近似

其中pθ(yt-1|yt)為參數化的高斯分布,他們的均值和方差由訓練的網絡μθ(yt,t)和σθ(yt,t)確定.

在訓練階段,我們最大化負對數似然的變分下界(ELBO),并引入KL 散度和方差縮減[25]

方程(6)使用KL 散度直接將pθ(yt-1|yt)與前向過程后驗分布q(yt-1|yt,y0)進行比較

根據式(3)、式(5)和式(7)得知,等式(6)所有KL 散度是高斯分布之間的比較.當t>1 且C為常量時,可以得到

可將方程(6)簡單優化后進行訓練,有利于提高樣本生成質量

其中?θ為噪聲預測因子.

在推理過程中,首先從高斯分布 N (0,I),采樣潛在變量yT,然后根據等式(5)進行采樣yt-1～pθ(yt-1|yt)其中

1.3 條件擴散模型

在本節中,將在擴散模型的基礎上介紹條件擴散模型.條件擴散模型的前向過程與擴散模型基本一致,目的是將原始數據分布y0轉換成潛在變量yT.反向過程是從潛在變量yT開始,利用原始數據x的附加信息,來優化去噪神經網絡的?θ,從而恢復無噪聲的原始數據y0.該模型是將原始數據x和由式(4)得到yt數據狀態作為輸入,通過訓練來預測噪聲向量?.在訓練過程,參數化μθ有許多不同的辦法,顯然可以使用神經網絡預測εθ(yt,t,x),之后通過等式(11)得到μθ(yt,t,x),根據Saharia 等[27]建議,可將訓練?θ的目標函數設定為

本文選用的參數重整化方法是通過神經網絡預測y0,輸出的結果可以根據等式(8)和式(11)產生μθ(yt,t,x).其訓練fθ的目標函數可以表示為

推理過程是通過神經網絡預測在每個時間步長處去除的噪聲,從而逐步重建數據來生成目標數據

根據神經網絡學習高斯條件分布pθ(yt-1|yt,x)定義整個推理過程.如果前向過程噪聲方差設置足夠小,那么反向過程p(yt-1|yt,x)近似高斯分布,即證明了在推理過程選擇高斯條件可以為真實反向過程提供合理的擬合.并且 1-t應該足夠大,使得潛在變量yT滿足等式(16).

1.4 FlowDiffusionNet

FlowDiffusionNet 是一種條件擴散模型,總體框架如圖一所示.建立在T步擴散模型之上,該模型包含兩個過程: 擴散過程和反向擴散過程.不是直接預測 HR 流場,而預測 HR 流場xH和上采樣 LR 流場up(xL)之間的差異,并將差異表示為輸入殘差流場y0.擴散過程通過向殘差流場y0不斷添加高斯噪聲,如方程(4)表示,直到變成高斯分布yT.反向擴散過程通過使用條件殘差流場預測器,以低分辨率編碼器(簡稱LR 編碼器)對LR 的流場編碼輸出為條件,在有限時間步迭代去噪,將高斯分布yT變成殘差流場y0.SR 流場是通過將生成的殘差流場y0添加到上采樣LR 流場up(xL)來進行重建的.

在接下來的小節中,將介紹條件殘差流場預測器、LR 編碼器、訓練和推理的框架.

1.4.1 條件殘差流場預測器

根據式(15)～式(17)構成條件殘差流場預測器,定義x是輸入模型里面的條件,在超分辨率流場重構任務中x代表LR 流場xL,根據神經網絡學習高斯條件分布pθ(yt-1|yt,x)進行推斷HR 流場xH.如圖2 所示,使用U-Net 作為主體,以2 通道yt(u,v)、擴散時間步長t以及LR 編碼器的輸出作為輸入,其中“res block”,“downsample”,“attention block”,“upsample”分別表示殘差塊、下采樣塊、自注意力塊和上采樣塊;“DS”和“US”分別表示下采樣步驟和上采樣步驟;其中“DS”和“US”后面括號里(c,2c,4c)表示每個步驟通道數量.

圖2 FlowDiffusionNet 的總體網絡框架Fig.2 The overall network framework for FlowDiffusionNet

首先通過一個二維卷積層將yt轉換到激活狀態,之后把隱藏狀態yt與經過編碼的LR 流場信息在通道上進行融合,并將其輸入到UNet 模型里面.通過正弦位置編碼將時間步長t編碼至隱藏狀態te[31],并將te輸入到每一個殘差模塊中.下采樣路徑由一個殘差模塊和一個下采樣層構成,上采樣路徑由兩個殘差模塊和一個上采樣層構成,這樣不對稱的設置有利于設置更加密集的多尺度跳躍殘差連接,從而保證條件殘差流場預測器穩定.第2 和第3 下采樣路徑中將通道尺寸加倍,并在每個下采樣路徑中將特征圖的空間尺寸減半,以求降低模型的參數量,并提高其采樣速度.中間路徑由兩個殘差塊和一個自注意力模塊組成,這有利于模型在增大感受野同時降低參數量.最后將上采樣路徑輸出,應用swich 函數進行激活,并通過卷積預測yt-1的殘差流場.

1.4.2 LR 流場編碼器

采用LR 流場編碼器對上采樣LR 流場up(xL)信息進行編碼,并將其添加到每個反向步驟中以引導生成到相應的 HR 流場.在本文中,選擇使用殘差蒸餾網絡(RFDN)模型[29]的RFDB 架構,如圖3 所示,“SRB”表示淺層殘余模塊,“CCA Layer”表示規范相關分析,該架構的特征提取層和信息蒸餾層,可以全面提取上采樣 LR 流場up(xL)信息.并且舍棄掉RFDN 模型的最后一個上采樣層,因為經過測試證明這樣做的效果要優于將直接LR 流場xL輸入RFDB 模塊,較低分辨率輸入會使得不同的特征提取層輸出信息更加相似,且在上采樣層會破壞原始LR 流場xL信息.

圖3 RFDB 架構Fig.3 RFDB architecture

1.4.3 訓練與推理過程

在訓練階段,如圖4 所示,從訓練集中輸入相應LR-HR 流場對,用于訓練總擴散步長為T的Flow-DiffusionNet.將xL上采樣為up(xL),并計算流場殘差HR-up(xL).第1 步: 將流場殘差y0輸入正向擴散模塊采樣出任意t時刻流場殘差狀態yt,并輸入模型里,值得注意的是這步沒有可學習的參數,所有參數都是預先設置好的.第2 步: 通過LR 流場編碼器將up(xL)編碼為xe,并輸入模型.第3 步: 計算模型輸出y?和目標輸出y0的均方誤差MSEloss,并反向優化FlowDiffusionNet 的參數.

圖4 模型的訓練過程Fig.4 The training process of the model

推理過程如圖5 所示,使用DPM-solver[30]快速采樣器,極大加快了模型的采樣速度,使得該模型可以在短時間內處理大量流場數據信息.如圖5所示,第1 步: FlowDiffusionNet 模型在推理過程中將上采樣 LR 流場up(xL)與從標準高斯分布中采樣得到的潛在變量yT作為輸入,預測t=0 時刻的殘差流場;第2 步: 將神經網絡預測的流場y?輸入到DPMsolver 快速采樣器里面,從而采樣出t時刻的殘差流場yt;第3 步: 將殘差流場yt和上采樣 LR 流場up(xL)再次輸入到神經網絡里,預測t=0 時刻的殘差流場.隨后重復第1 和第2 步直至采樣出原始殘差流場y0.最終在上采樣LR 流場up(xL)添加殘差流場y0來恢復SR 流場.

圖5 模型的推理過程Fig.5 The inference process of the model

2 數據集構建和訓練及采樣過程細節

在本節中,首先描述制作數據集的原理和過程,隨后介紹模型訓練及采樣的一些細節.

2.1 數據集構建

本文根據參考文獻收集了5 個經典流場,包括:二維湍流運動[32](DNS 湍流)、地表準地轉流[33](SQG)和約翰霍普金斯湍流數據庫[34](JHTDB)等復雜流場,其可以從公開文獻中獲得.表1 列出了不同經典流場的用于訓練和測試的數據集數量,并且SR 數據集中的流場數據不具有嚴格時間連續性.

表1 不同流場SR 訓練集與測試集數量Table 1 Number of SR training and test sets for different flow fields

接下來我們通過一種常用的降采樣策略來降低流場數據的分辨率,生成低分辨率流場數據從而構建LR-HR 數據對

其中G代表退化模糊操作,α代表下采樣因子,通過經典的高斯模糊結合雙3 次下采樣方案,高斯模糊核函數的公式如下

其中 σ設置為5,高斯核大小設置為16×16,HR 流場數據與LR 流場數據之間的差異可以用下采樣因子 α表示

其中M表示流向速度矢量的數量,N表示展向速度矢量的數量.為了綜合評價模型在不同分辨率下的重建能力,選擇了3 種不同的下采樣因子,即4,8 和16.構建的SR 數據集包含復雜的湍流結構(DNS 湍流和 JHTDB)和小尺度渦流結構(SQG 和 DNS 湍流),這使得流場重建任務具有挑戰性.如圖6 所示,展示了在 α=8 下構建的SR 流場數據集.

圖6 超分辨率流場數據集Fig.6 Super-resolution flow field datasets

2.2 訓練細節

FlowDiffusionNet 模型是在一臺NVIDIA 3060 GPU 的電腦上面通過pytorch 實現的.在訓練階段,選擇MSE 作為損失函數,并應用Adam 優化器,初始學習率設置0.00003,dropout 設置為0.1 來優化模型參數.模型訓練超參數設置包括設置擴散步長T=1000,并把前向過程的方差設置成隨步長動態增大,從0.000 1 線性增加到0.02.首先在32×32 空間分辨率→256×256 空間分辨率的數據集上訓練,隨后將在32×32 空間分辨率→256×256 空間分辨率訓練好的參數,分別遷移至64×64 空間分辨率→256×256 空間分辨率的數據集上和16×16 空間分辨率→256×256 空間分辨率的數據集上進行訓練,模型的總參數量為69.7 M.

2.3 采樣細節

在本文的推理過程中,采用了DPM-solver 采樣方法[30].該采樣方法具有多種優點,包括不需要任何訓練即可適用于擴散模型的采樣,并且相較于先進的無訓練采樣方法,可實現約10 倍的加速.DPMsolver 利用擴散常微分方程的半線性,通過由噪聲預測模型的指數加權積分,直接近似擴散常微分函數的精確解.該采樣器可以采用1 階、2 階和3 階模式來近似噪聲預測模型的指數加權積分,其中1 階模式與DDIM[35]采樣過程相同.為了兼顧采樣質量和速度,設置了預測xstart的離散噪聲序列DPM 2 階求解器,并應用自適應采樣方法.

3 實驗

在本節中將對FlowDiffusionNet 模型的性能進行評估,首先介紹定量及定性評估模型的標準,隨后比較了不同模型重建流場的精度,最后可視化渦量場并驗證其重建效果.

3.1 評估標準

借鑒評估圖像相似度的兩個重要指標,峰值信噪比(PSNR)及結構相似度指標(SSIM).PSNR表示精度的破壞性噪聲功率的比值,是衡量原始圖像與處理后圖像數據質量的重要標準,一般認為其值高于40 質量極好,30～40 之間質量是可接受的.具體的公式如下

其中MaxI表示原始數據的最大像素值,MSE表示原始數據與重建數據之間的均方誤差.

SSIM是感知模型,可以衡量圖片的失真程度,也可以衡量兩張圖片的相似程度.具體的公式如下

其中 μx和 μy分別表示原始數據x和重建數據y的平均值,σx和 σy分別表示x和y的標準差,σxy則表示x和y的協方差,c1和c2是常數避免分母為0.

在定性評估中,通過可視化重建流場數據的速度場和渦量場分布,從而直觀地觀察到重建流場的詳細信息.

3.2 流場重建精度比較

首先,對提出的FlowDiffusionNet 模型進行了評估,比較其在預測流場殘差和直接預測原始流場時對于不同流場的重建性能.為了凸顯該模型在流場重建方面的優越性,同時選取了幾種常用的流場超分辨率(SR)方法進行比較,包括傳統的雙三次插值方法(bicubic)[36],基于卷積神經網絡(CNN)的SRCNN 方法[8]和基于生成對抗網絡(GAN)的SRGAN 方法[14].為了評估流場在不同分辨率尺度下的重建能力,選取了 α為4 (中分辨率水平)、8 (低分辨率水平)和16 (超低分辨率水平).

如表2 所示(表中SRGAN 和SRCNN 性能效果來源于文獻[21]),其中FDiffNet_res 表示預測HR 流場殘差,FDiffNet_Nres 表示直接預測HR 流場,性能最高值加粗表示,所提出的模型在不同的流場數據集中均展現出了最優秀的性能表現.具體而言,對于涉及復雜湍流的流場,雙三次插值方法的PSNR普遍難以超過30,且其流場重建效果較差,與深度學習方法相比仍存在顯著差距.特別是對于包含小尺度渦結構的流場數據集,例如DNS 和SQG,傳統方法在重建精度方面表現最低,相應的PSNR和SSIM評價指標僅分別為20.096/0.758 和22.113/0.728.這說明在局部小尺度渦旋重建任務中,傳統方法的性能相對于本文提出的模型仍存在明顯的差距.可以看到,SRGAN 和SRCNN 在 α=4 中等分辨率下,流場重建精度SSIM可以達到0.9 以上.同樣基于生成的模型,SRGAN 的流場重建效果比FDiffNet效果要差,這是因為生成對抗模型訓練需要達到納什均衡,并且對于超參數較為敏感,需要調整模型是適用的超參數設定.相反,對于同是生成模型的FDiffNet 訓練十分簡單,只需去擬合反向擴散過程中的條件分布,而且模型不易陷入過擬合.SRCNN模型在 α=4 中等分辨率和 α=8 低等分辨率流場重建精度SSIM相差0.023～0.037,而FDiffNet_res 重建精度SSIM僅相差0.002～0.014,這表示提出的模型在不同分辨率的流場重建上,具有更好的精度保持性.FDiffNet 預測高分辨率流場的殘差重建效果要優于直接預測原始高分辨率流場,并且在訓練時預測殘差能讓模型更快收斂.

表2 在下采樣因子為4,8,16 下不同方法的性能表現Table 2 Performance of different methods with downsampling factors of 4,8,16

FDiffNet 模型主體結構是UNet 模型,輸入與輸出大小是一致的,因此只需簡單改動輸入LR 流場上采樣倍數,無需修改其他任何參數即可進行遷移學習,這將為訓練節省大量時間.為了證明FDiffNet模型在遷移學習方面的優越性,在DNS 流場重建上,對比了FDiffNet_res 直接在 α=4 下訓練65000 步與FDiffNet_res 在 α=8 下訓練45000 步之后遷移α=4 下訓練65000 步的客觀評價指標,如圖7 所示.經過遷移學習FDiffNet 模型在訓練的穩定性提高,相比隨機初始化的FDiffNet 模型訓練方式,其重建精度PSNR 與SSIM 值提升更快,可以大幅節省模型的訓練時間與成本.FDiffNet 模型在訓練α=8低等分辨率的流場重建過程中已經學習到該種流場分布規律,因此在遷移到α=4 中等分辨率流場時可以更快適應由下采樣因子變化引起學習分布的差異.

圖7 FDiffNet 在遷移學習和非遷移學習上性能表現Fig.7 FDiffNet performs on transfer learning and non-transfer learning

3.3 速度場重建精度評價

為直觀展示不同方法流場重建能力,選取傳統Bicubic 方法、深度學習SRCNN 方法、FDiffNet_Nres 方法以及FDiffNet_res 方法進行對比,在低等分辨率 α=8 下速度場的重建可視化結構如圖8 所示,其中顏色條表示速度u的大小.對于每個流動情況,PSNR和SSIM值都在重建的流場下面給出.通過雙三次插值方法重建的流場相對平滑,相比之下深度學習方法會展現更多流場細節.其中FDiffNet方法性能表現最優,相較SRCNN 方法可以優化流場中更加精細化的結構,例如在JHTDB channel 流場數據紅框內的渦流應是紡錘型,而SRCNN 直接重建成一個點,相比之下FDiffNet 則完整重建了渦結構.這是由于所用LR 編碼器充分提取了低分辨率流場特征,并在重建流場的過程中并不是一步重建,而是通過DPM-solver 采樣器從噪聲中逐步恢復流場的.用FDiffNet 預測HR 流場殘差性能略優于直接預測HR 流場,在重建流場數據方面是與原始HR 流場更具有一致性,在圖像上也可直觀地看出FDiffNet_res 重建的流場更貼合真實流場.

圖8 不同方法在 α=8 下重建速度場的比較Fig.8 Comparison of different methods to reconstruct velocity fields at α=8

3.4 渦量場重建精度評價

由于在訓練過程中未直接考慮渦度,因此渦度可作為評估模型學習表現的良好指標.在低等分辨率 α=8 下渦量場的重建可視化結構如圖9 所示,其中顏色條表示渦量的大小,DNS 湍流和SQG 包含更多的渦結構,可以顯著揭示重建流場的細節.類似于速度場的重建結果,使用FDiffNet 預測HR 流場殘差,其重建效果最優.相比之下,雙三次方法重建的渦量場十分模糊,缺乏流場信息,而SRCNN 方法重建的渦量場很粗糙,并且無法正確估計渦邊緣結構.然而,FDiffNet 則可以有效重建渦量場的細節部分,并且和真實渦量場一樣平滑,這證明了FlowDiffusionNet模型的實用性.

圖9 不同方法在 α=8 下重建渦量場的比較Fig.9 Comparison of different methods to reconstruct vortex fields at α=8

3.5 計算效率對比

根據運行時間和模型大小評估了模型的計算效率,如表3 所示.為了公平比較,每種方法都在同一臺機器上配備了相同的 Intel Core i7-12700 CPU 和NVIDIA RTX 3060 GPU.另外,我們以超低等分辨率α=16 的DNS 湍流流場為例.注意運行時間是100 個測試流場的累計時間.

表3 不同方法的計算效率對比Table 3 Comparison of computational efficiency of different methods

如表3 所示,可以看出FlowDiffusionNet 模型在計算效率上存在一定劣勢,與基線的生成模型SRGAN 相比,推理過程更加耗時,這是因為GAN的采樣只需要一次神經網絡前饋過程,而擴散模型則需要多步神經網絡前饋.即使本文已經使用了最先進的采樣方法將原始的上百步前饋縮小至10 步以內,但在推理100 測試流場所用總時間仍達到了58 s.

4 結論

本文提出了一種基于擴散模型的方法,用于不同流場數據集的超分辨率重建.該模型優化了原始的DDPM 網絡結構,增加了自注意力層,并應用LR 編碼器高效提取LR 流場信息.為了提高模型重構HR 流場速度,選用了DPM-solver 采樣器進行推理.本研究得到以下結論.

(1)針對輸入的不同低分辨率流場數據,與傳統插值方法、基于深度學習的SRGAN 和SRCNN 方法相比,所提出的FlowDiffusionNet 模型可以高精度地重建流場數據.在各種經典流場重建中,應用提出的模型FlowDiffusionNet 預測HR 流場殘差的性能表現比直接預測HR 流場更加優異.

(2)FlowDiffusionNet 模型具有良好的泛化能力,適用于多種復雜湍流流場的超分辨率重建工作.在實驗中,FlowDiffusionNet 模型表現十分穩定,在 α=4和 α=8 不同分辨率流場重建任務上,客觀評價指標SSIM波動值小于0.014.

(3)FlowDiffusionNet 模型可以高精度地重建渦結構,對于DNS 和SQG 流場,即使在 α=16 超低分辨率下,其客觀評價指標也可以達到0.98 以上.FlowDiffusionNet 模型還具有較好的遷移性,在訓練階段可以節省大量時間.

(4)與文中其他方法相比,FlowDiffusionNet 模型在速度場和渦量場可視化中展示了更多流場重建細節.尤其對于在訓練中未直接考慮的渦量場,FlowDiffusionNet 模型仍然具有較好的重建效果,而其他方法的重建性能則大幅降低.

該工作證明了擴散模型在流場超分辨率重建任務中的巨大潛力.未來將研究模型輕量化,從而實現低成本和高精度的重建.