復(fù)雜光照條件下基于光流的水運(yùn)航道流速檢測(cè)算法

杜田田,王曉龍,何勁

(1.上海交通大學(xué)電子信息與電氣工程學(xué)院,上海 200240;2.上海華訊網(wǎng)絡(luò)系統(tǒng)有限公司行業(yè)數(shù)智事業(yè)部,上海 200127)

0 引言

我國(guó)地域遼闊,河流眾多,但水情不穩(wěn)定,洪水、斷流等極端情況頻發(fā),因此能夠及時(shí)準(zhǔn)確地獲取河流流速、流量變化等水文信息對(duì)智慧水運(yùn)交通、災(zāi)害防治等至關(guān)重要。利用螺旋槳測(cè)速儀、聲學(xué)多普勒流速剖面儀(ADCP)[1]等儀器進(jìn)行實(shí)地測(cè)量的傳統(tǒng)測(cè)速方法雖然發(fā)展成熟并被廣泛使用,但其易受天氣、地形、水流條件等因素的制約,且存在需人工涉水、成本高昂、檢測(cè)范圍窄、不能大規(guī)模部署等問(wèn)題,已不能滿(mǎn)足我國(guó)智慧水運(yùn)交通發(fā)展的要求。

為了應(yīng)對(duì)上述挑戰(zhàn),完成遠(yuǎn)程監(jiān)測(cè)任務(wù),近年來(lái)基于視頻圖像的河流表面流速(RSV)測(cè)量方法被提出,并因其安全性強(qiáng)、測(cè)量效率高等優(yōu)點(diǎn)得到人們的廣泛關(guān)注。該方法的基本流程如下:首先在河岸一側(cè)架設(shè)攝像機(jī)獲取河流水面視頻圖像,然后利用圖像測(cè)速法估算出水流流速的像素級(jí)的二維速度場(chǎng),再通過(guò)仿射變換將其轉(zhuǎn)化為真實(shí)流速。圖像測(cè)速法按運(yùn)動(dòng)矢量估計(jì)方法的不同可分為粒子圖像測(cè)速法(PIV)、粒子跟蹤測(cè)速法(PTV)、時(shí)空?qǐng)D像測(cè)速法(STIV)和光流估計(jì)測(cè)速法(OFV)。其中,PIV和PTV對(duì)示蹤物密度和光照變化等很敏感[2-3],不適合應(yīng)用在有光影或反射的河道場(chǎng)景中,基于STIV[4]的測(cè)速方法受限于只能測(cè)得部分流場(chǎng)信息,在手動(dòng)設(shè)置測(cè)速線的情況下只能獲得測(cè)速線上的流速分量,無(wú)法進(jìn)一步估算出河流流量。相比之下,OFV方法對(duì)示蹤物的要求較低[5],并且能夠產(chǎn)生像素級(jí)流場(chǎng)。在過(guò)去的十年中,許多OFV傳統(tǒng)方法,如OTV[6]、KLT-IV[7]等已被證明性能優(yōu)于PIV和STIV。

盡管這些傳統(tǒng)的光流方法已經(jīng)獲得了令人滿(mǎn)意的結(jié)果,但因假設(shè)條件的限制,其在有光影干擾或大位移場(chǎng)景中的測(cè)量精度較低。近年來(lái),隨著深度學(xué)習(xí)的迅猛發(fā)展,許多學(xué)者開(kāi)始嘗試?yán)蒙疃染矸e神經(jīng)網(wǎng)絡(luò)(DCNN)對(duì)傳統(tǒng)的圖像測(cè)速法進(jìn)行改進(jìn)。文獻(xiàn)[8]采用FlowNet光流估計(jì)網(wǎng)絡(luò)模型處理近距離非接觸式水面圖像,實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)的光流測(cè)量方法相比,結(jié)合DCNN的測(cè)速技術(shù)具有簡(jiǎn)單高效、準(zhǔn)確度高的特點(diǎn)。文獻(xiàn)[9]利用多特征融合的DCNN實(shí)現(xiàn)了河流流速分類(lèi),并通過(guò)引入生成式對(duì)抗網(wǎng)絡(luò)生成河流圖像,增強(qiáng)了算法在小差異河流圖像上的魯棒性。

本文提出一種改進(jìn)的OFV方法,該方法適用于存在光影和反射等復(fù)雜光照的河道場(chǎng)景。本文方法基于光流估計(jì)中具有較高精度和較強(qiáng)跨數(shù)據(jù)集泛化性能的循環(huán)全對(duì)場(chǎng)變換(RAFT)模型[10],通過(guò)引入卷積塊注意力模塊(CBAM)機(jī)制,優(yōu)化其損失函數(shù),降低在復(fù)雜光照條件下的誤檢率。

1 光流估計(jì)方法

1.1 傳統(tǒng)光流估計(jì)方法

傳統(tǒng)光流法的提出基于以下3個(gè)基本假設(shè):1)亮度恒定,即相鄰幀亮度或顏色恒定不變;2)時(shí)間連續(xù),即連續(xù)的“小運(yùn)動(dòng)”;3)空間一致,即相鄰像素點(diǎn)間運(yùn)動(dòng)一致。根據(jù)上述假設(shè),傳統(tǒng)的光流估計(jì)方法基本方程如式(1)所示:

I(x+dx,y+dy,t+dt)=

I(x,y,t)+Ixdx+Iydy+Itdt

(1)

基于亮度恒定假設(shè),對(duì)式(1)按照泰勒公式展開(kāi)可以獲得:

(2)

時(shí)間連續(xù)假設(shè)增加了運(yùn)動(dòng)物體內(nèi)部為平滑光流場(chǎng)的約束,通過(guò)光流場(chǎng)梯度計(jì)算全局平滑度然后不斷迭代,當(dāng)平滑度達(dá)到最高時(shí),可視為估算出真實(shí)光流場(chǎng)。然而,在很多實(shí)際場(chǎng)景中,這些假設(shè)是不成立的。具體而言,當(dāng)光照劇烈變化或相鄰幀之間物體發(fā)生巨大位移時(shí),傳統(tǒng)的光流估計(jì)方法就會(huì)表現(xiàn)出較差的檢測(cè)精度,但在河道場(chǎng)景中,倒影、陽(yáng)光反射等現(xiàn)象是不可避免的。因此,傳統(tǒng)的光流估計(jì)方法在RSV檢測(cè)任務(wù)中適用場(chǎng)景比較受限。

1.2 基于深度學(xué)習(xí)的光流估計(jì)方法

近年來(lái),深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域廣泛應(yīng)用,取得了顯著效果[11]。為解決傳統(tǒng)光流估計(jì)方法存在的問(wèn)題,文獻(xiàn)[12]設(shè)計(jì)了基于深度學(xué)習(xí)的光流估計(jì)(DLOF)架構(gòu),并提出FlowNetS和FlowNetC兩種編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)模型,其中,FlowNetS是一種相對(duì)簡(jiǎn)單的光流網(wǎng)絡(luò),首先對(duì)輸入的相鄰兩幀圖像使用卷積神經(jīng)網(wǎng)絡(luò)下采樣獲取圖像的特征,然后通過(guò)反卷積方法獲得逐像素的光流結(jié)果,另一種相關(guān)性光流網(wǎng)絡(luò)FlowNetC,受傳統(tǒng)方法中加入匹配項(xiàng)的啟發(fā),首先計(jì)算兩幀圖像的相關(guān)性,再通過(guò)特征空間求解光流。文獻(xiàn)[13]提出了基于空間金字塔的光流模型Spatial Pyramid Network(SpyNet),與FlowNet 1.0相比,SpyNet的參數(shù)量減少了96%,但其精度較差,且每一層網(wǎng)絡(luò)都需要單獨(dú)訓(xùn)練。德國(guó)弗萊堡大學(xué)團(tuán)隊(duì)在2017年提出了FlowNet 2.0[14],相較于FlowNet 1.0,其精度得到了大幅提高,但該架構(gòu)是通過(guò)堆疊子網(wǎng)絡(luò)來(lái)獲得的,因而模型的訓(xùn)練參數(shù)量巨大,難以訓(xùn)練。2018年,學(xué)者們?cè)赟pyNet的基礎(chǔ)上,提出了兩種具有代表性的金字塔結(jié)構(gòu)光流網(wǎng)絡(luò)PWCNet[15]和LiteFlowNet[16],其采用特征扭曲操作,而非在不同尺度下進(jìn)行圖像扭曲,同時(shí)使用了成本體積層計(jì)算金字塔各層的匹配代價(jià),進(jìn)一步處理大位移并降低了模型參數(shù)量,在不同的光流數(shù)據(jù)集上都取得了較好的效果。文獻(xiàn)[17]考慮到算法空間復(fù)雜度太高,降采樣又會(huì)導(dǎo)致精度受限的問(wèn)題,引入高效的體積網(wǎng)絡(luò)來(lái)進(jìn)行密集的二維對(duì)應(yīng)匹配,極大地減少了空間的占用量。

2020年,文獻(xiàn)[11]針對(duì)之前的DLOF模型過(guò)多依賴(lài)于訓(xùn)練數(shù)據(jù)、泛化性能不強(qiáng)的問(wèn)題,提出了RAFT網(wǎng)絡(luò)模型。該模型的獨(dú)特之處在于:使用改進(jìn)的門(mén)控循環(huán)單元(GRU)迭代更新預(yù)測(cè)光流,在運(yùn)行時(shí)間、訓(xùn)練速度和模型大小等方面都表現(xiàn)出色,達(dá)到了最佳估計(jì)性能,吸引了許多研究人員對(duì)其進(jìn)行改進(jìn)和增強(qiáng)[18]。

2 改進(jìn)的RAFT光流網(wǎng)絡(luò)

考慮到DLOF模型在許多基準(zhǔn)測(cè)試中都優(yōu)于傳統(tǒng)模型,并且端點(diǎn)誤差(EPE)更小,本文采用RAFT光流估計(jì)為基準(zhǔn)網(wǎng)絡(luò)架構(gòu)。

改進(jìn)的RAFT光流網(wǎng)絡(luò)模型如圖1所示(彩色效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML版,下同),其中改進(jìn)部分即引入的CBAM注意力模塊,使用虛線框做了標(biāo)注。RAFT模型主要分為3個(gè)部分:首先是像素級(jí)特征向量的運(yùn)動(dòng)特征提取部分;其次是計(jì)算所有像素對(duì)之間全局相關(guān)量的視覺(jué)相似度模塊;最后是基于GRU的光流迭代更新器。針對(duì)存在光反射和閃爍的河面場(chǎng)景,本文在運(yùn)動(dòng)特征提取部分引入了注意力機(jī)制。由于不同迭代輪次的中間值對(duì)于光流估計(jì)結(jié)果的貢獻(xiàn)度不同,本文提出一種具有不同權(quán)重的復(fù)合損失函數(shù)方法,通過(guò)增加體現(xiàn)流體物理特性的角誤差和旋度平滑損失,提高光流估計(jì)網(wǎng)絡(luò)在流體運(yùn)動(dòng)估計(jì)中的泛化性能。

2.1 引入CBAM注意力的特征編碼器

RAFT的運(yùn)動(dòng)特征提取網(wǎng)絡(luò)由上下文編碼器和特征編碼器兩部分組成,這2個(gè)編碼器結(jié)構(gòu)相同,均由6個(gè)殘差塊組成,兩兩一組,分別具有1/2、1/4和1/8的分辨率,通過(guò)這種下采樣可得到密集的特征映射。兩者的不同在于,上下文編碼器只接受I1,并使用批處理規(guī)范化而不是實(shí)例規(guī)范化。

RAFT的運(yùn)動(dòng)特征提取網(wǎng)絡(luò)專(zhuān)注于捕獲大型、剛性運(yùn)動(dòng)物體,然而在RSV估算問(wèn)題中,波紋或示蹤物的尺寸較小、形狀不規(guī)則、分布密集且運(yùn)動(dòng)模式復(fù)雜,因此,需要對(duì)網(wǎng)絡(luò)進(jìn)行修改,以更好地適應(yīng)流體運(yùn)動(dòng)估計(jì)。

受人類(lèi)生物系統(tǒng)的啟發(fā),注意力機(jī)制在深度學(xué)習(xí)領(lǐng)域得到廣泛應(yīng)用,在處理大量信息時(shí),注意力能夠引導(dǎo)模型關(guān)注重要的部分。在RSV估計(jì)中,有反射或陰影的水域背景常被誤檢為示蹤物,這在很大程度上影響了光流估計(jì)的性能。為此,本文引入了注意力機(jī)制,自適應(yīng)調(diào)整權(quán)重,可更加準(zhǔn)確地提取到所需特征。CBAM[19]是通道注意力和空間注意力并重的注意力機(jī)制網(wǎng)絡(luò),原理如圖2所示,通道注意力分支是將輸入特征在通道維度上進(jìn)行最大池化和平均池化,再將得到的向量輸入共享權(quán)重的多層感知機(jī)(MLP),最后逐位相加,得到通道注意力,如式(3)所示:

圖2 通道注意力模塊和空間注意力模塊Fig.2 Channel attention module and spatial attention module

Ac(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))

(3)

空間注意力分支是將輸入特征的最大池化和平均池化連接起來(lái),再經(jīng)過(guò)卷積層和激活函數(shù)得到空間注意力,如式(4)所示:

As(F)=σ(Conv(Cat(AvgPool(F),

MaxPool(F))))

(4)

改進(jìn)的RAFT光流估計(jì)網(wǎng)絡(luò)模型如圖1所示,加入CBAM的特征編碼器可以使運(yùn)動(dòng)特征提取網(wǎng)絡(luò)聚焦于信息豐富的區(qū)域,如帶粒子或波紋的像素,減少無(wú)關(guān)區(qū)域諸如反射、陰影、背景等像素點(diǎn)的影響。

2.2 結(jié)合流體物理特性的光流估計(jì)損失函數(shù)

損失函數(shù)是深度學(xué)習(xí)的關(guān)鍵部分,主要調(diào)節(jié)樣本和預(yù)測(cè)之間的誤差,其實(shí)際意義通常是真實(shí)值與預(yù)測(cè)結(jié)果之間的差距。研究表明,損失函數(shù)與神經(jīng)網(wǎng)絡(luò)的泛化能力和訓(xùn)練效率密切相關(guān)[20],然而RAFT是基于剛體運(yùn)動(dòng)的基本特性展開(kāi)的,其關(guān)鍵損失函數(shù)部分仍普遍采用L1范數(shù)或L2范數(shù),缺乏對(duì)流體運(yùn)動(dòng)特性的考慮。因此,將流體運(yùn)動(dòng)特性的物理知識(shí)與深度學(xué)習(xí)方法相結(jié)合的方法為研究者提供了一種新的研究思路[21]。

文獻(xiàn)[22]為解決圖像序列中光照漂移問(wèn)題,提出基于亮度梯度和一階旋度散度平滑項(xiàng)的損失函數(shù)來(lái)優(yōu)化針對(duì)PIV數(shù)據(jù)集的LiteflowNet網(wǎng)絡(luò),并將復(fù)合損失函數(shù)添加到U-Net中,取得了較好的效果,這說(shuō)明引入基于流體物理先驗(yàn)知識(shí)的損失函數(shù)能更好地指導(dǎo)網(wǎng)絡(luò)訓(xùn)練。受其啟發(fā),本文提出一種結(jié)合基于LI范數(shù)距離平均絕對(duì)誤差(MAE)、平均角誤差(AAE)和旋度散度平滑損失的復(fù)合損失函數(shù),對(duì)流體運(yùn)動(dòng)的局部和全局特征進(jìn)行多維度優(yōu)化。基于流體物理知識(shí)的復(fù)合損失網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。復(fù)合損失函數(shù)表達(dá)式如式(5)所示:

圖3 基于流體物理?yè)p失的CBAM-RAFT網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 CBAM-RAFT network structure based on fluid physical loss

Lfinal=λ1LMAE+λ2LAAE+λ3LS

(5)

其中:λ1、λ2、λ3為權(quán)重系數(shù),用于平衡訓(xùn)練過(guò)程中各損失項(xiàng)的相對(duì)重要性。

2.2.1 改進(jìn)的MAE損失函數(shù)

RAFT采用預(yù)測(cè)值與真實(shí)值之間的L1范數(shù)距離誤差監(jiān)督網(wǎng)絡(luò)進(jìn)行訓(xùn)練,由于RAFT架構(gòu)存在光流迭代模塊,根據(jù)迭代得到的流場(chǎng)具有由粗糙到精細(xì)的特點(diǎn),本文引入按照迭代次數(shù)呈指數(shù)增長(zhǎng)的權(quán)重來(lái)調(diào)整不同迭代輪次的重要性,改進(jìn)的MAE表達(dá)式如式(6)所示:

LMAE=

(6)

2.2.2 AAE損失函數(shù)

(7)

2.2.3 旋度散度平滑損失函數(shù)

旋度和散度是描述空間矢量場(chǎng)特征的二階物理量。在流場(chǎng)估計(jì)中,它們建立了單個(gè)矢量與全局矢量流場(chǎng)之間的聯(lián)系。本文采取流場(chǎng)真實(shí)值旋度和散度以及模型預(yù)測(cè)值旋度和散度的L2范數(shù)加權(quán)作為二階流場(chǎng)平滑損失函數(shù),計(jì)算公式如式(8)所示:

(8)

流場(chǎng)散度和旋度計(jì)算如式(9)和式(10)所示:

(9)

(10)

對(duì)于復(fù)合損失函數(shù),往往需要一個(gè)超參數(shù)尺度因子調(diào)節(jié)各損失函數(shù)模塊參與比例。為了在確保模型訓(xùn)練穩(wěn)定和收斂的同時(shí),又能使每個(gè)損失函數(shù)模塊都能夠發(fā)揮其應(yīng)有的作用,各部分損失的數(shù)量級(jí)應(yīng)該保持一致。通過(guò)測(cè)試,發(fā)現(xiàn)模型的AAE通常在15°左右,而均方根誤差(RMSE)在1個(gè)像素以下,旋度和散度的平均值在0.1以下。因此,本文研究采用RMSE作為基本損失函數(shù),將超參數(shù)λ1、λ2、λ3的值分別設(shè)為1、0.05、和10。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 模型訓(xùn)練

由于RAFT是一種密集光流監(jiān)督模型,很難獲得有大量像素位移標(biāo)記的真實(shí)河流場(chǎng)景數(shù)據(jù)集,因此使用開(kāi)源光流數(shù)據(jù)Sintel[24]預(yù)訓(xùn)練,并采用PIV數(shù)據(jù)集[25]作為驗(yàn)證集。對(duì)于模型訓(xùn)練性能評(píng)價(jià),本文采用EPE損失,即預(yù)測(cè)光流與地面真實(shí)光流之間歐氏距離平均值。GRU更新器的迭代次數(shù)設(shè)置為12,優(yōu)化器選用Adam優(yōu)化器,批量大小設(shè)置為4,并將初始學(xué)習(xí)率設(shè)置為0.000 125。為了充分驗(yàn)證所提方法的有效性,采用文獻(xiàn)[26]構(gòu)造出的虛擬河流數(shù)據(jù)集和現(xiàn)場(chǎng)采集的河流數(shù)據(jù)集[27-28]進(jìn)行實(shí)驗(yàn)。

3.2 真實(shí)河流數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

為了評(píng)估在自然場(chǎng)景中基于DLOF的表面速度測(cè)量方法表現(xiàn)效果,本文采用收集到的12段Brenta River河流視頻[28]、Hurunui River和Stanton River河流視頻進(jìn)行驗(yàn)證。為評(píng)估提出的模型對(duì)光影的抗干擾能力,在12段Brenta River河流視頻中添加光照噪聲來(lái)模擬光照?qǐng)鼍啊Ｋ蠦renta River視頻幀率為25 Hz,時(shí)長(zhǎng)為20 s,其他視頻信息以及不同模型對(duì)Brenta River的RSV估計(jì)結(jié)果的平均相對(duì)誤差如表1所示。

表1 不同光流方法的平均相對(duì)誤差估計(jì)結(jié)果Table1 Result of average relative error estimated by different optical flow methods

Stanton River河流視頻數(shù)據(jù)集是通過(guò)架設(shè)在河岸的攝像機(jī)以30 Hz幀率和分辨率為1 920×1 080像素錄制的,時(shí)長(zhǎng)為31 s,同時(shí)利用ADCP采樣獲取真實(shí)流速。表2列出了在Stanton River河流沿岸采集到的流速和水深數(shù)據(jù)。從圖4和表2可以看出,Stanton River較淺,水流緩慢,河流清澈,表面漂浮著一些落葉可作光流估計(jì)跟蹤的示蹤物。此外,圖像左下角有一片明顯的光影閃爍水域,為驗(yàn)證本文提出的方法對(duì)倒影、光影閃爍噪聲的魯棒性,沿圖4中標(biāo)注的刻度線測(cè)量流速,得到的流速分布如圖5所示,從圖5橢圓圈出部分可以看出,引入CBAM和基于流體物理?yè)p失函數(shù)的RAFT模型在光照?qǐng)鼍跋卖敯粜愿谩Ｖ劣谒俣确植记€波動(dòng),較大可能是河流表面示蹤物較少,捕捉到的特征權(quán)重分布不均所致。

表2 Stanton River河流流速數(shù)據(jù)Table 2 Stanton River stream flow data

圖4 Stanton River原圖Fig.4 Original image of the Stanton River

圖5 不同方法估算的Stanton River表面速度Fig.5 Stanton River surface velocities estimated by different methods

Hurunui River河流視頻數(shù)據(jù)集是使用大疆 M210無(wú)人機(jī)以24 Hz幀率和分辨率為3 840×2 160像素錄制的,時(shí)長(zhǎng)為59 s,并使用ADCP采樣獲得真實(shí)流速。圖6和圖7展示了拍攝畫(huà)面以及本文提出的改進(jìn)RAFT流速估計(jì)箭頭矢量圖。由于Hurunui River水質(zhì)清晰度較低,流速較高,河流表面平坦,波紋均勻密集,RAFT和本文方法測(cè)得流速均接近于真實(shí)流速,此外,從圖8折線圖可以看出,相較于RAFT,本文的改進(jìn)方法流速曲線更平滑,誤差更小,這表明提出的改進(jìn)方案在普通環(huán)境高流速場(chǎng)景下依然有效。

圖6 Hurunui River原圖Fig.6 Original image of the Hurunui River

圖7 改進(jìn)RAFT估算的Hurunui River流速分布Fig.7 Hurunui River streamflow distribution estimated by the improved RAFT

圖8 不同方法估算的Hurunui River表面速度Fig.8 Hurunui River surface velocities estimated by different methods

3.3 虛擬河流數(shù)據(jù)集實(shí)驗(yàn)可視化分析

為了更直觀地體現(xiàn)模型改進(jìn)的有效性和泛化能力,選取晴天、多云、森林以及無(wú)人機(jī)高空拍攝等多場(chǎng)景虛擬河流視頻進(jìn)行流場(chǎng)顏色編碼可視化,圖9展示了兩個(gè)場(chǎng)景的RSV估計(jì)結(jié)果,場(chǎng)景1(見(jiàn)圖9 第1行)為有光照反射的晴天(河水朝左下方流動(dòng)),場(chǎng)景2(見(jiàn)圖9第2行)為無(wú)人機(jī)拍攝場(chǎng)景(河水朝右流動(dòng))。可以看到,在場(chǎng)景1中,初始RAFT模型估計(jì)的流場(chǎng)可視化圖[圖9(b)]左下方有較大空腔,主要是因?yàn)樵搮^(qū)域河流表面受到光影干擾,導(dǎo)致基于光流的模型難以跟蹤粒子運(yùn)動(dòng),而圖9(c)和圖9(d)的空腔明顯變小,這說(shuō)明本文改進(jìn)模型對(duì)于光影干擾有更好的魯棒性。此外,從場(chǎng)景2的圖 9(c)也可以看出,引入CBAM機(jī)制后模型微小特征學(xué)習(xí)能力增強(qiáng),因而圖 9(c)顏色略深于圖 9(b),場(chǎng)景2圖 9(d)明顯更平滑一些,這是結(jié)合旋度散度平滑損失函數(shù)的結(jié)果。其中,場(chǎng)景1的圖 9(d)圖右上角為流場(chǎng)顏色編碼,顏色類(lèi)型表示流場(chǎng)方向,深淺表示流場(chǎng)大小。

圖9 虛擬河流視頻可視化圖Fig.9 Visualization of synthetic river flow videos

4 結(jié)束語(yǔ)

本文提出一種改進(jìn)的OFV方法,提高在有反射和光影噪聲的河道場(chǎng)景下RSV估計(jì)的精度和魯棒性。該方法在深度學(xué)習(xí)監(jiān)督模型RAFT基礎(chǔ)上,引入注意力機(jī)制增強(qiáng)在相似性高的河道表面特征識(shí)別能力,同時(shí)在光流迭代過(guò)程中采用基于流體物理運(yùn)動(dòng)特性的復(fù)合損失函數(shù),提高模型在流體運(yùn)動(dòng)估計(jì)上的泛化性能,降低其在光影干擾等復(fù)雜環(huán)境中的誤檢率。實(shí)驗(yàn)結(jié)果表明,該方法具有較好的魯棒性,能夠生成更加精準(zhǔn)的表面速度空間分布圖。本文采用的將流體物理特征知識(shí)融合到DLOF損失函數(shù)的方法,結(jié)合了傳統(tǒng)光流估計(jì)和深度學(xué)習(xí)兩者的優(yōu)點(diǎn),為后繼RSV測(cè)量提供了一種新的研究思路。下一步研究方向是構(gòu)建具有真實(shí)稠密流速的河道數(shù)據(jù)集,提高光流估計(jì)網(wǎng)絡(luò)在RSV估計(jì)上的泛化能力。