YOLOv5與光流相結(jié)合的紅外小目標(biāo)檢測算法

劉寶林,范有臣,秦明宇,謝鵬飛,郭惠超,張來線

(航天工程大學(xué),北京 101416)

1 引 言

高于熱力學(xué)零度的物體都會輻射紅外線,紅外輻射穿透云、霧、煙塵的能力強(qiáng),紅外探測成像是被動接收紅外輻射成像,具有良好的抗干擾能力和隱蔽性,能夠探測到幾公里到幾十公里遠(yuǎn)的目標(biāo)。紅外成像系統(tǒng)視場大,遠(yuǎn)距離目標(biāo)成像呈現(xiàn)點(diǎn)狀,目標(biāo)成像大小介于3×3和9×9個像素[1],所占的像素數(shù)少,成像面積占整幅圖像比例很小,信雜比低[2-3],檢測難度大。由于散射的影響,目標(biāo)邊緣信息微弱,缺少固定的形狀和紋理信息,不利于特征的提取。紅外小目標(biāo)檢測算法分為基于單幀檢測和基于多幀檢測的算法[4]。單步目標(biāo)檢測算法中較典型的是YOLO方法[5-7],該方法由物體中心的格子來完成目標(biāo)預(yù)測,提取目標(biāo)特征、候選框邊界回歸及分類都在同一個網(wǎng)絡(luò)中實(shí)現(xiàn)的,檢測速度可達(dá)到100 FPS以上,解決了實(shí)時檢測的任務(wù)要求。

復(fù)雜背景中包含多個與真實(shí)小目標(biāo)相像的點(diǎn),目標(biāo)的檢測難度大,在訓(xùn)練數(shù)據(jù)集有限的條件下,利用已有的小目標(biāo)訓(xùn)練權(quán)重進(jìn)行檢測,容易漏掉真實(shí)的小目標(biāo)。為了將可能的小目標(biāo)都檢測出來,本文在使用YOLOv5檢測時,用低檢測網(wǎng)絡(luò)對復(fù)雜背景圖像進(jìn)行檢測,檢測結(jié)果中除了真實(shí)小目標(biāo)外,包括多個虛假目標(biāo),不易提取目標(biāo)的軌跡。文將LK和HS兩種光流算法進(jìn)行了對比,用單樣本K-S檢驗(yàn)得到分布擬合度,構(gòu)建Q-Q圖來計算平臺真實(shí)運(yùn)動量,結(jié)合YOLOv5校正檢測目標(biāo)校正目標(biāo)軌跡,實(shí)現(xiàn)了目標(biāo)軌跡的提取。

2 紅外小目標(biāo)數(shù)據(jù)集的訓(xùn)練

實(shí)驗(yàn)室拍攝的旋翼無人機(jī)天空背景紅外視頻,提取其中圖片1651張,圖像背景均勻,大小為567×273,其中圖像如圖1所示,圖1(a)中紅外小目標(biāo)的灰度值較高,與背景的灰度值對比明顯,圖1(b)中灰度值比圖1(a)明顯,不容易觀察出來。

選擇地/空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測數(shù)據(jù)圖片[8]文件夾data5、data8共3396張,圖像大小為256×256,其中典型圖像如圖2所示,圖2(a)中紅外小目標(biāo)的灰度高于局部背景區(qū)域,圖2(b)中紅外小目標(biāo)灰度值與局部背景區(qū)域灰度接近,不易與背景區(qū)分,同樣存在著與小目標(biāo)灰度和形狀接近的小區(qū)域。

實(shí)驗(yàn)是在安裝Window10的服務(wù)器上完成,服務(wù)器的CPU:Intel(R)Xeon(R)Silver 4116 CPU @2.1 GHz 2.1GHz(2處理器),內(nèi)存32GB,顯卡NVIDIA GeForce RTX-3090 32 GB,cuda11.1.0_456.43_win10,cudnn-11.1-windows-x64-v8.0.4.30,Aanconda3-2020.02-Windows-x86_64版本搭建Pytorch1.7,python 3.7.6,pycharm-community-2020.1.3×64。

圖2 單目標(biāo)復(fù)雜背景數(shù)據(jù)集圖像

將單目標(biāo)的簡單和復(fù)雜背景圖像使用labelImg軟件標(biāo)注,共得到標(biāo)注圖像5047張,對應(yīng)標(biāo)注xml文檔5047個,區(qū)分訓(xùn)練圖4015張,驗(yàn)證圖1032張。用YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四種模型訓(xùn)練數(shù)據(jù)50次、100次、200次、300次、400次、500次和600次,如圖3所示。

隨著訓(xùn)練次數(shù)的增加,四種模型的訓(xùn)練準(zhǔn)確率隨著次數(shù)的增加,總體上是在逐漸提高,YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x訓(xùn)練600次的準(zhǔn)確率分別為0.9608、0.9485、0.9605、0.977,在準(zhǔn)確率上,震蕩程度最大的是YOLOv5s,收斂最快的是YOLOv5x。單一模型損失率的隨訓(xùn)練次數(shù)增加損失率總體呈現(xiàn)波動降低趨勢,訓(xùn)練600次的最終損失率在0.01581、0.01478、0.0145、0.01408,數(shù)值相近,全部低于0.02,訓(xùn)練收斂效果較好。

3 運(yùn)動背景下的單目標(biāo)檢測

3.1 光流算法

光流是圖像中亮度保持不變,即運(yùn)動前后對應(yīng)像素亮度值相同,而不隨時間而變化可表示為:

I(x+dx,y+dy,t+dt)=I(x,y,t)

(1)

其中,I(x,y,t)是圖像中各點(diǎn)的像素值；(x,y)表示空間中的位置；t是時間變量；dt是圖像連續(xù)幀的間隔時間；(dx,dv)表示在t時刻空間中的(x,y)點(diǎn)的位置變化量,在相鄰兩幀圖像中的點(diǎn)(x,y)有位移(dx,dy),單位時間上的位置變化量就是速度矢量。

用泰勒級數(shù)實(shí)施一階展開為:

(2)

Ixu+Iyv+It=0

(3)

對選擇地/空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測數(shù)據(jù)中的連續(xù)兩幀圖像進(jìn)行實(shí)驗(yàn),圖像大小為256×256,如圖4所示。圖4中兩幅圖像的光照條件沒有變化,同一區(qū)域的灰度值也比較一致。從兩幅圖像中地物對比可以看出,圖4(b)幀明顯比圖4(a)幀靠右,判斷平臺向右側(cè)運(yùn)動。

圖4 連續(xù)兩幀圖像

選取HS和LK計算結(jié)果50×150的部分放大,顯示的結(jié)果如圖5所示。

從選取部分放大后可以看出,HS算法光流圖中光流值錯誤的多,且各個方向都有無法看出總體規(guī)律。而LK算法光流值總體向右,與平臺實(shí)際移動方向較為一致。用LK法對這種場景計算運(yùn)動量比較合適。

3.2 光流值的校正

平臺真實(shí)運(yùn)動量需要通過取光流值的有效部分得到,首先用HS、LK算法計算光流分量,然后通過單樣本K-S檢驗(yàn)計算分布擬合度,構(gòu)建Q-Q圖得到上下界數(shù)值,最后取上下界間的均值取整得到校正值。

光流法對光線較為敏感,得到的光流場中存在一些極端值,為了通過光流場解算出平臺移動情況,用不同光流算法得到的光流場對真實(shí)情況進(jìn)行預(yù)測,因此引入tLocation-Scale分布函數(shù)對極端值進(jìn)行濾除。

1)tLocation-Scale分布基于t分布[10],其概率密度函數(shù)為:

(4)

其中,μ為位置參數(shù);σ為尺度參數(shù);ν為自由度。Γ(x)為伽馬函數(shù),相較于t分布,由于引入了位置參數(shù)和尺度參數(shù),tLocation-Scale分布具有更好的自適應(yīng)性。

2) 擬合優(yōu)度檢驗(yàn),單樣本K-S檢驗(yàn)可用于檢驗(yàn)觀測到的數(shù)據(jù)是否符合某已知的理論分布。Matlab中使用kstest函數(shù)實(shí)現(xiàn)K-S檢驗(yàn)功能,返回參數(shù)[h,p,ksstat,cv],其中,h表示檢驗(yàn)決策,p值反映原假設(shè)成立的可能性,ksstat為統(tǒng)計量的值,cv為接受域與拒絕域的邊界值。使用LK算法得出的光流場的豎直分量數(shù)據(jù)測試tLocation-Scale分布的擬合程度,對比正態(tài)分布的擬合結(jié)果數(shù)值,得到的擬合曲線如圖6所示,參數(shù)計算結(jié)果如表1所示。

圖6 t Location-Scale擬合曲線與正態(tài)分布擬合曲線

表1 K-S檢驗(yàn)結(jié)果

從表1中可以看出,tLocation-Scale分布的ksstat值遠(yuǎn)小于正態(tài)分布,且p值大正態(tài)分布,說明tlocation-Scale分布有著更好的擬合度。

3) Q-Q圖可用于評估兩組數(shù)據(jù)是否來自同一分布,假設(shè)大部分?jǐn)?shù)據(jù)數(shù)據(jù)均可用且符合tLocation-Scale分布,用Quantile-Quantile圖(Q-Q圖)對不可用部分?jǐn)?shù)據(jù)進(jìn)行篩選。

Q-Q圖的橫坐標(biāo)為理想分布的分位數(shù),縱坐標(biāo)為樣本分位數(shù)。因此要構(gòu)建Q-Q圖,首先要確定分位數(shù)。

若有一容量為n的樣本x1,x2,x3,…,xn,其p分位數(shù)xp的計算公式為:

(5)

可使用random函數(shù)在理想分布模型中隨機(jī)抽取樣本得到近似的理想分布樣本分位數(shù)。結(jié)合qqplot函數(shù)進(jìn)行Q-Q圖的構(gòu)建,如圖7、圖8所示。

由Q-Q圖的特性可知,分布于直線附近的點(diǎn)與理想tLocation-Scale分布較為符合,可認(rèn)為該點(diǎn)對應(yīng)數(shù)據(jù)為可用數(shù)據(jù)。得到HS和LK算法上下界,計算上下界均值,得到實(shí)際速度如表2所示。

表2 HS、LK算法的水平和豎直分量上下界

LK法得出的水平分量的有效取值范圍為[4.4392,14.111],LK法得出的豎直分量的有效取值范圍為[-0.37501,0.44059],HS法得出的水平分量的有效取值范圍為[-1.6717,4.6349],HS法得出的豎直分量的有效取值范圍為[-3.5068,3.4087]。對比HS和LK兩種算法運(yùn)動分量結(jié)果,可以得出LK算法水平分量9.54,豎直分量-0.03,水平分量四舍五入為10,豎直分量四舍五入為0,速度分量結(jié)果與觀察到的實(shí)際運(yùn)動相符,選用LK算法計算這種場景下的運(yùn)動。

3.3 實(shí)驗(yàn)結(jié)果與分析

通常紅外圖像背景較為復(fù)雜,存在類似小目標(biāo)的虛假目標(biāo)許多干擾點(diǎn)。使用訓(xùn)練權(quán)重對紅外圖像中的小目標(biāo)檢測結(jié)果中包括真實(shí)的小目標(biāo)和虛假目標(biāo),光流法可計算得到幀與幀之間的橫向和縱向運(yùn)動量,從而補(bǔ)償平臺運(yùn)動的影響,將多幀圖像中檢測點(diǎn)表示在一幅圖像中,真實(shí)的目標(biāo)軌跡是一條曲線,而虛假目標(biāo)點(diǎn)相對背景的位置沒有發(fā)生變化,通過光流補(bǔ)償計算后的位置通常聚集在一小區(qū)域,能夠區(qū)分真實(shí)目標(biāo)和虛假目標(biāo),從而檢測出真實(shí)的目標(biāo)。檢測流程如圖9所示。

圖9 單目標(biāo)復(fù)雜運(yùn)動背景檢測流程

實(shí)驗(yàn)中,權(quán)重采用YOLOv5s訓(xùn)練200次的best權(quán)重,為了把所有可能的小目標(biāo)都提取出來,需要設(shè)置較低的置信度,將置信度設(shè)置為0.001,檢測地空背景圖像數(shù)據(jù)集data18中的500幀單個無人機(jī)目標(biāo)樹林運(yùn)動背景的紅外圖像,第1、19、39、55幀的檢測結(jié)果如圖10所示。

其中,圖10(a)圖像中的目標(biāo)是真實(shí)目標(biāo),從圖10(b)、(c)、(d)圖像中可以看出,該目標(biāo)從向樹林左下方運(yùn)動,目標(biāo)與背景位置有明顯的相對運(yùn)動,平臺隨運(yùn)動目標(biāo)整體向左下移動,背景向左下運(yùn)動,檢測到的假目標(biāo)的坐標(biāo)值發(fā)生變化。地面輻射強(qiáng),圖像上的灰度值較高,形狀與紅外小目標(biāo)類似,被檢測為小目標(biāo)。圖10(b)中檢測到1個目標(biāo),圖10(c)檢測到1個目標(biāo),這些檢測到的固定目標(biāo)的中心坐標(biāo)隨著平臺移動,發(fā)生變化了,但相對背景位置沒有發(fā)生變化。

選取其中第1到55的連續(xù)55幀圖像,用LK方法求相鄰幀圖像的橫向和縱向光流變化量,從第2幀到第n幀的光流量變化量取整后的累加值,就是平臺運(yùn)動補(bǔ)償量,如式(6)所示:

(6)

其中,u,v分別是通過LK法計算相鄰幀圖像得到光流的水平和垂直方向的取整結(jié)果；Un,Vn分別是第1幀圖像到第n幀圖像間平臺水平和垂直方向運(yùn)動量。從第1幀到第100幀圖像預(yù)測點(diǎn)的橫縱坐標(biāo)xn,yn分別與平臺運(yùn)動補(bǔ)償量求和,得到圖像的中各點(diǎn)的真實(shí)位置,如式(7)所示:

(7)

將校正前的坐標(biāo)點(diǎn)和校正后的坐標(biāo)點(diǎn)在第1幀圖像的xy坐標(biāo)圖上畫出,結(jié)果如圖11所示。

55幀圖像中12個目標(biāo)的點(diǎn)數(shù)如表3所示。

其中,圖11(a)是光流法校正前的圖像,目標(biāo)1、2、3、5、6、7、8、9、11、12對應(yīng)的坐標(biāo)比較集中,目標(biāo)1、3、4、6、7、9、12坐標(biāo)點(diǎn)數(shù)是4個以內(nèi),是虛假的目標(biāo),目標(biāo)8、10、11的點(diǎn)數(shù)分別是7個、9個、7個,目標(biāo)4和目標(biāo)10坐標(biāo)變化較大,是位置發(fā)生變化的點(diǎn),點(diǎn)的軌跡呈與平臺運(yùn)動方向一致變化的曲線,可判斷為虛假的目標(biāo)。圖11(b)是經(jīng)過光流法校正后的圖像,目標(biāo)1的坐標(biāo)軌跡是向左下方運(yùn)動的曲線,符合運(yùn)動目標(biāo)的運(yùn)動方向,其他目標(biāo)經(jīng)校正后的坐標(biāo)都較集中,在第1幀圖像中的檢測目標(biāo)附近,是背景中的虛假目標(biāo)。

表3 檢測目標(biāo)出現(xiàn)次數(shù)

4 結(jié) 論

文中采用基于YOLOv5的深度學(xué)習(xí)方法對紅外弱小目標(biāo)提取,并對軌跡進(jìn)行校正,較好的實(shí)現(xiàn)了目標(biāo)軌跡的復(fù)原。結(jié)合拍攝到的簡單背景和公開的復(fù)雜背景的數(shù)據(jù)集在網(wǎng)絡(luò)中訓(xùn)練,而后對紅外小目標(biāo)檢測,檢測準(zhǔn)確率在90 %以上,損失率在2 %以下,結(jié)果比較理想。給出了提出軌跡的流程,對比了兩種光流算法,得到適于推算場景變化量的算法,進(jìn)行分布擬合,構(gòu)建Q-Q圖得到平臺真實(shí)運(yùn)動量,通過光流與YOLOv5相結(jié)合的方式校正了目標(biāo)的運(yùn)動軌跡,克服了提出軌跡不正確的問題。

紅外弱小目標(biāo)檢測的研究始終是一個熱點(diǎn)問題。目標(biāo)所處的背景千變?nèi)f化,除了林地和天空背景外,還有云層、海洋、城市和鄉(xiāng)村等多種多樣的背景,如何從這些復(fù)雜的背景中檢測到真實(shí)的目標(biāo)有著很大的難度,需要不斷加以學(xué)習(xí)研究。除了背景多變外,紅外目標(biāo)自身有著不同的形狀,有的規(guī)則的方形,也有的形狀是弧形等多種,實(shí)現(xiàn)正確的檢測是今后研究工作中需要努力的。