多類(lèi)場(chǎng)景下無(wú)人機(jī)航拍視頻煙霧檢測(cè)算法

王殿偉,趙文博,房 杰,許志杰

(1.西安郵電大學(xué) 通信與信息工程學(xué)院,西安 710121; 2.哈德斯菲爾德大學(xué) 計(jì)算機(jī)與工程學(xué)院,哈德斯菲爾德HD1 3DH,英國(guó))

煙霧是火災(zāi)的主要伴生現(xiàn)象,具有更明顯的可觀(guān)測(cè)性[1],因此開(kāi)展煙霧智能檢測(cè)對(duì)消防減災(zāi)具有重要的意義。無(wú)人機(jī)具有機(jī)動(dòng)性強(qiáng)、可視范圍廣和行進(jìn)速度快等特點(diǎn)[2-3],在煙霧檢測(cè)領(lǐng)域中有明顯的優(yōu)勢(shì)。因此,開(kāi)展無(wú)人機(jī)航拍視頻煙霧檢測(cè)技術(shù)研究對(duì)于消防減災(zāi)具有重要的意義,已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)新的研究熱點(diǎn)[4]。

傳統(tǒng)煙霧檢測(cè)算法大多是圍繞著手工提取各種煙霧特征進(jìn)行研究,檢測(cè)精度不高。而卷積神經(jīng)網(wǎng)絡(luò)因具有強(qiáng)大的特征表征能力,已被廣泛應(yīng)用于煙霧檢測(cè)領(lǐng)域。文獻(xiàn)[5-6]使用YOLO系列算法進(jìn)行煙霧檢測(cè),但在多類(lèi)場(chǎng)景下準(zhǔn)確率不高。文獻(xiàn)[7]提出了煙霧檢測(cè)和分割框架;文獻(xiàn)[8]提出了兩級(jí)煙霧檢測(cè)算法,都提升了算法精度,但增加了計(jì)算量,導(dǎo)致算法檢測(cè)速度慢。文獻(xiàn)[9]提出一種新的注意機(jī)制模塊,但訓(xùn)練數(shù)據(jù)過(guò)少導(dǎo)致算法性能不佳。為此,文獻(xiàn)[10-11]利用人工合成煙霧圖像解決缺乏訓(xùn)練數(shù)據(jù)的問(wèn)題,但人工合成的煙霧圖像真實(shí)性差導(dǎo)致算法魯棒性低。文獻(xiàn)[12]提出火焰和煙霧統(tǒng)一檢測(cè)的方法;文獻(xiàn)[13]提出基于深度可分離卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測(cè)算法;文獻(xiàn)[14]提出YdUaVa顏色模型和改進(jìn)的MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu),但在多類(lèi)場(chǎng)景下煙霧檢測(cè)效果都不好。文獻(xiàn)[15]提出的YOLOv4算法和文獻(xiàn)[16]提出的改進(jìn)的YOLOv5算法都對(duì)煙霧檢測(cè)算法輕量化做出了貢獻(xiàn);文獻(xiàn)[17]提出的SparseR-CNN算法在應(yīng)用于煙霧檢測(cè)領(lǐng)域時(shí)明顯提升了準(zhǔn)確率,但算法實(shí)時(shí)性不高。文獻(xiàn)[18]提出YOLOx目標(biāo)檢測(cè)算法,在YOLOv3[19]的基礎(chǔ)上新增了Decoupled Head和Anchor-free等結(jié)構(gòu),算法精確度顯著提升,但在應(yīng)用于無(wú)人機(jī)視角下的多類(lèi)場(chǎng)景時(shí),檢測(cè)準(zhǔn)確率降低。

針對(duì)以上算法出現(xiàn)的訓(xùn)練數(shù)據(jù)少、場(chǎng)景種類(lèi)單一和檢測(cè)精度低等問(wèn)題,本文建立了一個(gè)多類(lèi)場(chǎng)景下的無(wú)人機(jī)航拍煙霧數(shù)據(jù)集(UAV smoke dataset,USD),從注意力機(jī)制、雙向特征融合模塊和損失函數(shù)3個(gè)角度出發(fā)改進(jìn)YOLOx算法,提升了算法在面對(duì)多類(lèi)場(chǎng)景下無(wú)人機(jī)航拍視頻的煙霧檢測(cè)精度,并具有實(shí)時(shí)檢測(cè)的能力。

1 無(wú)人機(jī)航拍煙霧數(shù)據(jù)集USD的建立

現(xiàn)有的無(wú)人機(jī)視頻煙霧檢測(cè)算法使用的訓(xùn)練數(shù)據(jù)集多為普通視角下的單一場(chǎng)景煙霧數(shù)據(jù)集,這導(dǎo)致訓(xùn)練出的網(wǎng)絡(luò)模型不能適用于多類(lèi)場(chǎng)景下的無(wú)人機(jī)煙霧檢測(cè)任務(wù)。目前最常使用的公共數(shù)據(jù)集有兩個(gè):1)上海師范大學(xué)袁非牛團(tuán)隊(duì)公布的煙霧圖像和非煙霧圖像數(shù)據(jù)集VSD[20],該數(shù)據(jù)集包含了6 323張各種顏色的煙霧圖像,但該數(shù)據(jù)集包含的煙霧圖像質(zhì)量較差,分辨率低,且煙霧目標(biāo)在整幅圖像中占據(jù)了較大的面積,對(duì)網(wǎng)絡(luò)模型的檢測(cè)性能有很大影響;2)韓國(guó)啟明大學(xué)計(jì)算機(jī)視覺(jué)與模式識(shí)別實(shí)驗(yàn)室(CVPR)聯(lián)合美國(guó)NIST火災(zāi)研究實(shí)驗(yàn)室以及Bilkent信號(hào)處理小組公開(kāi)的煙霧數(shù)據(jù)集KMU[21],其中共包含了11段有煙視頻和9段非煙霧視頻,加入了大量白色燈光和自然天氣下的云等負(fù)樣本信息,但該數(shù)據(jù)集的視頻分辨率較低,且只包含森林和室內(nèi)兩種場(chǎng)景,很難訓(xùn)練出具有較強(qiáng)泛化能力的網(wǎng)絡(luò)。

數(shù)據(jù)集的建立應(yīng)包含圖像信息多和場(chǎng)景覆蓋性廣兩個(gè)方面,因此采用自己拍攝和網(wǎng)絡(luò)收集等方法,創(chuàng)建了一個(gè)新的多類(lèi)場(chǎng)景下的無(wú)人機(jī)航拍煙霧數(shù)據(jù)集,該數(shù)據(jù)集包含了81個(gè)無(wú)人機(jī)煙霧視頻,對(duì)這81個(gè)視頻進(jìn)行每隔100幀提取一次圖像,共提取30 000張無(wú)人機(jī)煙霧圖像,并使用LabelImg軟件對(duì)30 000張圖像進(jìn)行標(biāo)注,標(biāo)注方法為最大外接矩形框標(biāo)注。數(shù)據(jù)集中所有視頻都是由無(wú)人機(jī)在高空50～500 m之間拍攝完成,包含了森林、農(nóng)場(chǎng)、居民樓、學(xué)校、工廠(chǎng)和海岸等19種場(chǎng)景,且視頻的分辨率大小都為1 280×720,煙霧區(qū)域更加清晰,見(jiàn)表1。部分場(chǎng)景的煙霧圖像見(jiàn)圖1。

表1 USD數(shù)據(jù)集中的場(chǎng)景類(lèi)別

由表1可以看出,在USD煙霧數(shù)據(jù)集中,森林、居民樓和工廠(chǎng)3個(gè)場(chǎng)景的圖像占比最多,十分符合現(xiàn)實(shí)情況。相比于普通視角下的煙霧數(shù)據(jù)集,本文自建的USD煙霧數(shù)據(jù)集,包含場(chǎng)景多、數(shù)量多、分辨率高,圖像中的煙霧形狀更加多變,煙霧特征也更加豐富,與算法的應(yīng)用場(chǎng)景非常貼切。

2 改進(jìn)YOLOx的無(wú)人機(jī)視頻煙霧檢測(cè)算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

為了更好地實(shí)現(xiàn)在多類(lèi)場(chǎng)景下對(duì)無(wú)人機(jī)航拍視頻的煙霧檢測(cè),設(shè)計(jì)了一個(gè)基于YOLOx-s的輕量級(jí)的端到端煙霧檢測(cè)網(wǎng)絡(luò),采用改進(jìn)的注意力機(jī)制模塊和多尺度特征融合模塊降低場(chǎng)景信息對(duì)煙霧檢測(cè)準(zhǔn)確率的影響,并提升網(wǎng)絡(luò)對(duì)小目標(biāo)煙霧的檢測(cè)能力。網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖2。

圖2 本文算法網(wǎng)絡(luò)模型

由圖2可知,本文的煙霧檢測(cè)網(wǎng)絡(luò)主要由4部分組成:1)特征提取網(wǎng)絡(luò);2)注意力機(jī)制模塊;3)雙向特征融合模塊(bidirectional feature fusion module);4)預(yù)測(cè)網(wǎng)絡(luò)。特征提取網(wǎng)絡(luò)由4個(gè)CBS單元(卷積層+BN層+Silu激活函數(shù))、1個(gè)SPP單元、1個(gè)Focus單元和3個(gè)CSP結(jié)構(gòu)組成。預(yù)測(cè)網(wǎng)絡(luò)由Decoupled Head模塊以及Transpose結(jié)構(gòu)組成。為了提高本算法對(duì)小目標(biāo)煙霧的檢測(cè)能力,本文提出的雙向特征融合模塊在多尺度特征融合的基礎(chǔ)上加入了一條額外支路,該支路能使FPN結(jié)構(gòu)學(xué)習(xí)到更多的小目標(biāo)煙霧特征,從而增強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)煙霧的學(xué)習(xí)能力。為了解決多類(lèi)場(chǎng)景下算法檢測(cè)準(zhǔn)確率低的問(wèn)題,引入改進(jìn)的煙霧協(xié)調(diào)注意力(smoke coordinate attention,SCA)[22],該模塊是一種適用于輕量級(jí)網(wǎng)絡(luò)的煙霧注意力機(jī)制,能使網(wǎng)絡(luò)更加關(guān)注特征圖中的煙霧區(qū)域,并對(duì)不同通道的煙霧特征以及不同大小的煙霧特征進(jìn)行重新加權(quán)計(jì)算。最后本文引入了Focal-EIOU[23]損失函數(shù),解決了正負(fù)樣本不平衡的問(wèn)題以及預(yù)測(cè)框和真實(shí)框不相交時(shí)無(wú)法反映兩個(gè)框的距離遠(yuǎn)近以及重合度大小的問(wèn)題。

2.1.1 注意力機(jī)制模塊

鑒于多類(lèi)場(chǎng)景下無(wú)人機(jī)煙霧視頻圖像的復(fù)雜性,本文增加改進(jìn)的注意力機(jī)制模塊來(lái)提升算法對(duì)煙霧特征的提取能力,其結(jié)構(gòu)見(jiàn)圖3(a)。首先,利用2個(gè)不同方向的全局平均池化生成包含特征通道信息的描述符,經(jīng)過(guò)1個(gè)拼接操作和1個(gè)共享的卷積層,再經(jīng)過(guò)1個(gè)批量歸一化處理,得到的特征圖最終經(jīng)過(guò)1個(gè)全連接層和Sigmoid激活函數(shù)。在該注意力機(jī)制模塊中,本文將煙霧的位置信息嵌入到通道注意力中,并且沿著高度和寬度2個(gè)方向生成一對(duì)特征圖,分別為方向感知圖和位置感知圖,最終將這一對(duì)特征圖加權(quán)融合到原始輸入特征圖中,其加權(quán)公式為

(1)

(2)

(3)

式中:σ為Sigmoid函數(shù);Fh和Fw分別為1×1的卷積變換;fh和fw為輸入圖像在高度和寬度上生成的注意力特征圖,注意力生成公式為

(4)

式中:f為生成的注意力特征圖;δ為非線(xiàn)性激活函數(shù);xc為大小為H×W×C的輸入特征圖;F1為批量歸一化操作。

2.1.2 雙向特征融合模塊

在YOLOx-s的網(wǎng)絡(luò)中,特征融合模塊采用的是FPN+PAN[24]結(jié)構(gòu),該結(jié)構(gòu)融合了80×80、40×40和20×20三種不同大小的特征圖。為了增強(qiáng)網(wǎng)絡(luò)對(duì)煙霧小目標(biāo)的檢測(cè)能力,適應(yīng)無(wú)人機(jī)視角下火災(zāi)早期煙霧主要為小目標(biāo)的實(shí)際情況,受BiFPN[25]結(jié)構(gòu)的啟發(fā),本文設(shè)計(jì)了一個(gè)額外的融合支路加入到多尺度特征融合模塊,其結(jié)構(gòu)見(jiàn)圖3(b)。雙向特征融合加權(quán)計(jì)算為

(5)

(6)

在雙向特征融合模塊中,本文在PAN結(jié)構(gòu)的N4層額外加入了原始的40×40大小的特征圖,新加入的特征與P4層的輸出和N3層經(jīng)過(guò)下采樣得到的特征共同輸入到N4層,隨后再經(jīng)過(guò)下采樣輸入到N5層。可以看出,這使得N5層相比原來(lái)獲得了更多的小目標(biāo)特征,并且新加入的注意力機(jī)制模塊將不同層和不同大小的煙霧特征進(jìn)行重新分配權(quán)重,再將得到的煙霧特征連接到一起,最終輸入到Decoupled Head模塊進(jìn)行分類(lèi)和檢測(cè)。

2.1.3 損失函數(shù)

在無(wú)人機(jī)拍攝的煙霧視頻圖像中,煙霧所占圖像比例遠(yuǎn)小于其他負(fù)樣本信息所占的比例,這就造成了算法訓(xùn)練過(guò)程中存在正負(fù)樣本不平衡的問(wèn)題。為此,本文引入LFocal-EIOU[23]損失函數(shù),其中LFocal損失函數(shù)可以解決訓(xùn)練過(guò)程中正負(fù)樣本不平衡的問(wèn)題。同時(shí),在煙霧圖像中,煙霧的形狀多變且不規(guī)則,可能導(dǎo)致模型的真實(shí)框和預(yù)測(cè)框不相交的問(wèn)題,為了解決這一問(wèn)題,本文在計(jì)算IOU[26]損失時(shí)引入LEIOU損失函數(shù)。該損失函數(shù)考慮了預(yù)測(cè)框和真實(shí)框的重疊面積、中心點(diǎn)距離、長(zhǎng)寬邊長(zhǎng)真實(shí)差,可以解決預(yù)測(cè)框和真實(shí)框不相交時(shí)無(wú)法反映兩個(gè)框的距離遠(yuǎn)近以及重合度大小的問(wèn)題。LFocal-EIOU損失函數(shù)計(jì)算步驟為

(7)

式中:γ為控制異常值抑制程度的參數(shù);IIOU為真實(shí)框和預(yù)測(cè)框的交并比;LIOU為IOU損失;LEIOU為EIOU損失,其中IIOU和LEIOU損失計(jì)算為

(8)

LEIOU=LIOU+Ldis+Lasp

(9)

(10)

式中:A和B分別為預(yù)測(cè)框和真實(shí)框;LIOU、Ldis和Lasp分別為IIOU損失、中心距離損失和寬高損失;ρ是預(yù)測(cè)框和真實(shí)框中心點(diǎn)間的歐氏距離;b和bgt分別為預(yù)測(cè)框和真實(shí)框的中心點(diǎn);w和wgt分別為預(yù)測(cè)框和真實(shí)框的寬度;h和hgt分別為預(yù)測(cè)框和真實(shí)框的高度;cw和ch分別為兩個(gè)框的最小外接框的寬度和高度。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)、參數(shù)設(shè)置與評(píng)價(jià)指標(biāo)

本文算法研究的硬件平臺(tái)為CPU(Intel(R) Core(TM) i7-12700K 3.61 GHz),GPU(Nvidia Titan XP),CUDA版本為11.1,實(shí)驗(yàn)環(huán)境為Python3.7和PyTorch框架1.8.1版本。無(wú)人機(jī)型號(hào)為大疆精靈4 Pro,最大飛行高度6 000 m,拍攝視頻和照片的最大分辨率為4 000×3 000。

本文使用自建的多類(lèi)場(chǎng)景無(wú)人機(jī)航拍煙霧視頻圖像數(shù)據(jù)集USD作為訓(xùn)練數(shù)據(jù)集,按照8∶1∶1的比例隨機(jī)選取了其中24 000張圖片作為訓(xùn)練集,3 000張圖片作為驗(yàn)證集,3 000張圖片作為測(cè)試集。訓(xùn)練開(kāi)始時(shí),使用多尺度縮放將原始1 280×720大小的圖像縮小到640×640大小的圖像并作為輸入,訓(xùn)練過(guò)程中采用了隨機(jī)梯度下降法(stochastic gradient descent,SGD)。經(jīng)過(guò)實(shí)驗(yàn),當(dāng)Batch size設(shè)置為8,初始學(xué)習(xí)率設(shè)置為0.01,余弦衰減權(quán)重系數(shù)設(shè)置為0.000 5時(shí),得到的模型為最優(yōu)。本文共訓(xùn)練了300個(gè)epoch,其中每10個(gè)epoch進(jìn)行一次驗(yàn)證,訓(xùn)練總耗時(shí)52 h 34 min,最終模型大小為70.24 MB。

本文使用準(zhǔn)確率P(precision)、召回率R(recall)、類(lèi)別精度A(average precision)作為檢測(cè)算法有效性的評(píng)價(jià)指標(biāo),為了更進(jìn)一步的評(píng)價(jià)本文算法的適用性,另加入每秒檢測(cè)幀數(shù)FFPS(frames per second)作為參考對(duì)比。

3.2 對(duì)比實(shí)驗(yàn)及分析

本文選用USD煙霧數(shù)據(jù)集中的24 000張和3 000張分別用作本文算法的訓(xùn)練集和測(cè)試集A。為了驗(yàn)證本文算法的泛化性,利用網(wǎng)絡(luò)收集的方法額外建立了1個(gè)普通視角下的測(cè)試集B,并用現(xiàn)有的2個(gè)公開(kāi)數(shù)據(jù)集制作了測(cè)試集C和測(cè)試集D。測(cè)試集B包含3 864張普通視角下的煙霧圖像,測(cè)試集C包含袁非牛團(tuán)隊(duì)公開(kāi)的VSD[20]煙霧數(shù)據(jù)集中的2 000張普通煙霧圖像,測(cè)試集D包含從CVPR實(shí)驗(yàn)室聯(lián)合NIST火災(zāi)研究實(shí)驗(yàn)室火災(zāi)研究部以及Bilkent信號(hào)處理小組公開(kāi)的KMU[21]煙霧數(shù)據(jù)集中提取的1 000張煙霧圖像。

本文將所提算法在自建煙霧數(shù)據(jù)集以及2個(gè)經(jīng)典煙霧數(shù)據(jù)集上進(jìn)行測(cè)試,為了驗(yàn)證本文自建煙霧數(shù)據(jù)集的有效性和本文所提算法在多類(lèi)場(chǎng)景下無(wú)人機(jī)視頻煙霧檢測(cè)的優(yōu)勢(shì),本文選用YOLOv4[15]、YOLOv5-s[16]、SparseR-CNN[17]3種經(jīng)典的目標(biāo)檢測(cè)算法作對(duì)照實(shí)驗(yàn),另選用最新的煙霧檢測(cè)模型DeepSmoke[7]進(jìn)行對(duì)比實(shí)驗(yàn)。為了保證實(shí)驗(yàn)環(huán)境的一致性,所有算法均在相同的實(shí)驗(yàn)環(huán)境下運(yùn)行實(shí)現(xiàn),實(shí)驗(yàn)結(jié)果見(jiàn)表2。

由表2可以看出,在VSD[20]和KMU[21]等公開(kāi)數(shù)據(jù)集上,場(chǎng)景種類(lèi)少,圖像復(fù)雜度不高,本文算法取得了96%以上的準(zhǔn)確率,相比于YOLOv4、YOLOV5-s和DeepSmoke算法,本文算法在準(zhǔn)確率、召回率和類(lèi)別精度都有很大的領(lǐng)先。在自建的USD煙霧數(shù)據(jù)集中,由于該數(shù)據(jù)集包含的無(wú)人機(jī)視角煙霧場(chǎng)景多,煙霧特征更加復(fù)雜,導(dǎo)致所有算法均出現(xiàn)了準(zhǔn)確率降低的現(xiàn)象,但本文所提算法對(duì)比于原算法YOLOx-s仍然提升了2.7%的準(zhǔn)確率和2.5%的精度,并且FFPS達(dá)到了73.6,表明本文算法在面對(duì)多類(lèi)場(chǎng)景下的無(wú)人機(jī)航拍煙霧檢測(cè)時(shí),比原算法YOLOx-s和其他現(xiàn)有算法更有優(yōu)勢(shì)。本文算法的檢測(cè)準(zhǔn)確率略低于SparseR-CNN算法,但SparseR-CNN算法的FFPS只有6.2幀/s,明顯達(dá)不到實(shí)時(shí)檢測(cè)的要求。另外,本文展示了本文算法在USD煙霧數(shù)據(jù)集、測(cè)試集B、測(cè)試集C和測(cè)試集D上的部分可視化結(jié)果,見(jiàn)圖4和圖5。

圖4 本文算法在USD數(shù)據(jù)集上的部分檢測(cè)結(jié)果

圖5 本文算法在不同測(cè)試集上的部分檢測(cè)結(jié)果

由圖4的可視化檢測(cè)結(jié)果可以看出,本文算法在面對(duì)不同場(chǎng)景下的無(wú)人機(jī)煙霧檢測(cè)任務(wù)時(shí),都能以最大框準(zhǔn)確地標(biāo)示出圖像中煙霧區(qū)域外沿,證明了本文算法的有效性。從圖5的可視化檢測(cè)結(jié)果可以看出,在測(cè)試集B中,煙霧像素占據(jù)整幅圖像近一半的像素,導(dǎo)致煙霧特征過(guò)于明顯;在測(cè)試集C中,圖像主要由像素大小為100×100的煙霧塊組成,沒(méi)有復(fù)雜的場(chǎng)景信息干擾;在測(cè)試集D中,該測(cè)試集中出現(xiàn)了霧天、淡煙和大量的天空區(qū)域,煙霧特征不明顯,導(dǎo)致算法出現(xiàn)了漏檢和誤檢現(xiàn)象,本文列出了不同算法在測(cè)試集D中(a)、(b)兩組場(chǎng)景中漏檢和誤檢的可視化結(jié)果,見(jiàn)圖6。

圖6 不同算法在測(cè)試集D上的漏檢和誤檢結(jié)果

由圖6可以看出,在圖6(a)和圖6(b)兩組場(chǎng)景的可視化結(jié)果中,不同算法都出現(xiàn)了漏檢和誤檢現(xiàn)象(圖中煙霧區(qū)域由紅框標(biāo)出)。在圖6(a)場(chǎng)景中,出現(xiàn)了有霧天氣,煙霧所占像素小且出現(xiàn)了顏色失真,導(dǎo)致所有算法都出現(xiàn)了漏檢現(xiàn)象;在圖6(b)場(chǎng)景中,出現(xiàn)了大量含云的天空區(qū)域,導(dǎo)致SparseR-CNN算法出現(xiàn)了誤檢現(xiàn)象,YOLOv5-s算法和YOLOx-s算法都出現(xiàn)了漏檢現(xiàn)象,本文算法雖然準(zhǔn)確地檢測(cè)出了煙霧區(qū)域,但同樣也誤檢了天空中含云的區(qū)域,這是因?yàn)楸疚乃糜?xùn)練集USD中的圖像主要為無(wú)人機(jī)對(duì)地視角,包含多云的場(chǎng)景較少,導(dǎo)致算法模型對(duì)假煙物體敏感,出現(xiàn)誤檢現(xiàn)象。

為了評(píng)價(jià)本算法和其他算法對(duì)不同場(chǎng)景無(wú)人機(jī)煙霧視頻的檢測(cè)效果,選取USD數(shù)據(jù)集中5個(gè)不同場(chǎng)景的無(wú)人機(jī)煙霧視頻,每個(gè)場(chǎng)景包含2 000幀的連續(xù)視頻圖像,對(duì)共計(jì)10 000幀的煙霧和非煙霧視頻進(jìn)行測(cè)試,測(cè)試結(jié)果見(jiàn)表3。可以看出,本文算法檢測(cè)準(zhǔn)確率對(duì)比YOLOx-s算法在不同場(chǎng)景下都取得了提升。對(duì)比DeepSmoke算法、YOLOv5-s算法和YOLOv4s算法,本文算法在5個(gè)不同場(chǎng)景下都取得了最高的檢測(cè)準(zhǔn)確率,且平均準(zhǔn)確率達(dá)到了92.3%以上。

表3 不同視頻下的檢測(cè)準(zhǔn)確率對(duì)比

3.3 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)的對(duì)象主要包括SCA注意力模塊、雙向特征融合模塊和Focal-EIOU損失函數(shù),實(shí)驗(yàn)結(jié)果見(jiàn)表4。本文算法所提出的改進(jìn)對(duì)檢測(cè)準(zhǔn)確率都有所提升,其中對(duì)算法檢測(cè)準(zhǔn)確度提升最大的是SCA模塊,檢測(cè)精度提升了1.9%,證明改進(jìn)的注意力機(jī)制有效的增強(qiáng)了算法對(duì)煙霧特征的提取能力。單一的雙向特征融合模塊同樣使算法檢測(cè)準(zhǔn)確度提升1.6%,證明改進(jìn)的雙向特征融合模塊能有效地增強(qiáng)FPN結(jié)構(gòu)對(duì)小目標(biāo)煙霧特征的融合能力。引進(jìn)的Focal-EIOU損失函數(shù)也對(duì)算法檢測(cè)準(zhǔn)確度有所提升,證明該損失函數(shù)解決了網(wǎng)絡(luò)訓(xùn)練過(guò)程中正負(fù)樣本不平衡的問(wèn)題和預(yù)測(cè)框與真實(shí)框不相交時(shí)無(wú)法反映兩個(gè)框的距離遠(yuǎn)近以及重合度大小的問(wèn)題。

表4 消融實(shí)驗(yàn)

4 結(jié) 論

針對(duì)現(xiàn)有煙霧檢測(cè)算法在多類(lèi)場(chǎng)景下無(wú)人機(jī)航拍視角中表現(xiàn)不佳的問(wèn)題,本文自建了一個(gè)包含多類(lèi)場(chǎng)景的無(wú)人機(jī)航拍視頻煙霧數(shù)據(jù)集USD,并提出了一種改進(jìn)YOLOx的無(wú)人機(jī)視頻煙霧檢測(cè)算法,得出結(jié)論如下:

1)對(duì)現(xiàn)有的煙霧數(shù)據(jù)集進(jìn)行分析,建立一個(gè)多類(lèi)場(chǎng)景下的無(wú)人機(jī)航拍視頻煙霧數(shù)據(jù)集USD,該數(shù)據(jù)集包含了從81個(gè)無(wú)人機(jī)煙霧視頻中提取出的30 000張無(wú)人機(jī)煙霧圖像,總共包含了19類(lèi)場(chǎng)景,在場(chǎng)景類(lèi)別、圖像質(zhì)量和圖像數(shù)量上遠(yuǎn)優(yōu)于其他現(xiàn)有的煙霧數(shù)據(jù)集。

2)對(duì)現(xiàn)有煙霧檢測(cè)算法在應(yīng)用到無(wú)人機(jī)視角的多類(lèi)場(chǎng)景時(shí)出現(xiàn)的檢測(cè)率低、速度慢等問(wèn)題進(jìn)行了分析,針對(duì)火災(zāi)初期煙霧多為小目標(biāo)的問(wèn)題,提出改進(jìn)的雙向特征融合模塊和注意力機(jī)制模塊。對(duì)網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)的正負(fù)樣本不平衡問(wèn)題進(jìn)行分析,并對(duì)預(yù)測(cè)框和真實(shí)框不相交時(shí)無(wú)法反映兩個(gè)框的距離遠(yuǎn)近以及重合度大小的問(wèn)題進(jìn)行了研究,引入了Focal-EIOU損失函數(shù)。

3)在自建數(shù)據(jù)集USD以及國(guó)內(nèi)外常用煙霧數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)分析,并與現(xiàn)有算法對(duì)比,證明了本文各個(gè)模塊能有效解決多類(lèi)場(chǎng)景下無(wú)人機(jī)航拍煙霧檢測(cè)領(lǐng)域中的常見(jiàn)問(wèn)題,有效提升了本文算法的檢測(cè)性能。

4)本文算法在面對(duì)多霧、多云和光照不良等極端場(chǎng)景時(shí)會(huì)出現(xiàn)檢測(cè)準(zhǔn)確率下降的情況,這是由于訓(xùn)練數(shù)據(jù)集中缺少極端場(chǎng)景下的煙霧圖像,導(dǎo)致算法出現(xiàn)漏檢和誤檢,下一步我們將從兩個(gè)方面繼續(xù)深化完善本文算法:1)擴(kuò)充數(shù)據(jù)集,加入更多極端場(chǎng)景下的煙霧圖像,提升算法在更復(fù)雜的場(chǎng)景中的準(zhǔn)確率;2)研究算法的時(shí)間復(fù)雜度和空間復(fù)雜度,在不降低準(zhǔn)確率的條件下,利用更加輕量化的網(wǎng)絡(luò)構(gòu)架,提升算法的實(shí)用性和適用性。