復(fù)雜環(huán)境下的紅外路況檢測(cè)識(shí)別研究

袁子玄，廖義奎

（廣西民族大學(xué)電子信息學(xué)院，南寧 530006）

0 引言

隨著科學(xué)技術(shù)的發(fā)展，目標(biāo)檢測(cè)在人類社會(huì)［1-2］發(fā)揮著越來越重要的作用，是研究的重點(diǎn)也是難點(diǎn)。其中，關(guān)于紅外圖像的檢測(cè)便是其重要研究方向，它在交通、安防監(jiān)控、人員搜索以及農(nóng)作物病蟲識(shí)別檢測(cè)［3-5］方面，都有著重要的作用和巨大的潛力。許多國(guó)內(nèi)外的學(xué)者以及科學(xué)家也在這方面展開了非常深入的研究［6-10］。當(dāng)前，針對(duì)紅外圖像的檢測(cè)算法，主要有以下兩類：傳統(tǒng)算法和深度學(xué)習(xí)算法。

劉興淼等［11］提出了一種時(shí)域與空域結(jié)合的小目標(biāo)檢測(cè)算法，利用圖像背景變化較慢的特點(diǎn)，運(yùn)用相鄰幀相減，減少背景和噪聲的干擾，提高目標(biāo)信噪比。潘勝達(dá)等［12］提出一種基于雙層局部對(duì)比度的紅外弱小目標(biāo)檢測(cè)方法。張祥越等［13］提出了一種改進(jìn)的LCM紅外小目標(biāo)檢測(cè)算法，既增強(qiáng)了目標(biāo)區(qū)對(duì)比度，又有效抑制了背景雜波，從而提高了小目標(biāo)的檢測(cè)精度。Du等［14］提出了一種基于時(shí)空特征的檢測(cè)框架，分析了紅外目標(biāo)的小樣本、敏感尺寸，以及通常的樣本選擇策略等幾個(gè)影響小目標(biāo)檢測(cè)的因素，提出了小交并（IOU）策略和基于幀間能量累積（IFEA）增強(qiáng)機(jī)制的端到端時(shí)空特征提取與目標(biāo)檢測(cè)框架。然而，針對(duì)上述的傳統(tǒng)算法，在一些簡(jiǎn)單背景下檢測(cè)時(shí)效果較好，但在復(fù)雜背景下時(shí)，檢測(cè)效果往往難以達(dá)到實(shí)際需求。而基于深度學(xué)習(xí)的算法，相比傳統(tǒng)算法而言，有著更佳的特征提取能力，能夠提高目標(biāo)檢測(cè)性能，得到更好的檢測(cè)精度。

針對(duì)紅外圖像檢測(cè)的主流深度學(xué)習(xí)檢測(cè)算法有以下幾類：第一類是單階段目標(biāo)檢測(cè)算法，主要包括SSD［15］和YOLO［16-18］系列等；第二類是雙階段目標(biāo)檢測(cè)算法，主要包括Fast R-CNN［19］、Faster R-CNN［20］等。前者不需要生成候選區(qū)域，直接將目標(biāo)定位問題轉(zhuǎn)換為回歸問題，生成檢測(cè)目標(biāo)的預(yù)測(cè)分類概率以及預(yù)測(cè)坐標(biāo)值，一次檢測(cè)就可以得到結(jié)果。后者需要產(chǎn)生候選區(qū)域預(yù)測(cè)和鑒別兩部分，計(jì)算量大。前者相對(duì)于后者而言，有著更快的檢測(cè)速度。

隨著YOLO系列算法的不斷改進(jìn)，出現(xiàn)了許多更加有效的目標(biāo)檢測(cè)算法。如，張鵬輝等［21］提出了一種基于YOLOv4-Tiny改進(jìn)的紅外目標(biāo)檢測(cè)模型，完成了對(duì)紅外目標(biāo)圖像的特征提取與檢測(cè)。李北明等［22］提出了關(guān)于YOLOv5的紅外目標(biāo)檢測(cè)算法，降低了模型參數(shù)量，提升了模型準(zhǔn)確率。張明路等［23］在網(wǎng)絡(luò)中增加了注意力機(jī)制，提高了網(wǎng)絡(luò)模型的精度。楊子軒等［24］提出了一種引入注意力機(jī)制的紅外目標(biāo)檢測(cè)方法，通過在不同的骨干網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，提升了模型的mA P，但增加了一定的參數(shù)量。

以上檢測(cè)算法，在精度、速度上相比于傳統(tǒng)算法而言，雖具有一定的優(yōu)勢(shì)，但還是不太理想，還有進(jìn)一步的提升空間。針對(duì)以上問題，本文基于YOLOv5目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)，最終在紅外圖像目標(biāo)檢測(cè)與識(shí)別的精度以及模型計(jì)算量方面都有所改進(jìn)。

1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5結(jié)構(gòu)與YOLOv4相似，但也有許多差別。它有四個(gè)版本，YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，這四個(gè)版本在網(wǎng)絡(luò)結(jié)構(gòu)上是相同的，不同點(diǎn)在于模型的權(quán)重、寬度和深度。本文采用的版本是YOLOv5s檢測(cè)模型。YOLOv5的整體結(jié)構(gòu)如圖1所示，主要有以下四個(gè)部分組成。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 輸入端

YOLOv5的輸入端，統(tǒng)一將圖片縮放到640×640的尺寸，一次性讀取4張圖片，分別對(duì)4張圖片按照一定的比例進(jìn)行縮放、裁剪、排布的操作后再進(jìn)行組合，既擴(kuò)充了數(shù)據(jù)集，又提升了模型的檢測(cè)能力。

1.2 主干部分(Backbone)

YOLOv5s的Backbone主要由Focus結(jié)構(gòu)、C3、SPP（空間金字塔結(jié)構(gòu)）組成。Focus結(jié)構(gòu)主要對(duì)特征圖進(jìn)行切片操作，把圖片的高度和寬度的特征信息整合到通道，再經(jīng)過一系列的卷積、歸一化、激活函數(shù)，進(jìn)而提高檢測(cè)速度、降低FLOPS（每秒浮點(diǎn)運(yùn)算次數(shù)）。Focus結(jié)構(gòu)如圖2所示。C3、SPP的結(jié)構(gòu)如圖3所示。

圖2 Focus結(jié)構(gòu)

圖3 C3和SPP結(jié)構(gòu)

1.3 Neck模塊

Neck模塊部分主要指的是特征金字塔結(jié)構(gòu)（FPN）和路徑聚合網(wǎng)絡(luò)結(jié)構(gòu)（PAN）。此結(jié)構(gòu)可以加強(qiáng)網(wǎng)絡(luò)模型對(duì)不同縮放尺度對(duì)象的特征融合能力。YOLOv5中的Neck部分是在FPN的基礎(chǔ)上借鑒了PANet的思想，經(jīng)過由上而下傳達(dá)強(qiáng)語義信息，再由下而上傳達(dá)強(qiáng)空間信息，最后進(jìn)行參數(shù)聚合傳送到輸出網(wǎng)絡(luò)中，以此來提高模型魯棒性。

1.4 輸出端

YOLOv5輸出端使用CIOU Loss來計(jì)算損失函數(shù)的均值，值越小，預(yù)測(cè)的目標(biāo)框就越準(zhǔn)確。損失函數(shù)計(jì)算公式如式（1）所示。

式中：v為真實(shí)邊框與預(yù)測(cè)框的寬高比損失，α為寬高比損失函數(shù)系數(shù)。wp、hp和wgt、hgt分別代表預(yù)測(cè)框和真實(shí)框的寬高，為中心點(diǎn)距離占比懲罰項(xiàng)，其中懲罰項(xiàng)分子是預(yù)測(cè)邊框中心點(diǎn)與真實(shí)邊框中心點(diǎn)的距離，分母是預(yù)測(cè)邊框與真實(shí)邊框的最小包圍框?qū)蔷€長(zhǎng)，如圖4中的d和c部分。

圖4 中心點(diǎn)距離占比懲罰項(xiàng)

2 模型的優(yōu)化與改進(jìn)

2.1 主干網(wǎng)絡(luò)的改進(jìn)

注意力機(jī)制是通過對(duì)feature map賦予不同的權(quán)重信息，從而獲得研究目標(biāo)中更多需要關(guān)注的細(xì)節(jié)信息，達(dá)到約束無用信息的效果。

為了突出目標(biāo)的特征，提高目標(biāo)檢測(cè)識(shí)別的能力。本文在主干網(wǎng)絡(luò)（backbone）CSPDark-Net53部分添加注意力機(jī)制（convolutional block attention module，CBAM）模塊，CBAM［25］機(jī)制是一種即插即用的模塊，該模塊主要在通道和空間上提取注意力信息。在原始YOLOv5網(wǎng)絡(luò)的Backbone部分的第8層與第9層之間添加CBAM模塊，通過添加該注意力機(jī)制幫助網(wǎng)絡(luò)在眾多信息中選擇對(duì)當(dāng)前檢測(cè)目標(biāo)更為關(guān)鍵的特征信息，抑制背景等無關(guān)信息。改進(jìn)后的主干網(wǎng)絡(luò)部分的結(jié)構(gòu)如表1所示。

表1 改進(jìn)的主干網(wǎng)絡(luò)結(jié)構(gòu)

圖5展示的是CBAM模塊結(jié)構(gòu)，式（4）、式（5）為該注意力機(jī)制的公式。

如圖5所示，CBAM注意力機(jī)制由通道注意力模塊和空間注意力模塊構(gòu)成。在通道注意力模塊首先通過平均池化層和最大池化層進(jìn)行特征圖空間信息匯總，式中的描述符為Fcavg、Fcmax，得到一個(gè)1*1大小，通道數(shù)為c的特征圖，再送入一個(gè)兩層的共享神經(jīng)網(wǎng)絡(luò)層（MLP）。而后，將MLP輸出的特征進(jìn)行疊加操作，再經(jīng)過激活函數(shù)，最終生成輸出的特征圖。空間注意力模塊首先是基于channel上做最大池化和平均池化操作，得到通道數(shù)為1的兩個(gè)特征圖，然后將這兩個(gè)特征圖在空間上進(jìn)行拼接，再進(jìn)行降維，得到通道數(shù)為1的特征圖，最后再經(jīng)過激活函數(shù)，得到最終輸出的特征圖。

圖5 CBAM注意力模塊

符號(hào)Mc(F)∈R1*1*c，表示通道注意力模塊的輸出，Ms(F)∈Rw*h*l為空間注意力模塊的輸出，其中δ代表sigmoid函數(shù),M L P權(quán)重W0和W1對(duì)兩個(gè)輸入是共享的，ReLu激活函數(shù)后面是W0，F(xiàn)∈Rw*h*c，表示傳入網(wǎng)絡(luò)的特征圖，f7*7表示一個(gè)7*7大小的卷積核。

2.2 Bottleneck結(jié)構(gòu)改進(jìn)

YOLOv5s網(wǎng)絡(luò)的C3殘差組件結(jié)構(gòu)設(shè)計(jì)如圖6所示。首先分別通過一個(gè)Conv進(jìn)行卷積操作，其次再通過Bottleneck結(jié)構(gòu)進(jìn)行堆疊，最后再進(jìn)行融合。借鑒了ResNet［26］網(wǎng)絡(luò)，在不同的卷積層之間增加跨連接（shortcut）方式提高網(wǎng)絡(luò)性能。圖6的Residual結(jié)構(gòu)展示的就是殘差結(jié)構(gòu)。

圖6 C3模塊

為了解決梯度發(fā)散問題，文獻(xiàn)［27］提出了DensetNet網(wǎng)絡(luò)，圖7為DensetNet網(wǎng)絡(luò)結(jié)構(gòu)的示意圖。由圖7可知，DensetNet網(wǎng)絡(luò)中的每個(gè)層的輸入都會(huì)與前面層在空間維度上進(jìn)行拼接，再作為下一層的輸入，使得各卷積網(wǎng)絡(luò)的特征能夠進(jìn)行相互融合，有效實(shí)現(xiàn)特征重用，提高了模型的計(jì)算效率。提取到的網(wǎng)絡(luò)信息也會(huì)更加豐富。本文設(shè)計(jì)了一種借鑒DensetNet網(wǎng)絡(luò)的思想，在Bottleneck結(jié)構(gòu)的基礎(chǔ)上，設(shè)計(jì)了如圖8所示的Bottleneck1模塊結(jié)構(gòu)圖。

圖7 DensetNet模塊

圖8 新的Bottleneck模塊

新的組件中的配置不變，依舊先通過兩個(gè)1*1、3*3大小的卷積核，然后再進(jìn)行歸一化操作，最后通過SiLU激活函數(shù)層。不過在原始網(wǎng)絡(luò)的兩個(gè)Conv部分之間，把輸入部分跨連接到第一個(gè)Conv卷積之后，使得每個(gè)模塊間的緊密性更佳，讓模型能夠更快地收斂到最優(yōu)解。SiLU激活函數(shù)公式如式（6）。

2.3 優(yōu)化Backbone與Neck結(jié)構(gòu)

原始YOLOv5網(wǎng)絡(luò)Neck部分的Bottleneck結(jié)構(gòu)如圖9左側(cè)所示，沒有采用殘差結(jié)構(gòu)。本文研究在此處添加殘差結(jié)構(gòu)，如圖9右側(cè)所示，實(shí)驗(yàn)證明，相比于原始的YOLOv5網(wǎng)絡(luò)有著更高的準(zhǔn)確度。在骨干網(wǎng)絡(luò)（Backbone部分）中，修改了yaml文件C3部分的系數(shù)配置。原本4個(gè)C3部分的系數(shù)配置為3-9-9-3，本文將其修改為3-6-9-3。經(jīng)過實(shí)驗(yàn)驗(yàn)證，改過之后的網(wǎng)絡(luò)在訓(xùn)練的過程中，不僅降低了網(wǎng)絡(luò)復(fù)雜度、重復(fù)計(jì)算量，而且在mAP上也有著相應(yīng)的提升。

圖9 優(yōu)化的Neck部分

2.4 上采樣算法改進(jìn)

原始YOLOv5算法是采用最近鄰插值法進(jìn)行上采樣，運(yùn)算量小，但對(duì)圖片進(jìn)行縮放時(shí)會(huì)存在一定的失真。所以，本文采用雙線性插值法進(jìn)行上采樣，相比前者而言，后者基本上克服了最鄰近插值法灰度值不連續(xù)的缺點(diǎn)，效果更佳。

若特征圖尺寸為n×n，那么最鄰近插值法的時(shí)間復(fù)雜度為O(n2)，雙線性插值法時(shí)間復(fù)雜度就為O(n4)，后者的計(jì)算量更高。不過相比于精度上的提升，帶來的額外開銷是可以接受的。

3 模型訓(xùn)練結(jié)果分析

本文研究訓(xùn)練模型租用的是極鏈Al云平臺(tái)服務(wù)器。采用Pytorch深度學(xué)習(xí)框架，配置為Pytorch1.8.0、CUDA11.1.1，編程語言為Python3.8，操作系統(tǒng)為Window10 64位，CPU、GPU型號(hào)分別為Intel（R）Xeon（R）Gold，Ge-Force RTX 2080 Ti 1。

本實(shí)驗(yàn)lr0為0.01，momentum為0.937，lrf為0.1，BatchSize為32，采用SGD梯度下降算法進(jìn)行參數(shù)更新。

3.1 數(shù)據(jù)集及預(yù)處理

本文研究采用的是FLIR公司發(fā)布的紅外數(shù)據(jù)集［28］。該數(shù)據(jù)集是通過紅外攝像儀在街道和高速路上獲得的。包含的類別為人、汽車、自行車、狗和其它。由于此數(shù)據(jù)集下的狗以及其它的類別數(shù)量非常少，為了防止因數(shù)量類別相差過大所導(dǎo)致對(duì)算法評(píng)估產(chǎn)生的不利影響，本文去除狗和其它類別，只選擇了三類目標(biāo)作為本文的檢測(cè)目標(biāo)。人（People）、汽車（Car）、自行車（Bicycle）三類目標(biāo)所占圖像數(shù)量分布如圖10所示，按照8∶2的比例分為訓(xùn)練集和測(cè)試集。

圖10 數(shù)量分布圖

首先對(duì)數(shù)據(jù)集的標(biāo)簽進(jìn)行處理，將標(biāo)簽轉(zhuǎn)化為YOLO文本格式，生成含有id、x、y、w、h的.txt文件，再進(jìn)行歸一化處理。其中，id表示圖片序號(hào)，x、y分別表示目標(biāo)在圖片中的橫坐標(biāo)、縱坐標(biāo)，w、h表示目標(biāo)的寬度和高度。本研究首先使用傳統(tǒng)方法進(jìn)行數(shù)據(jù)增強(qiáng)，然后再進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)，擴(kuò)充了數(shù)據(jù)集，豐富了圖片背景。數(shù)據(jù)增強(qiáng)效果如圖11所示。序號(hào)0表示People，1表示Bicycle，2表示Car。由圖11可知，紅外圖像存在部分信息丟失、模糊，輪廓不明顯的情況。

圖11 數(shù)據(jù)增強(qiáng)效果圖

3.2 評(píng)價(jià)指標(biāo)

本文研究采用了A P、準(zhǔn)確率（Precision）、召回率（Recall）、mAP，計(jì)算量（GFLOPS）作為模型的評(píng)價(jià)指標(biāo)。其中，mA P@0.5代表I O U閾值為0.5時(shí)的平均AP，體現(xiàn)了模型識(shí)別能力。這五個(gè)指標(biāo)與模型的檢測(cè)是呈正相關(guān)的。

以下就是上述指標(biāo)的公式。

P為P-R曲線下方面積，T P表示的是真正例，為I O U大于閾值時(shí)的檢測(cè)框數(shù)目；FP表示的是假正例，為小于閾值的檢測(cè)數(shù)目；F N表示漏檢。

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證添加注意力機(jī)制，改進(jìn)Bottleneck模塊等策略對(duì)YOLOv5模型的檢測(cè)精度是否有提升效果，本文做了消融實(shí)驗(yàn)，實(shí)驗(yàn)訓(xùn)練的主要超參數(shù)如表2所示，迭代了120次。各改進(jìn)實(shí)驗(yàn)后所得效果如表3所示。

表2 主要參數(shù)

從表3中序號(hào)1與原始網(wǎng)絡(luò)YOLOv5對(duì)比可知，加了注意力機(jī)制（CBAM）的YOLOv5s，在Bicycle類別上的AP，相比沒有加注意力機(jī)制（CBAM）的原始網(wǎng)絡(luò)提升了2.2個(gè)百分點(diǎn)，精確度（Precision）提升了2.2個(gè)百分點(diǎn)，mAP提升0.3個(gè)百分點(diǎn)，表明改進(jìn)后的網(wǎng)絡(luò)能夠很好地關(guān)注通道和空間上的注意力信息，有效地提取特征信息；序號(hào)2改進(jìn)Bottleneck結(jié)構(gòu)，三個(gè)類別的AP都有著相應(yīng)的提升，mA P@0.5相比于原網(wǎng)絡(luò)，提升了1.3個(gè)百分點(diǎn)，證明改進(jìn)后的Bottleneck1結(jié)構(gòu)能夠有效實(shí)現(xiàn)特征重用，提高了模型的計(jì)算效率；序號(hào)3，優(yōu)化Neck結(jié)構(gòu)，修改Backbone結(jié)構(gòu)的參數(shù)配置，相比原網(wǎng)絡(luò)，計(jì)算量降低了0.5（GFLOPS），有效提升了模型的檢測(cè)效率；序號(hào)4，改進(jìn)上采樣函數(shù)，引進(jìn)雙線性插值法，mAP@0.5提升了2.2個(gè)百分點(diǎn)，表明改進(jìn)上采樣函數(shù)策略的有效性；序號(hào)5和6是以上實(shí)驗(yàn)的復(fù)合實(shí)驗(yàn)，序號(hào)7是4種改進(jìn)策略的綜合應(yīng)用。實(shí)驗(yàn)證明，多種策略的結(jié)合使用，一般優(yōu)于單一策略的實(shí)驗(yàn)效果。綜上所述，本文改進(jìn)后的模型，在檢測(cè)精度上相比原始網(wǎng)絡(luò)YOLOv5，有效提升了3個(gè)百分點(diǎn)，模型計(jì)算量降低了0.5（GFLOPS）。

表3 消融實(shí)驗(yàn)

圖12中的（a）、（b）表示改進(jìn)前后的val_loss變化，由圖12可以看出，在原始YLOLv5s網(wǎng)絡(luò)中，迭代50次后val_loss開始上升，出現(xiàn)了過擬合現(xiàn)象。改進(jìn)后的網(wǎng)絡(luò)，在迭代50次左右后，逐漸趨向于平穩(wěn)，優(yōu)化了這一現(xiàn)象。

圖12 改進(jìn)前后的val_loss變化

3.4 不同模型對(duì)比

為了驗(yàn)證所改進(jìn)算法的可行性，在此與SSD，F(xiàn)aster R-CNN，YOLOv3-tiny，YOLOv5smobileNetv3，YOLOv5s-ghost這幾類算法做對(duì)比實(shí)驗(yàn)。各類算法的實(shí)驗(yàn)結(jié)果如表4所示。從表4對(duì)比結(jié)果可知，相比于上述算法，改進(jìn)后的YOLOv5s無論是整體的mAP，還是各類別的A P，都占有明顯的優(yōu)勢(shì)。相比原始網(wǎng)絡(luò)（YOLOv5s），改進(jìn)后的YOLOv5s（our）網(wǎng)絡(luò)的mAP提升了3個(gè)百分點(diǎn)，其中，在bicycle這個(gè)單類別中，AP提升了7.7個(gè)百分點(diǎn)，Car和People分別提升了0.1個(gè)百分點(diǎn)和1.2個(gè)百分點(diǎn)。結(jié)合模型的精度來看，本文所改進(jìn)的YOLOv5s網(wǎng)絡(luò)與眾多模型相比，無論是在單類別的A P上，還是所有類別的mAP上，都表現(xiàn)得更為出色。本實(shí)驗(yàn)訓(xùn)練120次后的Pr eci sion和Recall結(jié)果如圖13所示，圖14為測(cè)試后的mA P效果圖，由圖14可知，在迭代50次時(shí)，mAP50，mA P50:95曲線趨向平穩(wěn)。

圖13 Precision和Recall結(jié)果圖

圖14 mA P@0.5和mAP@0.5:0.95結(jié)果

表4 不同模型對(duì)比結(jié)果

4 結(jié)語

針對(duì)紅外圖像存在識(shí)別精度低的缺點(diǎn)，本文研究提出了基于YOLOv5s改進(jìn)的目標(biāo)檢測(cè)算法。第一部分，基于YOLOv5s的主干部分，添加注意力機(jī)制（CBAM）。第二部分，改進(jìn)原始網(wǎng)絡(luò)的Bottleneck結(jié)構(gòu)。第三部分，優(yōu)化Backbone與Neck結(jié)構(gòu)。第四部分，改進(jìn)上采樣損失函數(shù)，最終的mAP達(dá)到了81.3%，相比原始網(wǎng)絡(luò)提升了3個(gè)百分點(diǎn)。其中，Bicycle類別的AP提升較為顯著，提升了7.7個(gè)百分點(diǎn)。

通過以上的改進(jìn)實(shí)驗(yàn)，提升了在復(fù)雜環(huán)境下的紅外路況檢測(cè)的識(shí)別精度，證明了本文設(shè)計(jì)方法的可行性。但紅外圖像檢測(cè)依舊還存在許多挑戰(zhàn)，例如紅外圖像的紋理背景不夠清晰、噪聲大等缺點(diǎn)。在后續(xù)的過程中，將會(huì)繼續(xù)進(jìn)行實(shí)驗(yàn)，進(jìn)一步提升網(wǎng)絡(luò)模型的穩(wěn)健性與準(zhǔn)確性。