基于FFA-Net與YOLOv5的霧天行車障礙檢測(cè)技術(shù)研究

趙世吉 張金釗 林立飛 燕偉杰

（山東科技大學(xué)交通學(xué)院,山東 青島 266590）

為了提高霧天天氣下行車安全感知的識(shí)別精度，保障無人駕駛的安全性。國內(nèi)外在圖像去霧算法、目標(biāo)檢測(cè)算法等方面進(jìn)行了相關(guān)研究。

He等（2011）提出了一種利用暗通道先驗(yàn)知識(shí)進(jìn)行去霧的方法，但該方法容易過度去霧，去霧后會(huì)造成大量信息丟失[1]；基于Retinex理論，Jobson等（1997）提出了一種多尺度去霧算法，可以將失真圖像的色彩恢復(fù)，但復(fù)雜度較高[2]；Li等（2017）提出了AOD-Net算法，使用卷積神經(jīng)網(wǎng)絡(luò)聯(lián)合估計(jì)全局大氣光值和透射率來恢復(fù)無霧圖像，使重建誤差進(jìn)一步縮小[3]。綜上所述，大多數(shù)圖像去霧算法在去霧時(shí)，去霧網(wǎng)絡(luò)平等地處理圖像像素和通道特征，不能區(qū)別處理霧濃度不同和通道加權(quán)的圖像，所以本文選用FFA-Net（Feature Fusion Attention Network）算法[4]，它可以具體對(duì)待不同的特征和像素，并基于注意力融合不同層次的特征，從而直接恢復(fù)無霧圖像。

在目標(biāo)檢測(cè)方面，Girshick等（2015）提出了Fast-RCNN算法，大大地提高了訓(xùn)練和檢測(cè)的速度，但存在候選區(qū)域建議速度較慢的問題[5]；隨后，Ren等（2017）提出了Faster-RCNN算法，具有較高的檢測(cè)精度，但容易漏檢小目標(biāo)物體[6]；2020年，Wu等提出YOLOv4算法，提出了CSPDarknet53特征提取結(jié)構(gòu)，大大提高了檢測(cè)精度和速度[7]。隨后，在YOLOv4的基礎(chǔ)上人們又提出了YOLOv5，在保證檢測(cè)效率的同時(shí)進(jìn)一步提升了檢測(cè)精度。因此，本文選用YOLOv5網(wǎng)絡(luò)模型作為行車障礙檢測(cè)的基本模型，將YOLOv5與FFA-Net去霧算法相結(jié)合來對(duì)霧天障礙物進(jìn)行檢測(cè)。

1 FFA-Net去霧算法

如圖1所示，F(xiàn)FA-Net由3個(gè)群結(jié)構(gòu)（G-X）、通道注意力機(jī)制（CA）、像素注意力機(jī)制（PA）、卷積塊四部分構(gòu)成，每個(gè)群結(jié)構(gòu)由19個(gè)基本塊結(jié)構(gòu)組成，每個(gè)基本塊又包含卷積層、激活函數(shù)ReLU層、通道注意力機(jī)制（CA）和像素注意力機(jī)制（PA）四部分。

圖1 FFA-Net網(wǎng)絡(luò)結(jié)構(gòu)

FFA-Net的去霧過程就是給定一幅霧天圖像，然后經(jīng)過一個(gè)卷積層進(jìn)行淺層特征提取，接著被輸入到3個(gè)具有多跳連接的群結(jié)構(gòu)中，之后通過特征注意模塊（CA和PA）融合3個(gè)群結(jié)構(gòu)輸出的特征。最后，融合后的特征會(huì)被傳遞到重構(gòu)部分和全局殘差學(xué)習(xí)結(jié)構(gòu)，從而實(shí)現(xiàn)去霧。

2 霧天行車障礙檢測(cè)模型

本文選用YOLOv5s網(wǎng)絡(luò)作為行車障礙檢測(cè)的基本框架，其模型架構(gòu)如圖2所示，整體結(jié)構(gòu)主要包括Backbone、Neck和Head三部分。首先，Backbone是整個(gè)YOLOv5框架結(jié)構(gòu)的主體，主要包括Focus、Conv、C3、SPP等基本模塊。Focus模塊可以對(duì)輸入的圖像進(jìn)行切片。Conv模塊是YOLOv5基本的卷積操作單元，負(fù)責(zé)對(duì)輸入的圖像進(jìn)行卷積、正則化、激活等一系列操作。C3模塊由一種經(jīng)典的殘差結(jié)構(gòu)Bottleneck組成，輸入數(shù)據(jù)經(jīng)過兩個(gè)卷積層提取特征后，再與原始特征進(jìn)行Add操作，在維持原有輸出深度的基礎(chǔ)上，對(duì)殘差特征進(jìn)行傳遞。SPP模塊負(fù)責(zé)對(duì)特征圖進(jìn)行最大池化操作，特征圖利用Concat進(jìn)行特征拼接，保持輸出深度與原始輸入深度相同。

圖2 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

如圖3所示，霧天行車障礙檢測(cè)模型主要包括FFANet去霧和YOLOv5模型訓(xùn)練兩部分，本文首先利用已有訓(xùn)練權(quán)重直接使用FFA-Net進(jìn)行去霧，去霧后輸入到利用KITTI圖像數(shù)據(jù)訓(xùn)練好的YOLOv5模型進(jìn)行檢測(cè)。本文設(shè)置了基于YOLOv5s檢測(cè)框架分別檢測(cè)FFA-Net去霧后的圖像和帶霧交通圖像來進(jìn)來行橫向?qū)Ρ葘?shí)驗(yàn)，從而驗(yàn)證本文霧天行車障礙檢測(cè)方法的有效性。

圖3 霧天行車障礙檢測(cè)模型構(gòu)建

3 實(shí)驗(yàn)與結(jié)果分析

3.1 構(gòu)建數(shù)據(jù)集

霧天行車障礙檢測(cè)實(shí)驗(yàn)檢測(cè)的障礙物主要有“Car”“Pedestrian”和“Cyclist”三個(gè)類別，實(shí)驗(yàn)的訓(xùn)練集選用KITTI [31]圖像數(shù)據(jù)集進(jìn)行模型訓(xùn)練，其中包括5 985張晴天交通圖片用于訓(xùn)練，749張晴天交通圖片用于驗(yàn)證。實(shí)驗(yàn)中霧天測(cè)試集由749張無霧圖像基于Koschmieder定律依據(jù)大氣散射模型添加不同程度的人工噪聲所獲得。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)利用GPU進(jìn)行訓(xùn)練，顯卡為NVDIA RTX 2060s，顯存8 G，訓(xùn)練中batch size設(shè)置為16，共300個(gè)epoch，初始學(xué)習(xí)率為0.01，最終學(xué)習(xí)率為1，訓(xùn)練圖像尺寸為[640,640]。基于上述方案，通過PyTorch完成對(duì)網(wǎng)絡(luò)的搭建。

3.3 結(jié)果分析

3.3.1 損失函數(shù)收斂性分析

如圖4所示，從損失函數(shù)的收斂特性可以看到，隨著epoch的增加，網(wǎng)絡(luò)中的各項(xiàng)損失在訓(xùn)練過程及交叉驗(yàn)證集中基本實(shí)現(xiàn)了收斂，可以證明研究中的YOLOv5訓(xùn)練模型是有效的。

圖4 損失函數(shù)收斂性

3.3.2 檢測(cè)結(jié)果分析

為了證實(shí)FFA-Net去霧算法與YOLOv5結(jié)合檢測(cè)方法的有效性，分別采用YOLOv5常規(guī)訓(xùn)練、FFA-Net+YOLOv5常規(guī)訓(xùn)練兩種方法對(duì)霧天障礙物進(jìn)行檢測(cè)，對(duì)兩種方法用于行車障礙物檢測(cè)與分類性能進(jìn)行對(duì)比，結(jié)果如表1所示。

對(duì)于霧天障礙物的檢測(cè)任務(wù)，由表1可知，使用YOLOv5常規(guī)訓(xùn)練模型直接檢測(cè)霧天圖片，Precision值、Recall值和mAP值均較低，分別為62.5%、48.3%、47.4%，由此可見，霧天天氣因素會(huì)直接影響行車障礙物的檢測(cè)精度。與YOLOv5常規(guī)訓(xùn)練模型相比，利用FFA-Net+YOLOv5常規(guī)訓(xùn)練模型對(duì)目標(biāo)檢測(cè)性能有了較大的提升，Precision值提升了30.2%，Recall值提升了34.4%，mAP值提升了41.8%。綜上所述，F(xiàn)FA-Net+YOLOv5常規(guī)訓(xùn)練模型在霧天行車障礙檢測(cè)實(shí)驗(yàn)中具有較好的魯棒性。

表1 兩種檢測(cè)方法在霧天圖像測(cè)試集中障礙物檢測(cè)性能對(duì)比

分別采用兩種檢測(cè)方法對(duì)霧天圖像測(cè)試集進(jìn)行檢測(cè)，部分結(jié)果可視化如圖5所示。直接使用YOLOv5常規(guī)訓(xùn)練模型進(jìn)行檢測(cè)，檢測(cè)精度較低，大部分障礙物不能被識(shí)別出。相反，使用FFA-Net對(duì)大霧圖像進(jìn)行去霧后，再通過YOLOv5常規(guī)訓(xùn)練模型進(jìn)行檢測(cè)，行車障礙檢測(cè)精度有了較大的提升。

圖5 檢測(cè)結(jié)果可視化

4 結(jié)論

本文將FFA-Net去霧算法和YOLOv5目標(biāo)檢測(cè)算法進(jìn)行結(jié)合，針對(duì)霧天天氣下交通場(chǎng)景中的車輛、行人和非機(jī)動(dòng)車等障礙物進(jìn)行檢測(cè)。與直接使用YOLOv5算法進(jìn)行檢測(cè)相比，該方法在霧天行車障礙檢測(cè)中，Precision提高了30.2%，Recall值提升了34.4%，mAP值提高了41.8%。FFA-Net的特征注意機(jī)制，使得圖像中的霧濃度分布不均時(shí)，仍然能很好地對(duì)車輛和行人進(jìn)行檢測(cè)，具有較好的魯棒性。由于本文的行車障礙檢測(cè)方法包括去霧和障礙檢測(cè)兩部分，所以在實(shí)時(shí)性上仍需提高，在后續(xù)的研究中會(huì)對(duì)FFA-Net進(jìn)行改進(jìn)以縮短單幅圖像去霧時(shí)間，從而提升霧天障礙物檢測(cè)的實(shí)時(shí)性，進(jìn)一步提高無人駕駛環(huán)境下的感知性能。