基于改進YOLOv4的交通信號燈倒計時數(shù)字檢測與識別

周昆陽 鄭澤斌 向陽 趙夢婷 唐宇亮 邵葉秦

摘要：交通信號燈倒計時數(shù)字的快速檢測和準確識別可以提高駕駛的安全性，減少交通事故的發(fā)生。針對目標檢測算法在交通信號燈倒計時數(shù)字檢測與識別中準確率較低、漏檢率較高的問題，提出一種基于改進YOLOv4的交通信號燈倒計時數(shù)字檢測與識別算法。首先將YOLOv4的主干網(wǎng)絡CSPDarkNet53替換為CSPResNet50vd，并將CSPResNet50vd中stage4的3×3標準卷積替換為可變形卷積。實驗表明，改進的YOLOv4算法達到79.34%的mAP和9.59%的漏檢率。相較于YOLOv4，mAP提高2.58%，漏檢率降低1.84%，檢測速度提升了22.65%，有效地提高了識別準確率和檢測速度、降低了漏檢率。

關鍵詞：交通信號燈倒計時數(shù)字檢測與識別;YOLOv4;可變形卷積

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）04-0007-03

交通信號燈倒計時數(shù)字是車輛行駛過程中的重要信息，受環(huán)境等因素影響，目前的目標檢測模型對交通信號燈倒計時數(shù)字的識別準確率低、漏檢率高，存在巨大的安全隱患。因此，準確、高效的交通信號燈倒計時數(shù)字檢測與識別算法是輔助駕駛和自動駕駛的重要研究方向。

隨著神經(jīng)網(wǎng)絡的不斷發(fā)展，國內(nèi)外已經(jīng)開展了一系列基于神經(jīng)網(wǎng)絡的交通信號燈檢測和識別研究[1-2]。近年來基于YOLO（You only look once）模型的交通信號燈倒計時數(shù)字檢測與識別成為新的研究方向。目前，基于YOLO模型的交通信號燈倒計時數(shù)字檢測與識別的研究較少，并且目標檢測模型準確性較低、漏檢率較高。

本文提出了一種基于改進YOLOv4的交通信號燈倒計時數(shù)字檢測與識別算法。為了提升模型檢測準確率，本文以YOLOv4算法為基礎，將YOLOv4主干網(wǎng)絡CSPDarkNet53替換為CSPResNet50vd，并將CSPResNet50vd中stage4的3×3標準卷積替換為可變形卷積。本文算法能夠有效地檢測并識別出交通信號燈倒計時數(shù)字，具有較高的識別準確率。

1 YOLOv4介紹

YOLOv4[3]是Alexey Bochkovskiy等提出的目標檢測算法，YOLOv4在YOLOv3[4]的基礎上進行了特征提取網(wǎng)絡、激活函數(shù)、特征金字塔、網(wǎng)絡訓練等改進，保證準確率的同時降低了計算量。但傳統(tǒng)的YOLOv4對于倒計時這類小目標檢測效果較差。

2 基于改進YOLOv4的交通信號燈倒計時數(shù)字檢測與識別算法

2.1算法基本思路

為了實現(xiàn)交通信號燈倒計時數(shù)字檢測與識別，本文使用CSPResNet50vd替換YOLOv4主干網(wǎng)絡CSPDarkNet53，并將CSPResNet50vd中stage4的3×3標準卷積替換為可變形卷積。改進的YOLOv4算法能夠更加準確地檢測并識別出倒計時數(shù)字。算法流程圖如圖1所示。

DCN表示可變形卷積。3*Conv3×3表示3個3×3卷積，其中第一個3×3卷積stride=2，其余兩個3×3卷積步長=1。

2.2 特征提取網(wǎng)絡結構改進

為了提高YOLOv4對交通信號燈倒計時數(shù)字的檢測與識別能力，本文使用CSPResNet50vd作為YOLOv4的特征提取網(wǎng)絡。

2.2.1 CSPResNet50vd

本文選擇CSPResNet50vd作為特征提取網(wǎng)絡。ResNet50vd是指擁有50個卷積層的ResNet-D網(wǎng)絡，如表1所示。輸入圖像首先經(jīng)過3個3×3卷積和1個最大池化，圖片大小變?yōu)樵瓉淼腫14]，之后依次經(jīng)過stage1、stage2、stage3、stage4進一步地提取特征。每個stage都由1個block1和k個block2組成（其中stage1的k=2，stage2的k=3，stage3的k=5，stage4的k=2）。block1和block2如圖2所示。

為了進一步提高ResNet50vd對小物體檢測的準確率，本文在ResNet50vd網(wǎng)絡中嵌套CSPNet[5]結構，構建CSPResNet50vd網(wǎng)絡。本文特征提取網(wǎng)絡部分的CSPNet結構如圖3所示。

本文將CSPNet分別嵌套在stage1、stage2、stage3、stage4中，以有效地增強卷積神經(jīng)網(wǎng)絡的學習能力，提高模型的準確率。

2.2.2 可變形卷積

為了進一步提高特征提取網(wǎng)絡的目標檢測能力，本文將CSPResNet50vd網(wǎng)絡stage4中3×3的標準卷積替換成3×3的可變形卷積[6]（deformable convolution，DCN）。

可變形卷積和標準卷積相比增加了一個偏移量。如圖4所示[6]，其中（a）為標準卷積核，（b）、（c）、（d）為可變形卷積。

可變形卷積的偏移量通過一個平行的標準卷積核計算得到，如圖5所示。首先通過一個平行卷積核得到可變形卷積需要的偏移量，然后將偏移量作用在卷積核上。加上偏移量的學習，可變形卷積大小和位置可以根據(jù)當前圖像進行動態(tài)調(diào)整。本文中平行的標準卷積核大小與可變形卷積核大小相等。

2.3 去除重疊框

在進行預測時候，YOLOv4對于同一個物體可能會給出多個預測框。本文使用Matrix NMS[7]去除重復檢測框。這里Matrix NMS的IOU閾值設為0.45，評分的閾值為0.2。

2.4 損失函數(shù)

本文的損失函數(shù)由三種損失函數(shù)： 坐標偏差損失Losscoord（使用GIOU Loss）， 置信度損失Lossconf （使用二值交叉熵的Lossconf_obj和Lossconf_noobj）和Lossclass（采用二值交叉熵Loss）， 按照2：1：1比例加權得到。

3 實驗結果與分析

3.1 實驗數(shù)據(jù)與平臺

本文從網(wǎng)絡上獲取倒計時圖片共1125張，標注完成后，900張作為訓練集，225張作為測試集。數(shù)據(jù)集共有20類，包括紅燈和綠燈倒計時數(shù)字各10類。

模型運行在百度AI Studio平臺，CPU是Intel（R） Xeon（R） Gold 6271C CPU @ 2.60GHz，GPU為Tesla V100顯存16GB，內(nèi)存32GB。深度學習框架為PaddlePaddle 1.8.4。

3.2 實驗結果分析

為了比較不同模型的性能，本文采用平均精度均值（Mean Average Precision， mAP）、漏檢率（Missing detection rate， MDR）、單張圖片檢測時間（infer time）作為衡量指標。

3.2.1 CSPResNet50vd作用

本文直接將YOLOv4特征提取網(wǎng)絡CSPDarkNet53替換為CSPResNet50vd會導致模型mAP下降。由于CSPResNet50vd參數(shù)量比CSPDarkNet53少，本文使用可變形卷積（DCN）替換CSPResNet50vd中stage4中的3×3標準卷積，模型的mAP達到79.34%，超越YOLOv4基本相同，并且檢測速度比YOLOv4快7.75ms，實驗結果如表2所示。

為了體現(xiàn)可變形卷積的優(yōu)勢，本文將經(jīng)過標準卷積特征提取后的特征圖和經(jīng)過可變形卷積特征提取后的特征圖進行對比，如圖6所示。

從圖中可以看出，將標準卷積替換為可變形卷積，交通信號燈倒計時數(shù)字的特征更加明顯，可以有效地提高網(wǎng)絡對交通信號燈倒計時數(shù)字的檢測能力。

3.2.2與其他模型對比

為了衡量本文方法的性能，本文對比了最新的單階段目標檢測模型。文獻[8]中提出兩種交通信號燈倒計時數(shù)字識別方法。方法一將YOLOv3的特征提取網(wǎng)絡更換為MobileNet，雖然檢測速度上優(yōu)于本文的YOLOv4模型，但mAP比本文YOLOv4模型低24%;方法二文獻[8]對YOLOv3的特征提取網(wǎng)絡進行改進，將DarkNet53中殘差模塊連接的3×3卷積核、步長為2的卷積結構替換成下采樣塊。表3展示了本文方法和其他檢測模型的結果對比。從實驗結果可以得出，本文的模型在mAP和漏檢率上都優(yōu)于其他的檢測模型。

3.2.3檢測效果展示

圖7展示了本文方法和YOLOv4在不同場景下交通信號燈倒計時數(shù)字檢測效果。本文方法在實際檢測中得到準確的結果。

4 結束語

本文通過對YOLOv4的主干網(wǎng)絡進行改進，將YOLOv4主干網(wǎng)絡CSPDarkNet53網(wǎng)絡替換為CSPResNet50vd，并將CSPResNet50vd中stage4中的3×3標準卷積替換為可變形卷積。實驗結果表明，本文的方法可以有效地提高交通信號燈倒計時數(shù)字檢測的準確率和速度，相較于主流目標檢測算法有著更高的準確率和更低的漏檢率。

參考文獻：

[1] 張煥增，李茂強，劉英杰.基于視覺的軌道交通信號燈識別算法研究[J].電子制作，2020（18）：53-55.

[2] 劉影，姚振鑫.基于NVIDIA Jetson TX2的實時交通信號燈檢測算法[J].農(nóng)業(yè)裝備與車輛工程，2020，58（7）：49-53，65.

[3] BOCHKOVSKIY A， WANG Chien-yao， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection[EB/OL]. （2020-04-23）. https：//arxiv.org/abs/ 2004.10934.

[4] Redmon J，F(xiàn)arhadi A.YOLOv3：an incremental improvement[EB/OL].2018：arXiv：1804.02767[cs.CV].https：//arxiv.org/abs/1804.02767

[5] Wang CY， Liao HY，Yhe L， et al. CSPNet： A New Backbone that Can Enhance Learning Capability of CNN[C].Proceedings of the IEEE Conference on Computer Vision and P-attern recognition.Berlin，Germany：Springe，2019：8124-8233.

[6] 包俊，劉宏哲.融合可變形卷積網(wǎng)絡的魚眼圖像中的目標檢測[J/OL].計算機工程：1-10[2021-01-01].https：//doi.org/10.19678/j.issn.1000-3428.0057485.

[7] Xinlong W， Rufeng Z， Tao K， et al.SOLOv2： Dynamic and Fast Instance Segmentation[EB/OL].（2021-03-25）.https：//arxiv.org/abs/2003.10152.

[8] 葛壯壯.基于嵌入式GPU的交通燈及數(shù)字檢測與識別研究[D].成都：電子科技大學，2020.

收稿日期：2021-08-11

基金項目：南通市科技計劃項目（MS12020078）。江蘇省大學生創(chuàng)新訓練計劃項目“基于視頻的電瓶車駕駛員智能頭盔系統(tǒng)”（校企合作） （201910304158H）;江蘇省大學生創(chuàng)新訓練計劃項目“基于紅外圖像的船舶駕駛員違章行為自動識別”（校企合作）（202010304180H）;江蘇省大學生創(chuàng)新訓練計劃項目“具有預約功能的園區(qū)無人送貨小車 ”（省級一般項目）（202010304122Y） ;江蘇省大學生創(chuàng)新訓練計劃項目“面向老年人的基于手勢識別的智能手機使用助手”（省級重點項目）（202110304047Z） ;江蘇省大學生創(chuàng)新訓練計劃項目“5G環(huán)境下基于手勢智能識別的遠程機械臂控制系統(tǒng)”（省級重點項目）（202110304050Z）。

作者簡介：周昆陽（2000—），男，本科，主要研究方向為圖像處理;鄭澤斌（2000—），男，本科;向陽（2000—），男，本科;趙夢婷（2001—），女，本科;邵葉秦（1978—），博士，副教授。