999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于深度學習的交通標志檢測與識別方法研究

2024-06-12 01:36:24王云航
汽車文摘 2024年6期

【歡迎引用】 王云航. 基于深度學習的交通標志檢測與識別方法研究[J]. 汽車文摘, 2024(XX): XX-XX.

【Cite this paper】 WANG Y H. Research on Detection and Recognition Methods of Traffic Signs Based on Deep Learning[J]. Automotive Digest(Chinese), 2024(XX): XX-XX.

【摘要】為克服交通標志檢測與識別中交通標志目標小、尺寸多樣、獲取相關特征信息困難且易受到復雜背景干擾等挑戰,基于YOLOv5s網絡提出一種基于深度學習的交通標志檢測與識別方法。針對當前交通標志識別算法在背景復雜的小目標識別方面存在的問題,將置換注意力機制嵌入YOLOv5s模型主干網絡末端的C3層,提出了一種基于注意力機制的交通標志檢測與識別算法,以提高對關鍵區域的聚焦能力,有效消除背景噪聲干擾。針對目前目標檢測算法在處理尺寸多變的交通標志圖像時存在特征融合局限性的問題,提出了加權特征融合網絡算法。該算法使主干網絡中包含豐富語義信息的同尺寸淺層特征圖,分別與深層的中等和大目標檢測層進行加權融合,以增強多尺寸特征融合能力。實驗結果表明,改進后算法在交通標志檢測數據集CCTSDB 2021上,相較于原YOLOv5s方法,精確度和召回率分別提升了0.5個百分點和3.6個百分點,平均精度提升了2.8個百分點,檢測速度達到123.46 幀/s。因此,提出的算法能夠有效提高交通標志檢測和識別的準確性,同時保持原有的檢測速度。

關鍵詞:小目標檢測;交通標志識別;YOLOv5s;置換注意力機制;加權特征融合

中圖分類號:TP391.41;TN911.73 文獻標識碼:A ?DOI: 10.19822/j.cnki.1671-6329.20240075

Research on Detection and Recognition Methods of Traffic Signs Based on Deep Learning

Wang Yunhang

(School of Automotive Studies, Tongji University, Shanghai 201804)

【Abstract】 In order to overcome the challenges of traffic sign detection and recognition, such as small targets, diverse sizes, difficulty in obtaining relevant feature information, and susceptibility to complex background interference, traffic signs are detected and recognized. a deep learning method for traffic sign detection and recognition is proposed based on the YOLOv5s network. Addressing the issue of current traffic sign recognition algorithms struggling to identify small targets in complex backgrounds, we have integrated a shuffle attention mechanism into the C3 layer at the end of the YOLOv5s backbone network. This integration introduces a traffic sign detection and recognition algorithm that relies on an attention mechanism. This enhances the ability to focus on key areas and effectively eliminates background noise interference. To address the limitations of feature fusion in current object detection algorithms when dealing with traffic signs of varying sizes in images, we propose a weighted feature fusion network algorithm. This algorithm performs weighted fusion of shallow feature maps containing rich semantic information in the backbone network with medium and large target detection layers, enhancing the fusion ability of multi-size features. Experimental results on the traffic sign detection dataset CCTSDB 2021 show that the enhanced algorithm achieved a 0.5 percentage points increase in precision, a 3.6 percentage points increase in recall, and an average precision improvement of 2.8 percentage points compared to the original YOLOv5s method. Additionally, the detection speed reached 123.46 frame/s. Therefore, the proposed algorithm effectively enhances the accuracy of traffic sign detection and recognition while maintaining a original detection speed.

Key words: Small object detection, Traffic sign recognition, YOLOv5s, Shuffle attention mechanism, Weighted feature fusion

0 引言

交通標志檢測任務旨在準確識別圖像或視頻中的交通標志類別及其位置。這項技術被廣泛應用于自動駕駛和輔助駕駛等領域,是智能交通系統重要的組成部分,對于交通標志的準確檢測具有重要的研究意義和實用價值。然而,由于實際環境中的交通標志受采集條件的影響,往往呈現目標小、背景復雜、尺寸變化多樣等特點,導致識別困難甚至誤判,可能對車輛的行車安全造成嚴重影響。因此,實時、快速地識別交通標志成為交通任務中的重點和難點之一。

國內外已有許多關于交通標志檢測識別的研究,并取得了一定成果。交通標志檢測可分為傳統方法和基于深度學習的方法2大類。傳統檢測方法主要利用顏色、形狀特征或2者融合進行交通標志的檢測。Akatsuka等[1]提出一種閾值分割算法,通過在RGB顏色空間中設定不同顏色的閾值范圍,標記交通標志的紅色、黃色和藍色等特定顏色,從而實現了對交通標志的檢測。Barnes等[2]引入徑向對稱檢測法,該方法利用點與點的對稱性,將圓形映射為點的集中聚集,突出圖像中的圓對稱區域,以實現對交通標志的粗定位。湯凱等[3]提出了一種多特征協同方法,結合顏色特征、形狀特征和尺度特征,并采用支持向量機(Support Vector Machine, SVM)對融合特征進行分類,從而獲得交通標志的檢測結果。然而,該方法在處理小尺度曲率直方圖時容易受到邊緣噪聲的干擾,導致尺度較小的交通標志難以被正確檢測到。Qian等[4]將基于顏色的分割方法和模板匹配方法的優點結合起來,提出了一種新的幾何形狀特征表達方法,即多級鏈碼直方圖(Multi-level Chain Code Histogram, MCCH),用于交通標志的識別。He等[5]利用改進的局部二值模式(Local Binary Patterns, LBP)進行局部特征提取,并采用離散小波變換的低頻系數作為全局信息,然后將這2種特征級聯起來進行交通標志識別。然而,傳統的交通標志檢測方法對特征提取依賴手工操作,魯棒性較差,無法滿足交通標志檢測對實時性和精確性的要求。

2014年,首次將卷積神經網絡應用于目標檢測[7],自此以后,基于深度學習的方法開始廣泛應用于交通標志檢測。深度學習的目標檢測算法主要分為2個方向:二階段檢測和一階段檢測。二階段檢測算法包括R-CNN(Regions with CNN features)及其改進版本、Fast R-CNN[8]、Faster R-CNN[9]等。一階段檢測算法包括YOLO(You Only Look Once)系列[10-13]和SSD(Single Shot multibox Detetor)[14-15]等,目標檢測發展狀況如圖1所示。

Yang等[17]基于Faster R-CNN框架引入了注意力網絡,以便快速搜索所有可能的感興趣區域,并根據顏色特征將其分為3類。然后,另外一個區域提取網絡從一組錨框中生成最終的候選區域。Jin等[18]在SSD框架的基礎上,引入了特征融合層,并在融合后將SE(Squeeze and Excitation)模塊添加到特征提取層,極大地提高了對小型交通標志的識別率。YOLO算法于2016年首次提出,其最大的貢獻在于采用S×S網格代替傳統的目標區域,通過一次回歸同時輸出目標的坐標和類別概率。Zhang等[19]提出了一種改進的YOLOv2算法,用于交通標志識別。為了減少計算量,在網絡的中間層引入了多個1×1卷積層,并減少了頂部的卷積層。同時,為了檢測小型交通標志,采用更密集的網格劃分圖像,以獲得更精細的特征圖。Sichkar等[20]首先使用YOLOv3將交通標志根據形狀分為4類進行定位,然后使用另一個卷積神經網絡對定位到的交通標志進行準確的分類。在GTSRB數據集上進行試驗平均精確度(mean Average Precision, mAP)達到了97.22%。Liu等[21]在 YOLOv5 網絡中引入了MobileNetV2作為主干網絡,使整個模型的參數數量減少了60%,同時mAP提升了0.13百分點。張上等[22]通過對YOLOv5網絡進行模型裁剪和運算參數壓縮,并在模型中嵌入了坐標注意力機制(Coordinate Attention, CA)和混合域注意力模塊(Convolutional Block Attention Module, CBAM),從而使網絡的平均精度提升了2.8百分點。

由于交通標志檢測中小目標占比較大,同時受到背景復雜和尺寸多樣性因素的影響,本文旨在提高交通標志檢測的精度和處理速度,從而提升整體的檢測性能,更好地將交通標志檢測用于實際工程應用。本文中的算法以YOLOv5s框架為基礎進行改進,改進思路如下:針對當前交通標志識別算法對于背景復雜的小目標識別效果不佳的問題,提出了一種基于注意力機制的交通標志檢測與識別算法。在特征提取主干的C3結構嵌入置換注意力機制(Shuffle Attention,SA)[24],實現同時從空間和通道中增強特征表達。

針對目前目標檢測算法在處理圖像中尺寸多變的交通標志時存在的特征融合局限性問題,本文提出了加權特征融合網絡算法。該算法利用主干網絡中的同尺寸淺層特征圖,分別與深層的中等和大目標檢測層進行加權融合,以增強多尺寸特征融合能力。

1 YOLOv5s算法

YOLOv5是一種一階段檢測算法,相比于二階段算法,具有出色的實時性能。此外,YOLOv5在一階段檢測算法中表現出較高的檢測精度,特別是在小目標檢測方面。該算法提供了4種網絡模型,分別是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。其中,YOLOv5s具有最簡單的網絡結構和最快的目標檢測速度,而其他3種模型則在此基礎上逐漸增加了網絡的深度和寬度,雖然提高了準確性,但檢測速度也隨之降低。因此,本文選擇YOLOv5s算法作為交通標志檢測的基礎模型。

YOLOv5s網絡模型主要由輸入預處理(Input Preprocessing)、主干網絡(Backbone)、頸部網絡(Neck)和輸出處理(Head)4個部分組成。輸入預處理部分采用了自適應圖像填充和馬賽克(Mosaic)數據增強。Mosaic數據增強通過將4張圖片隨機裁剪、旋轉、縮放等方式隨機排放組成1張圖像,這種數據增強方式能夠有效提高小目標檢測精度,同時降低訓練資源消耗。此外,還采用了自適應錨框設計,更好地解決了不同數據集中目標大小不同的問題,為數據集提供了更合適的預設錨框。主干網絡主要由Focus結構[25]和C3模塊構成,其中Focus結構的切片操作可以在不損失圖像信息的前提下,降低圖像分辨率,而C3模塊則由3個Conv模塊和1個瓶頸(Bottleneck)模塊組成,其中Bottleneck包含2個Conv,實施先降維、后升維操作,以理解和獲取更多詳細的特征信息。頸部網絡采用了路徑聚合網絡(Path Aggregation Network,PAN)[26],旨在實現對多尺度目標的準確定位和識別能力。輸出處理的3個分支分別用于大、中、小目標的檢測輸出。YOLOv5s的網絡結構如圖2所示。

2 改進的YOLOv5s算法

在原YOLOv5s算法基礎上進行了改進,在主干網絡末端的C3層中嵌入置換注意力機制,構造特征增強模塊C3SA,如圖3左下角所示。在加權特征融合階段,將用于檢測中等和大目標的輸出頭與主干淺層同尺寸的特征進行加權融合,(圖3兩條連接WPANet模塊的加粗間斷線)。改進后的YOLOv5s算法的網絡結構如圖3所示。

2.1 嵌入注意力機制模塊

在神經網絡學習中,注意力機制是提升學習性能的重要組成部分。交通標志的特征提取關鍵環節在于網絡的主干部分,因此本文將置換注意力機制嵌入網絡的主干部分。

在神經網絡學習領域,注意力機制主要分為通道注意力和空間注意力2大類。通道注意力強調不同特征通道的重要性差異,而空間注意力則集中于特征圖中不同位置的信息重要性。盡管CBAM[16]成功地將這2種注意力融合,以此獲得了取得了較好的性能,但是存在計算量大和收斂困難等問題。

SA注意力模塊通過采用洗牌方式同時結合了通道和空間注意力,見圖4。首先,在每個注意力單元開頭,對輸入的特征圖在通道維度上進行分組,形成多個子特征組,即[X1,…,XG],其中Xk∈ RC/G×H×W(C、H、W、G分別表示通道數、空間高度、空間、寬度和分組數)。每個分支再進一步沿通道維度劃分為2個部分,即[Xk1]、[Xk2]∈ RC/2G×H×W,分別用于生成通道注意力圖和空間注意力圖,然后,將2條分支按通道數相加,實現分支的融合,最后,聚合所有的分組子特征,利用“通道置換”(Channel Shuffle)算子,隨機置換不同通道之間的信息,從而實現不同子特征之間的通信,有效結合通道和空間注意力。

通道注意力機制為了捕獲更豐富的通道信息并平衡計算速度的影響,采用全局平均池化(Global Averaging Pooling, GAP)的方式,計算通道統計量s:

[s=FgpXk1=1H×Wi=1H j=1w Xk1(i,j)] ? ? ? ? ? (1)

式中:s∈RC/2G×1×1;[Fgp]為全局平均池化函數;[Xk1]為子特征Xk的通道注意力分支,[Xk1]∈RC/2G×H×W;C、H、W、G分別為空間高度、空間、寬度和分組數。

此外,通道注意力為了選擇的精確性及自適應性,利用門控機制對[Xk1]進行處理,該機制采用sigmoid激活函數,最終輸出的計算公式如下:

[X'k1=σFc(s)?Xk1=σW1s+b1?Xk1] ? ? ? ? ? (2)

式中:[σ]是激活函數,[Fc(?)]為線性函數,W1∈RC/2G×1×1和b1∈RC/2G×1×1分別用于縮放和移位統計量s。

在空間注意力分支中,采用群范數(Group Norm, GN)獲取空間特征,然后通過全連接層[Fc(?)]進行線性變換和激活函數處理以增強這些特征。最終,空間注意力的輸出計算公式如下:

[X'k2=σW2?GNXk2+b2?Xk2] ? ? ? ? ? ? ? ?(3)

式中:W2∈RC/2G×1×1和b2∈RC/2G×1×1是形狀為RC/2G×1×1的參數,GN為群范數,[Xk2]為子特征Xk的空間注意力分支,[Xk2]∈RC/2G×H×W。

最后,將空間和通道2個注意力分支進行連接,使得通道數與輸入相同,如式(4)所示。利用通道置換算子,使得每個分支的特征信息能夠沿通道跨分支流動。

[X'k=X'k1,X'k2∈RC/G×H×W] ? ? ? ? ? ? ? ? ? ? ? (4)

本文將置換注意力SA模塊嵌入到C3模塊中,進行先降維、后升維卷積操作后,形成特征增強模塊C3SA,如圖5所示。由于關鍵特征提取在主干部分進行,因此特征增強模塊被放置在主干的末端位置。

2.2 加權特征融合模塊

在目標檢測中,深度網絡的進一步發展可以增強模型的語義特征提取能力。然而,隨著網絡深度增加,輸出特征圖尺寸縮小且圖像細節特征有限,對于小目標檢測可能存在瓶頸。相反,淺層網絡能更有效地捕獲豐富的細節信息,但缺乏足夠的語義信息,影響模型在物體分類上的準確性。

為了克服這些限制,學術界開始探索結合深層和淺層特征的方法,以提取更全面且豐富的特征表示。目前流行的多尺度特征融合架構包括特征金字塔網絡(Feature Pyramid Networks, FPN)[28]、路徑聚合網絡(Path Aggregation Network, PANet)[26]、加權雙向特征金字塔網絡(Bi-directional Feature Pyramid Network, BiFPN)[29],這些架構設計在提升檢測性能方面展現了極大的潛力。

如圖6a所示,FRN通過自頂向下傳遞強語義信息,將深層特征與淺層特征進行融合。然而,FPN結構也存在一些缺陷,它更傾向于關注相鄰層的特征,而深層特征經過多次下采樣傳遞后可能喪失語義信息。為了解決這個問題,PANet同時采用自上而下和自下而上2條路徑進行特征融合(見圖6b)。這種結構縮短信息傳遞的路徑,有效地避免FPN中可能發生的語義信息喪失情況,但增加了計算開銷。

在2020年,Tan[29]基于PANet提出BiFPN(見圖6c),并帶來以下改進:首先,刪除只有單輸入的節點,因為這些節點對特征融合沒有貢獻,只會增加計算量;其次,添加跳躍連接,即在同一水平上從原始輸入到輸出節點添加額外的邊,以便在不增加太多成本的情況下融合更多特征;再次,將每個由自頂向下和自底向上形成的雙向路徑視為一個網絡層,對這些網絡層進行多次重復,實現更高級的特征融合;最后,根據不同的輸入對最終特征的貢獻度,為每個輸入分配不同的權重,以調整不同特征輸入在輸出中的比例,并在網絡訓練中實時地調整這些權重。

原始的YOLOv5s模型使用FPN+PAN結構進行頸部網絡特征融合,形成自頂向下和自底向上的雙向路徑。然而,這種處理方式相對較簡單,特征的融合還有進一步優化的空間。受到加權特征金字塔網絡的啟發,本節提出將BiFPN的設計思想應用到YOLOv5s的多尺度特征融合部分,提出加權特征融合網絡(Weighted Path Aggregation Network, WPANet)。

首先,添加跳躍連接。當特征融合層存在多個融合節點時,在同一層不同的節點之間添加多條特征傳輸邊。這樣,網絡能夠在增加少量參數和計算量的情況下融合更多的特征信息,如圖6d所示的P4標注的間斷線。

其次,增加特征融合。在YOLOv5s的設計中,檢測頭部署在網絡的深層位置,使其能夠接觸到豐富的語義信息。然而,隨著特征層級的深入,淺層的關鍵位置信息容易丟失,而這些信息對于提升檢測的準確性至關重要。為應對這一挑戰,本文創新性地將淺層特征與深層的檢測輸出進行緊密融合。特別地,在網絡的早期階段,主干特征層會產生逐步縮小尺寸的特征圖,其中一些特征圖的大小正好與檢測層的輸出匹配。因此,本文選擇20×20的主干特征圖,與負責大尺寸目標的檢測層P5融合,以此增強對小型目標邊緣信息的捕獲。這種融合策略與BiFPN中消除單一節點的方法存在顯著的差異(P5標注的虛線),見圖6d。

最后,加權分參。在合并不同分辨率的多尺度特征方面,以往的一些目標檢測算法常常將每個層級輸出的特征信息等同對待,并通過上采樣或下采樣的方式將它們的尺寸調整為一致后再進行相加。然而,近年來的研究發現,不同分辨率的輸入特征對于輸出特征的影響并不相同。為了提高算法的魯棒性和增強網絡的特征融合能力,本文引入了注意力的思想,為每個層級輸出的特征信息引入了一個超參數。這種方法使網絡能夠學習到不同層級特征的重要程度,從而更好地優化特征的融合過程。對于傳統的PANet,它以簡單的求和方式聚合多尺度特征。

[Pout 4=Conv Ptd 4+Resize Pout 3] ? ? ? ? ? ? (5)

[Pout 5=Conv Ptd5+Resize Pout 4] ? ? ? ? ? ? ? (6)

式中:[Pout3]、[Pout4]、[Pout5]分別代表輸出特征信息,[Ptd4]、[Ptd5]分別代表輸入特征信息,如圖6b所示;Resize使用上采樣或者下采樣來調整特征圖的分辨率,使得不同輸入尺度的特征圖分辨率相匹配;Conv是對求和后的特征圖使用卷積操作來提取新的特征。

針對WPANet,采用加權特征融合的方法來整合不同分辨率的輸入特征圖層。不同分辨率的輸入層對應的權重也不同。通過網絡自動學習每個輸入層的權重參數,可以更好地表示整體特征信息。對于P4和P5輸出部分,分別進行快速歸一化融合,具體計算如下:

[Pout4=Conv w'1?Pin4+w'2?Ptd4+w'3?Resize Pout3w'1+w'2+w'3+?] ?(7)

[Pout 5=Conv w'1?Pin 5+w'2?Ptd5+w'3?Resize Pout4w'1+w'2+w'3+?] ?(8)

式中:[Pin4]、[Pin5]分別代表新增輸入特征信息如圖6d虛線所示。[w'1]為當前層輸入的權重;[w'2]為當前層中過渡單元輸出的權重;[w'3]為前一層輸出的權重;[?]為一個超參數,用于防止梯度消失;Conv表示對整體計算結果的卷積運算。

3 實驗結果與分析

3.1 數據集

為了驗證算法效果,本文選用了中國交通標志檢測數據集2021(CCTSDB)[30]。數據集包含16 356張圖片,分辨率在1 000×350至1 024×768之間。圖片覆蓋了各種尺度、光照和噪聲等影響因素的變化,標注了強制(Mandatory)、禁止(Prohibitory)和警告(Warning)3大類標志(圖7)。在實驗中,按照隨機8∶2的比例將數據集劃分為訓練集和驗證集。

3.2 實驗環境

本文實驗使用CCTSDB 2021交通標志數據集,其中圖像尺寸為640×640。網絡參數設置如下:批量大小(每次輸入神經網絡進行訓練的樣本數量)設為32,權重衰減參數(momentum)設為0.98,衰減系數(decay)設為0.001,訓練迭代輪數設為200,學習速率設為0.001。計算機設備采用Linux服務器,詳細試驗訓練環境配置參數如表1所示。

3.3 評價指標

常用的交通標志檢測與識別方法通常mAP和每秒的檢測幀數(Frames Per Second, FPS)為主要評價指標。其中,mAP用于衡量平均檢測精度,而FPS則代表模型對圖像數據的處理速度,FPS值越大表示模型處理圖像的速度越快。在不同閾值的條件下,mAP會有不同的定義形式。在目標檢測中,最常見的是mAP@0.5和mAP@[.5:.95]這2個指標。本文選用的是mAP@0.5,表示在目標檢測任務中,當交并比(IoU)達到0.5時所有類別的平均精度。此外,本文還使用精確度(Precision,P)和召回率(Recall,R)等指標作為實驗的輔助評價標準,其具體計算公式如下:

[P= TPTP+FP] ? ? ? ? ? ? ? ? ? ? ? ? ? ? (9)

[R= TPTP+FN] ? ? ? ? ? ? ? ? ? ? ? ? ? (10)

[AP= 01PdR] ? ? ? ? ? ? ? ? ? ? ? ? ? ? (11)

[mAP= 1ni=1nAPi] ? ? ? ? ? ? ? ? ? ? ? (12)

式中:P為精度,R為召回率,TP、FP、FN分別為預測為正樣本且實際為正樣本、預測為正樣本實際為負樣本、預測為負樣本實際為正樣本,其中n為樣本類別數量,本文中取值為3。

3.4 消融實驗

本實驗在基于3.2章節相同環境配置下,通過在CCTSDB 2021交通標志數據集上進行200輪訓練,對4種網絡模型(YOLOv5s、YOLOv5s_C3SA、YOLOv5s_WPANet、YOLOv5s_C3SA+WPANet)進行了評估,訓練損失函數的示意如圖8所示。由圖8可知,在訓練的初期階段,損失函數曲線迅速下降。隨著訓練次數達到約40輪,各網絡模型的損失值逐漸趨于穩定,并最終穩定在大約0.024的水平。其中,代表YOLOv5s_C3SA+WPAN的橙色損失函數曲線在整個訓練階段基本都位于其他曲線的下方,表現出最優的性能。

消融實驗結果對比如表2所示。根據表中的不同網絡模型參數和測試結果,可以得出以下結論:相較于YOLOv5s、YOLOv5s_C3SA和YOLOv5s_WPANet模型,本文提出的YOLOv5s_C3SA+WPANet(即改進后算法)在mAP方面分別提升了2.8個百分點、1個百分點和0.9個百分點。在精確度方面,分別提升了0.5個百分點、0.7個百分點和0.5個百分點;召回率方面分別提升了3.6個百分點、0.6個百分點和1.1個百分點。尤其重要的是,改進后的模型在檢測速度方面基本保持不變,達到了123.46幀/s。這一速度已足夠滿足實際情況下對模型實時性的要求,從而證明了改進后模型的有效性。

為了驗證置換注意力機制的有效性,本文還與其他注意力機制進行了橫向比較。由于置換注意力機制兼具同時處理通道和空間信息的特點,其檢測精度優于其他2種機制。前文已經提到,輕量化的置換注意力機制在檢測速度方面優于混合域注意力機制[24]。本文將置換注意力機制與坐標注意力機制(CA)[27],在相同位置以相同形式分別嵌入YOLOv5s模型,進行對比實驗,結果見表3。嵌入注意力機制的2種算法相比于原YOLOv5s算法,檢測精度均有明顯提升。實驗YOLOv5s_C3SA網絡模型相對于YOLOv5s_C3CA網絡模型在檢測精度和檢測速度方面表現出一定優勢,而在精確度和召回率方面,分別提升了1.1個百分點和0.4個百分點,因此,本文采用置換注意力機制。

為深入研究改進后的網絡模型在所有類別上的檢測效果,本文整理了模型在不同類別上的對比結果,見表4。相對于原始的YOLOv5s網絡模型,改進后的網絡模型mAP提升顯著:在強制、禁止和警告標志類別上,分別提高了1.9個百分點、3.3個百分點和3個百分點。在精確度方面,與原始模型相比,改進后的網絡模型在強制標志上略微下降了1.5個百分點,在禁止標志上提升了3個百分點,而在警告標志類別上保持穩定。在召回率指標上,改進后的網絡模型在強制、禁止和警告標志類別分別提升了3.7個百分點、2.9個百分點和4.1個百分點。通過這些數據可以看出,改進后的網絡模型明顯提升了在各類交通標志上的檢測效果。

3.5 與主流算法對比實驗

將經過優化的網絡模型Ours與現有主流模型如SSD、Faster R-CNN,以及早期版本的YOLO進行對比。根據表5中展示的實驗結果,優化后的網絡模型在檢測速度方面雖比原始的YOLOv5s略微下降,但在平均精度、準確度和召回率指標上均表現出顯著優勢。綜合考慮,本文提出的算法能夠更準確地識別CCTSDB 2021數據集中的交通標志,進而有助于提升交通的安全水平。此外,改進后的模型能夠滿足實時應用場景對實時性的關鍵要求。

3.6 檢測效果對比

本節選取了CCTSDB數據集中的幾類特殊圖片,包括大霧、雪天、夜晚逆光和雨天夜晚條件下的交通標志,進行了識別效果對比,結果如圖9所示。

在大霧條件下(見圖9a、圖9b),改進后算法相較于原算法(YOLOv5s)在識別禁止標志時置信度提高了21%。在雪天環境下(見圖9c、圖9d),改進后算法相較于原算法在識別警告標志時置信度提高了7%。在夜晚逆光的情況下(見9e、圖9f),改進后算法相較于原算法在識別強制標志時置信度提高了5%。在雨天夜晚的情況下(見圖9g、圖9h),改進后的算法相較于原算法在識別禁止標志時置信度提高了5%。這些結果表明,即使在特殊復雜的環境下,改進后算法仍能夠保持較高的精度,具有一定的魯棒性。

4 結束語

針對交通標志檢測中存在的目標小、尺寸多樣等難題,本文在YOLOv5s的基礎上進行了改進。首先,利用特征增強模塊C3SA提高對關鍵區域的聚焦能力;其次,采用加權融合網絡增強多尺寸特征的融合能力。改進后算法在精度上改善了交通標志檢測的效果。通過消融試驗和對比試驗分析,證明了本文改進后算法在檢測精度上有一定的提升,并且檢測速度上能夠達到實時性要求。未來的研究可以圍繞將算法優化應用于嵌入式工程應用中的交通標志識別。

參 考 文 獻

[1] AKATSUKA H, IMAI S. Road Signposts Recognition System[J]. SAE Transactions, 1987, 96(1): 936-943.

[2] BARNES N, ZELINSKY A, FLETCHER L S. Real-Time Speed Sign Detection Using the Radial Symmetry Detector[J]. IEEE Transactions on Intelligent Transportation Systems, 2008, 9(2): 322-332.

[3] 湯凱, 李實英, 劉娟, 等. 基于多特征協同的交通標志檢測[J].計算機工程, 2015, 41(3): 211-217.

[4] QIAN R, ZHANG B, YUE Y, et al. Traffic Sign Detection By Template Matching Based on Multi-level Chain Code Histogram[C]// 2015 12th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD). Zhang Jia jie, China: IEEE, 2015.

[5] HE X, DAI B. A New Traffic Signs Classification Approach Based on Local and Global Features Extraction[C]// 2016 6th International Conference on Information Communication and Management (ICICM). Hatfield, UK: IEEE, 2016.

[6] ZOU Z, CHEN K, SHI Z, GUO Y, et al. Object Detection in 20 Years: A Survey[J]. Proceedings of the IEEE, 2023, 111(3): 257-276.

[7] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014.

[8] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile, USA: IEEE, 2015.

[9] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[10] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-Time Object Detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE, 2016.

[11] REDMON J, FARHADI A. YOLO9000: Better, Faster, Stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: IEEE, 2017.

[12] REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[J/OL]. arXiv e-prints, 2018[2024-04-26]. https://arxiv.org/pdf/1804.02767.

[13] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: Optimal Speed and Accuracy of Object Detection[J/OL]. arXiv, 2020[2024-04-25]. https://arxiv.org/abs/2004.10934.

[14] WEI L, DRAGOMIR A, DUMITRU E, et al. SSD: Single Shot MultiBox Detector[C]// 14th European Conference Amsterdam, The Netherlands: ECCV, 2016.

[15] SIMONYAN K, ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J/OL]. arXiv[2015-04-10](2024-05-21) https://doi.org/10.48550/arXiv.1409.1556.

[16] WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional Block Attention Module[J/OL]. arXiv[2018-01-18](2024-05-21) https://doi.org/10.48550/arXiv.1807.06521.

[17] YANG T, LONG X, SANGAIAH A K, et al. Deep Detection Network for Real-Life Traffic Sign in Vehicular Networks[J]. Computer Networks, 2018, 13(6): 95-104.

[18] JIN Y, FU Y, WANG W, et al. Multi-Feature Fusion and Enhancement Single Shot Detector for Traffic Sign Recognition[J]. IEEE Access, 2020, 8: 38931-38940.

[19] ZHANG Z, WANG H, ZHANG J, et al. A Vehicle Real-time Detection Algorithm Based on YOLOv2 Framework[C]// Real-Time Image and Video Processing, 2018.

[20] SICHKAR V N, KOLYUBIN S A. Real Time Detection and Classification of Traffic Signs Based on YOLO Version 3 Algorithm[J]. Scientific and Technical Journal of Information Technologies Mechanics and Optics, 2020, 20(3): 418-424.

[21] LIU X, JIANG X K, HU H C, et al. Traffic Sign Recognition Algorithm Based on Improved YOLOv5s[C]//Proceedings of the 2021 International Conference on Control, Automation and Information Sciences (ICCAIS). Xian: IEEE, 2021: 980-985

[22] 張上, 王恒濤, 冉秀康. 基于YOLOv5的輕量化交通標志檢測方法[J]. 電子測量技術, 2022, 45(8): 129-135.

[23] 胡昭華, 王瑩. 改進YOLOv5的交通標志檢測算法[J].計算機工程與應用, 2023, 59(1): 82-91.

[24] ZHANG Q L, YANG Y B. SA-Net: Shuffle Attention for Deep Convolutional Neural Networks[C]//Proceedings of 2021 IEEE International Conference on Acoustics. Toronto, Canada: IEEE, 2021: 2235-2239.

[25] TIAN Z, SHEN C, CHEN H, et al. Focus: Fully Convolutional One-Stage Object Detection[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 9627-9636.

[26] LIU S, QI L, QIN H, et al. Path Aggregation Network for Instance Segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018.

[27] HOU Q, ZHOU D, FENG J. Coordinate Attention for Efficient Mobile Network Design[C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA: IEEE, 2021.

[28] LIN T Y, DOLL?R P, GIRSHICK R, et al. Feature Pyramid Networks for Object Detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: 2017.

[29] TAN M, LE Q V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[C]//Proceedings of the IEEE International Conference on Intelligent Transportation Systems, 2015, 17(7): 2022-2031.

[30] ZHANG J, ZOU X, LI D K, et al. CCTSDB 2021: A More Comprehensive Traffic Sign Detection Benchmark[J]. Human-centric Computing and Information Sciences, 2022, 12: 23.

(責任編輯 明慧)

主站蜘蛛池模板: 自偷自拍三级全三级视频| 欧美不卡视频在线观看| 国产中文一区二区苍井空| 精品少妇人妻一区二区| 真人免费一级毛片一区二区| 国产最爽的乱婬视频国语对白| 亚洲a级在线观看| 亚洲美女高潮久久久久久久| 国产精品观看视频免费完整版| 亚洲欧美人成人让影院| 亚洲黄色网站视频| 亚洲美女视频一区| 国产精品第一区在线观看| 中文纯内无码H| 伊人91在线| 国产黑丝视频在线观看| 制服丝袜国产精品| 激情爆乳一区二区| 亚洲天堂视频网| 国产人前露出系列视频| 精品国产网| 手机永久AV在线播放| 精品国产网| 国产日韩精品欧美一区喷| 免费一级毛片| 国产精品偷伦视频免费观看国产| 欧美日韩国产综合视频在线观看| 日韩无码视频专区| 欧美曰批视频免费播放免费| 一本大道视频精品人妻| 成人国产免费| 国产美女自慰在线观看| 97青青青国产在线播放| 91啪在线| 一区二区三区国产精品视频| 亚洲欧美成人综合| av一区二区无码在线| 19国产精品麻豆免费观看| 亚洲精品少妇熟女| 9啪在线视频| 日韩在线1| 国产三区二区| 在线观看国产小视频| 国产九九精品视频| yjizz国产在线视频网| 国产第一页第二页| 亚洲欧美日韩视频一区| 伊人查蕉在线观看国产精品| 亚洲日韩精品伊甸| 欧美一区福利| 在线免费亚洲无码视频| 91欧美在线| 国产精品19p| 国产丝袜91| 国产特级毛片aaaaaa| 欧美综合区自拍亚洲综合绿色| 亚洲成人精品久久| 国产亚洲精久久久久久久91| 欧美亚洲一区二区三区在线| 亚洲欧州色色免费AV| 欧美国产日韩在线观看| 怡红院美国分院一区二区| 9999在线视频| 高清码无在线看| 91久久夜色精品国产网站| 亚洲日韩精品无码专区| 午夜小视频在线| 国产美女无遮挡免费视频网站| 色视频国产| 中文字幕在线看视频一区二区三区| 久久精品免费国产大片| 成人午夜福利视频| 国产欧美精品一区aⅴ影院| 99re在线视频观看| 欧美精品H在线播放| 无码精品一区二区久久久| 国产精品xxx| 19国产精品麻豆免费观看| 国产精品蜜芽在线观看| V一区无码内射国产| 亚洲国产天堂久久综合| 欧美人与性动交a欧美精品|