基于多尺度融合和特征對(duì)齊的實(shí)時(shí)高精度交通標(biāo)志檢測(cè)與識(shí)別

萬(wàn)昊，任永國(guó)

（1.百度在線網(wǎng)絡(luò)技術(shù)有限公司，北京 100085；2.北京郵電大學(xué)，北京 100876）

1 引言

安全自動(dòng)駕駛和智能交通需要對(duì)海量信息進(jìn)行實(shí)時(shí)高精度處理，包括道路檢測(cè)、車輛檢測(cè)、行人檢測(cè)、交通標(biāo)志檢測(cè)和識(shí)別等測(cè)量、分析和執(zhí)行[1]。

交通標(biāo)志是智能交通系統(tǒng)中不可或缺的組成部分。作為一種重要的交通管理工具，它可以幫助人們明確道路規(guī)則和行車指導(dǎo)，減少事故發(fā)生的概率，提高道路交通的安全性。隨著智能交通系統(tǒng)的發(fā)展，交通標(biāo)志檢測(cè)成為了一項(xiàng)必不可少的研究?jī)?nèi)容。實(shí)時(shí)準(zhǔn)確的交通標(biāo)志檢測(cè)和識(shí)別對(duì)安全的自動(dòng)駕駛和智能交通至關(guān)重要[2]。它主要涉及車輛碰撞的引導(dǎo)和警告、限速和轉(zhuǎn)彎通知。另一方面，由于類內(nèi)的可變性、類間的相似性和不良的標(biāo)準(zhǔn)化，它又很具有挑戰(zhàn)性[3]。此外，惡劣的天氣、不斷變化的照明、運(yùn)動(dòng)模糊、背景變化和物體遮擋都給交通標(biāo)志的檢測(cè)、識(shí)別和理解帶來(lái)了困難。

為了解決這一具有挑戰(zhàn)性的任務(wù)，研究者們已提出了許多算法。在以往的研究中，該任務(wù)一般分為交通標(biāo)志定位、分割和分類幾個(gè)連續(xù)的部分[2,3]。大多數(shù)技術(shù)使用顏色和形狀作為重要線索。然而，在惡劣條件下和背景變化的情況下，這些線索就不可靠了。具體來(lái)說(shuō)，圖像處理的整個(gè)過(guò)程對(duì)圖像閾值分割、邊緣檢測(cè)、梯度分析和特征提取都很敏感，因此，容易造成高誤報(bào)[3]。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）仍然是交通標(biāo)志檢測(cè)和識(shí)別的核心，因?yàn)樗梢詫z測(cè)和識(shí)別納入到一個(gè)端到端的優(yōu)化過(guò)程中[1]。Yang 等[4]開(kāi)發(fā)了一種具有雙多尺度模塊的全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN），可以抑制誤報(bào)。Zhu 等[5]將FCN 引導(dǎo)的交通標(biāo)志提案與基于CNN 的交通標(biāo)志分類相結(jié)合。Li 等[6]將兩個(gè)CNN 整合成一個(gè)具有不對(duì)稱核的新結(jié)構(gòu)，并使用顏色和形狀來(lái)細(xì)化定位和分類。Natarajan等[7]設(shè)計(jì)了一種新的訓(xùn)練方法，對(duì)多個(gè)CNN 進(jìn)行加權(quán)以提高性能。Tabernik等[8]使用在線硬例挖掘、樣本加權(quán)和數(shù)據(jù)增強(qiáng)來(lái)適應(yīng)Mask RCNN。Cao 等[9]使用顏色進(jìn)行空間分割，使用形狀特征進(jìn)行符號(hào)定位，并使用Gabor 核初始化顯示CNN 進(jìn)行分類。Yuan 等[10]利用多尺度特征融合網(wǎng)絡(luò)，并使用垂直空間序列關(guān)注模塊獲取上下文信息以獲得更好的性能。Tian 等[11]將鄰近層的相關(guān)上下文合并到檢測(cè)架構(gòu)中，并開(kāi)發(fā)了一種基于循環(huán)注意力的新方法用于多尺度分析。Liu 等[12]設(shè)計(jì)了一個(gè)基于多尺度區(qū)域的CNN，它連接了深層和淺層特征層，并利用多尺度上下文區(qū)域來(lái)利用周圍信息進(jìn)行符號(hào)識(shí)別。Sun等[13]構(gòu)建了一個(gè)密集連接相關(guān)的傳輸連接塊來(lái)結(jié)合高、低層特征，并提出了一種錨點(diǎn)設(shè)計(jì)方法，為檢測(cè)小型交通標(biāo)志提供合適的錨點(diǎn)。Liu 等[14]開(kāi)發(fā)了一種目標(biāo)網(wǎng)格預(yù)測(cè)FCN，可以從粗定位到精定位檢測(cè)靈活的潛在目標(biāo)區(qū)域?；诮煌?biāo)志的統(tǒng)計(jì)特征，Tang等[15]引入了一種輕量級(jí)操作來(lái)提高推理速度，即集成用于解決樣本不平衡問(wèn)題的柵格運(yùn)算，以及針對(duì)大小差異增強(qiáng)特征表示的特征聚合結(jié)構(gòu)。Liu 等[16]學(xué)習(xí)尺度感知和上下文豐富的特征來(lái)識(shí)別小的和閉塞的交通標(biāo)志，并使用用于多尺度自注意力學(xué)習(xí)的注意力驅(qū)動(dòng)的雙邊特征金字塔網(wǎng)絡(luò)和用于利用上下文豐富表示的自適應(yīng)感受野融合塊來(lái)更新網(wǎng)絡(luò)。Lin 等[17]應(yīng)用多尺度特征融合網(wǎng)絡(luò)來(lái)提高識(shí)別精度和泛化能力。

深度網(wǎng)絡(luò)YOLO[18]在交通標(biāo)志檢測(cè)和識(shí)別中很受歡迎。文獻(xiàn)[19]采用不同感興趣區(qū)域的并行預(yù)處理來(lái)加快推理速度。文獻(xiàn)[20]將網(wǎng)絡(luò)與數(shù)據(jù)增強(qiáng)和多尺度空間金字塔池相結(jié)合，以提高性能。在文獻(xiàn)[21]中，為了獲得更好的結(jié)果，YOLO 采用不同核大小的混合深度卷積和同層到跨層的注意力特征融合進(jìn)行更新。文獻(xiàn)[22]則使用自適應(yīng)注意力和特征增強(qiáng)對(duì)網(wǎng)絡(luò)進(jìn)行升級(jí)，以減少信息損失以增強(qiáng)特征表示。

本文從特征提取和特征增強(qiáng)兩個(gè)方面對(duì)骨干網(wǎng)絡(luò)YOLOⅤ4進(jìn)行了升級(jí)，設(shè)計(jì)了一種新的注意力機(jī)制模塊，降低了復(fù)雜度。主要貢獻(xiàn)概括如下。

對(duì)特征提取，設(shè)計(jì)了一個(gè)多尺度融合模塊，以在殘差塊內(nèi)構(gòu)建分層連接，以增加感受野，并修改了注意力機(jī)制模塊，以納入上下文信息，以豐富精細(xì)細(xì)節(jié)。

對(duì)特征增強(qiáng)，將特征選擇模塊和特征對(duì)齊模塊相結(jié)合，以很好地處理冗余特征圖以及補(bǔ)丁上采樣和下采樣之間的像素移位，以匹配高級(jí)別和低級(jí)別的語(yǔ)義特征圖。

特征提取和特征增強(qiáng)有助于提高交通標(biāo)志檢測(cè)和識(shí)別性能，與TT100k 數(shù)據(jù)集上的骨干網(wǎng)絡(luò)YOLOⅤ4相比，本文提出的網(wǎng)絡(luò)取得了更好的效果。

2 網(wǎng)絡(luò)架構(gòu)

如圖1 所示，本文提出的網(wǎng)絡(luò)架構(gòu)是基于骨干網(wǎng)絡(luò)YOLOⅤ4的特征提?。‵Ex）和特征增強(qiáng)（FEh）進(jìn)行升級(jí)的。前者集成了多尺度融合模塊（Multi-Scale Fusion Module，MFM）和注意力機(jī)制模塊（Attention Mechanism Module，AMM），后者集成了特征選擇模塊（Feature Selection Module，F(xiàn)SM）和特征對(duì)齊模塊（Feature Alignment Module，F(xiàn)AM）。

圖1 升級(jí)后的YOLOV4架構(gòu)

2.1 多尺度融合模塊（MFM）

現(xiàn)實(shí)環(huán)境中，需在不同的背景和燈光照明下，在不同的范圍內(nèi)獲取交通標(biāo)志。多尺度特征融合對(duì)圖像表示非常重要。由于實(shí)際場(chǎng)景中交通標(biāo)志尺寸較小，在圖像中整體像素占比不超過(guò)1%，若在特征提取階段頻繁使用卷積進(jìn)行下采樣，將會(huì)導(dǎo)致在深層特征圖中小目標(biāo)的特征難以被定位甚至導(dǎo)致消失。因此通常使用淺層特征層檢測(cè)小目標(biāo)，因?yàn)闇\層的圖像分辨率大、包含的細(xì)節(jié)信息更多。而深層特征層通常被用來(lái)預(yù)測(cè)大、中尺寸目標(biāo)，因?yàn)樯顚犹卣靼S富的語(yǔ)義信息。實(shí)際自動(dòng)駕駛場(chǎng)景下的交通標(biāo)志檢測(cè)任務(wù)，一幅圖像中通常包含各種尺寸不一的目標(biāo)實(shí)例?，F(xiàn)有網(wǎng)絡(luò)更傾向于使用不同分辨率的數(shù)據(jù)輸入來(lái)改進(jìn)特征表達(dá)。在本研究中，相同的3 × 3卷積核被替換為單個(gè)殘差塊內(nèi)的分層多尺度結(jié)構(gòu)，因此，每個(gè)實(shí)例都可以在更細(xì)粒度的級(jí)別上表達(dá)，從而增加了每個(gè)網(wǎng)絡(luò)層的感受野大小，提高了網(wǎng)絡(luò)對(duì)不同尺寸目標(biāo)的特征表達(dá)能力。MFM 的結(jié)構(gòu)如圖2所示。

圖2 多尺度融合模塊（MFM）結(jié)構(gòu)

具體來(lái)說(shuō)，MFM 對(duì)輸入特征進(jìn)行1 × 1 卷積，其輸出被傳送到X1,X2,…,Xs的不同通道。除X1外，其他通道將前一組特征映射的輸出相加。過(guò)程可以用公式（1）表示，其中Xi表示均衡化后的小塊，s為平均分組的個(gè)數(shù)（s= 4），ki表示對(duì)特征圖i進(jìn)行卷積核為3 ×3的卷積運(yùn)算，y表示卷積后的輸出。最后，s個(gè)輸出通道通過(guò)了用于特征圖聚合的1 × 1卷積。

MFM 在瓶頸殘差塊中采用了3 × 3 卷積的塊復(fù)用，在不增加網(wǎng)絡(luò)參數(shù)的情況下進(jìn)行多尺度通道融合，使得網(wǎng)絡(luò)提取出來(lái)的特征表達(dá)能力更強(qiáng)。

2.2 自注意力機(jī)制模塊（AMM）

由于交通標(biāo)志檢測(cè)任務(wù)對(duì)圖像分辨率的要求較高，若直接使用傳統(tǒng)的自注意力機(jī)制處理長(zhǎng)序列文本或高分辨率圖像，將會(huì)導(dǎo)致極大的計(jì)算開(kāi)銷。因此對(duì)自注意力機(jī)制計(jì)算相似度矩陣的方式進(jìn)行優(yōu)化，提出了一種輕量化的自注意力機(jī)制模塊（AMM）。受非局部機(jī)制的啟發(fā)[23]，通過(guò)使用Key 和Query 的互協(xié)方差矩陣，并將原始自注意力機(jī)制在空間維度上的點(diǎn)積操作轉(zhuǎn)變?yōu)樵谕ǖ谰S度上的點(diǎn)積操作。其保持了全局表示，能夠更加高效地處理高分辨率圖像，對(duì)小型交通標(biāo)志的檢測(cè)能力有所提高。同時(shí)，計(jì)算復(fù)雜度從O（n2）大幅降低到O（n），極大地降低了計(jì)算開(kāi)銷。

AMM 結(jié)構(gòu)如圖3 所示。首先，該模塊同樣使用三個(gè)1 × 1 卷積對(duì)輸入特征圖進(jìn)行線性變換，得到三個(gè)向量分支（Q、K 和Ⅴ）。然后，通過(guò)乘法計(jì)算Q 和K之間的相似矩陣，并通過(guò)Softmax 函數(shù)將值歸一化。不同于自注意力機(jī)制直接在空間維度上進(jìn)行點(diǎn)積操作得到相似度系數(shù)矩陣，該模塊是在通道維度上進(jìn)行點(diǎn)積運(yùn)算。接下來(lái)，通過(guò)矩陣乘法將歸一化的相似系數(shù)疊加到Ⅴ上。最后，通過(guò)卷積運(yùn)算將疊加的特征維數(shù)恢復(fù)到與原始特征圖相同的維數(shù)，并通過(guò)與原始特征圖X相加來(lái)補(bǔ)充上下文信息。

圖3 注意機(jī)制模塊（AMM）的結(jié)構(gòu)

2.3 特征選擇模塊（FSM）

卷積神經(jīng)網(wǎng)絡(luò)的最新發(fā)展在交通標(biāo)志檢測(cè)領(lǐng)域取得了顯著飛躍，交通標(biāo)志檢測(cè)領(lǐng)域的研究者們經(jīng)常會(huì)用到特征增強(qiáng)網(wǎng)絡(luò)去融合不同語(yǔ)義的特征。而當(dāng)下大多數(shù)現(xiàn)有的方法為了設(shè)計(jì)簡(jiǎn)單而忽略了特征對(duì)齊問(wèn)題，上采樣之后的特征和局部特征之間直接進(jìn)行像素相加會(huì)導(dǎo)致未對(duì)齊的上下文信息，進(jìn)而導(dǎo)致預(yù)測(cè)過(guò)程中的錯(cuò)誤分類。

在對(duì)特征通道進(jìn)行降維之前，強(qiáng)調(diào)包含豐富空間細(xì)節(jié)信息的特征圖是非常重要的，這將便于資源的精準(zhǔn)分配，同時(shí)抑制冗余的特征。因此本節(jié)使用特征選擇模塊（FSM）來(lái)對(duì)特征圖每個(gè)通道的重要性進(jìn)行顯式建模，并相應(yīng)地對(duì)它們進(jìn)行重新校準(zhǔn)。

FSM 的目的是保持具有豐富空間細(xì)節(jié)的特征圖，同時(shí)降低特征維數(shù)。FSM的結(jié)構(gòu)如圖4所示。本節(jié)所使用的特征選擇模塊首先會(huì)將每個(gè)輸入特征圖通過(guò)全局平均池化層以提取其全局信息，然后通過(guò)特征重要性建模函數(shù)學(xué)習(xí)使用全局信息對(duì)通道的重要性進(jìn)行建模，再將重要性向量作用于原始的輸入特征圖上并將其進(jìn)行縮放，再將縮放之后的特征圖與原始特征圖進(jìn)行相加，得到重縮放特征圖。最后，在重新縮放的特征圖上引入特征選擇層，用于選擇性地保留重要通道信息并丟棄掉無(wú)用的特征信息以進(jìn)行通道降維。

圖4 特征選擇模塊（FSM）的結(jié)構(gòu)

公式（2）定義了映射通道的特征選擇過(guò)程。給定一個(gè)輸入地圖Ci，特征重要性函數(shù)fm學(xué)習(xí)使用全局信息z對(duì)地圖通道進(jìn)行建模。同時(shí)，形成重要性向量μ。最后，引入特征選擇層s對(duì)組合映射Ci+μ*Ci縮放，以突出重要的通道信息并抑制相對(duì)冗余的特征。

本節(jié)所使用的特征選擇模塊的設(shè)計(jì)靈感是來(lái)自于通道注意力機(jī)制SENet 的，主要區(qū)別在于該模塊在輸入特征圖和縮放特征圖之間引入了額外的跳躍連接，可以避免任何特定的通道相應(yīng)被過(guò)度放大或者過(guò)度抑制。

2.4 特征對(duì)齊模塊（FAM）

由于在特征提取過(guò)程中重復(fù)地使用下采樣操作，會(huì)使得上采樣之后的特征圖和其相應(yīng)的局部特征之間存在可見(jiàn)的像素錯(cuò)位，因此直接使用像素相加或者通道拼接的融合方式會(huì)損害圖像邊界的目標(biāo)檢測(cè)。所以在特征融合之前，把上采樣之后的高級(jí)語(yǔ)義特征和其對(duì)應(yīng)的局部空間特征對(duì)齊是非常重要的，因此本節(jié)使用一個(gè)特征對(duì)齊模塊（FAM）來(lái)根據(jù)局部特征圖所提供的空間位置關(guān)系來(lái)調(diào)整其所對(duì)應(yīng)的上采樣之后的特征圖。

遞歸下采樣和上采樣導(dǎo)致可見(jiàn)的空間錯(cuò)位。直接添加或通道拼接會(huì)破壞物體邊界的預(yù)測(cè)，因此，對(duì)齊相應(yīng)地圖的低級(jí)和高級(jí)語(yǔ)義特征成為必要步驟。根據(jù)相應(yīng)的局部特征圖提供的空間位置信息，使用FAM 對(duì)上采樣后的特征圖進(jìn)行調(diào)整。FAM 的結(jié)構(gòu)如圖5所示。

圖5 特征對(duì)齊模塊（FAM）的結(jié)構(gòu)

如上圖5 所示，特征對(duì)齊模塊首先會(huì)將上采樣之后的特征圖與其所對(duì)應(yīng)的局部特征圖進(jìn)行拼接，然后通過(guò)一個(gè)普通的3 × 3 卷積函數(shù)去學(xué)習(xí)這兩層特征圖之間的像素偏移量，可以得到一幅通道維度為2N的偏移量圖，前N維代表每個(gè)像素點(diǎn)在水平方向上的偏移，后N維代表每個(gè)像素點(diǎn)在垂直方向上的偏移，接著將學(xué)習(xí)到的偏移量用于上采樣之后的特征圖，最后在該特征圖上使用一個(gè)3 × 3可變形卷積函數(shù)進(jìn)行對(duì)齊。

公式（3）為特征對(duì)齊過(guò)程。其中，Piu表示上采樣后的特征圖，Ci-1表示其所對(duì)應(yīng)的局部特征圖，Pou表示經(jīng)過(guò)對(duì)齊之后的輸出特征圖。使用一個(gè)普通的3 ×3 卷積函數(shù)fo來(lái)學(xué)習(xí)這兩層特征圖之間的像素偏移，得到一個(gè)維數(shù)為2n的偏移量圖。前n維表示每個(gè)像素的水平偏移量，最后n維表示每個(gè)像素在垂直方向上的偏移量。最后，將學(xué)習(xí)到的偏移量Δi應(yīng)用于上采樣之后的特征圖，與文獻(xiàn)[24]一樣，可變形卷積函數(shù)fɑ用于像素級(jí)特征圖對(duì)齊。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

3.1.1 數(shù)據(jù)集

大規(guī)模中國(guó)交通標(biāo)志數(shù)據(jù)集TT100K 數(shù)據(jù)集[5]非常具有挑戰(zhàn)性，其由清華大學(xué)和騰訊實(shí)驗(yàn)室聯(lián)合收集和整理而成。該數(shù)據(jù)集包含近100,000 張圖像，其中包含30,000 個(gè)交通標(biāo)志實(shí)例，涵蓋了光照和天氣等各種條件變化，這些圖像是由6 個(gè)像素非常高的廣角單反相機(jī)在中國(guó)的300 多個(gè)城市拍攝的騰訊街景全景圖。圖像樣本包含了遠(yuǎn)景拍攝、近景拍攝等場(chǎng)景，且存在復(fù)雜自動(dòng)駕駛道路背景、以及各種遮擋等現(xiàn)象，該數(shù)據(jù)集相比于之前的中國(guó)交通標(biāo)志數(shù)據(jù)集，在標(biāo)注類別和圖像清晰度等方面具有更大優(yōu)勢(shì)，也更適合國(guó)內(nèi)交通標(biāo)志檢測(cè)的研究。TT100K 數(shù)據(jù)集在中國(guó)交通標(biāo)志標(biāo)注方面非常全面，即使是很小的目標(biāo)也能被精準(zhǔn)標(biāo)注，其中尺寸在20 × 20 以下的目標(biāo)占據(jù)了很大的比例。正是由于小尺寸交通標(biāo)志數(shù)量眾多，使得模型的檢測(cè)過(guò)程變得更加具有挑戰(zhàn)性，因此該數(shù)據(jù)集更能檢測(cè)一個(gè)交通標(biāo)志檢測(cè)模型的性能和效果。其包含有詳細(xì)注釋的交通標(biāo)志，涵蓋了不同的現(xiàn)實(shí)環(huán)境。在數(shù)據(jù)集中，不同類別的交通標(biāo)志的實(shí)例數(shù)量是不均勻的。

由于TT100K中國(guó)交通標(biāo)志數(shù)據(jù)集中標(biāo)記了大量的交通標(biāo)志類別，但某些類別的實(shí)例數(shù)量卻相對(duì)較少，這就導(dǎo)致了不平衡的數(shù)據(jù)分布，這種情況與實(shí)際自動(dòng)駕駛場(chǎng)景的情況符合。在本研究中，選取數(shù)據(jù)量超過(guò)100 張圖像的45 類交通標(biāo)志進(jìn)行后續(xù)實(shí)驗(yàn)。具體來(lái)說(shuō)，訓(xùn)練集包含6107張圖像，測(cè)試集包含3073張圖像。

3.1.2 性能指標(biāo)

本研究對(duì)比了Faster RCNN[25]、RetinaNet[26]、YOLOv3、YOLOX[27]、基線YOLOⅤ4[18]以及本文提出的網(wǎng)絡(luò)，利用每秒浮點(diǎn)運(yùn)算數(shù)（FLOPs）、不同交點(diǎn)的平均精度（mAP）和每秒幀數(shù)（FPS）作為評(píng)價(jià)指標(biāo)進(jìn)行量化結(jié)果分析。

3.1.3 參數(shù)及環(huán)境設(shè)置

初始學(xué)習(xí)率為0.01，采用余弦退火策略降低學(xué)習(xí)率。epoch數(shù)和batch size分別固定為300和64。其他參數(shù)設(shè)置為默認(rèn)值。

深度神經(jīng)網(wǎng)絡(luò)由Python（3.8 版本）和Pytorch（1.7版本）實(shí)現(xiàn)。代碼部署在Win10 工作站（64 位操作系統(tǒng)，8 核CPU，16GB RAM，NⅤIDIA GeForce RTX3070，16GB 內(nèi)存）上。

3.2 實(shí)驗(yàn)結(jié)果

表1 給出了六種深度網(wǎng)絡(luò)在TT100K 數(shù)據(jù)集上交通標(biāo)志檢測(cè)與識(shí)別的對(duì)比結(jié)果。每個(gè)指標(biāo)的最佳表現(xiàn)以黑體字表示。

表1 TT100K數(shù)據(jù)集上的性能比較

可以看出，本文提出的網(wǎng)絡(luò)在mAP@0.5 和mAP@0.5:0.95 指標(biāo)上達(dá)到最高，其次是YOLOX 和YOLOⅤ4。同時(shí)，6 個(gè)網(wǎng)絡(luò)中有4 個(gè)滿足實(shí)時(shí)性要求（≥20FPS）。此外，發(fā)現(xiàn)基于CSPDarknet 骨干網(wǎng)構(gòu)建的網(wǎng)絡(luò)比使用ResNet 的網(wǎng)絡(luò)具有更好的性能。最重要的是，與基線YOLOⅤ4 相比，提出的網(wǎng)絡(luò)在mAP@0.5 上高出7%，在mAP@0.5:0.95 上高出4%。另一方面，由于集成了四個(gè)不同的模塊，所提出的網(wǎng)絡(luò)導(dǎo)致FLOPs增加，F(xiàn)PS略有下降。

測(cè)試結(jié)果表明，本文提出的網(wǎng)絡(luò)提高了交通標(biāo)志檢測(cè)和識(shí)別性能，滿足實(shí)時(shí)圖像處理。

3.3 消融實(shí)驗(yàn)

進(jìn)行消融實(shí)驗(yàn)以量化升級(jí)單元（FEx和FEh）對(duì)性能改進(jìn)的有效性，表2顯示了結(jié)果。

表2 消融實(shí)驗(yàn)和其他最先進(jìn)網(wǎng)絡(luò)的比較

可以觀察到，F(xiàn)Ex 和FEh 都對(duì)改進(jìn)有積極的貢獻(xiàn)，F(xiàn)Ex 在精度、召回率、mAP@0.5 和mAP@0.5:0.95上分別提高了3.3%，0.6%，2.9%和1.1%。值得注意的是，同時(shí)使用FEx 和FEh 結(jié)果明顯提高（精度，7.9%↑；召回率，3.7%↑；mAP@0.5，7.0%↑；mAP@0.5:0.95，3.9%↑），這表明升級(jí)基線網(wǎng)絡(luò)有助于提高檢測(cè)和識(shí)別性能。

與五個(gè)最先進(jìn)研究的比較也顯示在表2中。結(jié)果表明，本文提出的網(wǎng)絡(luò)達(dá)到了最高的準(zhǔn)確率和第三高的召回率和mAP@0.5，并且循環(huán)注意力[11]、周圍情境[12]和遷移學(xué)習(xí)[20]可能有利于檢測(cè)和分類。另一方面，需要注意的是文獻(xiàn)[11]將交通標(biāo)志分為三類，文獻(xiàn)[12]采用了不同的數(shù)據(jù)分割策略，文獻(xiàn)[20]需要統(tǒng)一大小的輸入圖像。

3.4 實(shí)例分析

圖6 展示了四個(gè)交通標(biāo)志檢測(cè)和識(shí)別結(jié)果的實(shí)例，在每個(gè)實(shí)例中用矩形定位，并將與置信度評(píng)分配對(duì)的交通標(biāo)志進(jìn)行了放大。

圖6 交通標(biāo)志檢測(cè)和識(shí)別的對(duì)比示例

從圖中可以看出，F(xiàn)aster RCNN、YOLOⅤ4 和所提出的網(wǎng)絡(luò)對(duì)所有的交通標(biāo)志進(jìn)行了定位和識(shí)別，而RetinaNet 和YOLOⅤ3 則錯(cuò)過(guò)了一些實(shí)例（第一行和第四行）。此外，所提出的網(wǎng)絡(luò)產(chǎn)生了更高的置信度分?jǐn)?shù)，因此可正確識(shí)別實(shí)例。

通過(guò)使用FEx和FEh對(duì)YOLOⅤ4進(jìn)行升級(jí)，可以顯著提高交通標(biāo)志檢測(cè)和識(shí)別的性能，主要原因包括：（1）骨干網(wǎng)絡(luò)YOLOⅤ4 相較于其他網(wǎng)絡(luò)（如RetinaNet 和Faster RCNN）具有更優(yōu)越的性能，這可以從表1 和圖6 中觀察到；（2）FEx 包含了交通標(biāo)志的多尺度融合和自注意力機(jī)制以及豐富的層次表達(dá)，提高了檢測(cè)和識(shí)別性能（見(jiàn)表2）?；诙喑叨热诤系淖宰⒁饬W(xué)習(xí)也被設(shè)計(jì)用于拓寬接受域和增強(qiáng)上下文豐富表征[16]；（3）FEh 可以校正像素偏移并對(duì)齊高低特征圖，從而更好地進(jìn)行語(yǔ)義識(shí)別（見(jiàn)表2）。

4 結(jié)論

實(shí)時(shí)高精度交通標(biāo)志檢測(cè)和識(shí)別在自動(dòng)駕駛和智能交通領(lǐng)域具有挑戰(zhàn)性。本研究通過(guò)多尺度融合和特征對(duì)齊對(duì)YOLOⅤ4 骨干進(jìn)行升級(jí)，提高識(shí)別性能，并在注意力機(jī)制模塊上設(shè)計(jì)了一種新的轉(zhuǎn)置操作，大大降低了時(shí)間復(fù)雜度。在TT100K數(shù)據(jù)集上，升級(jí)后的網(wǎng)絡(luò)達(dá)到了目前最先進(jìn)的性能，滿足了實(shí)時(shí)性要求。未來(lái)，將考慮進(jìn)一步改進(jìn)數(shù)據(jù)增強(qiáng)、循環(huán)注意力、遷移學(xué)習(xí)和高級(jí)架構(gòu)。