智能交通感知新范式：面向元宇宙的交通標志檢測架構(gòu)

王俊帆 陳 毅 高明煜 何志偉 董哲康* 繆其恒

①(杭州電子科技大學電子信息學院 杭州 310018)

②(浙江省裝備電子重點實驗室 杭州 310018)

③(浙江大學電氣工程學院 杭州 310027)

④(浙江華銳捷技術(shù)有限公司 杭州 310051)

1 引言

元宇宙被認為是人工智能發(fā)展的下一個演變，專注于在虛擬世界中創(chuàng)造沉浸式體驗[1]。元宇宙概念的興起為虛擬世界和現(xiàn)實世界之間的并行智能交通系統(tǒng)構(gòu)建成為可能。交通標志是向智能車輛或駕駛員傳遞道路信息的重要媒介，其根據(jù)道路狀況、交通事故、天氣變化需要進行動態(tài)的調(diào)整更新，實現(xiàn)對其高效精確的識別已成為現(xiàn)有自動駕駛和智能車輛的重要輔助技術(shù)。

現(xiàn)有基于學習的交通標志檢測器主要從數(shù)據(jù)和模型架構(gòu)兩方面進行優(yōu)化以滿足實際需求。數(shù)據(jù)方面，文獻[2]提出挑戰(zhàn)性條件下的交通標志檢測數(shù)據(jù)集CURE-TSD，以此克服惡劣條件下檢測性能不佳的問題。清華大學和騰訊合作制作的交通標志數(shù)據(jù)集(Tsinghua-Tencent 100K, TT100K)[3]，其數(shù)據(jù)總量達到100,000張，設置類別數(shù)為221類。瑞士交通標志數(shù)據(jù)集(Swedish Traffic Signs Dataset,STSD)數(shù)據(jù)集[4]記錄了350多條公路的瑞典公路和城市交通場景，包含3,488個交通標志，超過20 000張圖像(其中20%已標注)。文獻[5-7]通過數(shù)據(jù)增強技術(shù)對已有的交通標志數(shù)據(jù)集進行擴充和豐富，以更好地訓練模型。在模型架構(gòu)方面，文獻[8-10]基于卷積神經(jīng)網(wǎng)絡(Convolution Neural Network,CNN)，通過修改網(wǎng)絡結(jié)構(gòu)來提高網(wǎng)絡的泛化能力和魯棒性來應對各種環(huán)境挑戰(zhàn)。目前熱門的Transformer[11-13]架構(gòu)通過圖像分塊操作建立全圖的長距離連接，從而能夠?qū)W習到更多信息，提高模型的泛化性。具體地，文獻[14]針對現(xiàn)有交通標志由于天氣條件等外部因素導致檢測性能低下的問題，提出多尺度交通標志檢測器(Multi-scale Traffic Sign Detection, MTSDet)，通過引入注意力機制來高效提取語義特征。本文之前的工作[15]通過特征金字塔的特征聚合來提高對特征的提取能力，從而提高模型的泛化性。

從上述兩個方面著手在一定程度上能夠高效實現(xiàn)交通標志檢測，但是也存在著一定的問題：

數(shù)據(jù)方面，建立一個大型數(shù)據(jù)集需要昂貴的人工成本和時間成本?，F(xiàn)有公開的交通標志數(shù)據(jù)集普遍存在著數(shù)據(jù)不平衡、場景多樣性不足、數(shù)據(jù)數(shù)量較少等問題。由于標注標準的不統(tǒng)一，不能同時使用多個數(shù)據(jù)集進行訓練和測試，數(shù)據(jù)集的區(qū)域性和單調(diào)性也會影響模型的泛化能力。

模型架構(gòu)方面，許多研究基于CNN和Transformer對檢測模型的結(jié)構(gòu)進行優(yōu)化，但是能否最大程度發(fā)揮其性能依然取決于訓練數(shù)據(jù)的數(shù)量和質(zhì)量，尤其是基于Transformer的方法需要大規(guī)模數(shù)據(jù)集的預訓練才可以達到其預期檢測性能。此外，模型本身的泛化能力對于其多場景應用也至關(guān)重要。

基于此，本文提出面向元宇宙的交通標志檢測新范式。元宇宙可以創(chuàng)造一個與現(xiàn)實世界平行的人工維度空間，自定義構(gòu)建高契合度的仿現(xiàn)實場景，為物理世界提供豐富數(shù)據(jù)。已有汽車公司如保時捷、現(xiàn)代在元宇宙體系下實現(xiàn)整車的設計和驗證過程[16,17]。虛擬場景下的訓練和測試，可以高效地實現(xiàn)對模型在不同場景下性能的全方面評估，提高了研發(fā)過程的效率和安全性?？紤]到虛擬世界和物理世界存在一定的數(shù)據(jù)差異，虛擬數(shù)據(jù)訓練下的模型難以完全適應真實場景，本文提出跨域目標檢測架構(gòu)來克服這一問題。此外，本文從模型結(jié)構(gòu)角度出發(fā)，提出一個啟發(fā)式注意力機制。本機制結(jié)合類激活映射[18]和視神經(jīng)科學[19]，提高檢測模型對特征的學習和定位能力，從而使得其能夠?qū)⑻摂M數(shù)據(jù)特征中學習到的知識應用于真實場景，增強網(wǎng)絡的泛化能力。本文的主要貢獻如表1所示。

2 元宇宙交通標志檢測框架

本文提出的面向元宇宙交通標志檢測框架首先通過場景映射，構(gòu)建平行于物理世界的人工維度空間(元宇宙)；隨后在元宇宙中利用虛擬數(shù)據(jù)完成檢測算法的訓練和測試，通過模型映射完成元宇宙到物理世界算法性能的高效統(tǒng)一。所提元宇宙交通標志檢測框架如圖1所示。

圖1 面向元宇宙的交通標志檢測框架

場景映射是物理世界中的各類元素在元宇宙一一表示的過程，從而建立一個基于物理世界的自定義人工維度空間。該過程實現(xiàn)了交通標志檢測框架在數(shù)據(jù)層面的兩種范式轉(zhuǎn)變：交通數(shù)據(jù)收集的范式轉(zhuǎn)變和技術(shù)測試的范式轉(zhuǎn)變。

基于元宇宙的交通標志檢測以人工生成大規(guī)模數(shù)據(jù)代替?zhèn)鹘y(tǒng)的傳感器數(shù)據(jù)收集。元宇宙中生成環(huán)境和對象的方法主要有兩種，一是通過反映物理世界來描繪的方法，二是創(chuàng)建新的虛擬環(huán)境的方法[20]。現(xiàn)有對元宇宙的空間構(gòu)建大多通過開源模擬器或商業(yè)游戲引擎，如Unity 3DS MAX[21], OpenGL[22]和Google 3D[23]。物理世界被認為是眾多元素的集合，具體地，本文將其分為自然元素和人工元素。自然元素包括天氣(雨、霧、雪等)，光照(曝光、昏暗、白天、黑夜等)、環(huán)境(鄉(xiāng)村、野外、城市等)；人工元素包括交通元素(汽車、人、車道線、交通標志等)、道路(高速公路、隧道等)、突發(fā)事故(火災、車禍、堵塞等)。模擬器或游戲引擎可以通過各類元素的排列組合自定義完成人工維度空間的構(gòu)建，即元宇宙。空間構(gòu)建完成后，可在元宇宙中設置虛擬傳感器以模擬實際傳感器以生成不同的虛擬數(shù)據(jù)，從而完成對場景的自動標注。上述數(shù)據(jù)的構(gòu)建和標注過程具體如圖2所示。場景映射實現(xiàn)的另一個范式轉(zhuǎn)變是虛擬測試和學習。高保真模擬對于交通標志檢測器的測試中至關(guān)重要，對于自動駕駛中的人工智能(Artificial Intelligence, AI)技術(shù)，需要數(shù)億公里才能證明它提供給了統(tǒng)計上安全的駕駛機會[24]。然而，一方面數(shù)億公里的測試環(huán)境所需成本較高，且即使是數(shù)億公里依然無法保證涵蓋了所有可能遇到的交通環(huán)境，另一方面，物理世界的測試存在一定的安全隱患，若完全模擬實際交通場景，其測試風險將會進一步提高。元宇宙能夠為交通標志檢測提供大量測試場景，且在虛擬環(huán)境中的測試結(jié)果也可以向物理世界推薦額外的場景數(shù)據(jù)集以及檢測器本身存在的不足[25]。

圖2 元宇宙虛擬交通場景構(gòu)建

模型映射被用于滿足算法模型在元宇宙和物理世界中保持其性能一致性。因為虛擬數(shù)據(jù)集在分辨率、色彩、噪聲等方面與真實數(shù)據(jù)具有一定的差異，且虛擬數(shù)據(jù)與真實數(shù)據(jù)的分布式不一致，這些導致虛擬數(shù)據(jù)上訓練和測試完成的模型在物理世界應用時無法發(fā)揮其最大的性能?；诖耍疚膹哪Ｐ陀柧毢湍Ｐ徒Y(jié)構(gòu)兩方面進行優(yōu)化，建立模型映射使得在元宇宙中訓練和測試完成的模型能夠無差別地應用于物理世界。首先，針對數(shù)據(jù)域不同的問題，本文提出基于域自適應目標檢測方法構(gòu)建元宇宙和物理世界中的模型。構(gòu)建元宇宙域(Metaverse Model,MM)和物理世界域(Physical Model, PM)作為虛實空間中的模型，結(jié)合了知識蒸餾結(jié)構(gòu)[26]與均值教師模型[27,28]來完成從元宇宙到物理世界的跨域交通標志目標檢測。其次，本文提出了基于啟發(fā)式注意力機制的交通標志檢測網(wǎng)絡。啟發(fā)式注意力機制依托于視神經(jīng)科學理論和特征可視化技術(shù)(Class Activation Mapping, CAM)，能夠提高檢測網(wǎng)絡的泛化能力和魯棒性，從而保證了虛實場景轉(zhuǎn)換時模型性能的一致性。在第3節(jié)中將對元宇宙交通標志檢測框架中模型映射部分進行展開介紹。

3 元宇宙-物理世界模型映射

本節(jié)內(nèi)容主要介紹了所提出的元宇宙到物理世界中所存在的模型映射，主要由跨域檢測和啟發(fā)式注意力組成，前者實現(xiàn)了元宇宙到物理世界的權(quán)重更新，后者優(yōu)化模型結(jié)構(gòu)從而提升了模型自身泛化能力和魯棒性。模型映射使得虛擬數(shù)據(jù)下訓練和測試完成的算法/模型在面對物理世界的場景時，能夠具備同樣的檢測性能，使得面向元宇宙的交通標志檢測架構(gòu)具備實際應用意義，具體如圖3所示?？紤]重參數(shù)VGG (Re-parameterization VGG,RepVGG)網(wǎng)絡[29]的靈活性和輕量化，本文采用其作為特征提取網(wǎng)絡來完成對元宇宙下的標注源數(shù)據(jù)與物理世界中的未標注目標數(shù)據(jù)的特征提取。將特征提取網(wǎng)絡生成的深層特征分別通過視覺注意力模塊和CAM模塊進行注意力干預操作，使得特征圖中的無效特征與噪聲特征被抑制，增強深層特征圖中的細節(jié)表征和有效表征。其次將生成的3個特征圖通過特征金字塔網(wǎng)絡完成特征的深度融合，最后網(wǎng)絡對其進行預測得到實際的預測結(jié)果。

圖3 基于視神經(jīng)科學的跨域目標檢測網(wǎng)絡

3.1 跨域檢測

模型映射中的跨域檢測中的MM和PM具備相同的網(wǎng)絡結(jié)構(gòu)。前者通過標準的梯度下降方式更新，而PM則通過指數(shù)移動平均(Exponential Moving Average, EMA)[30]方法使用來自MM的權(quán)重更新自身的權(quán)重。

基于元宇宙來完成交通標志檢測的另一個優(yōu)勢在于不需要大面積采集現(xiàn)實世界的交通標志數(shù)據(jù)并一一標注。本文假設元宇宙中采集的數(shù)據(jù)Im均是帶有標注的，其標志信息包括目標邊界框信息和類別信息，例如第i張圖片的目標邊界框信息為Bi={Bj|, Bj=(xj, yj, wj, hj)}，類別信息為Ci={Cj|, Cj∈(0, 1, ···, c)}，其中N代表一張圖像中包含的交通標志目標個數(shù)，c代表交通標志的總類別數(shù)。本文還假設在交通標志檢測任務中，實際采集到的交通標志圖像Ir是不存在對應的標注信息。所以本文預設定了兩個數(shù)據(jù)域：(1)元宇宙下的源域Dm={ (,,C|)}；(2)物理世界下的目標域Dr={(Ir|)}。MM和PM將分別從這兩個數(shù)據(jù)域中挖掘信息，通過跨域目標檢測網(wǎng)絡完成源域到目標域的風格遷移，使得PM能夠有效的檢測現(xiàn)實世界中的交通標志。

元宇宙下的跨域檢測框架如圖4所示。本文通過在元宇宙使用標注源數(shù)據(jù)集Dm訓練監(jiān)督模型，并構(gòu)建了損失函數(shù)如式(1)所示。通過使用回歸損失和分類損失來加速元宇宙下模型的收斂。Lmeta(Im,Bm,Cm)代表元宇宙下訓練的總損失，其包含了兩個部分：回歸損失Lres(Bm,Im)和 分類損失Lcls(Cm,Im)

圖4 元宇宙下的跨域檢測框架圖

其中，Lres使用GIOU損失，其根據(jù)目標實際邊界框和MM預測到的邊界框，調(diào)整模型預測交通標志位置的能力，Lcls使用Focal損失，通過二值交叉熵計算分類概率和目標分數(shù)。

根據(jù)跨域目標檢測結(jié)構(gòu)，PM模型通過EMA方法從MM中完成權(quán)重更新。假設PM模型和MM模型的權(quán)重參數(shù)分別為Pp和Pm，在每一輪訓練迭代過程中，P通過式(2)來更新Pr

其中，γ是指數(shù)因子，其理想值需要盡可能接近1.0，本文設置為0.999。

在域自適應目標檢測任務進行中，本文首先將物理世界下未標記的目標數(shù)據(jù)Dp作為PM的輸入。我們還將部分未標記的數(shù)據(jù)Ip作為MM的輸入來訓練。在蒸餾過程中，通過從PM模型的預測中選取具有高概率高置信度的邊界框作為偽標簽，MM模型通過訓練降低源域與目標域之間的方差來增強模型的魯棒性。本文通過使用蒸餾損失來降低兩個模型之間預測的不一致性

其中FB(·)和FC(·)分別為RM模型預測分支的邊界框坐標和類別信息以及最大的類別分數(shù)。GB(·)和GC(·)代表對應的過濾器。具體來說，本文在訓練期間的每一輪迭代中均增加了一個評估過程，使用非極大值抑制(Non-Maximum Suppression, NMS)來過濾按目標置信度排序的預測邊界框。然后本文將選擇類別分數(shù)高于固定閾值的邊界框作為偽標簽來提供目標域(即物理世界)模型的實例信息。

3.2 啟發(fā)式注意力機制

模型的泛化能力和魯棒性反映了模型在面對全新數(shù)據(jù)時能否具有與測試結(jié)果相當?shù)臋z測能力。對于元宇宙的交通標志檢測架構(gòu)而言，提高模型的泛化能力和魯棒性能夠使得其在虛擬數(shù)據(jù)訓練和測試的條件下，在物理世界也具備同等的檢測性能。注意力機制在人類視覺機制中可以解釋為傾向于關(guān)注圖像中輔助判斷的信息，并忽略掉不相關(guān)的信息[31]。通過注意力機制，檢測模型在訓練階段通過虛擬數(shù)據(jù)學習如何最大程度地關(guān)注和定位所需的目標信息，從而在物理世界的應用中可以忽略背景信息，僅關(guān)注已學習的目標信息，實現(xiàn)對目標的快速定位和檢測。

視神經(jīng)科學中早期到最近的理論模型認為，激活、選擇和控制參與了大腦注意力的構(gòu)建[32]。注意力是一個多維結(jié)構(gòu)，它是一種狀態(tài)，在該狀態(tài)下存在一個最佳的激活水平，使得人們可以選擇想要優(yōu)先處理的信息，以控制我們的行動過程。大腦中神經(jīng)元反應的選擇性與興奮/抑制連接息息相關(guān)[33]。信息量最大的神經(jīng)元與周圍神經(jīng)元會表現(xiàn)出不同放電模式，同時大腦中存在的空間抑制現(xiàn)象會使得興奮神經(jīng)元對周圍神經(jīng)元活動進行抑制。

本文基于視神經(jīng)科學理論，引入能量函數(shù)對單個神經(jīng)元的重要性進行估計，以此實現(xiàn)3維注意權(quán)重的精簡計算。首先，需要找到網(wǎng)絡中對周圍神經(jīng)元具有較強空間抑制的神經(jīng)元。本文通過測量目標神經(jīng)元和其他神經(jīng)元之間的線性可分性提取出這部分神經(jīng)元。首先對目標神經(jīng)元和其他神經(jīng)元進行線性分類，并為二者分配對應標簽，設置線性函數(shù)wx+b進行二分類，通過MSE損失函數(shù)來對w和b進行優(yōu)化。每個神經(jīng)元的能量函數(shù)定義為

其中，t? =wtt+bt,x?i=wtxi+bt是關(guān)于t和xi的線性變化，其中t, xi分別表示輸入特征圖在單一通道中的目標神經(jīng)元和其他神經(jīng)元。i為空間維度上的索引，M=H×W，表示該通道中神經(jīng)元的數(shù)量。wt和bt表示線性變換中的權(quán)重和偏差。通過最小化方程，式(4)等價于找到目標神經(jīng)元t與同一通道中所有其他神經(jīng)元之間的線性可分性。

這里為了簡化方程，將yt和y0采用二進制標記，即yt=1, y0=-1。同時式(4)添加正則化符，最終表達式為

每一個通道上有M個神經(jīng)元，因此理論上一個通道上具有M個能量函數(shù)。利用wt和bt的快速閉式解對式(5)進行簡化

其中，ut和σ2分別為單一通道中除了目標神經(jīng)元外的其余神經(jīng)元的均值和方差。

假設單個通道中所有的像素遵循相同分布，因此可以計算所有神經(jīng)元的均值和方差，并重新用于該通道上的所有神經(jīng)元，以此降低計算成本?；谑?6)和式(7)，能量函數(shù)更新為

由式(10)可得，能量函數(shù)越小，目標神經(jīng)元與周圍神經(jīng)元的線性可區(qū)分性約到，也就是說明該神經(jīng)元在網(wǎng)絡中所發(fā)揮的作用越大。因此將Et的倒數(shù)作為每個神經(jīng)元的重要性分數(shù)，最終使用Sigmoid函數(shù)來完成對權(quán)重圖的細化。ME表示對特征圖中全部通道進行能量函數(shù)求解，對于輸入特征圖I，其輸出注意力圖MA計算為

為了簡化計算，式(10)的成立基于單個通道中像素遵循相同分布的原則，同時上述方法是對一個通道上的神經(jīng)元進行處理，無法實現(xiàn)跨通道的信息交互。從全圖視角而言，僅依靠能量函數(shù)，并不能準確的定位圖中的目標區(qū)域。深度神經(jīng)網(wǎng)絡中的類激活映射能夠通過計算卷積特征映射的加權(quán)和來突出感興趣部分，定位目標對象區(qū)域，而CNN的淺層具有更大的空間分辨率，能夠捕獲目標對象的更精細的細節(jié)[34]。 因此，本文通過對淺層特征圖的類激活映射作為語義感知輸入，以約束通過能量函數(shù)得到的注意力圖，引導其實現(xiàn)目標區(qū)域的聚焦。

首先，本文對第k個特征圖在空間位置(i, j)上進行權(quán)重定義，具體為

將得到的MA和MC相乘，得到最終的注意力圖M

4 實驗分析

4.1 實驗環(huán)境及設置

本文在統(tǒng)一的硬件環(huán)境下對本文所提出的方法和對比方法進行模型的訓練和評估。硬件環(huán)境配置為：CPU(Intel(R) Xeon(R) Gold 6242R CPU @3.10 GHz)、內(nèi)存(256 GB)、顯卡(8×GeForce RTX 3 090)和顯存(8×24 GB)等。初始訓練神經(jīng)網(wǎng)絡的超參數(shù)設置為：Batch-size(8×32)、訓練輪次Epochs(200)、圖像縮放尺寸(640×640)。本文采用分布式訓練，8張顯卡將分別搭載32 Batch-size的數(shù)據(jù)進行訓練。

4.2 數(shù)據(jù)集介紹

CURE-TSD[2]：CURE-TSD數(shù)據(jù)集是由喬治亞理工學院發(fā)布的用于研究交通標志識別算法在挑戰(zhàn)性環(huán)境下的魯棒性問題。該數(shù)據(jù)集由真實環(huán)境和非真實環(huán)境組成，其中的虛擬數(shù)據(jù)集對應于在虛擬環(huán)境中生成的合成序列，包含各類極端惡劣天氣場景下的虛擬交通標志場景。CURE-TSD數(shù)據(jù)集包含14個交通標志類別，具體類別如圖5所示。

圖5 CURE-TSD類別信息

Virtual KITTI(VKITTI)[20]和KITTI[21]：VKITTI包含50個高分辨率的單目視頻(21 260幀)。該數(shù)據(jù)集是由仿真圖像合成的虛擬視頻數(shù)據(jù)集，視頻在不同的成像和天氣條件下從城市環(huán)境中的5個不同虛擬世界生成。其中的虛擬世界通過Unity游戲引擎和一種新穎的真實到虛擬的克隆方法創(chuàng)建。該虛擬場景在KITTI數(shù)據(jù)集中存在對應的物理世界場景。

Meta-CURE：本文提出了一個元宇宙數(shù)據(jù)域下的數(shù)據(jù)集，稱之為Meta-CURE(Metaverse CURE TSD)。該數(shù)據(jù)集是實際CURE-TSD的基礎上，首先對CURE-TSD數(shù)據(jù)集做數(shù)據(jù)篩選，剔除相似場景的數(shù)據(jù)；其次，通過Unity3D構(gòu)建出一比一對應的虛擬場景數(shù)據(jù)。通過這樣的場景映射方法，本文得到了5 440張尺寸為1 628×1 236的元宇宙數(shù)據(jù)集。

4.3 訓練設置

本文設置了兩個訓練過程，(1)物理世界域下訓練；(2)元宇宙域與物理世界域聯(lián)合跨域訓練。

訓練方式1本文采用CURE-TSD數(shù)據(jù)集中真實場景的圖像以及對應的標簽作為訓練數(shù)據(jù)集與測試數(shù)據(jù)集。從后續(xù)的對比實驗中可以看到，本文引用的交通標志檢測方法以及本文所提出的方法均在訓練方式1下完成訓練并測試。

訓練方式2在訓練方式2中，本文將使用獨立的兩部分數(shù)據(jù)集進行訓練，分別是元宇宙數(shù)據(jù)集(DV)和物理世界數(shù)據(jù)集(DR)。DV由CURE-TSD數(shù)據(jù)集中的虛擬部分以及Meta-CURE數(shù)據(jù)集組成，DR由CURE-TSD數(shù)據(jù)集中的真實部分組成。其中DV是具有標簽的，DR是無標簽的。本文基于訓練方式2完成元宇宙域到物理世界域的模型跨域訓練。

本文將訓練完成后的模型在VKITTI以及對應的KITTI數(shù)據(jù)集上分別測試，以此來驗證提出方法的魯棒性和泛化能力。

4.4 結(jié)果分析

本文選取精度、召回率、mAP, AP50, APS,APM, APL7個指標來評判模型在檢測精度上的性能。APS, APM, APL分別表示對于小、中、大尺寸的交通標志的平均檢測精度。按照MS-COCO數(shù)據(jù)集對尺寸的劃分標準[35]，其中目標所占像素小于322的為小尺寸，大于322小于962的為中等尺寸，大于962的為大尺寸目標。同時通過指標FPS來衡量各個方法的檢測速度。為了驗證元宇宙下交通標志檢測網(wǎng)絡訓練測試的有效性，所提出的網(wǎng)絡在虛擬數(shù)據(jù)集和真實數(shù)據(jù)集下進行訓練，并在同樣的真實場景下進行測試，其結(jié)果如表2所示。

表2 在CURE-TSD數(shù)據(jù)集上的對比實驗

其中，引用的對比方法均在CURE-TSD的真實數(shù)據(jù)集進行訓練。本文對提出的網(wǎng)絡的評估分別兩種情況：(1)不使用跨域結(jié)構(gòu)，僅在CURE-TSD的真實數(shù)據(jù)部分上訓練并測試；(2)使用跨域結(jié)構(gòu)，在整個CURE-TSD數(shù)據(jù)集以及Meta-CURE上訓練并測試?？梢钥吹剑疚奶岢龅姆椒ㄔ诟鱾€指標下均優(yōu)于其他交通標志檢測方法，并且所提出的跨域訓練結(jié)構(gòu)能夠使得模型在真實場景下的精度高達89.7%，mAP高達48.0%，與在真實場景下訓練的模型的精度僅相差2.7%。虛擬數(shù)據(jù)訓練是元宇宙對交通標志檢測任務的直接反映，表2中的4個對比實驗均是在真實數(shù)據(jù)集下進行訓練和測試，他們的檢測精度也均低于本文在元宇宙下訓練完成的結(jié)果。最后兩行對比了所提出的網(wǎng)絡分別在物理世界和元宇宙下訓練后的測試結(jié)果。可以看到虛擬數(shù)據(jù)訓練下的檢測精度與真實數(shù)據(jù)訓練下模型的檢測精度并無明顯差異。

進一步，表3通過訓練數(shù)據(jù)的不同配置來驗證所提出的方法能夠通過虛擬數(shù)據(jù)代替真實場景數(shù)據(jù)，減少數(shù)據(jù)采集、標注的時間成本和人工成本。第1部分的訓練數(shù)據(jù)為20 000張CURE-TSD數(shù)據(jù)集中的真實場景，第2部分包括10 000張的虛擬場景數(shù)據(jù)和5 000張的真實場景數(shù)據(jù)。測試數(shù)據(jù)集從CURE-TSD數(shù)據(jù)集中的真實場景數(shù)據(jù)組成。表3中可以看到，由于減少了真實場景數(shù)據(jù)訓練，各個指標都會有所下降。對于4個對比方法，由于無法將虛擬數(shù)據(jù)中的學習知識能夠較好的遷移到真實場景下，指標會出現(xiàn)大幅度下降，文獻[10]在精度指標上下降了5.0%，本文提出的方法僅下降了1.2%。其他指標上，本文所提方法也可以較好的通過虛擬數(shù)據(jù)提取關(guān)鍵特征，在真實場景下具有較好的檢測性能。

表3 不同訓練數(shù)據(jù)配置下的對比實驗

圖6展示了上述方法在特殊場景下的測試樣例，可以看到本文提出的方法在一些極端場景下也具有優(yōu)異的檢測結(jié)果，進一步說明元宇宙下的交通標志檢測模型訓練和測試對實際應用具有較大的貢獻。為了體現(xiàn)元宇宙下虛擬數(shù)據(jù)的豐富性可以提高模型的泛化能力，本文將在訓練方式2下訓練完成的模型在KITTI和VKITTI數(shù)據(jù)集上進行測試，其結(jié)果如圖7所示。

圖6 本文提出的方法在CURE-TSD數(shù)據(jù)集上的測試結(jié)果

圖7 本文所提提方法在VKITTI和KITTI上的測試結(jié)果

從圖7可以直觀的看到，無論是在虛擬場景還是真實場景，所訓練完成的模型均有較好的檢測性能。無論是不同尺寸還是不同場景下的交通標志，都能夠?qū)ζ溥M行精準的定位和識別。本文將兩個數(shù)據(jù)集上各個類別的準確率和平均置信度進行統(tǒng)計，具體如表4所示。本文將置信度的閾值設置為0.7，對于置信度超過閾值的檢測結(jié)果將其判斷為識別正確。其中KITTI數(shù)據(jù)集上的平均測試精度為75.7%，在虛擬數(shù)據(jù)集VKITTI上的平均測試精度較KITTI數(shù)據(jù)集高了3.1%。KITTI和VKITTI上測試的平均置信度分別為74.7%和77.4%。選取5類出現(xiàn)次數(shù)較多的交通標志進行平均置信度的統(tǒng)計，其中“禁止停車”的標簽識別率在KITTI和VKITTI上分別達到了82.1%和84.3%?？梢钥闯鰡l(fā)式注意力機制能夠在一定程度上提高模型的泛化能力，從而能夠使得元宇宙下訓練完成的模型更好的適應物理世界。

表4 提出方法在KITTI, VKITTI數(shù)據(jù)集上測試結(jié)果

圖8展示了所提出的方法在Meta-CURE數(shù)據(jù)集上的測試結(jié)果。Meta-CURE為本文提出的元宇宙數(shù)據(jù)域下的交通標志數(shù)據(jù)集。數(shù)據(jù)集具備豐富多樣的變化場景，涵蓋了大部分車輛實際運行過程中所面臨的工況?？梢钥吹剑ㄟ^元宇宙數(shù)據(jù)域的訓練，模型在惡劣、復雜的天氣下實現(xiàn)對小尺寸交通標志的精準定位和識別。

圖8 本文所提方法在Meta-CURE數(shù)據(jù)集上的測試樣例

圖9對網(wǎng)絡在特征提取過程中的熱力圖進行可視化。其中紅色部分代表特征聚焦區(qū)域，文獻[2,34]中的特征圖的可視化熱力圖中，聚焦區(qū)域并不能準確的定位到所需要的目標，且會將注意力定位到無關(guān)背景中。本文基于CAM可以更好地定位到圖中的交通標志所在區(qū)域，從而提高特征提取能力。

圖9 本文所提方法與其他方法的熱力圖對比

4.5 消融實驗

元宇宙為交通標志檢測任務提供了更多更豐富的場景數(shù)據(jù)，可以更好地提高訓練模型的魯棒性。因此本節(jié)中的消融實驗均在元宇宙環(huán)境下進行，本文將通過實驗驗證啟發(fā)式注意力機制和跨域檢測結(jié)構(gòu)對元宇宙下交通標志檢測任務的有效性。實驗均在CURE-TSD數(shù)據(jù)集上訓練和測試，并加入計算量(Giga Floating-point Operations Per Second,GFLOPs)作為計算復雜的衡量指標，結(jié)果如表5所示。

表5 在CURE-TSD數(shù)據(jù)集上的消融實驗

可以看到，加入啟發(fā)式注意力機制后，模型的各個檢測精度均有所上升，能更好地適應物理世界的駕駛場景。同時，該結(jié)構(gòu)上的變化對模型的尺寸規(guī)模并沒有產(chǎn)生明顯的影響，避免過大的計算負擔，實現(xiàn)檢測精度和檢測速度之間較好的均衡?？缬驒z測模塊的增加使得虛擬數(shù)據(jù)集下訓練完成的模型可以更好的適應物理世界檢測，在CURE-TSD數(shù)據(jù)集上訓練完成的模型在真實數(shù)據(jù)上測試的精度從85.3%上升至89.7%。因此，本文提出的基于知識蒸餾和均值教師模型的模型映射對于元宇宙下交通標志檢測任務具有重要意義，一定程度上彌補了因虛實數(shù)據(jù)差異導致的檢測性能下降。

5 結(jié)束語

針對交通標志檢測模型訓練和測試條件苛刻，長距離的多工況測試成本昂貴，且無法保證其安全性和可靠性等問題，本文提出了一種面向元宇宙的交通標志檢測新范式。通過開源模擬器建立虛擬數(shù)據(jù)集，提高數(shù)據(jù)的數(shù)量和多樣性。構(gòu)建了基于知識蒸餾和均值教師模型的模型映射方法，以實現(xiàn)從元宇宙到物理世界的跨域?qū)W習，減少模型對真實數(shù)據(jù)集的依賴性。此外，本文還提出了基于視神經(jīng)科學和CAM的啟發(fā)式注意力機制，能夠加強檢測器的目標定位和引導，提高模型對虛實數(shù)據(jù)的特征學習。提出的交通標志檢測架構(gòu)在CURE-TSD, VKITTI和KITTI數(shù)據(jù)集上表現(xiàn)出了優(yōu)異的性能，即使在使用較少的真實數(shù)據(jù)進行訓練的情況下，在現(xiàn)實世界中也能獲得很好的檢測效果。與當前先進的目標檢測方法相比，本文方法在檢測精度方面達到了89.7%。未來，作者團隊將從虛擬數(shù)據(jù)構(gòu)建出發(fā)，繼續(xù)研究元宇宙對交通標志檢測以及自動駕駛中其他視覺技術(shù)的幫助和影響。本文提出的方法為解決交通標志檢測中的數(shù)據(jù)集規(guī)模和質(zhì)量問題提供了新思路，也為實現(xiàn)多場景下的穩(wěn)定高效運行提供了新的途徑。