【摘要】目標檢測技術在現代社會中起著至關重要的作用，但單一傳感器方法通常難以應對復雜多變的環境。為了提高系統的檢測精度和魯棒性，該文提出一種基于雷達和視頻融合的目標檢測方法，該方法通過設計多模態特征提取網絡，實現了雷達點云數據和視頻圖像的深度特征提取，利用跨模態注意力機制對兩個異構數據的互補信息進行有效整合，融合決策模塊輸出檢測結果，實驗表明該方法在不同環境和場景下均具有優異的檢測性能，為多傳感器融合目標檢測領域提供了新的研究思路。

【關鍵詞】目標檢測|雷達|視頻|數據融合|多模態|深度學習

作為計算機視覺的核心任務之一，目標檢測在智能監控、自動駕駛、機器人等領域得到了廣泛的應用，然而傳統的基于單一傳感器的檢測方法往往難以應對復雜多變的實際環境。例如光學相機容易受到光線和天氣的影響，而雷達具有全天候工作的能力，但空間分辨率較低，因此融合多個異構傳感器數據以提高目標檢測的準確性和魯棒性成為當前的研究熱點，該文提出一種將雷達和視頻數據相結合的融合目標檢測方法，旨在通過深度學習技術實現兩種模態數據的有效融合，克服單一傳感器的局限性。

一、相關工作

（一）基于深度學習的視覺目標檢測

近年來深度學習技術在視覺目標檢測領域取得了令人矚目的進展，卷積神經網絡（CNN）作為深度學習的核心架構，已成為視覺目標檢測的主流方法，典型的CNN目標檢測模型包括R-CNN系列、YOLO系列、SSD系列等。這些模型通過多層卷積和池化操作提取圖像的多尺度特征，然后使用全連接層或卷積層進行目標分類和邊界盒回歸，為了提高檢測性能，研究人員提出了多種改進策略，如特征金字塔網絡（FPN）、注意力機制和多尺度訓練等，以應對實際場景中復雜的背景和遮擋問題，一些新的網絡結構如互感器、圖神經網絡等也被引入到視覺目標檢測任務中，進一步提高了檢測的準確性和魯棒性[1]。

（二）毫米波雷達在目標感知中的應用

毫米波雷達憑借其全天候工作能力和精確測距的優勢，在目標感知領域得到了廣泛的應用，與傳統雷達相比，毫米波雷達具有更高的帶寬和分辨率，可以提供更詳細的目標信息，在目標檢測方面毫米波雷達可以通過處理多普勒頻移來定位和識別目標，反射信號的到達時間和到達角度。常用的信號處理方法包括常數虛警率檢測（CFAR）、定向角度估計（DOA）和聚類算法等，隨著深度學習技術的發展，基于點云數據的三維目標檢測算法如PointNet、VoxelNet等，也被應用于毫米波雷達數據處理，進一步提高了檢測精度，然而毫米波雷達在目標識別和分類方面仍存在一定的局限性，這是當前研究的重點方向之一。

二、系統架構與數據預處理

（一）多傳感器數據采集平臺設計

多傳感器數據采集平臺的設計是實現雷達和視頻融合目標檢測的基礎，該平臺主要由毫米波雷達、高清攝像頭、數據同步模塊和中央處理器組成。毫米波雷達采用77GHz頻段，具有較高的距離分辨率和角度分辨率，可以提供準確的目標距離、速度和方向信息；高清攝像頭采用1920x1080分辨率和30fps幀率，確保視頻圖像清晰；數據同步模塊采用高精度GPS/IMU組合導航系統，實現雷達和視頻數據的時間同步和空間配準；中央處理器采用高性能嵌入式計算平臺，例如NVIDIAJetsonAGXXavier具有足夠的計算能力來處理多模態數據。

為了保證數據采集的穩定性和準確性，傳感器安裝位置經過精心設計，毫米波雷達安裝在平臺前部中央，保證360度無遮擋的探測范圍，高清攝像頭直接安裝在雷達上方，視場與雷達探測范圍重疊，方便后續的數據融合。GPS天線安裝在平臺頂部以獲得最佳的衛星信號，所有傳感器都通過高速以太網連接到中央處理器以確保實時數據傳輸，平臺還配備了大容量固態硬盤，用于存儲原始數據，方便離線分析和算法優化，整個系統采用模塊化設計，便于維護和升級，考慮到防水、防塵、抗震等環境適應性要求，確保在各種復雜環境下穩定工作[2]。

（二）雷達點云和視頻圖像預處理流程

雷達點云和視頻圖像的預處理是融合檢測的關鍵步驟，旨在提高數據質量，降低后續處理的計算復雜度，對于雷達點云數據，預處理過程主要包括雜波濾波、數據下采樣和坐標系統轉換。噪聲濾波采用改進的CFAR算法，根據環境動態調整檢測閾值，有效消除地面反射和靜態目標的干擾，采用體素濾波方法進行數據下采樣，將原始點云分割成大小相等的體素并用每個體素的中心點替換體素中的所有點，大大減少了數據量，坐標系轉換將雷達坐標系下的點云數據轉換為統一的世界坐標系，為后續與視頻數據的融合奠定了基礎。

視頻圖像預處理主要包括畸變校正、光線均衡和圖像增強，畸變校正采用張正友棋盤法對相機進行校準，消除鏡頭引起的徑向和切向畸變，光均衡采用自適應直方圖均衡技術，提高不同光照條件下圖像的對比度，改善圖像細節，同時抑制噪點。為了提高處理效率，對原始圖像進行縮放，分辨率降低到640x480，同時保持原始縱橫比，預處理圖像的色彩空間轉換是從RGB到YUV格式進行的，方便后續的特征提取，整個預處理過程在GPU上并行實現以確保實時性能，這些預處理步驟顯著提高了雷達點云和視頻圖像的質量，為后續的多模態特征提取和融合奠定了堅實的基礎。

三、多模態特征提取網絡

（一）三維卷積神經網絡用于雷達特征提取

針對雷達點云數據的特征提取，設計了一種基于三維卷積神經網絡的特征提取方法，網絡結構由多層3D卷積層、3D池化層和批量歸一化層組成。能夠有效處理雷達點云的時空信息，網絡輸入為預處理后的雷達點云數據，其大小為128x128x64x4，其中128x128表示空間分辨率，64表示時間幀數，4表示每個點的特征維度（x、y、z坐標和反射強度）。網絡的第一層使用32個3x3x3的3D卷積核，步長為1，填充大小為1，其次是ReLU激活函數和3D最大池化層（池化核大小為2x2x2，步長為2），后續層逐漸增加卷積核的數量，分別增加到64、128和256個，同時降低了特征圖的時空分辨率，在網絡的最后一層使用1x1x1卷積核輸出256個通道的特征圖[3]。

為了捕獲不同尺度的目標信息，在網絡中引入了膨脹卷積技術，通過設置不同的膨脹率受體場得到擴大，而參數的數量保持不變，具體來說，在中間層使用膨脹率為2和4的 3D腔體卷積有效提取大規模目標的特征。為了增強網絡對目標運動信息的感知，在特征提取過程中增加了時間序列注意力模塊，該模塊通過計算相鄰時間幀之間的相關性，自適應調整每一幀的特征權重并突出運動目標的特征表示，為了提高網絡的訓練效率和泛化能力，該文采用殘差連接和特征金字塔結構，緩解了深度網絡的梯度消失問題，同時特征金字塔結構整合了不同層次的特征，提供了多尺度的特征表示，通過這些技術的綜合應用，三維卷積神經網絡可以從雷達點云數據中提取豐富而緊湊的特征表示，為后續的多模態融合奠定基礎。

（二）改進型ResNet結構實現視頻特征提取

針對視頻數據的特征提取問題，本文提出一種基于改進ResNet結構的特征提取網絡。該網絡基于ResNet-50，為適應視頻數據的時空特性，進行了一系列改進，網絡輸入是16個連續幀的224x224分辨率RGB圖像，在網絡前端，采用（2+1）D卷積結構代替傳統的2D卷積，即將3D卷積分解為一系列的空間卷積和時間卷積，這種設計不僅減少了參數的數量而且提高了時間信息的建模能力。

為了增強網絡捕捉長時間依賴關系的能力，在ResNet的每一階段后都增加了一個Non-local模塊，該模塊可以通過計算特征圖中所有位置的相關性來有效地建模長距離依賴關系，特別適用于處理視頻中的運動信息，為了適應不同尺度的目標，在網絡中引入了多尺度特征融合機制，具體方法是將SpatialPyramidPooling（SPP）應用于不同階段的輸出特征圖，然后對不同尺度的特征進行串聯和1x1卷積融合，這種設計使網絡能夠同時關注本地細節和全局語義信息。

考慮到實時性需求，對原有的ResNet結構進行了輕量化。主要策略包括：（1）在部分卷積層使用群卷積來減少參數數量，同時保持特征多樣性；（2）采用頻道洗牌操作，加強不同群體之間的信息交流；（3）引入深度可分離卷積，進一步降低計算復雜度，通過這些改進的網絡參數的數量和計算量顯著減少，同時保持了較高的特征提取能力，該網絡輸出2048維特征向量作為視頻數據的緊湊表示，這種改進的ResNet結構不僅能有效提取視頻的時空特征，而且具有良好的計算效率，為實時多模態融合目標檢測系統提供了可靠的視覺特征。

四、跨模態注意力融合機制

（一）空間-時間注意力模塊設計

時空注意力模塊的設計旨在有效融合雷達和視頻特性并充分利用兩者模式的互補性，該模塊由空間注意力子模塊和時間注意力子模塊組成，通過自適應學習的方式調整特征的重要性，計算雷達和視頻特征圖中每個位置與所有其他位置的相關性。在具體實現中，將雷達特征圖R∈R^（C×H×W）和視頻特征圖V∈R^（C×H×W）通過1×1卷積層映射到查詢（Q）、鍵（K）和值（V）空間，然后計算Q和K的點積，經softmax歸一化后乘以V，得到注意力加權特征，這種操作使模型能夠專注于跨模式的空間相關性，有效地融合不同傳感器捕獲的空間信息，時間注意力子模塊側重于捕捉序列數據中的時間依賴性，利用自注意力機制對輸入的T幀特征序列進行建模[4]。

（二）特征級聯與自適應權重分配策略

特征級聯和自適應權重分配策略是實現雷達和視頻特征融合有效的關鍵，該策略采用多層次特征融合模式，充分利用不同層次特征的互補性，融合網絡淺層、中間層和深層的特征以捕獲不同尺度和抽象層次的信息。為了更好地平衡雷達和視頻特征的貢獻，該文引入一種自適應權重分配機制，該機制通過可學習參數α動態調整兩個模態特征的權重。融合特征F可以表示為：F=αf_radar+（1-α）F_video，其中α∈[0，1]，α的值由小型神經網絡根據輸入特征（如均值和方差）的統計量動態生成，使模型可以根據不同的場景自適應地調整融合策略，例如當照明條件較差時，它可能更多地依賴于雷達特性；當目標清晰可見時，可以更多地利用視頻功能。為了增強模型對不同模態特征相關性的理解，引入跨模態注意力機制，計算雷達特征與視頻特征之間的相似性矩陣，然后基于該相似性矩陣對特征進行加權，這種設計使模型在融合過程中能夠關注交叉模式的相關信息，提高了特征融合的有效性，為了保證融合特征的表現力，采用了特征重新校準技術。

五、融合決策與性能評估

（一）多尺度檢測頭和非極大值抑制

多尺度檢測頭設計用于高效處理不同尺寸和形狀的物體，探測頭由三個平行分支組成，分別對應于小、中、大尺度目標，每個分支包含多個卷積層和上層采樣層以生成不同分辨率的特征圖。

為了融合不同尺度的預測結果，本文采用特征金字塔網絡（FPN）結構，FPN通過自上而下的路徑和水平連接，將高級語義信息與低級細粒度特征相結合，生成多尺度融合特征圖，這種設計使探測頭能夠在不同尺度上共享特征并提高了小目標的探測性能，非極大值抑制（NMS）算法用于在生成最終檢測結果時消除重復檢測。NMS首先根據置信度對所有檢測框進行排序，然后逐個處理每個檢測框并計算其與其他檢測框的交集比（IoU），如果IoU超過預設閾值（如0.5），則抑制重疊較大的低置信度檢測框，為了進一步提高NMS的效果，引入了軟NMS技術，置信度不是直接刪除重疊檢測框，而是根據IoU值動態調整置信度，在處理密集目標場景時效果更好[5]。

（二）實驗設置與結果分析

實驗采用自建的多模態目標檢測數據集，包含同步采集的5000幀雷達點云和視頻圖像數據，數據集涵蓋了不同的天氣條件（晴天、雨天、霧天）和不同的時間段（白天、黃昏、夜晚），保證了實驗結果的代表性和魯棒性，目標類別包括行人、汽車、自行車和摩托車。該實驗平臺是使用NVIDIARTX3090GPU和PyTorch深度學習框架實現的，在訓練過程中使用了Adam優化器并將初始學習率設置為0.001，并采用退火策略來調整學習率，batchsize設置為16，訓練輪總數為100，實驗結果表明，所提出的融合方法在檢測各種目標方面均優于單模方法。

六、結語

基于雷達與視頻融合的目標檢測方法，通過多模式特征提取、跨模注意力融合和融合決策模塊，實現雷達與視頻數據的有效融合，實驗結果表明，該方法在復雜環境下表現出優異的檢測性能和魯棒性，為多傳感器融合目標檢測提供了新的研究思路，未來的工作將集中在優化算法效率上，探索更多的傳感器融合策略以滿足實際應用的需求，推動智能感知技術的進一步發展。中國軍轉民

參考文獻

[1]蔣文娟，劉經天，邵開麗.激光雷達融合機器視覺的物流分揀多目標視頻跟蹤[J].激光雜志，2024，45（06）：221-226.

[2]朱勇，黃永明，何幸.基于雷達和視頻融合的目標檢測[J].電子科技，2024，37（08）：1-7.

[3]孫景榮，劉思奇，張華，等.一種基于模糊理論的雷達與視頻融合交通目標跟蹤方法[J].電訊技術，2023，63（10）：1567-1573.

[4]段濤偉，陳平.雷達與視頻融合的復雜環境目標檢測方法[J].單片機與嵌入式系統應用，2023，23（02）：61-65.

[5]時亞麗，唐亮.融合雷達和視頻的目標檢測系統[J].電子技術與軟件工程，2020（05）：76-77.

（作者單位：王金全、楊波，中國人民解放軍66242部隊；田長超，和普威視光電股份有限公司）