融合4D毫米波雷達與深度視覺的目標檢測與跟蹤

摘要：為解決現有毫米波雷達和傳統機器視覺融合方案在復雜環境下車輛檢測準確率較低的問題，首先使用4D毫米波雷達替代傳統毫米波雷達，使用自適應卡爾曼濾波算法濾除雷達雜波并跟蹤目標；其次使用車輛數據集訓練改進深度視覺網絡MobileNetV2+SSDLite來提高視覺識別車輛的準確率；最后采用決策融合方案完成毫米波雷達信號和視覺信號融合。通過對比不同環境下的實驗結果表明，改進方案可以完成對目標車輛的有效估計與跟蹤，在不同環境下都有著很好的車輛識別效果，有著更好的可靠性和魯棒性。

關鍵詞：毫米波雷達車輛檢測卡爾曼濾波神經網絡深度視覺目標跟蹤

中圖分類號：P208

TargetDetectionandTrackingwiththeFusionofthe4DMillimeter-WaveRadarandDepthVision

ZHANGQintaiWANGJingzhuo*

SchoolofElectronicEngineering，JiangsuOceanUniversity，Lianyungang，JiangsuProvince，222000China

Abstract：Inordertosolvetheproblemofthelowvehicledetectionaccuracyoftheexistingfusionschemeofthemillimeter-waveradarandtraditionalmachinevisioninthecomplexenvironment，thisarticlefirstlyusesthe4Dmillimeter-waveradartoreplacethetraditionalmillimeter-waveradar，andusestheadaptiveKalmanfilteringalgorithmtofilteroutradarclutterandtracktargets.Then，itusesvehicledatasetstotrainandimprovethedepthvisionnetworkMobileNetV2+SSDLitetoimprovetheaccuracyofthevisualrecognitionofvehicles.Finally，itusesadecisionfusionschemetocompletethefusionofmillimeter-waveradarsignalsandvisualsignals.Bycomparingexperimentalresultsindifferentenvironments，itisshownthattheimprovedschemecaneffectivelyestimateandtrackthetargetvehicle，whichhasgoodvehiclerecognitioneffectsindifferentenvironmentsandhasbetterreliabilityandrobustness.

KeyWords：Millimeter-waveradar;Vehicledetection;KalmanfilterING;Neuralnetwork;Depthvision;Targettracking

隨著汽車保有量的逐漸增大，交通環境變得日益復雜，隨之而來的交通事故也越來越多。在此背景下，研究能進行車輛識別、跟蹤的車載系統很有必要。車載系統可以通過車載傳感器來獲取周圍環境信息為自動駕駛車輛的決策和控制提供參考依據[1]。

4D毫米波雷達由于在不同天氣和光照環境下性能穩定，同時可以解決傳統毫米波雷達點云稀疏、輸出信息過少的問題，因此4D雷達在目標檢測方面的表現要優于傳統雷達[2]。

視覺傳感器能夠采集到信息量豐富且適用于目標識別的數據，被廣泛應用到對前方車輛的檢測中。隨著深度學習領域的發展，基于深度學習進行目標檢測的算法主要分為以快速區域卷積網絡（FasterRegion-basedConvolutionalNeuralNetwork，FasterR-CNN）[3]為代表的一類基于分類目標檢測框架的算法，和另一類以單激發多框檢測器（SingleShotMultiBoxDetector，SSD）[4]為代表采用多尺度特征圖基于回歸的目標檢測框架的算法。

在實際應用中使用基于多傳感器融合的車輛檢測方法能夠融合多傳感器的優勢。趙望宇等人[5]提出一種擴展卡爾曼濾波（ExtendedKalmanFilter，EKF）的目標跟蹤方法，用來提高車輛信息檢測的穩定性。上述文章的雷達應用方案，盡管考慮到了雷達的噪聲對系統的影響，但未考慮噪聲的先驗統計特性以及雷達應用環境的動態變化，這將影響雷達的跟蹤檢測效果。

為了解決上述問題，文章使用4D毫米波雷達替代傳統毫米波雷達；使用自適應EKF算法對濾波器噪聲統計特性實時跟蹤和修正；改用MobileNetV2+SSDLite相結合的神經網絡來對前方車輛進行檢測；最后提出一種決策級融合策略將毫米波雷達與視覺算法相結合，完成對車輛目標的檢測。

14D毫米波雷達跟蹤

1.1基于AEKF的毫米波雷達跟蹤

毫米波雷達選用采埃孚（ZF）的ZFFR-Gen21毫米波雷達，該雷達工作頻率為13Hz。使用卡爾曼濾波（EextendedKalmanFiltering，EKF）可以提高車載毫米波雷達目標的位置跟蹤準確性，用于毫米波雷達跟蹤[6]。但是EKF算法在面對未知噪聲時的濾波誤差無法穩定，導致其濾波性能變差。AEKF（AdaptiveExtendedKalmanFiltering）通過實時監測觀測噪聲的變化來調節濾波增益，進而控制狀態預測值和狀態觀測值在濾波結果中的權重，最終達到更好的濾波效果。基于此，本文使用基于AEKF算法的4D毫米波雷達跟蹤方法[7]，通過自適應的估計和修正濾波器噪聲統計特性，提高濾波的精確度，進而優化估計狀態。

使用1階泰勒展開近似線性化得到狀態轉移矩陣和更新矩陣。

1.2毫米波雷達在視覺圖像上投影

雷達輸出信息經過濾波篩選后轉換從開始掃描時的點云到最后一次掃描的點云的坐標系，將毫米波雷達信息通過時間對齊和空間坐標系進行轉換，從而投射到視覺坐標系中，以便于后續毫米波雷達信息與視覺圖像信息融合[8]。

為了實現各傳感器信息融合，需要將各個傳感器的坐標系進行統一，相機坐標系與雷達坐標系的融合轉換模型如下：

式（8）中：為單位正交旋轉矩陣，其大小取決于相機的偏航角和俯仰角；為平移向量；為相機焦距；為縮放因子；、分別表示每個單位像素在橫、縱軸上的大小；為雷達檢測到的目標物在毫米波雷達坐標系中的坐標；為該目標物在圖像坐標系中的坐標；為目標物在相機坐標系中的軸坐標。

2基于深度視覺的車輛檢測

SSD神經網絡算法利用CNN提取特征，能夠一次完成目標的檢測和分類過程，檢測速度也大大提高；將SSD預測層中所有常規卷積替換成可分離卷積，就變成了SSD的修改版本SSDLite。這種設計更符合MobileNets的總體設計，有著更少的參數和更小的計算復雜度，在計算效率上更高。

由于MobileNetV2作為輕量級網絡模型有著更快的檢測速度和更高的檢測效率，因此用MobileNetV2替換SSDLite中的VGG網絡。算法的訓練和檢測使用VoD（View-of-Delft）數據集中的車輛樣本[9]，結合采埃孚官方的公開數據集，得到道路實測數據和毫米波雷達的原始數據以及帶標注的雷達點云信息。數據集包含26949個小轎車樣本，以及2601個卡車或者其他型號車輛。使用車輛目標數據集進行神經網絡訓練，用其中9000張標注過的數據集進行訓練，3000張數據集進行檢測。最終計算得到檢測的平均準確率AP（AveragePrecision）的值為0.768。

基于MobileNetV2+SSDLite神經網絡的檢測方法進行車輛識別的平均準確率能達到86.9%，平均漏檢率為2.9%，算法檢測速度為22fps。該結果表明，基于MobileNetV2+SSDLite神經網絡的檢測方法有著快速準確識別前方車輛的能力，滿足實際應用。

3毫米波雷達信號與深度視覺信息融合

將前文中跟蹤到的雷達信號與深度視覺信息相融合，完成對車輛目標的檢測。傳統對雷達信號與視覺圖像特征整合一般都在2D平面，即對雷達點云得到的檢測框與視覺圖像得到的檢測框計算交并比（IOU）。然而在真實的自動駕駛場景中，復雜的交通環境需要滿足3D目標檢測的特征融合，因此需要計算3D中雷達的預測邊界和視覺的預測邊界的3DIOU。

當，輸出毫米波雷達和視覺信息融合后的檢測效果圖；當，分別輸出視覺檢測3D框和毫米波雷達檢測的目標位置；若3DIOU為0時分以下兩種情況：（1）雷達檢測目標為空，無論視覺檢測結果如何，都不輸出檢測結果；（2）當雷達目標檢測結果不為空，視覺檢測結果為空時，僅輸出雷達檢測目標位置。

4實驗結果分析

對VoD數據集中道路環境下的行駛車輛進行檢測研究。進行實驗所使用的平臺搭載IntelCorei7-8700處理器，NVIDIAGeForceRTX3060Ti顯卡。算法基于PyTorch神經網絡框架搭建，使用python語言。

實驗最終檢測結果如表1所示，使用傳統毫米波雷達與基于HOG特征的SVN分類器信息融合方案的文獻[5]的檢測結果如表2所示。

對比表4和表5的數據可以發現，本文所使用的AEKF濾波跟蹤后的4D雷達檢測效率相較于傳統的EKF濾波跟蹤的傳統毫米波雷達，在檢測準確率和漏檢率上的表現都要更加優秀。本文采用MobileNetV2+SSDLite的神經網絡算法泛用性好，可以在更好地應對復雜交通環境的同時提高視覺檢測目標的精確性，而且在相同條件下，改進后的神經網絡算法檢測速度由15fps提高到22fps。最后，決策級信號融合策略進一步提升了檢測車輛目標的精確性，通過信息融合降低光照、陰影、車輛目標外的障礙物等環境影響。提高了對道路上車輛位置、運動狀態和幾何參數的檢測效果。

5結論

本文針對傳統雷達點云稀疏以及毫米波雷達與機器視覺融合后的檢測實時性、準確性差的問題，使用點云數量更多的4D雷達，通過AEKF濾波跟蹤，在未知噪聲背景下，利用毫米波雷達的數據不斷對濾波器噪聲進行估計和修正，從而提高濾波的效果；針對傳統計算機視覺檢測泛用性差、檢測精度較低的問題，采用MobileNetV2+SSDLite神經網絡對車輛進行檢測；最后通過決策級融合框架策略實現毫米波雷達和視覺信息的融合，進一步提高檢測的準確性。實驗結果表明，改進后的融合算法在檢測精度以及檢測速度上相較于傳統算法都有提高。后續可通過進一步提高雷達分辨率和目標提取準確性進一步改進目標檢測的性能。

參考文獻

• FORTUNATIS，SANGUINETTIL，GINIF，etal.MassiveMIMOradarfortargetdetection[J].IEEETransactionsonSignalProcessing，2020，68：859-871.
• BANSALK，RUNGTAK，ZHUS，etal.Pointillism：Accurate3dboundingboxestimationwith multi-radars[C]//Proceedingsofthe18thConferenceonEmbeddedNetworkedSensorSystems.2020：340-353.
• RENS，HEK，GIRSHICKR，etal.Fasterr-cnn：Towardsreal-timeobjectdetectionwithregionproposalnetworks[J].Advancesinneuralinformationprocessingsystems，2015，9199（10.5555）：2969239-2969250.
• LIUW，ANGUELOVD，ERHAND，etal.Ssd：Singleshotmultiboxdetector[C]//ComputerVision–ECCV2016：14thEuropeanConference.Amsterdam，TheNetherlands，SpringerInternationalPublishing，2016：21-37.
• 趙望宇，李必軍，單云霄，等.融合毫米波雷達與單目視覺的前車檢測與跟蹤[J].武漢大學學報（信息科學版），2019，44（12）：1832-1840.
• HENRIQUESJF，CASEIROR，MARTINSP，etal.High-speedtrackingwithkernelizedcorrelationfilters[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2014，37（3）：583-596.
• 甘耀東，鄭玲，張志達，等.融合毫米波雷達與深度視覺的多目標檢測與跟蹤[J].汽車工程，2021，43（7）：1022-1029.
• 王文欽，邵懷宗，陳慧.頻控陣雷達：概念，原理與應用[J].電子與信息學報，2016，38（4）：242-253.
• PALFFYA，POOLE，BARATAMS，etal.Multi-classroaduserdetectionwith3+1DradarintheView-of-Delftdataset[J].IEEERoboticsandAutomationLetters，2022，7（2）：4961-4968.