檢測多傳感器標定失效的方法

楊軍典　陳凌珊　程書慧

摘要：為了提高智能車觀測周圍的環境的能力，其感知系統采用多傳感器融合技術已經成為一種共識。采用多傳感器融合技術可以對環境目標的位置進行融合，核心在于時間和空間對齊，其中空間對齊高度依賴于傳感器的標定參數。由于車輛行駛過程的惡劣環境，傳感器的標定參數會有失效的風險，從而使空間融合失敗。因此，本文提出了一種檢測多傳感器標定失效的方法，提高智能車的安全性。

關鍵詞：多傳感器;標定;失效;檢測

【Abstract】Inordertoimprovetheabilityofsmartcartoobservethesurroundingenvironment，ithasbecomeaconsensusthatitssensingsystemadoptsmulti-sensorfusiontechnology.Multi-sensorfusiontechnologycanbeusedtofusethelocationofenvironmentaltargets.Thecoreisthetimeandspacealignment，andthespacealignmentheavilydependsonthecalibrationparametersofthesensor.Duetotheharshenvironmentofthevehicleduringthedrivingprocess，thecalibrationparametersofthesensorwillhavetheriskoffailure，whichwillmakethespacefusionfail.Therefore，thispaperproposesamethodtodetectthefailureofmulti-sensorcalibrationtoimprovethesafetyofsmartcars.

【Keywords】multiplesensors;calibration;failure;detection

作者簡介：楊軍典（1990-），男，碩士研究生，主要研究方向：ADAS感知及功能開發技術;陳凌珊（1966-），女，博士，教授，主要研究方向：新能源汽車技術、智能駕駛控制技術。

0引言

隨著技術進步，智能駕駛技術飛速發展，對主動安全的要求越來越高。安全性能的提高，離不開感知系統的發展。在這種背景下，智能駕駛汽車會采用越來越多的傳感器，采用多傳感器融合技術來提升智能車的感知能力。目前配備有ADAS功能的汽車普遍會采用多個攝像頭、多個毫米波雷達、激光雷達的感知方案。多傳感器融合技術首先需要標定多個傳感器的內外參數，從而可以將各個傳感器感知到的目標統一到一個坐標系里面進行融合。

傳統的傳感器標定方法是將待標定的參數分為內參和外參。其中，內參指的是傳感器自身的參數，比如相機的焦距、雷達的帶寬等，外參主要是各個傳感器間的位置關系。一般內參可以直接從傳感器廠家獲取，因此，標定的主要任務是外參。傳統的標定方法有特征點法和棋盤格法[1]，在一個布滿標記的標定間里，采用一個高精度的激光雷達獲得標記的三維坐標，然后使用低精度的相機或毫米波雷達對標記進行感知，最后使用PNP方法[2-3]求解相機或毫米波雷達的位姿就可以得到其相對位置。這種方法求解過程比較繁瑣，并且需要一個高精度的激光雷達提供基準。文獻[4-5]直接避開了分別求傳感器內外參的過程，采用最小二乘法直接求解相機平面和毫米波雷達平面變換的正應性矩陣。這種方法是將雷達坐標系變換到相機坐標系，并在相機坐標系中對雷達感知到的目標進行融合，然而標定的精度會明顯受到相機和雷達感知算法的影響。文獻[6]以車輛縱向對稱平面為基準，首先將雷達探測面法向量和相機的光軸標定到與縱向平面平行的位置，其余兩軸投影到坐標平面分別與車身右側、車輛前進方向平行。車輛縱向對稱平面的確定對這種方法的影響很大，同時在大批量使用過程中，將相機光軸和雷達探測面法向量安裝位置與車輛縱向平面平行誤差調為較小是一件非常困難的事。

在智能車輛的批量生產過程中，傳感器的標定通常根據車輛的CAD數據模型，相對車輛某一零部件固定，從而間接獲得傳感器的安裝位置參數。因此，在這種情況下，必須設置一種簡單可靠的檢測傳感器標定是否準確的方法。除此之外，由于車輛行駛是一個動態的振動過程，傳感器的標定參數會隨時間發生變化乃至失效。一旦失效，多傳感器融合的結果必然會出錯，帶來安全隱患。因此，本文設計了一種靜態和動態檢測智能網聯汽車相機和毫米波雷達標定是否失效的方法，來預防可能出現的融合風險。最后，利用自動駕駛公司nuTonomy公開的大型開源數據集nuScenes進行了驗證。

1檢測方法

在智能駕駛汽車上，相機一般安裝在后視鏡，前向毫米波雷達則放置在前向保險杠里面。雷諾Zoe是nuScenes數據集中測試所用的車輛，各個傳感器的安裝位置[7]如圖1所示。

由圖1可看出，在一輛智能駕駛車中，所有的傳感器最終都要把感知的目標變換到車輛坐標系上，形成一個以車輛中心的局部3D空間內。由于激光雷達價格高昂，目前仍主要搭載于研究階段的智能車上面，因此本文主要關注的是前向相機和前向雷達的標定失效問題。

1.1前向相機坐標系及目標位置感知

1.2前向雷達坐標系及目標位置感知

建立前向雷達直角坐標系如圖3所示。圖3中，Oradar-Xradar-Yradar-Zradar為坐標系的原點和各軸，FOV為雷達的視角。

1.3車輛坐標系

在本文中定義車輛坐標系的原點處于后軸的中心，坐標系各軸的方向如圖4所示，并將相機和雷達的坐標系及FOV一起表示出來。

1.4靜態檢測方法

首先設計一種靜態的檢測方法，如圖5所示。圖5中，放置2個小尺寸的鐵球，其在車輛坐標系中設置X_car坐標一致，Z_car與雷達的安裝高度一致，同時2個鐵球之間的距離保持在0.1m左右。

由圖5可看出，毫米波雷達背面貼合車身安裝，因此主要的安裝誤差是繞車輛行駛方向的轉角誤差過大造成的，這樣會引起雷達的掃描水平面不平行于車輛坐標系XcarOcarYcar平面。當靜態檢測時，如果雷達不能同時掃描到2個鐵球，那么就說明雷達安裝存在較大誤差，必須重新標定校準。

同時，因為2個鐵球在車輛坐標系中的X_car和Z_car坐標值相同，那么由公式（1）可知，其在像素平面上的v軸坐標一致，即2個鐵球在圖片中應該保持一條水平線。那么，如果車輛出廠時相機安裝位置誤差過大，采用上述檢測裝置拍攝到2個鐵球在圖片上并不保持在同一條水平線上，那么說明相機的安裝位置有問題，需要重新標定校準。

1.5動態檢測

靜態檢測適用于汽車從生產線中裝配出來，而后進行抽檢來驗證傳感器的標定是否失效。然而，更重要的是要在車輛行駛過程中，能夠實時動態地檢測出傳感器的標定參數是否失效。借用靜態檢測的思路，在下面分別提出雷達和相機的動態檢測方法。

圖6是nuScene數據集相機在某個時刻拍攝的照片，并使用了圖形檢測框架YOLO5對圖片中的目標進行了檢測，而且也做了標記。圖6中，從左向右第二輛車（以下用Car1代表此車）明顯與其它車是分離狀態，因此也很容易被雷達發現并聚類為單個目標。在現實場景中，會經常性地存在這樣的單個孤立分離目標。

當目標檢測出來之后，Car1標記框的左右兩側v坐標是可以計算出來的，物距可以在相鄰幀通過PnP算法或激光雷達求解，那么通過公式（1）可算出物體左右兩側的水平坐標，其差值即為Car1被圖像所檢測到的寬度Wcam，如圖7所示。

又因為Car1是一個孤立的目標，那么毫米波雷達對其寬度的感知是非常準確的，設其測量出來的寬度是Wradar。

如果Wcam和Wradar的差距非常大，那么就說明雷達或相機的標定參數已經失效，此時如果繼續進行多傳感器目標融合的話，必然會發生誤差，因此車輛需采取相關措施，使駕駛員介入操作。

2實驗

nuScene[7]是自動駕駛公司nuTonomy在互聯網上開源的大型自動駕駛數據集。由圖1可知，其傳感器包括了1個激光雷達，5個毫米波雷達和6個單目相機，總共記錄了1000個場景，每個場景以2Hz的速率采樣記錄20s的時間。在本文中，主要采用了前置相機和前置毫米波雷達的數據進行驗證。下面將以第一個場景第一個采樣記錄（以下記為采樣1）的結果為例進行說明。

2.1標定參數

通過使用nuScenes數據集官方python的nuscens-devkit開發庫，可以編寫python程序來提取前置相機和前置雷達的標定參數。

傳感器坐標系相對車輛坐標系的旋轉見表1。為了簡潔表示，采用四元數（w，x，y，z）形式。

2.4驗證結果

由2.2節和2.3節可知，Wcam和Wradar的結果非常接近，說明相機和雷達的標定參數處于正常的工作狀態。

3結束語

本文對多傳感器的工作原理進行了探討，分析了目標融合失效的風險，并且提出了靜態檢測和動態檢測兩種方法來規避這種風險，提高智能車的安全性。通過nuScenes的數據驗證可知，比較多個傳感器檢測到的孤立目標寬度，可以實時驗證傳感器的標定參數是否失效。

未來可以考慮采取多個維度方向上長度的檢測，來增加傳感器標定失效的魯棒性，進一步提升智能車的主動安全性。

參考文獻

[1]許小徐，黃影平，胡興.智能汽車激光雷達和相機數據融合系統標定[J].光學儀器，2019，41（6）：79-86.

[2]ZHENGYinqiang，KUANGYubin，SUGIMOTOS，etal.RevisitingthePnPproblem：Afast，generalandoptimalsolution[C]∥Proceedingsof2013IEEEInternationalConferenceonComputerVision.Sydney，Australia：IEEE，2013：2344-2351.

[3]HESCHJA，ROUMELIOTISSI.Adirectleast-squares（DLS）methodforPnP[C]∥Proceedingsof2011InternationalConferenceonComputerVision.Barcelona，Spain：IEEE，2011：383-390.

[4]SUGIMOTOS，TATEDAH，TAKAHASHIH，etal.Obstacledetectionusingmillimeter-waveradaranditsvisualizationonimagesequence[C]∥InternationalConferenceonPatternRecognition.Cambridge，UK：IEEE，2004：342-345.

[5]LIUXianru，CAIZixing.Advancedobstaclesdetectionandtrackingbyfusingmillimeterwaveradarandimagesensordata[C]∥InternationalConferenceonControl，AutomationandSystems（ICCAS2010）.Gyeonggi-do，Korea（South）：IEEE，2010：1115-1120.

[6]羅逍，姚遠，張金換.一種毫米波雷達和攝像頭聯合標定方法[J].清華大學學報（自然科學版），2014，54（3）：289-293.

[7]nuScenes.Carsetupindatacollection[EB/OL].[2020-09-27].https：∥www.nuscenes.org/nuscenes#tutorials.

[8]CAESARH，BANKITIV，LANGAH，etal.nuScenes：Amultimodaldatasetforautonomousdriving[J].arXivpreprintarXiv：1903.11027，2019.

[9]陳伯孝等編著.現代雷達系統分析與設計[M].西安：西安電子科技大學出版社，2016.