基于雷視融合的ADB燈控系統設計與實現

【摘 要】針對傳統基于相機的ADB燈控系統單目攝像頭在雨、雪、霧天氣存在識別不清和檢測率低的問題，文章設計一種基于雷視融合的車載ADB燈控系統。該系統可以實現夜晚自適應控制遠光燈的開閉，減少交通事故的發生，并且雷達數據的引入增強了數據源的可靠性，使得該系統在雨、雪、霧等不良天氣下亦可正常工作，增強了系統的魯棒性。

【關鍵詞】雷視融合;ADB;目標檢測;場景識別;智能控制

中圖分類號：U463.675 文獻標識碼：A 文章編號：1003-8639（ 2024 ）09-0037-04

The Design and Implementation of the ADB Lamp Control System Based on Radar and Vision Fusion

LI Hui1，GUO Desui1，LIANG Menghao1，WANG Chaoyang1，LI Jing2

（1. Industrial Research Institute of Henan Tianhai Electric Appliance Co.，Ltd.，Hebi 458031，China;2. College of Communication Engineering，Xidian University，Xi′an 710071，China）

【Abstract】In response to the problems of unclear recognition and low detection rate of monocular cameras in traditional camera based ADB light control systems in rainy，snowy，and foggy weather，this paper designs an onboard ADB light control system based on lightning vision fusion. With this system，it is possible to achieve adaptive control of the high beam lights at night，reducing the occurrence of traffic accidents. The introduction of radar data enhances the reliability of the data source，allowing the system to operate normally in adverse weather conditions such as rain，snow，and fog，enhancing the robustness of the system.

【Key words】rayleigh fusion;ADB;target detection;scene recognition;intelligent control

1 引言

自適應遠光燈系統（Adaptive Driving Beam，ADB）是一種能夠根據行駛場景變換遠光光束開關與投影的遠光燈控制系統。它在保證自車駕駛員視野良好的前提下，通過控制遠光燈來減少對其他道路使用者造成的眩目。

ADB系統能夠根據自車行駛狀態以及道路車輛狀態，智能開啟和關閉遠光燈，根據攝像頭等傳感器識別出現的車輛、行人等目標，單獨控制（開閉或亮度調節）燈珠矩陣中的燈珠，自適應變換光形，以避免對道路上行人或對向來車駕駛員造成眩目，實現實時動態調節[1-2]。ADB的主要解決方案可以分為遮光板式、LED矩陣熄滅式和反射面矩陣式3種[3]。反射面矩陣式通過每個LED光源反射不同部分的光形，從而在道路上形成組合疊加的光束投影[4]。本文采用的LED矩陣熄滅式依靠控制高分辨率LED燈珠的亮滅來實現光束分區照明。當前最流行并呈現出持續快速增長趨勢的汽車照明光源是LED前照燈[5]。2018年左右，LED已經超越氙氣燈得到更廣泛的應用，逐漸成為主流。LED車燈模組可以為道路照明提供適合遠近光的各種光型[6]。

保障夜間以及雨霧天氣的駕駛安全一直都是汽車前照燈的根本任務。不僅要提供高效、充足的照明，也要防止對其他道路使用者造成眩目。因此，深入研究ADB系統以及提升ADB系統的可靠性和魯棒性在交通安全建設方面具有重要意義。

針對傳統車載ADB系統存在的問題，本文引入毫米波雷達，并設計一種基于雷視融合的數據采集處理系統，該系統主要特點如下。

1）該系統采用攝像頭和毫米波雷達分別采集數據，在視覺數據的基礎上增加雷達提供的世界坐標數據作為輔助，從源頭上大大增加了數據的可靠性和穩定性。

2）該系統對圖像數據采用先進深度學習算法進行行人檢測，并對相機進行標定，將真實世界坐標轉換至圖像坐標，為雷達數據和圖像數據提供了有效的融合前提。

3）該系統對雷達數據和圖像數據進行了對比、匹配和融合，分別排除了攝像頭誤檢和雷達誤檢的目標，提高了目標檢測的準確率，在效果上提升了系統的可靠性和燈控決策信息的精確度。

系統在設計時以實現對燈珠的準確控制為目標，以數據信息采集、轉換和融合為核心，實現一種能實時采集數據、檢測目標并控制LED燈珠矩陣的車載ADB燈控系統，為夜間安全駕駛提供可靠支撐。

2 系統總體設計

ADB系統分為數據采集、數據處理和數據發送3個模塊，如圖1所示。

1）數據采集模塊：由攝像頭和毫米波雷達構成，分別采集視頻圖像數據和毫米波雷達數據。

2）數據處理模塊：NVIDIA Jetson Xavier NX處理器處理來自攝像頭的圖像數據和雷達的三維空間數據。這兩種數據的結合為系統提供了一個全面的視角，確保在各種周邊環境條件下都能準確檢測到行人和車輛。

標定是ADB燈控系統的關鍵步驟。通過標定，數據處理模塊能夠理解攝像頭和雷達數據與實際物理世界之間的關系。這確保了當數據采集模塊檢測到行人時，它能夠準確計算出行人與車輛之間的距離和角度。基于這些計算，燈控模塊可以自動調整車輛的燈光角度和強度，確保行人被正確照亮，同時避免對其他駕駛員造成眩光。為了確保系統的穩定性和可靠性，數據處理模塊還包括了專門的CAN設備驅動和攝像頭驅動。這些驅動確保所有的硬件組件都能夠無縫地與處理器協同工作。ADB燈控系統標定的解決方案是一個結合了最新技術和創新設計的系統，它為現代交通安全提供了一個重要的工具，確保在夜間或低光照環境下行人的安全。

3）數據顯示和發送模塊：由NVIDIA Jetson Xavier NX處理器處理完數據之后通過CAN總線發送給下級燈控模塊來控制燈珠矩陣的開閉，圖像通過HDMI傳輸至顯示器。

3 系統硬件設計

基于雷視融合的ADB系統硬件方案架構如圖2所示。該架構通過雷達和相機采集數據，雷達數據通過CAN總線將位置信息傳給ADB決策模塊，攝像頭采集的圖像數據通過同軸線傳給ADB決策模塊。ADB決策模塊將雷達獲取的信息流與相機攝像頭獲取的視頻流進行融合匹配，提高目標信息的準確性。NVIDIA Xavier處理器計算其他車輛與自身的相對物理位置信息，包括真實距離、相對角度。根據距離和角度計算矩陣燈珠燈控信息，并通過CAN總線發給ADB燈控模塊，控制模塊通過相應的操作實現矩陣燈珠的部分區域開閉。

4 系統軟件設計

系統軟件架構如圖3所示。設計一個先進的雷視融合行人檢測框架，主要包括圖像數據處理、雷達數據處理和雷達視頻數據融合。

如圖3所示，相機采集的圖像數據通過YOLOv3算法檢測出圖像中存在的車輛和行人，通過對CAN包進行解析獲取雷達數據，將雷達數據通過坐標系的轉換映射到圖像數據上，在圖像上對雷達數據和視頻數據進行匹配融合實現更精確定位，根據定位數據下發燈控信息，實現ADB自適應開閉。

4.1 雷達數據處理模塊

該模塊主要完成雷達數據的接收和雷達數據CAN包解析。毫米波雷達返回的CAN報文中包含目標序列號、目標與雷達之間的相對徑向距離（Range）、相對運動速度（Verl）、方位角（Azimuth）、反射截面積（RCS）和信噪比（SNR）等信息，但CAN報文中的各字段并不直接表示所需信息的真實值，需要對各字段進行解析才可獲得真實數值。解析公式見表1。

4.2 相機標定模塊

為了實現將雷達掃描數據點投影到像素坐標系中，促進雷達和相機信息融合，需實現如圖4所示5大坐標系之間的轉換關系。

在這個模塊，參照張正友黑白棋盤格[7]標定算法完成相機標定，實現5大坐標系之間的相互轉換，雷達掃描數據點與像素坐標系的映射。

4.3 圖像數據處理模塊

YOLOv3[8]是一個經過YOLOv1、YOLOv2改進的基于回歸的網絡，并且在保證精度的前提下，運行的速度也很快，可以達到實時檢測的要求，而且還增強了對尺寸比較小的物體的識別檢測能力。YOLOv3的先驗檢測系統重復使用分類器或定位器來執行檢測任務。YOLOv3的網絡結構如圖5所示。

通過相機采集圖像，利用YOLOv3網絡輸出檢測物體在圖像上的位置信息以及類別信息，根據以上信息在圖像上進行畫框展示，實現實時目標檢測。

4.4 毫米波雷達數據與視覺數據時間同步算法

毫米波雷達和攝像頭數據在進行空間上的標定之后，由于這2個傳感器工作在不同的時間頻率，并且在傳感器間數據通信的過程中存在延遲情況，毫米波雷達的采樣幀頻率為20幀/s，而攝像機的采樣幀頻率為30幀/s，所以不一致的采樣頻率導致傳感器采集到的數據并非每一幀都能有效對應，因此將同一目標的雷達坐標和視頻檢測數據進行時間同步是提高目標融合跟蹤精度的關鍵。

采用最近鄰幀匹配算法實現時間同步。首先分別獲取帶有時間戳的毫米波雷達數據和圖像幀數據，提取其時間戳并減去相對應的平均時延，然后進行雷達數據與圖像幀數據的最近鄰匹配，如圖6所示。

設圖像數據幀集合定義為：

（1）

雷達數據幀集合定義為：

（2）

其中，圖像數據幀和雷達點云幀集合時間戳分別為：

由于攝像機時鐘和毫米波雷達時鐘與主機時鐘并非完全同步，存在延時。因此，設攝像機時鐘與主機時鐘平均延時為δC，毫米波雷達時鐘與主機時鐘平均延時為δR。由于圖像數據幀率fc和毫米波雷達幀率fr的差異，選取較低幀率傳感器，其幀率記為fmin，設置幀時差閾值Tth表示幀同步時間精確度，滿足

使用滑動窗口法對圖像幀數據和毫米波雷達幀數據進行融合，生成結果集，即對于 ：

對于結果集O（C，R），其中每組數據（Ci，Rj），都是同步時間誤差小于幀時差閾值的數據組。

4.5 毫米波雷達與視覺信息融合模塊

由于需要對相機獲得的目標類別信息和毫米波雷達獲得的目標距離和速度信息進行融合，二者數據類型不一樣，且考慮到檢測實時性的要求，數據融合時的計算量不能太高，所以采用決策層融合。

在完成5大坐標系的關聯、相機標定和數據時間同步之后，即可將毫米波雷達掃描點投影至像素坐標系中，而相機檢測結果可以輸出其包圍框4個角點的像素坐標信息，因此可根據雷達掃描點在像素坐標系中的投影點是否在目標包圍框內來對毫米波雷達檢測結果與相機檢測結果進行匹配。設某一目標包圍框4個角點的像素坐標分別為（u1，v1）、（u1，v2）、（u2，v1）和（u2，v2），雷達掃描點投影至像素坐標系的坐標為（ur，vr），由于雷達安裝位置相較于相機而言偏低，因此其掃描點在像素坐標系中的投影點一般不會位于目標包圍框中心，但其一定位于包圍框內部，因此可設定判定規則為：u1<ur<u2且v1<vr<v，對符合判定規則的目標進行信息融合處理，同時輸出其類別、速度和距離信息。對不符合上述判定規則的目標，不進行融合處理。在像素坐標系中，若目標包圍框內部未匹配到雷達投影點，則雷達漏檢該目標，僅輸出其類別信息;若雷達投影點未在其周圍匹配到目標包圍框，則相機漏檢該目標，僅輸出其速度和距離信息。

4.6 下發燈控信息模塊

在完成前5步的基礎上，已經實現了毫米波雷達與相機信息流的交互融合，對符合判定規則的目標獲取其原始雷達數據與視頻數據用來計算與自車的夾角，設相機設備在圖像像素上的坐標為（x0，y0），以雷達數據為標準，雷達數據在圖像像素上的坐標為（xr，yr），夾角θ=arctan，依次計算出毫米波雷達與相機視頻流每幀匹配上的物體對應的夾角θ，最后對所有物體對應的夾角θ求并集，得到這一幀數據對應的夾角θfinal=U（θ1，θ2，…，θn），其中U（）表示求并集，例如θ1是10°～20°，θ2是15°～30°，那么U（θ1，θ2）為10°～30°。

通過上文模塊計算得到了車輛與自車的夾角，根據預先設置好的夾角與ADB矩陣燈珠控制信息之間的對應關系，選擇相應的ADB矩陣燈珠控制信息，通過CAN總線發給ADB燈控模塊，該模塊執行相應的操作實現ADB矩陣燈珠遠近光切換控制。

5 系統運行及分析

本系統在走廊、空曠地帶和實際車道中進行了多次測試。具體測試中，在走廊進行了行人檢測測試，相機和毫米波雷達采集相應數據，通過HDMI在顯示器上進行顯示，沒有增加毫米波雷達數據，如圖7所示，其中紅色方框表示經過YOLOv3算法檢測的結果，可以看出存在誤檢的情況，會下發給燈控模塊錯誤信息，導致燈珠關閉不精確。增加毫米波雷達數據的結果如圖8所示，其中紅色方框表示經過YOLOv3算法檢測的結果，綠色小點（圖中行人圖像雙腿之間膝蓋高度處）表示毫米波雷達數據映射到圖像上的結果，通過將毫米波雷達數據與視頻數據融合，能夠剔除掉誤檢的椅子，提高系統定位的精確性，進而下發準確的燈珠關閉信息。在多次測試中，考慮到燈珠關閉的準確性和實時性，從測量結果可以看出基于雷視融合的ADB燈控系統相比傳統ADB燈控系統具有更高的精準度，同時也能滿足實時性要求。

6 結束語

相對于傳統的ADB燈控系統，本文提出基于雷視融合的ADB自適應燈控系統，從系統架構出發，在傳統架構上增加了毫米波雷達。通過雷達和相機對道路路況進行數據采集和數據融合處理，不僅能夠實現燈光自適應，而且在之前的基礎上提高了目標定位精度，進而使得燈珠開閉更加精確。同時也克服了傳統ADB燈控系統在雨霧天氣下由于相機采集圖像數據存在模糊，導致燈珠自適應開閉不精確的問題。

參考文獻：

[1] 朱光歡. 一種智能前大燈控制系統[J]. 科技視界，2015（34）：113，116.

[2] 黃連生. ADB自適應遠光燈系統簡介[J]. 輕工科技，2019，35（8）：59-60.

[3] 楊三偉. ADB在汽車前大燈上的應用[J]. 科技資訊，2019，17（1）：105，111.

[4] Luo Chengming，Xin Gaifang，Xu Han，et al. Glare-free high-beam control for oncoming vehicle safety in night time[J]. IEEE consumer electronics magazine，2020，10（2）：8-15.

[5] Joseph Notaro. 汽車照明從昏暗而遙遠的過去到光明、智慧的未來[J]. 傳感器世界，2021，27（2）：34-35.

[6] 文醉，趙斌，何云堂，等. 幾種典型汽車前照燈用光源的性能試驗研究[J]. 照明工程學報，2014，25（5）：116-119.

[7] Zhengyou Zhang. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，22（11）：1330-1334，2000.

[8] Redmon J，Farhadi A. YOLOv3： An incremental improvement[DB/OL]. arXiv e-prints，2018.（2018-04-08）.https：//arxiv.org/abs/1804.02767.

（編輯 楊凱麟）

作者簡介李輝（1982—），男，工程師，碩士，主要從事汽車電子電器系統（連接與傳輸）零部件研發及新型電子電氣架構下汽車電子電器新技術研究與新產品開發工作。