基于雷視融合技術的全域車輛感知方案應用研究

韋樂香,黎琮瑩

(廣西交通設計集團有限公司,廣西 南寧 530029)

0 引言

隨著國家新基建戰略的深入推進,加快新型基礎設施建設成為交通領域發展關鍵,在國務院印發的《“十四五”數字經濟發展規劃》中明確提到,有序推進基礎設施智能升級,是提升交通領域數字化的發展方向。其中交通領域數字化轉型的關鍵技術之一,是交通狀態感知的數字化。

在高速公路領域,傳統交通感知的手段通常采用基于視頻圖像方案對路段交通狀態進行人工查看和事件檢測,其主要特點為:可視范圍廣、成像效果直觀、目標可辨別度高以及硬件成本低等;其缺點為:易受周邊氣象和光照影響、提取數據精度不高以及有效感知距離不足等,不能形成深度精確感知,無法對交通狀態進行實時連續識別。

而毫米波雷達具有波長短、頻帶寬、穿透能力強等特點,因而具備抗干擾能力強、識別精度較高、探測感知距離遠等優點,已廣泛應用于汽車和路段檢測各領域[1]。基于雷視融合技術的全域路況感知方案采用毫米波雷達+視頻數據融合模式,具備實時目標檢測、目標類型精確識別、車流量統計、車速檢測、目標位置連續跟蹤等能力,可獲取車輛實時軌跡,并通過模型算法的跟蹤傳遞,達到道路的全域軌跡跟蹤,實現全路段的交通信息有效感知,實時掌控交通態勢。

1 系統構成

基于雷視融合技術的全域車輛感知系統由毫米波雷達傳感器、數據邊緣計算單元、高清視頻監控設備(高清槍式、球型攝像機)、中心管理計算服務器、管理工作站以及通信網絡構成,如圖1所示。

圖1 全域車輛感知系統構成示意圖

1.1 毫米波雷達設備

毫米波雷達設備主要負責對檢測區域內所有的目標進行實時跟蹤定位檢測,并對每個目標物體的類型進行精準區分。目標類型主要包括:車輛、行人、障礙物體等。雷達傳感器對每個目標進行實時跟蹤定位檢測并判斷其運動狀態和位置信息。

毫米波雷達傳感器主要由高頻發射單元、信號接收單元、數據處理單元和通信單元等組成,其核心數據處理單元采用多線程高速處理器,能夠同時對檢測區域內的目標物體進行實時跟蹤定位。雷達檢測器能夠獲取每個目標物體的獨立信息,包括即時速度、運動方向、所在車道、目標類型(大型車輛、中型車輛、小型車輛、行人、障礙物)、經緯度、目標尺寸、ID編號、方向角等重要信息。

1.2 高清視頻監控設備

高清視頻監控設備與毫米波雷達配合使用,與毫米波雷達同址設置,主要用于提取車輛的各類信息。毫米波雷達觸發抓拍,利用圖像識別技術來獲取年輛的特征信息。車輛的特征信息包括:車牌、車標、車系、車型、顏色、車速信息等。

高清視頻監控設備主要包括高清槍式攝像機和高清球形攝像機兩類。

1.3 數據邊緣計算單元

數據邊緣計算單元主要為前端數據處理和跟蹤服務處理模塊,負責完成雷達設備與車輛高清抓拍卡口設備數據的采集、分析、處理、雷達設備與攝像機同步觸發抓拍、被跟蹤目標丟失補償、目標軌跡修正、軌跡再現、多雷達之間目標信息數據相互傳遞、雷達目標動態數據與車牌抓拍獲取的車輛特征數據深度融合、被跟蹤目標信息回溯、數據格式轉化、目標定位實時解析輸出高精度經緯度信息等多種功能。外場感知設施設置示意圖如圖2所示。

圖2 外場感知設施設置示意圖

數據邊緣計算單元與毫米波雷達采用同址設置,每個點位設置1套數據邊緣計算單元。數據邊緣計算單元實現以下功能:

1.3.1 目標跟蹤數據采集

數據邊緣計算單元采用網絡連接方式與雷達傳感器進行互聯,獲取雷達傳感器視場范圍內所有目標的原始數據信息,并按照預先設定的各種條件和參數來對原始數據進行分析、處理、融合。數據邊緣計算單元采用網絡連接方式與視頻監控設備進行互聯,獲取、分析、處理獲取抓拍的車輛特征信息。經過數據邊緣計算單元處理后的雷達數據可以實時推送目標跟蹤數據和報警數據到車牌抓拍服務端。對收集到的車輛類型的目標數據進行實時記錄,為目標建立系統中唯一編碼作為該目標唯一標識,并納入持續跟蹤列表。

1.3.2 目標跟蹤數據補充與軌跡修正

當系統判定目標數據完全丟失時,系統會啟動該功能并繼續運行目標跟蹤數據補充和軌跡修正服務,降低目標數據受影響程度。

轉眼到了柚子的采摘期，可能是因為那年夏初時分的氣溫過低，人們把柚子采摘下來一看，傻眼了，這些柚子的皮足有三四厘米厚，柚瓤卻又小又瘦。往年一到這個時候，外地水果商販們都會一車接一車地把柚子收購去，但今年，雖然水果商們同樣一批又一批地來到這里，但最終卻又一批又一批地搖頭離去。果農們為了把柚子賣出去，不斷主動壓低價格，但這同樣沒有讓商販們心動，商人們深知，東西不好再便宜也沒用。

1.3.3 雷達觸發攝像機抓拍及融合

當雷達檢測到被跟蹤的車輛進入到高清攝像機最佳抓拍區域時,雷達會發出同步觸發捕捉的命令觸發攝像機抓拍,以保證將同一輛被跟蹤定位的車輛的動態數據信息以及被車輛精準監控卡口設備獲得的車輛的特征信息進行綁定及融合,并進行數據輸出。

1.3.4 多雷達目標連續跟蹤

要想實現目標全路徑的跟蹤定位,在保持目標能夠被連續跟蹤的同時更要實現兩個相鄰雷達傳感器之間數據有效的相互傳遞。當目標運行至兩個雷達重疊檢測區域時,系統會自動啟動目標融合算法,對被兩個雷達同時跟蹤的同一車輛進行融合匹配[2]。實現目標從第一個雷達檢測區域平滑過渡到第二個雷達檢測區域內,并保持目標唯一身份信息不變。

1.3.5 數據融合共享

通過上述服務,達到對雷達目標數據的持續跟蹤,并完成車牌抓拍數據與雷達目標跟蹤數據的融合。將兩種數據按照預定規則格式進行封裝,建立數據共享服務,實時與中心管理計算服務器進行通訊,共同完成異常事件和交通控制措施的聯動運行。

1.4 中心管理服務器

中心管理服務器主要用于承載系統平臺的相關應用。平臺通過與外場路側的數據邊緣計算單元進行通信,獲取數據邊緣計算單元上傳的數據信息、報警信息、圖像信息等,并對其下發控制指令、參數設定指令、與其他相關系統的聯動指令等。

2 系統方案

南寧沙井至吳圩高速公路是交通運輸部在廣西開展的交通強國試點工程。該項目融合多維度交通運行數字化感知、北斗高精度定位、車路協同云管控工程、全生命周期高精度多模態空間數據工程等技術方案,創新試點先進技術的應用,建立車路協同示范應用等一系列創新設計場景。項目全線長度約為26 km,設計采用在主線范圍進行道路全域部署感知設施方案,以支撐基于車路協同的智能駕駛相關應用。

2.1 系統設置方案

項目按照350 m的間隔設置定向毫米波雷達傳感器、高清監控攝像機。雷達探測器與高清攝像機設置于道路中央分隔帶立桿上,邊緣計算單元設于道路路側,視距不良的特殊路段采用加密方式布設。

毫米波雷達探測器采用定向探測傳遞方案,安裝高度為6 m,探測距離為400 m。為保障雷達探測器的數據有效性,在視野開闊的直線路段上的布設間距為350 m,對于彎道視距不良路段,對探測器設置間距進行加密。

2.2 系統工作流程(圖3)

圖3 毫米波雷達和攝像機探測方案示意圖

當車輛駛入毫米波雷達傳感器所覆蓋的檢測區域,毫米波雷達傳感器通過實時掃描的方式來獲取車輛的初始數據,該數據通過本地網絡傳至路側邊緣計算單元,路側邊緣計算單元再通過對雷達傳感器上傳的數據進行實時分析和處理,獲取雷達傳感器所覆蓋的檢測區域內每一個目標車輛的實時動態信息。主要包括以下內容:目標車輛的經緯度信息、運行速度信息、運行方向信息、所在位置信息,并生成檢測區域內唯一ID數字標識信息等。

當系統通過雷達傳感器跟蹤并定位到車輛進入預先設定的抓拍觸發檢測區域時,系統會將觸發信息通過邊緣計算單元傳輸給高清監控攝像機,觸發高清監控攝像機對駛入的車輛進行圖像抓拍,然后將抓拍的圖像數據傳至邊緣計算單元,由其進行圖像AI結構化,實時提取該車輛的特征信息,主要包括車輛的顏色、車型、品牌、商標、車牌、類別等信息。

邊緣計算單元將雷達傳感器和攝像機所獲取同一輛車輛的動態信息與車輛特征信息進行融合,融合的每輛車輛將具備唯一的完整數據信息,并采用車輛身份信息編制原則在系統中生成唯一的車輛身份信息。

雷達傳感器通過數據處理后可精準跟蹤定位每一個目標車輛所在位置,定位精度達到車道級。因此,為防止車輛并行、遮擋而導致高清監控攝像機誤觸發,進而導致對于同一車輛獲取車輛特征信息與動態信息錯誤匹配和錯誤融合,應按照實際車道數量安裝車牌抓拍攝像機以及設置對應的觸發抓拍區域,以保證雷達傳感器、邊緣計算單元、高清監控攝像機協同工作完成車輛同步觸發抓拍、精準數據融合。

3 系統功能

3.1 實現道路全域連續感知

通過在主線布設的毫米波雷達設備和高清攝像機,系統可對道路全域進行連續感知。通過在監控中心對道路狀態進行實時全域展示,解決了視頻監控無法對道路進行連續查看的情況,達到了對道路的全程連續檢測,且避免了惡劣天氣和光線的影響,實現全天候實時感知。

3.2 實現精準檢測,報警數據有效化

系統采集毫米波雷達數據和高清攝像機的視頻圖像數據,并通過在路側部署的數據邊緣計算單元中進行數據分析,形成“雷視融合”,篩選二者數據中的優質數據,排除二者由于不利因素分別帶來的低質量數據,實現精準檢測。系統采用同時間、同位置、同類型、同時分析的邏輯報警方式,從而提高道路數據的質量,減少誤報警。

系統能夠對各種路段(單向多車道、雙向多車道、橋梁)進行可靠的事件檢測,檢測類型包括:車輛停駛、車輛擁堵、車輛排隊、車輛逆行、車輛慢行、行人以及特定區域的非法入侵等異常事件,對異常事件快速形成報警信息予以提示。當系統檢測到異常事件時,能夠聯動與雷達配套的高清槍式攝像機或者距離事件最近的高清球形攝像機對異常車輛、行人或事故現場持續自動跟蹤、定位和查看,降低監控人員的勞動強度。

3.3 實現全面采集和全方位掌控

通過前端感知設備的采集數據,不僅可以得到單個車輛的動態信息和報警數據,同時可以得到覆蓋范圍內的交通路況信息和交通狀態信息:道路流量信息、車輛平均速度信息、區域內車輛數量信息、車型統計信息、道路通行狀態信息等。道路運營管理者以此信息為依據,可清楚地了解當前道路交通狀況,并根據不同交通狀況和事件,采取不同的管理措施,對道路形成全方位的掌控。

3.4 實現系統數據互聯互通

系統在路側部署邊緣計算單元,通過光纖連接通信,將路側各個單元節點、邊緣計算單元、中心監控平臺之間的通信鏈路打通,數據傳輸協議打通,使整個系統的各個節點形成系統性關聯,各設備之間的數據互聯互通。系統支持將更多感知設施和邊緣處理單元集成進來形成統一的系統,避免形成信息孤島,造成重復建設和數據資源的浪費。

4 結語

通過基于雷視融合技術的全域車輛感知方案,可實現多場景、多功能的應用,包括交通事件檢測、目標實時跟蹤、路況信息、交通流量信息、車輛實時信息等,多個感知設備之間實現數據互通、融合、智能分析。本文提出的方案彌補了傳統視頻監控系統存在的不足,并可根據不同的路況與需求進行多種功能的實現與拓展,為車路協同與智慧交通等各類應用場景提供可靠的基礎支撐。