雷達與視頻融合的交通信息感知技術研究

孟維偉，郭麗蘋，張興宇

（中國市政工程華北設計研究總院有限公司，天津市 300074）

0 引 言

近年來，我國道路交通發展迅速，交通擁堵現象日益嚴重。為解決該問題，積極進行交通引導、合理規劃交叉口信號配時成為了當下交管部門主要采取的措施。而大范圍、精準而全面的交通信息感知，為交通態勢預判、信號控制等提供數據與決策的支撐，成為了智能交通管控的迫切需求。

目前，常用的交通信息感知手段主要包括地磁線圈、微波、視頻、紅外等。但這些單一的交通信息感知設備普遍存在信息感知不全面、精度不高的問題，而多源傳感器獲得的信息由于有冗余性、互補性等特點，可獲得比單個傳感器更為有效和準確的信息，具有較高的魯棒性和置信度。因此，多源異構信息的融合成為了當下交通信息感知技術發展的主流趨勢。

雷達和視頻作為兩類功能強大的信息感知途徑，有著各自鮮明的優勢，融合兩者的檢測數據將很大程度上提高交通信息感知的水平，從而實現大范圍、精準而全面的交通信息感知，這符合當前智能交通發展的迫切需求，對于進一步發展交通信息智能化具有重要的社會價值與經濟價值。

1 研究現狀

1.1 基于毫米波雷達的交通信息感知

毫米波雷達由于具備感知信息全、范圍廣和全天候的優勢，因此被廣泛應用于交通信息感知、交通信號控制和交通事件監測等領域。

毫米波雷達系統由發射特定波形的發射機和接收回波信號的接收機組成。在工作時會通過天線向前方發射毫米波，物體表面照射到毫米波后會發生散射并反射信號，毫米波雷達系統通過多組接收天線接收回波信號，并對信號進行放大、下變頻和信號處理，以此獲得目標的速度、方位、距離和散射截面積等信息。典型毫米波雷達模型如圖1 所示。

圖1 毫米波雷達工作原理示意圖

1.2 基于視覺傳感器的交通信息感知

近年來，隨著深度學習技術在應用層面迎來重大突破，在其浪潮的影響下，計算機視覺技術也得到了蓬勃發展。由于視覺傳感器具備識別物體尺度、顏色、紋理等外觀信息的能力，因此被廣泛應用于交通標志檢測、車道線檢測、車輛和行人檢測等多個交通場景。

目前在交通信息感知領域應用的計算機視覺算法多數是以深度學習神經網絡為基礎的目標檢測方法，它是通過從訓練樣本圖像中提取車輛特征，來實現交通信息的感知。由于在訓練中容易出現過擬合，且算法模型復雜，因此對模型訓練有著較高的要求，但隨著圖形處理器硬件技術的快速發展，一定程度上也彌補了傳統神經網絡的不足，使此類方法取得了較好的應用效果。圖2 展示了基于計算機視覺的車輛目標檢測場景。

圖2 基于計算機視覺的車輛目標檢測場景

1.3 基于毫米波雷達和視覺傳感器融合的交通信息感知

由于傳感器工作原理的不同，單個傳感器通常只能獲得被檢測目標的部分特征，難以在復雜交通環境下滿足對交通信息獲取的復合要求。為了更準確地描述所檢測交通目標的特征，可以通過對多傳感器信息進行融合來獲得更全面的目標信息。考慮到城市交通的實際工作環境和檢測要求，交通信息感知可充分結合毫米波雷達和視覺傳感器的技術特點，采用兩種傳感器信息相融合的方法來開展目標檢測。多項研究表明，該方法在實時性和準確性方面具有明顯的優勢。圖3 展示了基于毫米波雷達和視覺傳感器結合的車輛目標檢測場景。

圖3 基于毫米波雷達和視覺傳感器結合的車輛目標檢測場景

2 技術路線

在交通信息感知中，將毫米波雷達和視覺傳感器的檢測結果進行融合可以有效提高最終的檢測效果。本文的技術路線主要介紹毫米波雷達和視覺傳感器信息融合的方法，通過對采集數據進行空間、時間和目標信息的融合，實現對各傳感器多層次、多空間的信息互補和優化組合處理[1]。

2.1 傳感器空間融合

毫米波雷達與視覺傳感器不僅在原理、數據形式等多方面存在差異，兩者所屬的坐標系也不相同，因此需要將它們采集的數據轉換到同一個坐標系中。在實際融合中，常是以世界坐標系為中介，首先將雷達坐標系轉換成世界坐標系，然后通過旋轉和平移將世界坐標系轉換成像空間坐標系，最后基于小孔成像的逆向思想將像空間坐標系內的三維目標轉換到像素坐標系中，以實現兩種傳感器的空間同步。雷達視頻的空間標定流程如圖4 所示。

圖4 雷達視頻的空間標定流程圖

2.2 傳感器時間融合

在進行多源傳感器數據融合時，還需要保證每個傳感器輸出的數據是在同一時刻獲得的，即需要保障采集數據的同步性。由于毫米波雷達與視覺傳感器的采樣頻率不同，兩種傳感器會按照各自固有的時間基準進行數據采集，因而導致兩者采集的數據間存在時間上的不同步，故需要對其進行統一處理。

為了方便后續進行數據的時間同步，本文使用的視覺傳感器的圖像采集頻率設置為30 Hz，毫米波雷達的采集頻率設置為20 Hz。由于視覺傳感器采集圖像的采樣頻率較高，將以毫米波雷達的采集頻率設置為基準，對視覺傳感器采集的圖像進行抽幀，將對應時刻的視覺傳感器數據與雷達傳感器數據進行融合處理。多傳感器時間同步采集時刻如圖5 所示。

圖5 多傳感器時間同步采集時刻

2.3 交通目標信息融合

通過將不同傳感器坐標系的測量值轉換到同一個坐標系中，可將毫米波雷達檢測到的交通目標在圖像坐標系上進行投影轉換，并在視覺傳感器檢測的相應區域進行投影。

考慮到所檢測的交通目標在世界坐標系中的空間尺寸，我們以毫米波雷達檢測到的交通目標位置為中心，將圈定目標的矩形框基于距離和空間透視變換原理投影到視覺圖像上。之后采用視覺目標檢測算法對初篩后的圈定目標進行檢測，檢測得到有效的交通目標和其對應的矩形框。取所有矩形框的最外圍輪廓邊線，并進一步放大10%后將形成新的最大矩形[1]，這樣即得到了雷達視頻融合后的交通信息感知結果。

如圖6 所示，（a）為毫米波雷達感知的結果，（b）為視覺傳感器感知的結果，從中可以看出，兩者單獨檢測均存在一定程度的漏檢情況；（c）為雷達視頻相融合后的感知結果，效果明顯更優。

圖6 三種感知結果對比圖

3 系統組成與應用

3.1 系統架構

融合毫米波雷達與視頻傳感器的雷視融合檢測系統主要由信息感知單元、數據傳輸單元和中心控制單元組成。系統前端的信息感知單元由雷視融合檢測器和交通信息分析儀組成，采集道路相關交通數據信息，通過交換機與后臺事件報警平臺相連接。傳輸網絡單元通過網絡設備及傳輸網絡實現前端信息感知單元與中心控制單元的連接，實時上傳前端采集的數據到事件報警平臺。中心控制單元包含事件報警平臺及數據存儲處理單元等，實現對數據的處理分析，并向前端發布命令。整體的系統架構如圖7 所示。

圖7 雷視融合檢測系統架構圖

3.2 系統功能

系統通過采集前端信息感知單元的雷達與視頻數據，將實時數據傳送給檢測主機；檢測主機對數據進行預處理和特征提取，將兩者的數據進行融合，結合目標檢測算法進行事件檢測，再通過服務器數據庫來保存交通流數據和異常事件結果；用戶可在客戶端界面對需要查詢的交通流數據、交通事件信息進行查詢和導出[2]。

系統可根據在道路上的部署情況，進行個性化的功能配置，對于部署的前端采集單元，可對檢測閾值、檢測事件類型、檢測區域等參數進行設置，以便更準確高效地完成對事件的采集。系統能根據交通目標的狀態，自動檢測各類異常事件，包括：車輛停駛、車輛違章行駛、交通事故等。在檢測到異常交通事件后，系統可向后臺監控人員發布預警信息。為便于監控人員查看，系統可自動將事件所在位置附近的攝像機圖像投射到監視墻上顯示。

為便于管理人員調查交通事件，系統可設置保存時段，自動對事件前后的視頻數據進行儲存。管理人員可通過數據管理平臺對交通事件進行自定義查詢，了解經常發生的事故類型和時間規律。數據管理平臺可利用數據庫管理功能，靈活地定義各類型統計報表和交通日志，并按照日常管理需要，導出相關的報表和報告。

4 結 語

本文研究了融合毫米波雷達與視覺傳感器的新一代交通信息感知技術，得出以下結論：

（1）通過系統的信息交互和處理，實現對多源異構傳感數據的動態融合感知、對交通狀態的智能管控。

（2）通過在道路路段及交叉口部署雷達與視頻傳感器，將交通目標檢測信息傳輸給運算服務器進行融合分析，實現交通狀態及風險事件的實時檢測，為交通管理人員進行綜合判斷與處置提供依據，在保障交通安全運行方面發揮重要作用。