基于雷視融合的高速公路交通檢測方法

王曉龍

山西省智慧交通研究院有限公司 山西 太原 030032

引言

隨著信息技術的不斷進步，智慧交通的實現已成為可能[1]。其中，交通信息檢測是實現智慧交通的前提，也是后續系統各項功能實現的基礎。交通信息檢測的準確性和可靠性直接決定了智能交通系統的整體性能。

目前，常用的交通目標檢測傳感器有視覺傳感器、激光雷達、毫米波雷達等，每一種不同的傳感器其檢測性能均有各自優點及不足[2]，毫米波雷達通過反射回波來獲取檢測對象的角度、速度、距離等數據，毫米波雷達檢測不受氣候、天氣、能見度和光照影響，可以在雨雪、大霧、夜間等惡劣天氣和光照下正常工作，同時不足之處在于毫米波雷達檢測的信息不夠豐富，只能通過檢測的數據點識別目標輪廓；而視覺傳感器采集的圖像信息非常豐富，能夠根據實際需求提取圖像中所包含的各種信息，適用于各個場景，但視覺傳感器檢測容易受氣候、天氣、能見度和光照的影響，在惡劣條件下能見度與光線不足時，采集的圖像非常模糊，很難甚至無法檢測到目標信息。

在智慧交通研究中，基于機器視覺的目標檢測理論和方法已成為車輛目標檢測的研究熱點，部分學者對車輛目標檢測的魯棒性[3]、提出改進模型[4]、運用神經網絡進行改進、并進行了相關算法研究[5-6]。

為了解決復雜場景下的多車輛的精確檢測與準確跟蹤問題，本文采用毫米波雷達和視覺傳感器，充分利用毫米波雷達和視覺傳感器的檢測優勢，通過數據融合方法，實現毫米波雷達和視覺傳感器檢測的優勢互補，克服各自的不足，從而提高準確率、高精度的車輛檢測與跟蹤[7]。

1 基于YOLO v2-mini的車輛檢測

YOLO v2通過引入anchor機制，即：每個網格首先生成5個anchor box，然后每一個anchor box再分別預測5個相關參數其中，為目標的中心位置，為目標的高、寬和置信度。根據anchor box的各個參數值，可以對目標檢測外圍框的位置進行預測，預測外圍框的位置關系如圖1所示。

圖1 位置關系

2 基于傳感器信息融合的車輛檢測

2.1 傳感器的空間融合

由于視覺傳感器與毫米波雷達的安裝位置不同，需要將兩個傳感器的空間位置進行轉換，保證兩種傳感器的檢測結果相統一。圖2顯示了各坐標系之間的關系。

圖2 各坐標系相互關系

2.1.1 毫米波雷達坐標系與三維世界坐標系的轉換。設不同平面間的距離為H，則檢測目標在三維坐標系下的坐標分別為：

2.1.2 像素坐標系與三維世界坐標系的轉換。

（1）像素坐標系與圖像坐標系的轉換。理想情況下，圖像坐標原點與像素坐標是重合的，但在實際中，由于成像平面中心與相機的光軸之間有偏差，使得實際位置產生不同程度的偏移。假設像素在對應的坐標為分別為每個像素在對應x軸和y軸上的單位長度，則圖像和像素坐標系的關系如下：

（2）圖像坐標系與視覺傳感器坐標系的轉換。投影點在圖像坐標系中的坐標為，則視覺傳感器坐標系的原點即為兩點之間的連線或延長線與鏡頭平面相交于鏡頭的光心，由此可得：

（3）視覺傳感器坐標系與三維世界坐標系的轉換。視覺傳感器坐標系和三維世界坐標系的轉換可以通過坐標系的平移及旋轉實現。假設某點T在視覺傳感器坐標系和三維坐標系中的坐標分別為則兩個坐標之間的轉換公式如下：

（4）三維世界坐標系與像素坐標系的轉換。根據上述獲得的三組坐標系之間的轉換公式，即可得到三維坐標系與像素坐標系中投影點中的真實點T之間的轉換公式：

2.2 傳感器的時間融合

本文中，毫米波雷達的工作頻率為17Hz，視覺傳感器的工作頻率可根據實驗需要設置，本文視覺傳感器設置為34Hz，因為毫米波雷達的實際采樣頻率比較低，需要對視覺傳感器采集的圖像進行不同時間間隔抽幀，然后以毫米波雷達數據相應的時間為準，再采集相應時刻的圖像數據，采集時刻如圖3所示。

圖3 毫米波雷達和視覺傳感器時間同步時刻選取

2.3 傳感器的信息融合

3 實驗驗證

3.1 融合策略實驗

本文在不同天氣條件下，在實際道路上進行實際數據采集并進行實驗。實驗結果如圖4中所示。

圖4 基于檢測框交并比的融合效果

上述結果表明，本文的融合算法具有較強的適應性，在不同氣候、能見度、天氣條件下都能夠有效實現視覺傳感器和毫米波雷達的信息融合，從而完成對車輛目標的檢測。

3.2 融合算法與單一傳感器對比

為了對比融合算法與單一傳感器的檢測結果及效果，文中選取500組視覺傳感器圖像和雷達數據，通過時間同步后進行實驗，分別采用視覺、雷達和融合策略進行處理，表1為不同方法的實驗結果。

表1 傳感器檢測結果對比

統計結果顯示，相比于單一傳感器，視頻和雷達融合策略使視覺傳感器和毫米波雷達進行了優勢互補，實現了檢測效果的顯著提升。

4 結束語

本文使用視覺傳感器和毫米波雷達進行復雜場景下的多車輛目標檢測，并對兩種傳感器進行數據融合，基于傳感器標定與坐標系轉換實現了兩種傳感器的時間空間融合，使得毫米波雷達和視覺傳感器在空間上檢測結果的一致性，通過對采樣時刻的同步，實現了傳感器的時間融合；實驗結果表明兩種傳感器的融合檢測算法能夠有效實現對車輛目標的檢測。