基于毫米波雷達(dá)和機(jī)器視覺(jué)融合的全息路口感知

摘 ?要：基于邊緣計(jì)算設(shè)備MEC接入部署在路口的毫米波雷達(dá)和攝像頭，通過(guò)機(jī)器視覺(jué)深度學(xué)習(xí)技術(shù)和多傳感器目標(biāo)融合技術(shù)，實(shí)現(xiàn)對(duì)路口本地的車(chē)輛、行人、路況的精細(xì)化、實(shí)時(shí)性感知，構(gòu)建路口的泛感知體系，從而實(shí)現(xiàn)道路交通多維度、多來(lái)源、全要素的全息感知。通過(guò)利用這些全息感知數(shù)據(jù)可以有效提升路口、區(qū)域整體通行能力，提高車(chē)輛平均速度，帶來(lái)城市交通管理成效的顯著提升。

關(guān)鍵詞：邊緣計(jì)算;機(jī)器視覺(jué);深度學(xué)習(xí);目標(biāo)融合;全息感知

中圖分類(lèi)號(hào)：TP393 ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2022）05-0098-03

Holographic Perception at Intersections Based on Fusion of Millimeter-Wave Radar and Machine Vision

CHEN Xinyun

（Zhejiang Hikalllink Technology Co.， Ltd.， Hangzhou ?311100， China）

Abstract： Based on the edge calculation device MEC with millimeter wave radar and camera device deployed on road intersections， this paper realizes the refined and real-time perception on intersection of local vehicles， pedestrians， road refinement through machine vision deep learning technology and multi-sensor target fusion technology， builds intersection general perception system， so as to realize the road traffic multi-dimensional， multi-source， total elements of holographic perception. By using these holographic perception data， it can effectively improve the overall traffic capacity of intersections and regions， improve the average speed of vehicles， and bring a significant improvement in the effectiveness of urban traffic management

Keywords： edge calculation; machine vision; deep learning; target fusion; holographic perception

0 ?引 ?言

近年來(lái)，國(guó)家智能汽車(chē)創(chuàng)新發(fā)展戰(zhàn)略日趨清晰，為促進(jìn)智能網(wǎng)聯(lián)汽車(chē)和地理信息產(chǎn)業(yè)融合發(fā)展、搶占全球智能網(wǎng)聯(lián)汽車(chē)發(fā)展先機(jī)，全國(guó)各個(gè)省市都力爭(zhēng)通過(guò)智能交通基礎(chǔ)設(shè)施建設(shè)和自動(dòng)駕駛測(cè)試及應(yīng)用示范區(qū)建設(shè)，構(gòu)建國(guó)內(nèi)自動(dòng)駕駛和智慧出行的產(chǎn)業(yè)集聚區(qū)，建成全域城市級(jí)自動(dòng)駕駛與智慧出行示范區(qū)。

自動(dòng)駕駛目前有單車(chē)智能和車(chē)路協(xié)同兩種技術(shù)路線。其中車(chē)路協(xié)同是國(guó)家統(tǒng)籌管控自動(dòng)駕駛、提高智能交通管理、提升交通出行大數(shù)據(jù)分析的重要手段。在城市級(jí)智能網(wǎng)聯(lián)示范區(qū)建設(shè)過(guò)程中，城市交叉口是一個(gè)重要的區(qū)域，是交通堵塞和事故的多發(fā)地，是車(chē)輛、行人交通匯集、轉(zhuǎn)向和疏散的必經(jīng)之處，其交通環(huán)境相對(duì)復(fù)雜。在自動(dòng)駕駛車(chē)輛行駛過(guò)程中，在交叉口區(qū)域廣泛存在因視野遮擋、車(chē)輛遮擋等原因造成的交通參與者感知不全等隱患。針對(duì)這一系列問(wèn)題，引入基于毫米波雷達(dá)和機(jī)器視覺(jué)的全息路口融合感知系統(tǒng)、可對(duì)交叉口區(qū)域所有交通參與者目標(biāo)類(lèi)型、實(shí)時(shí)經(jīng)緯度、航向角、速度等屬性進(jìn)行全面感知。

此次研究目標(biāo)是具備實(shí)時(shí)接入四路視頻和四路毫米波雷達(dá)數(shù)據(jù)，實(shí)現(xiàn)對(duì)毫米波雷達(dá)的感知信息進(jìn)行兩兩對(duì)向融合、視頻感知信息與毫米波雷達(dá)感知信息的對(duì)向融合?；诙鄠鞲腥诤系娜⒙房诟兄剿鞑捎煤撩撞ɡ走_(dá)與視頻融合，借助毫米波雷達(dá)輸出的目標(biāo)結(jié)構(gòu)化數(shù)據(jù)與視頻流數(shù)據(jù)的深度融合，實(shí)現(xiàn)路口目標(biāo)的厘米級(jí)感知精度。運(yùn)用時(shí)空同步技術(shù)，再運(yùn)用深度學(xué)習(xí)算法，進(jìn)行交通參與者識(shí)別，輸出交通參與者速度、方向、航向角、屬性等相關(guān)數(shù)據(jù)。

1 ?基于機(jī)器視覺(jué)的深度學(xué)習(xí)

基于機(jī)器視覺(jué)的深度學(xué)習(xí)技術(shù)主要是實(shí)現(xiàn)對(duì)視頻流中的行人、車(chē)輛與騎行目標(biāo)的檢測(cè)與跟蹤。關(guān)鍵技術(shù)實(shí)現(xiàn)包含以下兩點(diǎn)：（1）采用深度學(xué)習(xí)目標(biāo)檢測(cè)算法，檢測(cè)場(chǎng)景中存在的目標(biāo);（2）采用SORT跟蹤算法，對(duì)前后兩幀的同一檢測(cè)目標(biāo)進(jìn)行關(guān)聯(lián)。

如圖1所示，從實(shí)時(shí)視頻流中獲取單幀圖像，將圖像送入到深度學(xué)習(xí)檢測(cè)器，檢測(cè)器通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征，并對(duì)得到的特征進(jìn)行分類(lèi)與邊框回歸。檢測(cè)器最終輸出圖像中存在的目標(biāo)類(lèi)別與位置信息。

得到目標(biāo)檢測(cè)結(jié)果后，再通過(guò)目標(biāo)跟蹤算法將前后兩幀的同一目標(biāo)進(jìn)行關(guān)聯(lián)。T1代表某一時(shí)刻的目標(biāo)跟蹤結(jié)果。通過(guò)卡爾曼濾波算法來(lái)預(yù)測(cè)下一幀目標(biāo)的位置，得到跟蹤預(yù)測(cè)結(jié)果，如T2所示?？柭鼮V波采用線性等速模型，來(lái)近似每個(gè)目標(biāo)的幀間位移。每個(gè)目標(biāo)狀態(tài)建模為：x=[u，v，s，r，u，v，s]′;其中u，v為目標(biāo)的中心位置坐標(biāo)，s，r為目標(biāo)檢測(cè)框的面積與縱橫比。計(jì)算跟蹤預(yù)測(cè)框與下一幀的目標(biāo)檢測(cè)框的IOU，通過(guò)匈牙利算法得到IOU最大的最優(yōu)匹配，將檢測(cè)結(jié)果與跟蹤預(yù)測(cè)結(jié)果進(jìn)行匹配，得到當(dāng)下一幀的跟蹤結(jié)果，如圖2中T3所示。

2 ?基于機(jī)器視覺(jué)的GPS標(biāo)定

基于機(jī)器視覺(jué)的GPS標(biāo)定主要是建立單應(yīng)性矩陣，通過(guò)單應(yīng)性矩陣配合相關(guān)轉(zhuǎn)換算法可獲取視域目標(biāo)的GPS坐標(biāo)信息。單應(yīng)性矩陣表述的是一個(gè)平面到另一個(gè)平面的坐標(biāo)轉(zhuǎn)換關(guān)系，可以用在任意兩個(gè)坐標(biāo)系的轉(zhuǎn)換上，即可用于任意兩個(gè)傳感器之間的標(biāo)定，是一個(gè)3×3的矩陣，表示如下：;對(duì)于位于平面一的（x1，y1）和平面二的（x2，y2），H矩陣把二者映射關(guān)系建立起來(lái)：;矩陣展開(kāi)后有3個(gè)等式，將第3個(gè)等式代入前兩個(gè)等式中可得：;H矩陣內(nèi)包含9個(gè)未知數(shù)，由于使用的齊次坐標(biāo)系，即可以進(jìn)行任意尺度的縮放，如將hij乘以任意一個(gè)非零常數(shù)k并不改變等式結(jié)果。即上述公式等價(jià)于：;所以，實(shí)際上H矩陣只有8個(gè)自由度，因此需要4個(gè)標(biāo)定點(diǎn)對(duì)進(jìn)行求解（1點(diǎn)包含x、y兩個(gè)參數(shù)）。在真實(shí)的應(yīng)用場(chǎng)景中，由于選取的點(diǎn)對(duì)中可能包含噪聲，為了使得計(jì)算更精確，一般都會(huì)使用遠(yuǎn)大于4個(gè)點(diǎn)對(duì)來(lái)計(jì)算單應(yīng)矩陣。

另外上述方程組采用直接線性解法通常很難得到最優(yōu)解，所以實(shí)際使用中一般會(huì)用其他優(yōu)化方法，如奇異值分解求取最小二乘解，再使用隨機(jī)采樣一致性（RANSC）進(jìn)行精選，或者通過(guò)Levenberg-Marquarat（LM）進(jìn)行優(yōu)化。

視頻攝像機(jī)與GPS標(biāo)定基于角點(diǎn)檢測(cè)與GPS點(diǎn)的平面擬合方式，采集多對(duì)GPS坐標(biāo)與像素坐標(biāo)匹配點(diǎn)，通過(guò)單應(yīng)性矩陣標(biāo)定算法，輸出最優(yōu)匹配結(jié)果，獲取坐標(biāo)轉(zhuǎn)換矩陣，即相機(jī)內(nèi)外參矩陣。

3 ?基于多傳感器目標(biāo)的融合技術(shù)

基于多傳感器目標(biāo)的融合技術(shù)主要是將通過(guò)毫米波雷達(dá)所獲取的目標(biāo)信息和通過(guò)攝像頭獲取的目標(biāo)信息進(jìn)行補(bǔ)償、去重和擬合，從而獲取路口交通目標(biāo)的各類(lèi)準(zhǔn)確信息。

毫米波雷達(dá)模塊主要可以獲取運(yùn)動(dòng)的目標(biāo)信息，包括目標(biāo)的類(lèi)型、位置、速度、航向角等，但由于缺乏紋理信息，對(duì)目標(biāo)類(lèi)別可能會(huì)有誤判，在車(chē)流密集的復(fù)雜環(huán)境下，這一問(wèn)題尤為突出。攝像頭在感知系統(tǒng)里使用頻率最高，攝像頭可獲取車(chē)輛、非機(jī)動(dòng)車(chē)、行人的類(lèi)型、位置、車(chē)輛車(chē)牌等信息，從而彌補(bǔ)毫米波雷達(dá)的缺陷。

本算法的主要思路是基于卡爾曼濾波和匈牙利匹配完成互補(bǔ)信息的關(guān)聯(lián)融合，以匈牙利匹配算法匹配卡爾曼濾波的目標(biāo)預(yù)測(cè)信息與上一時(shí)刻的目標(biāo)信息（目標(biāo)的匈牙利匹配包括單目標(biāo)和多目標(biāo)兩種情況），若匹配成功，則利用卡爾曼濾波進(jìn)行本時(shí)刻的信息更新;若匹配失敗，則以目標(biāo)的量測(cè)信息作為本時(shí)刻的輸出信息。本算法以速度和位置作為狀態(tài)量，以位置作為觀測(cè)量，方程如下：

（1）狀態(tài)一步預(yù)測(cè)方程：

;

（2）狀態(tài)估計(jì)方程：

;

（3）最優(yōu)濾波增益方程：

;

（4）一步預(yù)測(cè)均方差誤差方程：

;

（5）估計(jì)均方誤差方程：

;

初始定義時(shí)，定義Q陣、R陣、P0陣以及X0;Q陣是系統(tǒng)噪聲矩陣，即雷達(dá)的噪聲值常值;R陣是量測(cè)噪聲的方差陣，即測(cè)量系統(tǒng)所能達(dá)到的位置和速度精度。當(dāng)前模塊的最終輸出主要是目標(biāo)的類(lèi)別（行人、非機(jī)動(dòng)車(chē)、機(jī)動(dòng)車(chē)）、實(shí)時(shí)位置（經(jīng)緯度）、速度、航向角等目標(biāo)信息。

4 ?驗(yàn)證分析

4.1 ?驗(yàn)證方案

驗(yàn)證步驟為：（1）真值車(chē)在允許速度范圍內(nèi)通過(guò)感知區(qū)域;（2）真值車(chē)輸出車(chē)輛的位置、速度、航向角，根據(jù)時(shí)間戳和系統(tǒng)輸出的三者做比較;（3）分別測(cè)試3次并統(tǒng)計(jì)差值的平均值、標(biāo)準(zhǔn)差。

評(píng)價(jià)方法為：（1）定位精度可將經(jīng)緯度轉(zhuǎn)化成歐式距離進(jìn)行結(jié)果統(tǒng)計(jì);（2）差值的平均值和標(biāo)準(zhǔn)差滿足要求。

注意事項(xiàng)有：（1）在能夠保證授時(shí)精度的前提下，認(rèn)為真值車(chē)與待測(cè)系統(tǒng)時(shí)間相差10毫秒內(nèi)的兩幀數(shù)據(jù)為同一時(shí)刻的數(shù)據(jù);（2）車(chē)輛輸出位置的選擇可以選在車(chē)輛前保險(xiǎn)杠中心點(diǎn)、后保險(xiǎn)杠中心點(diǎn)或者幾何中心點(diǎn)，只需要在上報(bào)數(shù)據(jù)的時(shí)候標(biāo)明該組數(shù)據(jù)的輸出位置即可;（3）航向角以正北方向?yàn)榛鶞?zhǔn)，沿順時(shí)針?lè)较?，正北向和目?biāo)頭部運(yùn)動(dòng)方向之間的夾角即為航向角，方向角的取值范圍是[0°，360°）。

4.2 ?驗(yàn)證結(jié)果

平均偏差是指多次測(cè)試后所得到的各個(gè)偏差值的平均值，標(biāo)準(zhǔn)差是各數(shù)據(jù)偏離平均偏差數(shù)的距離（離均差）的平均數(shù)。如表1所示，3次目標(biāo)定位測(cè)試偏差均小于1米;如表2所示，3次目標(biāo)速度測(cè)試偏差均小于0.5米/秒;如表3所示，3次目標(biāo)航向角測(cè)試偏差均小于1°;各項(xiàng)指標(biāo)均符合預(yù)期。

5 ?結(jié) ?論

提出一種基于機(jī)器視覺(jué)的目標(biāo)匹配算法對(duì)前后兩幀的同一檢測(cè)目標(biāo)進(jìn)行關(guān)聯(lián)，通過(guò)匈牙利算法得到IOU最優(yōu)匹配，將檢測(cè)結(jié)果與預(yù)測(cè)結(jié)果進(jìn)行匹配，實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。

針對(duì)毫米波雷達(dá)檢測(cè)目標(biāo)時(shí)出現(xiàn)定位精度不準(zhǔn)的問(wèn)題，提出一種基于機(jī)器視覺(jué)的GPS標(biāo)定方法，通過(guò)建立單應(yīng)性矩陣配合相關(guān)轉(zhuǎn)換算法可獲取視域目標(biāo)的GPS坐標(biāo)信息，用以針對(duì)毫米波雷達(dá)定位功能的精度補(bǔ)償。

提出一種基于毫米波雷達(dá)和機(jī)器視覺(jué)的多傳感目標(biāo)融合技術(shù)，通過(guò)基于卡爾曼濾波和匈牙利匹配完成互補(bǔ)信息的關(guān)聯(lián)融合，實(shí)現(xiàn)對(duì)目標(biāo)信息的補(bǔ)償、去重和擬合功能。

參考文獻(xiàn)：

[1] 李原.毫米波雷達(dá)在車(chē)路協(xié)同系統(tǒng)中的應(yīng)用研究 [J].工業(yè)控制計(jì)算機(jī)，2020，33（1）：44-46+50.

[2] 王宇寧，龐智恒，袁德明.基于YOLO算法的車(chē)輛實(shí)時(shí)檢測(cè) [J].武漢理工大學(xué)學(xué)報(bào)，2016，38（10）：41-46.

[3] WANG C Y， LIAO H Y M. YOLOv4：Optimal Speed and Accuracy of Object Detection [J/OL]. arXiv：2004.10934v1 [cs.CV].（2020-04-23）.https：//arxiv.org/abs/2004.10934v1.

[4] OH J， KIM K S， PARK M， et al. A Comparative Study on Camera-Radar Calibration Methods [C]//15th International Conference on Control，Automation，Robotics and Vision （ICARCV）.Singapore：IEEE，2018：1057-1062.

[5] ZHANG X，ZHOU M，QIU P，et al. Radar and vision fusion for the real?time obstacle detection and identification [J].Industrial Robot An International Journal，2019，46（3）：391-395.

作者簡(jiǎn)介：陳信云（1979—），男，漢族，浙江寧波人，工程師（中級(jí)），學(xué)士學(xué)位，研究方向：車(chē)路協(xié)同、智慧交通。