基于移動邊緣計算的智慧公路多源感知技術研究

宋曉鵬，梁睿琳，郭 迎

（1.長安大學，陜西 西安 710064；2.浙江數智交院科技股份有限公司，浙江 杭州 310031）

0 引 言

近兩年，智慧公路的信息化、智能化建設受到了前所未有的關注，多源信息感知是智慧公路發展中尤為重要的一環，是實現其智慧化的基礎。“智慧”是指通過光傳感器、聲傳感器、波傳感器和電傳感器對多樣化動態信息進行實時采集。智慧公路的交通信息感知系統是基于全息交通理論，利用多種傳感器技術，結合先進的數據分析方法與物聯網技術，通過移動邊緣計算（Molile Edge Computing,MEC）等實現交通信息匯聚和處理，從而實現公路管理的信息化、自動化、智能化。

1 背景技術

依靠車載或路側傳感器實現實時、精確交通場景目標檢測，是實現智慧公路多源信息感知的基礎。圍繞智慧公路環境感知的需求，將全天候攝像機和雷達相結合，并對攝像機和激光雷達進行聯合標定，建立空間同步和時間同步方案。基于邊緣計算服務器，能夠將路側端傳感器和車載端傳感器數據進行匯聚、融合與分析，在路側設施和智能車輛之間共享計算結果，提高智能車的感知能力，以及公路管理的信息化、自動化、智能化，進而提高道路的通行效率和安全性能。

攝像機可以輸出高分辨率的圖像，包含豐富的顏色、紋理信息，特別適合精確的目標分類。傳統的目標檢測算法如SIFT、HOG、SURF，利用不同大小的滑動窗口描繪圖像上需要檢測的區域并提取特征點，然后使用機器學習方法對這些特征進行分類。近年來，在圖像識別領域的研究已經拓展到使用深度學習領域的方法，常用方法可分為兩步法和一步法。兩步法如R-CNN，Fast R-CNN和Faster R-CNN等，以及遞歸卷積神經網絡（RCNN）算法系列，均獲得了良好的識別效果。一步法，如YOLO系列算法，能夠獲得良好的目標檢測結果。

在智慧公路環境中，雷達的基本任務是發射電磁波，對目標進行照射并接收其回波，由此獲得目標至電磁波發射點的距離、方向、速度等狀態參數，能夠全天候、全天時準確測量物體距離和運動速度。攝像機可識別物體類別、車輛高度，在物體高度與寬度測量精度、車道線識別、行人識別準確度等方面具有較大優勢，是實現車道偏離預警、交通標志識別等功能不可缺少的傳感器，但作用距離和測距精度不如毫米波雷達，并且容易受光照、天氣等因素的影響。攝像機和毫米波雷達在目標識別與跟蹤技術領域各有優劣，充分利用雷達和相機數據的互補性，實現多源交通信息融合，為交通信息感知提供了一種可行的方案。

路側傳感器作為智慧高速的重要組成部分，能夠感知各類道路交通環境，獲取重要的交通信息。具體做法：在道路一側安置固定的傳感器，如視覺傳感器、毫米波傳感器等，將傳感器收集的信息送至邊緣服務器處理，提取車輛位置、車輛軌跡等信息；根據路側傳感器獲取的多源信息，進行實時數據處理以分析交通狀況，并可以在路側設施和車輛之間共享計算結果。移動邊緣計算能夠提供強大的計算和存儲功能，基于邊緣服務器將路側端攝像機和毫米波雷達進行融合，通過數據預處理、空間同步、時間同步和跟蹤算法等，實現兩者的相互配合，共同構建道路環境感知系統，使其更穩定、更可靠。基于邊緣計算的智慧公路多源感知圖示如圖1所示，系統結構如圖2所示。

圖1 基于邊緣計算的智慧公路多源感知

圖2 系統結構

2 數據預處理

YOLOv3是一種快速、準確的深度學習方法，用于處理攝像機圖像數據。相較YOLOv2和YOLOv1，YOLOv3調整了網絡結構，具有53個卷積層，稱為DarkNet53，利用多尺度特征進行目標檢測，在保持速度的前提下，提升了預測精度，尤其是小目標物體的檢測效果得到了較大改善。在智慧公路場景中，對遠處較小的車輛目標進行檢測較為困難，而YOLOv3卻能夠很好地檢測到道路遠處的小目標。此外，YOLOv3是一種實時對象檢測系統，它以30 FPS的速度處理圖像，對檢測到的對象執行多標簽分類，在使用Pascal Titan X的COCO測試開發中mAP值為57.9%。YOLOv3網絡結構如圖3所示，YOLOv3多尺度檢測方法如圖4所示。

圖3 YOLOv3網絡結構

圖4 YOLOv3多尺度檢測方法

雷達通過一些內置算法來處理原始反射點以檢測目標。反射的檢測點并不總準確，并且有時在同一車輛上會有多個檢測點，因此需要采用聚類方法來進一步處理反射結果。通常，我們使用DBSCAN聚類方法處理雷達檢測數據。DBSCAN為密度聚類的無監督方法，該方法無需知道經過處理的簇的最終數量和形狀就可以發現任意形狀的簇類，并且可以同時識別噪聲點。

3 傳感器空間同步

毫米波雷達和攝像機在不同位置獲得多元信息，傳感器融合需包含時間同步和空間同步。空間同步通過聯合校準標定完成，攝像機標定包括坐標變換和畸變校正。坐標變換主要涉及4個坐標系，包括世界坐標系、攝像機坐標系、圖像坐標系和像素坐標系，如圖5所示。相關參數介紹見表1所列。

圖5 坐標系變換

表1 相關參數

通過上述4個坐標系的轉換得到世界坐標系到像素坐標系的轉換公式：

雷達校準主要通過預期的位置和角度進行精確安裝。攝像機和雷達聯合校準的目的是將來自這2個傳感器的測量值轉換為相同的坐標系。通過公式（2），我們將雷達坐標系的測量值轉換為攝像機坐標系。將雷達與地面平行放置，使雷達的檢測范圍與攝像機保持在同一水平。攝像機和雷達的聯合校準示意圖如圖6所示。

圖6 攝像機和雷達聯合校準

4 傳感器時間同步

雷達和攝像機具有不同的采樣頻率，在空間同步之后需要進行時間同步，以提高每幀目標定位的準確性以及不同傳感器數據的綜合利用率。通過多線程時間同步方法，能夠實現不同采樣頻率的攝像機和雷達的時間同步。多線程時間同步方法包含3個線程：雷達線程、攝像機線程和融合線程。雷達線程和攝像機線程分別用于以不同采樣率從雷達和攝像機收集數據。實時獲取的數據將被發送到預處理模塊，預處理模塊分別采用YOLOv3深度學習算法和DBSCAN聚類算法對相機和雷達數據進行處理。

將獲得的預處理結果存儲在緩沖區中，并使用直接更新方法進行實時更新。緩沖區中僅存儲一幀有效的雷達檢測數據。如果攝像機和雷達已檢測到新目標并對其進行聚類，則立即替換緩沖區中的數據。

融合線程由3部分組成，包括判斷模塊、檢測分配和測量融合。判斷模塊由時間控制，且融合間隔必須長于攝像機和雷達的采樣間隔。當系統時間達到融合時間時，將從雷達和攝像機緩沖區中提取數據以進行后續處理。檢測分配是一種將攝像機和雷達檢測配對的對象關聯技術，以確保在多個目標的情況下兩者可以相互匹配，通常選用分配算法或聚類算法。攝相機與雷達時間融合流程如圖7所示。

圖7 相機與雷達時間融合流程

目標速度為毫米波雷達檢測到的速度，由攝像機識別目標類型、大小，攝像機檢測和雷達檢測的平均位置為目標位置。

5 多目標關聯與跟蹤

采用雷達和攝像機進行多目標跟蹤需要著重于以下幾點：

（1）對象關聯：雷達檢測應與攝像機檢測相關聯，而當前融合檢測必須與現有軌跡相關聯；

（2）跟蹤環節：應選用合適的濾波器進行跟蹤，系統采用卡爾曼濾波；

（3）跟蹤管理：需維護跟蹤對象數據庫，并且定義跟蹤過程，包括初始化、更新和刪除。

多目標跟蹤過程如圖8所示。

圖8 多目標跟蹤

5.1 目標關聯

系統采用Munkres算法進行目標關聯、對象關聯，以解決目標分配問題。該算法中的分配數量和任務數量必須一一對應。假設有M個目標需要與N個目標進行匹配，可使用Munkres算法構造方陣，并使用傳統的匈牙利算法獲得匹配結果。目標關聯結果可以分為3類：已分配的檢測，未分配的雷達檢測和未分配的攝像機檢測。未分配的攝像機檢測用作有效檢測，毫米波雷達誤檢率較高，直接刪除未分配的雷達檢測數據。

對于多目標跟蹤，將檢測結果分為3類：未分配的檢測，未分配的軌跡和已分配的軌跡。目標關聯算法執行完畢，在隨后的處理中將未分配的檢測用于目標庫中生成新軌跡，已分配的軌跡用于軌跡更新，未分配的軌跡用于判斷是否需要刪除現有軌跡。

5.2 目標跟蹤

卡爾曼濾波廣泛用于位置估計和目標跟蹤。它包括2個過程：預測過程和更新過程。

預測過程：

式中：X為k時刻的狀態預測值；F為狀態轉移矩陣；X為k-1時刻的最優估計；BU為外部輸入；ω為過程激勵噪聲；P為預測誤差；P表示為k次先驗估計協方差矩陣；P為k-1次后驗估計協方差矩陣；Q為過程激勵噪聲協方差矩陣。

更新過程：

式中：K為卡爾曼增益矩陣；H為觀測矩陣；R為測量噪聲協方差矩陣；Z為k時刻的測量值。

5.3 目標管理

目標管理遵循統一的規則，如果某一軌跡在過去5次更新中至少收到4次檢測信號，即收到至少4次該軌跡的已分配軌跡數據，將予以確認并更新軌跡；如果某一軌跡最近5次更新中未收到已分配的軌跡，則該軌跡將被刪除。

6 結 語

圍繞智慧高速公路環境感知的需求，本文將路側全天候攝像機和毫米波雷達相結合，作為邊緣計算的應用。系統對攝像機和毫米波雷達進行聯合標定，建立多傳感器間坐標系轉換關系，實現智慧公路檢測區域內的空間同步；通過多線程時間同步方法，實現不同采樣頻率攝像機和雷達的時間同步；最后采用適當的融合算法將同一目標的所有傳感器數據進行融合與目標關聯，得出一致性檢測結果，進行目標跟蹤與目標管理。在以后的工作中，將繼續圍繞路側設施和移動邊緣計算服務器開展相關融合算法研究，并做進一步改進。