基于數字孿生技術的智慧高速雷視融合系統應用研究

□ 陳 波

運用數字孿生智能高速公路的發展理念，構建一個涵蓋“宏觀、中觀、微觀”三個層面的全面性數字孿生信息模型。通過數字孿生的虛擬與現實的結合和統一創新管理新模式，完成全程、全元素、全方位的高速公路的數字化、網絡化和智能化的實現，從而進一步提高高速公路的精細管理水平。通過集成和融合應用AI 人工智能、AR增強現實、三維GIS、大數據等新一代信息技術，實現對高速路段進行全要素信息的高精度、高逼真的三維孿生還原，構建基于最新的UE5 引擎的實景數字孿生智慧高速應用。通過對前置攝像頭、卡口、毫米波雷達、事件檢測等眾多感知技術的融合，大大加強了對高速公路和橋梁等復雜環境下的多維度感知力，并且構建了穩定的數據傳送路徑，進行即時反饋和自動預警，極大地強化了對高速公路運行情況的智能感知能力。這不僅便于實時通報交通擁堵和設備故障，而且為高速公路的安全高效運營提供了數據保障；還可以通過解析和挖掘復雜數據，產出有利于決策的信息，實施動態監測事件狀態，并借助時空信息，實現全方位、全狀態的全景觀察，增強了對高速公路即時狀況的全面監控能力，為高速公路運營管理提供全面、宏觀、重要的數據指標，從而實現高速公路的智能化管理。

一、總體設計

通過將AI人工智能、AR增強現實、三維GIS、UE5引擎、大數據等最新信息技術融合使用，建立起一套科學、統一的規范標準體系，推動智慧高速“1+1+N”總體結構的建設，即，1 套全路網感知系統、1 個智慧高速大腦以及N類智慧應用，打造具備動態感知、多維融合與智慧決策功能的智慧高速應用，促使高速交通治理接軌智能化改革，使得高速公路的運行和管理更具效率和便捷性。如圖1 所示。

圖1 智慧高速“1+1+N”總體架構

基于高精地圖、二三維可視化技術，實現“路網－路段－車道”多層級的精細化管理，以高度可視化、圖形化的方式，一屏展示高速公路從宏觀到微觀的監測數據、調度數據等多維度數據信息，動態展示高速交通態勢運行全貌，如圖2 所示。

圖2 系統架構圖

二、主要技術剖析

1. 場景AI 識別技術

通過后端場景AI智能識別算法，對接入的視頻流進行智能分析，利用人工智能、深度學習技術，構建多層的機器學習模型，智能識別檢測視頻畫面中的偵測目標和異常事件，并通過對識別特征的不斷積累、學習，從而提升目標對象分類識別與跟蹤的檢測能力，有效實現對高速公路主線、橋隧、服務區、互通立交等場景下的行人檢測、停車檢測、事故檢測、區域入侵、安全帽檢測、擁堵檢測、拋撒物檢等多種AI智能的分析，并可根據不同場景靈活、快速部署智能識別算法，廣泛地服務于不同應用場景。AI 識別關鍵算法在采用成熟的TensorFlow 深度學習框架，訓練出多層神經網絡模型及對運動物體跟蹤監測。

（1）神經網絡模型訓練步驟。①在處理視頻背景提取時，需要對所有視頻幀進行預處理，以確保順利執行后續步驟；②在現實應用場景中，對移動目標的監測主要聚焦于車輛和行人，包括非車輛和非行人的目標，對其出現、消失和運動狀況的改變進行研究；③目標特征識別，主要判斷包括摩托、小型汽車、輕型卡車、大中型客車貨車等識別判斷；④針對所有進入道路的車輛，通過特征對應，實現多對象跟蹤，從而可以確切地分別出不同的攝像頭畫面中同一臺車的行為路徑對應和跟蹤。

算法采集分析前后攝像機視頻畫面中所有車輛的所在車道、車速、車輛特征等信息，并進行前后信息的比對，同時建立隊列維護規則。

在研發和訓練階段，針對不同的環境、光照等因素下檢測目標的不同特征進行算法定制和訓練優化，能夠有效減輕光照變化對算法的影響，提高檢測率，降低誤報和漏報率。

（2）核心算法。①視頻背景提取。在基本層面上，AI 處理視頻文件是通過解析視頻中的連續幀圖像來實施，對圖像的操作是算法的最終步驟。對于連續的視頻圖片，算法需要對這些圖片畫面實施一番圖像預處理。圖像灰度化，由于讀取的初始視頻圖像是RGB三通道的，含有大量的噪點以及冗余的顏色空間信息，因此一開始就會把圖像的顏色空間進行轉換。圖像去噪，盡管已對經過圖像處理后的灰度圖像進行了背景提取和運動車輛檢測，但圖像中的噪聲仍相當多，所以，實施去噪處理對灰度圖像來說是必不可少的。背景提取與構建，對灰度圖像消除噪聲后，然后獲取背景圖。視頻背景圖的構造系統，是基于視頻的前N 幀執行的區間統計以獲取背景圖像。②運動物體檢測。選擇背景差分進行動態物體檢測，不僅計算量少，而且精度可靠。針對幀圖片，通過第一個點獲取的背景進行差分。一旦獲得了差分圖，接著進行圖像二值化的處理，主要包含圖像的降噪和腐蝕，進行二值圖的膨脹處理以得到更加清晰的車輛外形。在接收到較明確的車輛輪廓信息后，可以在二值圖像中確定輪廓的位置。③車輛特征識別匹配。卷積神經網絡模型在圖像分類工作中的主要優勢是免于手動提取圖像特征，通過模仿動物大腦的視覺反應方式來學習圖像，進而發現最適合進行圖像場景分類的特征信息以便于后續的分類工作。基于目標檢測分類算法，快速在圖像畫面中框選出車輛目標，并識別出車輛的類型，可識別摩托車、小型汽車、輕型卡車、重型貨車、大中型客車等車型。

2. 三維GIS 技術（UE5）

以空間地理信息數據為基礎，通過對高速公路中的地形、道路、建筑、設施、綠化植被等空間要素進行大范圍自動建模和對重點區域的手工精細化建模相結合方式，生成高精度、多層次、多時相的三維實體模型，將傳統二維管理視角向更加立體、直觀的三維視角轉變，并可通過UE5 引擎對三維模型進行高逼真、高畫質特效渲染，實現從宏觀場景到微小細節的高逼真、可視化還原，全方位、立體、直觀地將高速公路中的各種場景等信息真實地展示在人們面前，從而形成一個真實、直觀的虛擬三維場景。

UE5 引擎采用延遲渲染方法能夠在渲染大量光源的同時，降低程序資源消耗，使UE能夠保持較高的運行幀率，將更多的資源用于復雜場景和模型的處理和動態效果的呈現，從而提升系統整體的渲染效果和流暢性，以及最終的用戶體驗。

3. 異構數據融合處理

異構數據指的是結構不同的各種數據，具體包含了非結構化的多路視頻流數據、結構化的雷達數據等。首先對視頻流數據進行結構化處理，分析每一幀圖像，提取圖像中的背景和目標物體，包含車輛、行人、拋灑物等，根據像素點分析目標的特征。根據連續不斷多幀圖像分析判斷、跟蹤目標物體的移動變化規律，發現道路場景內目標的異常狀態（停車、超速、逆行、擁堵、拋灑物、行人等），輸出目標大小、顏色、速度、位置坐標、方向等數據。其獨特之處在于對每一個目標對象進行特征識別后，定位其經緯度坐標，生成唯一ID，并跟蹤其位置變化。同時，將毫米波雷達檢測到的場景內的目標對象數據進行解析處理，與視頻圖像處理過程類似，分析每一個數據包中的目標對象的位置坐標、大小、速度等數據，分析其特征和變化規律。與視頻圖像不同的是，毫米波雷達感知范圍更廣、精度更高。

視頻與雷達數據的融合是通過同一目標坐標的判斷實現的。在設備安裝調試階段，通過RTK 設備，采集雷達感知區域內目標的坐標值；通過視頻攝像機采集視頻監控區域內同一個目標、同一個位置的坐標值，對兩個坐標值進行統一，完成雷達與攝像機在檢測范圍內每一個位置的坐標統一。即同一時間，任何一個位置出現一輛車或者行人，雷達輸出的坐標和攝像機輸出的坐標是一致的，然后結合二者對目標其他特征的識別比對，完成是同一個目標的判斷，生成唯一的ID，跟蹤其變化情況。上述數據的融合功能，可以由雷視一體機內的嵌入式邊緣計算設備完成，或者由獨立的MEC 設備完成。

三、功能設計及實現

1. 可視化渲染及三維展示

利用3D GIS 技術可實現對高速公路的車道級別高精度三維可視化建模，并支持對交通設施、設備進行3D精細化建模，對高速公路、沿線設施、地形等全場景信息進行單體化處理，并采用國際頂級渲染引擎UE5，實時渲染高逼真高速公路三維模型的畫面。支持疊加相應的交通靜態和動態信息數據，全要素、車道級、3D可視化呈現，包括道路、車輛、智能感知設備、交通信號設備、交通事件、環境等，有力支撐對高速公路交通態勢運行監測。如圖3 所示。

圖3 智慧高速數字化綜合管理平臺

2. 交通實時仿真

利用前端的感知數據，如路旁視頻、門架以及雷視一體機等，結合可模擬三維環境的能力，可以實時仿真模擬行車道的交通情況。利用三維動畫形式，為監管者展示車輛的行駛路徑、交通狀態和特征信息，達到對實際環境中車輛全程監控的目的，全方位重現道路交通運行情況，幫助使用者精確管理公路。

3. 三維視頻融合

可將視頻監控畫面與三維模型進行精準匹配融合，在三維模型/傾斜攝影地圖模型中可將對應場景下的視頻畫面融合投影呈現，用戶能夠直接在模型中查看前端現場情況畫面，實現視頻與場景同步展示。結合高速項目管理需求，設計功能還可擴展“兩客一危”重點車輛管理、交通狀況全息智能感知、告警處理及聯動、應急指揮調度及事件溯源等。

四、結語

基于邊緣側部署的雷視融合技術和車輛AI 識別技術及實景數字孿生技術、虛實結合技術，實現了高速公路交通事件和重點車輛的主動AI 檢測、歷史過程復盤和一鍵閉環處置的智慧應急管控功能，是“云－邊－端”架構在智慧高速公路行業運營管理工作的實踐。結合后期廣東省交通集團數字底座高精地圖，可為未來車路協同和自動駕駛在高速公路行業落地的具體實現路徑進行積極探索。