基于多傳感融合技術的城軌列車主動防撞系統研究及應用

任崇會

（南寧軌道交通集團運營有限公司，廣西 南寧 530001）

0 引言

現代化的城市軌道交通運輸列車高密度、快速的運行，雖然經過嚴密的監控，但仍然存在非預期的障礙物，對行車安全帶來不利影響。如軌道上的障礙物，對行車的安全影響最大，一旦發生障礙物的碰撞，將造成重大列車事故，產生巨大的經濟損失。然而，目前有人駕駛對列車運行前方的障礙物、人和同股道列車的檢查依靠駕駛司機的個人判斷，在發現緊急狀況就采取緊急制動，一旦駕駛人員注意力不集中或者未及時發現障礙物，有可能緊急制動不及時而造成事故。因此，研制列車主動防撞系統對列車運行前方限界內的障礙物、行人和列車等進行防撞檢測是保證行車安全的必備條件[1]。針對列車主動防撞系統的研究，目前國外已針對單一傳感設備的缺陷，采用多傳感信息融合技術作為主要技術手段，但仍無成熟產品。國內在固定測試設備上已經有比較成熟的方案，但在車內主動、實時監測前方行車路況的設備也沒有形成成熟可靠產品。鑒于此，基于多傳感融合技術設計了一套列車主動防撞系統，并在列車上進行裝車試用。

1 系統原理及組成

設計的列車主動防撞系統由智能檢測主機和組合傳感器構成，其中組合傳感器包括：視覺攝像機、激光雷達、毫米波雷達。系統通過視覺攝像機、激光雷達、毫米波雷達采集列車前方路況數據信息，然后通過以太網將數據信息發送給智能檢測主機進行融合處理，數據融合的結果和決策信息，通過I/O接口輸出報警信息至TCMS（Train Control and Management System，列車控制系統），并在司機室顯示器上向司機顯示報警提示信息。系統預留制動干接點硬線接口，用于未來列車控制需求。系統拓撲結構如圖1所示。

圖1 系統拓撲結構圖

1.1 智能檢測主機

智能檢測主機是整個系統的核心組件，負責完成視覺攝像機、激光雷達及毫米波雷達等傳感器的數據處理計算和多傳感融合與決策，在檢測到存在碰撞風險時輸出報警信息，或通過干接點接入緊急制動回路實現控車功能（預留），并可實現相關故障信息記錄和數據回放。

主動防撞系統的視覺感知處理是智能檢測主機的核心功能之一，該處理通過實現多個深度神經網絡，采用深度學習的方法來對不同攝像機的目標進行探測，這需要智能檢測主機提供強大的圖像處理能力，因此，在設計智能檢測主機時，采用針對圖像智能處理能力的特別設計，為圖像深度學習算法提供強大的算力資源支撐。本研究的主動防撞系統智能檢測主機采用高算力嵌入式GPU（Graphic Processing Unit，圖形處理器）NIVDIA Jetson TX2作為主要的圖像處理器，該處理器可以在功耗僅為15 W的情況下為系統提供1.26Tops的算力。

對于遠距離對象的狀態感知，還需要對激光雷達和毫米波雷達數據融合處理，從而準確地判斷障礙物的侵限和碰撞風險。由于激光雷達的點云數據量大，在進行聚類分析時，需要較高的計算能力，以保證系統的實時性，因此在選擇CPU處理器時，需要在滿足功耗要求的情況下，選擇至少1.8 GHz以上主頻的多核嵌入式CPU處理器，當前應用較為成熟的是NXP LS1046處理器，該處理器可以在完成激光雷達點云處理的基礎上，為整個系統的主控調度和報警策略實施提供充足的計算性能。

在高算力嵌入式板卡作為圖像和數據融合處理的算力支撐下，增加IO接口板卡、交換板、傳感器供電板、電源板等功能單元形成智能檢測主機。為適合城軌列車的安裝，同時兼顧散熱和板位，智能檢測主機采用標準3U 84R機箱，通過背部風扇強迫通風散熱的情況下，可以保證在高溫下功能正常。

1.2 組合傳感器

視覺攝像機選擇：視覺攝像機是障礙物檢測系統中最為成熟的傳感器，在光線環境較好的情況下，可以達到很高的檢測和識別準確率[2]。但目前市場上針對軌道交通車載環境設計的高性能攝像機不多，尤其是在低照度、寬動態等技術指標上，較難達到理想的效果。為覆蓋檢測范圍需求，主動防撞系統采用定制攝像機模組，模組內包括：

長焦攝像頭（鏡頭50 mm）：負責150 m～300 m范圍內目標識別。

短焦攝像頭（鏡頭16 mm）：負責150 m范圍內目標識別。

毫米波雷達選擇：毫米波雷達是目前在汽車和航空業常用的傳感器，用于檢測目標對象的距離、速度和方位。毫米波的波長介于厘米波和光波之間，因此毫米波兼有微波制導和光電制導的優點。同厘米波導引頭相比，毫米波導引頭具有體積小、質量輕和空間分辨率高的特點。與紅外、激光、電視等光學導引頭相比，毫米波導引頭穿透霧、煙、灰塵的能力強，具有全天候全天時工作的特點。考慮毫米波雷達作為本方案遠距離障礙物檢測（測距、測速、側方位）的主要手段，且目前汽車和航空業常規的毫米波雷達均無法滿足系統檢測距離和方位分辨率的需求，主動防撞系統采用定制芯片級聯的77GHz的毫米波雷達。

激光雷達選擇：激光雷達是以發射激光束來探測目標的位置、速度等特征量的雷達系統，它在汽車輔助駕駛系統和自動駕駛系統中被廣泛應用。激光雷達相比毫米波雷達而言，可以獲取更豐富的路況信息，相比視覺而言，可全天時工作，可以作為中近距離障礙物探測的主要手段之一。為保證激光雷達可覆蓋行車前200 m，最小30 cm3障礙物的探測需求，需要選用俯仰角度更廣、線數更多、掃描頻率更快的激光雷達產品。最終激光雷達的選擇主要從感知范圍、使用壽命和產品價格三個維度進行考慮，選用128線以上固態激光雷達。

2 關鍵技術

2.1 視覺檢測與識別技術

基于視覺的障礙物識別采用基于像素級的語義分割算法，可以提供20多種目標的識別，有效工作距離在行車前方300 m以內。和主流的多目標像素級分割深度學習算法相比，本研究使用高效卷積神經網絡和創新模型壓縮算法，可以在不損失檢測精度的前提下將運算效率提升兩個數量級以上。相比于自動駕駛行業內動輒數百MB甚至GB級的深度神經網絡模型，剪裁后的網絡模型小于10MB，可以確保功耗低，運算速度快，能夠在障礙物檢測主機運算平臺上實現。

該深度神經網絡可以處理復雜光線條件以及遮擋的物體，進行準確識別。深度學習模塊針對每個像像頭輸入的信息都配置一個專屬的神經網絡，用于進行不同目標的識別。該深度神經網絡進行像素級語義分割，將圖像中所有像素歸類，識別出與列車行駛相關的目標，比如行人、列車、道岔、脫軌器等。另外，基于傳統計算機視覺，運行的軌道也可以被識別出，將其與深度學習得出的軌道信息結合，從而可以根據準確的軌道信息和障礙物的相對位置對可能發生的碰撞進行檢測。視覺目標檢測與識別輸出的結果包括：①目標的類型；②目標的大小；③目標所在位置；④目標距離攝像機的距離。

2.2 毫米波雷達檢測與跟蹤技術

本研究的大陣列天線毫米波雷達采用近遠程探測的工作模式，雷達天線主陣面分為遠程探測天線和近程探測天線[3]。遠程探測覆蓋200 M以上區域（200 M～800 M/1KM），近程探測天線涵蓋200 M以內區域（10M/15M～200 M）。

大陣列天線毫米波雷達將傳統的線性調頻連續波技術、DBF技術及微多普勒目標識別技術相結合，獲取列車行進方向的前方靜態和動態信息。與傳統的避撞雷達相比，它融合了近/遠雙程動靜目標數據，其獲取到的環境信息更為豐富，有效提高了對行駛環境的了解和掌握。主要偵察監視對象有：（1）前方行人和動物；（2）前方列車和車輛；（3）前方阻礙列車行進的固定障礙物。

本研究采用一種多假設動靜目標跟蹤算法，并結合利用α-β衰減記憶濾波器對動靜目標進行跟蹤，算法兼顧跟蹤精度和濾波穩定性。通過利用衰減記憶濾波器來維持濾波器的穩定性，解決避撞雷達目標跟蹤的過程中，運動狀態改變容易導致濾波發散的問題，如圖2所示。

圖2 目標跟蹤算法

雷達目標檢測與跟蹤的輸出結果包括：（1）航跡數，雷達在當前周期檢測到的航跡個數N；（2）航跡編號，每個被檢測到的航跡的編號Num；（3）目標距雷達中心的縱向距離X；（4）目標距雷達中心的橫向距離Y；（5）目標高度H；（6）目標速度V；（7）目標強度S；（8）目標威脅等級M。

2.3 激光雷達檢測與識別技術

激光雷達主要負責列車近程150 m范圍內的精確測量，同時彌補視覺傳感器在惡劣天候條件下不能有效工作的問題。激光雷達目標識別問題主要針對的對象是目標的三維離散點云數據，激光掃描設備采集的每一圈數據中，包含有地面、行人動物、列車、建筑物、樹木和其他物體返回的激光點云數據。點云數據量每秒鐘達到24萬點以上，直接對初始數據進行處理，其處理困難且計算量較大，所以將其分為兩步進行：

（1）對點云進行粗分類過濾無用的點，減少實際需要處理的目標點數量，并提取目標的樣本數據；

（2）使用目標識別算法對樣本進行學習，訓練分類，最終實現激光點云數據中的目標識別。如圖3所示。

圖3 激光點云處理流程

其中，激光點云數據的粗分類操作主要包含：激光點云數據的噪點過濾處理、分割處理、聚類處理。點云分割操作時依據目標點云數據在高度上的分布特點，將初始目標點云劃分為目標和非目標點云；點云聚類操作是依據目標對象激光點的密集程度，使用基于距離的聚類方法，提取出目標候選區域，為特征提取和分類器訓練提供樣本。

激光點云目標識別過程，主要操作包括點云目標和特征提取、分類器訓練以及使用分類器識別目標。在特征提取和分類器訓練方面，依據激光點云特點，總結目標點云的特征集，在算法框架下構建弱分類器，對聚類操作獲得的樣本進行學習，獲得目標對象的特征向量，構建滿足要求的分類器。分類器對目標對象進行識別，輸出分類結果。

2.4 視頻、毫米波數據、激光點云融合技術

多傳感器融合單元的算法結構如圖4所示。

圖4 多傳感融合算法處理流程

首先，需要對輸入的信號進行濾波處理，其次，對各傳感器探測出的不同運動目標分別進行濾波跟蹤。不同傳感器采集的數據基于其不同的時間和空間坐標，若將所有傳感器的信息進行綜合考慮，必然要進行數據同步處理[4]。

實現同步之后，不同傳感器的信息需要進行聚類分析，將屬于同一物體的探測點歸類，之后便可以基于一些統計學的手段，根據各自傳感器的特性，對數據進行融合處理。融合后的數據包含的信息見表1。

表1 融合數據結構

3 裝車應用

3.1 裝車方案

智能檢測主機機箱安裝在靠近司機室最近的客室右側第一個座椅下方（左側座椅下方為滅火器），采用帶散熱孔的外殼將主機托起包裹隱藏，為不影響乘客，安裝的位置盡量靠近車體側壁，前端與座椅投影線保持相距100 mm以上，避免對乘客的影響。制作與封閉座椅下方的裙板尺寸一致的裙板進行替換，容納主機箱的情況下，確保美觀。如圖5所示。

圖5 智能檢測主機安裝效果

司機臺傳感器采用一體化支架進行安裝，集成了攝像機模組、激光雷達2種傳感器。在進行司機臺傳感器設備安裝前，2種傳感器預先完成與支架的組裝，因此，只需要考慮支架整體與司機臺的連接。一體化支架安裝在司機臺與擋風玻璃直接的凹槽內。如圖6所示。

圖6 傳感器模組安裝效果

定制版高精度毫米波雷達安裝在車體外，通過高強度支架固定在車鉤上方，并用鋼絲繩進行綁扎防脫（圖7）。毫米波雷達臨時試驗安裝是為了測試在實際運行過程中，車體外安裝形式的毫米波雷達探測精度和極限探測距離，為將來批量裝車時的毫米波雷達安裝方式提供指導依據，同時在無遮擋條件下，評估當前深度定制的高精度毫米波雷達的性能。

圖7 毫米波雷達安裝效果

3.2 試驗效果

3.2.1 目標檢測

測試指標定義：目標檢測問題中的模型的分類和定位都需要進行評估，采用的指標目標檢出的準確率P（對應誤檢率）與召回率R（對應漏檢率），同時采用F（其中×100%）作為穩定識別效果評估指標。項點檢出值與真實值（即人工標注結果）的IOU大于0.5即視為正確檢出（目標檢測置信度閾值為0.4）。IOU即交并比（Intersection over Union）是一種衡量目標檢測定位準確度的一個標準。IOU表示了檢測的邊界框與真實邊界框的交疊率或者說重疊度，也就是它們的交集與并集的比值。相關度越高IOU越大，IOU越大說明檢測的目標框越準確，IOU的取值范圍為[0，1]，最理想的情況是完全重疊，即比值為1。判斷目標檢測正確需要兩個條件，即類別正確（大于目標檢測置信度閾值）且交并比大于設定閾值，將IOU閾值設置為0.5，不同類型測試結果見表2、表3。

表2 目標檢測項點測試結果

表3 準確率對標

3.2.2 語義分割

語義分割模型同樣采用IOU作為評價指標，與標注數據進行IOU計算，計算結果見表4，其中，全圖區域是指在預測結果的1920*1080整個區域上計算IOU，當前軌道區域是指僅在當前軌道區域范圍內計算IOU。當前軌道區域是以樣本標簽中當前軌道的兩根鐵軌為基準，往兩邊各延申5個像素點而確定。

表4 語義分割模型測試結果

由結果可知，當前軌道區域內的背景和行駛區域兩類IOU與全圖范圍內相比相差不大，但鐵軌這類的IOU比全圖范圍提升較多，說明模型對當前軌道的鐵軌檢測效果比旁邊軌道更好。如圖8所示。

圖8 障礙物檢測試驗效果

3.3 結果分析

從研究獲得的成果看，未來城軌主動防撞技術的發展，在傳感器性能、算法成熟度、控車的可行性等方面，還有較大的提升空間。

傳感器性能方面，主動防撞系統所用的傳感器主要參考了汽車自動駕駛傳感器的思路進行選型，但是在探測距離、環境適應性方面提出了更高的要求。由于隧道環境中光線條件較差，人眼的目視距離也難以超過200 m，選擇適應低照度、寬動態性能的攝像機是最大的困難，隨著圖像信號處理技術的發展和新的傳感器出現，該問題會得到解決。激光雷達屬于昂貴的傳感器件，且目前半固體激光雷達的實際壽命普遍不高，找到低成本高性能的解決方案十分困難，隨著汽車自動駕駛的發展，固態激光雷達技術逐漸成熟，有望得到改善。毫米波雷達基本上被證明不適合在地鐵隧道場景中進行障礙物檢測，只能用于測速，可以考慮只作為輔助器件納入系統。

算法成熟度方面，機器視覺算法主要基于人工神經網絡和機器學習，帶來的問題是極大的訓練樣本的需求和不確定性的存在。雖然地鐵線路場景固定，但是障礙物形式仍然是多種多樣的，不同的光照、姿態、表面反射，都會帶來不一樣的效果，無法通過樣本實現全面的覆蓋，再加上隧道中低照度條件下的圖像質量較差，對于遠距離的小障礙物檢測就顯得困難，視覺模型的過度訓練和過度泛化之間必須有一個折中，在保證準確率和召回率上無法同時達到一個很高的標準。激光雷達算法目前較為成熟固定，實現的差異主要在于聚類參數的選擇和調整，但對于軌道限界的識別，還是無法做到期望的距離，這與激光雷達光束與軌道延伸方向夾角過小有關，在超過100 m的距離，軌道面返回的信息幾乎無法讓算法可以識別到限界的邊界。未來的方向主要是通過預建圖來達到限界的精準判斷。

控車的可行性方面，當前國內主要的主動防撞系統開發商均難以在短期內實現系統接入緊急制動的能力，系統的高誤報率是無法推廣應用的主要障礙。AI算法的應用和環境條件對感知系統的影響，本身就帶來了極大的不確定性，這與安全等級的認證原則是相沖突的。在短期內，主動防撞系統將是作為輔助駕駛設備進行應用，為司機提供預警信息，降低工作強度，提高瞭望信心。

4 結語

以城軌主動防撞系統的研究和應用實踐對城市軌道交通場景下的機器視覺、激光雷達、毫米波雷達和多傳感融合等技進行了深入研究，開發了機器視覺模型、激光雷達點云算法、毫米波雷達和多傳感融合算法，通過不斷迭代，持續提升算法的可靠性和識別率，達到系統對300 m列車、150 m行人、100 m小障礙物識別的設計指標。同時，探索了77 GHz毫米波雷達在正線隧道中的障礙物探測能力，發現在地鐵正線隧道場景下，毫米波雷達優勢不明顯，存在復雜地多徑效應。研究結果表明，城軌主動防撞技術宜以機器視覺和激光雷達技術為主要感知設備，其他多種傳感手段為輔助，來實現列車運行限界和障礙物檢測地目的。對于接入制動系統控車的目標，無論是傳感器技術還是算法上都還有較大的提升空間。