基于ROS構建無人駕駛車輛環境感知系統

黃武陵

(中國科學院自動化研究所,北京100190)

基于ROS構建無人駕駛車輛環境感知系統

黃武陵

(中國科學院自動化研究所,北京100190)

無人駕駛系統由環境感知等多個組件構成,一般基于各類分布式程序框架來實現。基于ROS系統這類消息傳遞通信的分布式多進程框架來構建環境感知系統,是一種可行的參考。本文討論了無人駕駛系統環境感知信息融合中的ROS機制和組成,基于ROS系統下的目標檢測與跟蹤等環境感知具體實踐,討論了無人駕駛車輛中ROS性能分析及其改進等內容,可以作為相關技術實現的有益參考。

無人駕駛;ROS;環境感知框架;傳感器信息融合

引 言

無人駕駛系統是由多種技術集成,包括了駕駛環境感知、路徑規劃和車輛控制等組件,每類組件由算法集合組成,一般基于各類分布式程序框架來構建,通過車載總線技術實現各組件之間信息交互通信。機器人操作系統(ROS)是一個強大而靈活的機器人編程框架,是一種基于消息傳遞通信的分布式多進程框架,有很多知名的機器人開源函數庫,例如基于Quaternion的坐標轉換、3D點云處理、定位算法、各類SLAM等。開發者可以根據應用功能把軟件分為多個模塊或節點(Node),各模塊只是負責讀取和分發消息,模塊間通過消息關聯。如圖1所示,左邊節點可能從硬件驅動讀取數據,以消息方式打包發送。ROS底層識別該消息的訂閱者,將消息數據分發給訂閱節點。ROS節點通常是標準C++程序,可以使用系統中安裝的其他軟件庫,同時,ROS節點可以隱式啟動多個線程。多個節點同時訪問一個主題(Topic)時,也由FIFO隊列來管理,從而解決實時同步問題。

無人駕駛系統中首先包含了多個傳感器,例如長距和短距毫米波雷達、激光雷達、單目和雙目攝像頭、超聲波、GPS定位、陀螺儀慣導等。每個傳感器以不同頻率進行采樣和產生數據,系統對傳感器數據處理有很強的實時要求,所以要求無人駕駛系統能夠分布式異步實時處理這些數據。其次,無人駕駛系統在這些傳感器數據融合基礎上,進行駕駛環境要素感知和提取,進行導航和自主駕駛決策。這就要求系統具備強大計算能力,能夠集成高性能算法,具備高度可擴展性。

圖1 ROS系統功能框架

機器人操作系統(ROS)滿足上述這些要求。在ROS系統中,通過將系統抽象成節點和主題,其中節點用于表示單個組件模塊,主題用于保存輸入和輸出節點之間的數據,形成強大的抽象模型組件擴展計算框架,可以方便進行無人駕駛系統的開發。本文主要通過介紹構建無人駕駛系統中常用的幾種ROS機制和組成,無人駕駛系統環境感知功能與ROS下的具體實踐,無人駕駛系統中ROS組件及其性能要求等方面內容,討論了基于ROS構建無人駕駛車輛環境感知系統。

1 感知信息融合中ROS機制和組成

1.1 常用的幾種ROS機制

通過將無人駕駛系統環境感知功能以ROS常見的機制來實現融入到現有的ROS系統框架中。其中,ROS主要組件包括ROS Master、ROS Node和ROS Service。ROS Master的主要功能是命名服務,它存儲了啟動時需要的運行參數,消息發布上游節點和接收下游節點的連接名和連接方式,以及已有ROS服務的連接名,一般在無人駕駛系統中只有一個Master。ROS節點通常是標準C+ +程序,可以使用系統中其他軟件庫,還可以隱式啟動多個線程,運行主要功能和服務。ROS Node節點是真正的執行模塊,對接收到的消息進行處理,并且發布新的消息給下游節點,環境感知中的基本組成功能可以通過Node來實現。ROS Service是一種特殊的ROS節點,它相當于一個服務節點,接收請求并返回請求的結果。圖2展示了ROS通信流程,節點向Master advertise或者subscribe發布感興趣的Topic。當創建連接時,下游節點會向上游節點TCP Server發布連接請求,等連接創建后,上游節點的消息就會通過連接送至下游節點。

圖2 ROS Master Node通信

除了常見的Master、Node、Service和傳遞的消息(Message)等主要組件之外,ROS系統還提供了以下常用的組件:

①RViz集成可視化工具,圖3顯示了無人駕駛感知任務可視化示例,RViz查看器是用于檢查任務的狀態。

②為管理點云數據開發了一種點云庫,支持許多算法包,用于定位與地圖創建。

③OpenCV是圖像處理的一個流行的計算機視覺庫,支持多種圖像處理算法實現庫函數及API(如圖像加載、轉換和繪制),有助于構建圖像處理程序框架,無人駕駛車輛環境感知可以通過OpenCV與ROS的RViz組合進行可視化顯示。

④CUDA是一個GPU上的通用計算框架,因為環境感知中常用的復雜算法都是計算密集型和數據并行型,使用CUDA,其執行速度可以顯著提高。

圖3 RViz集成可視化工具用于顯示三維地圖和2D圖像

1.2 構建環境感知信息融合常用的傳感器

在選擇車載傳感器時,一般需要綜合考慮多個方面的屬性,結合這些屬性參數和不同等級的無人駕駛功能實現需求,從多種傳感器中綜合考慮加以選取。無人駕駛車載傳感器配置要求如圖4所示。

常用的車載外部傳感器各具特點,例如,毫米波雷達可以準確檢測前方車輛的距離和速度,具備較強的穿透霧、煙、灰塵的能力;而相機視覺系統可以獲得車道線、交通信號等目標的顏色和形狀等細節,從而進行細化識別;激光雷達通過點云來建立周邊環境的3D模型,可以檢測出包括車輛、行人、樹木、路沿等細節。通過激光雷達或毫米波雷達與視覺傳感器進行融合,不僅可以進行目標物體檢測,而且還能進行目標空間測距、目標圖像識別等功能。類似,GPS定位、視覺傳感器和激光雷達進行融合,則可以實現車道保持所需的高精度定位,也能實現多類障礙物目標檢測。

在構建典型的環境感知系統時,常用傳感器包括相機和激光雷達等傳感器。例如,Velodyne激光雷達獲取三維點云數據,用于定位和和地圖構建,同時也用來測量車輛與周圍物體的距離;Ibeo激光雷達傳感器雖然垂直方向分辨率低于Velodyne激光雷達,但可以產生長距三維點云數據;Hokuyo北洋激光雷達傳感器產生短距二維激光掃描數據,常用于緊急停車,而不用于定位與地圖創建;相機可以用于目標檢測,Point Grey相機有360度全方位視角覆蓋,而Grasshopper相機是單一朝向,運行幀率較高,前者可以用于檢測運動物體,后者可以用于識別交通信號燈;Javad RTK定位傳感器接收衛星全球定位信息,經常采用陀螺儀傳感器和里程計來修復定位信息。

圖4 無人駕駛車載傳感器配置要求

1.3 無人駕駛系統環境感知總體功能

無人駕駛車輛的功能總體結構可以分為感知層、任務規劃層、行為執行層和運動規劃層等[5]。其中,環境感知層融合處理來自車載傳感器的數據,為系統的其他部分提供周圍環境的關鍵信息,例如局部信息包括車輛的位姿和速度等狀態信息,道路形狀、停車區域和交叉路口等道路信息,車輛周邊其他車輛和行人等動態障礙物信息,局部靜態障礙物地圖,以二維柵格圖展示現實環境中的無障礙區域、危險區域和不可通行區域、道路堵塞信息,對不能通過區域進行估計[7]。

在交通場景識別、路徑規劃和車輛控制等每類組件中都包括算法集合,例如交通場景識別要求定位、目標檢測和目標跟蹤算法[6]。路徑規劃通常包括任務和運動規劃,車輛控制對應路徑跟蹤算法,其中算法基本控制和數據流如圖5所示。

圖5 無人駕駛車輛算法基本控制和數據流

如圖6所示,常見幾類傳感器通過各自驅動的節點來提供感知信息,包括image_raw相機圖像信息、激光雷達形成的scan信息、Velodyne激光雷達提供的點云信息以及GPS系統提供的定位信息等。通過訂閱該信息的各自處理節點,形成了掃描圖像、點云圖像等進一步信息列表。

圖6 ROS下各傳感器驅動和環境感知信息融合框架

2 基于ROS系統下的環境感知具體實踐

無人駕駛車輛環境感知內容主要包括結構化道路和非結構化道路檢測,行駛環境中行人和車輛的檢測、交通信號燈和交通標志的檢測等。

2.1 環境感知中的目標檢測

道路檢測是智能車輛環境感知的重要內容,通過檢測車道信息準確獲得車輛相對于車道的位置和方向。鄉村公路等非結構化道路在結構上符合道路的特征,但一般缺少車道線等標志,無法采用結構化道路所用的車道線檢測方法[1]。

完成無人駕駛車輛定位之后,需要進行行駛環境中的行人、車輛和交通信號等目標的檢測與跟蹤,避免出現事故和違反交通規則[2-3]。

①基于視覺的行人檢測主要有基于背景建模的方法和基于統計學習的方法等,通過融合激光雷達與視頻圖像數據,可以對行人進行較為準確的檢測[5]。

②對行駛環境中的車輛檢測可用基于單目視覺的車輛檢測方法,分為基于外觀的方法和基于運動的方法,結合激光雷達的數據特點選取合適的聚類方法,集合其數據特征可實現Kalman預估跟蹤。

③需要綜合色彩分割、形狀檢測和驗證、圖形識別等算法和特征識別方法才能適應環境的變化,對不同樣式交通信號燈和交通標志進行檢測與識別[8]。

如圖7所示,使用DPM(Deformable Part Model)等算法,搜索和統計圖像上檢測目標的方向梯度直方圖特征,完成車輛和行人檢測。除此之外,也可以使用3D激光雷達的點云數據通過歐拉聚類等算法來進行目標檢測。通過點云數據聚類可以獲得目標距離信息,結合圖像處理分類后的結果,進行傳感器信息融合,完成目標測距與跟蹤[4]。

圖7 基于ROS系統下的環境感知具體實踐

如圖7所示,在無人駕駛車輛一般行駛在道路上的假設下,可以通過3D矢量地圖和當前位置等信息來提高目標的檢測效果,例如可以獲得感興趣的檢測區域,完成車道和交通信號檢測。

將校準后3D激光雷達獲得的三維點云數據投影到相機獲得的圖像上,通過向圖像增加深度信息篩選出感興趣的目標檢測區域。圖像上目標檢測結果也可以使用相同的外部參數重投影到三維點云坐標上,獲得的目標位置可用于運動規劃和部分的任務規劃。如圖7所示,將激光傳感器獲得的3D地圖投影到當前位置上獲得的圖像之上,進行圖像信息融合,從而可從圖像上獲得確切道路區域,進而獲得該道路約束的感興趣區域,用于提高圖像處理效率,節省執行時間并減少誤報。

2.2 環境感知中的目標跟蹤

在每幀圖像和點云數據上進行目標檢測,結合基于時間關聯其他幀的檢測結果,可以預測運動目標的軌跡,以便進行任務規劃和運動規劃[9-10]。通過卡爾曼濾波器等線性條件下,假設無人駕駛車輛以恒定速度行駛,同時進行移動目標跟蹤,其計算成本相對較小,適用于無人駕駛的實時處理。此外,粒子濾波器可用于非線性跟蹤場景,其中無人駕駛車輛和所跟蹤的車輛均處于行駛狀態[11]。如圖7所示,在給定的交通場景中可使用卡爾曼濾波和粒子濾波,進行(圖像)2D平面和三維(點云)空間的目標跟蹤。

3 無人駕駛車輛中ROS性能分析及其改進

3.1 ROS性能要求分析

假設無人駕駛車輛在城區道路一般以40公里/小時速度行駛,要求l米的功能有效距離,則每個實時任務的執行時間必須少于100毫秒。重要的實時任務包括目標檢測、運動規劃、定位等。在目標檢測模塊中,相機和激光雷達等傳感器通常運行在10～100 Hz,才能滿足一定速度下的自主駕駛的感知任務實時約束。所用的目標檢測算法(例如DPM算法)需要花費幾百毫秒甚至幾千毫秒在OpenCV默認參數設置的圖像大小中的處理。

在運動規劃中,所用地圖搜索(例如狀態網格算法等)則可以運行在幾十毫秒的量級。在任務規劃中,如果采用A*算法進行路徑搜索,需要消耗較多時間,一般在幾秒級別,如果搜索面積更大,則需更長時間。不過A*搜索經常用于任務規劃,僅在需要更換行駛路徑時才需要啟動。

除了任務規劃,定位和檢測之外的實時任務執行時間可以忽略不計,但某些實時任務對延遲非常敏感,例如控制轉向、加速和制動的車輛控制任務延遲應該嚴格控制在幾個毫秒之下。

綜上所述,無人駕駛車輛對ROS系統的各個部分提出了較高的性能要求,滿足這些要求,才能實現在真實環境中一定速度下的自主駕駛。

3.2 ROS性能改進

采用ROS構建無人駕駛系統需要在多個方面進行性能改進,以滿足多任務環境下的自主駕駛。其中,采用GPU等高性能計算平臺,以及特定應用集成電路(ASIC)和現場可編程邏輯陣列(FPGA)等解決方案,結合高性能圖像處理等計算方法等硬件和軟件協同設計,是實現自主駕駛的重要保證。在本文中重點討論了ROS系統可行的性能改進。

3.2.1 提高ROS系統可靠性

采用ROS構建無人駕駛系統,其可靠性是首先要考慮的特性。由于ROS框架下主節點維護了系統運行所需的連接、參數和主題信息,如果ROS Master宕機了,整個系統就無法正常運行,需要確保ROS Master不能出錯退出,導致系統崩潰。同樣,還要保證ROS節點不能出錯退出,導致系統部分功能缺失,從而造成無人駕駛事故。

(1)ROS系統去中心化

ROS系統去中心化的解決方案有多種,可以采用主從節點的方式,同時主節點的寫入信息隨時備份。主節點宕機后,備份節點被切換為主節點,并且用備份的主節點完成信息初始化。

(2)ROS節點實時監控和報警

對于運行的ROS節點實時監控其運行數據,并檢測到嚴重的錯誤信息時報警。通過ROS節點層的監控數據API記錄所需的信息;監控服務端定期從節點獲取監控數據;監控服務端對數據進行整合、分析、記錄,在異常后進行處理。

(3)ROS節點狀態恢復

節點異常退出之后,需要通過重啟機制進行恢復,可以是無狀態恢復和有狀態恢復,因此需要對節點狀態進行備份。

3.2.2 ROS系統通信性能提升

從上文可以看出,無人駕駛系統模塊較多且信息交互頻繁。在同一個機器上的ROS節點間的通信,可以考慮改進現有的網絡協議棧的loop-back機制,減小延遲和資源消耗。ROS節點發布數據信息時,是多個點對點的發送,較為耗費內存資源以及網絡的帶寬。通過研究ROS的通信棧,發現協議棧的通信延時很大的損耗是在數據的序列化與反序列化的過程,可以考慮加以優化。

ROS 2.0中做了一些改進,主要是為了讓ROS能夠符合工業級的運行標準,采用了DDS(數據分發服務)這個工業級別的中間件來負責可靠通信,通信節點動態發現,并用Shared Memory方式使得通信效率更高。通過使用DDS,所有節點的通信拓撲結構都依賴于動態P2P的自發現模式,可以去掉ROS Master中心節點。但是,ROS 2.0還處于發展階段,需要進一步完善。

結 語

基于ROS系統分布式框架來實現環境感知系統,在利用現有豐富的ROS組件基礎上充分集成了ROS系統提供的各種功能,是現階段構建無人駕駛系統的一種可行參考。本文在參考和總結現有的無人駕駛實現基礎上,討論了無人駕駛系統環境感知信息融合中ROS機制和組成,基于ROS系統下的目標檢測與跟蹤等環境感知具體實踐,討論了無人駕駛車輛中ROS性能分析及其改進等內容,本文可以作為相關技術實現的有益參考。

[1]辛煜.無人駕駛車輛運動障礙物檢測、預測和避撞方法研究[D].合肥:中國科學技術大學,2014.

[2]劉釗.無人車2D激光雷達結構化環境感知技術研究[D].長沙:國防科學技術大學,2013.

[3]海智淵.激光3D導航系統設計與研究[D].長春:長春理工大學,2014.

[4]Nordin P,Andersson L,Nygards J,Sensor data fusion for terrain exploration by collaborating unmanned ground vehicles [C]//Information Fusion,2008 11th International Conference on,2008.

[5]陳慧巖.智能車輛先進技術叢書:無人駕駛汽車概論[M].北京:北京理工大學出版社,2014.

[6]S Kato,E Takeuchi,Y Ishiguro,et al.An Open Approach to Autonomous Vehicles[J].IEEE Micro,2015,35(6):60-69.

[7]C Urmson,J Anhalt,D Bagnell.Autonomous driving in urban environments:Boss and the urban challenge[J].Field Robot, 2008,25(1):425-466.

[8]Meng-Yin Fu,Yuan-Shui Huang,A survey of traffic sign recognition[C]//Wavelet Analysis and Pattern Recognition (ICWAPR),2010 International Conference on,2010.

[9]沈峘.智能車輛視覺環境感知技術的研究[D].南京:南京航空航天大學,2010.

[10]陳龍.城市環境下無人駕駛智能車感知系統若干關鍵技術研究[D].武漢:武漢大學,2013.

[11]胡銦,楊靜宇.基于模型的車輛檢測與跟蹤[J].中國圖象圖形學報,2008,13(3):450-455.

Autonomous Driving Environment Perception System Construction Based on ROS

Huang Wuling
(Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)

Autonomous driving systems always consist of multiple components such as environment perception etc,usually develope on various types of distributed programming framework.ROS is a good approach reference for the autonomous driving system,which is a message-based distributed system framework.This paper discusses the ROS data fusion mechanisms and components used in the autonomous driving system,and also discusses the object detection and tracking environment perception practices in the ROS system.Finally, the ROS performance and improvement are discussed in the autonomous driving context.This paper is useful for the related technologies.

autonomous driving;ROS;environment perception framework;sensor data fusion

TP277

:A

黃武陵,中國科學院自動化研究所副研究員,中國科學院大學博士,主要從事智能車輛研究,參與和主持了多項國家863和973、交通部和自然基金課題,發表SCI/EI論文十多篇,申請和獲得發明專利二十多項。獲北京市科技進步獎、北京市“金橋工程”項目獎、吳文俊人工智能科學技術進步獎、中科院教學成果獎等獎勵。

薛士然

2016-10-08)