四維標注在智能駕駛BEV感知中的應用

張盼盼,宋佳順

(1. 北京華為數字技術有限公司,北京 100095; 2. 上海科之銳人才咨詢有限公司北京分公司,北京 100020)

車輛感知作為高等級輔助駕駛產品的關鍵要素之一,是以多種傳感器的數據與高精度地圖的信息為輸入,經過一系列的計算及處理,對自動駕駛車的周圍環境精確感知的系統,相當于人眼。能否準確識別靜態和動態物體是智能駕駛產品競爭力的評價指標之一[1-2]。

車輛感知模型的訓練需要大量的數據支撐[3],傳統標注主要是對二維圖像進行框點標注、對三維點云數據進行三維框標注[4],這種標注方法對于單通道感知模型而言已足夠且技術相對成熟。

BEV(bird’s-eye view)感知,即俯視圖下的感知技術,是基于多個攝像頭的圖像輸入,推斷出鳥瞰視角下的車輛周圍環境信息,如圖1所示。

圖1 BEV感知示意

隨著特斯拉FSD高等級輔助駕駛產品(L2+)的商業化實施,6個攝像頭通道數據甚至更多的傳感器數據引進后,實現感知結果的融合,輸出唯一穩定的感知結果,成為一個重要的課題。端到端的感知對數據標注提出了新的要求。無論是特斯拉AI Day,還是行業“重感知、輕地圖”的提議,新感知都傾向于直接在三維向量空間輸出局部地圖,同時也期望解決遮擋物體的感知能力。因此,需要構建一個從輸入圖像到輸出局部地圖的神經網絡,在這個過程中需要有大量有效的標注樣本訓練出一個好的感知模型。

1 感知面臨的問題

開展BEV視角的感知工作,除了更好地做多傳感器融合外,最主要的是BEV結果更加適合下游預測和規劃的任務,以及解決通過規則的方式從二維提升至三維所帶來的不可擴展性[5]。

現在主流的規劃和控制算法,都是在物理的、笛卡爾坐標系中展開的。因此,無論上游的傳感器信息來自什么視角,經過傳感器融合(sensor fusion)模塊后,一般都會轉換到以自車為中心的坐標系中(vehicle coordinate system,VCS)。由于車在地面上,因此實際上VCS坐標系中的x和y平面上的感知結果最為重要,即BEV感知結果所輸出的空間。

傳統的機器學習問題設定都是在圖像空間(檢測是在圖像上畫框、語義分割是標出每個像素點的類別),對于自動駕駛,攝像頭僅拍到對面的行人和車在圖像上的位置是不夠的,需要恢復到物理世界的坐標和向量空間。大部分公司采取的方案是先通過模型得到圖像坐標,然后通過編程得到向量空間的坐標。但從圖像坐標到向量空間坐標的數據是相關的,轉換代碼變得極復雜且難以擴展(不斷出現新的長尾問題,否則不斷膨脹)[6]。

此外,當每個攝像頭通道在感知同一地物(如空中標牌),且在融合唯一的地物時,不可避免會出現不唯一的情況,即錯位,如圖2所示。

圖2 多通道相機后融合問題(來自特斯拉AI Day視頻)

傳統的數據標注方法,無論是二維圖像框點標注還是三維框標注,都是針對單幀數據的標注,未考慮時間維度的時序信息,既不能解決要素遮擋問題,也無法解決數據融合質量問題。因此,尋找一種有效解決因多傳感器感知造成的數據不一致的問題,是該技術方案主要探討的內容。

2 解決方案

從解題思路上看,多通道圖像感知融合輸出的標注結果本質上與高精地圖相似[7],主要體現為以下幾點。

(1)多通道感知所輸出的唯一解是車輛當前所在位置的局部地圖,也包括動態物體信息。

(2)理論上,每個通道內的感知信息與局部地圖呈映射關系,且地圖是三維場景下的精確表達。

唯一差異點為高精地圖只關注三維空間的標注,而本文提出的四維標注還會引入時序信息,解決標注效率和物體遮擋標注等問題。四維標注是三維空間+時間維度的聯合標注方式。

可以直接采用模型估計向量空間。因此,需要與之相對應的訓練數據。標注系統會把6個攝像頭的圖像信息映射到向量空間(像素點映射到向量空間),如圖3所示。標注人員在向量空間標注(標注靜態物體,如車道線、路沿、路面、人行道、交通標志牌等)。標注系統會把標注員的標注同時映射到各個攝像頭的圖像上,標注員可以進一步調整,保證在各個攝像頭上的標注是一致的。如圖3中藍色的線可能是標注為不可行駛區域,紅色的線標注為路沿。標注員可以改變視角,保證標注合理的高度(本文均是貼在地面)。

圖3 四維標注示例(來自特斯拉AI Day視頻)

數據標注解決的是提供現實世界靜態數據(車道線、交通標牌等)的快速標注[8],在三維環境下標注一個靜態數據要素,聯動標注該三維要素在多趟觀測多個視角(如6v視角)下的圖像位置,同時解決現實世界動態物體(車輛、行人等)的時序標注,標注每個物體的三維位置,聯動標注到圖像空間,并標注動態物體的運動軌跡。

從采集的每一時刻原始數據開始,到重建三維空間,再到在三維空間去標注現實世界的任意物體,可以快速投影對照到圖像空間,修正細化標注結果,從而獲取高質量的標注樣本,用于訓練BEV等感知模型,讓機器具備超強的感知能力。

3 技術路線和試驗結果

當數據采集車在實際道路上行駛并收集回傳每一時刻獲取的圖像數據和點云數據時,首先云端算法模塊進行三維空間的點云重建,將一定時間內的數據重建合成局部三維點云數據;然后標注員在三維空間內進行車道線、交通標牌等感知要素標注,可以在反投影的圖像空間同步顯示標注效果,經調整后可以輸出高質量的標注樣本,用于訓練模型,讓模型具有自動標注能力;最后通過反復迭代,自動標注能力越來越強,系統可更加快速且低成本地實現標注。樣本積累到一定程度,可用于訓練端側的感知模型,提升自動駕駛感知能力,真正實現端到端的感知。具體技術路線如圖4所示。

圖4 四維標注技術路線

3.1 點云重建

從技術路線上看,點云重建是在采集并回傳數據的基礎上,通過一定算法在三維空間進行的立體重建。以純視覺方案為例,搭載了6個攝像頭的采集車在北京某區域內從不同方向、不同車道進行數據采集,可以得到多趟數據,包括6v圖像、GPS軌跡、輪速計等信息,這是點云重建的輸入。點云重建需要經過單次重建和全局聚合等操作后才能獲取較高質量的有效點云數據。

單次重建是利用原始圖像和軌跡等信息,通過SFM等算法獲取高精度自車位置和姿態。具體原理為:首先通過輪速計和GPS/IMU獲取自車的大致位置和姿態,主要用于指導圖像匹配;然后通過粗略軌跡在空間中提取出同名點,輸入給SFM算法[9],獲取自車高精度無尺度姿態;最后引入CAN和GPS估計,恢復SFM的尺度信息,從而得到自車高精度位置和姿態信息[10-11]。單次重建輸出的是每個視頻片段(clip)的單次重建結果,而對于同一區域,實際上是由多個clip構成的,由于不同車輛或同一車輛行駛在不同車道上進行數據采集,因此,單次重建完成后需要進行全局聚合。

全局聚合是在單次重建的基礎上,通過尋找clip間的同名點作全局對齊和融合,對原有的clip信息進行增量重建,通過連續的clip聚合處理,最終融合成一個局部區域的三維點云數據。為更近一步獲取稠密清晰的點云數據,算法采用傳統的多視圖立體(MVS)稠密重建[12-13],在單次SFM基礎上,對每個clip對進行特征提取和立體匹配,生成稠密點云。

圖5為某區域純視覺點云重建的效果。可以看出,地面的車道線、停止線、斑馬線及空中的紅綠燈等要素都能夠被清晰地重建,甚至道路兩側的建筑物也清晰可見。

圖5 點云重建示例

點云數據采集后,可從0至1進行要素標注,也可在積累了一定樣本數據且讓自動標注模型具備能力后,直接進行模型預刷,生成預標注結果。

3.2 自動標注

從實際量產需求看,點云重建后靠人工標注幾乎是無法達成目標的。人和計算機有不同的優缺點,人擅長標注語義類的東西,而計算機擅長幾何、重建、三角化、跟蹤,因此引入自動標注可極大提升標注效率[14],替代很大一部分人工繁重的工作。

圖6為自動標注的輸入輸出示意圖,算法可對某一小區域重建的三維點云數據自動化提取要素特征信息,如地面的車道線、停止線、空中的交通標牌等信息幾何和相關屬性,提取的要素信息取決于自動標注模型的設計。

圖6 自動標注業務

為讓云端自動標注模型具備自動提取要素的能力,需要用大量的標注樣本訓練模型。標注員在重建后的點云數據上,采用人工標注方式對點云數據進行要素標注,標注車道線、交通標牌等,標注完成每個點云數據后,形成點云及對應的要素矢量數據,將這些樣本輸入自動標注模型后,經過不斷的訓練可輸出一個較穩健的云端自動標注模型。當新采集一批數據后,先經過三維點云重建生成點云數據后,輸入云端自動標注大模型進行預測,可以實現要素自動化提取。

僅通過機器的自動化處理,輸出的要素幾何和屬性信息能夠達到一定的準確率和召回率指標,但仍然需要少量的人工校驗和修正,才能輸出滿足質量要素的訓練樣本。

3.3 人工標注

無論是早期用于自動標注算法的樣本生產,還是后期對自動標注結果的檢查修正,都離不開人工標注環節。

在人工標注工具上,四維標注不同于傳統的三維標注工具,需要支持時序信息的引入。在標注工具上,支持將三維空間內所標注的要素信息實時投影至每一幀的所有圖像通道上,并支持在圖像空間內的編輯操作,效果如下。

(1)如果點云數據質量不好或重建的點云有缺失,如交通標牌缺了一邊,那么完全依賴于點云上的標注較盲目,甚至是直接丟棄。通過反投影到圖像空間上,可以實時看到圖像上標注的效果,若疊加圖像效果不好,可隨時在二維或三維上進行調整,極大提升了標注的樣本質量。

(2)如果因遮擋導致在點云上沒有要素,那么要素的標注會有缺失。通過該區域的不同車道行駛的軌跡和圖像信息,在其他軌跡上找到未遮擋的信息成為可能,這時該軌跡和圖像可以作為標注的參考,標注完成后再通過投影的方式可以實現所有軌跡圖像信息的標注,即便遮擋也能實現標注,最終使模型具備遮擋預測的能力。

(3)同一區域采集過多次,有多條軌跡和圖像數據,在三維空間內只需要標注一次,透過反投影至圖像的功能,可以快速實現所有軌跡圖像的標注,真正實現對樣本的一次標注,大大提升樣本生產的效率。

本文涉及兩個關鍵功能點:一個是相機畸變改正;另一個是三維投影二維功能。

圖7為人工標注工具的一個效果。可以看出,淺藍色方塊對應的是一條軌跡上的一個時刻點,左下角是該時刻點車輛6個攝像頭(左前視、前視、右前視、左后視、后視、右后視)拍攝的圖像信息,通過切換,可選擇查看不同視角攝像頭圖片。在三維空間標注的車道線和交通標牌可以實時投影到圖像空間中,輔助標注。

圖7 人工標注工具示意

4 總結與討論

從自動駕駛行業未來發展趨勢來看,隨著L2+級別城市NOA的逐步落地,重感知技術路線必然會推動端到端感知成為一個強需求,四維標注的重要性占比將越來越大,高效生產高質量的標注樣本是未來爭奪的控制點之一。本文主要通過分析當前行業感知面臨的問題,從現階段主流標注業務局限性出發,受來自高精地圖數據制作的靈感[15]啟發,提出了一種四維標注方法,并將BEV感知的高質量樣本生產方案運用到實際試驗中,證實了可行性。

雖本文方案可有效地解決BEV感知模型訓練樣本的生產,但仍然需要持續對方案中涉及的核心技術點進行深入研究和應用試驗。在本文的基礎上,今后將從以下兩方面重點展開研究。

(1)三維點云重建。點云重建是四維標注的基礎條件,不同的車輛傳感器配置方案對三維點云重建的適應性、重建質量和效果都可能不同,需要進一步研究。

(2)自動標注。自動標注是四維標注的核心,深化自動標注模型設計、提升標注精度和召回率需要持續不斷進行研究。