基于融合感知的場景數據提取技術研究

李英勃，于波

（中國汽車技術研究中心數據中心，天津 300393）

0 引言

駕駛場景數據是描述車輛在行駛時所遇到的周圍環境、道路、物體等靜態因素以及行人、車輛、障礙物等動態交通目標的數據，是智能網聯汽車自動駕駛技術研發的重要基礎，是自動駕駛算法開發以及自動駕駛和輔助駕駛產品測試的核心資源?？梢哉f，自動駕駛算法好不好，技術可靠不可靠，有很大一部分和訓練時所用的場景數據的質量和數量相關。目前，包括中國汽車技術研究中心、中國汽車工程研究院、上海汽車城在內的很多企業和機構，都在積極推進中國駕駛場景數據采集工作。

駕駛場景數據采集主要通過數據采集平臺，即場景數據采集車進行。如伊必汽車（Elektrobit）、恒潤科技等企業紛紛推出了自己的場景采集平臺。這種采集平臺可以收集采集車本車CAN線信號，獲取油門、方向盤轉角，本車速度、方向、GPS信息，以及車載傳感器信號，如激光雷達信號、毫米波雷達信號、單目攝像頭圖像、雙目攝像頭圖像以及360o環視攝像頭圖像等信息。駕駛場景提取工作的目的，是將這些在道路上通過攝像頭、激光雷達等傳感器采集到的信號，還原成真實的道路場景的描述，供智能網聯汽車開發企業測試其產品使用。換句話講，場景數據抽取就是從這些數據中提取出本車的速度、方向以及控制信息，道路信息以及交通目標、障礙物的類別、大小、速度、方向、運動軌跡等信息，再轉換為對于駕駛場景的描述，以Open-Scenario的格式進行存儲。

以前這些信息的提取多采用人工方式提取，通過比對不同傳感器返回的信號值，同時對比視頻數據，手動標出目標，找出目標的速度，然后總結成場景數據，編寫OpenScenario文件。這種方法工作量大，速度慢且準確率低，容易出現人為錯誤。

本文提出一種方法，通過機器視覺技術和深度學習技術，從視頻圖像出識別出行人、車輛等交通目標，并估計目標的距離和速度。然后比對從視頻圖像中提取出來的目標信息和其他傳感器（如激光雷達和高精度地圖）信息，得到動態和靜態元素的位置，速度和運動軌跡等信息，在通過實現設定好的判斷規則，將駕駛場景數據轉化為一連串的駕駛場景描述，并最終自動轉化成OpenScenario格式進行存儲。本文提出的基于卡爾曼濾波的目標追蹤，采用了對每一幀均進行識別，再通過追蹤算法找到幀與幀之間不同目標的聯系的辦法，比起deep-sort等追蹤算法，雖然在實時性上有損失，但是精確度有提高。由于場景提取并不是在采集駕駛場景時實時完成的，所以可以容忍以實時性上的損失換取提高追蹤的精確度。

1 相關研究工作

在視覺感知方面，基于深度學習的圖像技術取得了令人矚目的成果。Karen Simonyan和Andrew Zisserman在2015年提出了VGG16模型[1]，使對VOC數據集進行目標識別的精度達到98%。Ross Girshick基于VGG16模型提出了一種利用識別作為圖像檢測方法的技術R-CNN[2]，在圖像中提出候選框，然后對框中的物體進行識別，最后通過精修框的位置識別物體的方位。這個思路也成為后來R-CNN系檢測算法的思想基礎。后來，Ross Girshick等人又通過共享特征提取和RPN候選框提取網絡，兩次改進R-CNN算法，分別提出了 Fast R-CNN[3]和 Faster R-CNN[4]算法。Faster RCNN也成為性能最好的“提框-識別”兩步圖像檢測算法。Faster R-CNN雖然檢測準確性高，但檢測速度還是較慢。為了進一步提升識別速度，Ross Girshick等人又提出了將提框和識別一步完成的方法，開發了YOLO 算法[5]，同時，Wei Liu、Alexander C.Berg等人提出了SSD算法[6]。相比于Faster R-CNN模型，這兩個算法大幅提升了圖像檢測的速度，但是同時也不可避免地犧牲了一部分識別精度。

對于目標位置的檢測，基于圖像的方法，成本較低的可以采取單目定位的方法[7]。雙目攝像機可以利用人眼成像的原理，更精準地獲取目標位置和距離。隨著不同傳感器之間相互匹配和融合技術[8]的不斷發展，使用RGB-D技術或深度圖像技術的目標感知定位技術逐漸普遍了起來。其中，利用圖像融合激光雷達，組成RGB-D傳感器對目標進行識別和定位的技術就是其中一種常用的技術[9]。本項研究就是采用的攝像頭加激光雷達的融合感知平臺。

卡爾曼濾波[10]是一種常用的對目標速度狀態進行估計的算法，擴展卡爾曼濾波[11]是卡爾曼濾波的改進形式，能夠對非線性系統狀態進行預測。本項目采用擴展卡爾曼濾波作為目標追蹤的主要依據和算法基礎。

2 場景采集平臺配置

場景平臺采集車采用長城VV7SUV為運載車輛，感知系統由激光雷達和攝像頭組成。其中激光雷達的型號為禾賽-40P，線數為40線，可以掃描周圍約200米范圍，安裝在車頂部。視覺采集系統安裝在車前擋風玻璃內側，采用羅技，觀察角度為前方60度。

場景采集的數據為高速道路數據，采集的圖像如圖1所示，采集的激光雷達用pcl點云庫的pcd格式存儲，存儲格式為二進制格式，點云圖像如圖2所示。

圖1

圖2

3 場景數據提取

3. 1 駕駛場景數據構成

駕駛場景數據分為靜態元素數據和動態元素數據。靜態元素數據是指場景的道路、環境、路上及周邊設施等靜態物體的信息；動態元素數據是指交通參與者，包括行人、車輛的方向、速度等信息。以此來分，場景數據的提取也分為靜態元素提取和動態元素提取兩個部分。

我們首先對場景的靜態信息進行分析。在本項目中，靜態元素數據主要依靠高精度地圖信息提供。通過使用高精度地圖，可以極大地簡化場景采集平臺對感知系統的依賴，將采集平臺對周圍環境的感知轉換成了一個定位問題，包括車道信息、車道線、交通燈、交通指示牌的內容和位置等信息，通過輸入本車位置信息即可以知道周圍所有靜態元素的位置以及部分靜態信號的內容。但動態的交通信號信息，如交通信號燈狀態，或者變化的交通指示牌（如學校的警示牌等），依然需要依靠視覺系統獲取。

圖3 高精度地圖

對于動態元素的分析則更依賴于平臺的融合感知結果。在動態元素感知當中，我們要識別周圍的行人，車輛以及其他交通參與者，并對這些元素進行跟蹤，計算他們的運動方向和速度，以此預測元素未來的位置。其中，感知的部分，我們采用深度學習技術，對圖像中的人、車，連同上文提到的交通信號燈信息進行識別；動態元素的位置則通過配合圖像和激光雷達獲得。

3. 2 深度學習提取圖像信息

無論是靜態元素中的交通信號燈還是動態元素中的行人，車輛，都主要依靠視覺進行。項目中我們使用了深度學習技術從圖像中提取場景元素。由第2節的研究可以知道，SSD和YOLO雖然速度快，但損失精度。我們采用了Faster R-CNN網絡，利用RPN提取潛在目標框，通過精修，對目標框的位置的大小進行調整，以獲得較高目標位置精度，為下一步圖像與點云匹配創造良好的條件。

3. 3 坐標系轉換實現激光點云信息與圖像信息匹配

（1）激光雷達信息和圖像信息匹配

圖像信息和激光雷達信息匹配，主要通過時間匹配和空間匹配來完成。在時間維度上，場景采集車采用的激光雷達的頻率為10赫茲，約為每秒10幀點云圖片，圖像信息為30幀/秒。因為是原始數據融合，所以沒有識別物體，不能使用插值等方法估計精確時刻目標物體在圖像或點云數據中的位置。為了保障激光點云與圖像能夠匹配上，我們采用以快配慢的方法，以激光雷達點云圖像的時間點為基準，尋找時間上最接近的圖像匹配雷達點云數據。即：

其中t為雷達點云圖像時刻，i為圖像幀數，ti為第i幀圖像的時間。

圖4 車輛坐標系

在空間匹配技術方面，本項目以車輛坐標系為圖像信息和點云信息匹配的坐標系。以車輛行進方向為x軸正方向，車輛右側方向為y軸正方向，以車輛上方方向為z軸正方向。（如圖4所示）項目通過匹配圖像和激光點云信息，將目標物體的位置以這個坐標系的坐標進行輸出。

空間匹配技術的關鍵在于將激光雷達中點的坐標與圖像投射到同一個坐標系的二維空間當中。我們將攝像頭的成像平面作為這個投射的二維空間，以圖像左上角坐標為原點，橫軸向右為x軸方向，縱向向下為y軸方向。然后建立一個3D坐標點轉換為2D點的坐標轉換矩陣，將空間中的點投影在成像平面上。投影的原理如圖5所示，其中f為焦距。

圖5 相機投影

相機焦距 f、像素長度（dx，dy）是相機的內參。為了獲取相機的內參數據，我們首先對相機進行了標定。標定采用了棋盤標定法，使用OpenCV函數Calibratecamera（）函數進行標定，得到相機內參。

表1 攝像頭內參標定

根據相機投影原理，通過幾何算術推導，我們可以得出：

其中，（X，Y，Z）為點在空間中的坐標，（u，v）為在圖像中的成像坐標。這樣，我們就可以將空間中任意一點投影到成像平面上。現在，我們可以嘗試把雷達點云數據通過矩陣計算投影到圖像上。投影效果如圖6所示。

圖6 點云與圖像匹配

如果我們用激光雷達的距離信息近似表示它周圍所有像素點的實際坐標系中的距離信息，我們就將激光雷達和攝像頭組成了一個RGBD深度攝像頭。通過對圖像中物體的位置進行判斷，就可以通過物體像素點所對應的激光雷達點在實際坐標系中的坐標獲得物體的實際位置。

（2）圖像識別

我們使用神經網絡模型對圖像進行識別，使用的網絡為Faster R-CNN，通過模型返回目標框的四個角點的圖像坐標，以及識別到的物體種類。效果如圖7所示。

圖7 圖像檢測效果

圖7中目標框基本框出了物體的位置，但并非框中所有的點均是物體。我們必須選擇框中的部分像素為基準，取它的坐標為物體的位置。一般來說，目標物的圖像能夠覆蓋框中心點，所以我們選擇框中心點的坐標位置為感知目標的坐標。

我們對所有目標框中的物體進行了識別，并用此方法獲得了所有目標的坐標方位，如圖8所示。

圖8 融合感知效果

3. 4 基于圖像和點云信息的目標追蹤

為了追蹤目標的運動軌跡，我們使用擴展卡爾曼濾波算法過濾探測誤差并對物體的運動軌跡進行跟蹤。假設xt={pt,vt}為物體在t時刻的系統狀態。那么物體在t時刻的位置與它在t-1時刻的位置，t時刻的系統對他的改變相關。那么t時刻對物體狀態的估計應該為：

由于是對實際運動軌跡的估計，我們需要對狀態轉移矩陣At加入噪聲模型：

由于x’是估計的目標位置，并不是目標真正的位置，而是我們用來估計真正目標位置x的工具。我們用x^t表示t時刻時觀測到的目標位置，我們用矩陣H表示真正位置到觀測位置的轉換矩陣，則真實的觀測值用估計值和真實觀測值的加權值進行表示：

其中卡爾曼系數K由濾波增益陣算出：

其中：

我們將觀察到的目標坐標和速度代入卡爾曼濾波系統，對目標位置進行預測和修正，卡爾曼濾波可以修正小的系統誤差，使目標運動軌跡更加平滑。

4 場景采集效果對比與結論

我們在試驗場采集了場景，對障礙物進行了精確的標定，并對車輛的行進路線進行了詳細的規劃和記錄。由此，我們可以計算出障礙物對于車輛的相對位置信息。同時，我們還用CalmCar的基于視覺的駕駛場景采集系統同時進行了測量。

圖9（1）是探測到的目標移動軌跡，圖9（2）是單目視覺感知系統CalmCar獲得的結果，圖9（3）是探測到的目標軌跡加入卡爾曼濾波后的目標移動軌跡，可以觀察到的融合感知加入卡爾曼濾波后的目標運動軌跡更平滑，更貼近目標真實的運動軌跡。通過比較，從結果總體看，融合感知提出駕駛場景的精度要高于僅依靠視覺感知的CalmCar的結果。

圖9 從左到右為探測到的路徑、CalmCar探測到路徑、融合感知路徑