面向地下停車場的原始數據與場景數據采集與并行計算

鄭彤，樊昌國，岳承翰，楊巖

（中國汽車技術研究中心有限公司，天津300300）

0 引言

隨著國內外自動駕駛技術的蓬勃發展，在真實道路下的自動駕駛系統開發測試顯得愈加困難乃至不可行，批量化、標準化的仿真測試勢在必行，而真實駕駛過程中采集到的場景數據一方面可以作為仿真場景批量化生成的數據基礎，另一方面可用于場景數據分析和算法開發測試。自動泊車功能是當今無人自動駕駛領域重要的商業落地目標項目，因此針對該功能的數據采集與提取工作必不可少。

對于停車場自動泊車[1]而言，我們采集的數據主要包括了三種大類的典型的停車場場景，包括：寫字樓地下停車場場景、工業園區地上停車場場景、公共場所地上停車場場景，采集的原始數據既囊括了無人、低速、車流少的簡單工況，又涵蓋了人多、高速、車流大的復雜交通環境[2]。

從數據采集硬件平臺系統搭建，到數據處理融合匹配算法編寫，以及數據采集過程，至最后場景提取的數據分析過程[3]，本文都給出了詳細的處理過程和技術細節描述。這種從硬件平臺搭建到軟件算法開發，再到大數據處理分析過程，整個技術流程工具鏈的設計和研發，無論是對于采集何種數據類型（自動駕駛類數據、高級輔助類駕駛數據），應對何種工況場景（地下停車場、高速公路），為何種自動駕駛功能（自動泊車、智能物流[4]）累積場景數據，都有很強的借鑒意義，科研價值和商業落地前景。

1 采集硬件平臺搭建

我們所使用的傳感器硬件平臺采集方案，主要依托于視覺攝像頭傳感器系統和毫米波雷達探測系統。

1.1 硬件系統配置和架構

根據需求：1個40線激光雷達、1套高精度組合慣性導航系統、1個彩色雙目相機、1個黑白雙目相機組成、1個前視4線激光雷達和1個后視毫米波雷達。

傳感器總體布置如圖1所示。

感器覆蓋范圍如圖2所示。

圖1 傳感器布置示意圖

圖2 一期感知覆蓋范圍示意圖

1.2 車輛改裝及技術開發

設備主要包括：傳感器、運算設備、慣導、電源、網絡和通信設計等的安裝以及全車布線等內容。采用圖3所示的支架將40線激光雷達固定在車頂的行李架支架上。效果如圖3右側照片所示。

圖3 40線激光雷達支架及安裝

4線激光雷達則采用圖4方式將4線激光雷達安裝在車的前方中間部位。雷達支架與車架或其他固定處相連，效果如圖4所示。

圖4 4線激光雷達安裝

毫米波雷達安裝則采用圖5方式，將毫米波雷達安裝在車的后方中間部位。雷達支架與車架或其他固定處相連，效果如照片所示。如果后部材料是塑料，毫米波雷達可隱藏在車體內部，不用挖孔。

圖5 毫米波雷達安裝

將相機安裝在擋風玻璃下方。相機支架需定制加工，效果如照片所示。

圖6 相機安裝

天線安裝在車頂中心靠后方的位置，效果如圖7所示。

圖7 GPS天線安裝

其他設備都可以安裝在后備箱內，示意圖和實物效果如圖8所示。

圖8 其他設備安裝示意圖

最后，可以根據傳感器的布置、電源線的需要等，將所有信號和電源線纜以隱藏的方式埋設到車內。布線完成后不會影響車輛的正常外觀。

2 傳感器平臺空間標定與時間標定

相機主要標定包括安裝位置校準和坐標位置修正等。在安裝完成后，制作專用的標定板，對相機的參數進行標定，對安裝位置進行校準[5]。

圖9 相機標定示意圖

4線激光雷達安裝位置包括校準、水平航向角標定、垂直俯仰角標定和橫滾角標定等。在安裝位置校準完成后，在專用場地，用專用的標定軟件[6]，對雷達的水平航向角標定、垂直俯仰角標定和橫滾角標定等。

圖10 四線激光雷達標定示意圖

對于40線激光雷達，安裝需要位置校準、水平航向角標定、垂直俯仰角標定和橫滾角標定等。在安裝位置校準完成后，在專用場地，用專用的標定軟件，對雷達的水平航向角標定、垂直俯仰角標定和橫滾角標定等。

圖11 40線激光雷達標定示意圖

對于毫米波雷達的標定，需要進行安裝位置校準、水平航向角標定、垂直俯仰角標定和橫滾角標定等。同樣地，在安裝位置校準完成后，在專用場地，用專用的標定軟件，對雷達的水平航向角標定、垂直俯仰角標定和橫滾角標定等。

圖12 毫米波雷達標定示意圖

慣導方面，需要涉及GPS天線位置校準、慣導與車體位置校準等，如圖13所示。

圖13 慣導標定示意圖

3 前向4線IBEO與雙目攝像頭融合

當前，單一傳感器無法獨立完成L3級別自動駕駛，IBEO 4線激光雷達與雙目攝像頭，傳感器性能和效果的差異互補，完成多傳感器融合[7]，為自動駕駛提供傳感器感知保障。

經過IBEO4線激光雷達和雙目攝像頭單傳感器識別之后，需要對識別算法結果進行匹配[8]。通過GNN算法（Global Nearest Neighbors），GNN通過識別結果輸出的軌跡，對潛在輸出物體的區域輸出“門”（Gate），并對門進行追蹤。其中，信號的模型具備協方殘差（Re?sidual Covariance Matrix）:

其中，殘差可為高斯分布，此時具備分布：

其中|Si|為Si的行列式。

此外，需要對門的限定函數進行限定，使其滿足條件：

從而限定追蹤的可能區域。最后需要設定選擇代價函數，通過歐氏距離或者馬氏距離，使代價矩陣：

滿足條件，選擇最優解。在這里，每一行代表了圖像傳感器的目標輸出信息，每一列則代表了雷達傳感器的目標輸出信息，例如，c23，可以被理解為圖像傳感器目標2和雷達傳感器目標3是同一物體的概率。通過這樣的代價矩陣，可以將目標級物體進行融合[9]。

為了使此匹配關系完成最優，這樣的問題可以被理解為，存在置換矩陣Mij，滿足公式：

根據以上內容，完成前向IBEO+雙目攝像頭的識別精度。

表1

圖14 基于前向4線IBEO+前向雙目攝像頭的傳感器融合識別結果可視化

基于目標級硬件輸出具有一些優勢，例如較為穩定的硬件量產產品，當部分硬件失靈時，可以保證算法的獨立運作性，有足夠好的冗余機制。此外，針對這樣的產品，中央融合硬件要求較低[10]，具備較強的量產化基礎，較低的研發周期，可以有效地提高測試和調優的效率。同時可以減少仿真評測軟件的運算量，進一步減少相應的仿真測試支出。

但是，目標級融合產品也具備一些劣勢，例如各個儀器間的匹配調試較為復雜，無法完成精確的要求較高的條件，當環境條件較為苛刻時[11-12]，需要著重依賴其中幾個特殊原件，難度較大，誤差較多，容易產生一定的危險。

4 原始數據與場景數據標注

基于前向4線IBEO和雙目攝像頭融合的采集平臺方案，將采集的地下停車場的原始數據分為兩類，包括車輛、目標物數據兩方面，如下所示。

4.1 本車原始數據

其中，本車的原始數據共包含39個字段信息，主要數據提取后如表2所示。

表2 本車原始數據（節選部分）

圖15 基于雙目攝像頭的地下停車原始場景數據

4.2 目標障礙物原始數據

目標障礙物的原始數據一共包括15個字段的數據信息，主要字段總結后如表3所示。

表3 目標障礙物原始數據

圖16 地下停車場目標障礙物數據信息

5 數據預處理與大數據處理

數據處理一共分為：數據清洗、數據篩選、數據挖掘、數據批量化處理四個步驟：

對于自動化生成的原始數據表，以及人工標注的標注數據表，首先要通過測試程序校驗數據格式的規范性[13]，數據取值的合理性（數據是否溢出、是否為空值），對于檢測到不符合規范和取值范圍的數據條目，進行人工插值修改，或者丟棄刪除；

以停車場原始數據，和經過場景標記處理的場景數據兩種數據為輸入，提取并計算包括本車的CAN線信息、重要障礙物ID信息、TTC、THW等29個字段。人工手動提取速度慢，利用Python編程實現對原始與標注數據的處理：

通過讀取場景標注數據表格，篩選出場景類型、場景子類、起始結束幀號、目標物ID等信息，并存儲到停車場場景庫中；

通過場景標記表的起始幀、結束幀、目標物ID信息、本車ID信息，挖掘原始數據表中的本車的初始速度、平均速度和最大速度、橫縱向加速度等信息，以及目標車的初始速度、平均速度和最大速度、TTC等信息、并存儲到停車場場景庫中；

通過場景標記表的起始幀、結束幀、挖掘對應的原始數據表中本車、目標車的中間數據片段，將這些中間數據片段進行存儲，與相應的停車場場景庫中的場景片段一一對應

通過Python代碼可以對數以萬計的原始數據表格實現了自動化批量處理，自動化生成功能，通過并行的向服務器提交job作業，可以對已采集的100個停車場的全部數據，TB級的原始數據表格進行批量程序處理，預計所有數據可以在幾個小時內全部完成。

用于數據清洗的輸入原始和標注數據表格如圖17所示，代碼的部分結構如圖18所示，挖掘的中間數據結果的存儲如圖19所示。

圖17 代碼輸入的原始數據和標注數據

圖18 Python源代碼的片段示例

圖19 挖掘原始數據表中與場景片段對應的本車和目標車數據

圖20 地下停車場采集標注場景數據分布

6 結語

本文主要面向地下停車場的原始數據與場景數據進行數據采集、場景標注、和并行計算。對于前向場景，采用激光雷達和雙目攝像頭融合的硬件配置，IBEO4線激光雷達具有高精度的識別效果，同時雙目攝像頭可以得到相應目標障礙物的距離信息，將二者的識別信息、距離信息、速度信息通過全局matching和卡爾曼filter進行匹配融合，得到精度更高的前向融合目標級別結果；對于后向場景，直接取德爾福毫米波雷達的目標結果作為場景采集的依據；對于360°范圍場景，取40線激光雷達的原始數據進行場景數據的存儲。通過人工手動標注地下停車場場景的自主行駛、駛入停車場、場內行駛（尋找車位）、場內行駛（尋找出口）、泊車入位、駛離車位、駛出停車場等7個階段。

以采集的原始數據、目標級別數據、標注的場景數據作為輸入，通過Python代碼完成100個地下停車場的場景數據提取與存儲。從傳感器選型、傳感器搭建、傳感器標定、數據采集、數據標注、數據處理、數據存儲，整個流程處理工具鏈具有推演和參考的價值，在采集城區道路、高速公路等典型場景具有復用和借鑒的意義。并對后續自動泊車的算法研發提供了4000條次的基于有監督的深度學習泊車真值訓練數據。