高振海 于桐 孫天駿 王雨蒙
(1.吉林大學 汽車仿真與控制國家重點實驗室,長春 130022;2.吉林大學 汽車工程學院,長春 130022)
主題詞:無人駕駛 數據采集與分析 交通場景 駕駛行為
無人駕駛技術可以顯著提升道路通行效率、降低交通事故發生率并提高能源使用效率,已成為近年來汽車行業的研究熱點[1-2],而無人駕駛技術開發和測試的全過程都離不開數據的支持。標注清晰的數據集可以為算法的開發和訓練提供大量的高質量數據,種類豐富的場景庫可以使仿真驗證更加真實完備,從而降低無人駕駛技術的開發成本,縮短開發周期。
無人駕駛數據庫的建立主要由數據采集平臺的搭建、數據分析與處理系統的搭建和數據的存儲調用平臺搭建3 個部分組成。數據采集平臺的搭建需要根據不同的任務目標,在不同的車輛上搭載適當的傳感器組合,以獲取所需的數據流,根據所用設備的不同,其一般可以分為2 種,分別是使用原車已有的采集設備(如行車記錄儀、車載GPS 等)和安裝專用的設備;數據的分析與處理是指通過計算機或者人工的方式對原始數據進行增強和分類等操作,使其能夠生成新的可用數據,并能夠按照語義、法規和經驗等進行組合、歸檔和分類,以便于開發者使用;數據的存儲和調用是指通過分布式管理等方法,實現海量數據的快速存儲、檢索和調用。
根據所采集數據種類的不同,無人駕駛數據庫主要分為交通場景庫和駕駛行為庫2種,交通場景庫聚焦于車輛行駛時的周圍環境,而駕駛行為庫聚焦于駕駛員的操作或者車輛本身的行為,兩者的并集包含了與駕駛相關的全部數據。
本文對交通場景庫和駕駛行為庫在數據采集和分析技術上的發展現狀進行梳理歸納,并在此基礎上提出無人駕駛數據采集和分析技術的發展趨勢,為今后的研究提供參考和借鑒。
交通場景是指車輛在道路交通中所處的場景,它是無人駕駛算法開發和測試的基礎,也是算法落地應用的具體情境。典型的交通場景主要來源于政策法規、駕駛經驗、駕駛環境等。
密歇根大學的Zhao 等[3]將自然駕駛數據分為自由行駛、跟馳、變道、前車插入、前方通過人行橫道和側方通過自行車這6種不同的關鍵駕駛場景,并據此建立了TrafficeNet 場景庫,但是其分類方式沒有考慮到城鄉環境、交通信號和交通狀況等其他的場景信息。中國汽車技術研究中心的劉生[4]提出了按照本車、其他交通參與者、道路交通情況和天氣、城區等環境狀況這4 個要素進行分類的方式,并提出不同國家的道路交通情況存在差異,自動駕駛的場景數據采集和分類應考慮到相關差異。
交通場景的數據采集是指通過某種傳感器或傳感器組合,將車輛所處場景的交通信息以數據的形式收集起來,以備后續使用。傳統車輛的開發對場景本身的數據采集和重構等研究甚少。近些年,隨著無人駕駛技術的不斷發展,駕駛任務的執行者由人轉變為車輛,其開發必須考慮車輛對不同場景的處理能力,因而交通場景的數據采集技術越來越受到重視。
2.1.1 早期的交通場景數據采集系統
早期的交通場景數據采集系統多采用攝像頭和全球導航衛星系統(Global Navigation Satellite System,GNSS)來記錄和復現場景數據,并搭載在道路車輛平臺上,其記錄的場景數據較為單一,一般為道路場景的重建,不包含其他交通參與者和城鄉環境等交通信息。
蘇黎世聯邦理工學院的Cornelis 等[5]利用視頻流的數據進行城市三維場景重建,為車輛的導航提供城市場景數據。為了豐富場景信息,昆士蘭理工大學的He等[6]將車載攝像頭拍攝的立體圖片與GNSS 提供的定位及地圖數據結合,為后續處理提供原始數據。在此基礎上,武漢大學的Zhang 和國防科技大學的Lu 等[7]將行車記錄儀作為數據采集設備,并用其提供的視頻數據進行道路場景重建。
2.1.2 當前的交通場景數據采集系統
隨著無人駕駛技術的不斷發展,其對場景信息的要求越來越高。當下的交通場景數據采集系統一般將激光雷達、毫米波雷達、雙目攝像頭、廣角攝像頭、超聲波傳感器和GNSS等多種傳感器組合使用,搭載在路測設備和飛行器等多種不同的平臺上,記錄的場景數據較為豐富,包含道路、城鄉環境和其他交通參與者等多種交通信息,數據種類也涵蓋了點云和圖像等多種常見類型。
俄亥俄州立大學的Koppanyi 等[8]使用配備了激光雷達、GNSS 和不同分辨率的主、被動攝像頭的車輛采集典型交通場景的數據,并開發了一個簡單的界面導出這些高冗余的數據。相應地,中國汽車技術研究中心[4]也已經在多款車型上搭建了多傳感器融合的數據采集平臺,其上搭載了單目視覺、雙目視覺、激光雷達、毫米波雷達和高精度慣性導航系統等多種傳感設備。
考慮到自動駕駛車輛開發對場景數據的大量需求,一些機構和學者制作了相關的數據集,如CityScapes 數據集[9]、Oxford RobotCar 數據集[10]和CARLA數據集[11]等。這些數據集使用了大量的傳感器,在不同的周期內對不同類型的場景進行了采集。以Oxford RobotCar 數據集[10]為例,其聚焦于交通場景的時空特性,使用了4個相機、3個激光雷達和GPS,對不同天氣、行人和道路交通狀況下的同一段連續道路進行了數據采集,采集時間長達1年,采集里程達到1 010 km,它提供的場景時變數據為長途自動駕駛的測試提供了基礎。但上述數據集采集的均為國外交通場景,與國內的道路交通狀況仍有一定差別,國內與之相似的開放數據集目前較少。
除路測設備外,基于飛行器的數據采集系統也開始應用。Apeltauer 等[12]使用無人機采集十字路口的航拍圖像,并從中提取了車輛的行駛軌跡。在此基礎上,Chen等[13]將飛行器采集的航拍視頻用于交通流的建模,取得了較好的效果。
為了提高安全性和效率,Khan等[14]提出了使用無人機等飛行器進行交通場景數據采集的一般工作流程。南京理工大學的張楚東[15]采用高分辨率的航拍數據進行道路場景的重建,西安電子科技大學的趙凱迪[16]也使用無人機采集的實時視頻圖像作為場景數據進行分析處理。與路測設備相比,以飛行器作為搭載平臺的數據采集系統具有視野廣、靈活性強、透視變形低等優點,而隨著無人機的廣泛應用,飛行器類平臺的成本得到了進一步降低,但其目前所采集數據的種類仍以圖像為主,與路測設備相比較為單一。
此外,場景數據不僅可以從真實環境中采集,也可以通過數據增強技術生成和獲取。數據增強技術通過對原有數據進行適當的平移、旋轉、抖動和插值等操作來獲得新的數據。例如:哈爾濱工業大學的張耀隆[17]通過生成對抗網絡來擴充自動駕駛圖像數據;湖南大學的Wu等[18]采用遮掩和改變光照度等方法對交通標志數據庫進行了擴充;文獻[19]使用基于插值的數據增強方法,對不完全的道路點云數據進行了補充。
交通場景的數據采集技術在近10年,尤其是近5年中迅速發展。早期的數據采集系統所用傳感器類型單一,所用平臺以路測設備為主,采集場景的種類較少。隨著技術的不斷發展,現有的數據采集系統使用不同的傳感器組合,搭載在飛行器和車輛等不同平臺上,能對多種類型的場景進行采集,并且使用數據增強技術對原始數據進行有效擴充,以豐富數據集中的數據。不過目前適應于中國交通環境的開放場景數據集仍較為缺乏,這方面的研究工作將會推進交通場景庫的建成和自動駕駛的落地應用。
交通場景的數據分析是指通過一定的方法,由采集的場景數據對場景中的元素進行識別、分類和標注,并由此實現對交通場景的理解的一系列技術方法。場景元素的識別、分類和標注技術發展較早,而場景的理解技術近些年才得到較快發展。
2.2.1 場景元素的識別、分類與標注
早期的場景元素識別方法,即傳統計算機視覺目標檢測方法,主要基于數字圖像處理的相關知識[20]。近年來,隨著機器學習的興起,識別、分類和標注方法將傳統理論方法與機器學習技術相結合,提高了開發效率和算法性能。2種方法的典型算法如圖1所示。

圖1 典型的場景識別和分類算法
場景元素的識別和分類始于計算機視覺理論的提出。20 世紀80 年代,麻省理工學院的Marr 教授等[21]最早提出了人的視覺計算理論,為傳統計算機視覺檢測方法奠定了理論基礎。在此基礎上,利茲大學Mardia等[22]提出了基于閾值法的圖像分割算法,通過設定特征閾值對像素點進行分類,南佛羅里達大學的Hall等[23]提出的聚類法通過對像素點進行聚類實現圖像特征的提取和識別。傳統計算機視覺檢測方法研究開展較早,相關研究較多且理論基礎成熟,但只能對數字圖像進行檢測和識別,不能處理點云等類型的數據,且存在準確率低、工作量大等缺點。當前主要使用的是基于機器學習的識別方法,其沿用了傳統方法的部分理論框架,如尺度不變特征變換(Scale Invariant Feature Transform,SIFT)和方向梯度直方圖(Histogram of Oriented Gradients,HOG)特征向量,并在此基礎上使用神經網絡等技術進行特征提取,這種方法不僅能處理包含點云在內的各種類型的數據,而且其準確率也超過了傳統的檢測方法。因此,當前機器學習技術廣泛應用于無人駕駛的識別算法。本文根據識別目標的不同,對應用于不同交通場景的識別分類方法進行研究綜述。
在其他交通參與者的識別和分類上,蘇黎世聯邦理工學院的Cornelis 等[5]采用基于隱式形狀模型(Implicit Shape Mode,ISM)的車輛檢測方法,其具有較強的魯棒性,可以在模糊、有部分遮擋和光照度急劇變化的情況下檢測出車輛的具體位置。武漢大學的Zhang 和國防科技大學的Lu等[7]提出了基于AdaBoost分類器的Haarlike 特征,可以在數秒內完成對車輛前、后表面和部分交通護欄的檢測與識別。北京郵電大學的Fu等[24]設計了基于層次多支持向量機(Support Vector Machine,SVM)的分類方法,并實現了擁堵交通場景下車輛的檢測和識別。華中科技大學的Yang等[25]考慮到交通場景的復雜性和多變性,提出了基于卷積神經網絡的場景自適應車輛檢測和識別算法。
在道路場景的識別和分類上,昆士蘭理工大學的He 等[6]設計了大規模生成精確密集三維道路場景語義圖的方法,以滿足無人駕駛對語義地圖的巨大需求,其使用車載攝像頭拍攝立體圖片,并采用數據驅動和非參數化的方法來解析場景并實現語義分割。加拿大滑鐵盧大學的Sun等[26]考慮到高精度語義地圖及相關數據采集所需的成本較高,提出了一種基于接近度的由圖像到地圖的數據收集和注釋框架,其使用神經網絡和在線數據庫中的可用標簽進行學習,并實現了不同天氣下道路場景的自動標注。在道路線形特征提取方面,吉林大學的Gao 等[27]提出了基于前方車輛雷達信息來估算道路曲率參數的方法。此外,湖南大學的Wu 等[18]基于YOLOv3神經網絡框架,提出了目標定位和分類識別的雙級檢測方法,并實現了對道路場景中的小型物體(如交通標志等)的實時檢測。
考慮到車載處理器可能沒有足夠的算力,一些任務需要上傳到遠程服務器進行處理,而上傳的壓縮數據在重建時較為耗時,針對這一問題,麻省理工學院的Kwan[28]等提出了像素編碼曝光(Pixel Coded Exposure,PCE)的方法,并結合深度學習實現了車輛的實時檢測和分類。
考慮到實際交通場景中存在多類目標,且它們會對識別算法產生干擾,西北工業大學的Yao等[29]提出了在同一框架下,用雙目攝像機對道路、汽車和行人等多種目標進行自動檢測和分類的方法。南京大學的郭建朋[30]按照數據校驗提交、數據標注和數據統計3個模塊建立了自動駕駛場景數據庫,其中數據標注模塊使用了YOLO 神經網絡算法,可以實現圖像和點云等多種數據的目標檢測和語義分割。文獻[31]研究了在車隊管理的特定要求下的交通場景分類。中國科學技術大學的鐘澤宇[32]將激光雷達點云轉化為距離圖像,并通過二維卷積神經網絡對其進行語義分割,再將得到的語義標簽反投影到點云上,結果表明該方法具有較高的準確性。
此外,考慮到各交通元素隨時間的變化,以及在移動車輛上拍攝視頻所產生的視點時變問題,哥倫比亞大學的Dwivedi 和本田研究院的Narayanan 等[33]提出了一種具有時空一致性的動態交通場景分類方法。該方法利用數據集的時空特性進行語義分割和場景分類。試驗結果表明,相較于直接使用場景元素的靜態圖像,該模型所捕捉到的場景元素的運動能更好地描述實際場景。
2.2.2 交通場景的理解
交通場景的理解建立在交通場景語義分割和元素識別的基礎上。部分學者認為,場景的理解任務是通過分析和預測場景內各元素的交互行為和運動行為[34],實現對整個場景區域的語義理解[35]。隨著以神經網絡為代表的統計學習方法的興起,場景理解在近些年取得了較快的發展。
達姆施塔特工業大學的Roth 等[36]較早地進行了交通場景理解的相關研究,其使用三維概率模型對場景內各對象間的交互行為進行理解。在此基礎上,東北大學的金雪梅[35]基于條件隨機場理論,建立了能對場景區域進行識別標注的模型。
卡爾斯魯厄理工學院的Geiger 等[37]提出了基于移動平臺的多目標交通場景理解的概率生成模型,該模型僅使用視覺數據進行分析和理解,并在推斷場景布局方面取得了較好的效果。
考慮到元素識別等基本感知模塊輸出的環境模型會側重于表達特定的感知任務,由此產生模式不同但信息冗余的現象,Oeljeklaus 等[38]基于卷積神經網絡構建了多任務環境模型,提供了以集成方式生成互補表示的有效方法。
為了增強場景理解模型的泛化能力,北京郵電大學的Di等[39]建立了基于稠密對應關系的轉移學習方法,并在不同的天氣和光照環境下進行了訓練。文獻[40]、文獻[41]則使用不同的卷積神經網絡來完成交通場景的理解任務,但上述研究未能對整個場景區域進行語義分類和理解。
綜上所述,隨著神經網絡等技術在相關領域的不斷突破與應用,交通場景的數據分析技術已取得了長足發展。場景元素識別和分類的相關研究已日趨成熟,但場景理解技術的發展仍處于較為初步的階段,交通元素識別與交通場景理解的任務劃分不完全明確,場景的語義分類標準也不完全統一,而解決上述問題,對場景庫的建立和無人駕駛的落地具有重要意義。
在道路狀況、周圍環境等交通元素不同的場景下,駕駛員對車輛的操作會有所不同。為了開發更符合駕駛員駕駛習慣的車輛決策和控制算法,就需要收集日常狀態下駕駛員面對不同交通場景時對車輛的操縱行為數據,即駕駛行為的數據采集和分類。利茲大學的Barnard 等[42]把在沒有試驗控制的情況下,以不引人注意的方式記錄駕駛員、車輛和周圍環境的數據并對其展開研究的方式定義為自然駕駛研究(Naturalistic Driving Study,NDS)。
為了估計描述駕駛員行為所需的數據總量,雅典理工學院的Stavrakaki等[43]提出了一個方法學框架。分析表明,駕駛員的攻擊性、波動性和旅程的總時長都會對數據量的需求產生影響。因此,為了準確描述駕駛風格并理解駕駛員的駕駛行為,有必要進行長期、大量且廣泛的駕駛行為數據采集和分析。
昆士蘭大學的Grimberg 等[44]把用于自然駕駛研究的數據采集系統(Data Acquisition System,DAS)分為基于智能手機的駕駛行為數據采集系統和基于車載設備的駕駛行為數據采集系統,并指出基于智能手機的駕駛行為DAS 的測量誤差相對較大,但其在研究動態駕駛動作(如加速、制動和轉向)上具有較好的表現。
考慮到成本和部署便捷性等問題,在一些項目的前期開發中,常使用駕駛模擬器進行駕駛行為的數據采集。例如:吉林大學的高振海等[45]基于從駕駛模擬器中采集的數據,確定與駕駛行為相關的狀態集和動作集,并由此建立了縱向自動駕駛決策過程的因果推理機制;考慮到多任務下的駕駛員認知負荷問題,吉林大學的Gao[46]利用駕駛模擬器設計模擬工況,并同步采集駕駛員的心電、皮電和呼吸等信號,經過統計分析找到了駕駛任務、認知負荷與生理信號間的關系;同濟大學的時恒等[47]采用8自由度駕駛模擬器分析霧霾天氣下的駕駛行為;文獻[48]~文獻[51]所進行的研究均采用了駕駛模擬器來收集相關數據。
基于駕駛模擬器的駕駛行為數據采集系統具有方便部署、成本低廉等優點,但這種方法得到的數據與真實的自然駕駛行為數據仍有一定的差別,僅作為參考,因此本文主要介紹基于智能手機和基于車載設備的數據采集系統。基于車載設備的駕駛行為數據采集系統的相關研究開展較早,早期其采集的數據主要用于事故分析,隨著傳感設備與自動駕駛技術的發展,目前車載駕駛數據采集設備所采集的數據精度更高、種類更多,用途也更為廣泛。與此同時,由于近年來智能手機的廣泛普及和其內置傳感器精度的提高,基于智能手機的駕駛行為數據采集系統的相關研究越來越多。當前關于駕駛行為數據采集系統的研究,處于兩者共存、各有優劣、互為補充的階段。
3.1.1 基于智能手機的駕駛行為數據采集系統
基于智能手機的駕駛行為數據采集系統是近年出現的新興技術,一般是指利用手機內置的先進運動傳感器、GPS接收模塊、攝像頭和光傳感器等,配合相應的手機應用,采集并存儲或上傳數據的技術。智能手機為傳感器網絡、駕駛員輔助系統和其他智能交通系統的應用提供了新的平臺[52],其在駕駛行為數據采集方面得到了大量應用。
加州大學的Johnson等[53]最早提出了基于智能手機的駕駛行為監測系統,其利用智能手機中的GPS接收模塊、加速度計、陀螺儀和磁強計獲得位置、速度、加速度和偏轉角等信息。文獻[54]、文獻[55]也采用相似的方法記錄了駕駛行為數據。Freidlin等[56]對iOS系統、安卓系統和車載小型DAS 所采集的數據進行了比較,結果表明,在與算法相配合的情況下,手機內置的傳感器精度與車載小型DAS精度相當。
考慮到智能手機在車輛中以不同的位姿擺放時,重力會對其他傳感器的測量產生影響,中國科學院的Zhang 等[57]提出了評估手機擺放位姿,并據此對數據進行修正的方法,成功抵消了重力的干擾,進一步降低了智能手機DAS 的部署難度,提高了其所采集數據的準確性。
此外,智能手機DAS 還可以方便地根據所研究的問題進行調整和定制,如艾瑞爾大學的Botzer 等[58]開發了一款只記錄制動事件的智能手機應用,以研究高強度制動與事故發生率的關系。
當前,智能手機具有極高的普及率,而基于智能手機的數據采集系統充分利用已有設備,只需要駕駛員安裝相應的應用程序即可完成部署,顯著降低了系統的安裝成本,并使得采集大量且不同的自然駕駛數據成為了可能。此外,雖然智能手機DAS 在數據收集上存在一定的局限,但通過一些方法可以對其進行有效彌補,因此基于智能手機的駕駛行為DAS越來越廣泛地應用在自然駕駛數據的收集和研究中。
3.1.2 基于車載設備的駕駛行為數據采集系統
基于車載設備的駕駛行為數據采集系統是相對傳統的數據采集方式,由于其不僅能夠采集駕駛行為信息,還能夠采集與之相關的駕駛員生理信號,因此仍未過時。早期研究所記錄的數據量一般較少,如弗吉尼亞理工大學的Neurauter等[59]開展的相關研究,通過面向車內的攝像頭,記錄了100 輛汽車總計700 h 的駕駛員手部行為數據。
隨著傳感及數據處理技術的不斷發展,當前的車載駕駛數據采集系統主要包括2種:為研究定制的車載駕駛數據采集系統和非定制的車載駕駛數據采集系統[44]。為研究定制的采集系統配備特定的傳感器,采樣頻率高,通常高于10 Hz,且測量誤差低[60-61],但是其成本較高,且會對駕駛員的自然駕駛產生影響;非定制的數據采集系統可以降低成本,并且減少對駕駛員自然駕駛的影響,但是其收集的數據相對受限,且只記錄超過一定閾值的駕駛事件。定制的車載數據采集系統多應用于大型項目中,如澳大利亞自然駕駛研究(Australian Naturalistic Driving Study,ANDS)項目[62],歐洲的自然駕駛、車輛安全和環境基礎設施項目UDRIVE[42,63]和上海自然駕駛研究[64]等。這些項目都部署了大量且類型多樣的傳感器,并在數月的時間內收集了眾多駕駛員的駕駛數據。其使用的傳感器包括但不限于GPS接收模塊、加速度計、前置雷達和攝像頭。其收集到的信息包括:本車相關信息,如油門和制動踏板開度、擋位信息、轉向盤轉向角、ABS反饋信息、車速、轉向燈標志位和安全帶信息等;駕駛員生理信息,如酒精傳感器信息、眼動信息等;光照度信息;車載音頻信息等。這些信息會被存儲為數據集,以備后續處理。
在研究某些特定問題或者特定群體時,車載數據采集系統可以設計得稍簡單些,參與的駕駛員數量也可以相對減少,如密歇根大學Sayer 等[65]對輕型車輛安全性的研究和Nodine等[66]對貨車駕駛員的自然駕駛研究等。
非定制的數據采集系統又分為加速度數據采集系統(g-Force DAS)和與攝像機結合的加速度數據采集系統(g-Force with a Camera DAS)。加速度數據采集系統通常只能記錄超過某一加速度閾值的事件,而與攝像機結合的采集系統還可以記錄事件前后一段時間內的視頻流。愛荷華大學的Harland等[67]利用與攝像機結合的采集系統,記錄并分析了青少年的駕駛行為和注意力分散情況。文獻[68]、文獻[69]也利用這類系統對日常生活中的危險駕駛行為以及自然駕駛中的分心情況進行了研究。
定制的車載數據采集系統所采集的數據具有種類全面、測量精度高等顯著優點,具有極高的科研價值,但是其整體成本高且安裝復雜,一般的科研機構很難獨立地大范圍安裝和運行。非定制的數據采集系統利用已有的設備收集數據,優勢在于便于部署且成本較低。
智能手機駕駛數據采集系統與車載駕駛數據采集系統相比各有優劣。基于智能手機的DAS具有部署迅速、成本低廉、方便定制等優點,且由于智能手機已經在生活中廣泛使用,因此基于智能手機的DAS 不會給被測者帶來額外的成本負擔,這為大規模采集駕駛數據提供了可能。基于車載設備的DAS使用的傳感器種類更多,采樣頻率更高,所獲取的數據更加準確,在某些問題的研究上有著無可替代的作用,但由于其高昂的成本,很難被廣泛地安裝于不同地區的不同車型上,這也為其進一步發展帶來了一定的阻礙。
駕駛行為的數據分析主要包括駕駛事件的識別和分類以及駕駛風格的測評。其中,駕駛事件的識別和分類是隨著智能手機DAS發展起來的,其作用是從速度、加速度和角加速度等信息中識別出轉向、加速和制動等駕駛事件,并對相關數據進行標注,以備后續使用,其發展歷程如表1 所示。駕駛風格的測評主要用于繪制駕駛員行為畫像,并據此進行個性化算法優化、風險駕駛提醒和事故關聯分析等。

表1 駕駛事件識別技術發展歷程
3.2.1 駕駛事件的識別和分類
駕駛事件識別和分類的相關研究始于2012 年,加州大學的Johnson 等[53]提出了基于動態時間規整(Dynamic Time Warping,DTW)算法和傳感器數據融合的駕駛事件識別技術,其對車輛運動的檢測精度與汽車CAN 總線的精度相當,且其所有的處理和運算均能在智能手機中完成。Eren等[54]也利用類似的算法,利用智能手機采集的加速度等數據,實現了對駕駛事件的檢測和識別。在此基礎上,2015年,盧森堡大學的Castignani等[55]基于模糊邏輯算法實現了對加速、制動、轉向以及風險駕駛行為的精確檢測。
為了充分挖掘駕駛行為的時間特征,中國科學院的Zhang 等[57]基于融合的卷積神經網絡和遞歸神經網絡,于2019年提出了一種能考慮高維傳感器數據間的相關性、捕獲顯著結構特征并對時間特征進行建模的方法。該研究還據此建立了數據集,并對直線行駛、靜止、左轉彎、右轉彎、制動、加速6種駕駛事件進行了注釋。試驗結果表明,該模型在識別駕駛事件方面,有明顯優于其他模型的泛化能力。
3.2.2 駕駛風格的測評
在駕駛風格測評的相關研究上,早期的測評方法主要是基于心理學調查問卷和量表的主觀評價法,隨著人們對此重視程度的提高,現有的測評方法主要是基于駕駛行為數據的客觀評價法[70],其發展歷程如表2 所示。

表2 駕駛風格測評技術發展歷程
20 世紀90 年代初,圣喬治醫學院的West 等[71]將人們的典型駕駛方式定義為駕駛風格,并指出駕駛風格會受到個人性格特征的影響。早期的駕駛風格測評問卷和量表中,較為典型的有駕駛員行為問卷[72]、多維度駕駛風格量表[73]和駕駛員類型問卷[74]等。
當前的駕駛風格測評主要是通過對駕駛行為數據(如強制動次數等)的分析和處理實現的,這種方法基于儀器采集的數據,而不是被測人對自己的主觀評價,因此其客觀性較強,能更好地描繪駕駛員的駕駛行為特征。
克蘭菲爾德大學的Martinez 和中國科學院的Wang等[75]認為模糊邏輯、K最近鄰(K-Nearest Neighbor,KNN)分類算法和人工神經網絡(Artificial Neural Network,ANN)是識別駕駛風格最常用的分類器。加州大學的Johnson 等[53]在前述駕駛事件識別算法的基礎上,開發了測評駕駛風格的MIROAD 手機應用,其通過計算常規駕駛事件和攻擊性駕駛事件的出現頻率來評估駕駛員的駕駛風格。考慮到不同的車輛特性會對駕駛員的操縱產生影響,盧森堡大學的Castignani 等[55]提出了基于模糊邏輯的算法,成功地將駕駛風格與車輛特性獨立開來。
在上述研究的基礎上,馬德里理工大學的Silva等[76]提出了對駕駛風格分類算法的性能進行評價的方法,其對SVM、隨機森林(Random Forest,RF)、模糊邏輯、KNN和ANN 5 種算法進行了測評。結果表明,SVM 算法在精度方面優于其他算法,而ANN 算法在顯著性檢驗上具有明顯優勢。
駕駛行為的數據分析是高級駕駛輔助系統(Advanced Driving Assistance System,ADAS)和無人駕駛車輛算法優化及個性化定制的基礎,其作用主要有:利用駕駛事件識別和分類方法自動標注駕駛行為數據集,標注清晰的數據集對ADAS以及無人駕駛的算法開發和優化具有重要意義;通過駕駛風格測評描繪駕駛員的駕駛行為畫像,可用于無人駕駛的個性化定制技術,也可用于車隊管理和事故分析等。
早期對駕駛行為數據分析的研究較少,隨著相關技術的發展,當前對其的研究越來越多,且主要是基于機器學習的方法進行識別、分類和評價。但現有研究所覆蓋的數據量較少,且較為分散,未來的研究應建立在更廣泛且多樣的駕駛行為數據集上,并建立算法性能的評價體系,以便于找到不同情況下的最佳處理方法。
本文概述了面向自動駕駛的數據采集與分析技術的研究現狀,并總結得到了以下結論和展望:
第一,交通場景的數據采集。當前交通場景的數據采集系統主要搭載在地面車輛和飛行器等平臺上,其通過激光雷達、毫米波雷達、GNSS和攝像頭等傳感設備的組合收集數據,并配合使用數據增強等技術適當地增補可用數據。但目前針對中國交通環境建立的場景數據集較少,相關工作的推進會對無人駕駛技術在中國的落地應用具有重大意義。
第二,交通場景的數據分析。場景數據的分析,主要是對場景內的元素進行識別、分類,并對場景整體進行理解。當前的場景元素識別分類方法結合了傳統計算機視覺和機器學習的相關知識,在識別算法的準確率和效率上取得了較大的突破。但現有的場景理解方法發展并不完善,在理解任務的具體定義和場景區域的分類標準上仍存在爭議。對上述問題的研究討論,將會促進交通場景理解技術的發展,并對交通場景數據庫的建立起到較大的推動作用。
第三,駕駛行為的數據采集。駕駛行為數據采集的設備主要包括基于智能手機的數據采集系統、基于車載設備的數據采集系統和基于駕駛模擬器的數據采集系統。當前的駕駛模擬DAS 已經具有較高的模擬精度,但其仍不能夠取代實車試驗,車載DAS 仍存在成本較高的問題,而現有的智能手機DAS 雖然已經顯著地降低了成本,但仍未能充分地利用智能手機設備的巨大基數。建立基于智能手機的分布式傳感及數據采集系統,將能大幅提高駕駛行為數據的采集量和采集效率,并為駕駛行為數據庫的建立奠定基礎。
第四,駕駛行為的數據分析。駕駛行為的數據分析主要包括駕駛事件識別和駕駛風格測評,現有的主流方法均基于機器學習的相關知識,如支持向量機和神經網絡等。駕駛事件的識別已實現了較高的準確率,但其尚未在大規模的原生自然駕駛數據中進行驗證。駕駛風格測評的相關方法較多,但由于風格分類存在主觀性,因此目前仍未形成統一的算法性能評價標準。進一步在大規模數據中驗證分析算法,并建立算法性能的統一評價標準,將是駕駛行為數據分析技術未來的發展方向之一。
完備的數據庫體系是無人駕駛的基礎設施。無人駕駛數據采集與分析技術的發展和進步,將會推進交通場景數據庫和駕駛行為數據庫的建立,并對無人駕駛的開發、優化和個性化定制起到至關重要的作用。