基于深度學習的自動駕駛環境感知技術研究

裴漢林

摘要：自動駕駛車輛是由環境感知、定位導航、路徑規劃、運動控制等組成。充分考慮車路合一，協調規劃的車輛系統。自動駕駛的環境感知系統融合了超聲波傳感器、紅外線傳感器、激光雷達、毫米波雷達等多種傳感器的數據來獲取道路信息。為此，本文首先介紹了激光雷達在自動駕駛感知系統的應用。然后對自動駕駛環境感知系統的關鍵技術：目標檢測、跟蹤、場景分割分別進行研究。

關鍵詞：自動駕駛;環境感知;深度學習

1? 研究背景及意義

近年來，隨著人工智能和深度學習技術的不斷深入研究，自動駕駛技術被認為是最具有研發價值的領域之一。然而，將自動駕駛汽車應用到實際復雜的道路交通場景，還存在著一定的差距。因此，環境感知系統是自動駕駛汽車的重要組成部分。主要的任務是識別和分類道路障礙、交通標志、信號燈、行人車輛等，能夠分析判斷出車輛所處環境的位置[1]。

環境感知系統是自動駕駛車輛的關鍵技術之一。它對于交通場景語義的準確理解以及車輛做出相應的行為決策都是至關重要，是行車安全與智能化的一個重要保障。基于深度學習的神經網絡算法在人工智能領域的深入研究，促使了自動駕駛的變革。傳統的環境感知算法對于處理復雜的交通場景道路準確性和實時性達不到預期的效果。而基于深度學習的卷積神經網絡算法可以很好的處理龐大的數據集訓練出理想的模型，可以很迅速的感知車輛前方的道路信息，可以及時的給車輛感知系統反饋，在實時性和準確率方面都有一定的提升。

2? 環境感知技術的國內外研究現狀

許多政府機構、學術界和工業界都在自動駕駛系統上投入了大量的資源，如CMU、Stanford、清華大學、Google、百度、阿里、華為等。在過去的十年里，人們對環境感知模塊進行了深入研究。對于道路信息的信息收集通常由多個傳感器采集，如相機、雷達、激光雷達和紅外傳感器。預處理后，提取環境中物體的各種特征，如道路、車道、交通標志、行人、車輛等。

在國內主要的科研公司代表是百度阿波羅（Apollo）L4級別的自動駕駛車輛，2019年研發了一套完整的L4級別的視覺感知系統。該系統可支持對10路攝像頭，200fps數據量的同步處理，最高丟幀率在5%以下，可實現全方位360的道路場景感知，障礙物最遠檢測距離達240m。這套視覺感知方案最突出的地方是可不依賴高速機械旋轉的激光雷達探測信息，就可以實現在城市道路上實現端到端閉環的L4級別的自動駕駛。使得在一定程度上降低了自動駕駛車輛的成本費用，創造了更多的應用價值。

在國外的自動駕駛環境感知眾多研究領域，其中美國的特斯拉（Tesla）公司在自動駕駛這一領域的研究有著領先水平，尤其在環境感知這一方面來講，其視覺系統是由超聲波雷達、攝像頭、GPS定位系統等構成，偵測范圍可達250m，該系統的觀測視野遠比人眼更加廣闊，獲得交通道路信息更多。為解決激光雷達費用昂貴的問題，總部位于美國的Cepton公司研究出一款價格低于1000美元以下的激光雷達Vista-X90，檢測距離最遠可達200m，可實現高分辨率的空間三維成像。

通過國內外的自動駕駛環境感知研究現狀的分析，車輛對周圍環境的實時感知和理解是十分關鍵。其面臨著需要處理來自多個傳感器的大量數據的挑戰，如相機、無線電探測和測距（雷達）、光探測和測距（激光雷達）。因此對于自動駕駛環境感知系統的目標檢測、目標識別、目標跟蹤和駕駛員行為分析以及場景理解等關鍵技術的研究十分必要。

3? 環境感知技術的應用

深度學習是機器學習為基礎的更深層次學習，通俗來理解為通過大量的數據標簽，總結出規律訓練出想要的模型，然后通過該規律將與新的數據智能分類和預測[2]。深度學習技術覆蓋范圍包括醫學圖像工程輔助診斷、人臉識別、自然語言處理、圖像處理等科學研究領域。

深度學習的卷積神經網絡（CNN）的不斷研究，推動了自動駕駛在環境感知、運動控制、行為決策等多項關鍵技術的慢慢走向成熟。在自動駕駛領域，以卷積神經網絡（CNN）為基礎，進一步開發的R—CNN、Fast R—CNN. SSD、YOLO等神經網絡[3]。下面將介紹深度學習在自動駕駛環境感知技術應用。

3.1 激光雷達的交通場景識別

自動駕駛的激光雷達是通過發射激光束來探測目標位置的雷達系統，同時也可獲得車輛周圍的深度信息，可以準確的判斷出車輛周圍的障礙。如美國Velodyne公司的64線中的激光需達，它的機械式旋轉結構能夠實時地建立起周圍環境的3D場景圖。目前，激光雷達因其測量的高度可靠性、精確性，仍是自動駕駛系統中最重要的視覺傳感器之一。但是在開闊地帶，由于缺乏特征點，會存在點云過于稀疏，至丟失點的問題。最近幾年研究者開始使用卷積神經網絡來對三維的點云聚類進行分類，在實際工程應用中通過將采用激光雷達獲取目標的深度信息，并且通過攝像頭采集到的視頻信息，將其兩種數據融合基于CNN的各種目標檢測識別算法，來獲取交通道路場景獲取的目標位置及分類[4]。所以在實踐中通常采用多傳感器融合的方式，來獲取交通場景的周圍信息[5]。

3.2 目標檢測

在自動駕駛的環境感知系統中，對交通信號燈、行人和車輛、車道線以及可行駛區域、交通標志的識別檢測是一項關鍵的技術內容。傳統的目標檢測算法主要是采用多尺度滑動窗口來獲取圖像，計算的數據量龐大，并且會產生冗余的窗口，魯棒性較差，目標信息的特征容易受外界環境影響，分類的精度較低，泛化能力差。

隨著深度學習算法的提出，基于卷積神經網絡（CNN）算法的目標檢測技術慢慢的應用到實際的工程應用中。其中在深度學習的目標檢測算法又可分為：①基于two stage的車輛檢測方法：如R-CNN、FAST-R CNN、FASTER-R CNN等。這種算法主要分兩步進行：首先選取候選區域，再進行分類和回歸。②基于one stage的車輛檢測方法：以SSD、YOLO為基礎衍生的一些列檢測算法。該算法的特點是一種端到端的網絡結構，直接將目標檢測的問題轉化成回歸問題，不再需要選取候選區域。這兩者算法的綜合比較后者因為網絡結構更加簡單，計算量以及訓練數據的相對減少，使得實時性更好，在環境感知系統中更適應實際的交通道路場景。

為了更好的判斷目標檢測這些算法的優劣，我們需要一系列的數據集。我們常用的數據集包PASCAL VOC數據集、COCO數據集、ImageNet數據集、MIT（行人數據集）、KITTI（車輛數據集）、CTSD（中國交通標志數據集）等。

3.3 目標跟蹤

自動駕駛車輛的感知系統中另外一項關鍵技術就是對車輛前方障礙物的目標跟蹤，其中對象包括車輛軌跡跟蹤、非機動車輛軌跡跟蹤、行人軌跡跟蹤等。目標跟蹤技術對行車安全至關重要，能夠有效的預測物體運動的軌跡，從而控制層可以提前做出碰撞預警以及變道處理等決策。

目標跟蹤的的應用從目標數量上可分為單目標跟蹤（SOT）和多目標跟蹤（MOT），而在實際的交通場景更多的是MOT，考慮到多個車輛目標在實際運動中上一幀到下一幀的匹配關系。目標跟蹤算法大致可分為兩種：①生成式：均值漂移算法（Meanshift）、卡爾曼（Klaman）濾波算法等;②判別式：相關濾波算法、基于深度學習的跟蹤算法。兩種算法的比較下后者更具有魯棒性，應用在自動駕駛車輛感知系統中。

為了評價各種目標跟蹤算法的實用性，這里將介紹通用的數據集與評價指標。常用的數據集有MOT數據集專門用于行人和車輛的跟蹤。目標跟蹤技術當今面臨的關鍵問題：①光照變化;②物體快速運動造成的圖像模糊;③視覺傳感器與周圍目標距離的變化，也稱尺度變化;④背景雜亂，相似的目標物體的每一幀的檢測過程中會造成匹配錯誤，從而丟失了跟蹤目標。

3.4 場景分割

自動駕駛系統中另一項核心技術就是交通道路場景語義分割，影響著車輛的自主導航與行為決策，它對于環境的理解和分析有著重要的意義。語義分割是在像素級別的標準，通過對目標進行分類，如行人、車輛、車道線、草地、建筑物等。場景的分割即是對圖片的語義分割，幫助自動駕駛的感知系統，建立交通場景的語義實體模型以及對周圍環境理解，判斷出可行駛區域的重要工具。

將深度學習的方法應用到場景分割是一項突破性的成果，提高了行車的安全性以及對交通場景分割的準確性和時效性。深度學習的語義分割的方法主要有：①基于空洞卷積的方法;②基于編解碼的方法;③基于特征融合的方法;④基于RNN的方法;⑤基于注意力機制的方法。

為評價場景分割的算法的實時性和性能，我們需要在特定的數據集上進行測試，常用的大型公共數據集按場景類可分為以下幾種：①室外場景：Stanford back-ground、siftflow數據集，特點是類別和分辨率低;②駕駛場景：KITTI-Ros、智能機器人和自動駕駛的常用數據集;③城市街道場景：Cityscaps利用車載攝像頭采集的歐洲街道場景;④復雜場景：ADE20K、MS COCO數據集場景類別較多，包含的樣本數量和類別較多。

4? 總結與展望

本文針對環境感知的目標檢測與跟蹤、場景分割三項關鍵技術進行深入理解，并且給出用來測試的數據集。但自動駕駛的環境感知技術的研究還需要在以下幾個方面進行完善：①環境感知系統應適用于更加復雜的天氣情況包括夜間、霧天雨天;②激光雷達傳感器費用昂貴，可以考慮縮減成本，使用其他的高性能視覺傳感器;③加大力度投入計算機視覺領域研究，通過提升算法的性能，對處理圖像的準確率和時效性滿足現在交通場景的要求;④優化視覺傳感器的抗干擾性能和數據處理速度。若是能夠充分考慮這些內容進行改善，這將對自動駕駛汽車的舒適性、安全性、穩定性有著巨大的影響。

參考文獻：

[1]高銘.基于深度學習的復雜交通環境下目標跟蹤與軌跡預測研究[D].吉林大學，2020.

[2]章軍輝，陳大鵬，李慶.自動駕駛技術研究現狀及發展趨勢[J].科學技術與工程，2020，20（09）：3394-3403.

[3]李健明.基于深度學習的無人駕駛汽車環境感知與控制方法研究[D].長安大學，2019.

[4]陳兆一.基于三維激光點云的復雜場景人體目標識別[D].北京郵電大學，2019.

[5]宮銘錢，冀杰，種一帆，陳瓊紅.基于激光雷達和視覺信息融合的車輛識別與跟蹤[J/OL].汽車技術：1-8[2020-09-28].