無人駕駛汽車環境感知技術研究*

□ 黃志強 □ 李 軍

重慶交通大學 機電與車輛工程學院 重慶 400074

1 研究背景

隨著智能控制技術的快速發展,無人駕駛技術日趨成熟,無人駕駛汽車成為汽車行業重要的發展方向。無人駕駛汽車又稱輪式移動機器人。環境感知模塊是無人駕駛汽車中的重要組成部分,通常由攝像機、激光雷達、毫米波雷達、超聲波雷達等組成。不同雷達設備具有不同的探測特點,根據不同的行駛環境,將一類或多類雷達設備組合使用,可以大大提高無人駕駛汽車的安全性。由此,筆者對無人駕駛汽車環境感知技術進行研究。

2 激光雷達感知技術

激光雷達主要由激光發射器、激光接收機、信息處理系統、控制系統、顯示終端組成。激光雷達種類較多,按不同的工作原理可以分為固態激光雷達和機械式激光雷達,按不同的掃描空間可以分為二維激光雷達和三維激光雷達[1]。激光雷達工作原理如圖1所示。激光調制發射電路發射出一束激光脈沖,照射至目標后反射,被激光接收電路接收,之后將信號傳送至信號處理電路,并反饋至主控電路,從而測量出物體與雷達間的距離。目前,市面上的主流激光雷達產品使用飛行時間和三角測距技術。在無人駕駛汽車中,激光雷達主要用于汽車前方障礙物的探測,在獲取環境的點云數據后,對點云數據進行柵格化。激光雷達感知技術受環境干擾較小,具有測量精度高、分辨率高等優點。

圖1 激光雷達工作原理

段建民等[2]提出利用多層激光雷達對動態障礙物進行探測。分別建立汽車坐標系和傳感器坐標系,路沿信息對應的信號在傳感器坐標系中連續不斷,并且處于同一掃描層內,其規律可以用一次線性函數表示。將不同掃描層的路沿信息融合后,得到最終檢測數據。使用聚類算法對不同路段的路沿信息進行分類,利用最小二乘法進行直線擬合,得到數據的最佳匹配函數,擬合出所需要的路沿信息。激光雷達的掃描信息通過傳感器模型后,建立動態柵格地圖,設置沖突因數檢測動態障礙物的信息,進行膨脹侵蝕和聚類處理,得到障礙物的基本特征,最終判斷得到障礙物與路沿的位置關系。

Wang Heng等[3]提出利用三維激光雷達對行人進行識別。分別使用64線和16線激光雷達采集原始點云數據,將所有點云的直角坐標轉換為相對應的全局坐標,使三維點云數據投影到二維平面,并進行柵格化。在進行聚類之前,設置相應的閾值去除點云中的噪聲和相關區域,使用開源哈希庫存儲搜索的每個元素。將所有連接的單元聚類為一塊連通區域,判斷單元中的高度、寬度、長度是否滿足條件,提取出相應的行人候選區域,計算并評估特征向量,以識別是否為行人。

Ghallabi等[4]提出利用激光雷達實現車輛在高清地圖中的定位。由激光雷達進行全物理環形掃描,分割為單獨層數據。通過殘差擬合分析當前層是否為圓弧,對圓弧層進行幾何分析,從而分割出相應的道路點。將水平面劃分為四個象限,對每個象限進行高斯濾波,得到相應的邊緣切片數據。當邊緣切片數據低于一定閾值時,劃分為非道路切片。通過建立以汽車自身為中心的二維網格單元,將網格反射率數據轉換為二維強度圖像,應用霍夫變換進行在線檢測。檢測到的車道標記用作地圖匹配算法的輸入特征,在粒子濾波框架下實現地圖匹配。

Xie Desheng等[5]提出利用三維激光雷達對障礙物進行檢測和測距。將由激光雷達獲取的外界點云數據柵格化,以某個柵格為中心,利用聚類算法分析周圍的八個柵格點。為了避免過多丟失障礙物信息,對兩個障礙物之間的點云數據再次進行檢測。當其中某個點云數據的特征與障礙物特征相似時,判定該點云數據為障礙物。融合多幀聚類結果檢測靜態障礙物,將實時運動的全球定位系統位置信號轉換至大地坐標系,采用改進后的動態障礙物跟蹤點模型和卡爾曼濾波技術對動態障礙物進行跟蹤。檢測障礙物時可根據不同的行駛條件,將反向行駛區域納入檢測范圍,防止行人突然出現,為汽車的轉向提供準確的引導。

張銀等[6]提出在三維激光雷達的基礎上利用三維點云技術對障礙物進行檢測。通過三維激光雷達全方位掃描獲取無人駕駛汽車周圍物體的原始點云數據,對原始點云數據進行初次處理,排除干擾信息。根據所獲取的點云數據將汽車與障礙物分離,利用深度學習方法從大數據中自動學習障礙物的特征。最后進行聚類分析,判斷識別出障礙物的類別。三維點云數據在通常條件下具有無序、稀疏、信息量較少的特點,與深度學習算法結合后,能夠有效提高檢測的實時性和準確度。

Fan Yucheng等[7]提出使用神經網絡檢測激光雷達的點云數據,可以獲得一條行駛道路。使用CITYSCAPES、KITTI兩個數據集分別獲得車標圖像和路標圖像,將金字塔場景解析神經網絡與擴張卷積網絡相結合,分割圖像中的汽車信息和激光雷達數據中的道路信息。利用KITTI數據集的映射參數將車標圖像映射至激光雷達點云數據,將得到的點云數據與道路標記點云相結合,從而完成環境檢測。使用多種數據集訓練神經網絡,增加神經網絡的卷積層數,進一步提高檢測的速度和準確度。

Zhang Zhenyao等[8]提出在復雜的道路環境中利用激光雷達檢測、跟蹤汽車。利用高分辨率微交通數據技術在十字路口獲得道路交通的三維點云數據,通過濾波技術去除三維點云數據中的地面背景和噪聲。將基于密度的帶噪聲空間聚類法應用于汽車和行人的聚類、檢測,用盒模型來表示汽車。基于同一汽車在相鄰幀之間的距離特性,通過卡爾曼濾波和粒子濾波等算法跟蹤汽車。

Qu Sanqing等[9]提出利用二維激光雷達獲取汽車信息。利用多個二維激光雷達獲取周圍物體的掃描數據,使用基于密度帶的噪聲空間聚類法將數據點分割為不同的族,這些族通常對應自行車、行人、建筑物或汽車。利用L形頂點搜索、L形角定位兩種方法獲取汽車的位置和方向信息。可以結合深度學習檢測已有族中是否存在分類誤差,從而進一步提高識別率。

3 攝像機感知技術

攝像機在標定物體時常常采用針孔攝像機成像模型,通過內部幾何模型獲得外界物體的三維坐標參數,將光信號轉換為電信號,傳輸至系統專用的半導體攝像器件,主要包括互補金屬氧化物半導體、電荷耦合器件、電荷引動器件[10]。攝像機工作原理如圖2所示,外界光照射光敏單元陣列,產生光電效應,生成一定的電荷。行選擇單元選通相應的行像素單元,行像素單元內的圖像信號通過各自所在列的信號總線傳輸至對應的模擬信號處理單元及數模轉換電路,轉換為數字圖像信號并輸出。攝像機中的攝像頭構造特殊,常常存在分辨率無法達到特定要求、變焦鏡頭穩定性差、對遠處物體無法做出準確回應等缺點。當然,盡管存在以上缺點,但是由于攝像頭價格低廉,能夠采集彩色信號,對近距離物體的識別率高,攝像機感知技術被廣泛應用于無人駕駛汽車。

圖2 攝像機工作原理

Hasan等[11]提出利用雙目攝像機實現交通標志的實時識別和通信。分別選用豎直型和水平型攝像機對捕獲的圖像信息進行顏色分割,獲取感興趣區域。使用一個已完成訓練的卷積神經網絡對這一感興趣區域進行識別。若識別出為交通標志或汽車發光二極管燈陣列,則由一個攝像機進行標定,由另一個攝像機繼續檢測,圖像被捕獲并不斷采樣更新,以檢索實時信號。如果同時檢測出交通標志和汽車發光二極管燈陣列,那么使用攝影測量儀測量攝像機與汽車發光二極管燈陣列之間的距離。可以利用毫米波雷達檢測感興趣區域的角度,結合當前的距離參數,降低汽車發光二極管燈陣列與交通標志之間的相互干擾。

Alkhorshid等[12]提出一種基于攝像機的車道線標記檢測方法。引入一個在不同光照條件下獲取的基準數據集,將機器學習模型與基于霍夫變換、反透視映射法的初始車道標記檢測相結合,將邊緣圖像中的梯度幅值與卡爾曼濾波器相結合,使用無跡卡爾曼濾波器跟蹤下一幀信息。將汽車相對于左右車道標記的偏移建模為關于時間的函數,使用無跡卡爾曼濾波器根據前一幀的觀察來預測偏移參數的未來值。利用反透視映射法和霍夫變換檢測基線模型,以彌補無跡卡爾曼濾波器建模的不足。

Said等[13]提出基于圖像處理技術檢測交通燈信號。通過高分辨率攝像機實時獲取交通燈信號,利用場景的顏色屬性檢測交通燈信號。通過使用一個獨立于照明條件的查找表,來顯著減小交通燈信號顏色檢測的計算量。使用顏色空間轉換、顏色分割、形態學操作得到交通燈信號的候選區域,利用重要特征的無監督分類器進一步分析每一個候選區域,并增加伽馬校正函數用于夜間檢測,最終在所有候選區域中分離出實際交通燈信號信息。原始交通燈信號圖像如圖3所示,經過顏色空間歸一化處理后的交通燈信號圖像如圖4所示,當某類顏色與紅色和綠色重疊時,紅色和綠色會被優先顯示,如圖5所示。

方博文等[14]提出在低速行駛環境下利用雙目立體攝像機探測汽車與障礙物之間的距離。利用改進后的張正友標定法,通過小孔成像原理,將世界坐標系和攝像機坐標系設為相對靜止,通過坐標變換矩陣表達出兩個攝像機之間的相對位置。對所獲得的圖像進行中值濾波,減小圖像中的噪聲干擾。利用最大類間方差法將原彩色圖像轉換為黑白二值圖像,使用最小二乘法得出汽車與障礙物之間的距離。由于攝像機在高速環境下不能快速識別遠距離障礙物,因此可以利用激光雷達傳感器先標記遠距離障礙物,再利用雙目攝像機進行測距。

圖3 原始交通燈信號圖像

圖4 歸一化處理后交通燈信號圖像

圖5 分割出紅色和綠色后交通燈信號圖像

Kuramoto等[15]提出利用單目攝像機測量三維目標的距離。將攝像機捕獲的圖像數據輸入已經完成訓練的深度卷積神經網絡,以邊界矩形的二維中心表示物體,通過升降框架和針孔攝像機模型將矩形框從二維映射至三維。分別建立攝像機坐標系、車輛坐標系和世界坐標系,采用數字帶通濾波器技術轉換不同坐標系中的位置數據,從而得到與目標物的距離,并利用基于攝像機模型的拓展卡爾曼濾波對目標進行跟蹤。

Li Xing等[16]提出使用攝像機對前方汽車進行檢測。由于汽車陰影部分比背景顏色要深,因此采用服從高斯分布的統計直方圖來估計閾值上限。結合陰影水平和豎直邊緣特征生成初始區域,通過方向梯度直方圖的變化將汽車區域與非汽車區域分離。使用圖像中局部方向的梯度直方圖進一步驗證候選區域的準確性,利用由非線性支持向量機模型訓練的車輛分類器去除非汽車區域,從而完成對前方汽車的檢測。

4 毫米波雷達感知技術

毫米波雷達主要分為77 GHz和24 GHz兩大類。77 GHz毫米波雷達的測量距離較長,常常被設置在汽車前側和兩側。24 GHz毫米波雷達的測量距離相對較短,常常被設置在汽車后側。毫米波雷達工作原理如圖6所示。毫米波雷達通過發射器發射出毫米波,接收器根據收發的時間差,經過信號調制后輸出數字信號,從而測得目標的位置數據。毫米波雷達工作方式主要分為調頻連續波和脈沖兩大類[17]。由于調頻連續波工作方式不需要瞬時大功率,不存在探測盲點,硬件成本相對較低,因此大多數無人駕駛汽車都采用調頻連續波工作方式。毫米波雷達能夠準確測量出目標的相對速度、相對距離和運動方向,具有抗干擾能力強、穿透性強、分辨率高、全天候工作等優點。

圖6 毫米波雷達工作原理

Cai Xiuzhang等[18]提出在77 GHz毫米波雷達的基礎上利用深度學習對目標進行分類。運用數值模擬方法,生成雷達散射截面積數據。由于大多數交通目標滿足表面曲率半徑大于波長的情況,因此利用物理光學法生成二維雷達散射截面積圖像。多種障礙物的參數可能會產生一定重疊,但是不同目標之間存在不同的數據,可以通過卷積神經網絡對實時雷達散射截面積數據和雷達散射截面積圖像進行分類。

Yoneda等[19]提出在雪天環境中使用全向毫米波雷達實現汽車的自動定位。將毫米波雷達的測量數據映射在毫米波雷達系統中,采用交互式多模型集成靜態或動態物體,估計目標的位置、速度和加速度參數。將全局坐標中的觀測點坐標轉換為二維圖像坐標,通過協方差矩陣減小測量誤差。通過對似然分布相應區域積分,得到每個像素的似然值。根據所得到的似然值重新計算物體存在的概率,從而生成汽車周圍物體的地圖信息。通過計算汽車線速度與橫擺角速度之間的時間關系,與毫米波雷達系統信息進行匹配,利用航跡推算更新汽車的位置信息。試驗表明,汽車的定位誤差為0.25 m,可以保障安全行駛。

Smith等[20]提出使用毫米波雷達識別駕駛員手勢以降低駕駛風險。利用機器學習方法記錄每一組手勢的范圍、速度、加速度、速度彌散、空間彌散等雷達特征,利用隨機森林分類器算法訓練模型,使用這一模型對手勢進行識別。通過增加分類器中模型的數量,改變分類器最小計數與緩沖區大小的比例,來提高這一模型的魯棒性。當檢測到手勢時,手勢的分類器號被添加至向服務器傳送數據請求中,隨后被發送至服務器,從而解析出手勢信息,并做出相應動作。

Wang Xu等[21]利用毫米波雷達對行人和汽車進行穩定跟蹤。通過測量獲得目標的相對速度、相對距離等信息,對信息進行時間對準、坐標變換、離群點消除。通過關聯規則確定測量時分配給一個軌跡還是一個假目標,為目標狀態估計做準備。通過聯合集成概率數據關聯遞歸的計算航跡質量,并通過濾波優化來減小噪聲的影響,利用交互式多模型濾波提高動態模型的匹配率。

周小鈞等[22]提出在復雜的交通環境中使用毫米波雷達實現對目標的跟蹤。在傳統聯合概率數據關聯算法的基礎上,通過測量汽車行駛軌跡和點跡之間的距離來確定關聯門閾值。將對算法影響較小的因素去除,同時在對目標的跟蹤過程中引入生命周期理論,結合卡爾曼濾波技術,采用常加速模型對目標的狀態進行估計。

Zhao Peijun等[23]提出使用毫米波雷達對多個行人進行跟蹤和識別。由毫米波雷達發射一個射頻信號,記錄這一信號在物體上的反射,計算點云的稀疏度,刪除點云中的靜態點。將單個點合并到集群中,檢測潛在的行人對象。使用多類對象跟蹤算法來跟蹤不同行人的軌跡,使用遞歸神經網絡從每個行人的連續軌跡數據中識別行人身份。這一方法的最大追蹤距離大于5.5 m,追蹤誤差小于0.16 m。

5 結束語

筆者對無人駕駛汽車環境感知技術進行研究,分析了無人駕駛汽車幾種常用環境感知技術的工作原理與研究現狀。無人駕駛汽車面臨的行駛環境具有非常大的不確定性,每類環境感知技術有各自的優點和不足。為了提高無人駕駛汽車的安全性和檢測的魯棒性,應強化多種環境感知技術的聯合使用,提高各類環境感知技術同時跟蹤監測多個目標的能力,利用卷積神經網絡等機器學習方法,增強無人駕駛汽車在十字路口、車道線磨損、非結構化道路等惡劣行駛環境中的安全性。