周夢如,陳慧巖,熊光明,關海杰,劉慶霄
(北京理工大學 機械與車輛學院, 北京 100081)
環境感知技術是無人平臺中最重要的一環[1],道路的可通行性分析作為環境感知系統首先要解決的問題之一,為平臺提供了周圍環境的可通行性地圖,是后續駕駛決策和規劃控制的基礎[2]。然而,目前對道路可通行性的分析研究多針對路面平坦、道路邊界清晰的城市道路,對于越野環境,其路面屬性多,起伏程度不一,道路邊界不夠顯著,這些問題給道路的可通行性分析帶來了巨大挑戰。
針對越野環境的可通行性分析,目前的主流方案可以按照輸入分成基于點云的方案、基于圖像的方案和基于點云和圖像融合的方案。以點云為輸入的方案主要利用點云的幾何和拓撲信息檢測可通行區域,以構建環境局部地圖。袁夏等[3]以激光雷達點云作為輸入,基于最大熵的模糊模型和時空關聯分析對可通行區域進行了提取。劉忠澤等[4]則提出一種拓撲層次地圖,將整個地圖劃分為多個具有層級結構的三維體素子地圖,進而對環境的可通行性進行表示。這些方法大多通過環境的距離、幾何信息進行檢測,難以識別路面屬性,對于崎嶇地面、雜草元素不規則出現的越野環境準確度較差。
早期的相機圖像方法大多基于人工設計的圖像特征進行像素分類,隨著深度學習方法的興起,圖像語義分割研究逐步涌現。黃庭鴻等[5]對特征進行分區塊自適應加權融合,有效提高了實時語義分割精度。針對越野環境數據集數據量較少、場景單一、類別不平衡等缺點,遷移學習[6]、對比學習[7]等方法被應用于越野環境的語義分割任務。但一般的語義分割輸出在2D圖像空間中,缺乏對地面的幾何描述,在復雜的越野環境中平臺規劃控制需要更多信息[8]。
點云和圖像融合的方案綜合了點云的距離信息和圖像的色彩紋理信息。Chen等[9]提出了自適應的基于高度差的點云變換和級聯特征融合結構,在KITTI道路檢測數據集上取得了比較好的檢測效果,但主要針對的還是城市環境。Maturana等[10]構建了一個包含語義和幾何信息的2.5D柵格地圖,但其幾何特征僅包含地面高度,沒有考慮相鄰柵格的高度梯度關系。
目前深度學習方法通常具有能夠適應多種不同類型環境的優勢,但代價是需要大量的數據離線訓練。而關于越野地面幾何特征描述的點云數據集幾乎沒有,并且無法考慮數據與特定平臺的幾何通過性約束,所提取出的可通行區域無法給予規劃控制強引導作用。另外,對于復雜越野環境,僅依靠語義分割結果,準確度不高,對地面的幾何分析可以彌補分割不準確的缺陷。
本文提出一種由激光雷達和可見光相機作為傳感器的道路幾何通行性分析方法,基于圖像語義分割方法獲得道路表面屬性并大致劃分出可通行區域,提取三維點云特征描述地面幾何信息。在結合無人履帶平臺幾何通過性約束的基礎上,利用高斯混合聚類對道路的可通行性進行分類,并且采用3D可通行性柵格地圖對環境的可通行程度進行描述,同時利用相對定位信息不斷更新柵格地圖。通過實車試驗證明,本文提出的道路可通行性分析方法為無人履帶平臺理解復雜越野道路環境提供了良好的支撐,有利于平臺安全高效地自主導航。
本文旨在實現一種適用于復雜越野環境的道路可通行性分析系統。如圖1所示,該系統框架分為三個部分:可通行區域粗提取、道路可通行性分析以及可通行性地圖構建。基于拓撲路徑實時采集的可見光相機圖像和激光雷達點云共同作為該系統的輸入。
激光雷達點云探測距離準確,但缺少顏色紋理信息,且數據量較大。為了減少后續道路可通行性分析時點云量的輸入,加快算法運行速度,需要利用圖像語義分割結果獲取語義點云,完成可通行區域的粗提取。采用雙通道卷積神經網絡提取圖像特征,進行圖像像素級分類,并基于傳感器坐標系轉換關系將圖像語義分割結果轉化為語義點云,在考慮履帶平臺較強的通行能力和場景語義理解的基礎上進行可通行區域內點云的提取。
點云獲取關于路面屬性的語義信息后,還需要根據其幾何特征及平臺的通過性約束進一步對道路的可通行性進行分析。首先提取點云局部特征向量,用于描述道路的坡度、不平度等幾何信息。其次考慮道路的可通行程度與平臺幾何通過性約束的強耦合關系,分析履帶平臺在不同屬性道路上的縱向、橫向行駛及跨越垂直墻穩定性能。在此基礎上,利用高斯混合聚類將各類不同屬性道路進行可通行程度的分類。
針對可通行性地圖構建,采用3D可通行性柵格地圖對環境的可通行性進行表示,主要包括單幀地圖構建與多幀地圖融合兩個部分。單幀地圖構建基于貝葉斯核推理方法,將帶有類別語義和可通行性信息的點云進行三維柵格重建,獲取柵格的類別語義和可通行性概率。多幀地圖融合利用了激光雷達里程計的相對定位信息不斷更柵格占據狀態及語義和可通行性的估計。
考慮激光雷達點云探測距離準確與相機圖像色彩紋理信息豐富的特點,利用圖像進行可通行區域特征識別,獲取周圍環境語義標簽,并基于傳感器坐標系轉換關系將圖像識別結果賦予點云,最后通過語義映射區分出可通行區域,以實現可通行區域內點云的初步提取。
基于圖像進行可通行區域特征識別,需要在圖像上提取與可通行區域有關的特征。早期的圖像特征主要由人工設計特征描述子和特征提取方式。近年來,基于深度神經網絡的圖像特征提取展現出較強的特征自動提取能力和學習能力,并逐漸應用在圖像語義分割領域。
在語義分割任務中,由于需要在原始圖像空間對每個像素進行分類,為保持網絡性能的優越,需要盡可能地用到圖像的原始尺寸信息或高分辨率信息。一種方法是取消下采樣和相應的上采樣操作,以保持高分辨率的特征表示,如PSPNet[11]、Deeplabv3[12]等;另一種方法是利用編碼器-解碼器的結構來擴大特征圖尺寸,如Seg-Net[13]、HRNet[14]等。這兩類網絡都同時對低層細節和高層語義進行編碼,雖然它們達到了較高的精度,但大多數方法的推理速度很慢。
BiSeNet V2[15]則是一種雙邊分割架構,可以分別處理空間細節和分類語義,寬通道淺層數的細節分支用于捕獲低層細節并生成高分辨率的特征表示,窄通道深層數的語義分支用于獲取高層次語義語境,同時語義分支采用減少通道容量和快速下采樣的策略進行輕量化處理,以實現在分割精度和推理速度之間的良好權衡。
對于越野環境,影響無人平臺通行的環境因素主要包括土路、鋪面路、草地、灌木及其他障礙物。本文通過使用完整的BiSeNet V2網絡在數據集上訓練來提取圖像特征,以實現上述6種類別的像素級分類。由于BiSeNet V2包含了一種增強訓練策略,損失函數采用1個主損失函數和4個輔助損失函數組合的形式,5個損失函數均定義為逐像素的交叉熵損失函數:
(1)
式中:W、H分別為圖像的寬和高;N為分類的類別數;Iij為符號變量,當像素i的真實類別等于類別j時取1,否則為0;pij為像素i屬于類別j的概率。通過遍歷圖像上每個像素計算其分類的交叉熵損失,最終累加得到總的損失函數值。
為賦予點云關于路面屬性的語義信息,同時過濾無用點云,減少后續點云量的輸入,需要基于傳感器坐標系轉換關系將圖像分割結果轉化為語義點云,并通過語義映射大致提取可通行區域內點云。
(2)
(3)
式中:(u,v)為圖像像素坐標系中的像素坐標值;dx、dy分別表示單個像素在U軸、V軸方向上的物理尺寸;u0、v0表示由圖像物理坐標系原點到圖像像素坐標系原點的平移像素量;f為相機焦距;(xc,yc,zc)為相機坐標系中點Pc的坐標值。
從點云中篩選一定距離和高度范圍內的點投影到圖像原始像素上,投影后點的顏色設置為像素位置對應的類別顏色,并賦予同樣的分類信息,點云語義投影效果如圖2所示。圖2左側為原始點云,右側分別為原始圖像、圖像分割結果和點云投影結果,在圖像分割結果中,灰色代表鋪面路,淺綠色代表草地,深綠色代表灌木,紅色代表其他障礙物,藍色為背景。
獲取語義點云后,需要基于語義映射大致提取出可通行區域。考慮履帶平臺的通行能力較強,因此認為語義類別中的鋪面路、土路和草地均為可通行區域,即為可行駛道路,灌木和其他障礙物為不可通行區域。對于不可通行區域的點云,直接賦予不可通行屬性,后續只對可通行區域的點云進行特征分析。
在復雜的越野環境中,道路起伏較大,多有縱坡、橫坡等,且松軟的泥土導致路面車轍多且深,平整度較差。場景語義信息輸出在二維圖像空間中,缺乏對地面的幾何描述,因此在獲取路面屬性信息后,還需要根據三維點云的幾何特征及平臺的幾何通過性約束,進一步對道路的可通行性進行分析。
為描述道路的幾何特征,在Bellone等[16]的啟發下提出了不均勻點局部描述符的概念,全面描述點云中每個點相關聯的潛在幾何信息,用于分析坡道、溝壑等復雜場景。另外,不均勻點局部描述符的估計不僅考慮了鄰域內點的幾何性質,還間接考慮了各鄰域點的鄰域內點幾何性質,提高了可通行性檢測的準確性和魯棒性。
考慮點云中一查詢點Pq,其鄰域表示為Pq,m(m為鄰域內點的數量),則點Pq的局部描述符定義為U(Pq,Pq,m)={nq,x,nq,y,nq,z,lq,m},其中各元素的定義如(4)式和(5)式所示:
(4)
(5)
式中:nk(k=1,2,…,m)為各點的法向量,可通過計算鄰域點構建的協方差矩陣的最小特征值對應的特征向量得到;x、y、z分別為車體水平坐標系三軸的單位向量,車體水平坐標系OXYZ為車體坐標系O′X′Y′Z′經平臺俯仰角和側傾角修正后得到,平臺向右為X′軸正方向,正前方為Y′軸正方向,向上為Z′軸正方向,示意圖如圖3所示。通過將查詢點鄰域內點的法向量求和得到nq,m,提供了局部表面的全局方向信息,而lq,m則評估了局部的粗糙程度,可以解釋為局部的負不平度指數。
在不均勻點局部描述符的基礎上,進一步提取點云的局部特征向量Fq={fq,1,fq,2,fq,3}。各特征具體解釋如下:
·fq,1:查詢點及其鄰域點的法向量矢量和的模的均值,可以表示道路的不平度信息。
fq,1=lq,m
(6)
·fq,2:查詢點及其鄰域點的法向量矢量和在車體水平坐標系OXY平面投影與Z軸的夾角,表示縱坡坡度。
(7)
·fq,3:查詢點及其鄰域點的法向量矢量和在車體水平坐標系OXZ平面投影與Z軸的夾角,表示橫坡坡度。
(8)
道路的可通行程度與履帶平臺的幾何通過性具有強耦合關系,因此需要考慮平臺的縱坡行駛能力、橫坡行駛能力及跨越垂直墻的能力,即在縱坡、橫坡及垂直墻上行駛時不發生傾覆或滑動的穩定性能[17],本文僅考慮平臺在等速直線行駛時的幾何通過性問題。
3.2.1 平臺縱向通過性分析
平臺縱向受力簡圖如圖4所示。圖4中,v表示平臺運動方向,lf為前負重輪著地點到平臺質心距離,L為履帶接地長度,G為平臺重力,αu為縱坡上坡角,αd為縱坡下坡角,hg為平臺質心高度。平臺的縱向上坡穩定角、下坡穩定角分別為
αu,max=min(αu,1,αu,2,α′)
(9)
αd,max=min(αd,1,αd,2,α′)
(10)

另外,不同尺寸大小的平臺對縱坡的連續長度應該有不同的定義,在本文中認為縱坡長度應大于等于履帶接地長度。
3.2.2 平臺橫向通過性分析
平臺橫向受力簡圖如圖5所示。圖5中,β為橫坡角度,B為履帶中心距,b為履帶接地寬度,e為質心偏離縱向平面的距離,Fz1、Fz2為地面垂向反作用力,Fy1、Fy2為地面橫向反作用力。
其橫向穩定角βmax可由(11)式得到:
βmax=min(β,β′)
(11)
不同尺寸大小的平臺對橫坡的寬度應該也有不同的考慮,在本文中認為橫坡寬度應大于等于履帶中心距。
3.2.3 平臺跨越垂直墻通過性分析
履帶平臺跨越垂直墻時,分為前段履帶接觸壁緣、前端負重輪升上壁緣、重心前進至與垂直壁緣線重合的位置以及平緩地與垂直壁的頂部平面接觸4個階段。平臺能跨越的垂直墻最高高度主要與第1和第3階段有關。第1和第3階段的受力簡圖如圖6所示。圖6中,hd為主動輪中心離地距離,rd為主動輪半徑,H1=hd-rd為第一階段垂直墻最大高度,H2=(L-lf-hgtanδ)sinδ為第三階段垂直墻最大高度,δ為此時履帶傾斜角,δ≤αu,max。
平臺能跨越的垂直墻最高高度為
Hmax=min(H1,H2)
(12)
當繼續增大垂直墻高度時,平臺重心始終無法與垂直壁緣線重合,即無法通過該垂直墻。
為描述道路的可通行程度,可以將各類不同屬性道路按照其地面幾何特點劃分為5個等級,分別為容易通行、較難通行、困難通行、不可通行和未知通行。容易通行為道路較平坦區域;較難通行為存在緩坡或地面不平度較差區域;困難通行為存在可通行陡坡或可通行垂直墻區域;不可通行為超過平臺通過性約束的區域;未知通行為距離車體較遠或點云局部密度過于稀疏的區域。
高斯混合模型(GMM)是一種常用的無監督聚類方法,其采用概率模型來表達聚類原型,可以擬合出任意形狀的數據分布。由于GMM并不是通過硬截斷進行分割類別,而是估計每個樣本點屬于各類別的概率,因此相比于k-Means算法,其魯棒性更好,更適用于數據分布不均勻且各類數據間有相關關系的情況下。
本文針對上述提取得到的點云特征,利用履帶平臺的幾何通過性約束、點云語義信息和點云局部密度對數據進行過濾,即不滿足平臺幾何通過性約束的點云直接賦予不可通行屬性,局部密度稀疏的點云直接賦予未知屬性。由于點云各特征值取值范圍相差較大,在離線訓練前,可先對特征值進行均值歸一化處理。對于處理后的點云,利用GMM進行多元聚類,得到容易通行、較難通行和困難通行三類可通行度標簽。GMM的概率密度函數可以表示為
(13)
式中:Fq為點云特征向量;K為可通行度標簽數目;ai為各高斯分量的先驗概率值;g(Fq|μi,Σi)為高斯模型概率密度函數,
g(Fq|μi,Σi)=

(14)
n為變量Fq的數據維度,μi、Σi為各高斯分量的均值向量和協方差矩陣。
利用EM算法對模型進行訓練,可得到不同屬性路面的GMM,其參數即為所求的ai、μi、Σi,語義標簽為d的點云中第i個點的聚類標簽可以表示為
(15)
利用訓練得到的GMM,便可以結合點云特征和履帶平臺的幾何通過性約束分析各類型路面的可通行性,具體流程如算法1所示。
算法1 道路可通行性分析算法
1.For點云各點Pido
2. 計算Pi到車體中心的距離li
3. 計算Pi鄰域內點數mi
4. ifli≤距離閾值且mi≥點數閾值then
5. 根據(4)式、(5)式計算Pi的局部描述符
6. 根據(6)式~(8)式計算Pi特征向量
7. elsePi為未知屬性
8.End for
9.For篩選距離和密度后點云各點Pjdo
10. iffq,2<-αu,max或fq,2>αd,maxthen
11. 計算Y軸方向同樣滿足該約束的點最大縱向距離差值Yj
12. 計算Z軸方向同樣滿足該約束的點最大縱向距離差值Zj
13. ifYj≥縱坡長度閾值 或Zj≥Hmaxthen
14.Pj為不可通行屬性
15. if|fq,3|>βmaxthen
16. 計算X軸方向同樣滿足該約束的點最大橫向距離差值Xi
17. 計算Z軸方向同樣滿足該約束的點最大縱向距離差值Zj
18. ifXi≥橫坡寬度閾值 或Zj≥Hmaxthen
19.Pj為不可通行屬性
20. ifPj未賦屬性then
21.Pj特征值進行均值歸一化處理
22. 提取處理后特征值作為GMM輸入進行實時預測
23.End for
在無人履帶平臺架構中,感知模塊與后續決策、規劃模塊之間的信息交互往往需要通過地圖這一層模塊。因此,本文結合對環境的語義分割結果和道路的可通行性分析,構建包含道路屬性和地面幾何信息的3D可通行性柵格地圖。
3D可通行性柵格地圖構建包含單幀地圖構建與多幀地圖融合兩個部分。首先將帶有類別語義和可通行性信息的點云進行三維重建,獲取柵格的類別語義概率和可通行性概率;然后通過激光里程計提供的位姿,將新的數據轉換并匹配到已有的地圖中,并對這部分地圖根據新的檢測結果進行概率更新。
相比2D、2.5D柵格地圖,使用3D柵格地圖要占用更多的存儲資源,并且地圖的更新、擴展也具有更高的復雜度。為提高效率,使用基于八叉樹的數據結構管理地圖數據。由于激光雷達點云是離散且稀疏的,直接用其柵格化的結果建立地圖,會使得地圖表達十分稀疏。本文使用基于貝葉斯核推理的柵格屬性推理,對柵格語義和可通行性屬性的分布進行建模,從而進行部分鄰近柵格屬性的推理,以實現連續化稠密化的三維建圖[18]。

(16)

為提高柵格屬性推理的準確性,需要同時考慮柵格本身概率分布和柵格之間的相互聯系。基于貝葉斯核推理的框架,滿足KL散度DKL(g‖f)的最大熵分布g,具有形式g(y)∝f(y)k(x*,x),k(x*,x)為核函數。設g為擴展似然函數p(ci|λ*,xi,x*),f為似然函數p(ci|λ*),x*為待求的空間中一點,λ*為點x*的類別概率,則可以在這兩個分布上定義有界的KL散度的語義類別平滑分布,即
(17)
根據貝葉斯定理,可以得到
p(λ*|x*,ζ)∝p(ζ|λ*,x*)p(λ*|x*)
(18)
將(17)式代入(18)式,可得
(19)
由于假設λ*服從狄利克雷分布Dir(N,α0),且采用類別分布似然函數,(19)式可以進一步寫為
p(λ*|x*,ζ)∝


(20)
因此p(λ*|x*,ζ)與后驗狄利克雷分布Dir(N,α0)呈比例,(20)式通過平滑約束項對本柵格和鄰近柵格建立聯系,有利于推理結果更加準確。
為提高道路檢測結果的穩定性,需要利用多傳感器融合激光里程計[19]提供的位姿信息,對數據進行坐標轉換,并基于概率更新的方式融合多幀數據,實現地圖的在線更新。考慮到多幀融合會帶來較大的計算量,可以限制融合幀數。
4.2.1 地圖數據轉換
以建圖時的第1幀數據對應的位姿為基準坐標系,之后的新數據利用坐標變換即可轉換到該坐標系下。設第1幀數據的里程計輸出位姿對應的齊次變換矩陣為T0,第i幀數據的里程計輸出位姿對應的齊次變換矩陣為Ti,對第i幀數據中的坐標應用該變換:
(21)
利用(21)式即可在已有地圖中更新或擴展地圖。
4.2.2 地圖概率更新
常用的占據柵格概率更新方式有貝葉斯更新方法、計數傳感器模型方法等。貝葉斯更新方法對柵格占據狀態的變化響應快,而計數傳感器模型方法更擅長描述柵格多個狀態的概率[20]。因此本文采用貝葉斯更新方法更新柵格占據概率,采用計數傳感器模型方法更新柵格語義及可通行性信息。
對于占據概率,在任意數據采集時刻t,根據貝葉斯定理對第i個柵格的占據概率值進行更新:
L(mi|z1:t)=L(mi|zt)-L(mi)+L(mi|z1:t-1)
(22)
式中:mi為柵格i的占據狀態;zt為當前時刻t對環境的觀測;z1:t為從初始時刻到當前時刻t對環境的觀測;符號L代表一種logOdds表達式:
(23)
通過設置L(mi|z1:t)的閾值,可以判斷柵格是否被占據。對于占據概率低于閾值的柵格,認為其未被占據,其語義類別及可通行性概率無需再維護。
對于語義類別,令柵格i的類別為ci,其觀測到屬于語義類別n(n=1,…,N)的次數為ki,則其屬于n的概率為
(24)
再對各類別概率進行歸一化:
(25)
對于可通行性以同樣的方式進行概率更新:
(26)
(27)
式中:ti為柵格i的可通行類別;li為觀測到屬于類別m(m=1,…,M)的次數。可通行類別為未知屬性的柵格,通常為距離較遠或點云非常稀疏區域,此時點云對地面的描述并不可靠,因此對此區域的柵格也不進行維護。
對本文提出的道路可通行性分析系統進行實車驗證,所用試驗平臺為北京理工大學智能車輛研究所自行研制的無人履帶平臺,具體參數如表1所示。平臺上配備了64線激光雷達、可見光相機等感知類傳感器和GPS接收器、慣性導航系統等定位導航類傳感器,如圖7所示。

表1 平臺參數表
為滿足算法的實時性要求,平臺搭載的工控機處理器型號為八核八線程的Intel Core i7-9700,GPU型號為Nvidia RTX 2080,同時該工控機含有32 G內存,運行Ubuntu 16.04操作系統以及基于ROS(Robot Operating System)的無人駕駛軟件框架。
試驗地點選擇在河北省石家莊市包含鄉間鋪面路、越野土路等場景的某試驗場地,其環境元素和地形條件都比較復雜,存在很多崎嶇或者難分辨的路面類型。
本文針對實際場地,構建相機與激光雷達傳感器數據集共1 083張,作為語義分割方法的訓練與測試評估工具。圖8為部分標注后圖像示意圖,第1行為原始圖像,第2行為對應的標注,在標注中,灰色代表鋪面路,土黃色代表土路,淺綠色代表草地,深綠色代表灌木樹木,紅色代表其他障礙物,黑色代表背景。
通過各類別間均勻抽樣,取出2/3作為訓練數據練集,剩下1/3作為驗證數據集。在訓練集上對已在CityScapes數據集上預訓練的BiSeNet V2模型進行訓練調優,然后在驗證集上檢驗模型效果。表2列出了可通行的鋪面路、土路、草地3種類別的IoU和整體準確度評價指標mIoU,IoU和mIoU分別定義為

表2 語義分割模型試驗效果
(28)
(29)
式中:TP、FP、FN分別為真陽性樣本數目、假陽性樣本數目、假陰性樣本數目,這里的樣本是指單個像素點,而不是整張圖像。
為驗證本文算法的有效性,選擇橫坡、斜坡和草地3種代表性場景,分別采用基于點云相對高度差的二維柵格地圖方法[21]與本文提出的語義與幾何信息相結合的三維可通行性柵格地圖方法,進行無人駕駛試驗,并將兩種建圖方法下平臺的實際行駛結果進行對比分析。圖9為橫坡場景平臺行駛對比。
圖9(a)展示了道路右側有一橫坡的場景。圖9(e)為點云相對高度差方法建立的二維柵格地圖,其可通行性以二值化信息給出,黑色為不可通行的障礙物區,綠色圓點為規劃模塊提供的離散拓撲路徑。由于缺少對環境語義與地面幾何信息的引用,橫坡處被檢測為可行駛區域。本文所提方法的圖像語義分割結果、三維語義柵格地圖和三維可通行性柵格地圖分別如圖9(b)、圖9(c)和圖9(d)所示。在三維語義柵格地圖中,灌木、草地與土路被大致地區分開來。在三維可通行性柵格地圖中,基于語義分割結果和地面幾何信息,對不同屬性路面進行了可通行性分析,右側橫坡被分類為困難通行區域,如圖9(d)中的藍色圓圈區域,并且由于平臺前方道路有較深車轍印記,地面平整度較差,被分類為較難通行區域,如圖9(d)中的紫色圓圈區域。
圖9(f)為采用兩種不同建圖方法平臺的實際行駛速度與側傾角對比,其中,方法1代表基于點云相對高度差的二維柵格地圖方法,方法2代表本文提出的三維可通行性柵格地圖方法。由圖9(f)可以看到,兩次試驗的實際行駛速度大致相同,在方法1中,由于感知算法將右側斜坡草地識別為可行駛區域,同時拓撲路徑偏右,無人駕駛規控算法求解軌跡為從右側橫坡通過,因此平臺的側傾角在行駛至 15 m 左右時迅速下降到-17°,平臺起伏較大,而使用本文建圖方法,無人駕駛規控算法根據可通行性求解的軌跡基本在道路中間,平臺側傾角變化較小,行駛較為平穩。
圖10為縱坡場景平臺行駛對比。圖10(a)展示了道路前方有一縱坡的場景。圖10(e)為點云相對高度差方法建立的二維柵格地圖,除兩側較高的樹木被檢測為不可通行區域,其余均為可行駛區域,對于平坦路面和斜坡并沒有任何區分。本文所提方法的圖像語義分割結果、三維語義柵格地圖和三維可通行性柵格地圖分別如圖10(b)、圖10(c)和圖10(d)所示。由于通過語義分割可以直接判定兩側灌木為不可通行區域,大致劃分出可通行的土路和草地,大大減少了可通行性分析時的點云的輸入量。在三維可通行性柵格地圖中,前方縱坡被分類為困難通行區域,如圖10(d)中的藍色圓圈區域所示。
圖10(f)為采用兩種不同建圖方法平臺的實際行駛速度與俯仰角對比。由圖10可以看到,兩次試驗的初始行駛速度大致相同,在方法1中,由于感知算法沒有對地面幾何特征的識別能力,車速基本保持不變,而在本文建圖方法中,感知算法在預測到前方存在困難通行區域后,無人駕駛規控算法求解得到的速度遠低于拓撲路徑參考速度,因此在行駛至上坡前,平臺開始降速。
圖11為雜草交錯復雜場景平臺行駛對比。圖11(a)展示了土路與草地交錯且左側有一橫坡的復雜場景。圖11(e)為點云相對高度差方法建立的二維柵格地圖,從中可以看到在障礙物高度約束不足的場景下,該方法提取的可通行區域邊界并不明顯。本文所提方法的圖像語義分割結果、三維語義柵格地圖和三維可通行性柵格地圖分別如圖11(b)、圖11(c)和圖11(d)所示。在三維語義柵格地圖中,土路與草地區分的效果并不是太準確,但從可通行性的角度考慮,低矮草地與平坦土路均為容易通行區域。圖11(d)中藍色圓圈區域處的橫坡由于連續長度較長,且越往左側橫坡坡度越大,因此部分區域被分類為不可通行,部分被分類為困難通行。
圖11(f)為采用兩種不同建圖方法平臺的實際行駛速度與橫向偏差對比,其中,橫向偏差為實際行駛路徑與輸入拓撲路徑的橫向相差距離。由于道路邊界不清晰,規劃模塊提供的拓撲路徑偏離了中間平坦道路。由圖11可以看到,兩次試驗的行駛速度大致相同,在方法1中,感知算法未將左側橫坡識別為障礙物,故平臺大致沿著提供的拓撲路徑行駛,橫向偏差較小,導致平臺行駛到左側橫坡上;而使用本文建圖方法,無人駕駛規控算法根據可通行性求解的軌跡更偏向于平坦道路,即沿著中間道路行駛,因此橫向偏差在路徑長度為15~30 m時均較大。
通過對本文提出的道路可通行性分析方法進行大量測試,在輸入圖像寬高像素為640×480,點云過濾距離為20 m,限制融合幀數為80幀的情況下,圖像語義分割平均耗時為12 ms,從點云特征提取到獲得可通行性分析結果的平均耗時為63 ms,三維可通行性柵格地圖構建平均耗時為55 ms。
對于復雜越野環境,僅依靠圖像語義分割結果,準確度不高,且無法考慮平臺與環境的強耦合關系,因此需要結合三維點云的距離信息,對道路的可通行性進行分析。本文提出了一種基于相機與激光雷達融合的無人履帶平臺越野道路可通行性分析方法。得出主要結論如下:
1)算法通過雙通道卷積神經網絡進行圖像特征提取,獲得了環境語義信息;基于傳感器坐標系轉換關系和語義映射,大致提取出可通行區域內語義點云,減少了后續點云數據的處理量。
2)算法基于不均勻點描述符的概念,提取可通行區域的三維點云特征,提高了地面幾何描述的準確性和魯棒性。
3)算法利用高斯混合聚類,結合道路表面屬性、地面幾何特征及平臺的通過性約束,對道路可通行性進行分類,實現了對越野環境可通行程度的詳細描述。
4)算法基于激光里程計提供的位姿信息,在線更新3D可通行性柵格地圖,提高了檢測結果的穩定性,為復雜越野環境下的無人履帶平臺提供了詳盡的周邊環境描述模型。
5)算法通過相機與激光雷達融合檢測建立地圖,為無人平臺規劃控制模塊提供了良好的引導,使得平臺的規劃路徑與行駛速度更加合理,姿態更加平穩。