基于CNN算法的井下無人駕駛無軌膠輪車避障方法

宋秦中 胡華亮

(1.蘇州市職業大學機電工程學院,江蘇 蘇州 215104;2.蘇州漢特士視覺科技有限公司,江蘇 蘇州 215127)

在煤礦智能化建設的過程中,作為煤礦井下重要輔助運輸裝備無軌膠輪車正朝著無人駕駛方向發展。然而,煤礦井下作業環境惡劣,運輸任務重和巷道工況可能不斷發生變化,在無軌膠輪車無人駕駛過程中,必須具有從目前位置到目標之間不發生碰撞的路徑規劃,避障控制系統起到了關鍵作用。另外,由于井下彎道、路口的盲區較多,場景單一、照度低等因素會導致定位困難,井下網絡信號強度、礦區的行業標準和安全生產指標限制等也是避障控制器設計和開發必須考慮的問題[1-5]。因此,為了保證無人駕駛過程中避障控制的有效性和可靠性,避障控制方法的先進性和準確性顯得尤為重要。

避障控制的實質是局部路徑規劃問題,即部分甚至全部環境信息未知情況下的障礙物規避。局部路徑規劃中常用的有自適應預瞄路徑和風險評估方法。基于自適應預瞄路徑的避障控制方法采用多項式擬合法,根據障礙物跟蹤指標,結合粒子群優化算法進行參數尋優,實現跟蹤時預瞄路徑自適應調節[3];基于風險評估的避障控制方法則通過對各種障礙特征的分析,建立風險評估的數學模型,并將其納入無人駕駛無軌膠輪車動態特征的最優控制策略[4]。然而,上述兩種方法對井下有限空間影響的考慮不夠,實際運行中會導致無人駕駛無軌膠輪車頻繁轉向,不利于車輛安全穩定的運行。為了解決該問題,提出了基于卷積神經網絡的煤礦井下環境無人駕駛無軌膠輪車運動避障控制方法。聯合卷積神經網絡和攝像頭來處理車輛外界的復雜環境信息,相較于傳統的方法,能夠避免使用冗余的硬件設備,并且具有更好地適應復雜環境的能力,是一種新的可行方法[5-7]。

1 數據分析處理模型

對于井下環境障礙物測距,利用改進的卷積神經網絡繪制出了一張光柵地圖,能夠在一定時間內將車輛的位置和障礙物位置信息顯示出來。根據柵格圖形進行障礙識別,通過對礦井整體查詢與監控,識別障礙物定位結構。使用對數—正態分配方法,建立一個未知障礙物信號強度表達模型,得到障礙物與無人駕駛無軌膠輪車之間距離。

1.1 障礙物辨識

在辨識障礙方面,單純依靠無人駕駛車輛上的傳感器在一定的時間內采集到的原始圖像難以反映其動態特征,因此要對其進行精確定位,除了要對各種情況下的圖像數據進行全面研究外,對圖像辨識的實時性非常高。基于改進的卷積神經網絡是一種實時有效的方法,能夠對障礙物進行識別和分類[5-7]。通過改進卷積神經網絡的光柵地圖,能夠精確地顯示出特定時間內的周圍環境狀況,例如車輛的位置、障礙物的位置等。在避障體系中,可以將網格圖形作為最基本的環境模型,以網格圖形為依據,實現無人駕駛無軌膠輪車智能決策和路徑規劃。一般情況下,對于不可移動的障礙物,采用傳統的二維柵格圖效果更好,但是由于車輛在移動過程中主要是移動障礙,使用該方法無法精準識別障礙物。為此,提出了基于移動的柵格法表示車輛在不同時間點與障礙物之間的位置關系,選用三維障礙物柵格圖作為建模方法,構建無人駕駛無軌膠輪車周圍的三維空間模型,將其在某一時期內的空間分布情況用時間軸表示出來,從而能夠不斷地反映出運動特點,為下一步的操作和線路規劃提供依據[6-7]。

柵格法的基本思想是將所要辨識的周圍環境劃分為若干個同樣尺寸的小方塊,再將若干個小方塊組合后形成一個柵格,如圖1所示。

圖1 柵格法示意Fig.1 Schematic of grid method

由圖1可知,在地圖上柵格是用等級分割的。如果將一個柵格用M表示,那么就可以把所有的數據都儲存在某一塊地圖上,這樣就可以構建出一張完整的地圖,由此獲取所有需要記錄的數據。當柵格數值為1時,表示該柵格存在障礙物;當柵格數值為0時,表示該柵格不存在障礙物,由此能夠形成一幅能反映整體環境的網格圖。在一定的地域內,由無人駕駛無軌膠輪車來構建自己的地形圖數據庫,柵格的大小可以更準確地反映出周圍的情況,柵格的數據和特性會在一定時間內顯示出無人駕駛無軌膠輪車的移動軌跡。

1.2 障礙物距離計算

為了獲取無人駕駛無軌膠輪車與障礙物之間距離,設計了障礙物定位系統,如圖2所示。

該系統可以接收由車速傳感器和轉速儀采集器的無軌膠輪車的運行數據,再通過計算機進行快速計算,計算出車輛的運行狀態和速度,從而為障礙物精確定位奠定基礎[8-12]。系統包括一套以無線傳感器為基礎的有線網絡,系統節點包括普通節點、單鏈路節點和網關節點。其中,普通節點、單鏈路節點分別承擔了數據的收集與傳送功能,而網關節點則完成了有線和無線的轉接,以及CAN總線連接。

在此基礎上,采用多跳轉接的方法將監控信息傳遞給 Sink節點。無線傳感基站網最后與光纜主干網連接,將采集到的環境、定位等數據傳送到地面監測調度站進行統一控制。地面監測系統由數據庫和中心計算機組成,其功能是實時存儲、查詢、預警和決策,并對其進行實時監測和管理。在煤礦井下環境中,信號傳輸途徑和通道損失的函數遵循對數—正態分配模式,由此構建的模型為

式中,λ為當初始距離l0=1 m時的接收信號強度值;l為實際距離;a為衰減因子。隨著煤礦井下環境的不同,衰減因子也將發生改變。通過該公式可獲取某個未知障礙物的接收信號強度,進而得到該障礙物與無人駕駛無軌膠輪車之間的距離。

2 運動避障控制

對直線型、彎道型、路口型無人駕駛無軌膠輪車的行駛路線進行分析,并對3種不同的碰撞點進行預測。設計運動避障控制器,使無人駕駛無軌膠輪車按照避障規劃后的軌跡行駛。建立車輛的運動學方程,實現無人駕駛無軌膠輪車運動避障。

2.1 碰撞點預測

在井下環境無人駕駛無軌膠輪車運動避障控制過程中,需要對無人駕駛無軌膠輪車與障礙物的撞擊位置進行預測。由于靜止障礙物不會隨時間移動,避障控制相對簡單;而移動障礙物則會隨時間移動,從而使碰撞點具有非恒定性的,必須要對其運行軌跡進行預測,并通過三維柵格圖來確定碰撞點的具體方位[13-17]。根據井下環境無人駕駛無軌膠輪車運動路徑劃分,將碰撞點預測劃分成直線型、彎道型、路口型3種類型。

(1)直線型。直線型軌跡預測是將運動障礙物的移動方向,按照當前狀態將直線型軌跡看成一個線性方程。基于此,建立的直線型線性方程如下:

通過式(2)可獲取直線型軌跡。

(2)彎道型。彎道型預測是指在無人駕駛無軌膠輪車轉彎過程中,假設無人駕駛無軌膠輪車轉彎時車速不會改變,且與轉彎時的車行道線相匹配[18]。基于此,建立的彎道型代數方程如下:

式中,(x,y)為待求取障礙物坐標;(xa,ya)為障礙物位置坐標;va為運動速度;aa為加速度;t為時間;θ為障礙物與x軸方向夾角。通過式(3)可獲取彎道型軌跡。

(3)路口型。路口型軌跡預測是指在交叉口通過路徑預測,對將要行進的路口進行篩選,通過無人駕駛無軌膠輪車當前運動方向與該路段之間角度,確定路口障礙物位置。基于此,建立的路口型代數方程如下:

通過式(4)可獲取路口型軌跡。

在這3種車道碰撞點預測過程中,需要對曲線擬合,以防止車輛側向偏離隨著時間的變化而增加。因此,在整個跟蹤預測時域內,為了確保無人駕駛無軌膠輪車的運動、避障規劃曲線的平滑,必須在與障礙物保持一定的距離后立即執行避障指令,并對預測時域的權重進行再設計。

2.2 避障控制器設計

在無人車自主行駛避障時,傳感器根據數據處理分析模型獲得障礙物相關信息,經數據分析模型處理后得到障礙物與無人駕駛無軌膠輪車之間距離,依據此輸出結果控制無人車安全避障。為了實現無人駕駛無軌膠輪車的避障性能,設計的運動避障控制器系統框圖如圖3所示。

圖3 避障控制器結構框圖Fig.3 Block diagram of obstacle avoidance controller structure

由圖3可知,無人車避障的本質就是通過對車輛與障礙物的距離、位置進行判定,并通過計算得出障礙物與無人駕駛車輛的距離,對障礙物的運動軌跡進行預測,實現自動控制車輛的車速和方向,以達到安全避障的目的。在此過程中,通過GPS系統采集無人車的位置信息,并依據地圖進行路徑定位,再由雷達來獲得無人駕駛車輛附近的障礙物,由攝像機采集車輛周邊的影像,由紅外傳感器進行障礙物屬性識別[18-20]。

由無人駕駛無軌膠輪車的空間運動模型,以x軸方向為例,推導出無人駕駛無軌膠輪車運動學方程為

式中,ra為參考軌跡曲線半徑;ex為無人駕駛無軌膠輪車航向角;ξa為與x軸方向偏差距離。

由車輛運動學方程,求解沿參考軌跡行駛的車輛速度為

以ξ表示參考軌跡航向角,橫向位置偏差為

則橫向航向偏差時間導數可表示為

通常采用曲面坐標系統時,必須保證基準軌跡光滑。假設無人駕駛無軌膠輪車在t時刻規劃的避障軌跡預測時域為St,對該部分時域內車輛行駛情況進行分析,并將無人駕駛無軌膠輪車的姿態、靜態障礙物的位置信息轉化為曲線坐標。沿參考路徑的x軸方向,使用Δx將x軸等距離離散化。通過分析各分立點的位置信息、車輛尺寸信息和巷道邊界情況,得出各分立點的側向偏移區間。假定在一定時間區間,障礙的側向誤差可以保持不變。由此,可以得到一個能夠避免障礙物的無人駕駛無軌膠輪車可通行安全界限。另外,在有效的安全間距中,應預留足夠的安全距離,以防止井下撞擊。

3 模型驗證與實驗分析

為了驗證井下環境無人駕駛無軌膠輪車運動避障控制方法避障性能,選擇防爆無人駕駛無軌膠輪車為實驗車輛原型,進行了仿真分析和實驗驗證,任務目標是驗證本研究方法是否能夠使車輛避開靜態或動態障礙物。以一款防爆無軌膠輪車為研究對象,建立車輛與井下巷道模型,利用CarSim與Matlab /Simulink結合車輛行駛狀態進行聯合仿真,驗證所設計的避障控制方法的可行性與有效性。

搭建了仿真實驗平臺:① 設置井下環境,忽略路面不平對車輛造成的影響,設置路面滑動摩擦因數為0.8;② 在雙移線道路上進行實驗研究,設定實驗工況車輛的正常行駛速度為4 m/s;③ 采用閉環換擋控制,仿真時長設置為100 s,仿真步長設置為0.001;④ 其中靜態障礙物主要為井下作業工具和凸起的大塊礦石,動態障礙物主要為作業人員。

3.1 模型訓練

卷積神經網絡訓練過程如圖4所示,具體步驟如下:① 通過對障礙物的精確識別,建立了障礙物的圖像庫;② 對VGG-16網絡進行了簡單的優化,從而獲得了適用于障礙物的卷積神經網絡;③ 采用3×3卷積校驗訓練樣本進行卷積運算,再將所獲得的特征圖按2×2域進行池化運算;④ 再進行學習,獲得網絡模型參數,最終獲得最優的網絡模型。

圖4 卷積神經網絡訓練過程Fig.4 Training process of convolutional neural network

通過生成式自監督學習方式,從所關心數據中訓練得到通用卷積神經網絡,并對同一數據上的不同任務進行微調。

3.2 模型驗證與分析

設置運行車道前方有兩個障礙物,將該障礙物分為靜態和動態2種情況,為了避免與障礙物發生碰撞,車輛行駛應采取相應控制操作。為了驗證設計方法的有效性,在給定理想軌跡的情況下,將設計方法與基于自適應預瞄路徑的避障控制方法和基于風險評估的避障控制方法進行對比分析。

(1)彎道車道前方障礙物。對于靜態障礙物,避障控制軌跡如圖5所示。由圖5可知,使用基于自適應預瞄路徑、風險評估的避障控制方法與理想軌跡沒有重合,使用本研究方法與理想軌跡部分重合。對于動態障礙物,避障控制軌跡如圖6所示。由圖6可知,彎道行駛時需要經過1個必經點,3種方法均與理想軌跡不重合,其中基于自適應預瞄路徑的避障控制方法控制軌跡長度最長,使用基于風險評估的避障控制方法容易與障礙物發生刮碰,使用本研究方法避障效果最好。

圖5 彎道車道避開靜態障礙物軌跡控制Fig.5 Control of static obstacle avoidance trajectory in curved lanes

圖6 彎道車道避開動態障礙物軌跡控制Fig.6 Control of dynamic obstacle avoidance trajectory in curved lanes

(2)直行車道前方障礙物。車輛直線前進,對于靜態障礙物,使用基于自適應預瞄路徑、風險評估的避障控制方法與理想軌跡沒有重合,且這2種方法控制軌跡長度略長;而使用本研究方法與理想軌跡部分完全重合,控制軌跡長度較短,在直行車道避開靜態障礙物軌跡控制能夠達到理想控制目的。對于動態障礙物,如圖7所示,在明確同一終點情況下,3種方法均與理想軌跡不重合,其中采取基于自適應預瞄路徑的避障控制方法路徑大幅度彎曲且距離最長,使用基于風險評估的避障控制方法相比于基于自適應預瞄路徑的避障控制方法路徑距離要短,但軌跡彎曲程度也相對較大,使用本研究方法與理想軌跡動態跟隨效果占優。

圖7 直行車道避開動態障礙物軌跡控制Fig.7 Control of dynamic obstacle avoidance trajectories in straight lanes

(3)路口前方障礙物。對于靜態障礙物,使用基于自適應預瞄路徑避障控制方法,雖然運動路徑最短,但容易與障礙物發生刮碰;使用基于風險評估的避障控制方法與理想軌跡沒有重合,且運動路徑最長;使用本研究方法與理想軌跡基本一致,且運動路徑相對較短。對于動態障礙物,如圖8所示,3種方法均與理想軌跡未重合,其中基于自適應預瞄路徑的避障控制方法出現與障礙物碰撞的現象,本研究方法運動趨勢基本一致,最為貼近。

圖8 路口避開動態障礙物的軌跡控制Fig.8 Control of dynamic obstacle avoidance trajectory at intersections

4 結 論

(1)受到井下有限空間的影響,無人駕駛無軌膠輪車避障控制器采用傳統方法時存在頻繁轉向、避障控制效果不佳的問題,為此提出了基于卷積神經網絡(CNN)的運動避障控制方法,設計了運動避障控制器,對直線型、彎道型、路口型的行駛路線進行分析和碰撞點預測,根據數據處理分析模型獲取障礙物相關信息及距離,采用設計的控制方法進行避障控制,使無人駕駛無軌膠輪車按照避障規劃后的軌跡行駛。

(2)針對傳統的卷積神經網絡存在訓練的參數數量多、參數不易學習到最優值、容易出現過擬合等問題,設計中對卷積神經網絡進行了改進,并結合光柵地圖,以網格圖形為依據,減少分析過程出現的過多參數,能夠實現無人駕駛無軌膠輪車行進過程中的對靜態或動態障礙物的有效預判,避免重復轉向。

(3)基于仿真平臺的對比驗證實驗顯示:采用設計的避障控制方法能夠為無人駕駛無軌膠輪車提供可靠的神經網絡結構,使無人駕駛無軌膠輪車能夠避開靜態或動態障礙物,實現井下無人駕駛車輛的有效避障,進而提高整個無人駕駛車輛導航系統的性能,保證了無人駕駛車輛安全、平穩運行。

(4)在實際應用過程中,考慮到外界動態環境影響,還需要從控制軌跡重新規劃角度出發,建立軌跡重新規劃層,結合避障控制器設計繞開障礙物的行駛軌跡。