賴際舟,袁 誠(chéng),呂 品,劉建業(yè),何洪磊
(南京航空航天大學(xué)自動(dòng)化學(xué)院,南京 210016)
無(wú)人系統(tǒng)作為社會(huì)智能化水平提升的典型代表,是一種可在復(fù)雜環(huán)境下工作且具有自主定位、自主運(yùn)行、自主規(guī)劃能力的智能機(jī)器人,如無(wú)人車、無(wú)人機(jī)等。近年來(lái),無(wú)人系統(tǒng)在越來(lái)越多的行業(yè)中發(fā)揮了重要作用,如工廠自動(dòng)化、建筑、采礦、排險(xiǎn)、服務(wù)、農(nóng)業(yè)、太空探測(cè)以及軍事應(yīng)用等領(lǐng)域,可有效保障社會(huì)公共安全、提高社會(huì)生產(chǎn)效率、優(yōu)化工業(yè)智能化水平。
近年來(lái),無(wú)人系統(tǒng)的應(yīng)用及相關(guān)研究不斷深入,感知與導(dǎo)航作為其智能核心尤為受關(guān)注,美國(guó)國(guó)防部高級(jí)研究計(jì)劃局(Defense Advanced Resear-ch Projects Agency,DARPA)針對(duì)無(wú)人系統(tǒng)在環(huán)境感知和自主導(dǎo)航技術(shù)等方面投入了龐大的資金。2018年8月,美軍發(fā)布了《無(wú)人系統(tǒng)綜合路線圖(2017—2042)》,明確了無(wú)人系統(tǒng)需要著重提高感知及導(dǎo)航能力。同年,DARPA舉辦地下挑戰(zhàn)賽,在復(fù)雜無(wú)衛(wèi)星信號(hào)環(huán)境下探索無(wú)人系統(tǒng)的感知與導(dǎo)航能力,力求快速提升無(wú)人系統(tǒng)的智能化水平,DARPA希望上述計(jì)劃可以輔助美國(guó)在未來(lái)取得主導(dǎo)優(yōu)勢(shì)。國(guó)內(nèi)也十分重視此方面發(fā)展,2015年,國(guó)務(wù)院印發(fā)《中國(guó)制造2025》,要求提高無(wú)人系統(tǒng)的感知智能水平。2020年,中國(guó)科協(xié)[1]將“無(wú)人車如何實(shí)現(xiàn)在衛(wèi)星不可用條件下的高精度智能導(dǎo)航”列為十大工程技術(shù)難題之一。
隨著應(yīng)用需求的增加與細(xì)分,無(wú)人系統(tǒng)需要在一些室內(nèi)、地下、隧道、對(duì)抗干擾等復(fù)雜、隨機(jī)、多變的環(huán)境下進(jìn)行自主作業(yè),由于衛(wèi)星導(dǎo)航系統(tǒng)信號(hào)被遮擋或屏蔽,視覺(jué)和激光雷達(dá)等自主傳感器成為該環(huán)境下常用的自主感知與導(dǎo)航手段。
視覺(jué)傳感器可以感知環(huán)境中豐富的信息,且由于其體積較小、成本較低,在小型化無(wú)人系統(tǒng)上得到了廣泛應(yīng)用。以蘇黎世大學(xué)機(jī)器人感知團(tuán)隊(duì)(Robotics and Perception Group,RPG)、蘇黎世聯(lián)邦理工學(xué)院自主機(jī)器人團(tuán)隊(duì)(Autonomous Systems Lab,ASL)、德國(guó)慕尼黑工業(yè)大學(xué)機(jī)器視覺(jué)團(tuán)隊(duì)和香港科技大學(xué)空中機(jī)器人團(tuán)隊(duì)為代表,提出了豐富的不依賴衛(wèi)星的視覺(jué)感知及導(dǎo)航算法,并在室內(nèi)小型無(wú)人車、小型無(wú)人機(jī)等無(wú)人系統(tǒng)上進(jìn)行了驗(yàn)證與應(yīng)用。
激光雷達(dá)雖體積、功耗較大,但可以感知高精度的測(cè)距信息且不依賴外部光源,同樣在無(wú)人系統(tǒng)上得到了廣泛應(yīng)用。芝加哥大學(xué)豐田技術(shù)研究所、百度Apollo和谷歌Waymo等研究機(jī)構(gòu)已經(jīng)將其應(yīng)用于不依賴衛(wèi)星的無(wú)人車等無(wú)人系統(tǒng)的自主感知及導(dǎo)航。同時(shí),這些團(tuán)隊(duì)發(fā)布了EuRoC MAV、TUM RGB-D、KITTI等一系列包括真實(shí)參考值的數(shù)據(jù)集,對(duì)無(wú)人系統(tǒng)不依賴衛(wèi)星的導(dǎo)航以及感知技術(shù)提供了可靠的驗(yàn)證數(shù)據(jù)支持,降低了算法研究的硬件門(mén)檻,并為算法性能的比較提供了基準(zhǔn)。
如圖1所示,無(wú)人系統(tǒng)的視覺(jué)/激光雷達(dá)環(huán)境感知與自主導(dǎo)航技術(shù)一般可以分為感知信息獲取、里程計(jì)位姿估計(jì)、地圖匹配位姿估計(jì)和地圖構(gòu)建等模塊,為無(wú)人系統(tǒng)在自主執(zhí)行任務(wù)的過(guò)程中提供豐富的環(huán)境感知信息與自身準(zhǔn)確的位姿信息,各模塊包括不同的關(guān)鍵技術(shù)。

圖1 無(wú)人系統(tǒng)視覺(jué)/激光雷達(dá)感知與自主導(dǎo)航技術(shù)框架圖
本文以圖1框架圖為基礎(chǔ),分析了視覺(jué)/激光雷達(dá)感知與自主導(dǎo)航技術(shù)及其國(guó)內(nèi)外最新進(jìn)展,對(duì)算法性能進(jìn)行了評(píng)估和對(duì)比,并對(duì)其技術(shù)發(fā)展方向進(jìn)行了分析和總結(jié)。
在無(wú)人系統(tǒng)自主執(zhí)行任務(wù)的過(guò)程中,通過(guò)感知環(huán)境中的信息,可以為其提供可靠的決策數(shù)據(jù)基礎(chǔ)。無(wú)人系統(tǒng)通過(guò)深度估計(jì)建立感知傳感器與真實(shí)世界的尺度模型,使得感知信息可用于無(wú)人系統(tǒng)在真實(shí)世界的參考。通過(guò)目標(biāo)檢測(cè)技術(shù)可以獲得更豐富、高層次的環(huán)境語(yǔ)義信息,對(duì)環(huán)境信息進(jìn)行理解,可以提高無(wú)人系統(tǒng)的智能化水平。通過(guò)上述技術(shù),可以確保無(wú)人系統(tǒng)自主、可靠的完成預(yù)定任務(wù)。
如圖2所示,本節(jié)將基于視覺(jué)、激光雷達(dá)以及融合感知情況下的深度估計(jì)與目標(biāo)檢測(cè)技術(shù),具體闡述技術(shù)機(jī)理、優(yōu)缺點(diǎn)及應(yīng)用場(chǎng)景。

圖2 無(wú)人系統(tǒng)視覺(jué)/激光雷達(dá)感知技術(shù)框架圖
如圖3所示,深度信息在無(wú)人系統(tǒng)的感知中具有重要意義,機(jī)器人控制算法常使用深度信息來(lái)確定如何執(zhí)行任務(wù)。視覺(jué)傳感器與激光雷達(dá)都可以通過(guò)對(duì)深度進(jìn)行估計(jì)獲得點(diǎn)云信息。基于感知點(diǎn)云信息,通過(guò)迭代最近點(diǎn)(Iterative Closest Point,ICP)算法比較感知點(diǎn)云與地圖點(diǎn)云,可以實(shí)現(xiàn)無(wú)人系統(tǒng)的位姿估計(jì)。點(diǎn)云信息也可用于同步定位與地圖構(gòu)建(Simultaneous Localization and Mapping, SLAM)技術(shù),通過(guò)融合多個(gè)不同位置的感知點(diǎn)云,實(shí)現(xiàn)對(duì)整個(gè)環(huán)境完整地圖的構(gòu)建。這些算法的性能很大程度上依賴于輸入點(diǎn)云的深度信息質(zhì)量。深度估計(jì)可以基于硬件測(cè)量、幾何算法與深度學(xué)習(xí)理論,其各有特點(diǎn)。

圖3 室外深度估計(jì)圖
? 基于視覺(jué)的深度估計(jì)技術(shù)
在視覺(jué)傳感器深度估計(jì)方面,深度信息早期主要通過(guò)結(jié)構(gòu)光、飛行時(shí)間法(Time of Flight,ToF)等硬件技術(shù)直接獲得。此種方式獲得的深度范圍有限,根據(jù)M. Hansard等[2]的分析,此類相機(jī)在5m內(nèi)可以獲得較為精確的深度信息,雖然不依賴外部光源,但在外界光照強(qiáng)度大于100 lm時(shí),深度估計(jì)結(jié)果會(huì)產(chǎn)生較大誤差。同時(shí),此類相機(jī)無(wú)法處理外觀上涉及光干擾的物體,即黑色、透明和反射物體,因此在室內(nèi)或者特定外部環(huán)境中應(yīng)用較多。
伴隨硬件計(jì)算水平的提升,利用多目視覺(jué)幾何算法進(jìn)行深度估計(jì)成為近年來(lái)學(xué)者們研究的熱門(mén)課題。這種算法由于不依賴額外機(jī)械結(jié)構(gòu),可適用于室外光照良好、強(qiáng)烈等環(huán)境。基于視覺(jué)幾何原理的深度感知算法,通過(guò)雙目或多目之間成像的視差對(duì)深度信息進(jìn)行估計(jì),可以分為局部和全局的立體視覺(jué)視差計(jì)算方法。
局部方法主要包括基于區(qū)域的立體匹配與基于窗口的立體匹配方法,僅計(jì)算給定區(qū)域內(nèi)的視差,具有低計(jì)算復(fù)雜度與實(shí)時(shí)運(yùn)行的優(yōu)勢(shì)。為了進(jìn)一步降低算法的計(jì)算量,L.D.Stefano等[3]在匹配過(guò)程中利用唯一性約束,對(duì)常用的絕對(duì)誤差和算法(Sum of Absolute Differences,SAD)進(jìn)行改進(jìn),實(shí)現(xiàn)了快速實(shí)時(shí)可靠的區(qū)域深度估計(jì)。W.Lui等[4]在此基礎(chǔ)上實(shí)現(xiàn)了室外低算力機(jī)器人的自主深度感知。為了讓無(wú)人系統(tǒng)在多任務(wù)情況下能夠獲得更好的深度估計(jì)精度自適應(yīng)能力,S. Mattoccia等[5]建立了精度和實(shí)時(shí)性平衡策略,在算力限制的情況下可以獲得更優(yōu)的深度估計(jì)精度。
全局方法將視差計(jì)算視為最小化全局能量函數(shù)的問(wèn)題,可以實(shí)現(xiàn)對(duì)全局像素更高精度的深度估計(jì),但其計(jì)算量較大,不適用于實(shí)時(shí)系統(tǒng)。針對(duì)此問(wèn)題,H.Hirschmuller等[6]提出了半全局匹配 (Semi-Global Matching,SGM) 方法,利用基于互信息和全局平滑度約束近似像素匹配的全局匹配方法,將深度精確至亞像素等級(jí)的同時(shí),實(shí)現(xiàn)了實(shí)時(shí)計(jì)算,被廣泛應(yīng)用于低成本機(jī)器人的深度估計(jì)中。在相機(jī)深度估計(jì)硬件改進(jìn)上,利用雙目算法與結(jié)構(gòu)光原理組合的深度相機(jī)也成為了目前深度感知傳感器之一。隨著圖形處理器(Graphics Processing Unit,GPU)的應(yīng)用與算力的進(jìn)一步提升,利用深度學(xué)習(xí)技術(shù),可以通過(guò)雙目圖像甚至單目圖像實(shí)現(xiàn)實(shí)時(shí)全局深度估計(jì)。
? 基于激光雷達(dá)的深度估計(jì)技術(shù)
激光雷達(dá)傳感器通過(guò)主動(dòng)發(fā)射激光計(jì)算返回信號(hào),可以在室內(nèi)外場(chǎng)景對(duì)深度信息進(jìn)行準(zhǔn)確估計(jì)。現(xiàn)有激光雷達(dá)傳感器的測(cè)距方法可以分為三角測(cè)距法與ToF。三角測(cè)距法通過(guò)激光器發(fā)射激光,照射到物體后產(chǎn)生反射,反射光由線性電荷耦合器件(Charge Coupled Device,CCD)接收。由于激光器與探測(cè)器間隔一定距離,反射光依照光學(xué)路徑,不同距離的物體將會(huì)成像在CCD上不同的位置,依據(jù)三角公式對(duì)不同位置進(jìn)行計(jì)算,從而求出被測(cè)物體的深度信息。ToF則是通過(guò)激光器發(fā)射激光脈沖,由計(jì)時(shí)器記錄出射時(shí)間,回返激光脈沖經(jīng)接收器接收,并由計(jì)時(shí)器記錄返回時(shí)間。將出射時(shí)間與返回時(shí)間相減得到時(shí)間差,通過(guò)計(jì)算即可得到深度。
激光雷達(dá)目前存在點(diǎn)云較為稀疏的問(wèn)題,二維激光雷達(dá)僅可以發(fā)射一束激光感知深度信息,三維激光雷達(dá)通過(guò)在豎直方向上排布多束激光,從而可以感知更豐富的深度信息。為了追求更豐富的深度信息,固態(tài)激光雷達(dá)依靠波的反射接收來(lái)探測(cè)目標(biāo)特性,從而獲得更高密度的深度感知信息。
? 基于視覺(jué)/激光雷達(dá)融合的深度估計(jì)技術(shù)
僅依靠單一傳感器感知深度信息目前存在無(wú)法滿足無(wú)人系統(tǒng)對(duì)深度感知需求的問(wèn)題,因此激光雷達(dá)傳感器常與視覺(jué)傳感器融合互補(bǔ),應(yīng)用于無(wú)人系統(tǒng)的深度感知技術(shù)。例如百度Apollo無(wú)人車使用的Pandora[7]感知系統(tǒng),由1臺(tái)Pandar40激光雷達(dá)和5個(gè)環(huán)視攝像頭(4個(gè)黑白,1個(gè)彩色)組成的視覺(jué)感知模組組成,該感知系統(tǒng)通過(guò)硬件外部對(duì)齊,為無(wú)人系統(tǒng)提供可靠的深度信息;谷歌DeepLab在2020年提出的ViP[8]深度估計(jì)深度學(xué)習(xí)模型,利用視覺(jué)與激光雷達(dá)融合數(shù)據(jù),實(shí)現(xiàn)了目前在較多數(shù)據(jù)集上較高精度的深度估計(jì)。
本文以KITTI[9]Depth 2017數(shù)據(jù)集提供的視覺(jué)/激光雷達(dá)感知數(shù)據(jù)為基準(zhǔn),列出了目前較高精度的深度估計(jì)算法性能,如表1所示,主要以尺度不變對(duì)數(shù)誤差(Scale Invariant Log Error,SILE)的平方根進(jìn)行排序,并通過(guò)相對(duì)平方誤差(Relative Square Error,RSE)、相對(duì)絕對(duì)誤差(Relative Absolute Error,RAE)和反深度的均方根誤差(Inverse Root Mean Square Error,IRMSE)進(jìn)行全面對(duì)比。

表1 圖像深度估計(jì)方法性能對(duì)比(2021年1月)
可以看出,在深度估計(jì)方面,基于傳感器硬件深度估計(jì)如結(jié)構(gòu)光、ToF、三角法等,由于感知深度信息穩(wěn)定、可靠等特點(diǎn),更廣泛用于工業(yè)生產(chǎn)。但基于目前技術(shù)的傳感器硬件深度估計(jì)由于功耗和體積受限,無(wú)法在深度感知密度與深度感知距離上得到較好的平衡。在基于軟件算法的深度估計(jì)上,利用深度學(xué)習(xí)方法進(jìn)行深度信息估計(jì),相較于傳統(tǒng)模型匹配方法估計(jì)精度存在明顯的優(yōu)勢(shì),但此類方法需要依靠大量的數(shù)據(jù),且依賴較高的GPU計(jì)算能力,在復(fù)雜未知環(huán)境下的估計(jì)精度不太理想。
無(wú)人系統(tǒng)的目標(biāo)檢測(cè)是對(duì)感知信息進(jìn)行語(yǔ)義提取與場(chǎng)景理解。通過(guò)對(duì)場(chǎng)景中的車輛、人物、標(biāo)志等物體以及背景的識(shí)別理解,可以輔助無(wú)人系統(tǒng)進(jìn)行有目的的行動(dòng)。除此之外,提取的高級(jí)語(yǔ)義特征相對(duì)于傳統(tǒng)灰度相關(guān)的底層特征,對(duì)于光照變化、視角變化甚至部分遮擋情況下的抗擾性大大增強(qiáng),可以顯著提高無(wú)人系統(tǒng)的自主性。
? 基于人工特征的目標(biāo)檢測(cè)技術(shù)
目標(biāo)檢測(cè)技術(shù)的主要發(fā)展先后經(jīng)歷了人工特征檢測(cè)識(shí)別階段(2001年—2013年)和機(jī)器自主學(xué)習(xí)特征的目標(biāo)檢測(cè)階段(2013年至今)。在前期,對(duì)于目標(biāo)的檢測(cè)以及分析十分依賴人工特征的設(shè)計(jì),研究人員致力于提出更全面的特征描述方法,包括尺度不變特征轉(zhuǎn)換(Scale-Invariant Feature Transform,SIFT)、快速的圖像匹配算法與定向二進(jìn)制簡(jiǎn)單描述符(Oriented FAST and Rotated BRIEF,ORB)等特征,使得目標(biāo)檢測(cè)算法性能更為優(yōu)異。但由于算力限制,魯棒性與準(zhǔn)確性有時(shí)無(wú)法滿足實(shí)際應(yīng)用的需求。
? 基于機(jī)器自主學(xué)習(xí)特征的目標(biāo)檢測(cè)技術(shù)
隨著GPU硬件的推廣帶來(lái)的并行算力的提升,以G.E.Hinton等[15]在2012年提出的以Alex-Net為代表的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN),實(shí)現(xiàn)了識(shí)別準(zhǔn)確率以及魯棒性的大幅提升,將目標(biāo)檢測(cè)帶入新階段。后人在此基礎(chǔ)上提出了更深層的神經(jīng)網(wǎng)絡(luò)以及訓(xùn)練速度更快、檢測(cè)正確率更高的R-CNN[16]、fast R-CNN[17]、faster R-CNN[18]和mask R-CNN[19]等算法,但此類算法為兩步法,先檢測(cè)目標(biāo)在圖像中的位置,再對(duì)目標(biāo)進(jìn)行分類識(shí)別,還無(wú)法滿足無(wú)人系統(tǒng)的實(shí)時(shí)控制需求。以YOLO[20]算法為代表的一步法,把物體檢測(cè)問(wèn)題作為回歸問(wèn)題,用單個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了從輸入圖像直接預(yù)測(cè)物體位置和類別概率,大幅提高了檢測(cè)效率,使得無(wú)人系統(tǒng)實(shí)現(xiàn)了實(shí)時(shí)的目標(biāo)檢測(cè)與場(chǎng)景理解。
隨著無(wú)人系統(tǒng)應(yīng)用場(chǎng)景的拓展與三維激光雷達(dá)傳感器技術(shù)的成熟,基于二維圖像的目標(biāo)檢測(cè)有時(shí)無(wú)法滿足復(fù)雜環(huán)境下無(wú)人系統(tǒng)自主運(yùn)行的需求,需要基于三維目標(biāo)檢測(cè)的自主避障以及路徑規(guī)劃為無(wú)人系統(tǒng)提供更為可靠的輔助參考。但與二維圖像目標(biāo)檢測(cè)相比,三維目標(biāo)檢測(cè)需要更多參數(shù)描述檢測(cè)結(jié)果,更具挑戰(zhàn)性。三維目標(biāo)檢測(cè)主要包含三種方式:基于二維圖像的識(shí)別、基于激光雷達(dá)點(diǎn)云的識(shí)別和基于相機(jī)/激光雷達(dá)融合信息的識(shí)別。基于二維圖像的目標(biāo)檢測(cè)如圖4(a)所示,它在單目深度估計(jì)的基礎(chǔ)上,對(duì)場(chǎng)景中的目標(biāo)輪廓進(jìn)行估計(jì)。基于激光雷達(dá)點(diǎn)云的檢測(cè)方法主要為基于網(wǎng)格的方法,以蘋(píng)果公司提出的VoxelNet[21]架構(gòu)為代表,將點(diǎn)云細(xì)分為體素,進(jìn)行編碼以及特征提取與識(shí)別,輸出物體的類別概率以及外接邊框參數(shù)。基于相機(jī)/激光雷達(dá)融合信息的檢測(cè)如圖4(b)所示,基于多傳感器性能互補(bǔ)感知,利用二維圖像識(shí)別目標(biāo)并利用三維點(diǎn)云估計(jì)輪廓,可以檢測(cè)出較遠(yuǎn)距離的三維物體。

(a)圖像二維目標(biāo)檢測(cè)

(b)視覺(jué)/激光雷達(dá)混合三維目標(biāo)檢測(cè)圖4 目標(biāo)檢測(cè)示意圖[22]
本文以KITTI[9]Object 2012數(shù)據(jù)集提供的二維目標(biāo)檢測(cè)數(shù)據(jù)和KITTI Object 2017數(shù)據(jù)集提供的三維目標(biāo)檢測(cè)庫(kù)為基準(zhǔn),分別列出了目前一些較高精度目標(biāo)檢測(cè)算法的性能,如表2和表3所示。其中,汽車目標(biāo)以70%的重疊率作為識(shí)別成功基準(zhǔn),行人目標(biāo)則以50%的重疊率為基準(zhǔn)。并且根據(jù)數(shù)據(jù)集中目標(biāo)的大小以及遮擋程度,將檢測(cè)分為簡(jiǎn)單、普通與困難等級(jí),以普通作為排行標(biāo)準(zhǔn)。

表2 二維目標(biāo)檢測(cè)方法性能對(duì)比(2021年1月)

表3 三維目標(biāo)檢測(cè)方法性能對(duì)比(2021年1月)
可以看出,基于深度學(xué)習(xí)的目標(biāo)識(shí)別方法已經(jīng)在社會(huì)中廣泛應(yīng)用。目前在多數(shù)場(chǎng)景下,基于二維圖像的目標(biāo)檢測(cè)方法的準(zhǔn)確率已高于95%,在安防監(jiān)控、犯罪追蹤和國(guó)防中得到了積極應(yīng)用。但三維目標(biāo)檢測(cè)方法的準(zhǔn)確率仍存在較大的提升空間,二維圖像的三維目標(biāo)檢測(cè),雖然成本較低,但精度上與其余方式仍存在一定差距。受限于激光雷達(dá)點(diǎn)云密度,激光雷達(dá)三維目標(biāo)檢測(cè)方法對(duì)遠(yuǎn)距離物體的檢測(cè)性能較差。從方法性能對(duì)比表中可以看出,采用視覺(jué)/激光雷達(dá)融合三維目標(biāo)檢測(cè)方法,可能在多傳感器融合過(guò)程中引入新誤差,導(dǎo)致性能上略低于基于激光雷達(dá)點(diǎn)云的三維目標(biāo)檢測(cè)方法。
對(duì)感知信息進(jìn)行處理后,無(wú)人系統(tǒng)可利用處理后的信息進(jìn)行導(dǎo)航解算,獲取自身的位姿,以執(zhí)行預(yù)定的操作。無(wú)人系統(tǒng)的視覺(jué)/激光雷達(dá)導(dǎo)航按應(yīng)用場(chǎng)景可分為合作或非合作場(chǎng)景。在合作場(chǎng)景下,可以通過(guò)提前儲(chǔ)存的數(shù)據(jù)或地圖進(jìn)行導(dǎo)航解算,確保無(wú)人系統(tǒng)在已知的合作環(huán)境中保持較高的導(dǎo)航精度。在非合作場(chǎng)景下,無(wú)人系統(tǒng)則是自主地進(jìn)行導(dǎo)航解算,典型的方案有視覺(jué)、激光雷達(dá)及多信息融合SLAM技術(shù)。如圖5所示,本節(jié)將按應(yīng)用場(chǎng)景及具體導(dǎo)航算法的不同,根據(jù)不同傳感器類型,分別介紹涉及的導(dǎo)航關(guān)鍵技術(shù)。

圖5 無(wú)人系統(tǒng)視覺(jué)/激光雷達(dá)自主導(dǎo)航技術(shù)框架圖
合作場(chǎng)景中,視覺(jué)、激光雷達(dá)導(dǎo)航系統(tǒng)可以通過(guò)提前已知的數(shù)據(jù)庫(kù)或地圖信息,在無(wú)人系統(tǒng)執(zhí)行任務(wù)的過(guò)程中作為導(dǎo)航系統(tǒng)參考用于解算導(dǎo)航信息。
? 基于數(shù)據(jù)庫(kù)匹配的自主導(dǎo)航方法
基于數(shù)據(jù)庫(kù)匹配的自主導(dǎo)航方式主要為景象匹配方法,景象匹配一般通過(guò)自身搭載的視覺(jué)、激光雷達(dá)傳感器對(duì)自身環(huán)境進(jìn)行感知,通過(guò)匹配提前儲(chǔ)存的數(shù)據(jù)幀與當(dāng)前感知的數(shù)據(jù)幀,利用相同點(diǎn)關(guān)系求解出無(wú)人系統(tǒng)的位姿。研究人員主要通過(guò)尋找更魯棒的特征以及更精確的位姿計(jì)算方法以提高精度。Y.Wang等[33]針對(duì)傳統(tǒng)特征點(diǎn)匹配性能穩(wěn)定性較差的問(wèn)題,提出了基于最大類間方差算法的自適應(yīng)閾值匹配方法,提高了景象匹配中特征點(diǎn)的提取數(shù)量、穩(wěn)定性和最終匹配精度。
? 基于地圖匹配的自主導(dǎo)航方法
隨著先進(jìn)駕駛輔助系統(tǒng)(Advanced Driver Assistance Systems,ADAS)技術(shù)的廣泛使用與更新迭代,對(duì)于導(dǎo)航定位精度的需求也在逐步增加,傳統(tǒng)的景象匹配方式已經(jīng)無(wú)法滿足厘米級(jí)的定位需求。如圖6所示,地圖匹配尤其是高精度地圖匹配成為了無(wú)人系統(tǒng)的導(dǎo)航方法之一。高精度地圖[34]預(yù)先由載波相位實(shí)時(shí)動(dòng)態(tài)差分全球定位系統(tǒng) (Real-Time Kinematic Carrier Phase Differential Global Navigation Satellite System, RTK-GNSS)、激光雷達(dá)、視覺(jué)、里程計(jì)和慣性傳感器等組合構(gòu)建,精度一般優(yōu)于20cm,相對(duì)于傳統(tǒng)地圖有著更多維度的數(shù)據(jù),例如道路標(biāo)志物、車道線、道路形狀、坡度、曲率和航向等。更多維的數(shù)據(jù)也對(duì)無(wú)人系統(tǒng)在匹配時(shí)的技術(shù)提出了新的挑戰(zhàn),為了提高高精度地圖定位的精度與可靠性,在匹配特征方面,S.Ratz等[35]提出了一種基于激光雷達(dá)單次掃描的全局匹配方法,并利用定制神經(jīng)網(wǎng)絡(luò)的激光雷達(dá)/視覺(jué)段描述符提高了匹配的準(zhǔn)確性,定位誤差小于15cm。在位姿估計(jì)方面,R.Asghar等[36]將基于ICP的車道級(jí)地圖匹配和基于決策規(guī)則的拓?fù)涞貓D匹配相結(jié)合,實(shí)現(xiàn)了車輛速度60km/h下80cm的導(dǎo)航精度。多維數(shù)據(jù)也會(huì)帶來(lái)更大的存儲(chǔ)及搜索成本,為了提高在大范圍環(huán)境地圖中匹配的快速性,S.Garg等[37]基于視覺(jué)傳感器使用更短的代碼特征和相應(yīng)更長(zhǎng)的候選匹配,提出了連續(xù)數(shù)據(jù)哈希和反索引融合列表,提高了大數(shù)據(jù)場(chǎng)景庫(kù)下的匹配速度與正確率。為了應(yīng)對(duì)環(huán)境隨季節(jié)變化帶來(lái)的匹配錯(cuò)誤,H.Zhang等[38]提出了一種區(qū)分度匹配方法,將地標(biāo)的空間關(guān)系與它們的外觀相結(jié)合,實(shí)現(xiàn)了季節(jié)變化環(huán)境外貌改變下的地圖可靠匹配。

圖6 視覺(jué)與激光雷達(dá)地圖匹配示意圖
目前,合作環(huán)境下導(dǎo)航的研究已經(jīng)取得了一定進(jìn)展,在軍事、生產(chǎn)和運(yùn)輸方面已經(jīng)得到了一定應(yīng)用,但需要提前構(gòu)建海量數(shù)據(jù)庫(kù),在特征匹配方法、匹配速度及數(shù)據(jù)庫(kù)儲(chǔ)存技術(shù)上受到很多研究人員的關(guān)注。
非合作環(huán)境一般指無(wú)先驗(yàn)信息的環(huán)境,隨著相機(jī)/激光雷達(dá)傳感器技術(shù)的成熟與硬件平臺(tái)計(jì)算能力的增長(zhǎng),利用此類傳感器可以在非合作場(chǎng)景下進(jìn)行實(shí)時(shí)遞推導(dǎo)航。這類方法為無(wú)人系統(tǒng)的導(dǎo)航提供了全面的環(huán)境參考,支撐其更智能地自主執(zhí)行任務(wù)。此類方法可以分為里程計(jì)及地圖構(gòu)建技術(shù)。
視覺(jué)/激光雷達(dá)里程計(jì)技術(shù)通過(guò)連續(xù)感知無(wú)人系統(tǒng)周圍的環(huán)境信息,形成多幀數(shù)據(jù),并利用幀間的關(guān)聯(lián)性對(duì)載體的位姿進(jìn)行遞推估計(jì)。此類技術(shù)可以分為視覺(jué)里程計(jì)、激光雷達(dá)里程計(jì)以及多信息融合里程計(jì)技術(shù)。按融合算法的不同可以分為基于濾波的里程計(jì)、基于優(yōu)化的里程計(jì)與基于深度學(xué)習(xí)的里程計(jì)技術(shù)。
? 視覺(jué)里程計(jì)自主導(dǎo)航技術(shù)
視覺(jué)里程計(jì)(Visual Odometry,VO)利用攝像頭作為傳感器進(jìn)行感知獲得連續(xù)圖像數(shù)據(jù)幀,并通過(guò)匹配幀間像素關(guān)聯(lián)實(shí)現(xiàn)遞推導(dǎo)航,如圖7所示。VO按幀間的匹配方法不同可以分為間接法與直接法。間接法通過(guò)提取圖像內(nèi)具有一定不變性質(zhì)的特征點(diǎn)進(jìn)行前后幀匹配,如加速分割檢測(cè)特征[39](Features from Accelerated Segment Test,F(xiàn)AST)、ORB[40]和加速魯棒特征[41](Speeded Up Robust Features,SURF)等,通過(guò)特征點(diǎn)計(jì)算描述子的相似度進(jìn)行匹配;直接法則是利用圖像中的所有像素的梯度關(guān)系進(jìn)行匹配。特征點(diǎn)法在特征豐富的情況下對(duì)光照變化等影響具有更好的魯棒性。直接法基于光照不變的假設(shè),利用圖像中更多的冗余信息,可以獲得更高精度的位姿估計(jì)精度,適用于特征較稀疏的環(huán)境,且由于無(wú)需計(jì)算描述子,實(shí)時(shí)性也更佳。

圖7 視覺(jué)匹配位姿求解示意圖
在VO技術(shù)框架方面,早期VO技術(shù)是以A.J.Davison等[42]提出的MonoSLAM為代表的基于KF架構(gòu)的VO,特點(diǎn)是利用單線程進(jìn)行位姿估計(jì)以及地圖更新,但高維情況下復(fù)雜度較高,僅能在12個(gè)特征點(diǎn)數(shù)量左右實(shí)現(xiàn)實(shí)時(shí)跟蹤。目前的VO技術(shù)主要以G.Klein等[43]在并行跟蹤和構(gòu)圖(Parallel Tracking and Mapping,PTAM)中提出的位姿估計(jì)與構(gòu)圖并行雙線程優(yōu)化框架為代表,利用FAST作為特征點(diǎn)進(jìn)行匹配求解,采用5點(diǎn)法和隨機(jī)采樣一致外點(diǎn)剔除方法估計(jì)本質(zhì)矩陣,實(shí)現(xiàn)單目攝像頭特征點(diǎn)的深度估計(jì);同時(shí)利用非線性優(yōu)化算法進(jìn)行實(shí)時(shí)導(dǎo)航解算,這讓基于離線運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion,SfM)技術(shù)的光束平差法[44](Bundle Adjustment,BA)在VO中得到應(yīng)用,從而使精度得到了提升。J.Engel等[45]在此框架的基礎(chǔ)上提出了大范圍直接法單目SLAM(Large-Scale Direct Monocular SLAM,LSD-SLAM),利用圖像中的像素梯度信息與極線方向在稠密深度恢復(fù)中的角度關(guān)系,實(shí)現(xiàn)了移動(dòng)端處理器上的實(shí)時(shí)位姿估計(jì)與半稠密場(chǎng)景構(gòu)建。R.Mur-Artal等[46]在此框架的基礎(chǔ)上,改用ORB特征點(diǎn)加強(qiáng)魯棒性,并改進(jìn)深度初始化方法,無(wú)需場(chǎng)景平面假設(shè),同時(shí)加入了基于詞袋算法的回環(huán)檢測(cè)流程,提出了性能更好的ORB-SLAM算法。
但由于單目視覺(jué)成像過(guò)程中的深度信息丟失,且初始化的過(guò)程對(duì)載體的機(jī)動(dòng)性要求較高,較難推廣用于無(wú)人系統(tǒng)的導(dǎo)航。為了減少此限制的影響,J.Engel等[47]提出了利用雙目視覺(jué)的直接法Stereo LSD SLAM,R.Mur-Artal等[48]提出了利用雙目、深度視覺(jué)的特征點(diǎn)法ORB-SLAM2,通過(guò)雙目或深度相機(jī)直接獲取深度信息,無(wú)需復(fù)雜的初始化過(guò)程,可實(shí)現(xiàn)無(wú)人系統(tǒng)在多種環(huán)境中的應(yīng)用。C.Campos等[49]提出的ORB-SLAM3算法,將ORB-SLAM2拓展至魚(yú)眼鏡頭,以利用更豐富的環(huán)境信息,并將初始化過(guò)程加入優(yōu)化函數(shù)中進(jìn)行實(shí)時(shí)優(yōu)化;同時(shí)采用多子地圖算法,將累積遞推分割為多個(gè)子地圖,在場(chǎng)景重疊較多時(shí)進(jìn)行無(wú)縫融合,在所有算法階段重用所有先前信息,進(jìn)一步提高了導(dǎo)航解算精度。
深度學(xué)習(xí)也同樣被用于VO的位姿解算,B.Li等[50]利用場(chǎng)景中的文字語(yǔ)義信息輔助VO,將每個(gè)檢測(cè)到的文本視為一個(gè)平面特征與VO系統(tǒng)進(jìn)行緊組合,提高了VO系統(tǒng)的魯棒性。S.Wang等[51]提出了一種基于遞歸卷積神經(jīng)網(wǎng)絡(luò)的單目視覺(jué)端到端框架DeepVO,直接從圖像數(shù)據(jù)學(xué)習(xí)位姿變化,不考慮相機(jī)模型誤差等一系列參數(shù),實(shí)現(xiàn)了自身位姿的遞推估計(jì)。N.Yang等[52]提出了一種單目VO深度學(xué)習(xí)框架,同時(shí)利用自監(jiān)督深度網(wǎng)絡(luò)估計(jì)深度、姿態(tài)和不確定性,將其與傳統(tǒng)VO系統(tǒng)框架進(jìn)行緊組合,實(shí)現(xiàn)了較高的遞推精度。
? 激光雷達(dá)里程計(jì)自主導(dǎo)航技術(shù)
激光雷達(dá)測(cè)距誤差模型較為簡(jiǎn)單穩(wěn)定,測(cè)距范圍較廣,如圖8所示。激光雷達(dá)里程計(jì)(LiDAR Odometry,LO)可以通過(guò)較為精確的測(cè)距點(diǎn)云進(jìn)行點(diǎn)云匹配位姿解算,無(wú)需復(fù)雜的初始化尺度估計(jì)過(guò)程,目前在工業(yè)生產(chǎn)中得到了較為成熟的應(yīng)用,如掃地機(jī)器人、工業(yè)物流機(jī)器人等。

圖8 激光雷達(dá)點(diǎn)云匹配示意圖
LO可以分為基于二維激光雷達(dá)傳感器與三維激光雷達(dá)傳感器的導(dǎo)航技術(shù)。在二維激光雷達(dá)導(dǎo)航技術(shù)方面,在M.Montemerlo等[53]提出的Fast SLAM為代表的網(wǎng)格地圖基礎(chǔ)上,G.Grisettiyz等[54]提出了Gmapping是目前基于RB粒子濾波(Rao-Blackwellisation Partical Filter,RBPF)常用的算法,通過(guò)增加掃描匹配過(guò)程,提高了位姿估計(jì)精度。同樣基于掃描匹配過(guò)程,S.Kohlbrecher等[55]將其與慣性三維導(dǎo)航系統(tǒng)組合,提出了Hector SLAM,通過(guò)使用快速近似地圖梯度和多分辨率網(wǎng)格,提高了系統(tǒng)的魯棒性。為了進(jìn)一步提升LO系統(tǒng)的精度,基于位姿圖非線性優(yōu)化的方法被提出,如Karto SLAM[56]、Lago SLAM[57]和Cartographer[58]等,Cartographer同時(shí)還加入了子圖構(gòu)建和回環(huán)檢測(cè)等環(huán)節(jié),提高了算法的整體魯棒性。
三維激光雷達(dá)導(dǎo)航技術(shù)方面,更豐富的感知點(diǎn)云數(shù)據(jù)為更高精度與魯棒性的導(dǎo)航算法奠定了基礎(chǔ),J.Zhang等[59]提出的LOAM將位姿遞推與優(yōu)化分為并行線程,遞推線程以高頻率但較低精度進(jìn)行位姿遞推估計(jì),以確保三維激光雷達(dá)的解算速度;優(yōu)化線程以較低的頻率運(yùn)行,用于點(diǎn)云的精細(xì)匹配和配準(zhǔn),提高了定位性能。以LOAM為基礎(chǔ),T.Shan等[60]提出了LeGO-LOAM,增加了特征分割模塊,將地面進(jìn)行分割作為單獨(dú)約束,在減少計(jì)算量的同時(shí)提高了動(dòng)態(tài)環(huán)境下的穩(wěn)定性。為了提高LO系統(tǒng)的適應(yīng)性,J.E.Deschaud[61]提出了IMLS-SLAM,利用隱式移動(dòng)最小二乘算法對(duì)環(huán)境地面區(qū)域進(jìn)行提取,隨后對(duì)剩下點(diǎn)云聚類,并剔除小尺寸的聚類點(diǎn),利用掃描點(diǎn)與模型進(jìn)行匹配,實(shí)現(xiàn)了復(fù)雜城市環(huán)境下的高精度遞推導(dǎo)航,但由于地圖需要持續(xù)全局更新,實(shí)時(shí)性較差。
新類型的激光雷達(dá)傳感器也催生了不同的算法,J.Lin等[62]提出的Loam_livox針對(duì)固態(tài)激光雷達(dá)如Livox的小視場(chǎng)和不規(guī)則采樣的點(diǎn)云特性,設(shè)計(jì)了一種魯棒的實(shí)時(shí)導(dǎo)航算法。深度學(xué)習(xí)的方法也被應(yīng)用于LO系統(tǒng),如LO-net[63]、Deeppco[64]等,用于估計(jì)載體的位姿變化。
與視覺(jué)受限于無(wú)法給出可靠的尺度估計(jì)相同,激光雷達(dá)存在點(diǎn)云數(shù)量較少、頻率較低等問(wèn)題,J.Zhang等[65]提出了V-LOAM,利用視覺(jué)較高頻率60Hz進(jìn)行粗匹配,激光雷達(dá)1Hz進(jìn)行精匹配,將像素與點(diǎn)云深度進(jìn)行關(guān)聯(lián)以消除尺度不確定性,實(shí)現(xiàn)了無(wú)人系統(tǒng)上0.54%的導(dǎo)航精度。
多傳感器融合里程計(jì)技術(shù)由于可以利用異類傳感器進(jìn)行優(yōu)勢(shì)互補(bǔ),受到廣泛關(guān)注。T.Qin等[66]提出了VINS-Fusion,通過(guò)慣性傳感器感知估計(jì)視覺(jué)尺度,同時(shí)利用重力信息估計(jì)兩自由度姿態(tài)角,降低了后端估計(jì)消耗,同時(shí)慣性的高頻率性能也讓其可直接用于無(wú)人系統(tǒng)的控制輸入。慣性傳感器也可以提高激光雷達(dá)的魯棒性,C.Qin等[67]提出了LINS算法,通過(guò)迭代誤差狀態(tài)卡爾曼濾波器緊組合慣性與激光雷達(dá)數(shù)據(jù),使得無(wú)人系統(tǒng)在具有挑戰(zhàn)性的環(huán)境(如無(wú)特征場(chǎng)景)中實(shí)現(xiàn)魯棒和高效的導(dǎo)航。X.Ding等[68]將慣性和激光雷達(dá)強(qiáng)度信息整合到基于占用網(wǎng)格的激光雷達(dá)里程測(cè)量中,提出了環(huán)境變化檢測(cè)方法,通過(guò)對(duì)地圖的增量更新,實(shí)現(xiàn)了在動(dòng)態(tài)變化的城市場(chǎng)景下的準(zhǔn)確導(dǎo)航。
此外,多傳感器融合里程計(jì)技術(shù)使得無(wú)人系統(tǒng)可以在更惡劣的野外非結(jié)構(gòu)化環(huán)境中進(jìn)行作業(yè),相比傳統(tǒng)結(jié)構(gòu)化環(huán)境中豐富的特征點(diǎn)以及明顯的幾何特征,野外非結(jié)構(gòu)化環(huán)境對(duì)無(wú)人系統(tǒng)環(huán)境感知能力提出了更嚴(yán)格的要求。Y.Yue等[69]提出了一種基于視覺(jué)/激光雷達(dá)多模態(tài)環(huán)境感知的動(dòng)態(tài)協(xié)同映射方法,使得無(wú)人系統(tǒng)可以長(zhǎng)期在包括日夜變化的野外非結(jié)構(gòu)化環(huán)境中進(jìn)行魯棒定位。D.Wisth等[70]提出了一種多模態(tài)視覺(jué)/激光雷達(dá)/慣性緊組合導(dǎo)航方法,利用視覺(jué)像素信息與激光雷達(dá)深度信息融合感知,實(shí)現(xiàn)了在DARPA地下挑戰(zhàn)賽非結(jié)構(gòu)化洞穴環(huán)境內(nèi)的無(wú)人車魯棒自主導(dǎo)航。P.Burger等[71]提出了在非結(jié)構(gòu)化環(huán)境中基于B曲線的激光雷達(dá)道路分割方法,并利用無(wú)跡卡爾曼濾波進(jìn)行預(yù)測(cè)跟蹤,通過(guò)將道路信息加入后端圖優(yōu)化框架進(jìn)行位姿估計(jì),實(shí)現(xiàn)了無(wú)人車在野外非結(jié)構(gòu)環(huán)境中的自主運(yùn)行與道路建模。
本文以KITTI Odometry 2012數(shù)據(jù)集提供的慣性/視覺(jué)/激光雷達(dá)感知數(shù)據(jù)集為基準(zhǔn),列出了目前較高精度的里程計(jì)算法性能,如表4所示,主要以平移誤差進(jìn)行排序,并通過(guò)旋轉(zhuǎn)誤差、感知手段和運(yùn)行時(shí)間進(jìn)行全面對(duì)比。

表4 里程計(jì)方法自主導(dǎo)航精度對(duì)比(2021年1月)
可以看出,以里程計(jì)技術(shù)為代表的非合作環(huán)境自主導(dǎo)航技術(shù)已經(jīng)取得了一定進(jìn)展,學(xué)者們更關(guān)注在特定環(huán)境數(shù)據(jù)下通過(guò)改進(jìn)特征提取方法、匹配方法或融合新類型傳感器等實(shí)現(xiàn)精度的提升,在對(duì)傳感器硬件與導(dǎo)航算法的兼容上研究較少。目前的算法在特定、小范圍、光照穩(wěn)定、環(huán)境特征豐富的環(huán)境下可以進(jìn)行精確的導(dǎo)航,但是在隨機(jī)、大范圍、環(huán)境特征較為稀疏的情況下,仍存在較大的提升空間。同時(shí),目前導(dǎo)航算法主要依賴高性能處理器才可達(dá)到實(shí)時(shí)處理,實(shí)時(shí)性仍有待加強(qiáng)。
? 地圖構(gòu)建技術(shù)
在通過(guò)里程計(jì)技術(shù)獲取精準(zhǔn)位姿的基礎(chǔ)上,將感知信息處理后投影至統(tǒng)一坐標(biāo)系,可以對(duì)環(huán)境進(jìn)行建模,從而實(shí)現(xiàn)環(huán)境地圖的構(gòu)建。實(shí)際應(yīng)用中,根據(jù)無(wú)人系統(tǒng)不同的任務(wù)需求,可以構(gòu)建包括度量地圖、拓?fù)涞貓D及語(yǔ)義地圖在內(nèi)的不同類型的地圖。度量地圖的特點(diǎn)是可以通過(guò)精確的坐標(biāo)唯一表示地圖中的所有物體,如視覺(jué)特征點(diǎn)圖和激光雷達(dá)占用柵格圖等,可以用于固定場(chǎng)景內(nèi)無(wú)人系統(tǒng)的精確導(dǎo)航與路徑規(guī)劃。拓?fù)涞貓D著重于兩地點(diǎn)間的連通性,通過(guò)帶節(jié)點(diǎn)和相關(guān)連接線用圖的方式表達(dá)環(huán)境,更適用于場(chǎng)景的快速探索。語(yǔ)義地圖則通過(guò)對(duì)場(chǎng)景的理解,對(duì)場(chǎng)景中的物體打上語(yǔ)義標(biāo)簽,將場(chǎng)景中的道路或目標(biāo)點(diǎn)以標(biāo)簽的集合作為表示,可以顯著提高無(wú)人系統(tǒng)的智能性及自主性,但語(yǔ)義的提取需要較大的精確感知數(shù)據(jù)量且后續(xù)維護(hù)工作繁雜。
在實(shí)際使用時(shí),結(jié)合多種地圖類型的特性,如圖9所示,自動(dòng)駕駛的高精度地圖融合了多種地圖類型,包括度量及語(yǔ)義地圖。在規(guī)劃時(shí)利用拓?fù)涞貓D可以實(shí)現(xiàn)無(wú)人系統(tǒng)的高智能自主行駛,但其獲取高精度數(shù)據(jù)感知成本較高。為了降低獲取精確感知數(shù)據(jù)的成本,J.Zhang等[75]提出的LiStereo采用自我監(jiān)督的訓(xùn)練網(wǎng)絡(luò),將視覺(jué)與激光雷達(dá)數(shù)據(jù)融合,提高了獲取感知數(shù)據(jù)的分辨率與精度,并將其用于高分辨率地圖構(gòu)建。A.Parikh等[76]為了提高語(yǔ)義地圖的構(gòu)建效率,通過(guò)融合語(yǔ)義和幾何信息聯(lián)合構(gòu)圖,采用增量式對(duì)象分割和分類方法實(shí)時(shí)更新地圖,并引入信息論和啟發(fā)式度量算法,用于快速規(guī)劃載體的運(yùn)動(dòng)和降低地圖構(gòu)建的不確定性。M.Narayana等[77]針對(duì)地圖中動(dòng)態(tài)物體變化和長(zhǎng)時(shí)間下場(chǎng)景變化的問(wèn)題,通過(guò)引入元語(yǔ)義映射層解決長(zhǎng)時(shí)間情況語(yǔ)義不一致問(wèn)題,并在語(yǔ)義發(fā)現(xiàn)層允許語(yǔ)義更新,從而實(shí)現(xiàn)了無(wú)人系統(tǒng)上的終身室內(nèi)地圖更新。

(a)激光雷達(dá)高精度地圖示意
可以看出,在地圖構(gòu)建上,單一的地圖表達(dá)方式已無(wú)法滿足無(wú)人系統(tǒng)的智能化需求,需要結(jié)合多地圖特性構(gòu)建更抽象、可靠、豐富的新型地圖表述方式,且地圖應(yīng)具備長(zhǎng)時(shí)間甚至終身更新的能力,使得無(wú)人系統(tǒng)具備在運(yùn)行過(guò)程中持續(xù)優(yōu)化導(dǎo)航精度的能力。
無(wú)人系統(tǒng)智能化水平的快速提升離不開(kāi)感知與自主導(dǎo)航技術(shù)的飛速發(fā)展,依靠全球衛(wèi)星定位系統(tǒng)的高精度定位,已經(jīng)可以在室外開(kāi)闊環(huán)境下實(shí)現(xiàn)自主運(yùn)行。但在室內(nèi)、地下、隧道和對(duì)抗等衛(wèi)星信息被遮擋或屏蔽的環(huán)境下,目前還亟待對(duì)自主的高精度無(wú)人系統(tǒng)感知與導(dǎo)航技術(shù)進(jìn)行研究和實(shí)現(xiàn)。
視覺(jué)傳感器由于缺少尺度信息及依靠外界光源,雙目與RGB-D傳感器無(wú)法感知遠(yuǎn)距離尺度信息,且視覺(jué)傳感器感知信息存在映射過(guò)程,對(duì)傳感器模型建立精度要求較高,單純基于視覺(jué)的導(dǎo)航誤差目前仍然大于1%里程(Distance,D),因此需要在低動(dòng)態(tài)、良好光照環(huán)境下應(yīng)用。
激光雷達(dá)利用深度感知原理,可以在結(jié)構(gòu)良好、特征豐富的環(huán)境下實(shí)現(xiàn)0.5%D的定位精度,但存在感知信息較為稀疏的問(wèn)題,需要環(huán)境中存在較為明顯的特征結(jié)構(gòu)。
由于視覺(jué)與激光雷達(dá)傳感器感知信息量和信息特征差異較大,目前傳統(tǒng)融合估計(jì)方法仍然無(wú)法克服兩種傳感器的缺陷,融合框架多為視覺(jué)輔助激光雷達(dá)導(dǎo)航,導(dǎo)航精度仍與單一激光雷達(dá)傳感器定位精度相同。基于深度學(xué)習(xí)的感知與導(dǎo)航算法雖然可以在限定的數(shù)據(jù)下取得較好的性能,但在存在動(dòng)態(tài)變化的復(fù)雜環(huán)境,尤其是未知環(huán)境下,其導(dǎo)航與感知結(jié)果會(huì)出現(xiàn)較大的誤差,算法適用性較差;且深度學(xué)習(xí)的感知與導(dǎo)航算法需要較高的硬件計(jì)算能力與功耗。目前,不依賴衛(wèi)星的感知與自主導(dǎo)航技術(shù)仍然需要在小范圍、靜態(tài)、良好光照條件下應(yīng)用。
隨著研究的深入與應(yīng)用的拓展,未來(lái)無(wú)人系統(tǒng)的感知與自主導(dǎo)航技術(shù)存在著以下挑戰(zhàn)與機(jī)遇。
1)更大范圍的作業(yè)需求對(duì)無(wú)人系統(tǒng)多層次協(xié)同感知技術(shù)提出了挑戰(zhàn)。無(wú)人系統(tǒng)往往處于大范圍作業(yè)環(huán)境下,由于其自身體積有限,依靠單一信息源和單一觀測(cè)角度的感知方式將難以準(zhǔn)確全面地進(jìn)行環(huán)境感知。同時(shí),更大范圍的作業(yè)場(chǎng)景也會(huì)帶來(lái)更大的尺度誤差與激光雷達(dá)的點(diǎn)云稀疏物體,需要結(jié)合視覺(jué)圖像與激光雷達(dá)點(diǎn)云的像素及深度多層次信息、空地協(xié)同多角度感知信息,對(duì)環(huán)境進(jìn)行多角度多層次建模。因此,多傳感器的聯(lián)合感知及多無(wú)人系統(tǒng)間聯(lián)合感知是未來(lái)本領(lǐng)域的一個(gè)主要研究方向。
2)場(chǎng)景中的隨機(jī)、動(dòng)態(tài)因素與無(wú)人系統(tǒng)自身的動(dòng)態(tài)特性對(duì)感知與導(dǎo)航技術(shù)提出了新的挑戰(zhàn)。現(xiàn)實(shí)中,巡檢、安防與運(yùn)輸?shù)热蝿?wù)都要求無(wú)人系統(tǒng)具備長(zhǎng)時(shí)間自主作業(yè)的能力,長(zhǎng)期工作環(huán)境中不僅面臨作業(yè)人員、突發(fā)事件的短期隨機(jī)干擾,還伴隨著日夜交替、季節(jié)交替及物體交替的長(zhǎng)期不穩(wěn)定變化,同時(shí)場(chǎng)景也會(huì)包括結(jié)構(gòu)化與非結(jié)構(gòu)化環(huán)境。此外,無(wú)人系統(tǒng)在不同任務(wù)下自身運(yùn)動(dòng)特性的不同也會(huì)對(duì)感知誤差模型造成影響。這要求無(wú)人系統(tǒng)不僅需要感知可靠的幾何特征,還需要具備多動(dòng)態(tài)環(huán)境下準(zhǔn)確穩(wěn)定的環(huán)境認(rèn)知與重構(gòu)能力,對(duì)環(huán)境中的障礙物和適用于導(dǎo)航的物體進(jìn)行語(yǔ)義識(shí)別與抽象儲(chǔ)存,實(shí)現(xiàn)對(duì)長(zhǎng)期變化場(chǎng)景的穩(wěn)定不變理解與穩(wěn)定可靠導(dǎo)航。因此,傳感器動(dòng)態(tài)感知模型的建立及動(dòng)態(tài)場(chǎng)景的理解和更新也是未來(lái)本領(lǐng)域的一個(gè)主要研究方向。
3)長(zhǎng)期作業(yè)的需求對(duì)無(wú)人系統(tǒng)的長(zhǎng)航時(shí)環(huán)境導(dǎo)航自適應(yīng)技術(shù)提出了挑戰(zhàn)。未來(lái)無(wú)人系統(tǒng)環(huán)境要求具備終身作業(yè)能力,但環(huán)境中不僅存在動(dòng)態(tài)物體的干擾,還存在長(zhǎng)航時(shí)作業(yè)中由于作業(yè)目標(biāo)場(chǎng)景改變,在自主前往新目標(biāo)時(shí)途中出現(xiàn)的室內(nèi)/外交替帶來(lái)的感知信息源的變化。無(wú)人系統(tǒng)需要面對(duì)信息源變化對(duì)整體導(dǎo)航系統(tǒng)架構(gòu)帶來(lái)的干擾,在部分特殊場(chǎng)景,還會(huì)出現(xiàn)地面無(wú)人系統(tǒng)視角受限、導(dǎo)航解算參考信息不足,導(dǎo)致導(dǎo)航定位精度降低。因此,對(duì)無(wú)人系統(tǒng)的終身導(dǎo)航技術(shù)研究也是未來(lái)本領(lǐng)域的另一個(gè)主要研究方向。
除了技術(shù)上的挑戰(zhàn),在算法實(shí)際落地過(guò)程中,如何提高算法的計(jì)算效率,如何實(shí)現(xiàn)芯片級(jí)的運(yùn)行,以及如何擺脫對(duì)特殊傳感器和高能耗計(jì)算平臺(tái)的依賴等關(guān)鍵問(wèn)題,同樣也亟待解決和突破,最終使得無(wú)人系統(tǒng)真正步入自主、智能的全新時(shí)代。