移動機器人視覺里程計綜述與研究展望

文/王威 滕紹光 鄭璐

一、引言

在移動機器人系統中，要進行目標探測和定位，對于自身位姿的估計非常重要。傳統的里程計，如輪式里程計因為輪子打滑空轉而容易導致漂移；精確的激光傳感器價格昂貴；慣性傳感器雖然可以測量傳感器瞬時精確的角速度和線速度，但是隨著時間的推移，測量值有著明顯的漂移，使得計算得到的位姿信息不可靠等。而視覺里程計（Visual Odometry，VO）由于視覺傳感器低廉的成本和長距離較為精準的定位在眾多傳統里程計中脫穎而出。

世界頂級的視覺傳感器（工業相機）產品售價約為人民幣3000元，是同等級的激光雷達產品售價的10%～20%。而較低的制造成本意味著較低的產品價格，對提升企業產品競爭力或終端客戶投資回報周期都更加利好。

二、視覺里程計發展簡述

所謂視覺里程計，就是從一系列圖像流中恢復出相機的運動位姿，這一思想最早是由Moravec等人[1]提出的，他們首次提出了單獨利用視覺輸入的方法估計運動，并給出了一種最早期的角點檢測算法，將其應用在行星探測車上，這體現了現階段視覺里程計的雛形，包括特征點檢測及匹配、外點排除、位姿估計三大塊，使得視覺里程計從提出問題階段過渡到了構建算法階段。

Nister等[2]在CVPR上發表的論文中提出了一種利用單目或立體視覺相機來獲取圖像的視覺里程計系統，宣告VO技術進入了優化算法階段。隨著ORBSLAM[3]的問世，VO作為SLAM的前端成為了研究熱潮，也代表著主流基于特征點法VO的一個高峰。Engle等[4]提出的LSD-SLAM則成功地把直接法的視覺里程計應用在了半稠密單目SLAM中。

近年來涌現了各類新穎視覺里程計系統，例如VINS-Mono[5]是香港科技大學開源的一個視覺慣性里程計（Visual Inertial Odometry, VIO）算法，通過單目與IMU緊耦合恢復出尺度信息，效果較佳，已經被成功應用于小規模AR場景、中型無人機導航和大規模狀態估計任務中。

三、視覺里程計的方法分類

傳統的VO方法是基于模型的系統，按照采用的傳感器類型可以分為單目（Monocular）、雙目（Stereo）和深度相機（RGB-D）三個大類，而按照對圖像的處理方法可以分為特征點法和直接法，此外還有新興的基于深度學習方法的VO。

1.按傳感器類型

只使用一個攝像頭的VO系統稱為單目VO系統，單目相機有著結構簡單、成本低的特點，受到眾多研究者的關注，常用的單目VO系統有PTAM[6]、SVO[7]、DSO[8]等。

雙目相機和深度相機可以測量物體與相機的距離，從而克服單目相機無法測量距離的缺點。有了距離，場景的三維結構就可以通過圖像恢復出來，也消除了尺度的不確定性。雙目相機是由兩個單目相機組成的，常用的雙目VO系統有ORB-SLAM3[9]、RTAB-MAP[10]。深度相機主要利用紅外結構光或者飛行時間差（Time-of-Flight, ToF）原理，通過物理測量手段獲取距離參數，相比于雙目相機可節省計算資源，常用的基于深度的VO系統有DVO[11]、RGB-D-SLAM-V2[12]等，但是深度相機有著易受光照影響、無法測量投射材質等不足，且主要用于室內測量，目前仍難在室外廣泛應用。

2.按圖像處理方法

根據VO系統是否對圖像進行特征提取及匹配，可分為特征點法VO和直接法VO。

對于特征點法，在各幀圖像中盡可能找到相同位置的點，再基于這些點計算位姿。常用特征如SIFT[13]、SURF[14]、ORB[15]等，這些特征相對于早期的特征有著更穩定更高效的優勢，因而基于這些特征描述子衍生出了很多算法，如MonoSLAM[16]、PTAM[6]、ORB-SLAM3[9]等。楊冬冬[17]等人基于SIFT特征提出了一種基于局部和全局優化的雙目VO，在滿足實時性的基礎上能夠提高精度。

對于直接法，只對圖像提取關鍵點，跳過描述子的計算，直接基于灰度不變等強假設根據像素灰度信息來計算相機的運動，因此可用于構建稠密地圖。常用的基于直接法的VO系統有DTAM[18]、DSO[8]、DVO[11]等。

兩種方法的優缺點對比如表1所示。

表1 直接法與特征點法優缺點對比

為了更加直觀清晰地對比各個方法之間的區別與特性，表2列出了常用的基于傳統方法的VO系統。

表2 基于傳統方法的VO研究成果及其分類

3.基于深度學習的VO系統

近幾年來，深度學習的發展極大地促進了計算機視覺的相關科研工作。基于深度學習的VO系統在視覺相關任務的準確率、魯棒性，以及執行效率方面相比于傳統方法都展現出了非凡的效果。不同于傳統的VO系統那樣通過嚴格的幾何理論方法實現，基于深度學習的VO是通過尋找數據規律與目標任務之間的函數關系來完成同樣的工作。在基于深度學習的VO中，主要分為有監督、無監督和半監督三種學習方法，其中具有代表性的VO方案有DeepVO[19]、GeoNet[20]、CNN-SLAM[21]等。

通過使用視覺技術在移動機器人上的應用，拓展了移動機器人的應用領域，增強了移動機器人的可靠性，推動了移動機器人產業的發展。

四、視覺里程計在物流移動機器人中的應用

SLAM同步定位與地圖構建技術（Simultaneous localization and mapping）可在未知的環境中實時定位移動機器人自身的位置，并同時構建環境三維地圖。目前激光SLAM技術已發展較為成熟，視覺SLAM技術也在近幾年得到快速發展，由于視覺SLAM使用的視覺傳感器的成本較低，并且在某些場景下視覺SLAM是激光SLAM的有力補充，因此，視覺SLAM尤其是視覺里程計與激光SLAM相融合的技術是目前物流移動機器人導航技術的趨勢，在移動抓取機器人、AMR、巡檢機器人等移動機器人行業有著廣泛應用。

1.融合視覺里程計的激光SLAM技術在實驗室的測試驗證

下面將融合視覺里程計與激光SLAM技術的物流機器人的具體實現方式及應用做一描述，我們使用實驗室的移動機器人平臺進行了相關算法的驗證，移動機器人平臺如圖1所示。

圖1 基于激光和視覺SLAM導航的移動機器人

驗證的方法及過程如下：首先說明視覺里程計的信息獲取方法，主要是通過雙目相機獲取環境的RGB彩色圖像，并利用SIFT關鍵點檢測的ORB算法對每一張連續圖像關鍵幀進行特征點檢測，為后續計算提供更精確的特征點，隨后使用對極幾何和三角化的方法計算得出特征點的三維坐標，并依此計算出相機的位姿變化，再根據相機與移動機器人參考點的相對位置關系可計算出移動機器人參考點的位姿變化，最終得到移動機器人的視覺里程計的信息，將此數據與IMU信息及移動機器人驅動編碼器里程計信息使用擴展卡爾曼濾波進行數據融合，為激光雷達SLAM提供前端的預估初始位置的輸入信息，提高了激光雷達SLAM前端數據的初始匹配精度，并通過激光SLAM后端的優化及回環檢測對累計誤差的消除，經過激光SLAM的建圖模塊，最終得到了精確的環境電子地圖，并同時可為移動機器人的導航系統提供移動機器人參考點的運動軌跡信息，通過此方法所構建的實驗室的精確環境地圖如圖2所示。

圖2 融合視覺里程計的激光SLAM所建立的環境地圖

通過實驗室移動機器人平臺的測試驗證，最終使移動機器人的定位精度達到±10mm，實現了預期的目標。

2.融合視覺、激光等多種傳感器的SLAM技術的實際應用

許多物流移動機器人的本體廠商均使用了融合多種傳感器的信息進行物流移動機器人的導航定位和自主決策，如北京極智嘉科技股份有限公司的搬運系統產品在導航方式中使用了視覺SLAM方式，在障礙物檢測方式上也使用了視覺組件進行視覺避障，它們生產的物流移動機器人具體產品（M200C）如圖3所示。

圖3 頂升搬運式M200C移動機器人

靈動科技（北京）有限公司生產的AMR系列物流移動機器人，采用基于視覺數據，融合激光雷達、慣性導航和電機編碼器里程計等多種感知信息，實現自動建圖、定位和導航等功能，它們的輥筒搬運式產品Max300如圖4所示。

圖4 輥筒搬運式Max300移動機器人

目前，這些公司使用融合視覺、激光等多種傳感器的物流機器人產品已經在實際項目中得到應用，如靈動科技使用頂升式Max300移動機器人在TCL工廠的26條產線上完成了原材料的搬運任務。

隨著技術的發展和各類產業的智能化升級，為了增強移動機器人導航的精度和魯棒性，使用融合視覺、IMU、激光雷達等多種傳感器信息的導航定位技術正在物流移動機器人行業得到更加廣泛的應用。

視覺傳感器除了在物流移動機器人的導航定位方面起重要的作用外，它在移動機器人對目標物的識別及定位方面也起到了關鍵的作用，當移動機器人到達目標物附近時，通過視覺傳感器識別出目標物相對移動機器人的位姿，從而使移動機器人根據目標物的姿態調整移動機器人的運行軌跡，使移動機器人能更準確地與目標物進行對接操作。通過使用視覺技術在移動機器人上的應用，拓展了移動機器人的應用領域，增強了移動機器人的可靠性，推動了移動機器人產業的發展。

五、視覺里程計的未來研究展望

VO在移動機器人上的應用已經發展多年，在很多方面取得重大進展，但目前仍舊有一些問題等待解決，本文在總結現有方案的基礎上提出了以下兩個值得探索的研究方向。

（1）結合語義地圖的視覺里程計系統。

由于環境中普遍存在動態場景造成的實際樣本和檢測樣本之間的誤差，降低了目前大部分的算法模型的位姿估計和軌跡的精度。通過結合語義地圖的方式將從幾何和語義兩個方面來感知場景，使得應用對象對環境內容有抽象理解，獲取更多的信息，能夠減小動態場景帶來的誤差，還可以為SLAM中的回環檢測帶來更多信息從而提高精度。適合通過高性能的計算設備用于實現精密地圖構建、場景理解等功能的場合。

（2）多機器人協同的視覺里程計系統。

單個機器人可能無法快速熟悉環境特征及其相對于環境特征的位置，此外單個機器人在執行任務的過程中會出現損壞的情況，要達到穩定的精準導航，開發分布式系統來實現視覺里程計將是一個發展方向。使用多個機器人可以有很多優點，例如可以減少探索一個環境所需的時間、不同的信息來源將提供更多的信息、分布式系統對故障更魯棒等。