基于SLAM算法和深度神經網絡的語義地圖構建研究

白 云 漢

(復旦大學計算機科學與技術學院 上海 200433)

0 引 言

在機器人學的領域，一個重要的問題是如何使得機器人獲得自身與環境的信息，因為只有機器人對自身和環境正確的建模后，機器人才可能完成其他任務，如導航等。為了解決這個問題，首先要使得機器人具備感知環境的能力。在實際研究中，機器人常常配備有相機、GPS設備、激光、聲納等傳感器。這些傳感器為機器人提供了原始的數據，但是還無法為機器人提供更加結構化和有意義的信息。

機器人自動定位和制圖(SLAM)所要解決的是如何利用傳感器的原始信息來對機器人的位置與其所處環境的地圖信息進行同時估計的問題。SLAM算法的輸入是連續的傳感器信息，如視覺SLAM中，輸入信息是配備相機的機器人在環境中連續采集到的圖像幀序列。輸出是機器人當前的位置以及機器人所處環境的地圖點位置。但是在主流的SLAM算法中，機器人的位置以及地圖點信息只是空間中密集或稀疏的幾何點。通過對這些空間點的位置估計能夠為我們提供相對精確的位置信息，但是無法提供更高層次的語義信息。機器人可以利用SLAM算法精確估計自己的位置，但是無法對空間中存在的物體進行識別和建模，這將導致在后續的任務中，機器人無法利用環境中豐富的語義信息。

目前深度學習方面的進展為解決這個問題提供了一個方向。深度神經網絡強大的特征學習能力使得圖像識別，目標檢測領域取得了顯著的進展，在圖像識別數據集ImageNet[1]的比賽中，基于CNN[2]的深度學習模型已經取得了超過人類的成績[3]，在目標檢測方面以RCNN[4]為代表的深度學習方法使得目標檢測的準確性大幅度提升。視覺SLAM算法處理的圖像序列常常包含了各類物體，結合深度神經網絡的語義識別優勢與SLAM算法提供的位置信息能夠獲得有關機器人自身和環境更加豐富的信息。

本文結合了基于單目視覺的SLAM系統和基于回歸預測的深度卷積神經網絡，設計并實現算法實現對語義地圖的構建，將位置信息和語義信息融合。利用本文的算法，能夠幫助機器人實現更為智能的導航任務。同時利用本文的算法機器人能夠收集到有關物體的更加豐富的數據，這將進一步促進深度神經網絡的性能提升。

1 相關工作

SLAM算法是語義地圖構建的基礎。目前基于視覺的SLAM算法大致分為兩個取向。一種是稀疏SLAM。稀疏SLAM算法通過對視覺信息進行點特征提取，對提取的點特征進行匹配，從而實現對機器人位置的估計，同時構建環境中的稀疏地圖點。稀疏SLAM的算法又可以大致分為基于濾波的方法，如MONOSLAM[6]等。基于圖優化的SLAM算法，如PTAM[7]、OKVIS[8]等。另外一個SLAM算法的研究取向是稠密SLAM。稠密SLAM算法不對圖像進行點特征提取，而是直接利用圖像的梯度信息對機器人相機位置進行估計。稠密SLAM節約了特征提取過程的時間，并且利用了圖像的所有像素信息，方便建立空間的稠密地圖，實現對空間的3D重構，但是由于要使用所有的像素信息，計算量常常過大，需要利用GPU并行加速。

以稀疏SLAM[9]為例子，SLAM算法可以分為前端和后端兩部分。前端部分主要負責數據關聯問題，后端部分負責對位置信息進行優化估計。本文采用了基于ORB特征的ORBSLAM算法，前端部分在圖像提取ORB特征，與地圖中的3D地圖點進行匹配，后端部分利用匹配的結果構建一個因子圖，在因子圖上進行優化計算。具體流程如圖1所示。

圖1 SLAM算法的總體流程

語義地圖的構建在SLAM算法之上，但是不同于SLAM算法，語義地圖的構建需要對人類的概念如場景、物體、形狀等進行抽象。語義地圖構建的需求來自于機器人導航的需要，Kuipers[10]最早提出建立語義地圖，他提出對空間知識進行建模的概念。隨著近些年來SLAM算法越來越精確，將高精度的SLAM算法和語義地圖結合成為研究的熱點。Nielsen等[11]將基于SLAM的語義地圖構建看作是機器人和人類交互的界面。他提出將機器人的單幀圖像信息與機器人的位置信息合并存儲，將其作為幾何地圖的補充。

Galindo等[12]將地圖分為空間地圖和概念地圖，并采用分層的方式組織地圖，并對空間地圖節點和概念地圖節點采用錨定，方便機器人根據語義信息進行導航。Civera等[13]利用單目視覺SLAM算法建立起空間的柵格地圖，在另外一個線程中實現物體識別算法，將識別結果作為地圖數據庫存儲Liu等[14]則是使用2D的激光掃描建立起空間occupancy 柵格地圖，然后在此基礎上建立起語義地圖。斯坦福大學的Carl等[15]將SLAM地圖與地圖中的文字標簽信息(如辦公室門牌)結合，實現了機器人根據語義指示導航的功能。Rituerto等[16]通過使用catadioptric視覺系統，實現了對拓撲地圖進行語義標注。Fasola等[17]的系統使用語義信息編碼空間位置的相對關系，可以使得人類用自然語言和機器進行交互。

目前基于深度神經網絡的視覺目標檢測算法取得了巨大的突破，為我們構建語義地圖提供了直接而準確的語義信息。本文將利用單目SLAM算法和目標檢測算法，設計并實現語義地圖構建算法，對地圖點進行語義關聯，實現構建高精度語義地圖。

2 SLAM算法與目標檢測算法

2.1 基于ORB-SLAM的SLAM算法

ORB-SLAM[18]是目前基于關鍵幀的稀疏SLAM算法中性能較為出色的一個算法框架，ORB-SLAM將SLAM算法分為跟蹤、本地制圖、回環修正三個線程。跟蹤模塊主要解決的是SLAM算法前端中的連續圖像幀的數據關聯問題，并且會對當前幀的位置進行優化估計。本地制圖模塊要解決的是地圖點的創建與更新，回環檢測的目標是消除SLAM算法中累計的誤差。相比于其他基于關鍵幀的稀疏SLAM算法，ORBSLAM主要有這幾個優勢：

1) 采用ORB[19]特征作為視覺特征，具有提取速度快，視角光照不變性好的特點。

2) 采用DBow2[20]詞帶模型用于快速重定位和回環檢測，提高了系統的魯棒性。

3) 提出了共視圖和本征圖的概念，簡化了地圖構建中地圖點和關鍵幀之間關聯。

4) 在關鍵幀的選擇機制，地圖點的創建機制以及本地窗口的大小設定上更加合理，帶來了性能上的提升。

在本文中，采用了ORBSLAM作為我們的SLAM算法，并且修改地圖點及關鍵幀的數據結構方便結合語義地圖。

2.2 目標檢測算法

傳統的目標檢測算法常常分為三個部分。

1) 選擇檢測的窗口。這一步對圖像進行多位置和多尺度的窗口提取， 采用Selective Search[21]等提取方法，并且基于顏色聚類、邊緣聚類把無關區域去除。

2) 提取視覺特征。特征提取指的是在區域內提取視覺特征，常用的特征有SIFT[22]、HOG[23]等。

3) 分類器分類。分類器分類指的是利用提取中的特征，使用機器學習模型對所得特征所屬種類進行分類。常用的分類器有SVM、隨機森林、神經網絡等。

傳統的方法將檢測分為這三個部分，本身不是一個端到端的算法，這將導致各個部分之間無法很好的學習和優化。并且在特征提取方面，傳統方法提取的特征在分類任務中無法和基于深度卷積神經網絡提取出的特征的性能相比。

在語義地圖構建中，需要目標檢測算法為我們提供原始的語義信息，并且因為SLAM算法的實時性，對算法的運行速度有著較高的要求。我們參照了基于深度神經網絡的YOLO[24]設計我們的網絡，將輸出層物體種類設為室內常見的20類物體，具體內容見實驗部分。

YOLO將物體檢測作為一個回歸問題求解，基于單一的端到端網絡，完成對物體位置以及物體類別的同時預測。YOLO與RCNN[29]、Fast RCNN[28]、Faster RCNN[27]不同之處在于它不需要顯性地提取region proposal，這使得端到端學習成為了可能。

YOLO借鑒了GoogleNet[25]的分類網絡結構，不同的是YOLO未使用inception module，而是用了1×1的卷積層加上3×3的卷積層簡單代替。YOLO將輸出圖像分為S×S個格子，每個格子負責檢測落入該格子的物體，若某個物體的中心位置坐標落在某個格子中，那么這個格子就負責檢測該物體。每個格子負責輸出B個bounding box信息，以及C個物體屬于某種類別的概率信息。每個bounding box有5個數值，分別代表當前格子預測得到的bounding box的中心坐標，寬度和高度，以及當前bounding box包含物體的置信度。因此最后全連接層輸出的維度為(S×S)×(B×5+C)。

在本文的網絡中，我們的分類種類C=5，并設置B=2,S=13。本文網絡的損失函數由三部分構成，分別為預測數據與標定數據之間的坐標誤差、IOU誤差和分類誤差：

(1)

具體的損失函數如下：

(2)

在式(2)中，第1、2行代表是對坐標預測的懲罰。在本文網絡中，對坐標預測的懲罰加了一個參數λcoord進行增強。這是因為如果不加這個參數，那么在損失函數中，預測位置的重要性就和預測是否包含物體的重要性相等，這不符合最大化平均精度的想法。同時在3、4行計算IOU誤差的時候，包含物體的格子和不包含物體的格子兩者的IOU誤差對Loss的貢獻應該是不同的。若采用相同的權值，那么不包含物體的格子的confidence近似為0，變相地放大了包含物體的格子的confidence誤差在計算梯度時的影響。因此將不包含物體的格子的IOU誤差加上參數λnoobj進行削弱。最后一行為分類的懲罰。我們將λcoord設為5.0，而將λnoobj設為0.5。

3 語義地圖構建

在SLAM算法中，圖像特征與地圖點直接對應。而本文的目標檢測算法檢測出的目標框內有圖像特征，因此可以將存儲的地圖點與目標物體對應。如圖2所示，每個地圖點與一個目標物體對應，而每個關鍵幀通過地圖點間接地和一個或多個目標相連接。由此建立圖像數據和目標物體之間的連接關系。

圖2 關鍵幀、空間地圖點和語義信息的關系圖

語義地圖構建算法流程如圖3所示。

圖3 語義地圖構建算法流程圖

首先，SLAM算法前端追蹤模塊決定是否將當前圖像幀當做關鍵幀，關鍵幀選擇規則如下：

1) 至少離上一次重定位距離20幀。

2) 本地制圖模塊空閑或離上一次關鍵幀插入相差已有20幀。

3) 當前幀中至少有50個特征點。

其次，當前幀被選擇為關鍵幀之后，關鍵幀將被兩部分算法同時處理：第一部分是目標檢測算法， 第二部分是SLAM后端圖優化算法。在進行語義地圖模塊之前，需要等待SLAM后端圖優化優化模塊完成，因為后端圖優化模塊將可能產生新地圖點。SLAM的后端圖優化模塊主要包括兩部分：

1) 當前關鍵幀位置與本地地圖點的優化更新。

2) 通過三角法創建新的空間地圖點。

最后啟動語義地圖管理模塊。語義地圖管理模塊將進行兩方面的工作：

一是對地圖中不可用點進行區分和標記。例如將檢測為people、cat、dog、bicycle、toy這幾個類別目標框中的特征點標記為不可用。這是由于這些類別的物體常常發生移動，因此不應該將其上面的點作為地圖點。

二是建立地圖點和語義信息的聯系。 通過查找目標物體框中的特征點對應的地圖點所連接的語義信息。

1) 若所有地圖點均無語義信息說明這是第一次檢測出該目標，將結果暫存在緩存中。當連續5幀檢測出相同目標則將所有緩存地圖點與當前目標檢測結果對應。

2) 若已經有語義信息，說明當前目標物體已經存在于語義地圖中，此時更新目標框內所有地圖點語義信息為當前目標。

4 實 驗

4.1 目標檢測網絡訓練

為了防止無關語義信息對地圖構建的干擾，本文對YOLO v2網絡結構進行調整。以COCO[26]和PASCAL[5]數據集為基礎，篩選出室內場景中常見的20類物體。再對這些圖片數據做隨機拉伸剪切等數據增廣處理，最后得到20 000張圖像，物體種類見表1。

表1 選取的20類物體的具體類別

在訓練目標檢測網絡之前首先設置該深度神經網絡的超參數?？紤]到YOLO v2的網絡特性，實驗通過反復對比不同參數下的檢測精度，在原始超參數的基礎上進行調整，最終得到的超參數如表2所示。

表2 深度神經網絡的超參數設置

在Ubuntu 14.04的系統環境下訓練和測試，處理器型號為Intel i7-5960X, 內存為64 GB。為了得到更高的訓練和測試速度，本文使用兩張GTX 1080顯卡加速訓練。共訓練45 000個batch。

4.1.1 目標檢測精度分析

采用留出法，將訓練數據的10%留出作為測試數據。為了衡量算法的精確程度，本文與Faster RCNN[27]、YOLOv2[24]做對比。Faster RCNN采用基于tensorflow實現的版本，YOLOv2采用作者提供的原始版本。實驗結果如表3所示。

表3 目標檢測精度對比實驗結果

續表3

AP即平均精確度(Average precision)，是目標檢測算法中衡量精度的指標。每個類別根據精度(Precision)和召回率(Recall)得到ROC(Receiver Operating Characteristic)曲線，AP即是這條曲線之下的面積，mAP是所有類別的平均AP。

可以看到通過利用室內場景的圖片對網絡進行微調，本文的網絡目標檢測精確程度相比于YOLOv2和Faster RCNN有了明顯的提高。

4.1.2 目標檢測速度分析

為了達到實時構建語意地圖的要求，要平衡目標檢測的處理時間和處理精度。為了衡量本文算法的運行時間效率，本文在數據集上測試目標檢測算法的運行效率，以處理幀率作為衡量標準，并與高精度的Fast RCNN[28]、Faster RCNN等檢測算法，以及實時的100 Hz DPM、30Hz DPM檢測算法進行對比。實驗的平臺為Ubuntu 14.04的系統環境，處理器型號為Intel i7-5960X, 內存為64 GB，顯卡型號為GTX 1080。實驗結果如表4所示。

表4 目標檢測速度對比實驗結果

可以看到Faster RCNN與Fast RCNN的幀率遠遠低于本文的目標檢測算法，無法達到實時的要求。而DPM算法雖然運行FPS指標與本文接近，但算法精度較差。

通過實驗可以看出本文的算法在精度和時間效率上取得了較好的平衡，在實時運行的基礎之上能夠達到很好的mAP。

4.2 語義地圖構建

由于目標檢測算法在沒有GPU加速的情況下耗時較長，而移動機器人上目前還很難搭載高性能的GPU，因此本文將目標檢測算法放到服務器端進行。服務器端和移動機器人端之間采用C++編寫的基于gPRC的RPC框架進行通信，服務端的目標檢測算法使用C語言編寫的darknet作為框架，并搭載了GTX1080顯卡加速運算，每幅圖像的處理時間平均約0.04 s。得到關鍵幀的目標檢測結果之后，我們將結果通過gRPC傳到移動機器人的語義地圖管理模塊中。

在SLAM系統中地圖點與圖像關鍵幀有著關聯關系，每個地圖點可以從多個角度觀察到，因此將地圖點和多個關鍵幀進行關聯，而一個地圖點理論上只能存在于一個物體之上。最終得到的地圖點提取結果如圖4所示。

圖4 地圖點提取示意圖

本文在室內場景下測試語義地圖構建系統，軟件的運行效果如圖5所示。

圖5 軟件運行效果圖

軟件的前端部分展示了SLAM算法的定位效果，并且同時目標檢測的結果也在圖像中顯示。語義管理模塊對原始關鍵幀圖片進行保存。在系統關閉時該模塊將所有關鍵幀圖片、對應的地圖點、語義地圖信息，以及目標物體在關鍵幀中的位置信息以Protocol Buffer的格式存儲。其中圖片數據以圖片路徑的形式保存在Protocol Buffer格式的數據里。通過將目標檢測算法放到云端服務器中運行，語義地圖構建能夠實時地在機器人上運行。

5 語義地圖的應用

本文的語義地圖構建結果主要可以應用于兩個方面。

第一，智能導航。機器人的導航需要機器人知道當前位置和目標位置，而在人類與機器人交互的過程中，人類常常無法提供給機器人目標在空間坐標系下的準確位置。語義地圖提供了一種新的人機交互方式，人們可以以語義的形式給機器人提供指令，機器人將查詢其語義地圖，得到與語義地圖相關聯的地圖點信息。而地圖點包含了坐標信息，機器人根據SLAM模塊得到的自身位置信息以及地圖點的坐標信息，選擇合適的路徑規劃算法。

第二，數據采集。傳統的圖像識別圖像分割數據集，如ImageNet等，包含了數以百萬計的圖片。然而觀察這些圖片將會發現這些圖片大部分是從正面拍攝的物體的照片，這是由于這些數據集圖片的來源多是攝影作品。另外一個問題是這些圖片中沒有包括圖像采集者與目標物體之間的相對位置信息。通過本文的算法構建的語義地圖很好地彌補了這個問題。利用我們的語義地圖構建算法，將得到關于一個目標物體在各個角度各個距離上的圖像。同時，這些圖像中的目標物體都是有標注的，這是因為我們的語義信息與SLAM中的地圖點是對應的，我們可以將地圖點投影到圖像幀中，獲得目標物體在圖像幀中的位置信息。這將大大增加我們可以得到的有標注數據的數量，并且所得數據分布在更多角度和尺度之上，這將對訓練更深更復雜的深度學習模型提供數據上的支持。

6 結 語

本文的主要工作是通過利用高精度的單目SLAM算法，結合基于深度神經網絡的快速目標檢測算法，對機器人所處的空間構建語義地圖。本文的算法將SLAM算法提供的精確的幾何信息和深度神經網絡提供的豐富的語義信息有效地結合起來，建立語義信息和空間地圖點之間的映射關系，并且利用深度神經網絡的輸出結果糾正SLAM算法中可能存在的錯誤。本文實現的算法將需要GPU加速的部分放到服務器端，通過高效的RPC框架進行實時通信。最終得到的語義地圖能夠應用于機器人的智能導航系統，也可以應用于數據采集。

本文的算法將SLAM的地圖點與語義信息之間建立起聯系，把精確的地圖點和語義信息之間建立映射。

未來的研究方向有：

1) 如何有效解決遮擋問題。當物體被另一物體遮擋時，目標檢測算法檢測出的目標框將發生重合，這時候需要有效消除重合的影響。

2) 根據探索情況更新原有地圖。當機器人發現原來某地的物體消失，應能及時更新地圖。

[1] Deng J,Dong W,Socher R,et al.ImageNet:A large-scale hierarchical image database[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009:248-255.

[2] Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems,2012.2012:1097-1105.

[3] He K,Zhang X,Ren S,et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2016.2016:770-778.

[4] Girshick R,Donahue J,Darrell T,et al.Region-based convolutional networks for accurate object detection and segmentation[J].IEEE transactions on pattern analysis and machine intelligence,2016,38(1):142-158.

[5] Everingham M,Van Gool L,Williams C K,et al.The pascal visual object classes (voc) challenge[J].International journal of computer vision,2010,88(2):303-338.

[6] Davison A J,Reid I D,Molton N D,et al.MonoSLAM:real-time single camera SLAM[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2007,29(6):1052-1067.

[7] Klein G,Murray D.Parallel Tracking and Mapping for Small AR Workspaces[C]//IEEE and ACM International Symposium on Mixed and Augmented Reality.IEEE Computer Society,2007:1-10.

[8] Leutenegger S,Furgale P,Rabaud V,et al.Keyframe-Based Visual-Inertial SLAM using Nonlinear Optimization[C]//Robotics:Science and Systems,2013.2013:789-795.

[9] Cadena C,Carlone L,Carrillo H,et al.Past,present,and future of simultaneous localization and mapping:Toward the robust-perception age[J].IEEE Transactions on Robotics,2016,32(6):1309-1332.

[10] Kuipers B.Modeling spatial knowledge[J].Cognitive science,1978,2(2):129-153.

[11] Nielsen C W,Ricks B,Goodrich M A,et al.Snapshots for semantic maps[C]//Systems,Man and Cybernetics,2004 IEEE International Conference on,2004.IEEE,2004:2853-2858.

[12] Galindo C,Saffiotti A,Coradeschi S,et al.Multi-hierarchical semantic maps for mobile robotics[C]//Intelligent Robots and Systems,2005.(IROS 2005).2005 IEEE/RSJ International Conference on,2005.IEEE,2005:2278-2283.

[13] Civera J,Gálvez-López D,Riazuelo L,et al.Towards semantic SLAM using a monocular camera[C]//Intelligent Robots and Systems (IROS),2011 IEEE/RSJ International Conference on,2011.IEEE,2011:1277-1284.

[14] Liu Z,von Wichert G.Extracting semantic indoor maps from occupancy grids[J].Robotics and Autonomous Systems,2014,62(5):663-674.

[15] Case C,Suresh B,Coates A,et al.Autonomous sign reading for semantic mapping[C]//Robotics and Automation (ICRA),2011 IEEE International Conference on,2011.IEEE,2011:3297-3303.

[16] Rituerto A,Murillo A C,Guerrero J J.Semantic labeling for indoor topological mapping using a wearable catadioptric system[J].Robotics and Autonomous Systems,2014,62(5):685-695.

[17] Fasola J,Mataric M J.Using semantic fields to model dynamic spatial relations in a robot architecture for natural language instruction of service robots[C]//Intelligent Robots and Systems (IROS),2013 IEEE/RSJ International Conference on,2013.IEEE,2013:143-150.

[18] Mur-Artal R,Montiel J M M,Tardos J D.ORB-SLAM:a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2015,31(5):1147-1163.

[19] Rublee E,Rabaud V,Konolige K,et al.ORB:An efficient alternative to SIFT or SURF[C]//Computer Vision (ICCV),2011 IEEE International Conference on,2011.IEEE,2011:2564-2571.

[20] Gálvez-López D,Tardos J D.Bags of binary words for fast place recognition in image sequences[J].IEEE Transactions on Robotics,2012,28(5):1188-1197.

[21] Uijlings J R,Van De Sande K E,Gevers T,et al.Selective search for object recognition[J].International journal of computer vision,2013,104(2):154-171.

[22] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.

[23] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on,2005.IEEE,2005:886-893.

[24] Redmon J,Divvala S,Girshick R,et al.You only look once:Unified,real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2016.2016:779-788.

[25] Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015.2015:1-9.

[26] Lin T,Maire M,Belongie S,et al.Microsoft coco:Common objects in context[C]//European Conference on Computer Vision,2014.Springer,2014:740-755.

[27] Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time object detection with region proposal networks[C]//Advances in neural information processing systems,2015.2015:91-99.

[28] Girshick R.Fast r-cnn[C]//Proceedings of the IEEE International Conference on Computer Vision,2015.2015:1440-1448.

[29] Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition,2014.2014:580-587.