基于深度學習和邊緣檢測的動態場景下魯棒SLAM*

李璐琪蔡成林

(湘潭大學自動化與電子信息學院，湖南 湘潭411105)

同時定位與地圖創建(simultaneous localization and mapping，SLAM)是機器人研究領域的熱點技術，是機器人實現環境感知與場景三維重建，自主避障與路徑規劃，自動駕駛與導航等應用的關鍵[1]。隨著研究的不斷發展，機器人搭載的傳感器也更加多元化，包括視覺，激光，雷達，以及多傳感器融合的方式，視覺SLAM 則是指以相機、攝像頭等視覺傳感器作為主要數據采集器，圖像序列作為信息源的定位建圖方法[2]。 現代視覺SLAM 系統已經相當成熟，并具有令人滿意的性能，例如基于特征點法的ORB＿SLAM2[3]，利用ORB 特征[4]進行計算，支持單目、雙目、RGB-D 三種模式，使用跟蹤、局部建圖、回環檢測的三線程結構，構建稀疏特征點地圖；基于半直接法的LSD-SLAM[5]，利用直接圖像對齊進行高精度位姿估計，實時重建3D 環境作為與半稠密深度圖相關的關鍵幀位姿圖，該算法允許構建大規模半稠密的三維地圖；基于直接法的DTAM[6]，依賴于單個像素的光度變化、紋理信息，通過直接最小化光度誤差和全局空間正則化來估計出完全密集的重構。

但是以上經典SLAM 系統都是建立在場景中的物體均是靜態的假設前提下，對動態物體的檢測和處理十分有限，然而實際的室內外場景中，無法規避運動物體，比如行走的人或動物、行駛的自行車或汽車。 在這種情況下，周圍環境的意外變化可能會嚴重影響相機位姿估計，增大軌跡誤差甚至導致系統故障。 于是，運動物體的檢測與動態區域的正確分割成為動態場景下視覺SLAM 的重要研究環節。 目前，有學者使用多傳感器融合來檢測運動物體，Chavez-Garcia 等[7]提出用雷達，激光雷達和攝像頭構建環境感知模型來進行運動物體檢測，Popov[8]等使用Kinect 傳感器和2D 激光雷達對移動目標進行檢測，有學者使用密集場景流來檢測運動物體，Pan等[9]通過估計3D 場景流來分割多個運動對象從而恢復潛在的清晰圖，Xiao 等[10]通過計算視差圖和密集光流場獲得超像素再輸入到條件隨機場模型進行動態靜態分割，有學者使用深度學習來檢測運動物體，Runz 等[11]使用MASK-RCNN[12]充分利用實例級語義分割的優勢，以使語義標簽能夠融合到一個對象感知映射中，可以識別，檢測，跟蹤和重建多個移動的剛性物體，Brickwedde 等[13]提出的monostixels 基于逐像素語義分割來處理運動對象，并在KITTI 數據集[14]上實驗，表明單像素可對場景的靜態和運動部分進行緊湊而可靠的深度重建，Chen等[15]利用CNN 目標檢測技術來檢測當前視圖中的可能移動對象，并讓SLAM 的前端使用邊界框以外的局部特征來實現連續的跟蹤和映射，從而可以消除由移動物體引起的噪聲，Bescos[16]等提出的DynaSLAM 通過使用多視幾何、深度學習或者兩者兼有的方法實現移動物體的檢測，并且通過對動態物體遮擋的背景幀進行修復，生成靜態場景地圖。

但是，多傳感器融合方案需要添加來自不同傳感器源的信息，面臨數據關聯、信號同步，融合處理等多重困難，大大增加了系統的復雜性，密集場景流的方法計算量大，對實時計算是一個很大的挑戰，深度學習的方法通過深度神經網絡對圖像強大的學習能力，容易標記出潛在運動物體，并提供語義信息可構建語義地圖，豐富機器人對環境的理解從而獲得高級感知，但是存在對于可移動物體誤判以及動態物體檢測框過大或邊緣不對齊的問題。

針對以上問題，本文提出一種更加魯棒的動態場景下的SLAM 算法，采用深度學習快速識別動態物體框與稀疏特征光流計算做進一步動態判斷相結合，并利用邊緣檢測算法對動態物體的邊緣進行有效分割，保證沒有過多的靜態特征點被誤刪除，構建無動態物體的靜態環境三維點云地圖以真正實現自主機器人的強大感知和導航能力。

1 系統整體框架和流程

本研究采用YOLOv4[17]實時目標檢測算法快速獲取輸入的彩色三通道圖像中潛在的語義動態物體粗略的矩形范圍，同時提取ORB 特征點并計算光流場，僅計算所跟蹤的ORB 特征點的光流場可很大程度減少計算全部像素點光流場的時間，通過語義信息與光流場計算篩選出的動態特征點相互結合可獲得真正運動的物體，再針對動態物體采用canny 算子[18]進行邊緣檢測，得到動態物體的邊緣信息，通過最小化動態物體以外靜態特征點的重投影誤差進行相機位姿估計。 最后，使用剔除了動態物體的關鍵幀構建地圖。 整體流程如圖1 所示。

圖1 算法流程

1.1 基于深度學習的目標檢測

YOLOv4 是YOLO 系列的目標檢測算法，是目前速度和精度平衡得最好的算法，因此本研究選取該網絡進行SLAM 過程中圖像語義信息處理。YOLOv4 網絡采用CSPDarkNet53[19]作為主干網絡提取圖像特征，CSPDarkNet53 是在Darknet53 的每個大殘差塊上加上CSP，共有5 個大殘差塊，每個大殘差塊所包含的小殘差單元個數為1、2、8、8、4。 在特征金字塔部分，使用SPP[20]和PANet[21]，可以有效增加主干特征的感受野，分離最顯著的上下文特征，SPP 對CSPdarknet53 的最后一個特征層進行三次DarknetConv2D＿BN＿Leaky 卷積后，再進行最大池化處理，最大池化的池化核大小分別為13×13、9×9、5×5，完成池化后進行張量拼接并通過1×1 降維到512 個通道，PANet 實現特征的反復提取，在完成特征金字塔從下到上的特征提取后，還需要實現從上到下的特征提取。 分類回歸層采用YOLOv3[22]頭部進行預測輸出，提取三個特征層獲得預測結果，采用MS COCO 數據集進行訓練，輸入圖片大小為608×608，包含80 種不同類別，三個特征層的形狀為(19，19，255)，(38，38，255)，(76，76，255)，最后的維度255 ＝3×85，85 包含了4＋1＋80，分別代表x＿offset、y＿offset、height 和width、置信度、分類結果，網絡結構如圖2 所示。 在預訓練中，訓練步數為500，500，采用階躍衰減學習率調度策略，初始學習率為0.01，在400 000 步和450 000 步分別乘以因子0.1，動量衰減和權重衰減分別設置為0.9 和0.000 5，訓練曲線如圖3 所示。

圖2 YOLOv4 網絡結構

圖3 訓練曲線圖

首先將圖像輸入至YOLOv4，獲取先驗語義信息，即得到目標類別，置信度，所在矩形框的位置及大小，如圖4(a)所示。 根據輸出結果，可大致得到圖像的語義動態區域和語義靜態區域。 語義動態區域即傳統意義上運動目標區域，比如人，動物，汽車等具有主動運動能力的物體類別區域，語義靜態區域即為非語義動態區域。 實際上語義動態區域包含動態物體以外的靜態場景，如圖4(b)所示。 如果在SLAM 算法中直接去除語義動態區域，不利于精確的相機位姿估計，甚至當過多的靜態環境被包含在語義動態區域時，會造成相機定位失敗。 因此有必要進一步對動態物體進行精確判定與劃分。 另外，如果場景中的人并沒有移動就不屬于動態物體或者人坐著的時候轉動椅子，那椅子就也變成運動物體。總之，不能簡單地認為語義動靜態區域就是真實的動靜態區域，也就是說通過YOLOv4 算法得到的語義信息能夠提供先驗知識以及豐富的物體類別信息，但在實際的動靜態判斷上是模糊的，需要結合接下來的特征點光流信息進一步做出準確判斷。

圖4 YOLOv4 目標檢測獲取的語義動靜態區域信息

1.2 ORB 特征點提取與光流計算

為了進行物體動靜態分析同時節約計算成本保證實時性，本研究針對提取的ORB 特征點對其進行光流場計算估計其運動狀態。 ORB 特征點的提取主要分為FAST 角點提取和BRIEF 描述子計算兩部分，具體步驟如下。

①構造圖像金字塔，對金字塔的每一層使用基于四叉樹的均勻提取策略提取FAST 角點，如圖5所示，具體計算過程如下:

第1 步 在圖像中選取像素p，獲取它的亮度，假設為Ip；

第2 步 設置閾值T＝Ip×0.2；

第3 步 遍歷以像素p為中心的半徑為3 的圓上的16 個像素點；

第4 步 設每個遍歷點的亮度為Icp，若存在連續N個點，其Icp＞IP＋T或者Icp＜Ip-T，則認定該點為特征點，本研究中N為12；

第5 步 對圖像中每個像素點執行上述操作。

圖5 FAST 角點計算

②利用灰度質心法，計算FAST 角點旋轉角度，定義圖像的矩為:

式中:I(x，y)FAST 角點(x，y)灰度值，a，b為矩的階次，圖像的質心坐標為:

旋轉角度為:

③計算旋轉后的BRIEF 描述子，選取S×S的窗口W，定義:

式中:I(x)是x處的灰度值，隨機選取n對特征點，生成n維BRIEF 描述子向量:

引入方向因子θ，則特征點的描述子為:

式中:Sθ為定義的一個2×n的矩陣:

由方向因子θ的旋轉矩陣Rθ變換所得，即Sθ＝RθS。

同時對提取的ORB 特征點計算光流場，篩選動態特征點，再將動態特征點與語義信息結合選取動態物體。 如圖6(a)所示，特征點集合Φ＝{λ1，λ2，…，λn}，其中每個λi＝{xi，yi，mi}，(xi，yi)為像素坐標，mi為物體類別信息。 假設灰度不變，運動方式一致且幅度小，任意第i個特征點λi＝(xi，yi)在t時刻的灰度為Ii(xi，yi，ti)，在t＋δt時刻的灰度為Ii(xi＋δxi，yi＋δyi，ti＋δti)，則:

用泰勒公式展開可得:

利用Locas-Kanade 算法，對光流值局部進行調整，假設光流在λi為中心的空間小領域內基本相同，取7×7 個特征點聯立方程進行計算:

這是一個超定線性方程:

利用最小二乘法來求解，可得λi的光流信息為:

如圖6(b)所示。 設[Uj，Vj]T為mj所在矩形區域的背景光流場，根據

計算此區域背景運動速度，式中，k＝1，2，…N為此區域內所有特征點。 利用背景運動速度進行動態特征點篩選，若λk的運動速度滿足

則λk為動態點，本研究中在時間t取1 的情況下ε為13，如圖6(c)所示，進一步地，mj含有的動態特征點的數目大于一定閾值，則mj為動態物體，本研究中提取的特征點數目為1 000，閾值為20，如圖6(d)所示。

圖6 特征提取與光流計算

1.3 基于canny 算子的動態物體邊緣檢測

直接去除動態物體矩形區域則去掉了過多的靜態場景，不利于精確的相機定位與地圖構建。 為了更準確地提取出動態物體的輪廓，本研究采用canny 算子對篩選出的動態物體(如圖7(a)所示)進行邊緣檢測，如圖7(b)所示。 canny 算子屬于二階微分算子，通過給定圖像邊緣處的二階導數零點來提取圖像的邊緣，相比于一階微分算子提取的邊緣更細，連續性更好，不容易受噪聲的干擾，而且使用兩種不同的閾值分別檢測強邊緣和弱邊緣，能夠檢測到真正的弱邊緣。 具體步驟如下。

①消除圖像噪聲。 首先利用高斯函數對圖像進行平滑處理，設f(x，y)為輸入圖像，g(x，y)為輸出圖像，G(x，y)為高斯函數，定義為:

進行卷積降噪，則:

②計算梯度幅值和方向。 利用高斯濾波之后的圖像，選用合適的梯度算子計算相鄰像素之間一階偏導的有限差分來計算各像素點梯度的大小和方向。

式中:Ax，Ay為Sobel 梯度算子，Ex，Ey為水平和垂直方向的差分，則梯度幅值和方向為

圖7 動態物體邊緣檢測

③過濾非極大值。 在高斯濾波過程中，邊緣有可能被放大了，采用非極大值抑制方法來過濾不是邊緣的點。 若當前計算出的梯度幅值在該點所在領域內，大于沿該點梯度方向上其他相鄰2 個像素點的梯度幅值，則該點屬于可能的邊緣點，否則不是，采取抑制手段，將灰度值設為0。

④雙閥值檢測和連接邊緣。 經過以上步驟的處理僅得到候選邊緣點，再采用上、下閾值的檢測處理來剔除偽邊緣點。 大于上閾值的點都被檢測為邊緣點，小于下閾值的點都被檢測為非邊緣點，介于兩個值之間的點則被檢測為弱邊緣點，如果與確定為邊緣點的像素點鄰接，則判定為邊緣點；否則為非邊緣點。

1.4 基于動態物體剔除的位姿估計與點云地圖構建

1.4.1 基于靜態特征點的位姿估計

在確定了動態物體的準確輪廓之后，剔除分布在動態物體內的動態特征點，僅利用非動態區域的穩定特征點進行更為精確的相機位姿求解，如圖8 所示。設為當前幀c中靜態特征點的像素坐標，利用深度值可得3D空間點坐標

式中:fx，fy為相機焦距，(cx，cy)為相機主點坐標，本研究中fx＝535.4，fy＝539.2，cx＝320.1，cy＝247.6。設參考關鍵幀k，當前幀c和參考關鍵幀k之間相機的位姿變換矩陣:

圖8 位姿估計過程運行圖

式中:為旋轉矩陣，為平移向量，則空間坐標點對應參考關鍵幀的空間坐標點

將投影至參考關鍵幀k的圖像平面得到其投影的像素坐標

式中:ω(·)為投影函數。 通過特征匹配知道在參考關鍵幀k中匹配點，對關鍵幀中所有特征點構造重投影誤差函數:

利用迭代非線性優化算法進行求解，每次迭代使用李代數ζ∈se(3)作為位姿的擾動量進行優化，左乘對位姿進行更新:

采用列文伯格-馬夸爾特方法作為梯度下降策略，求解過程中重投影誤差對于位姿增量的雅可比矩陣為:

式中:ex和ey分別為重投影誤差在橫縱方向的梯度值，求解所得的(R，t)即為相機位姿變換。

1.4.2 剔除動態物體的靜態環境點云地圖構建

構建環境3D 點云地圖，能夠更好地提供環境可視化。 利用點云攜帶的語義信息則能為機器人導航避障提供依據。 在構建點云時，若位姿存在較大誤差，會造成地圖出現明顯的交錯重疊，不利于導航。 利用剔除了動態物體之后的點云進行疊加，能有效解決這個問題。

利用ORB＿SLAM2 算法獲得關鍵幀，將所有關鍵幀的點云進行疊加，太過繁復冗余，可通過精簡關鍵幀數量進一步提高建圖的效率。 在關鍵幀篩選的過程中，考慮以下兩個策略:①關鍵幀有效性判斷。若被剔除的點云面積超過當前關鍵幀面積的一半，則認為該關鍵幀包含的有效信息不足，不參與疊加。②關鍵幀冗余性判斷。 能被多個關鍵幀觀測到的特征點，稱為多個關鍵幀的共視地標點。 對當前關鍵幀觀測到的共視地標點做檢測，假設已確定的繪圖關鍵幀集合為F，觀測到的地標點集合為L，當前關鍵幀觀測到的地標點集合Lc，若L∩Lc的數量超過Lc的一半，則認為當前關鍵幀包含過多共視地標點，信息冗余，不參與疊加。

滿足以上兩個條件，則更新F以及L，這樣既能保證引入新的點云信息又能保證有足夠多的靜態環境信息，運行過程中跟蹤的關鍵幀如圖9 所示。

圖9 跟蹤的關鍵幀

2 實驗與分析

本節采用TUM-RGBD 數據集以及其提供的測評工具從位姿估計誤差和點云地圖構建兩方面對系統綜合能力進行評估，并與ORB＿SLAM2 以及DynaSLAM(N)僅使用MASK-RCNN 進行動態物體分割的方法對比。 為了檢驗動態物體的處理對SLAM算法的影響，選取dynamic objects 分類下的walking序列進行實驗。 此序列為兩個人在辦公桌周圍運動行走，halfsphere、rpy、xyz、static 分別表示Asus Xtion傳感器在拍攝過程中的運動方式。

2.1 位姿估計誤差實驗

本實驗首先在數據集的四個高動態序列上進行測試，獲取本文系統的估計軌跡，再使用位姿估計評估工具計算估計軌跡與真實軌跡之間的絕對軌跡誤差(absolute trajectory erro，ATE)來進行評估，并與ORB＿SLAM2 以及DynaSLAM(N)的運行結果進行比較。 ATE 統計對比結果如表1 所示，其中:RMSE為比對數據之間的均方根誤差，Mean 為平均誤差，Median 為中值誤差，std 為標準偏差。

由表1 可以看出，由于本文算法增加了動態物體處理，并能較為準確的檢測出動態物體區域，大大減小了軌跡誤差，定位精度明顯優于ORB＿SLAM2，與DynaSLAM 對比在半球面運動、rpy 運動和靜止序列中稍有提升，但是DynaSLAM 是采用MASKRCNN 實例分割算法提取場景中動態物體的語義信息，運行速度較慢，實時性不是太好。 ORB＿SLAM2與本文算法得到的估計軌跡與真實軌跡之間的誤差如圖10 所示，圖中黑線為真實軌跡，藍線為估計軌跡，紅線為兩者之間的誤差。 從圖中可以看出，本文算法的誤差明顯減少。

表1 動態環境下的ATE 統計對比

圖10 ORB＿SLAM2 算法與本文算法的軌跡對比

2.2 點云地圖構建實驗

本實驗采用ORB＿SLAM2 和本文算法在以上四個高動態序列中運行得到的位姿估計數據以及關鍵幀進行點云地圖疊加，疊加過程中考慮關鍵幀的冗余性和有效性。 如圖11 所示，實驗表明剔除動態物體的點云地圖能有效改善地圖重疊交錯的現象，構建動態場景中較為準確的靜態環境圖，大大提高地圖可讀性。

圖11 ORB＿SLAM2 算法與本文算法的點云地圖對比

本實驗在配置為Intel Xeon E5-2600 V3 CPU，RTX2080TI GPU，16G 內存，11G 顯存的服務器上進行，ORB＿SLAM2 平均速度為32 幀/s，目標檢測線程平均速度為51 幀/s，slam 與目標檢測并行進行，增加光流信息計算以及邊緣檢測后總平均速度為25幀/s，可以到達實時性要求。

3 結論

本文利用目標檢測網絡YOLOv4 從語義上獲取圖像的動靜態信息，再聯合特征點光流信息識別真正運動的物體，并使用canny 算子提取動態物體的輪廓邊緣，從而獲得圖像較為準確的動態區域，僅利

用動態區域以外的靜態特征點構造重投影誤差函數進行相機位姿求解，在構建環境點云地圖時，對關鍵幀的冗余性和有效性加以判斷，疊加其點云信息，構建動態環境下剔除了動態物體的點云地圖，保證實時性的同時提高精度。 在TUM 數據集中，本文系統與ORB＿SLAM2 進行對比，定位精度大大提升，點云地圖可讀性明顯增強。