基于深度學習的語義SLAM關(guān)鍵幀圖像處理

鄧 晨 ，李宏偉，張 斌，許智賓，肖志遠

1. 鄭州大學信息工程學院，河南 鄭州 450052； 2. 鄭州大學地球科學與技術(shù)學院，河南 鄭州 450052； 3. 鄭州大學水利科學與工程學院，河南 鄭州 450001

隨著人工智能應用的進步與深度學習的興起，在同時定位與地圖構(gòu)建(simultaneous localization and mapping，SLAM)中加入機器學習的思想已然成為探索未知環(huán)境自主建圖方面極有潛力的研究點。文獻[1]提出了HOG算子作為特征，并選擇支持向量機(SVM)當作試驗過程中的分類器，從而進行運動中的行人個體檢測，2012年之前，目標檢測與識別的過程是采用人工的方式進行圖像特征的訓練，再選擇一種分類器以完成最終的分類任務。經(jīng)典的物體目標檢測任務通常具有3個關(guān)鍵點：①在圖像中標記出一定數(shù)量不同的候選區(qū)；②對標出的候選區(qū)進行特征的提取工作；③采用高效的分類器完成分類任務。

伴隨深度學習算法和技術(shù)的迅速發(fā)展，結(jié)合卷積神經(jīng)網(wǎng)絡的目標檢測算法在大多數(shù)場景下均具有良好的檢測效果和較強的實時性能。近年來，有學者嘗試將融合了深度學習算法的目標檢測技術(shù)加入視覺SLAM算法過程中，進行實例級的語義建圖。文獻[2]提出一種實例級的語義地圖構(gòu)建方法，利用SSD目標檢測和3D點云分割算法完成幀間目標的檢測和數(shù)據(jù)關(guān)聯(lián)，構(gòu)建實例級的語義地圖。文獻[3]設計了一種基于YOLOv3目標檢測算法的語義地圖構(gòu)建方案，通過YOLOv3目標檢測和GrabCut點云分割法實現(xiàn)實例級的語義建圖。文獻[4]提出一種實時的移動機器人語義地圖構(gòu)建系統(tǒng)，利用不同幀之間特征點的匹配關(guān)系完成物體之間的目標關(guān)聯(lián)，最終構(gòu)建增量式的語義地圖。文獻[5]提出了基于Faster R-CNN網(wǎng)絡的多物體檢測，利用單獨的RPN網(wǎng)絡進行區(qū)域選擇，并結(jié)合Fast R-CNN網(wǎng)絡對不同區(qū)域進行分類和回歸實現(xiàn)對多物體的檢測。文獻[6]提出了基于單次拍攝多邊界框檢測(SSD)的目標檢測算法，這種算法能夠一步到位地預測出物體的類別，速度更快且效率更高。相較于Faster R-CNN網(wǎng)絡，該算法沒有基于RPN的區(qū)域選擇部分，因此提高了檢測速度。然而，上述目標檢測算法只能獲取物體的矩形框，不能很好地實現(xiàn)對物體邊界進行精準分割。文獻[7]提出了目標實例分割框架Mask R-CNN，其算法框架的創(chuàng)新來源于Faster R-CNN，算法的思路是在Faster RCNN算法中邊界框之外補充了一個分支部分，這個模塊的主要作用是計算生成目標對象的掩碼，從而實現(xiàn)像素級別的物體分割。文獻[8]是一個實時分割、跟蹤和重建多個物體的語義SLAM框架，通過結(jié)合基于條件隨機場的運動分割和語義標簽來對圖像進行實例化的分割，實現(xiàn)重建實例級的語義地圖。Mask-Fusion[9]采用了類似的策略，不同的是Mask-Fusion選擇直接使用Mask R-CNN算法的網(wǎng)絡結(jié)構(gòu)，完成關(guān)鍵幀目標中的語義分割任務，從而獲得實例對象的語義信息，最后通過文獻[10]中的算法對目標實例進行跟蹤并同時構(gòu)建實例級語義地圖。以上工作結(jié)合深度學習算法和視覺SLAM技術(shù)對采集的圖像或視頻幀進行目標檢測、幀間目標跟蹤和語義地圖構(gòu)建，實現(xiàn)了實例級的語義SLAM算法。然而總覽已有的各種開源系統(tǒng)，并未發(fā)現(xiàn)有科研團隊及人員將最新ORB-SLAM3系統(tǒng)進行創(chuàng)新融合或改進，大部分研究和試驗僅結(jié)合了前代經(jīng)典ORB-SLAM系統(tǒng)，因此缺乏應用的豐富度和創(chuàng)新性。本文聚焦于最新深度學習與視覺SLAM系統(tǒng)的融合框架構(gòu)建，完成了新系統(tǒng)中涉及的算法優(yōu)化和改進，提升SLAM技術(shù)的應用豐富性，擴展了其應用范圍。

本文針對經(jīng)典SLAM系統(tǒng)的前端視覺里程計部分，在暴力匹配的基礎上使用RANSAC[11]對去除產(chǎn)生的誤匹配并通過試驗驗證了此方法的可行性；提出一種基于Lucas-Kanade光流法[12]的相鄰幀特征狀態(tài)判別法；采用YOLOV4[13]目標檢測算法和融合全連接條件隨機場CRF[14]的Mask R-CNN語義分割算法對ORB-SLAM3[15]中的關(guān)鍵幀的圖像處理。最后，將以上兩部分作為獨立的新線程中融入ORB-SLAM3系統(tǒng)中，形成一個優(yōu)化改進后的完整視覺框架。

1 融合語義信息的ORB-SLAM3系統(tǒng)設計

1.1 基于特征點法的視覺里程計

ORB-SLAM是一種使用ORB特征點實現(xiàn)同時定位與制圖的方法模型，ORB-SLAM3是在ORB-SLAM系統(tǒng)的基礎上經(jīng)過了兩次方法迭代，實現(xiàn)了集視覺SLAM、視覺慣導融合SLAM以及混合地圖的開源SLAM系統(tǒng)，并且支持多種視覺傳感器。基于特征法的視覺里程計充分利用了圖像中特征點對光照強度和環(huán)境尺度的穩(wěn)健性，并且得益于眾多成熟的特征匹配[16]算法，是目前視覺SLAM中穩(wěn)健性較高的視覺里程計的主流方法。

特征匹配是通過在相鄰兩個圖像幀之間比較特征點描述子的方法實現(xiàn)SLAM問題中數(shù)據(jù)關(guān)聯(lián)和運動跟蹤。通過特征匹配可以在相鄰圖像幀之間得到正確的匹配點對，有利于提高SLAM系統(tǒng)位姿估計的精度。由于特征點僅僅是圖像中局部灰度值變化較大的像素點，將會導致在特征匹配的過程中產(chǎn)生一些誤匹配，影響SLAM系統(tǒng)的位姿估計精度。因此，去除誤匹配是實現(xiàn)特征匹配的一項重要工作。

由圖1可以看出，暴力匹配得到較多的匹配點對，同時也存在較多的誤匹配點對。而且當圖像中特征點的數(shù)量較多時，使用暴力匹配將會占用較多的計算資源。對于誤匹配可以使用快速近似最近鄰[18](FLANN)、隨機一致性采樣(RANSAC)等方法進行誤匹配的剔除，得到正確的特征匹配點對。本文使用RANSAC方法進行誤匹配的剔除。采用ORB特征和RANSAC算法進行剔除誤匹配后的結(jié)果如圖2所示。

圖1 暴力匹配Fig.1 Schematic diagram of violence matching

圖2 改進后的匹配結(jié)果Fig.2 The improved matching result

1.2 ORB-SLAM3系統(tǒng)概述

ORB-SLAM3是第1個能夠用單目、立體和RGB-D相機，并使用針孔和魚眼鏡頭模型進行視覺慣性和多地圖SLAM的系統(tǒng)，主要創(chuàng)新表現(xiàn)在兩個方面：①它是一個基于特征的緊密集成視覺慣性SLAM系統(tǒng)，它完全依賴于最大后驗概率估計，包括在IMU[19]初始化階段也是如此；②它是一個多地圖系統(tǒng)，依賴于一種新的位置識別方法和改進的召回，這種改進方法使得ORB-SLAM3能夠長時間在較少視覺信息的環(huán)境下運行，當保存的地圖丟失時，它會啟動一個新的地圖，然后在重新訪問地圖區(qū)域時，將其與以前的地圖無縫地合并。

之前已被廣泛應用的ORB-SLAM2由3個平行的線程組成、跟蹤、局部建圖和回環(huán)檢測。在一次回環(huán)檢測后，會執(zhí)行第4個線程，去執(zhí)行BA優(yōu)化。跟蹤線程在雙目或RGB-D輸入前進行，剩下的系統(tǒng)模塊能夠與傳感器模塊獨立運行。相比ORB-SLAM2系統(tǒng)，ORB-SLAM3新增部分如下。

(1) 地圖集。如圖3所示，地圖集包括一系列分離的地圖組成的多地圖表示，包括活動地圖和非活動地圖。活動地圖表示當前位置的地圖，跟蹤線程向其中傳入圖像幀，并由局部建圖線程不斷優(yōu)化及增加新的關(guān)鍵幀擴大規(guī)模，其他地圖為非活動地圖。

圖3 ORB-SLAM3經(jīng)典框架Fig.3 ORB-SLAM3 classic framework

(2) 跟蹤線程。判斷當前幀是否為關(guān)鍵幀；實時處理傳感器信息并計算當前姿態(tài)；最大限度地減少匹配地圖特征的重投影誤差；通過加入慣性殘差來估計物體速度及慣性測量單元偏差。

(3) 局部建圖線程。將關(guān)鍵幀和地圖點添加到活動地圖，刪除多余關(guān)鍵幀，并使用視覺或視覺慣性BA優(yōu)化[20]地圖。另外此線程也包括慣性情況下，利用地圖估計初始化和優(yōu)化IMU參數(shù)。

(4) 回環(huán)和地圖融合線程。基于關(guān)鍵幀的速度，對地圖集中的活動地圖和非活動地圖進行相似性度量。每當建圖線程創(chuàng)建一個新的關(guān)鍵幀時，就會啟動位置識別，嘗試檢測與地圖集中已經(jīng)存在的任何關(guān)鍵幀的匹配。

1.3 基于Lucas-Kanade光流的動態(tài)物體判別法

1.3.1 Lucas-Kanade光流

在Lucas-Kanade光流(圖4)中，可以把相機采集到的圖像當作是關(guān)于時間的函數(shù)，在圖像中位于坐標(x,y)出的像素點在t時刻的灰度值可以寫成I(x,y,t)。圖像中t時刻位置為(x,y)的像素點，在t+1時刻它在圖像中的位置將會變?yōu)?x+dx,y+dy)，而這兩個位置的像素灰度值應該是相同的，即I(x+dx,y+dy,t+dt)=I(x,y,t)。

圖4 Lucas-Kanade光流Fig.4 Lucas-Kanade optical flow

由于灰度不變，則有

I(x+dx,y+dy,t+dt)=I(x,y,t)

(1)

對左邊進行泰勒展開，保留一階項，得

I(x+dx,y+dy,t+dt)≈

(2)

由于有灰度不變假設[21]這個前提條件，于是下一個時刻的灰度等于之前的灰度，從而

(3)

兩邊同除以dt，得

(4)

(5)

式中，Ix是像素點在圖像中x方向的梯度；Iy是像素點在圖像中y方向的梯度。

當t取離散時刻時，通過多次迭代運算后就可以估計部分像素在若干個圖像中出現(xiàn)的位置，從而實現(xiàn)像素點得跟蹤。

1.3.2 相鄰幀特征狀態(tài)判別法

為了在室內(nèi)場景中相鄰圖像幀間進行動態(tài)特征的檢測和辨別，本文設計了一種基于Lucas-Kanade光流的幀間特征狀態(tài)判別法：首先，采用光流法進行特征匹配，獲得匹配點的像素坐標；然后，根據(jù)相機模型得到上一幀相機坐標系下空間點的三維坐標，之后利用坐標變換求出該空間點在下一幀相機坐標系下的三維坐標，再進行投影變換得到該空間點在下一幀圖像中的像素坐標；最后，計算匹配點與投影點間的距離。認定當該距離超過閾值時，判定此特征點為動態(tài)點，即特征狀態(tài)發(fā)生了改變。

這里記p1、p2為一對匹配正確的點對，它們在圖像中的像素坐標記為

(6)

根據(jù)相機模型，恢復得到上一幀圖像中相機坐標系下空間點的三維坐標P

(7)

利用坐標變換，可得空間點在下一幀相機坐標系下的三維坐標P′

P′=TP

(8)

(9)

若距離d大于一定閾值時，即可判定此特征點為動態(tài)點。具體算法過程如圖5所示。

1.4 語義信息的融合

在本文涉及的視覺SLAM范圍內(nèi)，語義信息反映的是圖像中特征點屬于不同事物類別的概率情況，語義信息獲取的途徑是采用計算機視覺技術(shù)對圖像內(nèi)容進行檢測并識別。在對圖像的語義信息進行捕捉和提取時， 有多種相互關(guān)聯(lián)又存在一定區(qū)別的任務，本文僅對比目標檢測、語義分割和實例分割3種任務過程，如圖6所示。

圖5 基于Lucas-Kanade光流的幀間特征狀態(tài)判別法Fig.5 Inter-frame feature state discrimination method based on Lucas-Kanade optical flow

以圖6為例，目標檢測的主要過程是檢測出圖中所包含的人和動物，再對其進行逐個標注，然后用矩形框圈出以展示其邊界所在；語義分割是實現(xiàn)對人和動物像素級的分類任務， 為了更為直觀地展示分割效果，通常使用不同的顏色對其進行填充和覆蓋；而實例分割則能夠具體標出每只羊，并且精確到每個羊?qū)嶓w的邊緣，而不是將圖像中的所有羊視為一個整體進行定位和分類。

目標檢測、語義分割和實例分割這3種方法均可為經(jīng)典的視覺SLAM系統(tǒng)及建圖結(jié)果提供較豐富的語義信息，因此本文研究在ORB-SLAM3的3個線程基礎之上加入了兩個線程，分別是動態(tài)特征檢測線程和圖像處理線程，語義信息與傳統(tǒng)ORB-SLAM3的融合系統(tǒng)架構(gòu)如圖7所示。動態(tài)特征檢測線程位于圖像IMU輸入端與跟蹤線程之間，該線程首先采用RANSAC算法完成了剔除特征匹配過程中產(chǎn)生的誤匹配點，隨后結(jié)合Lucas-Kanade光流設計了相鄰幀特征狀態(tài)判別法，以實現(xiàn)在室內(nèi)場景中對相鄰圖像幀間進行動態(tài)特征的檢測和辨別，從而減輕動態(tài)特征點對前端視覺里程計的干擾和影響程度。圖像處理線程則接收來自跟蹤線程篩選出的關(guān)鍵幀，采用基于深度學習的YOLOV4目標檢測算法對關(guān)鍵幀語義信息進行分類和標注，然后運用基于Mask-RCNN和CRF的算法策略對圖像進行語義分割和邊緣優(yōu)化操作，最后將經(jīng)過圖像處理線程后的圖像映射到經(jīng)閉環(huán)優(yōu)化后的點云地圖上進行語義融合，最終形成一張完整的三維語義點云地圖。

圖6 圖像識別的3種類型[22]Fig.6 Three types of image recognition[22]

1.5 基于深度學習的室內(nèi)場景圖像檢測與分割

1.5.1 Mask R-CNN算法

從網(wǎng)絡結(jié)構(gòu)上來看，相比于Faster R-CNN，Mask R-CNN增加了一個用于預測Mask的模塊，Mask的作用是為輸入的目標對象添加編碼，采用正方形的矩陣對每一個ROI[23]進行預測，這是為了維持ROI中的信息完整且避免發(fā)生丟失。

Mask-RCNN使用Resnet101作為主干特征提取網(wǎng)絡，對應著圖8中的CNN部分。ResNet101有兩個最基礎的模塊，分別為Conv Block和Identity Block[24]，二者的結(jié)構(gòu)如圖9和圖10所示，Identity Block輸入和輸出的維度是相同的，因此可以串聯(lián)多個；而Conv Block輸入和輸出的維度是不相同的，因此不能連續(xù)串聯(lián)，原因是它的作用就是為了改變特征向量的維度[25]。

1.5.2 YOLOV4算法

YOLO是一個能實現(xiàn)端到端目標檢測的算法，算法內(nèi)部僅包含一個獨立的卷積網(wǎng)絡模型(如圖11所示，效果圖來自開源目標檢測算法試驗)。YOLO算法經(jīng)過了多次迭代，如今已經(jīng)發(fā)展到Y(jié)OLOV4，其作為前代版本YOLOV3的改進版，在YOLOV3的基礎上增加了非常多的細節(jié)技巧，并且很好地結(jié)合了速度與精度。且實際效果上，YOLOV4在YOLOV3的基礎上，保證FPS不下降的情況下，使mAP提升到了44%(在MS COCO數(shù)據(jù)集上的驗證)。

圖7 融合語義信息的ORB-SLAM3系統(tǒng)架構(gòu)Fig.7 ORB-SLAM3 system architecture integrating semantic information

圖8 Mask-RCNN網(wǎng)絡結(jié)構(gòu)Fig.8 Mask-RCNN network structure

圖9 Conv Block結(jié)構(gòu)Fig.9 Conv Block structure

YOLOV3采用的是Darknet53結(jié)構(gòu)，它由一系列殘差網(wǎng)絡[26]構(gòu)成，在Darknet53中存在一個resblock_body模塊，它由一次下采樣和多次殘差結(jié)構(gòu)的堆疊構(gòu)成，而在YOLOV4中，其對該部分進行了一定的修改：①將DarknetConv2D的激活函數(shù)由LeakyReLU修改成了Mish，卷積塊由DarknetConv2D_BN_Leaky變成了DarknetConv2D_BN_Mish；②將resblock_body的結(jié)構(gòu)進行修改，使用了CSPnet結(jié)構(gòu)。此時YOLOV3當中的Darknet53被修改成了CSPDarknet53，則當輸入是608×608時，其特征結(jié)構(gòu)如圖12所示。

圖10 Identity Block結(jié)構(gòu)Fig.10 Identity Block structure

圖11 YOLOV4算法實現(xiàn)[25]Fig.11 YOLOV4 algorithm implementation[25]

圖12 YOLOV4網(wǎng)絡結(jié)構(gòu)Fig.12 YOLOV4 network structure

YOLOV4的CIOU將目標對象與錨框間的距離、覆蓋率及懲罰類都加入了計算結(jié)果的范圍內(nèi)，使得目標框的回歸計算更加精準，而不會如IOU或GIOU一般出現(xiàn)訓練過程無法收斂的情況，CIOU公式如下

(10)

式中，ρ2(b,bgt)分別為預測框和真實框的中心點的歐氏距離；c為能夠同時包含預測框和真實框的最小閉包區(qū)域的對角線距離；α是權(quán)重函數(shù)；影響因子αv把預測框長寬比擬合目標框的長寬比考慮進去。α和v的公式如下

(11)

(12)

則對應的LOSS為

(13)

2 目標檢測和語義分割試驗

2.1 試驗環(huán)境及數(shù)據(jù)集

試驗環(huán)境：處理器為Intel(R) Core(TM)i7-8700 CPU @3.20 GHz，配有8 GB RAM和Windows10系統(tǒng)，硬盤容量1TB SSD，配置Tensorflow的深度學習框架、OpenCV及其他依賴庫。本文試驗基于Windows平臺，通過Python語言編程實現(xiàn)，應用深度學習框架Tensorflow作為后端的Keras搭建網(wǎng)絡模型，下載安裝對應版本的CUDA和CUDNN。

試驗數(shù)據(jù)集：MS COCO[27]數(shù)據(jù)集，其來自微軟2014年出資標注的Microsoft COCO數(shù)據(jù)集，它是一個體量巨大且內(nèi)容豐富的用于物體檢測分割的數(shù)據(jù)集。該數(shù)據(jù)集注重對環(huán)境內(nèi)容的理解，全部從復雜的日常環(huán)境中獲取，圖像中目標對象的標定是采用精準分割確定的具體位置。COCO數(shù)據(jù)集平均每張圖片包含3.5個類別和7.7個實例目標，僅有不到20%的圖片只包含一個類別，僅有10%的圖片包含一個實例目標。因此，COCO數(shù)據(jù)集不僅數(shù)據(jù)量大，種類和實例數(shù)量也多。

2.2 評價指標

對于多分類目標檢測模型而言，分別計算每個類別的TP(true positive)、FP(false positive)及FN(false negative)的數(shù)量。TP代表預測框分類預測正確并且CIOU大于設定閾值的預測框數(shù)量；FP代表預測框與真實框分類預測錯誤或者分類預測正確但是兩者CIOU小于閾值的預測框數(shù)量；FN代表未被預測出來真實框的數(shù)量。

精確率Precision代表預測框中預測正確的比例，公式如下

(14)

召回率Recall代表所有真實框中被預測出的比例，公式如下

(15)

AP代表某一分類的精度，即在0～1之間所有Recall值對應的Precision的平均值。mAP代表多分類檢測模型中所有類別的AP均值，mAP的值越大，表示該模型的定位與識別的準確率越高。mAP50表示當檢測框與目標框CIOU值大于0.5時，算正類樣本，本文的評價均使用mAP50作為評價指標來判別模型的效果。

2.3 YOLOV4目標檢測試驗結(jié)果分析

試驗采用經(jīng)典目標檢測數(shù)據(jù)集對YOLOV4模型進行訓練并得到訓練權(quán)重，然后對使用ORB-SLAM3系統(tǒng)跟蹤線程處理過的關(guān)鍵幀圖像進行目標檢測，得到的結(jié)果如圖13所示，可以看出室內(nèi)場景的檢測效果更好，關(guān)鍵幀中的每個對象擁有更高的置信度。

表1 目標檢測試驗分析

室外圖像的平均精度值mAP1值為0.810，室內(nèi)圖像的平均精度值mAP2值為0.900，可以認為YOLOV4模型算法對室內(nèi)場景下采集到的關(guān)鍵幀圖像目標檢測試驗效果更好。

圖13 室內(nèi)外目標檢測試驗Fig.13 Indoor and outdoor target detection experiment

2.4 Mask R-CNN語義分割試驗結(jié)果分析

為了更好地完成對關(guān)鍵幀圖像的語義分割試驗，本節(jié)專門針對圖像中物體的分割邊緣進行了優(yōu)化策略，即融合全連接條件隨機場CRF的Mask R-CNN算法。在傳統(tǒng)研究中，全連接條件隨機場CRF通常被用于優(yōu)化并完善帶有部分噪聲的分割圖像，全連接條件隨機場的能量函數(shù)為

(16)

(17)

試驗首先將數(shù)據(jù)集放在系統(tǒng)中一個具體目錄下，下載MS COCO 2012數(shù)據(jù)集，并對Mask R-CNN網(wǎng)絡進行預訓練，得到卷積神經(jīng)網(wǎng)絡的初始權(quán)重；然后運行train.py，使用數(shù)據(jù)集對網(wǎng)絡進行訓練，訓練后的網(wǎng)絡權(quán)重；在預測階段，使用訓練后的Mask R-CNN模型融合全連接條件隨機場CRF對使用ORB-SLAM3系統(tǒng)跟蹤線程處理過的關(guān)鍵幀圖像進行語義分割，得到的結(jié)果如圖14其中虛線部分是預測的物體的邊界框，同時在上方標出了每個物體標示出的類別名稱和置信度，圖14分別對比了室內(nèi)外場景下融合全連接條件隨機場CRF的語義分割和未融合的分割效果，可以明顯看出目標對象邊緣的細節(jié)部分當屬融合算法的效果更好。

同樣觀察mAP的值對試驗結(jié)果進行分析和評價，則對于所有檢測對象類，分析結(jié)果見表2。

表2 語義分割試驗分析

最終融合后的分割mAP值為0.929，大于未融合算法的mAP，則可認為融合后的Mask R-CNN模型算法對采集到的關(guān)鍵幀圖像語義分割效果更好且精度更高。

3 結(jié) 語

本文針對經(jīng)典SLAM系統(tǒng)的前端視覺里程計部分，完成基于RANSAC算法的剔除誤匹配點試驗，驗證其良好的匹配和優(yōu)化效果；研究ORB-SLAM3系統(tǒng)的各個線程模塊后提出一種基于Lucas-Kanade光流法的相鄰幀特征狀態(tài)判別法；使用YOLOV4目標檢測算法和融合全連接條件隨機場CRF的Mask R-CNN語義分割算法對ORB-SLAM3中的關(guān)鍵幀圖像進行處理，將以上兩部分作為兩個獨立的新線程中融入ORB-SLAM3系統(tǒng)中，形成一個優(yōu)化改進后的完整視覺框架。

最終的試驗結(jié)果表明本文提出的改進算法對關(guān)鍵幀圖像的處理精度較高，且每個對象的語義標注效果較好，極大程度地豐富了圖像語義信息。在此基礎之上的研究可以更好地進行三維點云語義地圖的構(gòu)造與建立，有效提高機器人等智能設備對室內(nèi)環(huán)境的感知能力。