基于語義建圖的室內機器人實時場景分類*

張 文, 劉 勇, 張超凡, 張 龍, 夏營威

(1.中國科學院 合肥物質科學研究院 應用技術研究所,安徽 合肥 230031；2.中國科學技術大學 科學島分院,安徽 合肥 230026)

?

基于語義建圖的室內機器人實時場景分類*

張 文1,2, 劉 勇1, 張超凡1,2, 張 龍1, 夏營威1

(1.中國科學院 合肥物質科學研究院 應用技術研究所,安徽 合肥 230031；2.中國科學技術大學 科學島分院,安徽 合肥 230026)

針對室內環境下的機器人場景識別問題,重點研究了場景分類策略的自主性、實時性和準確性,提出了一種語義建圖方法。映射深度信息構建二維柵格地圖,自主規劃場景識別路徑；基于卷積網絡建立場景分類模型,實時識別脫離特定訓練；利用貝葉斯框架融合先驗知識,修正了錯誤分類并完成語義建圖。實驗結果表明：機器人能夠進行全局自主探索,實時判斷場景類別,并創建滿足要求的語義地圖。同時,實際路徑規劃中,機器人可以根據語義信息改善導航行為,驗證了方法的可行性。

自主建圖； 卷積網絡； 貝葉斯框架； 語義地圖

0 引 言

針對室內非結構化環境,移動機器人不僅需要局部避障和自主導航能力,更需要自適應的環境理解能力[1]。相對傳統同時同步與定位(simultaneous localization and mapping,SLAM)解決的定位問題,機器人需及時提取場景中語義信息,從而協助高層決策過程,達到減弱人為干涉及指導機器人行為的目的[2]。目前,場景分類主要通過語義標簽賦予環境,并結合語義地圖實現[3,4]。

非結構化環境的感知側重于視覺語義,而場景理解的提出,推動了該領域的發展。Wu J[5]和Ranganathan A等人[6]利用不同的特征檢測方法訓練并分類房間,但空間視覺相似性較大；Pronobis A等人[2]融合二維激光雷達和相機實現場景分類系統,創建柵格地圖并積累語義標簽,雖然訓練集和測試集使用不同樓層,相似性依然較大；Meger D等人[7]通過檢測物體進而推斷當前場景的語義信息,例如微波爐更有可能位于廚房；上述算法均基于特征提取,耗時且需要離線訓練。近年來,在物體識別和檢測領域,利用卷積神經網絡獲取學習特征成為新的趨勢。很多學者意識到深度卷積網絡較于經典方法的優越性[8,9],而Zhou B等人[10]更是驗證了卷積神經網絡在場景分類中的先進性。

本文引入深度卷積網絡算法,重點研究了場景分類策略的自主性、實時性和準確性,構建了一種機器人語義建圖綜合系統,并應用于中國科學院貝貝機器人本體,旨在實現室內環境下的自主場景識別功能。

1 基于語義建圖的場景分類策略

場景分類策略流程如圖1所示,僅依靠RGB數據(RGBD)實現,首先通過映射深度信息構建柵格地圖,自主規劃場景識別路徑；其次基于深度學習建立場景分類模型,實時識別脫離特定訓練；最后利用貝葉斯估計融合先驗知識,修正錯誤分類并完成語義建圖。

圖1 場景分類策略流程

1.1 自主規劃探索路徑

1.1.1 深度信息映射激光數據

語義地圖結構需建立于傳統二維柵格地圖之上,本文在各室內場景中,采用穩定的Gmapping方法結合里程計和激光雷達實現。由于采用RGBD相機進行物體識別,且激光雷達價格昂貴,故將信息豐富的深度數據轉換以代替激光數據。

深度圖變換激光數據的方法實質是將一定高度范圍內的數據進行投影,其原理如圖2所示。對任意給定的深度圖像點,相應的映射步驟為：

1)將深度圖像的點m(u,v，z)轉換為其相機坐標系下的對應坐標點M(x,y,z)。

2)計算直線AO和BO的夾角θ

(1)

3)將θ內數據映射至有效激光槽。已知激光最小最大范圍(α,β),共細分為N份,則可用laser[N]表示激光數據。點M投影到數組laser中的索引值n可計算如下

n=N(θ-α)/(β-α)

(2)

laser[n]值為M在x軸上投影的點B到相機光心O的距離r,即

(3)

圖2 深度映射激光原理

1.1.2 未知環境自主全局探索

移動機器人在未知環境中自主探索主要通過傳感器構建地圖,并根據信息生成序列運動從而指導機器人進行遍歷搜索。文中采用環境通路點拓撲圖(圖3),考慮路徑優化、運動連續性等因素,最終完成機器人全局探索目標。

圖3 環境通路點示意

自主探索時,機器人根據激光數據確定當前最優通路點,從而實時規劃每次下一步目標路徑,直至完成全局遍歷并構建環境地圖。其相關搜索步驟為：

1)若環境中不存在可用通路點,且l(O,T)≤λ,搜索停止；否則,機器人移動至原點O,其中，T為當前拓撲節點。

2)通過式(4)評價函數計算當前通路點,選擇最大值為此刻目標點,同時添加至當前拓撲節點T,并更新地圖，即

φp=(Wp×Ep×|θp-θr|)/Lp

(4)

式中 Wp為點P相鄰障礙物間可通過的寬度;Ep為點P處可觀測的未知環境面積;θp為點P指向的未探索區域方向;θr為機器人當前方向角;Lp為機器人與點P距離。

3)判斷當前拓撲節點T是否存在通路點,若有,則跳至步驟(2);若沒有，且環境中也不存在尚未探索的通路點,則跳至步驟(1);若沒有，但環境中存在尚未探索的通路點,則回溯到最近的尚未探索的拓撲節點處。

1.2AlexNet實時分類模型

采用ZhouB等人[10]發布的Places205卷積網絡建立分類模型,該網絡沿用AlexNet結構且特別訓練用于場景分類任務。Places205包含205個固定的已知場景類,通過大數據訓練而得。其中,各語義類訓練不少于5 000幅圖像,采用人工方式區分標記。由于數據的多樣性和差異性,確保了分類器訓練結果的通用性和穩定性。因此,對于未知環境,無需再次訓練和調整參數,有助于移動機器人實時創建語義地圖。

1.3 基于概率分布的語義建圖

1.3.1 融合先驗知識的貝葉斯估計

本文將室內語義場景分類解釋為概率估計問題,定義已知場景類標簽集合為

(5)

由于n服從正態分布,故相應的似然函數可表示為

(6)

式中p(ωi|Xt)為第t幅圖像相對場景i類的離散概率分布;ωi之間相互獨立。

相機獲取的前后兩幅圖像具有連續時間戳,該特性可利用貝葉斯估計方法。文獻[11]證明了當上述估計問題滿足一階馬爾科夫屬性時,將得到更為一致的場景類判斷結果。假設具有一階馬爾科夫屬性,將獲取以下貝葉斯估計公式

(7)

(8)

1.3.2 三維語義場景地圖

圖4為本文語義地圖結構,最下層為常規占用柵格,較高層次的柵格單元通過語義類別進行編碼,各層代表不同場景類的概率。

實驗中，基于單張地圖一個場景類策略,將傳統柵格單元賦予語義信息,利用最大語義標簽值進行賦值。當圖像流的實時分類結果輸入系統后,對于相機視野內的當前激光線所覆蓋的每個柵格,利用遞歸的貝葉斯估計方法更新。

圖4 語義地圖結構示意

(9)

2 實 驗

為驗證場景分類策略的可行性,將其用于貝貝機器人本體,并在光電子中心進行室內語義建圖實驗。機器人貝貝(圖5(a))基于機器人操作系統(robotoperatingsystem,ROS)開發,采用IntelRealSense深度相機獲取RGBD數據,并通過TX1進行圖形處理器(graphicsprocessingunit,GPU)加速處理。實驗時,機器人在8種不同用途環境(圖5 (b))中進行自主探索,同時記錄圖像流、轉換激光和里程計信息。

圖5 實驗機器人及不同場景

2.1 自主建圖結果

為驗證移動機器人在未知領域自主探索的有效性,選取實驗室(lab)場景進行實驗：轉換深度數據頻率為20Hz,最大范圍4m,機器人本體最大半徑0.4m,線速度為0.4m/s,角速度0.9rad/s。自主建圖的起點為lab入口的點A(1.22,-1.54)。

實驗時,機器人實時轉換激光數據,遍歷全局并生成柵格地圖。自主探索實驗結果如圖6所示,圓點為拓撲節點,連線為實際行走路徑,機器人最終回到點B(1.51,-1.42),完成遍歷。實驗結果表明：在該環境中,采用的自主規劃路徑能夠有效探索區域,同時未發生明顯的死鎖現象,驗證了該方法的可行性。

圖6 機器人自主探索路徑

2.2 語義地圖結果

已知實驗可能出現的室內語義標簽類,故定義已知場景類標簽集合為

實驗時,在8種環境中生成柵格地圖。同時,對獲取的實時RGB圖像,歸一化為227像素×227像素×3像素大小,并利用GPU加速計算的TX1平臺,通過內嵌Caffe工具配置的Places205卷積網絡識別場景標簽號,遞歸使用貝葉斯估計方法,并用不同顏色的最大語義標簽值更新柵格顏色。最終的語義地圖如圖7所示。

圖7中,各場景均由標簽進行描述,但地圖基本均混合了其他場景。例如,洗手間環境主要是粉色的洗手間標簽,但同時也包括了綠色的大廳標簽和淺綠色的走廊標簽。在大廳的語義地圖中,則具有綠色的大廳和淺綠色的走廊兩種標簽，這是因為該處的門禁系統有大面積玻璃門,導致相機透視探測。另外,橙色會議室場景和紅色辦公室場景均存在一部分粉色標簽,原因在于這些環境中均存在洗手池,卷積網絡在識別物體時將其判定為洗手間標簽。

2.3 貝葉斯框架對語義建圖的影響

為驗證貝葉斯框架的作用,在洗手間語義地圖時,基于ROS中的rosbag記錄數據,其中圖像流共有1 500幅圖像。在同一條件下,對該數據集分別利用貝葉斯估計和最大似然估計進行語義建圖,對比效果如圖8所示。

圖8 不同方法對室內數據集的效果對比

分析可得,貝葉斯估計結果濾除了虛假的誤判斷(黃色標簽),而沒有融合先驗知識的最大似然估計出現較為明顯的波動數據(更多不屬于該環境的顏色標簽)。因此,融合先驗知識的貝葉斯估計作用積極且更加穩定。

2.4 語義地圖對路徑規劃的影響

為測試語義地圖能否改善移動機器人在環境中的行為,本文基于A-star(A*)算法進行路徑規劃,根據地圖中的語義信息,將場景賦予不同的權重值,測試機器人行為。

實驗時,分別在工作時間和午餐時間,由相同起點,模擬機器人取水任務,測試實際規劃路徑。在光電子中心走廊設置同一起點A,但走廊兩端(B和C)的洗手間均有熱水點,AC距離大于AB。測試結果及路徑如圖9所示。

結果表明,工作時間機器人選擇了短路徑AB執行任務,而午餐時間則選擇了繞路的長路徑AC。原因在于,午餐時間將有部分人員去餐廳熱飯,以及大量人員穿過大廳去食堂,造成路徑擁擠,故此時經過AB段走廊的權重值較大,機器人重新規劃路徑,選擇了長路徑。因此,該語義地圖可以運用于機器人任務并改善行為。

圖9 語義地圖上的路徑規劃

3 結 論

針對室內機器人的場景識別問題,提出了一種語義建圖方法,結合自主空間探索和深度學習策略,并輔以貝葉斯概率模型和GPU加速。語義建圖結果表明：機器人能夠進行全局自主探索,實時判斷場景類別和創建語義地圖,并及時通過貝葉斯估計更新誤分類。通過機器人路徑規劃實驗,表明語義地圖能夠指導機器人完成導航任務。

[1]GalindoC,Fernandez-MadrigalJA,GonzalezJ,etal.Robottaskplanningusingsemanticmaps[J].RoboticsandAutonomousSystems,2008,56(11): 955-966.

[2]PronobisA,MozosOM,CaputoB,etal.Multi-modalsemanticplaceclassification[J].TheInternationalJournalofRoboticsResearch,2009，29(23)：298-320.

[3]XiaoJ,EhingerKA,HaysJ,etal.Sundatabase:Exploringalargecollectionofscenecategories[J].InternationalJournalofComputerVision,2016,119(1):3-22.

[4]HemachandraS,WalterMR,TellexS,etal.Learningspatial-semanticrepresentationsfromnaturallanguagedescriptionsandsceneclassifications[C]∥IEEEInternationalConferenceonRoboticsandAutomation,2014：2623-2630.

[5] Wu J,Christensen H I,Rehg J M.Visual place categorization:Problem,dataset,and algorithm[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems,2009:4763-4770.

[6] Ranganathan A.PLISS: Detecting and labeling places using online change-point detection[C]∥Robotics: Science and Systems,2010:185-191.

[7] Meger D,Forssén P E,Lai K,et al.Curious george: An attentive semantic robot[J].Robotics and Autonomous Systems,2008,56(6):503-511.

[8] Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2014:580-587.

[9] Razavian A S,Azizpour H,Sullivan J,et al.CNN features off-the-shelf: An astounding baseline for recognition[C]∥IEEE Confe-rence on Computer Vision and Pattern Recognition,2014:512-519.

[10] Zhou B,Lapedriza A,Xiao J,et al.Learning deep features for scene recognition using places database[C]∥International Conf on Neural Information Processing Systems,2014:487-495.

[11] Hornung A,Wurm K M,et al.octoMap:An efficient probabilistic 3D mapping framework based on octrees[J].Autonomous Robots,2013,34(3):189-206.

Real-time scene category of indoor robot based on semantic mapping*

ZHANG Wen1,2, LIU Yong1, ZHANG Chao-fan1,2, ZHANG Long1, XIA Ying-wei1

(1.Institute of Applied Technology,Hefei Institutes of Physical Science,Chinese Academy of Sciences,Hefei 230031,China；2.College of Science Island,University of Science and Technology of China,Hefei 230026,China)

Aiming at problems of robot scene recognition in indoor environment,a senmantic mapping algorithm is proposed,autonomy,realtime and accuracy of scene classification strategy are focused on.Two-dimensional grid map is constructed by mapping depth information and autonomously plan recognition path of scene.Convolutional network is applied to set up scene categorization model,recognize semantic classes without specific training in real-time.By Bayesian framework fusing prior knowledge,modify error classification and accomplish semantic mapping.Experimental results show that robot can carry out global autonomous exploration and realtime judge scene category,and set up semantic mapping which meets need.At the same time,in real path planning,robot can improve navigation behavior according to semantic information,feasibility of the method is verified.

independent mapping; convolutional network; Bayesian framework; semantic map

10.13873/J.1000—9787(2017)08—0018—04

2017—06—12

國家科技支撐計劃資助項目(2015BAI01B00)；安徽省科技重大專項計劃資助項目(15CZZ02019)；中國科學院STS項目(KFJ—SW—STS—161)

TP 242.6

A

1000—9787(2017)08—0018—04

張 文(1987-),男,博士研究生,研究方向為機器人視覺、SLAM、路徑規劃。

夏營威(1985-),男,通訊作者,博士,副研究員,主要從事機器視覺、機器人、智能裝備等方面的研究工作,E—mail：xiayw@aiofm.ac.cn