自主移動機器人語義信息應用研究進展

楊力鵬，任工昌，劉 朋，胡小龍

（陜西科技大學機電工程學院，陜西 西安 710021）

1 引言

移動機器人的導航技術是通過傳感器感知環境和自身狀態，實現在有障礙物的環境中向目標點的自主運動，主要解決定位、建圖和路徑規劃的問題［1-2］。

目前，導航技術正在向實現智能任務規劃的自主導航方向發展，這就需要機器人具備人—機—環境溝通的能力，而語義信息在這個過程中起到關鍵的橋梁作用，語義信息讓機器人通過HRI（Human—Robot Interaction）模式獲取任務，然后對任務進行轉化并執行，其中涉及到語義地圖構建、語義定位、語義知識表示、語義推理等方面的研究。在自主完成任務的過程中，正是由于語義信息的應用才讓機器人能以人類視角去理解周圍環境、自主識別、推理和完成指定任務。語義信息在移動機器人的應用研究中，PR2移動機器人在醫院復雜環境中已實現醫院護理高級任務的語義信息應用［3］。

語義信息在語義地圖方向的應用中，文獻［4］將2014年之前相關語義地圖研究進行了綜述，將語義地圖從可擴展性、推理模型、時間一致性和線索這幾個角度進行詳細分類總結，但未對語義地圖研究的階段性發展和宏觀框架進行概括和總結。

文獻［5］在2016 年對SLAM（Simultaneous Localization and Mapping）的綜述中，從宏觀框架角度出發，分析總結語義地圖三種主要組織方法：SLAM 直接作用于語義；語義直接作用于SLAM 和SLAM 與語義相互關聯（即語義SLAM），其關聯關系，如圖1所示。

圖1 語義SLAM流程圖Fig.1 Semantic SLAM Flow Chart

語義信息在移動機器人實現任務規劃過程中的應用關系，如圖2所示。這里主要從語義信息在自主移動機器人導航中的應用這個角度出發，對語義信息在語義地圖、語義定位和語義知識表示方面階段性發展進行分析總結，并展望語義信息在移動機器人導航應用中發展趨勢。

圖2 語義信息應用關系圖Fig.2 Semantic Information Application Diagram

2 移動機器人語義地圖

目前，語義地圖的研究仍然處于早期階段，缺乏一個系統的方法。語義地圖是實現移動機器人導航從路徑規劃到任務規劃的基礎，根據移動機器人需要完成任務的等級程度，需要組織相應復雜程度的語義地圖。大量語義地圖的組織方法是在度量地圖上添加語義信息，將語義信息與移動機器人環境的幾何實體進行關聯，這里的語義信息是代表重要事物的意義［4-5］。語義地圖中語義信息獲取主要方式是通過機載視覺傳感器模擬人類眼睛的方式直接主動形象地獲取環境語義信息。還有其他一些技術間接獲得環境語義信息，如語音識別、QR Code（Quick Response Code）、RFID（Radio Frequency Identification）等［6-7］。

移動機器人語義地圖的構建，無論是二維還是三維語義地圖，語義信息的提取經歷了直接從傳感器數據提取低級特征到高級對象特征階段；直接從面向像素級對象識別到以對象為中心得到實例級語義分割的階段；語義地圖中語義分類等級從簡單粗糙到復雜；從基于靜態、結構化、有限空間的環境基本假設到真實未知動態、非結構化和大規模的環境方向發展。

2.1 二維語義地圖

在移動機器人導航研究中，大部分二維語義地圖構建，一般先用激光傳感器構建用于導航的二維度量地圖，并通過視覺傳感器獲取地圖的語義信息，這種方法的優點是計算成本低。

移動機器人二維語義地圖中語義信息特征提取的自主大規模對象級發展。文獻［6］提出的早期移動機器人導航中的二維語義地圖研究中，語義層由機器人通過與人類的語言互動獲取地標語義信息。文獻［7-8］提出一種多層次度量—拓撲—語義地圖構建方法，不再需要與人類語言互動，直接使用自身視覺傳感器獲取已知房間低層次空間不同區域內特定物體語義信息。由于基于低層傳感器數據直接識別的房間類別都是確定的，不能合并異構的、不確定的信息，文獻［9］為移動機器人的導航提出了一種概率框架的多層語義建圖算法，將環境中不確定異構對象的存在信息、空間拓撲結構和語義屬性知識相結合，構建大規模、更具描述性和更適合人類交互的語義地圖系統。

(一)結構特點。在筆者所收集的網絡流行語中，偏正結構居多，有20多個，占所收集流行語的40.8%，其中又以定中結構為主，是偏正結構的85%，占總數的34.7%.主謂結構、聯合結構各占總數的6.1%，動賓結構、動補結構分別占10.2%和4%。(如下圖)

2.2 三維語義地圖

移動機器人的三維語義地圖是在三維度量地圖基礎上構建的，與二維語義地圖相比，優點是保留了二維語義地圖丟失的大部分幾何信息。

移動機器人三維語義地圖中語義信息特征提取的自主面向對象級發展。在早期三維語義地圖的研究中為了實現對環境模型的自動獲取，文獻［10］提出一種從三維點云數據獲取室內家庭環境的混合語義三維物體地圖方法，應用多模式傳感器技術，通過機器人機械手與環境的交互作用來解決點云模糊分割的結果，進一步加強地圖采集的自主性。文獻［11］較早提出面向3D 對象的SLAM＋＋，直接在“面向對象”級別生成增量式的地圖，對已知場景中的對象和區域進行語義化場景描述，完成語義標記場景重建，但缺點是需要預先定義場景中預期的對象。文獻［12］提出一個獲得面向對象的語義地圖系統，以對象為中心得到實例級語義分割，不再需要已知的三維模型對象數據庫，生成語義信息豐富的以單個對象實例為關鍵實體的環境語義地圖。

2.3 動態環境語義地圖

移動機器人語義地圖中語義信息應用在動態環境下的發展。在構建語義地圖時，早期SLAM方法中的一個基本假設是環境是靜態的，然而現實環境卻是實時動態變化的，如何處理動態環境下語義SLAM問題，是當前比較重要的一個研究方向。

文獻［13］提出一種針對長期動態環境場景的語義建圖框架SOMA，使用一個三層架構來建模對象、區域和機器人的軌跡，用于構建、維護和查詢語義對象地圖。文獻［14］提出一種實時語義SLAM（DS—SLAM）系統，該系統的優勢是減少動態物體對姿態估計的影響，構建了去除動態物體的語義地圖。文獻［15］提出了一種利用深度學習的語義動態SLAM框架，跟蹤消除動態目標。在動態環境下，語義信息的應用提高SLAM系統的魯棒性和準確性。

3 移動機器人語義定位

移動機器人語義定位是根據在給定的先驗地圖中用傳感器獲取的物體語義信息來估計移動機器人的位姿［16］。最早由文獻［17］提出用空間語義層次中的語義信息對機器人定位。移動機器人一般用機載攝像機，通過目標檢測和語義分割兩種方式對環境中的物體進行識別、定位和獲取語義信息。由于真實環境中的物體形狀各異，兩大類方法在識別的原理上，目標檢測算法中的方形檢測框誤分類了大量的像素點，而語義分割技術可以實現像素級別的物體分類。

3.1 基于目標檢測的語義定位

移動機器人語義地圖中語義定位的目標檢測模型發展。在基于目標檢測的語義定位研究中，文獻［8］提出度量—拓撲—語義層次地圖方法，在該語義地圖中語義定位使用黑盒檢測的目標檢測方法來識別對象，通過對毛巾、爐子、電視等在不同區域具有特定的物體的識別，來簡單粗糙地推理機器人在環境中的某個區域。但黑盒檢測方法回避了語義地圖構建中語義信息特征識別部分，針對這個問題，文獻［18］提出一種使用對象作為基本語義概念來識別位置的方法，是基于特征目標檢測方法的概率模型，屬于單峰“硬”性檢測，存在獲得局部次優解的缺點。針對這個問題，文獻［19］在圖像上為每個對象生成一個熱圖，表示特定比例的對象出現在特定位置的概率，實現“軟”檢測建模，提高定位過程的精度和收斂速度。

語義信息定位在SLAM問題中，除了上述用于構建環境語義地圖外，還在回環檢測［20］和對動態對象進行語義級的目標檢測跟蹤［15］中有所應用。

3.2 基于語義分割的語義定位

移動機器人語義地圖中語義分割定位在變化場景下的發展。在基于語義分割的語義定位研究中，一個主要的問題是針對由于光照、時間、天氣、季節以及視角的不同，會導致特征點的外觀發生較大變化的問題。為了確保識別近似不變特征，提出語義信息有助于減輕外觀變化的影響這一假設。文獻［21］提出一種基于單個查詢圖像像素語義標注的六自由度相機姿態精確魯棒估計方法，在季節變化、具有挑戰性的光照條件或者當地圖和定位發生在相隔很遠的時間時，以分米精度恢復姿態。文獻［22］提出一個多視圖語義全局定位系統X—View，利用語義地圖描述符匹配進行全局定位，支持在完全不同的視圖點下進行定位。

4 移動機器人知識表示

機器人學的知識表示是一種表示機器人行為和環境知識的方法，將這些概念的語義與自身內部組件聯系起來，通過推理和推斷來解決機器人對環境的理解及推理［25］。具有語義知識表示的語義地圖的優點是擁有了對語義地圖中的語義信息進一步存儲、推理等的功能［26］，為機器人完成復雜任務提供所需的知識及推理能力。

主要總結基于本體形式的移動機器人環境語義地圖語義知識表示的發展階段，經歷了采用手工編碼的本體組織確定的室內環境知識表示階段，到通過概率本體組織環境中的不確定性知識表示階段，再到具有多機器人可共享可重用的OWL（Web Ontology Language）組織的組合知識表示階段。

基于本體的移動機器人語義地圖中語義知識表示階段性發展。移動機器人環境語義知識表示的研究主要為基于本體的知識表示研究，文獻［8］在早期的二維語義地圖中，以描述邏輯的形式表示語義知識。該方法用手工編碼室內環境的本體，概念層次簡單，空間描述粗糙，表示中不包括不確定性的環境屬性。針對無法將環境屬性的不確定性與語義信息內在聯系起來的問題，文獻［9］提出了一種融合兩種原始不確定性知識表示，即語義信息的概率框架。文獻［26］構建了適用于三維語義地圖的KNOWROB—MAP知識關聯語義對象地圖系統，其中的語義知識表示為結合Web本體語言（OWL）中的知識表示。該系統的語義知識庫由百科全書式、常識性和關于其環境概率性的知識組合而成，相互協同為機器人提供完成高級復雜任務所需的語義知識。

除基于本體的環境知識表示外，還有其他知識表示形式的研究，如文獻［27］為語義地圖表示提供了一個基于空間數據庫SEMAP框架，能夠管理帶有幾何對象模型和相應語義標注的完整三維地圖及其相關空間關系。

5 語義信息機器人導航應用展望

在移動機器人面向任務規劃的自主導航中，語義信息的應用研究已經取得了重要進展，語義信息作為機器人理解周圍環境，完成人—機—環境交互，具備智能能力的媒介，將起到越來越重要的作用。語義信息的應用研究可以在以下幾個方向進一步發展。

5.1 多源語義信息的研究

由于語義地圖的構建還沒有一個統一系統的方法，并且移動機器人環境語義地圖應用領域不斷擴展，根據不同任務的需求，可以通過多種傳感器獲取環境的多源語義信息［27］，語義信息的來源將從主要通過視覺提取環境的語義信息向多源語義信息提取發展。

5.2 語義知識表示形式研究

環境地圖的語義知識表示主要以本體知識表示形式為主，生成對機器人周圍環境的完整描述、編碼和顯示屬性。由于移動機器人環境地圖研究向復雜、不確定、動態、非結構化和大規模越來越接近實際情況的方向發展，語義地圖的形式將會越來越復雜，以怎樣一個知識表示形式來表示移動機器人所在環境空間屬性會是一個重點研究方向［4］。

5.3 語義信息與云技術結合的應用研究

云技術應用到室內外大規模復雜環境語義地圖和語義知識庫中，進一步完善基于云技術的對象識別、語義地圖構建和語義知識庫構建，讓多機器人云端共享、復用、更新擴展數據，促進機器人和人類之間的交流，實現高級的智能語義任務。在云端存儲大量數據和進行復雜計算，為空間受限不能搭載有效計算能力控制器或低端機器人平臺實現高級語義任務成為可能。

6 總結

語義信息應用研究在自主移動機器人任務規劃的研究中是一個核心研究內容，這里主要從室內自主移動機器人實現任務規劃過程中語義信息的應用這個角度出發，對語義地圖、語義定位和語義知識表示進行了分析和總結，展望了語義信息在自主移動機器人導航應用中發展的方向，對語義信息在自主移動機器人中的應用研究和發展有一定的參考價值。