基于深度學習的語義地圖生成

李佳芮

（西安高新唐南中學，陜西西安，710065）

0 前言

在日新月異的21世紀，隨著科學工作者們探索的深入，我國科技水平不斷提高，計算機技術日益進步。又因為人們便捷生活的需求，人工智能變成了一個新的科技熱點。它對于幫助行動不便者和老年人、為我們提供更加舒適、智能的生活環(huán)境都有重要意義。人工智能而今漸漸深入到我們的生活中，不斷幫助我們工作、學習、娛樂。然而，雖然發(fā)展前景較為可觀，這項技術也是有很大提升空間的，在有些方面也可以做得更好。如今，深度學習為人工智能提供了一個很好的平臺，在機器人導航的過程中，視覺SLAM中的地圖是編碼環(huán)境信息的重要載體之一[1]。但傳統(tǒng)的柵格地圖，拓撲地圖僅能滿足導航，定位，路徑規(guī)劃等基礎功能，環(huán)境語義信息對于機器人執(zhí)行更高級的人機交互任務是至關重要的。此外，目前大多數(shù)關于語義地圖的研究都是針對結構化環(huán)境、場景簡單的實驗環(huán)境或是仿真環(huán)境，并不符合復雜的實際生活環(huán)境，機器人更加需要坐標來在未知的環(huán)境中辨清方向。于此我們決定運用視覺SLAM構建實時的移動機器人語義地圖，來輔助機器人精確導航，改進機器人的工作。我們在研究中依然發(fā)現(xiàn)，不僅僅是人工智能領域，其它的用于導航的技術也需要用這種方式來提高工作效率。我們通過在互聯(lián)網(wǎng)上查找文獻，以及實地探究，發(fā)現(xiàn)當今對于實用的家庭服務機器人和其它用于導航的技術，實時語義地圖的建立是尤為重要的。文中在未知環(huán)境探索建圖模塊研究的基礎上，針對復雜的實際室內(nèi)場景，尋找一種為圖像加入語義信息的方法，運用全卷積網(wǎng)絡和坐標變換、映射構建實時語義地圖。此項工作能使人工智能以及我國日后的科技發(fā)展更迅速，我們的生活也因此便捷而精彩。

1 相機模型

在實際應用中我們經(jīng)常使用針孔相機模型[2]。在實際的三維空間中，構建地圖首先要成像，通常使用雙目相機模型。圖像處理中有四大坐標系，分別為：世界坐標系、相機坐標系、圖像坐標系、像素坐標系。在世界坐標系任何物體都可以表示。可以選機器人的任何一個坐標點。但為分析方便，我們通常選擇初始位置，單位米。相機坐標系用來計算機器人在坐標系下所處位置和行走（變換）方式。物體之間的坐標變換，主要表現(xiàn)為旋轉和平移，從世界坐標系到相機坐標系的變換是剛體變換，即物體不發(fā)生形變，直接進行旋轉和平移。但從相機坐標系到圖像坐標系需要用到相似三角形，就是透視投影，從3D投到2D。圖像坐標系經(jīng)簡單的伸縮變換，不需旋轉，即可得到像素坐標系。從相機坐標系到圖像坐標系如圖1所示。

圖1 相機坐標系轉換到圖像坐標系

從圖像坐標系到像素坐標系如圖2所示。

圖2 圖像坐標系到像素坐標系

我們可以在相機坐標系中算出各點的坐標及其變化關系，再將每個點投影到世界坐標系（初始位置），讓每個點在坐標系內(nèi)有效連接、融合，然后即可建立坐標位置圖。在這之后，才可以對相機進行標定，在實際三維空間創(chuàng)建語義地圖。機器人能有一個清晰的導航路徑，從而達到理解陌生環(huán)境，高效快捷地為人類服務的目的。

2 圖像語義分割

2.1 圖像語義分割的概念與原理

對于導航者，尤其是生活中最常見到的家庭服務機器人，構建地圖的過程是依靠SLAM完成的。其實我們在一個陌生的環(huán)境，中，也需要知道自己在哪里[3]。下一步要去哪里，怎么去。那么，我們就要依靠地圖為我們導航。機器人的工作也是一樣的，它需要建立地圖來描述環(huán)境、識別場景。這，就要用到SLAM技術來定位、建圖[4]。它基本的定位原理是通過概率統(tǒng)計和特征識別、匹配來達到定位和減小定位誤差的，建圖則是記錄下環(huán)境中位置的特征[5]。最終的目標是在此同時構建地圖，并在之前的特征點地圖、柵格地圖、拓撲地圖等普通三維點云地圖的基礎上做一點改動，因為，機器人使用這些地圖只能知道自己的位置和圖像中各個點的位置，缺少實時語義信息，所以無法有效規(guī)劃路徑。所以，應這一要求，建立地圖的技術邁上了新的臺階—對傳統(tǒng)三維地圖賦予語義信息，建立語義地圖。

語義其實是指圖像的標注，就是識別特定的目標，在三維坐標系中重新建立。之后基于SLAM，在實際的三維空間中，定位信息、識別標簽、SLAM位置信息結合在一起，構建出一個模型來，這就是初步的操作。建立實時語義地圖的基石性操作是圖像語義分割。它在服務型機器人導航、無人機著陸點的判斷等方面舉足輕重。在計算機視覺領域，不論是分割，還是檢測，包括識別與跟蹤，都非常重要，缺一不可。圖像語義分割要求從像素的級別理解圖像，確定圖像中每個像素對應實際中哪個物體。

語義分割的效果是機器能夠自動分割出圖像內(nèi)容，比如在一個房間內(nèi)，通過語義分割，機器人能辨清哪里是門，哪里是床，從而到人指定的目的地去，達到人的目的。基于深度學習，運用全卷積網(wǎng)絡分清楚每一個像素，讓圖像的特征更明了。對于人工智能來講，機器人要通過語義地圖的構建來識別場景，辨別方向，圖像語義分割也是保證其展開正確行動的基礎。在線構建語義地圖，首先要清晰地理解整個場景，并且時間不能太長。場景理解就是標注圖像與環(huán)境中其他物體之間的關系。語義地圖為場景理解提供語義信息，可保證機器人導航、定位或自動駕駛的有效性。構建實時語義地圖的傳統(tǒng)方法有閾值分割、聚類分析、活動輪廓方法等。構建語義地圖如圖3所示。這些方法雖然在先前簡單實用，但它們存在很大的局限性。這些方法通常不能快速計算，而且操作難度比較大。再者，建立實時語義地圖需要分清圖中的各個像素，這些方法也只是對圖片進行分割，輸出的是數(shù)值而不是像素。所以，經(jīng)過數(shù)年研究，終于提出了卷積神經(jīng)網(wǎng)絡，進而發(fā)展到現(xiàn)今的全卷積網(wǎng)絡。

圖3 語義地圖工作流程

2.2 全卷積網(wǎng)絡

語義分割不比傳統(tǒng)的圖像分類，只是分清楚圖片，要求通過提取特征分清像素對應的分類。在深度學習中，用的最多的方法是全卷積網(wǎng)絡。在此之前使用的傳統(tǒng)的卷積神經(jīng)網(wǎng)絡存在很大局限。其一，它計算重復量很大，相鄰像素塊重復較多，這就加大了運算的重復量。其二，它需要更大的存儲空間。其三，因為像素塊太小，我們不能全面、明顯地提取圖像特征。所以，現(xiàn)在的圖像分割廣泛地使用全卷積網(wǎng)絡。它主要使用卷積化和上采樣技術。卷積化就是把原先的全連接層換成卷積層，卷積雖然使用了之前卷積神經(jīng)網(wǎng)絡已經(jīng)訓練好的權值和偏置，它們的計算過程不同。不一樣的是因為它的權值和偏置有自己的范圍，所以它有一個自己的卷積核。它所有的層都叫做卷積層，故稱為全卷積網(wǎng)絡。在普通的池化中，圖片的尺寸會縮小。這時，我們就需要進行上采樣。上采樣也叫反卷積，它和卷積運算方式相同，只是把多對一改成了一對多而已，也就是只把卷積的傳播方向改變了。

計算時應該對逐個像素計算，相當于每一個像素把全連接層轉化為卷積層。因為卷積神經(jīng)網(wǎng)絡只有5層是卷積層，后三層是尺寸不一的一維向量，而全卷積層將這三層也表示為卷積層，故稱為全卷積網(wǎng)絡。經(jīng)過多次卷積后，圖像變小了，分辨的也就沒那么清晰了。為了恢復到原圖的分辨率，全卷積網(wǎng)絡就要使用上采樣。將最后一層的輸出圖像上采樣，才能和原圖大小相等。上采樣和反卷積原理是相同的。卷積神經(jīng)網(wǎng)絡的識別是圖片級的識別，而全卷積網(wǎng)絡的識別是像素級的識別。全卷積網(wǎng)絡在像素水平對圖像進行分類，從而處理了語義級別的圖像分割問題。與經(jīng)典的卷積神經(jīng)網(wǎng)絡不同，任意的圖像都可以被全卷積網(wǎng)絡接受, 對最后一個卷積層進行反卷積，它就可以和原圖像尺寸相同。但原圖的空間信息仍然保留著，最后對逐個像素分類。分類之后的效果，就是圖中各個像素能明確區(qū)分開來，就可以提供有效語義信息。

能被廣泛應用的全卷積網(wǎng)絡一定有自己的優(yōu)點。它的優(yōu)點在于：①全卷積網(wǎng)絡可以接受任意的輸入圖像，不需要所有的測試圖像、參考圖像尺寸都相同。②它節(jié)省了很大一部分存儲空間，也避免了多次重復的繁瑣計算，提高了計算機的工作效率。

總而言之，全卷積網(wǎng)絡在圖像語義分割中所起的作用很大。它是目前應用較廣泛的一種技術。在未來，在研究者們的苦苦探索之下，一定能有一種科學技術又能戰(zhàn)勝全卷積網(wǎng)絡的局限性，用更縝密的思路為圖像語義分割開辟一條全新的捷徑，不能忽略圖像中的空間信息，加強像素之間的聯(lián)系，更細化考慮問題。其結構如圖4所示。

圖4 全卷積網(wǎng)絡結構

2.3 實際環(huán)境下語義地圖的表述方法

在機器人技術領域，語義地圖包含了環(huán)境的空間信息和已知類別景物的空間分布特征。語義地圖的構建是把傳感器檢測到的信息轉化為抽象語義的過程。其構建方法主要有如下三種：

首先應對坐標數(shù)據(jù)和變換進行理解，得到場景中各個物體的標簽，再結合得到的標簽對數(shù)據(jù)進行語義再分類，并去除無效的數(shù)據(jù)，這些都是前期應該做的處理。之后，根據(jù)場景理解結果，生成場景的語義描述，賦予環(huán)境中各個物體圖像中物體的各項屬性，包括機器人需要認識的每一個對象。最后，根據(jù)場景的語義描述，按照一定規(guī)則生成地圖，隨著新的環(huán)境不斷被感知，地圖結構也不斷調(diào)整，然后不斷對開始生成的地圖更新、維護，在大規(guī)模場景中，語義地圖就生成了。這種方式可被用于家庭機器人導航等方面，對現(xiàn)時流行的無人機技術、自動導航車等方面也大有益處。

2.4 對語義地圖建立的總結

本文主要概述語義地圖建立的概念、原理、方法與作用。在技術方面，對圖像語義分割主要用到的技術--全卷積網(wǎng)絡進行了概論與評述，提出了其優(yōu)缺點，還介紹了雙目相機模型和四大坐標系，因為機器人導航時需通過坐標確定自己的位置，走正確的路線。再者，語義分割中有一個在坐標系中映射的過程，從用來計算的相機坐標系映射到初始的世界坐標系，融合后可構建語義地圖。之后因人工智能終要應用到實際中去，又講述了在實況下和場景理解的基礎上，語義地圖如何構建。人工智能的運作過程中，在陌生環(huán)境下規(guī)劃清晰的路徑是很重要的。在復雜的三維空間，一系列的人機交互任務，都要依靠坐標位置和路徑完成。語義地圖的建立，打破了視覺SLAM中傳統(tǒng)柵格地圖、拓撲地圖等的局限性，能在相機坐標系中完成計算，變換，再映射到初始的世界坐標系中，將圖像進行語義分割，提供有效的語義信息，從而讓人工智能在實際情況下有確定的行進路線，能高效完成復雜的人機交互任務。能更好地為人類服務，幫助需要幫助的人，讓他們的生活多一個依靠。

3 展望與總結

深度學習中圖像語義分割技術一定對人工智能以及其他導航技術的研究有益處，從slam中只有簡單功能的點云地圖到能提供語義信息也是跨越了一大步。但這項技術經(jīng)過分析并不是十分完美。其中用到的各項技術各有利弊，在未來的研究中應加以調(diào)整。我們在研究中沒有進行實際實驗，僅是對方案進行了設計，在日后我們會通過試驗的方法來研究，讓自己的方案更加精確可靠。隨著研究步步深入，未來會發(fā)掘出更多種類的導航技術，圖像語義分割的應用范圍將愈加廣泛。科技的發(fā)展會為提高我國綜合國力做出巨大貢獻，我們的未來會更加精彩。