基于深度學習的場景識別系統

張正陽

（西安市鐵一中學，陜西西安，710000）

0 前言

在上世紀20年代，機器人”robot”首次被提出來，幾十年來，人工智能也在飛速發展[1]。在這幾年，計算機領域中的人工智能越來越引起了人們的注意，而其中最具有熱度的便是機器人，它能夠代替人類完成許多繁瑣的工作。由于當今勞動力成本快速上升，機器人的這一特點更加顯示出它的重要性。例如在一些空巢家庭，老年人行動不便，需要在幫助下才能及時的完成一些繁瑣的家務活動；在一些醫院中，護工的費用越來越高，而他們完成的也只是一些技術含量不高而比較繁瑣的低成本工作。服務型機器人便由此而生。屬于服務型機器人領域的家庭服務機器人，主要的功能即幫助人們完成一些簡單的服務類工作。而基于深度學習的場景識別系統則相當于機器人的眼睛。

機器人領域中，如何使機器人識別所處環境是一個重要問題，經過實踐表明，傳統的識別系統有著內存大，在環境變化或者光照變化等情況下無法識別的缺點[2]，而基于深度學習的識別系統可以有效的消除這些缺點。本文在學習和借鑒現有的技術基礎之上，提出了一套基于深度學習的視覺識別方法，在回環檢測的部分使用基于深度學習的場景識別系統，拋棄傳統的詞袋法而建立的機器人場景識別系統。在設計原理的基礎上詳細分析了具體的實現途徑和技術路線。并且對結果進行了功能試驗，肯定了此原理的可行性與正確性。

1 場景識別研究現狀

當機器人在某個陌生環境中的陌生場景中完成任務時，如何使機器人識別其所在的工作環境場景是機器人以及計算機視覺領域的重要研究課題[3]。識別自身的工作環境對于機器人進行下一步工作任務的執行有著重要意義。機器人的場景識別問題不同于簡單的圖像分類，其不同工作場景圖像的內部元素種類繁多，即使是同類場景，在不同時間，不同外界影響因素下其內部元素往往也存在著較大差別。因此場景識別問題會十分復雜，而場景識別的關鍵則在于如何找出一種能完全表示同一類場景中的結構信息和語義信息的特征。

2 回環檢測算法

基于深度學習的SLAM場景識別系統主要分為前端對局部描述符的構建和后端對于所構建地圖的優化與回環檢測，對于SLAM前端工作的改進包括使用基于深度學習的局部描述符相機位姿直接進行計算和對目標加速特征點的匹配總而言之，SLAM前端主要提供了特征點的提取、負責相機位姿的計算和局部地圖的構建。但僅僅通過這些并不能精準的實現機器人的自動建圖和定位，這些數據中含有大量的“噪聲”，導致計算的結果會有一定的誤差，并且這些誤差會不可避免的積累到下一個環節，導致最終結果隨著時間的積累誤差越來越大，地圖和行走軌跡不吻合，并且發生極大的變化，因此無法保證其與現實情況一致。于此，SLAM后端則是對數據的優化。SLAM后端分為兩個部分：后端優化和回環檢測。本章主要介紹回環檢測在SLAM系統中的作用管理。

回環檢測則為解決減小機器人在SLAM前端工作時所積累的誤差問題提供了很好的思路方法[4]。不妨以我們人類在一個陌生環境中如何建立周圍的環境地圖為例，人的位置不斷發生改變，從而在腦海中積累了大量圖像，形成一個由這些圖像累計而成的一個地圖，但長時間過后，這些圖像中的部分微小誤差經過累計導致結果與實際情況產生較大的差異，對于這個情況人類也無法分辨自身在此刻朝向哪個方向，與最初起點的相對位置如何。假如在此刻人恰好回到了之前某個時刻經過的位置（設這個人對環境比較敏感），他便能夠意識到這個事實，并在此基礎上修正此前對環境判斷造成的誤差。此時便如同于檢測到了一個回環。我們知道人是通過將眼前的圖像與腦海中殘存的圖像進行對比，從而意識到自己所處的這個回環。同理，在SLAM中也是通過對比當前圖像與之前關鍵圖像的相似度，當這個相似度到達某一設定值后就可以判斷出此時機器人檢測到了回環。

為此，回環檢測的重點在于場景識別，正確的回環檢測為機器人的定位與建圖提供了保障，尤其是在機器人長時間的工作之后，累積了大量的誤差，此時系統就可以通過回環檢測不斷修正自己的軌跡和地圖[5]。又因為回環檢測將歷史與實時的數據進行對比和聯系，所以當系統丟失的時候也可以通過回環檢測來進行重合。

如圖1，左圖中由于機器人SLAM前端提取的特征點中誤差的長時間積累導致了機器人對定位與建圖的估計不再準確，因此便有了對誤差進行回環檢測和全局校正的需求，右圖即是通過回環檢測校正后的圖像，將產生誤差的地圖進行修正使之與行進軌跡重合后的結果。

圖1 回環檢測修正地圖，左圖為修正前，右圖為修正后

■2.1 回環檢測與場景識別

回環檢測的本質就是機器人對于自己所在位置的場景識別，對于人類來說場景識別的過程很自然，然而這個問題對于機器人來說卻十分有挑戰性—讓機器判斷自己所在位置是否是自己先前經歷過的場景。為了解決這個問題，場景識別需要具備以下兩個能力：

(1)含有與輸入數據進行對比的數據集，此數據集可以是關鍵幀或者一些特征點的集合，并且該數據集需要不斷更新以保持其實時性。

(2)擁有能夠計算輸入數據與數據集間相似度的評分機制。

擁有這兩個功能，便能進一步改善傳統場景識別BOW模型的無法識別光照等環境變化的缺點。

■2.2 數據集建立

神經網絡需要經過一個訓練，例如我們在室內隨機挑選了相似圖片，提取其中的相似點與不相似點。利用AlexNet以及將relu作為CNN網絡的激活函數，用CUDA來加速深度神經網絡的訓練，再通過GPU強大的并行計算能力，接下來經過卷積神經網絡權值共享，采用Max pooling將圖像縮小，（Max polling也可以將圖像降維），隨后經過多次卷積和Max pooling，通過全連接提取圖像特征。在訓練時，采用三個相同的Alexnet網絡提取圖像特征，比較特征之間的距離，通過triplet loss縮小相似特征之間的距離，然后使其小于不相似特征間的距離。

如圖2，x指一個圖像特征，x＋的圖像特征與該圖像特征比較相似，特征點之間的距離較小，相反x-的圖像特征與該圖像特征之間距離較大，輸入的圖像各自經過共享權值的相同網絡，利用公式（1）計算出特征之間的距離，經過tripletloss縮小x＋與x之間的距離使之小于x-與x之間的距離，以此達到識別出相似場景的效果。

圖2 三重網絡結構

■2.3 損失函數

所謂場景識別系統，即將高維空間的圖像映射成一個維度較低的空間中的描述符，映射過程中我們需要低維度的描述符可以保持圖像之間的相似關系。因此我們采用triplet形式的損失函數來對網絡進行訓練。我們為提取到的樣本特征選取鄰近的同類樣本特征和鄰近的異類樣本特征，以此來構建一個三元組，對于N個訓練樣本，可以隨機產生大量的三元組，本文涉及到的基于三元組約束的距離度量學習模型（point to point Relative Distance Constrained Metric Learning，RDCML）要求同類樣本特征的距離和異類樣本特征的距離被一個大的間隔分開。基于上述的描述，我們的損失函數為公式（2），其中α為正負樣本之間的間隔，即正樣本之間的距離至少要小于負樣本的距離α以上。在訓練過程中α由人為指定，α越小網絡越容易收斂，然而效果會比較差，α越大網絡越難收斂會導致訓練時間變長甚至不收斂，但是效果會比較好，因此我們需要在訓練過程中對訓練時間和精度進行權衡。

如圖3表示了點與點之間三元組約束的意義，對于一個三元組，黃色與藍色兩個樣本之間的異類距離d和黃色與黃色兩個同類樣本之間的同類距離要被一個大的間隔分散開，從而使同類樣本之間的距離小于異類樣本之間。

圖3 點與點之間的三元組約束示意圖

3 總結

機器人視覺領域研究問題的主要目的是讓機器人擁有眼睛一樣的功能，而場景識別也正是是視覺領域一個重要的研究課題，它能夠有效的幫助機器人進行自主定位與構建所在環境的地圖，對接下來的工作具有重要意義。然而現有的傳統場景識別系統存在著空間大并且無法識別光照等環境變化的缺點，效率也較低，造成了研究者時間和精力的浪費。基于此，本文將能夠使機器人自動提取圖像特征的深度學習應用到場景識別中。

在本文的場景識別系統中，主要包含了以下幾個部分：采用回環檢測的方法修正SLAM前端采集的數據的誤差因時間積累而產生的偏差，因為回環檢測的關鍵步驟在于場景識別，本文摒棄了場景識別傳統的BOW模型，以人對場景識別的原理為出發點，為機器人賦予了建立數據集與計算輸入數據與數據集間相似度的評分機制兩個功能，這兩個功能可以有效改善傳統的BOW模型。在回環檢測中闡述說明了基于三元組約束的距離度量學習模型，該模型需要將采集的樣本中同類樣本的距離與異類樣本特征之間的距離用一個很大的間隔隔開。

本文的識別方法對于機器人在實際情況中進行場景識別時可能會出現識別出錯的情況，為了進一步提高機器人對于場景的識別準確率，可以從多個方向與角度拍攝圖像對場景進行識別，然后將多次識別出的結果進行整理。本文仍需大量實驗來提高識別的準確率。

4 工作展望

本次研究提出了基于深度學習的場景識別方法，避免因光照等環境變化而無法準確進行場景識別的問題。但只進行了思考與對模型的設計，缺乏利用實際情況來進行檢驗與驗證。未來可結合實際實驗的結果對設計進行再一次突破并向其中添加優化策略。