遙操作機器人的神經網絡校正地圖策略

張皓宇，劉曉偉，趙 彬，任 川

（1.遼寧省氣象信息中心，遼寧 沈陽 110168；2.沈陽新松系統自動化股份有限公司，遼寧 沈陽 110168）

1 引言

"Tele"實際上來自于希臘語，其英文含義是“distant"，意味"遙遠"，所以直觀來看，人類用戶和所被控制的機器人本體是有一定的物理距離的，這也是其遙操作的名字由來[1-2]。在某些情況下，比如對人類來說太危險的環境中需要靈巧和復雜的動作（礦難、戰區、化學品泄漏、核事故、太空探索等），遠程操作是一種更適合的控制方法。與大多數機器人設備一樣，遙操作機器人系統通常是為特定的任務和明確的要求而設計的。

以往進行機器人操作時，人類操作員和機器人有時占據同一個區域，人與機器人不能遠程分開。遙操作機器人系統將這一概念進行了顛覆，主要分為兩個部分：本地站和遠程站。本地站點包含人工操作員和支持系統與用戶連接所需的所有元素，這些元素可以是操縱桿、監視器、鍵盤或其他輸入/輸出設備。遠程站點包含機器人，支持傳感器和控制元件，以及要操縱的環境。由于室外機器人在室外的環境極為復雜，導致導航算法出錯概率的提升。在室外機器人的系統上加入遙操作的概念，可以幫助機器人在簡單環境半自動導航，在復雜環境下進行輔助導航，從而提高系統的穩定性。遙操作室外機器人營運而生，遙操作機器人可以看作是承接全機械方式機器人和全智能式的中間對接者。

國內外學者對此進行了深入的研究：文獻[3]提出了一種基于人機交互的3D 環境映射機器人導航方法。定義一些機器人控制手勢，以便年齡較大的人或兒童可以輕松地用于指導機器人映射。室外移動機器人可以執行預期的導航路徑，并使用RGB-D 傳感器構建周圍環境的3D 地圖[3]。文獻[4]提出了一種在遠程機器人環境下的移動機器人局部路徑規劃的潛在場方法，給出了車輛模型和障礙物模型。并對軌跡生成算法進行了描述，提出了一種新的死鎖避免方法和人機交互策略[4]。文獻[5]提出了一種遠程控制機器人，能夠調查災難情況和提出安全對策。它利用了一個靜態網絡的無源紅外傳感器節點通過多跳Zigbee 網絡互連。傳感器是運動敏感的，使用區域定位可以根據情況識別幸存者或入侵者的位置。同時，機器人通過Wi-fi 鏈路控制，將實時視頻傳輸回基站[5]。

提出了一種利用全身傳感捕捉裝置實現地圖定位和校正機器人遙操作的新系統，進行地圖創建、機器人全局定位。這里的方法的新穎之處在于使用神經網絡過程校準導航地圖，從而消除了對機器人的顯式建模的需要，以及信息捕捉數據和機器人執行器命令之間的關系。在不使用任何先驗的分析或數學建模即可對定位的地圖進行校正。該神經網絡校正地圖的方法其主要優點是具有穩定性和靈活性。

2 遙操作控制系統

遠程操作類人機器人的早期方法是通過使用圖形用戶界面（GUI）、操縱桿、按鈕和鍵盤來捕捉用戶意圖[6]。主流的遙操作方法有：通過使用特制的“駕駛艙”[7]，其系統特征是利用外骨骼機器人主手臂和力反饋對系統進行閉環控制。另一種方法是使用一個“木偶”系統，由一個小型的人形機器人木偶變體組成，由操作員操作[8-10]。鑒于此，設計了一種與以往的復合機器人不同，全部操作過程不需要機器人自動完成，需要人工的完成操作，這個是遙操作本質上與其它機器人的不同之處。

2.1 遙操作要素

遙操作定義：在一定距離上進行操作的過程。機器人遙操作有如下幾個部分要素：（1）操作員；（2）機器人本體；（3）遙控臺；（4）遠程通信系統。

描述了一個基于神經網絡地圖校正的遙操作系統，它允許執行導航和遠程操作探索任務。在操作中，可以將兩種遠程操作模式組合在一起。用戶面對的都是由機器人攝像頭拍攝的實時視頻，并與增強現實項目相結合。在這種表現中，用戶集中于一個目標區域，以導航或視覺探索。然后，在導航模式下，目標被轉移到自主導航系統。自主導航系統驅動機器人到達目標位置，同時避免與激光掃描儀檢測到的障礙物發生碰撞。執行遠程場景的主動視覺探索，即形成一個基于共享控制的遙操作系統，大致上可分為如下幾類應用情景：

①極端環境探索，諸如外太空與深海等場景：

②用于醫療領域，包括遠程手術與微創手術：

③防恐防爆，包括火災、拆彈等應用場景：

④遠程氣象勘測，進行數據同步：

2.2 遙操作系統設計

遙操作機器人系統，如圖1 所示。通過訓練機器人的前饋神經網絡來遠程操作機器人，以學習運動捕捉傳感器數據與分配了每個神經網絡的機器人執行器的位置信息之間的映射。為了在學習過程中收集數據，機器人通過一系列重復的成對同步動作來引導人類操作員，這些動作同時捕捉操作員的動作捕捉數據和機器人的執行器數據。執行一個數據預處理步驟，將絕對運動捕捉數據轉換為相對旋轉，使得運動映射函數學習的神經網絡不受用戶的位置或方向絕對坐標空間的影響。

圖1 遙操作機器人系統Fig.1 Teleoperated Robot System

2.3 系統結構分層

由于機器學習、遙操作和機器人技術的進步，遙操作機器人系統正在變成現實。遙操作監控軟件系統，如圖2 所示。采用分核控制的方式。機器人技術為特定空間提供了一個物理實體，可以感知、探索、導航并與環境互動在應用方面打開了廣泛的可能性。IV 型控制器采用分核控制的方式，將獨立的功能模塊綁定到單獨的CPU 上，各獨立模塊間通過共享數據、系統文件及網絡通訊等方式進行數據交互，實現功能的完全解耦[9-13]。

圖2 遙操作監控軟件系統Fig.2 Teleoperated Robot Monitoring Software System

機器人的傳感器數據在整個重復運動過程中以每秒5 幀的速度記錄下來。為了確保信息捕捉數據和機器人傳感器數據日志同步，機器人以一個緩慢速度執行動作使得用戶能夠密切跟蹤機器人的動作范例。與機器人傳感器數據一樣，動作捕捉數據以每秒5 幀的速度記錄下來。在完成每個動作的最后重復之后，來自機器人傳感器數據被合并到一個日志文件中，這個日志文件包含了匹配的機器人電機位置傳感器數據和信息捕捉數據的時間序列。

3 神經網絡的預測控制器

該架構在從控制器上使用受監督的在線學習神經網絡在延遲的主控制器位置之間創建映射，神經網絡動態估計器不需要針對從屬或環境的線性模型?；谏窠浘W絡的預測控制器的框圖，如圖3 所示。因此，它可以應用于顯示非線性動態行為的非結構化環境。

圖3 神經網絡的預測控制器的結構框圖Fig.3 The Structure Block Diagram of the Neural Network Predictive Controller

3.1 神經網路調整方法

在神經網絡架構圖中，神經網絡的算法步驟如下：

（1）η＞0，權重Wij和Wki以較小的隨機值初始化。

（2）通過計算每個神經元在隱藏層的信號總和，計算線性激活neti。

（3）在輸入層的每個神經元上（即從輸入層到隱藏層）應用對數S 形函數。

（4）通過計算輸出層每個神經元上信號的總和來計算線性激活netk。

（5）將量子Sigmoid 函數用作每個隱藏神經元的激活函數，即從隱藏層到輸出層。

（6）計算輸出層的誤差信號項δk的數量。

（7）通過以下表達式更新隱藏層和輸出層之間的權重：

（9）通過以下表達式更新輸入層和隱藏層之間的權重。

（10）更新量子間隔：經過i 次迭代后，獲得最小可能誤差，然后將量子間隔增加非常小的量子間隔Δθ。

重復（10），直到誤差δk降低到可接受的精度為止。

式中：θr—間隔；r—差值級；ns—梯度或激發級的數量；η—學習率；δk—輸出層的誤差比率；δi—隱藏層的錯誤率，其中ni表示輸入層的輸入，Oi和Ok分別表示隱藏層和輸出層的輸出，輸入層和隱藏層之間的權重由Wij表示，隱藏層和輸出層之間的權重由Wki表示，t 表示目標值。

3.2 環境學習

數據采集得到一系列數據集，其中包含機器人上每個電機的碼盤值，以及機器人所處周圍環境信息值。為了減少學習問題的復雜性，允許遠程操作系統在不考慮用戶位置和方向的情況下使用計算用戶身體關節相對三維空間的旋轉角度。這些“相對旋轉”是通過比較運動信息捕捉服上的傳感器對來實現的。相對旋轉以如下公式表示：

然后將該矩陣的值轉換為歐拉角（x、y、z），作為各神經網絡的訓練輸入。神經網絡學習是在線進行訓練的，因此數據具有獨立性，并且訓練過程都完備。對訓練后的神經網絡的錯誤率進行分析。

4 地圖定位和校正

地圖反映了機器人周圍的環境信息，定位和地圖校正有益于機器人在室外執行任務同時用于本地精確導航。這種情況對在導航非常雜亂的環境尤為重要。

4.1 環境Voronoi 地圖建立

復合機器人上搭載了一款全方位的視覺系統，用于視覺導航，它由一個向上看著球面鏡1 的CCD 相機組成。相機安裝在移動平臺頂部，相機軸與移動平臺旋轉軸重合。一般情況下，環境中的三維線被投影為全方位圖像中的曲線。然而，我們可以使用模型來糾正一些扭曲。在使用Voronoi 地圖進行地圖的創建，Voronoi 地圖框架非常流行。在這里提供了一個映射代數的變體，其中所有操作都直接在Voronoi 地圖上執行。Voronoi 地圖解決方案在二維和三維中都是有效的，并且允許繞過必須使用映射代數執行的網格劃分和重采樣過程。

Voronoi 圖的定義：對平面n 個離散點而言的，它把平面分為幾個區，每個區包括一個點，該點所在的區是到該點距離最近點的集合。在各種分區方法中，最經常使用的骨架分區是在對象之間平均劃分區域。骨架分區已用于許多地圖綜合應用程序中，包括河流系統分析，山脊和山谷提取，建筑群的聚集，附近道路的識別以及基礎設施環境地圖。假設P 是一離散點集合P1，P2，…，Pn∈P，定義P的V 圖V（P）為：V（P）=｛V（P1），V（P1），…，V（Pn）｝其中Pi稱為V圖生成元?；赩oronoi 的地圖創建是基于骨架劃分而開發的。各個路段之間的空間由骨架等分，而相鄰的骨架相互鏈接，形成了路段的Voronoi 圖，如圖4 所示。

圖4 Voronoi 圖Fig.4 Voronoi Diagram

4.2 特征跟蹤和自主定位

利用鳥瞰圖來追蹤環境特征，從而估計機器人的位置/方向，或驅動機器人沿著給定的軌跡行駛。移動機器人實際的激光導航效果，如圖5 所示。可以看到激光導航已經掃描到了周圍環境，同時定位了自身位置。檢測過程受更大的空間支持，而不是局部角檢測濾波器，從而提高精度和穩定性。

圖5 激光導航Fig.5 Laser Navigation

通過跟蹤相應的邊線來跟蹤角點。利用局部光度量和幾何準則，結合穩健的擬合過程，沿垂直方向搜索每個邊緣段。在確定了新的轉角位置后，估計了兩個連續鳥瞰圖之間的二維剛性轉換，得到了相對于某些預定義坐標系統的機器人位置和方向。

從網絡接收從屬位置，速度和加速度，并使用梯度下降反向傳播訓練方法在線調整網絡權重。在線神經網絡在系統使用過程中迭代地調整網絡收益。所使用的誤差量度是力誤差平方隨時間的總和，即：

式中：μ—網絡的學習率。其中α 和γ 分別調節最大學習速率和速率降低的速度，而μ0是最小學習速率，隨著誤差的減小，這種新穎的自適應學習率被構造為逐漸降低到逐漸降低的靜態學習率。

5 實驗

遙操作機器人從廣義來講像遙控車、月球車、人機共融的融合。僅僅需要執行人借助遠程的遙控操作即可。力控制、導航和視覺等技術僅僅是遙操作的輔助技術。例如視覺技術大部分僅僅應用在遙操作初級階段作為圖像顯示功能，用于操作人員檢測和觀察。以往的機器人技術對于機器人工作安全性和技術性依靠性較高，例如力控制、導航、視覺等技術。這些技術一旦有問題將導致機器人不能使用，甚至影響機器人銷售和推廣。遙操作由于是人進行遠程遙控，全部安全性依靠通信和安全邏輯，對算法安全行要求不高。對遙操作機器人系統和地圖導航校正算法了做了驗證。

5.1 遙操作實驗

利用訓練好的神經網絡權值對機器人進行實時控制。調查結果的視頻可以在網上找到。顯示了遠程操作的機器人和測試系統的人類操作員，如圖6 所示。在我們的實驗中，用戶嘗試執行一些復雜的動作，遙控機器人停在停車位，在狹窄的路面上進行壁障等任務。

圖6 實時遠程操作機器人Fig.6 Real Time Teleoperated Robot

5.2 地圖導航實驗

為了對用戶嘗試的新運動的控制水平進行經驗評估，我們針對不屬于訓練數據集的機器人運動測試了訓練神經網絡權值。采用遙操作運動平臺在車間進行動態建圖及導航。測試過程如下。

（1）首先選取定位點，通過遠程終端操作創建地圖。

地圖說明：地圖左側為B3 樓3 樓大廳正門側，地圖右側為電梯側。左右全長約136m，上下寬約34m。

如圖7（a）所示，地圖創建完成后，手動遙控實驗平臺運動，并使用PC 端軟件的地圖顯示功能實時監控實驗平臺運行，確認實驗平臺實際運行位置和地圖上顯示位置是否一致。

圖7 實驗平臺創建的地圖及選取的目標點Fig.7 The Map Created by the Experimental Platform and the Target Points Selected

（2）地圖創建好后，選取5 個目標點，將5 個目標點通過PC端軟件記錄。

如圖7（b）所示，手動運行實驗平臺，選取5 個位置點并通過PC 端軟件記錄，圖中圓圈部分為此次測試時選取的定位點和其它5 個目標點。

地圖說明：地圖中間區域為實驗教學樓。長約222m，寬約194m，如圖8 所示。圖中綠色部分為此次測試時機器人定位導航行走軌跡。如果地圖范圍擴大了，依靠地圖校正策略該導航精度不會降低，作業精度為（±0.5）mm，停車精度，（±10）mm。導航精度為（±42）mm。

圖8 教學樓導航實驗Fig.8 Navigation Experiment of Teaching Building

（3）使用PC 端軟件創建執行作業。

創建作業，使實驗平臺按照順序從左向右依次運行，每到達一個點增加5s 延遲時間用來判斷實驗平臺的停車精度。將此程序執行5 次，比較其中的變化。

6 結論與展望

利用機器學習建立了一個遙操作系統，這是一個非常通用的方法來建立直觀和靈活的遙操作系統。遙操作的工作需要對現有技術進行整合，協議統一，把機器人模塊當作是積木進行拼接。對于在人口稠密的環境中運行的移動機器人而言，對信息互動學習進而建模是了解環境和重現人們行為的關鍵。在這里引入了一個遙操作的軟件框架來進行定位導航。在機器人導航過程中，建立基于Voronoi 的地圖信息，可以根據幾何尺寸以及更豐富的地理意義來改善骨架構造。神經網絡學習是實現這一目標的一種有效的方法，利用神經網絡來優化和校正機器人周圍環境地圖。這種方法的優點包括不依賴于特定機器人的建模，能適應個人用戶的特性，并且使用帶有環境捕捉傳感器，機器人的系統只需做很少的工作即可完成任務。根據提議的一組客觀和主觀績效指標對結果進行基準測試。這些算法可以通過適應度函數幫助生成全局優化道路選擇結果。使用不同的運動信息捕捉輸入設備和/或不同的機器人來測試系統的可行性。此外，不同道路之間的空間在一般化過程中也起著一定的作用，因此不應視為整個區域內完全均勻的區域。實驗結果表明，該方法為實現機器人的遙操作提供了一種快速、有效、靈活的方法。