載人月球探測混合現實遙操作控制總體方案研究

王鵬基， 邢 琰， 孫赫婕， 王 碩

(1.北京控制工程研究所， 北京 100094； 2.空間智能控制國家級重點實驗室， 北京 100094)

1 引言

遙操作巡視探測是月球探測的重要方式，具有代表性的是蘇聯的Luna 系列[1]。 由于地月之間距離傳輸時延和傳輸帶寬的限制[2]，在軌數據難以實時傳輸到地面上，地面操控人員無法直接根據圖像數據實時操控月面移動機器人。 而月面地形環境復雜未知，且存在較大的不確定性，給月面移動機器人的遙操作任務帶來較大的挑戰。

蘇聯共開展了2 次月面無人巡視探測任務，于1970 年發射的Luna17 首次使用月球車(Lunokhod1)在月面巡視探測，1973 年發射的Luna21中的月球車2 號工作了約4 個月，行走里程達37 km[3]。 中國的玉兔1 號于2013 年底抵達月球正面虹灣地區，玉兔2 號于2019 年1 月3 日開始在月球背面南極-艾特肯盆地的馮·卡門撞擊坑開展巡視探測，已經成為在月面工作時間最長的月球車。

蘇聯的月球車系列主要采用移動—等待的遙操作控制策略[4]，確保地面獲取了完整的在軌圖像信息，遙操作指令經地面充分驗證后才上傳到天上執行，從而確保月面探測的安全性。 與蘇聯的Luna 系列月球車類似，中國的玉兔號月球車也主要采用移動—等待的地月遙操作探測方式，所不同的是，玉兔號還具備局部的自主避障探測能力。 但這種走走停停的探測方式導致探測效率較低，對于未來載人月球探測大范圍未知月面空間來說顯然是不夠的。 若能在地面上將地月時延間隔內移動機器人的未來運動狀態進行準確預測[5]，并利用混合現實人機交互仿真技術[6]在地面控制中心逼真再現月面操作現場的任務場景，實現月面物理場景和操控人員面前虛擬場景的準平行，操控人員就可在高沉浸感的虛擬場景下實時驅動虛擬機器人，以達到對月面移動機器人連續遙操作控制的目的，從而提高移動機器人的探測效率和安全性。

本文提出一種基于運動預測修正和混合現實場景仿真的月面遙操作控制總體方案，地月傳輸時延過程的月球車運動狀態通過預測得到，并利用混合現實仿真技術進行虛擬場景更新和顯示，實現月面物理場景和操控人員面前虛擬場景的準平行，從而使操控人員可以在地面控制中心、月軌空間站或月面居住艙內完成月球車的實時遙操作探測，提高月面探測效率。

2 載人探月遙操作任務分析

2.1 載人探月遙操作方式

根據遙操作人員所處的位置，中國未來載人月球探測遙操作方式大致可分為地面遙操作、月軌遙操作和月面遙操作3 類。 其中，月面遙操作又包括操作人員在月面居住艙內的短期月面遙操作、操作人員在艙外跟隨機器人的月面伴隨遙操作及操作人員位于月球基地控制中心內的月球基地遙操作3 種形式。

圖1 給出了載人探月巡視探測任務可能采取的遙操作控制方式。 載人探月遙操作分為上中下3 層。 中層為月面上的遙操作，上層為操控人員位于月軌空間站中的遙操作，下層為操控人員在地面控制中心的遙操作。 上中下3 層遙操作方式可同時存在，協同工作。 根據技術發展水平，在某個探測階段，以其中一種遙操作方式為主，其他遙操作方式為輔。

2.2 載人探月遙操作發展階段

按照中國載人探月工程的技術發展水平，遙操作大致可分為以下4 個階段:

1)地面遙操作階段。 月球基地尚未建立，著陸器和居住艙的生保條件和遙操作能力有限，考慮安全性，航天員直接出艙進行伴隨遙操作的可能性也不大。 因此，以操作人員位于地面控制中心進行地面遙操作為主，著陸器、居住艙或月軌空間站里的航天員對遙操作過程進行監視，必要時可參與操作。 該階段遙操作時延最大，但計算資源最強。

2)月面遙操作初期階段。 操作人員留在著陸器或居住艙內，或者出艙跟隨移動機器人進行伴隨遙操作。 通過月面上的遠程或者近程無線通訊鏈路進行指令通訊和數據傳輸，操作移動機器人實現月面環境巡視和采樣等探測活動。 該階段遙操作的優勢是通訊和傳輸延時較小，不足是著陸器/居住艙或航天員自身的生保系統受限，難以實施長期遙操作探測任務，且計算資源有限。 該階段下，地面控制中心和月軌空間站的遙操作為輔助，必要時可參與操作。

3)月軌遙操作階段。 在構建起月軌空間站和中繼衛星、解決了月軌通訊問題后，月軌空間站遙操作就具備了一定優勢:比地面遙操作延時更短，指令通訊和數據傳輸速率更快，實時性更好；比月面遙操作計算能力更強，實時遙操作的可實現性更高，月面探測的時間更長。 該階段下，著陸器和居住艙的航天員或地面控制中心的操控人員對遙操作過程進行監視，必要時可參與操作。

4)月面遙操作高級階段。 待在月面上建立起長期值守的月球基地后，操作人員位于月球基地控制中心進行的遙操作與其他遙操作相比具備更大的優勢:遙操作指令通訊和數據傳輸相較于地面或月軌空間站遙操作方式延時更小，實時遙操作的可實現性更好；操作環境更舒適，大大降低人的疲勞程度；計算資源相對更豐富，生存條件更好，可長期執行遙操作探測任務。 若配合月軌空間站或中繼衛星，可實現全月面任意位置的遙操作巡視探測。 該階段下，地面操控人員或月軌空間站的航天員對遙操作過程進行監視，必要時參與操作。

2.3 遙操作時延分析

無論采取哪種遙操作控制方式，或多或少都會受到時延影響，其中最為突出的是數據傳輸時延，包括距離傳輸時延和鏈路帶寬時延。

對于地月距離傳輸時延，其大小是由無線電傳輸速度決定的，無論載人探月發展到哪個階段，地月距離傳輸時延都是存在的，且不會隨著技術的發展而縮短。 按地月距離380 000 km 估算，傳輸時延單程大約為1.5 s。

鏈路帶寬時延主要針對圖像等大容量數據的傳輸情況，受傳輸鏈路的帶寬限制較大。 帶寬提高，同樣的數據量，其傳輸過程所用時間就相應減少，該類時延大小會隨著載人探月技術的發展而大大縮短。 另外，圖像壓縮會減小下傳的數據容量，同樣可縮短地月數據傳輸時間。

2.4 下傳數據需求分析

對于載人探月遙操作任務，尤其是時延較大的地月遙操作任務來說，下傳的測量數據按下傳速度可分為短周期時延數據和長周期時延數據。

1) 短周期時延數據。 主要指月面移動機器人的位姿數據。 這類數據容量很小，通常只考慮距離傳輸時延，由安裝在移動機器人上的導航敏感器直接測量得到，適用于對時延要求比較高的遙操作路徑規劃制導和預測任務。

2) 長周期時延數據。 主要指月面移動機器人周圍的月面地形數據，包括雙目圖像、激光點云等。 這類數據通常容量較大，受鏈路帶寬限制也較大，由安裝在移動機器人上的各類感知敏感器(如導航/避障相機、監視相機、激光雷達等)獲取。 隨著載人探月技術的發展，還可以充分利用月軌空間站或著陸器/居住艙上的高分相機精確獲取月面操作現場的大范圍地形數據。 該類數據雖然下傳周期較長，但測量精度比較高，可對移動機器人進行精確定位定姿，對利用慣導數據進行的移動機器人位姿預測結果進行修正。

3 地月準實時遙操作方案

地月遙操作是載人月球探測初期的主要遙操作方式，且與其他形式的遙操作相比，其通訊和數據傳輸延時最大，克服時延實現實時遙操作的難度也最大，因此研究地月遙操作最具有代表性。本文重點針對地月遙操作控制進行方案研究，突破該方式下較大時延預測修正和顯示等關鍵技術，實現準實時遙操作，提高探測效率。 載人月球探測混合現實地月準實時遙操作控制的基本過程如下:初始化階段，由混合現實仿真子系統根據提前獲取的月面圖像進行大范圍三維重建和地形特征的增強信息顯示，形成靜態虛擬月面任務場景，包括虛擬移動機器人。 之后，由操作人員根據重建的虛擬月面任務場景操控虛擬移動機器人運動，從而生成遙操作指令；將指令連續上傳至月面的真實移動機器人，在指令執行之前提前預測移動機器人的運動狀態；利用延時下傳的性能測量單元(Inertial Measurement Unit，IMU)等測量數據進行短周期預測修正；待月面圖像延時下傳后，由預測修正子系統解算得到更為精確的機器人位姿結果，并進行長周期預測修正，以達到預測軌跡逼近移動機器人真實運動軌跡的目的。 與此同時，混合現實仿真子系統根據移動機器人的位姿預測結果和延時下傳的月面圖像數據對任務場景進行動態實時更新與增強顯示，為操控人員提供高臨場感且與月面操作現場延時同步變化的虛擬現實任務場景。

由此循環進行指令上傳、位姿預測、定位定姿、預測修正和場景更新顯示，從而構成地月時延下混合現實遙操作閉環控制系統。 如圖2 所示，載人月球探測混合現實地月準實時遙操作系統包括3 部分:地面控制中心、月面任務操作現場和地月通訊鏈路。

圖2 載人月球探測混合現實地月準實時遙操作系統方案及組成框圖Fig.2 Scheme and block diagram of Earth-Moon quasi-real-time mixed reality teleoperation system for manned lunar exploration

3.1 地面控制中心

地面控制中心是混合現實遙操作的核心，其主要功能是由地面操控人員根據三維重建和增強的數字任務場景完成人機交互遙操作，生成并上傳遙操作指令，實現對月面移動機器人的遙操作控制。 地面控制中心包括3 個子系統:遙操作預測修正子系統、混合現實仿真子系統和人機交互子系統。

3.1.1 遙操作預測修正子系統

遙操作預測修正子系統是地月時延下準實時遙操作任務得以實現的核心系統之一，主要由移動機器人定位定姿模塊和運動狀態預測與修正模塊等組成。 移動機器人運動狀態的預測優劣取決于定位定姿和預測修正兩部分的綜合作用結果，任何一部分性能降低，都將直接影響最終的預測性能，進而影響遙操作任務的實現。 該子系統主要功能如下:

1)狀態預測。 通過建立月面移動機器人的預測模型(含有月面地形起伏的運動學模型)，對地月時延下的機器人位置姿態進行外推預測。

2)定位定姿。 根據月面上延時下傳的機器人位姿和月面地形圖像數據，利用即時定位與建圖(Simultaneous Localization and Mapping，SLAM)方法對成像時刻機器人真實位姿進行精確計算，這是預測修正的重要參考數據。 由于地月時延的存在，該位姿數據無法實時獲取，只能是有限幀數據。

3)預測修正。 利用延時下傳的慣性測量單元(IMU)等數據實現短周期預測修正，并結合SLAM 技術獲取的位姿信息實現長周期預測修正，確保機器人運動狀態預測誤差收斂，精度滿足要求。

3.1.2 混合現實仿真子系統

混合現實仿真子系統是地面操控人員實現實時遙操作控制的重要條件，為地面操控人員提供虛擬月面任務操作場景，由三維場景重建與更新、增強信息生成與顯示、混合現實仿真等模塊組成。其主要功能如下:

1)三維重建。 對包括大范圍月面地形和移動機器人在內的月面任務操作現場真實場景進行精確三維重建，實現月面真實場景的數字化。

2)場景更新。 一方面，根據預測修正的虛擬機器人位姿更新虛擬月面任務操作場景(虛擬機器人在虛擬月面環境中的狀態)；另一方面，根據延時下傳的雙目相機和激光雷達月面地形數據對局部虛擬月面地形、尤其是局部月面特征進行更新。

3)信息生成。 對虛擬月面場景中的地形特征進行精確計算，獲取特征尺寸、危險程度、規劃路徑等增強信息。

4)增強顯示。 對三維重建和更新的場景進行渲染，并將生成的增強信息準確顯示在虛擬月面場景中，為地面操控人員提供準確且高臨場感的混合現實可視場景。

3.1.3 人機交互子系統

人機交互子系統主要通過遙操作平臺(如操控手柄等)和虛擬現實月面任務場景，構建起地面操控人員與真實任務操作現場之間的實時互動關系，最終實現操控人員對月面移動機器人的準實時遙操作控制任務。 包括地面操控人員、操控手柄及頭盔等混合現實仿真設備等。

3.2 月面任務操作現場

月面任務操作現場是遙操作任務的真實操作現場，負責獲取并延時下傳各類敏感器測量數據，同時執行地面控制中心實時上傳的遙操作指令，從而完成移動機器人的巡視探測和采樣任務。 月面任務操作現場主要包括移動機器人和月面環境(月面地形、光照環境等)。 其中，移動機器人包括移動平臺及各類敏感器設備(雙目相機、激光雷達、慣性測量單元等)、操作機械臂和手眼雙目相機等。

3.3 地月通訊鏈路

地月通訊鏈路主要負責地面控制中心與月面任務操作現場移動機器人之間的指令通訊和數據傳輸。 距離時延和有限傳輸帶寬引起的數傳時延都將對地月遙操作的準確性和實時性產生較大影響。

4 地月遙操作系統工作流程

載人月球探測混合現實地月準實時遙操作控制系統的基本工作流程設計如圖3 所示。 中間一條帶有箭頭的軸為時間軸，軸的上端為天，即月面環境下的真實操作現場，天上時刻用下標s 表示；軸的下端為地，即地面控制中心的虛擬操作現場。 遙操作控制指令與月面執行之間，可認為相差一個地月傳輸延時Ttrans，而遙測下傳的測量數據可分為短周期和長周期:短周期數據為運動狀態數據(位置、姿態等)，其時延主要為地月傳輸時延Ttrans；長周期遙測數據為圖像數據，其時延包括地月傳輸時延Ttrans和圖像下傳時間Tpic兩部分。 載人月球探測混合現實地月準實時遙操作的基本工作流程如下:

圖3 載人月球探測混合現實地月準實時遙操作基本工作流程Fig.3 Basic workflow of Earth-Moon quasi-real-time mixed reality teleoperation system for manned lunar exploration

1)初始化。t＝0 時刻，月面移動機器人位于月面任務操作現場。 利用移動機器人或者軌道器/著陸器上的高分辨率相機/雷達對待探測的大范圍月面地形進行成像，并將圖像數據下傳到地面控制中心。 然后由混合現實仿真子系統對月面任務操作現場(包括月面地形和移動機器人)進行靜態三維重建、渲染和增強信息生成，在地面控制中心呈現虛擬操作任務場景，包括月面地形和移動機器人數字模型。

2)一步遙操作。 操控人員根據三維重建后的虛擬場景，通過人機交互子系統操控手柄進行一步遙操作，使得虛擬機器人在三維場景中按預定軌跡運動，操作指令立即上傳至任務操作現場的真實移動機器人。

3)一步預測。 在當前地月時延間隔內，每個遙操作控制周期，由遙操作預測與修正子系統對移動機器人的運動狀態(車體位置、速度、姿態等)進行一步預測。

4)一步場景更新。 混合現實仿真子系統根據預測的移動機器人運動狀態更新虛擬場景中的機器人位姿和月面地形。

5)重復步驟2)～4)，直到第一個短周期時延的IMU 數據下傳到地面。

6)短周期預測修正。 在每個遙操作周期，連續下傳移動機器人的位姿數據至地面控制中心，預測修正子系統利用下傳的位姿信息對之前的預測結果進行修正，直至當前時刻。 之后每個遙操作控制周期，都根據延時下傳的位姿信息進行短周期預測修正，直到第一個長周期時延的圖像數據下傳到地面。

7)長周期定位定姿。 雙目相機和激光雷達每間隔一個延時周期(如10 s)下傳一組圖像數據至地面控制中心，預測修正子系統根據延時下傳的圖像數據，結合短周期位姿數據對圖像對應時刻移動機器人的位置姿態進行精確解算，為長周期預測修正提供基準。

8)長周期預測修正。 預測修正子系統以長周期定位定姿確定的精確位置姿態為初值，結合IMU 數據對長延時周期內的移動機器人位姿預測結果進行精確修正，直至當前時刻。

9)混合現實仿真。 混合現實仿真子系統以修正的移動機器人位姿數據和延時下傳的圖像數據作為輸入，實時更新虛擬月面任務場景，包括虛擬月面地形和虛擬機器人，結合人機交互子系統實現虛擬場景遙操作。

重復步驟2)～9)，完成地月延時條件下的地面遙操作、指令上傳、位姿預測、場景更新、數據下傳、預測修正、混合現實仿真和再操作的閉環過程，直至遙操作任務結束。

5 試驗驗證

在實驗室內構建包括實物月面移動機器人、月面模擬環境和虛擬現實數字仿真環境在內的混合現實月面遙操作半實物仿真試驗系統，通過行走機器人定位預測和虛實結合遙操作，實現月面巡視探測準實時遙操作移動控制，進而驗證混合現實遙操作性能。 仿真系統與試驗現場如圖4所示。

圖4 仿真系統與試驗現場Fig.4 Simulation system and experiment site

遙操作控制誤差測試是綜合性測試，在混合現實虛擬仿真環境下使用方向盤對月面移動機器人進行遙操作，結合預測信息等增強信息的提示作用，控制月面移動機器人進行軌跡運動。 該指標用于評估混合現實遙操作移動控制的綜合性能(包括重建、定位、預測、控制精度)，采用半物理試驗的方式進行驗證。

在混合現實虛擬仿真環境下進行20 組測試，速度為5 cm/s，10 cm/s，12 cm/s，15 cm/s 和20 cm/s，包括直線軌跡、曲線軌跡等多種情況，測得遙操作控制誤差約為7.86 cm。 測試數據如表1 所示。

表1 遙操作控制誤差Table 1 Control error of teleoperation/cm

依據混合現實仿真環境下的半實物仿真測試結果，本文研制的地月準實時遙操作控制系統總體方案，能夠適應于不同的速度、軌跡和運動狀態的遙操作，在仿真環境的崎嶇環境能夠穩定地運行，遙操作控制誤差滿足預期要求。

6 結論

本文提出了一種基于運動預測修正和混合現實仿真技術的地月準實時遙操作控制系統總體方案:通過對月面任務操作現場進行精確三維重建和增強信息顯示，實現虛實場景動態匹配；通過對月面移動機器人進行融合定位和時延運動預測，實現虛擬場景下機器人遙操作移動控制的準實時性。 利用構建的混合現實月面遙操作半實物仿真試驗系統，進行遙操作控制誤差測試，充分驗證了方案的可行性與有效性。 本文成果目前正在推廣應用到中國載人月球探測月面活動相關的探測技術攻關研究中，后續也可應用到無人月球基地建設中。