航天員混合現實訓練與支持技術研究

晁建剛, 許振瑛, 何 寧, 孫慶偉, 魏源宏, 胡帥星

(1.中國航天員科研訓練中心人因工程重點實驗室, 北京 100094;2.航天工程大學宇航科學與技術系, 北京 101416)

1 引言

空間站任務中,航天員面臨更加復雜的在軌維護維修、科學實驗以及應急模式預案外的緊急排故等技能操作,不但對航天員的操作技能、協作技能提出了新的要求,更對復雜任務模式下的航天員支持保障手段提出了新的挑戰。傳統模式下航天員通過地面實物、半實物和數字仿真綜合構建的模擬器進行技能訓練,存在以下不足: ①空間失重模式下交互操作以及復雜典型故障等模擬程度有限或者難以在地面模擬; ②復雜任務的操作通常通過手動查看文字圖片手冊來進行,理解容易有歧義且無法高效工作; ③遠程天地支持通常通過語音和有限實時視頻圖像進行,支持中的語義理解受到限制。

混合現實(Mixed Reality,MR)技術是通過在現實環境中引入虛擬對象/場景信息,在現實世界、虛擬世界和用戶之間建起一個交互反饋的信息回路,以擴展增強用戶體驗信息范圍,具有真實性、實時互動性以及構想性等特點[1]。其物理實體和虛擬數字對象滿足真實的三維幾何投影關系,用戶視覺感知的混合場景空間結構、色彩紋理、亮度等虛實保持一致。根據真實場景視覺圖像特征,借助IMU(Inertial Measurement Unit)等多傳感器融合手段,能夠實時高速地進行位姿估計與建 圖(Simultaneous Localization and Mapping,SLAM);能夠智能感知記憶物理場景,并輸出運動估計位姿,用于真實場景中虛擬對象的實時融合渲染;能夠根據掃描物理世界場景的Mesh 地圖進行空間檢測、多人協同共享定位或遠程支持的虛擬場景匹配[2-3]。基于MR 技術的上述特點,在航天員訓練和支持中,借助目前已有的實物、半實物模擬器環境,可以實現工程半實物難以模擬的典型設備操作和故障排除,實現地面難以模擬的失重運動操作,實現復雜設備智能虛擬輔助指導或智能定點定位引導操作,實現天地遠程支持模式下三維沉浸式指導標注。

近年來,NASA 一直致力于MR 技術在太空探索中的應用。2015 年,NASA 實施了OnSight 項目,利用微軟HoloLens MR 頭盔將火星的地表在操作臺附近地面虛擬渲染三維投射出來,佩戴MR 眼鏡的多名工程師協同進行火星車任務的驗證和規劃討論,多人協同定位基于頭盔視覺生成Mesh 空間匹配[4]。針對國際空間站航天員復雜操作輔助誘導支持以及與地面支持人員遠程協同,NASA 陸續在國際空間站測試Sidekick 項目,用于航天員執行復雜任務的輔助信息自主導引,同時通過Skyper 軟件于地面指導航天員在軌工作。針對空間失重特因環境下的空間定位,NASA對HoloLens 頭盔采用的VIO(Visual SLAM+IMU Odometry)6 自由度位姿估計模式進行了在軌適應性改造,并在失重飛機上進行了試驗[5]。

中國空間技術研究院采用成熟的商業MR 設備在地面實現了嫦娥任務的月表場景投影,用于模擬沙盤的重建。中科院采用MR 實現了空間載荷設備操作的虛擬導引,其在軌位姿估計采用了三維對象目標匹配方法等。李暢等[6]、孫慶偉等[7]在MR 訓練支持、場景理解、空間重建、位姿估計以及場景匹配上做了工程試驗積累,但未形成應用實例。

為適應空間站航天員典型訓練和支持任務動態變化需求,本文設計并實現了便于快速配置和擴展研發的航天員混合現實訓練與支持系統的技術框架,針對訓練和支持的特因環境,研究實現空間弱紋理以及失重模式下的純視覺位姿估計算法;針對訓練中的多人協同以及天地遠程支持,解決對象操作同步、Mesh Anchor 虛實空間匹配、天地虛擬場景虛虛匹配等關鍵技術,為當前工程任務完成提供支持途徑。

2 方法

2.1 設計目標

航天員混合現實訓練聚焦地面訓練和在軌支持2 種模式。地面訓練模式主要在目前已有實物、半實物模擬器基礎上,通過MR 頭盔實時渲染生成的三維標注信息對復雜設備操作進行虛擬導引,提高航天員操作效率與準確性;模擬損傷性火災場景等典型性故障,用于航天員應急處置;模擬失重模式下設備操作狀態,用于航天員熟悉在軌作業狀態;用虛擬模式補充模擬艙內工程實物、半實物實現難度大的設備,構建真實的在軌空間環境。在軌支持模式除復雜設備操作自主導引外,重點實現天地協同定點定位的三維協同支持。航天員佩戴MR 頭盔,實時下傳操作場景,地面根據下傳圖像建立Mesh 空間與預先虛擬場景進行虛虛匹配,在與空間一致的相對坐標位置進行虛擬信息的實時設置,上傳虛實疊加導引,指導航天員定點定位操作。

2.2 設計約束

面向建立長期支持航天員地面訓練與在軌支持的混合現實系統,要考慮混合現實使用物理場景的特殊性。設計約束有4 方面: ①建立的工程實施體系架構要同時滿足地面和在軌支持需要,且根據任務快速開發與更動; ②無論地面訓練用航天器模擬座艙還是真實的在軌航天器,視覺定位的場景紋理特征相對比較單一,屬于弱紋理,選取健壯的特征點以及建立描述子滿足精準位姿估計需要; ③在軌失重模式下,基于比力傳感模式的MEMS(Micro-Electro-Mechanical System) IMU的加速度計無法正常工作,VIO 緊耦合模式定位紊亂,需要采用純視覺模式進行位姿高速估計,同時兼顧頭盔有限算力支持; ④多人協同及遠程支持模式下,基準錨點(Ancho)如何精準匹配保證虛擬對象定位多人視覺感知位姿一致,遠程支持模式下上傳虛擬信息三維投射需要與在軌空間擬定疊加對象幾何匹配一致[8]。其中,第一個約束屬于體系架構設計問題,后3 個約束屬于算法解決的關鍵技術。

2.3 體系框架

目前通用的混合現實開發體系架構通常面向單項任務,依據航天員地面和在軌訓練需求,本文設計了面向多人協同以及遠程支持的混合現實訓練與支持技術框架,如圖1 所示。

圖1 體系框架設計Fig.1 Framework of the system

在基于MRTK(Mixed Reality Toolkit)開發體系架構基礎上,采用MVC(Model-View-Controller)模式實現了航天員混合現實虛實融合交互操作中的數據、邏輯與顯示界面分離,通過配置實現交互驅動、仿真及邏輯計算、對象空間顯示等解析處理,在減少代碼開發的同時,提高訓練和支持科目的快速定制;系統基于OpenXR 接口機制,適應Windows、Android 等操作系統交互開發包的定制;基于NetCode for GameObject 對象狀態網絡分發機制實現多個訓練終端之間的協同操作,剔除需要中間服務器中轉信息的傳統冗余模式;系統在統一Anchor 共享機制基礎上,實現了航天員單人/多人協同操作、專家與航天員遠程MR 三維標注支持。架構模式編譯的應用軟件可以按需進行筆記本的Windows 操作系統、平板電腦和手機的Android 操作系統、以及其他VR(Virtual Reality)頭顯等設備的部署生成,適應未來多終端模式便攜使用以及與MR 終端協同使用。

MR 終端開發應用場景一般是在模擬器座艙內,首先,通過頭盔魚眼相機捕獲周圍視覺環境計算位姿,同步進行座艙環境的三維立體地圖稀疏重建,用于虛實融合定位、虛擬碰撞檢測、虛擬運動渲染和協同定位;其次,根據訓練操作程序、預定腳本以及實體對象仿真,實時渲染生成三維虛擬對象或者引導標注信息,通過光波導系統三維立體投射疊加到實體場景中的操作實物對象上;最后,通過TOF 相機識別用戶交互手勢、通過頭盔內嵌語音系統識別用戶語音指令等,從而實現場景中的自然人機虛擬交互操作,形成人在MR回路中的按照虛擬引導的信息在實體環境中進行虛實融合操作,完成預定的模擬訓練任務或者操作支持任務。協同或者遠程支持在此基礎上構建同一虛擬匹配空間場景,在MR 空間協同虛擬信息交互。

2.4 關鍵技術

2.4.1 位姿估計優化

位姿估計是航天員端單人/多人協同操作的基礎,常規便攜模式下,地面MR 采用Inside-out由里向外內置的視覺傳感和IMU 融合模式進行位姿估計。其核心為視覺前端VO(Visual Odometry)視覺里程計,即提取每幀圖像間接特征點,利用相鄰幀圖像進行特征點匹配(Frame to Frame),或者利用當前幀與當前地圖保存地圖進行位姿匹配(Frame to Map),計算得到位姿信息。由于視覺特征點位姿計算受頭盔算力限制,輸出位姿速率為30 Hz 難以滿足實時渲染驅動90 Hz 的需要,因此采用高頻IMU 預積分互補濾波激勵低頻視覺位姿估計,從而輸出高頻精準的位姿估計值,本文研制的頭盔IMU 插值可以達到500 Hz,遠遠大于最低頻率限制。

位姿估計多傳感器融合根據使用環境、功耗和實時性要求,一般分為緊耦合和松耦合。緊耦合將視覺傳感器和IMU 的狀態通過一個優化濾波器合并在一起,需要把圖像特征點信息加入到狀態向量中,共同構建運動方程和觀測方程,然后進行狀態估計,最終得到需要位姿信息和優化的特征點信息,其融合過程本身會優化更新視覺和IMU 中的參數。松耦合將視覺傳感器和IMU 分別計算得到的位姿直接進行融合,融合過程對二者本身不產生影響,一般通過EKF(Extended Kalman Filter)濾波進行融合作為后處理方式[9]。通過理論分析和試驗證明,在緊耦合中,無論任何一個傳感器失效,最終位姿均失效;松耦合模式,二者可失效互補[10]。本文地面模式下采用VIO 融合松耦合模式,在軌失重采用VSLAM 建立VO 里程計。考慮姿態陀螺儀姿態角速度只與初始坐標相關,在軌必要時可采用VSLAM 與MEMS 陀螺儀姿態角速度驅動的松耦合模式。

松耦合以IMU 測量的加速度和角速度為激勵,進行本體預積分狀態估計,以視覺里程計預估的位置和姿態為測量值,與IMU 狀態的估計值建立殘差狀態矩陣如式(1)所示:

在軌空間環境下,IMU 感知的重力形成了圍繞地球運動的向心加速度,基于比力模型的IMU加速度計無法正常工作,加速度計借助重力分解的俯仰角和滾動角無法對漂移較大的陀螺儀實施姿態互補濾波,同時IMU 和相機也無法借助重力矢量進行初始坐標系統一,因此常規的頭盔位姿估計算法在軌無法正常使用。

基于上述分析,本文在軌采用純視覺VSLAM模式。缺少了IMU 瞬時加速度、角速度激勵和互補濾波,單純的VSLAM 法相比常規對視覺感知的特征點選取要求更高。依據航天器艙內實際,針對設備結構復雜、角點以及輪廓幾何等信息比較豐富,在算法的選擇上可以采用Harris 角點、FAST(Features from Accelerated Segment Test)、BRIEF(Binary Robust Independent Elementary Features)、ORB(Oriented FAST and Rotated BRIEF)、BRISK ( Binary Robust Invariant Scalable Keypoints)等對幾何信息比較敏感的特征點描述子,以有效避免艙內弱紋理信息特征提取的不足[11]。也有研究利用直線、面信息進行特征捕獲,但計算比較復雜。通常情況下視覺位姿估計的頻率大于60 Hz 才可滿足人的虛實感知一致性需求。為解決高速姿態預估,VSLAM 前端采用計算負荷小、速度快的直接特征光流法(艙內幾何角點信息豐富)進行特征點識別圖像對齊,采用描述子進行關鍵特征點建立、位姿優化和適合MR 虛實融合三維Mesh 地圖重建(原始為點云三維重建)。考慮到位姿預估的健壯性,本文研制的頭盔純SLAM 算法中采用特殊特征點描述子,經測量匹配速度為前最快的ORB 描述子1/3～1/4 倍。

純VSLAM 模式位姿優化同樣建立狀態方程,通過式(3)建立滑動窗口進行姿態估計優化。

為保證姿態預估值更好地驅動渲染圖像,提高純視覺位姿估計不低于60 Hz 的速率,提高視覺圖像處理VPU(Visual Process Unit)算力的同時,采用頭盔CPU 芯片與VPU 混合模式雙算力進行位姿估計解算。實際受艙內弱紋理圖像位姿估計特征點需要,可對低頻姿態預估值進行平滑高速插值計算,與VIO 優化恒速預估方法一致,采用前幀或者前幾幀運動速度進行預估插值,從而提供更高速的位姿輸出。考慮到頭盔相機運動中光心一致性,建立如式(4)所示插值方程,基于李群李代數[12]擾動法進行解算。

2.4.2 多人協同操作

在航天員單人操作的基礎上增加數據協同功能則可實現多人協同操作。為保證協同信息在物理空間中位置的一致性,在多名航天員可以各自進行位姿估計的基礎上,采用空間錨點(Space Anchor)作為物理空間的共同參考。空間錨點提供了一種能夠將協同信息保留在物理空間特定位置和旋轉狀態上的方法,并且保存了該點周圍的空間信息,作為虛實融合信息交互的參考基準空間。錨點的建立是視覺掃描的物理空間,通過三維掃描建立場景點云空間,然后轉換成可以表達空間場景的幾何結構特征稀疏連接Mesh 地圖。多人協同時,多個MR 終端通過實時掃描建立空間Mesh 地圖,與已知共享的Mesh 地圖匹配,當匹配置信度大于90%以上,可以認為此時空間為基準建立共享坐標系。多人在基于同一物理空間建立的虛擬空間場景進行虛擬協同交互,三維虛擬視覺感知場景位姿一致。

圖2 為多人協同操作的流程控制圖。MR 頭盔之間建立連接,其中一臺作為主機(服務端+客戶端),采用應用程序中的NetCode 機制進行虛擬對象(GameObject)信息共享與分發,包含了沖突競爭處理,不再單獨設置信息中轉服務器;所有MR 頭盔各自進行位姿估計與建圖,并在穩定感知的物理空間位置創建空間錨點;主機將空間錨點通過網絡發送到其他客戶端,當各客戶端接收到錨點信息時與自身創建的錨點信息進行比對,比對成功則將虛擬世界坐標進行校準,比對失敗則繼續空間感知捕獲完善錨點信息,直到與主錨點相匹配;錨點與坐標校準后MR 頭盔之間可以進行同步操作;不需要協同工作時客戶端與主機斷開連接,協同結束。由于協同操作時的物理基準空間匹配物是一致的,因此只要位姿估計準確和地圖構建完備,即可實現空間錨點成功匹配和虛實融合信息的同一場景感知。

圖2 協同流程控制Fig.2 Collaborative process control

如圖3 所示,多人協同操作數據通過數據同步模塊實現同步,數據是以GameObject 對象通過網絡同步機制進行分發與訂閱,同步內容包含所有航天員端各自的位姿、操作數據等。終端航天員對虛擬對象的操作如移動、旋轉、縮放、顯隱、生成與銷毀等實時同步到其他航天員端和專家端,保持MR 混合場景虛擬對象動態變化一致性。

圖3 數據同步操作Fig.3 Data synchronization

數據同步模塊可以同步的數據類型包括Int、Bool、Vector3、String 以及Byte。同步命令列表如表1 所示,其中操作類別(Type)為觸發的操作的類別名稱;命令頭(Head)具體區分每一條命令,不同的命令對應不同的協同操作。命令體(Body)根據Head 做對應操作:Vector3 為含有3個浮點數的結構體;Guid 為唯一識別碼,每一個被操作的物體都有一個Guid,用來區分所要操作的物體;String 為特定的命令字符串;Int 為協同信息索引值;Bool 為協同信息的顯隱值;Byte 則用來傳輸圖像、音頻、視頻等。

表1 操作類別表示Table 1 Operation list representation

在數據同步時,根據操作內容構建不同的指令。例如,航天員端01 對協同信息進行移動操作,則根據類別表創建一條命令頭為Move,命令體為協同信息當前的空間坐標,以及協同信息的Guid。然后發送命令到數據同步模塊,數據同步模塊接收到命令后將命令發送給其他客戶端(航天員端或專家端),其他客戶端對命令進行解析,解析依據接收到的命令頭做相對應的響應。

2.4.3 遠程支持

專家端對航天員端進行遠程支持時,由于專家端運行于PC 端而沒有空間位姿估計,因此專家端僅需與航天員端在空間匹配的基礎上保持虛擬內容的同步即可。專家端與航天員端的協同控制流程如圖4 所示,首先專家端與航天員端進行連接,進行天地2 個虛擬空間的虛虛匹配,然后進行支持操作的同步。與多人協同不同,首先需要將航天員操作的Mesh 空間與地面預知的支持場景的數字孿生三維模型粗匹配,通常采用全局或者局部輪廓匹配法;其次精準匹配到數字孿生虛擬空間場景中的對應局部空間位置,保證地面三維的標注對象及位姿能夠準確映射到遠程航天員MR 頭盔視覺感知的真實場景中,且與擬標注實物對象精準虛實融合疊加。由于遠程支持系統是多人系統操作的特例,因此其同步操作過程與多人協同操作相同。

圖4 專家端與航天員端協同控制流程Fig.4 Collaborative process between expert and astronaut

專家端用于對航天員端進行遠程支持,因此專家端通常設置為航天員端第一視角,保持與航天員視覺感知內容一致,便于實時支持;航天員端與專家端建立聯系后,航天員端會將操作場景、設備狀態、姿態等通過數據同步模塊傳輸到專家端中;專家根據航天員所需可以在虛擬空間中編輯虛擬支持模型,包括模型選擇、移動、旋轉、縮放、添加指示箭頭和特征符號等,專家操作通過數據同步模塊同步到航天員端,形成航天員MR 視野中的三維虛擬標注支持信息。

3 試驗結果

3.1 航天員體驗訓練主訴

基于設計的體系框架,針對典型任務訓練,實現了出艙活動程序、應急火災、環控生保ORU(Orbital Replacement Unit)、科學機柜ORU 以及CMG(Control Moment Gyro)維修等任務的混合現實訓練支持單機誘導程序。13 名航天員地面體驗和訓練調查問卷統計表明:使用過程中均無不適感覺,相比全沉浸式VR,透射式MR 體驗感好;移動定位精準、虛實融合一致、協同一致,渲染虛擬對象操作過程無漂移抖動,均認為可以有效用于實物半實物難以模擬的設備操作訓練、典型復雜流程設備訓練,可以彌補目前實物訓練器難以工程實施的訓練項目;77%航天員認為目前的電子手冊可以混合現實模式在軌使用,直觀視野顯示,解放雙手,提高操作效率;92%認為可用于自主預先訓練以及過程訓練。執行過在軌任務的航天員均表示作為一種新穎訓練手段,MR 操作使用便捷方便,對手冊操作解放雙手和復雜程序引導有直觀的輔助支持作用,提高了訓練質量和效率,可以作為在軌自主訓練和應急支持手段。

3.2 位姿試驗

地面模式下采用渲染虛擬對象與實體融合方法,通過受試者位姿實時變化測量虛擬對象空間定位精準度和穩定性。在模擬器現場,錨點原點設置為桌角圖標中心處,通過在空間錨點疊加渲染的15 cm×15 cm×15 cm 的半透明立方體(圖5),經多次測試統計表明:地面VIO 模式下,受試者任意位置和姿態變換運動,渲染對象在實體空間中無大于1 cm 的位置偏差、姿態保持穩定、無抖動閃爍現象;多名受試終端同時協同任意位姿運動,渲染對象位姿保持穩定、視覺姿態變化與預想實際一致,虛擬對象抖動不明顯。在純視覺的VO 模式下,精度偏差保持在1 cm 內,虛擬渲染對象有輕微抖動現象,位姿輸出平滑性有改善空間。

圖5 位姿優化估計測試Fig.5 Pose optim ization test

通過專用位姿測試數據集(行程長度18.67 m)對自研MR 頭盔2 種位姿預估算法進行了試驗,位置和姿態估計誤差結果如表2、表3 所示。可以看出,無論位置還是姿態估計,VIO 模式優于VSLAM 的VO 模式。經分析,VO 模式是視覺特征點基于前幀間的勻速運動預估后重投影位姿優化解算,而VIO 是視覺特征點基于IMU 本體瞬時中值積分的速度、角速度激勵預估重投影位姿優化解算,因此VIO 重投影預估更精確和平滑一些。在軌VSLAM 的VO 定位方法還應該從算法和插值上再做優化。通過標準數據集V201 的VO 插值試驗驗證,如表4 所示,結果表明:運動預估采用前3 幀速度、角速度平滑預估后的均方根誤差(RMSE)和平均誤差(MEAN)更為精準一些,接近原始的GroundTruth 預估。

表2 位置估計誤差Tab le 2 Position estim ation error

表3 姿態估計誤差Table 3 Attitude estimation error (°)

表4 插值位姿誤差Table 4 Interpolation pose error m

3.3 多人協同操作測試

采用5 臺MR 設備多人協同操作測試,其中4臺作為被測對象,1 臺用于拍攝測試過程,如圖6所示,模擬航天員在模擬器現場頭戴MR 設備,頭頂出現代表航天員頭部位姿的替身模型,且跟隨模擬航天員頭部位姿;混合現實場景中正確疊加了提示協同信息。結果表明:多人協同操作模塊支持多人同時進入相同場景,支持其他用戶隨時加入;支持實時同步更新場景中的位置信息及操作控制信息。虛擬對象場景虛實融合位姿穩定,多用戶操作體驗感較好,滿足航天員訓練需求。

圖6 多人協同信息測試Fig.6 M ulti-person collaborative information test

3.4 遠程支持系統

在模擬器現場對遠程支持系統進行測試,采用1 臺PC 機作為專家端,1 臺MR 設備作為航天員端。如圖7 所示,專家端收到航天員端數據后,2 個場景Mesh 經過粗匹配和精匹配后基本吻合,還原了第一視角視頻流的同時,恢復了航天員在混合現實場景中的位姿,并用替身模型加以標識,專家端可以在虛擬空間進行遠程三維引導標注,航天員端可以實時根據虛擬對象空間標注指引進行操作。由于無需理解手冊等輔助工具,直接按照虛實融合的標注引導進行操作,試驗表明混合現實遠程支持減少了腦力負荷,提高了操作的準確性和效率,適合應急模式下的操作支持。

圖7 專家端還原航天員端第一視角Fig.7 Expert-end reconstruction of first view of astronaut

4 結論

本文從航天員在軌和地面訓練實際需求出發,設計并實現了航天員混合現實訓練系統,解決相關關鍵技術,并試驗驗證了其有效性,主訴訓練體驗和試驗結果表明:

1) MR 作為一種虛實融合的便攜訓練手段,可以有效結合實物半實物訓練器進行典型復雜設備操作引導、應急等實物難以模擬的訓練。

2)在軌MR 可以通過預估速度的插值法實現VSLAM 位姿高速估計,解決了在軌失重模式下高速MEMS 加速度計無法支持難題。

3)航天員可以通過MR 協同模式進行多人訓練與操作,地面專家可以通過MR 遠程支持模式對在軌航天員進行三維標注沉浸支持,提高支持效率和精準性。

4)文中提出的VSLAM 姿態估計算法較好解決了在軌失重應用難題,但在算法速度、位姿誤差度仍需優化,以提高位姿預估的平滑度。