交互式感知遙操作在軌服務的展望

彭世剛 王鵬飛 程 祥 于 猛

1.中國空間技術研究院錢學森實驗室，北京 100094 2.北京理工大學，北京 100081

0 引言

交互式感知遙操作技術是在傳統指令式遙操作基礎上增加信息感知交互能力，有效增強操作者的沉浸感，使操作者對操作具有更強的感知能力[1]，控制機器人完成復雜的任務。因此基于交互式感知的遙操作機器人自20世紀90年代中期開始受到人們的廣泛關注與研究[2]。

基于交互式感知技術的遙操作機器人其交互過程可分為2個系統:1)機械手根據捕捉到的操作者運動信息以及觸覺信息進行運動跟蹤的前向交互通道；2)機械手感知外部環境并將其運動信息及觸覺、力覺信息反饋到操作者的反向交互通道。實現機械手臂在完成指定跟蹤動作的同時可以反饋機械手的運動狀態與感知的觸覺、力覺等信息，并以自然真實的方式直接作用于操作者的感知器官，使操作者產生身臨其境的感受，從而有效感知環境及控制機器人完成復雜的任務[3]，并可以實現在危險復雜的未知環境中完成探索及運動控制等工作。同時前人的實驗研究表明，交互式感知遙操作技術相比于傳統的遙控技術可以使完成任務的時間減少40%[4]。

近年來隨著機器人技術和人工智能技術的快速發展，如智能掃地機器人等消費級機器人已經有廣泛的應用。然而在行星探測、空間站在軌維護等未知、復雜環境下，因為人工智能的不確定性和不穩定性決定了在今后很長的一段時間內，智能自主機器人無法滿足航天高準確度、高成功率的要求，只能作為局部輔助手段。然而傳統的指令式遙操作方式，每執行一個動作都需通過傳感、探測、分析及信息傳輸反饋至地面操作人員，然后決策發送控制指令。由于信號延遲和信息的不完整性，導致傳統的指令式遙操作方式效率低，交互式能力弱，難以處理復雜、迅速變化的操作任務。因此需要探索具有交互式感知能力的遙操作技術。

1 國內外研究進展

鑒于遙操作機器人在航天等領域的廣泛應用前景，20世紀90年代起美國國家航天航空局(NASA)針對空間遙操作機器人展開了一系列的研究，并實現基于空間遙操作的空間站在軌維修服務[5]；日本制定了臨場感知遙操作機器人技術的研究計劃[6]；德國針對空間遙操作技術啟動了ROTEX計劃[7]。中國空間技術研究院自2005年起將臨場遙操作技術作為空間機器人關鍵技術進行立項。

1.1 美國航空航天局(NASA)——Surface Telerobotics

該項目模擬月球軌道載人航天器內的航天員遙操作月球漫游車在月面部署射電望遠鏡的作業場景。2013年7月，航天員在國際空間站內遙操作地面K10行星探測器在預定位置部署射電望遠鏡天線陣列，如圖1所示3塊膠板長條按Y形展開，模擬未來月球射電望遠鏡的可能配置[8]。Surface Telerobotics工程項目成功實現了航天員在軌對地球表面探測車的遙操作交互控制，機器人狀態三維可視化呈現，使航天員保持較好的態勢感知能力，有效降低腦力負荷，星球表面作業機器人的局部自主能力有利于保障航天員在低工作負荷下安全高效地完成操作任務[9]。

圖1 Surface Telerobotics模擬遙操作部署射電望遠鏡

1.2 俄羅斯航天集團(ROSCOSMOS)—KONTUR

該項目的主要工作為：空間站內的航天員通過筆記本電腦和力反饋操縱器遙操作地面機器人執行作業任務[10]。在2015年8月，航天員通過力反饋操縱器在軌遙操作地面機械臂完成作業任務，實現了在空間站內操作地面機械臂與人握手和抓取酒杯并碰杯實驗，同時實現了雙臂協同抓取桌面彈跳球的實驗[11]，研究人員發現，力反饋對于基于空間的遠程操作任務來說是“不可或缺的”。

圖2 俄羅斯KONTUR 遙操作系統

圖3 遙操作雙機械臂與人握手

1.3 歐洲航天局(ESA)——METERON

空間站內的航天員通過平板電腦、力反饋操縱器等人機交互設備，遙操作地面不同作業場景中的多種機器人執行操作任務[12-15]。并對通信時延、抖動和丟包率以及肢體運動的極限范圍、感受扭矩和剛度的最小刺激閾值進行研究。數據表明：該通信鏈路的平均往返時間延遲為850ms,最小延遲為800ms，最大延遲為956ms，平均丟包率4.6%，。2015年9月航天員在國際空間站內通過力反饋操縱器遙操作地面機器人執行機械裝配任務。

2019年航天員在國際空間站內根據2臺筆記本電腦中呈現的作業現場視頻反饋和輔助提示信息，通過壁掛式六自由度力反饋操縱器遙操作地面模擬月球車避開障礙物行駛到指定地點，然后采集巖石放入收納盤中，并對巖石進行探測[16-17]。

圖4 METERON 遙操作模擬月球車抓取探測

1.4 日本——ETS-VII

日本在1997年發射升空ETS-VII，用于驗證空間在軌服務的一系列任務，諸如相對運動、對接、軌道操作、更換儀器設備等[18]。研究人員在機械手上安裝了4種類型的敏感器，分別是：手眼相機，近距離探測器，握力敏感器以及手腕靈活敏感器。通過對多個敏感器的數據進行融合可以達到精確控制的目的。

圖5 日本ETS-VII系統

1.5 中國——天宮二號仿人形機械手

2016年，中國航天科技集團通過利用“天宮二號”上的機械臂開展遙操作試驗，驗證了空間遙控機器人裝配的相關技術，由于中國空間站剛起步建設，目前為止尚無具體的飛行驗證與在軌試驗。可以看出，中國在此方向的研究尚處于起步階段，以跟蹤性研究為主，體系化的實驗較少。

圖6 中國天宮二號仿人形機械手

2 核心技術分析

傳統的機械臂應用技術已經有較為成熟廣泛的發展，如空間機械臂的建模、運動學解算、路徑規劃與動力學控制技術[19]、視覺伺服技術[20]等，中國空間站設計使用的天宮機械臂已經成功發射并投入使用并進行了相關的基礎研究[21]，因此本文主要分析具有交互感知能力的機械臂在運動控制和感知過程中所特有的技術。交互式感知遙操作技術，其核心是實現人-機協同運動感知，感知交互式遙操作機器人與傳統指令式機器人相比，其主要的研究難點在于力覺的感知，力覺、觸覺的反饋再現和空間環境下遙操作的信號延遲問題，人機協同控制策略等。下面分別對這4個核心問題介紹當前主流的技術方法與研究現狀，并對其特性進行分析。

圖7 交互式感知遙操作機器人系統示意圖

2.1 感知傳感技術

感知傳感技術的主要目標是通過末端的傳感器感知如聽覺、視覺、觸覺、嗅覺、力、溫度、姿態位置等信息，其中視覺與姿態信息的捕捉已經有比較多的研究與應用，如SpaceMocapz在軌人體運動捕捉系統[22]，而作為空間遙操作核心的力覺、觸覺感知技術是當前研究的重點與難點，力觸覺傳感器主要有壓力傳感器和力矩傳感器，前者主要是檢測與物體接觸時產生的壓力，可實現對指尖壓力、物體振動、表面形狀的感知反饋，后者主要是按壓物體時對手指等產生的力矩以及腕部力矩的感知。

當前壓力傳感器主要集中在垂直方向壓力的檢測，根據其原理可分光電式、壓電式和半導體式等，其中壓電式可以分為電阻式，電容式和電感式，當前垂直方向電阻式壓電傳感器已經較為成熟，可實現毫米級別的厚度且為柔性傳感方便穿戴。三維壓力傳感器的研究雖然取得了一定的進展，如浙江大學研制的一款電容式三維力柔性觸覺傳感器[23]，采用分層制造、集合封裝的方式開展傳感器的制備制造但是其離實用性仍有較大的距離。同時力覺傳感器在精度較高的前提下，應具有厚度薄、可彎曲、易于延展的特點。

2.2 力覺反饋再現技術及裝置

力覺反饋是用外加裝置模仿抓取物體時物體對人的肌肉、關節和筋腱上的力，同時實現運動限位，側重于人的宏觀整體感受，尤其是人的手指、手腕和手臂對物體運動和力的感受。如用手拿起一個物體時，通過觸摸反饋可以感受到物體是粗糙的或堅硬的等。

力反饋裝置根據結構的不同，可以分為穿戴外骨骼手套式和手控器式。穿戴外骨骼式，是一種基于可穿戴外骨骼式手套，通過限位裝置和壓力裝置實現運動的壓力感知和力矩感知。如圖2所示為岱仕科技2019年公布的一款可穿戴外骨骼式力傳感器手套Dexmo企業版[24]，通過外骨骼的方式反饋抓取物體時對手指的力和力矩。手控器式交互傳感裝置一方面實時測量手部的運動角度信息，進行運動的跟蹤控制，另一方面對手部產生力覺反饋，其可分為同構式和異構式2種，其中后者為研究的主流方向。當前許多機構和學校都在進行力反饋技術的研究，然而由于涉及到精密結構設計，合適的觸覺反饋裝置與材料，當前的力覺反饋裝置的體驗感較差，另外，外這種裝置在實現運動觸覺反饋的同時降低了手指的靈活度，造成體驗感較差，因此力覺反饋再現技術需要新的技術突破。

圖8 岱仕科技力反饋手套

2.3 觸覺反饋再現技術及裝置

觸覺再現技術主要是通過壓力產生模塊，使操作者感知手指的壓力，以此感知物體的形狀、振動特性以及物體的紋理等外部結構信息。

觸覺再現可分為形狀改變式和表面刺激式兩大類。形狀改變式觸覺反饋是基于物體體積的改變對手部產生擠壓從而產生觸覺反饋。較為普遍的方式如氣壓、氣環或者基于形狀記憶合金等智能材料。表面刺激式觸覺再現是通過對操作者施加氣流、電流、磁場，振動等刺激，使手部產生觸覺感知從而實現觸覺再現[3]。其中振動刺激最為廣泛，其原理是采用電磁或者壓電等方式實現振動，振動觸覺反饋的優點是可以克服形狀改變式觸覺反饋存在的感知麻木現象，其缺點是振動結構較為臃腫，體積過大。電刺激的方式是通過表面電極刺激或者肌肉神經刺激與靜電刺激等方式產生觸覺反饋，通過靜電吸引在皮膚表面產生觸覺。

2.4 空間環境下遙操作延時問題

由于信號傳輸距離在幾百千米以上，如地月間距為38萬公里，空間環境下(如月球)的遙操作機器人會有嚴重的信號延遲情況，因此延時問題是交互式感知遙操作機器人要面對的一個重要問題。當前解決延時問題主要有2種思路：1)通過算法實現系統的穩定與可操作性；2)采用虛擬預測技術進行環境建模。

常采用的算法是無源控制算法、時間控制算法和基于H∞理論的控制算法，如文獻[25]利用雅庫波維西-卡爾曼-波波夫引理導出的李雅普諾夫方法和技術，分析了運動的質量和穩定性，但以上的方法在超過7s的大延時情況下效果并不理想。當前主流技術為基于合理預測下的虛擬建模技術。

虛擬現實技術(VR)是解決大延時問題的一個重要方式。其基本原理是將真實環境和虛擬預測環境同時通過虛擬現實技術進行環境模型的構建，并進行不同狀態的標識。虛擬現實技術用于大延遲遙操作技術的一個典型案例是美國的旅行者號深空探測器[26]，1997年7月美國旅行者號探測機器人登陸火星，采用虛擬現實建模技術，將虛擬的火星環境和虛擬的探測器模型連接在一起，通過預運動和圖形建模的方式，如果真實結果符合要求則控制代碼傳輸給火星探測器進行執行指令。

針對空間環境的大延時問題的另一個解決思路是轉變使用場景，減小空間傳輸距離。如在航天艙內遙操作艙外機械臂進行在軌服務，又如在月球等行星軌道衛星艙內或行星探測艙內遙操作行星表面的探測器執探測作業任務，規避了大延時的問題。

2.5 空間交互式遙操作控制模式設計

空間機器人根據自主能力的高低，可分為主從模式、雙邊模式、共享模式、遙編程模式和自主模式等5種基本控制模式[27]。其中主從模式為從端機械手跟蹤主端機械手的行為指令，沒有自主能力[28]。雙邊模式是在主從模式的基礎上實現感知信息的反饋，實現信息的雙邊閉環反饋傳輸，是感知交互遙操作的基本使用方式。當前主流的研究方式為共享模式和遙編程模式。共享模式是讓操作員與機器人協同半自主決策，一方面遙操作者根據感知交互信息進行直接操作來發揮其判斷決策能力，同時保證機器人具有一定的自主能力，比如在裝配過程中利用機器人的自主性保持對中心點的捕捉瞄準，克服運動晃動[29]，以及通過自主力控，克服人的誤操作導致的機械損傷。遙編程模式使機器人具有更高的自主控制能力，操作員根據交互感知信息發送高級的機器人運動意圖，機器人識別操作終端意圖(如虛擬環境下的瞄準、裝配)，依靠自己的局部閉環控制完成工作任務，同時該方法也可以有效克服信號延時問題。然而該模式的主要困難在于意圖的識別和可靠性不能完全滿足航天高穩定性高可靠性的嚴苛要求。自主模式是最高級別的控制方式，實現在基本不需要人的參與下的自主決策與工作。

3 交互式感知遙操作在軌服務機器人的思考

3.1 必要性分析

1)結合專家決策，高成功率完成作業任務

采用雙邊模式、共享模式、遙編程模式等協同半自主控制模策略。一方面通過反饋的力覺、視覺、觸覺及其他感知信息，輔助具有豐富專業經驗的專家做出準確的決策判斷。人的高智慧使機械臂操作具有更強的靈活性，而信息交互具有更強的交互感、臨場感，輔助專家在未知復雜的環境下做出準確快速的決策。同時將人的決策意志傳遞給機器人，結合機器的自主輔助能力如激光輔助瞄準、力矩自適應抓取等機器智能，可以有效提升工作效率和任務成功率。尤其是空間站在軌維護、星球探測車末端執行機械臂等這種高自由度、強交互性、需要手眼協調等對感知交互要求非常高且環境復雜的作業任務，亟須人機半自主協同的交互式感知遙操作機器人。

2)更靈活、高效的空間作業能力

相比于當前普遍應用的傳統指令式遙操作方式，每執行一個動作都需通過機器末端傳感、探測、分析后將信息傳輸反饋至地面操作人員，然后操作人員根據信息設計編寫并發送控制指令。由于信號延遲和信息的丟失與不完整性，導致傳統的指令式遙操作方式效率低，交互式能力弱，難以處理復雜、迅速變化的操作任務。而具有交互式感知能力的機器人，具有豐富專家經驗的操作員根據感知反饋到的環境信息，面對突發、復雜的工作狀況，可以迅速準確地作出判斷，顯著提升作業效率和任務成功率，讓壽命短暫的星球機器人在壽命周期內開展更多的工作任務，獲得更多的科學回報。

3)實現對航天員的解放

交互式感知遙操作實現了對航天員的解放，通過在航天艙內交互式操作空間機械臂，避免了不必要的出艙活動，相比于航天員出艙工作和著陸星球表面操作，大大降低了航天任務的風險和成本。

4)急迫性與可實踐性

如前文所示，主要航天強國均已經開展并進行了大量的遙操作在軌實驗任務，并取得了一定的實驗成果，如歐洲航天局通過遙操作實現模擬月巖的采集與分析。然而由于我國未參與國際空間站，缺乏平臺支撐進行相關的試驗，隨著中國空間站在2022年建成，為空間在軌遙操作任務的實驗提供了條件。同時空間站的在軌維護成為必然的需求，交互式感知空間遙操作具有不可或缺的應用需求。另外，隨著月球探測科研站的開發與建設，月壤的抓取與探測，月球科研站相關設備的搭建等任務都可以采用交互式感知遙操作方式實現，因此進行感知交互遙操作具有很高的急迫性和應用需求。

3.2 系統方案分析

針對第一節中各國交互式感知遙操作的項目分析其整體技術方案，總結如表1所示。

表1 各國遙操作技術方案匯總

通過分析各個國家的交互式感知遙操作項目的技術路線，總結如下：隨著科技的發展，交互式遙操作的功能越來越完善，視覺交互與力反饋交互因其能提供裝配操作所需的主要感知信息，已成為交互式感知遙操作必備的功能，同時其余的如溫度感知交互等傳感技術也在不斷發展，進一步提升操作者的臨場感，輔助操作者作出準確的決策。另一方面控制策略均采用專家決策與局部自主結合的控制方式，在擁有人的高智慧決策的同時，借鑒機器在局部路徑規劃、激光輔助引導配合等機器智能，將人的智慧與機器的高精度相融合，提升了高復雜度作業的效率和成功率。借鑒其經驗，建議可采取的方式為：視覺反饋+力反饋+局部自主智能+輔助裝配+路徑規劃+機械臂運動規劃的技術路線。

視覺和力覺可提供遙操作的主要信息，同時需要實現力觸覺的感知交互，機械臂在執行任務中與環境交互產生的力觸覺要反饋再現到操作者中，輔助操作者作出決策，同時操作者的運動行為產生的力觸覺變化也需要映射到執行器末端的力觸覺變化和空間位置姿態的變化。力觸覺感知不僅是接觸力的反饋，同時還具有手指接觸物體的觸覺反饋，以及手指運動的限位，豐富的信息感知反饋有助于輔助操作者提升臨場操作感，作出更準確迅速的判斷。另一方面，發揮機器智能所具有的數字化高精度特性，補充人類所不具有的能力，比如距離探測、力矩自適應抓取、自適應避障的路徑規劃和激光瞄準等輔助裝配技術，采用人機共享的控制方案，克服由于誤操作和手的抖動等產生的誤差，實現人的智慧與機器的高精度相融合。

3.3 技術發展方向的討論

針對交互式感知遙操作提出以下建議：

1)觸覺感知再現技術有待進一步提升。當前無論是手控器式還是可穿戴外骨骼式的力反饋感知系統都存在著嚴重的缺陷，比如結構沉重、靈活度低、精度低、可實現的功能弱以及穿戴體驗感差等種種缺點，離實際應用仍有一段距離。另一方面壓力感知當前主要是振動式或者氣壓式，存在著靈敏單元少的問題。因此需要研究手部的感知與運動原理，突破傳統思維，構造一款穿戴體驗感強的新型力-觸覺反饋裝置。

2)當前基于虛擬現實技術的環境預建模技術是克服大延時的一種簡單直觀的方式，然而其可靠性嚴重依賴建模的準確度，對于未知環境的建模及機器模型的實時修正匹配也是一項重要的技術。

3)增強遙操作機器人的自主運動能力，實現操縱者和遠端機器人的主從關系轉換。即在基于預測模型的基礎上，機械手自主決策，自主運動，并通過虛擬現實交互和觸覺交互，實時反饋當前遠端機器人的運動狀態，克服由于延遲造成的操作失誤問題。

4)交互式感知的反饋應更具有工程實用性：如當前普遍采用的外骨骼力反饋裝置，感知反饋是基于靈巧手的抓取與力的反饋，然而在實際工程應用過程中，抓取工作主要由二自由度的夾爪實現。因此應針對機械夾爪的結構設計合理的力反饋結構和運動跟蹤限位裝置，不僅降低開發難度，更具有工程實際應用性。

4 結論

針對力反饋交互式感知的遙操作機器人在空間環境下的應用背景，分別介紹了其應用前景，技術組成以及對基于力-觸覺反饋遙操作機械手的關鍵核心技術的國內外主流技術，分析了國內外發展現狀，提出作者的交互式遙操作的技術路線，同時結合當前研究的目的與難點，探討了交互式感知遙操作機器人未來的研究重點和發展方向。