空間機械臂智能規劃與控制技術

陳 鋼，高賢淵，趙治愷，黃澤遠，符穎卓，費軍廷

（北京郵電大學自動化學院，北京 100876）

隨著空間技術的快速發展和人類太空活動的日趨頻繁，空間操控任務日益增多。空間機械臂作為空間操控自主化和智能化的關鍵設備之一，正在改變著人類載人航天、深空探測等太空探索活動的方式［1］。由于太空環境具有微重力、高溫差、強輻射等特點，嚴重威脅執行出艙任務的宇航員生命安全，空間機械臂因其運動靈活、有效作業空間大等特點，展現出人類宇航員不具備的強大在軌作業能力，可降低宇航員出艙活動的頻率。另外，空間機械臂也是星表科學探測最有效的裝備之一［2?3］。鑒于此，近些年來空間機械臂被廣泛用于航天器在軌組裝、在軌輔助宇航員艙外活動、空間碎片清理、空間實驗以及星表探測等任務，不僅提高了太空作業效率，避免了宇航員艙外活動的潛在風險，還節省了大量人力物力［4?5］。

空間機械臂在執行空間操控任務時，或脫離了地球引力的約束，或面臨著星表環境與地表環境之間的巨大差異，這導致空間機械臂的動力學特性與地面機械臂有很大不同，并且操作任務的對象大多都是高價值的航天器。所以，空間機械臂執行任務時的穩定性與安全性對于空間操控任務至關重要。如何在考慮空間機械臂的復雜運動規律以及操作過程中力與力矩的變化的情況下，實現規劃出可執行的空間機械臂動作序列與軌跡序列，是實現空間機械臂的可靠穩定運行、確保空間操控任務的順利執行的關鍵。因此，廣大學者開展了對空間機械臂規劃與控制技術的研究。

本文概述了空間機械臂的發展情況及其關鍵技術，重點介紹了國內外專家在任務規劃、運動規劃與運動控制中的研究成果與貢獻，并對未來空間機械臂智能規劃與控制技術的發展提出了建議。

1 空間機械臂發展及相關技術概述

1.1 國內外空間機械臂發展現狀

世界上最早應用的空間機械臂系統是1981 年加拿大研制的SRMS（Shuttle remote manipulator system），如圖1 所示。該臂具有6 個自由度，采用“肩關節?肘關節?腕關節”構型，可通過遙操作控制方式進行大負載操作任務，完成了捕獲哈勃太空望遠鏡、空間站裝配和維修等任務［6］。在此基礎之上，加拿大為國際空間站開發了移動服務系統（Mobile service system，MSS），如圖2 所示。該系統由空間站遠程操作臂系統SSRMS、專用靈巧機械臂SPDM、活動基座系統MBS 組成。其中SS?RMS 由兩個七自由度長臂桿組成，主要功能是搬運和組裝大型物體，SPDM 是安裝在SSRMS 末端的靈巧手，用于執行一些精細操作任務，靈巧手的本體裝配在遠程操作臂系統的末端來代替宇航員的出艙活動。隨后，歐洲一些國家和日本也展開了空間機械臂技術的研究工作。德國開展了空間機械臂技術試驗（Space robot technology experiment，ROTEX），如圖3 所示。ROTEX 機械臂具有6 個自由度，臂桿展開長度為1 m，在哥倫比亞號航天飛機上進行的飛行演示，執行了桁架裝配等任務，驗證了宇航員在軌遙操作、地面遙操作等操作模式［7］。國際空間站日本艙段裝配的日本臂JEM?RMS（Japanese experiment module remote manipu?lator system），如圖4 所示。該機械臂采用宏微機械臂串聯構型，由主臂和小臂串聯構成，主臂由6個關節和兩個臂桿組成，小臂由6 個關節、兩個臂桿和一個末端執行器組成，主要用于載荷照料、物資搬運和ORU 更換［8］。國際空間站俄羅斯艙段裝配的歐洲機械臂（European robotic arm，ERA）具有7 個自由度，如圖5 所示。該機械臂完全對稱且可重定位，臂長約9.5 m，質量650 kg，最大有效載荷80 t，用于對艙段進行裝配和維護［9］。美國研制的機器人宇航員R2（Robo?naut2）系統，如圖6 所示。具備頭部、頸部、腰部、雙臂、靈巧手等類人特征，可以模仿人類宇航員的工作能力，完成國際空間站艙內輔助宇航員操作技術驗證［10］。

圖1 空間機械臂系統：SRMSFig.1 Space manipulator system—SRMS

圖2 空間站遙操作機械臂系統：MSSFig.2 Space station teleoperated manipulator system—MSS

圖3 機器人技術試驗系統Fig.3 Robot technology experiment system

圖4 日本實驗艙遠程機械臂Fig.4 Japanese experiment module remote manipulator system

圖5 空間站七自由度機械臂:ERAFig.5 Space station seven degrees of freedom robotic arm—ERA

圖6 機器人宇航員R2Fig.6 Robo?naut 2

中國空間機械臂技術研究相較于國外起步較晚，但追趕速度很快。天宮二號機械臂系統主要用于驗證在軌人機協作關鍵技術和在軌遙操作技術［12］，如圖7 所示。嫦娥五號月球表面采樣機械臂完成了月面采樣返回任務［13?14］，如圖8 所示。中國空間站機械臂系統承擔空間站建造、運營和維修等任務［15］，空間站配備了核心艙機械臂和實驗艙機械臂兩套機器人系統，如圖9、10 所示。兩個機械臂展開長度分別約為10 和5 m，最大有效載荷分別為25 000 kg 和3 000 kg，都為七自由度機械臂，由3 個肩關節、1 個肘關節和3 個腕關節組成。核心艙機械臂主要負責完成空間站艙段轉位、輔助對接、宇航員輔助支持等任務，實驗艙機械臂主要負責暴露載荷照料、光學實驗平臺照料和輔助支持宇航員等任務。兩個機械臂可以獨立工作，也可以串聯形成組合臂協同工作。

圖7 天宮二號機械臂和宇航員Fig.7 The Tiangong?2 robotic arm and astronauts

圖8 月面采樣機械臂Fig.8 Lunar surface surface sampling manipulator

圖9 核心艙機械臂Fig.9 Core cabin manipulator

圖10 實驗艙機械臂Fig.10 Experimental cabin manipulator

1.2 空間機械臂規劃與控制技術概述

空間操控任務按照航天器環繞地球與否，分為在軌服務與深空探測兩類。在軌服務主要包括在軌裝配與在軌維護。在軌裝配可以實現航天器的組裝及其功能擴展，具體指在太空中將部組件組裝起來構建成復雜的空間結構。在軌維護可以保障并延長空間系統壽命，具體指對空間系統提供檢查、維修以及軌道清理等活動。深空探測指對地球以外的天體展開的探索活動，具體包括對行星表面物質的勘測與研究，以及星表建筑的建造與維護等空間探索任務。

空間機械臂是上述各項空間操控任務的關鍵設備，在任務開展的過程中到了至關重要的作用。在在軌服務任務中，空間機械臂通過對操作目標的逼近、抓取、搬運等基本操作，完成裝配或維修任務。在深空探測任務中，空間機械臂配合不同的末端執行器，可以完成對星表巖石、土壤的勘測、取樣任務，通過移動、組裝完成星表基地、太陽能電站的建造任務。在任務執行的過程中，機械臂操作通常分為“感知—規劃—控制”3 層。先通過傳感器獲得機械臂自身及環境的信息，然后在考慮空間機械臂運動特性和環境約束的情況下，規劃出空間機械臂的動作序列和軌跡序列，驅動電機執行操作任務。

1.2.1 感知技術

空間機械臂感知技術決定了空間機械臂系統對環境的感知與測量，輔助展開任務執行過程中的規劃與控制。空間機械臂可以通過各種類型的傳感器測量系統本身和所處環境數據，再通過對數據的處理實現后續的建模與分析。感知技術使得空間機械臂可以完成對自身工況的讀取、對目標狀態的識別以及對環境約束的判斷，從而為后續的規劃與控制提供更多的信息輸入。視覺感知技術和觸覺/力覺感知技術目前是在空間機械臂領域應用最為廣泛的感知技術。

利用視覺傳感器獲取到圖像數據后，需要對圖像數據進行處理和計算，比較常見的應用有視覺測量和目標檢測。視覺測量一般用于對合作目標的位姿測量，通過視覺傳感器對視場范圍內的標志器（如靶標、反射器等）的識別，計算目標與機械臂末端執行器之間的相對位置與相對姿態，作為后續規劃和控制的輸入。技術關鍵在于利用特征點間的約束關系和相機的空間配置關系，求解空間特征點相對相機光心的距離。目標檢測一般用于對非合作目標的紋理及形狀等特征的提取，繼而計算其位姿。若目標的幾何和結構特征參數已知，則可將目標模型簡化為可觀測特征的點模型，再利用基于點特征的視覺測量技術實現位姿計算。若目標的幾何和結構特征參數未知，先對圖像數據進行邊緣匹配，再通過位姿非線性優化算法求解非合作目標位姿參數。若沒有目標模型，可以分解目標特征作為識別對象，提取邊緣線條與實際形狀對比，從而計算目標位姿。

觸覺/力覺感知是空間機械臂與環境直接交互的方式之一，被廣泛應用于空間在軌裝配、空間載荷實驗或空間目標抓捕等接觸作業中。觸覺感知通常用來獲取空間機械臂末端執行器與環境的作用信息和測量被接觸物體的特征信息。比如獲取靈巧手、抓取工具在抓取過程中的接觸力信息，實現目標剛度、幾何特征的測量。力覺感知主要用來檢測末端執行器與被操作對象間的作用力、反作用力大小，比如保證機械臂與宇航員的安全交互，輔助機械臂對環境輸出主動柔順控制。

目前視覺感知的技術難點在于提高目標檢測與位姿估計的技術水準，以能夠處理視場內覆蓋大量已知對象、光照條件較差或圖像對比度強烈的問題，做到準確、高效估計快速翻滾的非合作目標的六維位姿。觸覺/力覺傳感器的性能及相關算法非常依賴材料、電子學等其他學科的發展，距離類人級的水平還有一定的距離。此外，基于視覺、觸覺、力覺等多傳感器的信息融合與特征突破了單一類型感知信息的限制，使機械臂的環境感知能力大大提升。但是，多類型感知信息的內在關聯的提取十分依賴數據驅動的方法，基于此的多類型感知信息的計算模型需要更多深入的研究。

1.2.2 規劃技術

為了規劃出使得機械臂有效完成操控任務的運動狀態序列與選擇合適的控制策略，需要充分掌握空間機械臂的運動規律以及操作過程中的作用力與力矩的變化，即空間機械臂運動學與動力學建模是空間機械臂規劃與控制的基礎。其中，運動學模型從幾何學角度描述機械臂連桿與基座運動隨時間的變化規律，動力學模型研究機械臂在力、力矩作用下的運動特性。通過機械臂運動學與動力學模型，根據機械臂系統相關參數與外部作用力，可以確定機械臂的運動過程；并且，機械臂系統可以根據機械臂末端位姿、速度或者力，通過運動學與動力學模型反解機械臂系統自身的狀態參數。由此可見，空間機械臂運動學與動力學模型的建立直接決定了后續機械臂執行任務中的規劃過程與控制策略的選擇。

在空間機械臂運動學、動力學模型基本完善并成熟的基礎之上，規劃空間機械臂的運動過程。空間機械臂的規劃技術總的來說是按照空間操控任務的需求和約束，規劃機械臂的運動過程，可細分為任務規劃、路徑規劃、軌跡優化3 個層級。任務規劃指將任務需求、空間機械臂自身與環境作為約束條件，將機械臂的初始狀態和規劃目標狀態所確定的規劃問題作為輸入，合理規劃出機械臂完成任務所需的行為決策和動作序列。路徑規劃指規劃出一條以指定位姿或期望構型到達目標點的末端執行器路徑，是一個僅包含中間位置和姿態的幾何信息的集合。一般分為關節空間路徑規劃和笛卡爾空間路徑規劃，關節空間規劃一般使用基于梯形速度插值函數、基于多項式插值函數、基于樣條曲線等幾種插值函數生成軌跡，笛卡爾空間路徑規劃包含直線路徑規劃、圓弧路徑規劃、約束曲線等幾種規劃形式。軌跡的定義是指在幾何信息的基礎之上增加時間信息，即位置矢量和姿態角度對時間的微分信息，軌跡優化一般指在路徑規劃基礎之上對路徑點的位置、速度、加速度進行優化，進而達到對空間機械臂運動性能、任務執行效率等指標的優化。軌跡優化的典型應用有避障軌跡規劃、避奇異軌跡規劃和非完整軌跡規劃3 種。

傳統的軌跡規劃方法大多依賴系統的運動學、動力學建模，計算量大，效率低下。并且，因為難以實現空間機械臂的自動建模、自動求解、自動控制，因此使得空間機械臂的應用過程中缺乏可靠性與智能化。近年來隨著基于機器學習的人工智能算法的發展，將空間機械臂直接抽象為智能體，既能考慮到執行任務所經歷的中間路徑、速度、加速度對任務執行效率的影響，也能結合機械臂自身約束及環境障礙約束，實現了輸入目標狀態從而直接規劃出一條包含時間信息的機械臂關節角序列或者末端執行器的軌跡序列。因此，機器學習類算法模糊了傳統路徑規劃和軌跡優化的界限，使兩者融合為一種廣義的運動規劃過程。

1.2.3 控制技術

空間機械臂的控制技術指的是將規劃系統規劃出的期望動作作為輸入，結合傳感器采集的自身工況和環境感知信息，經過控制算法計算后，輸出機械臂各個執行機構的控制信號，驅動機械臂完成期望動作。控制算法的性能直接決定了機械臂任務執行的效率。

學術界有大量的空間機械臂控制方法被提出，經典的控制方法主要有PID 控制、自適應控制、滑模變結構控制以及相關衍生方法。比例?積分?微分控制（Proportional?integral?derivative control，PID）是最早發展起來的控制策略，其應用廣泛遍布于各個控制領域，其結構簡單，只根據期望值和實際輸出值構成控制偏差對被控對象進行控制，但易忽略系統中的非線性因素，難以實現高精度的控制。自適應控制方法主要針對被控對象的數學模型、結構參數的不確定性，修正自己的特性以適應對象和擾動的動態特性的變化，在空間機械臂領域也有較多的應用，但是在一些高度復雜、存在非線性時變的系統上的表現并不理想。滑模控制是一種非線性控制方法，根據系統狀態偏離“滑動模態”的程度來切換控制器，由于該控制器的效果主要取決于滑模面的設計，因此對外界干擾、模型參數攝動和未建模動態特性有很強的魯棒性，但是當狀態軌跡在切換面兩側來回切換時會產生振動。

空間機械臂作為一類典型的非線性、強耦合多體系統，其對控制方法的穩定性、精確性有著較高的要求。大量學者以基本控制方法為基礎，針對某一特定場景或任務，提出了許多典型控制方法，例如柔順控制、視覺伺服控制、軌跡跟蹤控制、協調控制等。這幾種典型的智能控制方法解決了經典控制在面對復雜任務時的局限性，極大地豐富了空間機械臂可執行的任務種類與提高了任務執行的效率。

2 空間機械臂智能規劃

傳統空間機械臂操控主要采用預編程和遙操作兩種工作模式，前一模式下，空間機械臂按照預先編制的程序執行任務，會限制可執行任務種類；后一模式下，人類在地面端對機械臂實施操控，會由于通訊延時導致任務執行效率低下。近年來，隨著在軌服務與深空探測的不斷深入，空間機械臂需要執行的任務種類增多，任務復雜程度增高，兩種傳統的工作模式難以滿足使用需求，因而其作業方式逐漸向“半自主”或“全自主”轉變，這一過程驅動著智能決策與規劃方法的進一步發展［16?18］。

2.1 任務規劃

空間機械臂的各種單一動作難以實現比如替換、轉移操作物這種復雜任務，此類任務有較強的邏輯約束，因此需要引入任務規劃技術。任務規劃包含任務約束、規劃目標與優化原理3 個核心要素。任務約束包含機械臂自身約束與環境約束，機械臂自身約束指機械臂運動學、動力學模型、關節限位以及關節驅動能力等，環境約束指觀測設備視場、工作空間內障礙物約束等；規劃目標包含任務執行策略、任務執行時間以及末端行程要求等；優化原理指的是在任務約束的條件下，結合規劃目標求解空間機械臂高效完成操作任務過程中由初始狀態向目標狀態轉移所經歷的中間狀態序列的過程。任務規劃技術是實現智能化、自主化在軌操控的頂層，在任務的決策到最終執行過程中起到了至關重要的作用。

最開始的機械臂任務規劃技術主要研究動作序列的自主生成過程。樊濱溫等［19］提出了一種基于環境模型的空間機械臂任務規劃算法，通過對三自由度空間機械臂捕獲靜態物體并在指定位置放置物體的任務研究，指出任務規劃的結果是機器人及其手爪在空間運動的目標位置的序列，采用拓撲降維法通過分解旋轉映射圖、構造特征網、搜索聯通路徑進行路徑規劃得到機械臂執行任務時的關節角度序列。

在早期的人工智能領域，Fikes 等［20］針對智能規劃問題提出了STRIPS 規劃方法，這也是最早的規劃建模語言，是其他規劃建模語言的雛形。進一步，Ghallab 等［21］提出了規劃領域定義語言（Plan?ning domain definition language，PDDL），該語言具有較完備的建模能力，形成了系統的任務描述形式。閻慧等［22］在PDDL 語言基礎之上，考慮空間機械臂太空作業的特殊性，根據空間機械臂任務規劃的特點，拓展了對資源和活動實例定義、活動的持續時間和活動效果屬性，提高了描述的準確性以及規劃的效率。

基于STRIPS、PDDL 等格式語言描述的任務規劃方法只適用于假設的任務場景，難以適用于繁雜且不定的太空操作任務。為了更好地描述任務規劃過程，Blum 等［23］將STRPIS 型問題轉變為通過搜索可以解決的規劃問題，提出了圖規劃方法。該算法簡潔、拓展性強，但搜索效率較低，實際工作中會結合A*算法、模擬退火算法等提高其規劃效率。Likhachev 等［24］提出了啟發式搜索算法，通過啟發項在空間中搜索可行規劃解，避免狀態空間的完全遍歷。黃旭東［25］建立了空間機械臂任務規劃的通用框架，該框架采用分層模式規劃空間機械臂操作任務，基于改進圖規劃算法實現任務剖面分析以獲得任務動作子序列，其中針對移動任務，引入啟發式算法，將不能直接規劃的路徑分解為多段簡單路徑的組合。

隨著太空探索任務的開展，空間機械臂待執行任務的復雜度逐步提升，這一特點對任務規劃算法提出了更高需求，如復雜環境下更高的任務規劃效率等。為適應任務發展，任務規劃的研究向著群體化與智能化的方向繼續發展。劉曉瑩等［26］將正交混沌蟻群算法首次應用于群機器人的任務規劃中，成功解決了中大規模任務規劃問題，提高了多機器人執行任務的效率。余伶俐等［27］提出一種交互式仿生群協進化混合算法體系框架，求解速度較快，求解質量較優。Mokhtari 等［28］提出了一種可以使機器人根據以往經驗進行學習的任務規劃方法，賦予機器人獲取知識、執行各種任務和交互、適應開放環境的能力，但難以適用于多機器人協同工作，且容易出現過擬合的情況。

任務規劃常在機械臂狀態空間中搜索可行解，然而一旦遇到規模龐大且復雜的任務場景，機械臂狀態空間維度可能會出現指數爆炸。分層任務網絡規劃（Hierarchical task network planning，HTN）的提出［29］很好地解決了這類問題，HTN 將目標狀態用抽象的目標任務替代，極大簡化了規劃過程的復雜度。Stock 等［30］以HTN 為基礎，解決復雜服務機器人的任務規劃問題。Tomás 等［31］提出了一種用于解決多模態操控問題的HTN?DARRTH 框架，用于解決機械臂移動物體任務。王一帆等［32］針對空間機械臂在軌環境復雜、約束繁多、任務多樣的特點，提出了一種基于分層結構的多約束任務規劃方法，將任務規劃過程劃分為任務剖面分析與任務中間點規劃兩個層次分別進行。劉茜等［33］針對月面著陸姿態、工作環境和機械臂變形等多種不確定因素，提出了月面采樣機械臂的動態任務規劃方法；設計了包括任務整體規劃、采樣策略規劃和運動控制規劃在內的3 層規劃體系，將復雜月面采樣作業任務規劃問題分解為空間約束、時序推理和運動控制3 個維度分別求解。

上述的任務規劃算法大多針對特定任務場景，面對復雜、動態的場景泛化性較差，基于強化學習（Reinforcement learning，RL）的任務規劃算法在未來空間操控項目中的部署是一種必然趨勢。目前基于強化學習的任務規劃算法在地面工業、家用機器人系統中蓬勃發展，但是由于空間機械臂的操作對象一般是高價值的航天器，容錯率低，相關規劃策略仍處于研究驗證階段。因此，如何將仿真場景中訓練好的任務規劃策略網絡遷移至空間機械臂系統中，是今后空間機械臂任務規劃技術研究的關鍵。

2.2 運動規劃

為使空間機械臂以最優的性能穩定地完成操作任務，既要規劃出空間機械臂的工作路徑，也要規劃出滿足運行時間、能耗、避障等多方面約束的軌跡，即對空間機械臂進行運動規劃。星表機械臂一般固定在移動設備上，基座固定，其軌跡規劃方法可以沿用地面機械臂的軌跡規劃方法。但是，在軌服務狀態下的空間機械臂處于失重狀態，基座不固定且受到機械臂運動的影響，導致整個系統存在非完整性約束，無法使用地面機械臂軌跡規劃方法求解。并且基座與機械臂之間存在動力學耦合，導致規劃過程中易出現動力學奇異問題［34］。

為解決上述問題，傳統方法先對空間機械臂系統進行動力學耦合分析，在此基礎之上對機械臂進行軌跡規劃。Yoshida等［35］采用求廣義雅可比逆矩陣的方式進行軌跡規劃。Xi等［36］回避了對系統廣義雅可比矩陣的逆運動學解算，利用機械臂的雅可比矩陣提出了3 種避免動態奇異點的方法：隱式近似?線性規劃方法（Implicit approximate?linear?programming，IALP）和兩種加速隱式近似?線性規劃方法（Accel?erated implicit approximate?linear?programming mothods）AIALPA 和AIALPB，但算法精度較低。劉厚德［37］通過建立“基座質心等效機械臂模型”，分析等效機械臂位置級逆運動學，求解平衡臂的運動軌跡，從而回避了雅可比奇異問題。徐文福［38］使用多項式函數對關節角進行參數化，通過參數化的關節軌跡得到末端位姿相對于待定參數之間的函數關系，再使用牛頓迭代法求解待定參數。黃興宏等［39］使用最優控制策略，將軌跡規劃問題轉換為最優控制問題，設計了一種全程恒定基座姿態零擾動的末端位姿軌跡規劃方法。

隨著群體智能算法的興起，Lin［40］提出一種基于粒子群算法和K?means 聚類的方法來求解最小加速度關節軌跡的近似最優解，計算速度快，方法統一。劉勇［41］針對大負載點到點的空間機械臂軌跡優化問題，提出了一種基于多目標粒子群優化的軌跡優化算法，有效提升了空間機械臂的最大負載能力。隨后，有學者提出基于快速擴展隨機樹（Rapidly?exploring random trees，RRT）的機械臂全局規劃方法，基于RRT 的算法在一定程度上解決了奇點問題［42］。關英姿等［43］提出一種改進RRT算法，在機械臂接近捕獲目標的過程中，若目標運動狀態估計的精度不夠高，則使用此改進RRT 算法規劃安全軌跡。閆碩［44］針對任務目標可變的空間機械臂路徑重規劃任務，提出了一種結合概率人工勢場法的RRT 優化策略，使機械臂執行采樣任務時可以適應任務環境和目標的變化。

上述針對空間機械臂的軌跡規劃大多基于多體動力學模型來實現，若是遇到柔性部件的航天器，動力學模型難以確立，群體智能算法又通常會陷入局部最優解。隨著人工智能技術研究的興起，廣大學者將深度學習、強化學習等學習類算法運用到機械臂的運動規劃過程中。深度學習（Deep learning，DL）適合歸納與總結經驗、知識，強化學習利用智能體與環境交互獲得的樣本信息為深度學習提供經驗數據。因此，將深度學習與強化學習結合起來的深度強化學習（Deep reinforcement learning，DRL）可以實現機械臂從感知到決策控制的端到端的學習。Actor?Critic 框架是目前深度強化學習的一種通用架構，包括策略網絡（Actor）和評價網絡（Critic）。

徐帷等［45］針對實現空間機械臂目標跟蹤及避障的規劃問題，使用Sarsa（λ）強化學習方法，基于目標偏差和障礙距離設計獎勵函數，進行機械臂轉動動作的強化訓練，更新機械臂關節的狀態?動作值函數表，用于自主路徑規劃與智能決策。解永春等［18］使用標準Actor?Critic 算法框架，研究在軌燃料補加的自主規劃問題，將仿真場景中訓練好的策略網絡遷移到現實物理試驗系統中，使機械臂具備端到端的視覺伺服能力。

捕獲任務的規劃目前是強化學習在空間機械臂應用中的研究熱點之一。Liang 等［46］設計了一種基于Actor?Critic 算法的機器人深度強化學習運動控制模型，通過三角函數變換獎勵函數，統一了距離和角度的評價標準，極大提高了收斂效率，并且在仿真平臺中實現了六自由度空間機械臂對目標的捕獲。Wu 等［47］針對目標相對于自由漂浮空間機械臂有相對運動的情況，提出一種無模型強化學習策略，即深度確定性策略梯度算法（Deep de?terministic policy gradient，DDPG），在不建立空間機械臂動力學和運動學模型的情況下訓練在線軌跡規劃策略，使空間機械臂能夠快速調度和執行動作。趙毓等［48］針對空間機械臂對勻速運動目標捕捉問題，提出了一種改進深度確定性策略梯度算法，基于機械臂與目標相對距離以及任務操作的總時間設計獎勵函數，建立了“線下集中學習，線上分布執行”的目標捕捉訓練系統。曹鈺雪等［49］基于DDPG 框架分別提出了使用雙估值網絡和策略參數噪聲的改進算法及基于后見經驗回放（Experience replay）的多目標算法，實現了針對固定或者隨機目標的抓捕操作。孫康等［50］使用DDPG 框架，結合關節控制力矩、抓捕距離以及相對速度設計獎勵函數，實現對空間漂浮基機械臂的快速抓捕控制，且能有效降低接觸碰撞力的大小。俞志成［51］使用DDPG 框架學習冗余機械臂雙臂路徑規劃策略，實現了空間球形旋轉球形（Spherical?revolute?spherical，SRS）冗余機械臂對目標衛星的捕獲。杜德嵩［52］分別使用傳統捕獲控制方法、無模型深度強化學習方法和基于模型的強化學習算法展開了對空間機械臂智能捕獲策略的研究，對比3 種方法的優劣，得出：傳統控制方法不需要訓練，捕獲位置精度高于其他方法，但是對控制器參數非常敏感；而另外兩種基于強化學習方法的捕獲策略對于不同參數的控制器適應能力較強，但是完成任務耗時低于傳統方法。Yan 等［53］使用Soft?Q 算法來訓練基于隨機能量場的空間機械臂運動規劃策略，首先基于最大熵目標構造了Soft?Q 網絡和狀態條件隨機策略網絡，然后構建經驗重放池來存儲在SQL 過程下訓練兩個網絡的訓練樣本，接著訓練策略，使累積獎勵和策略熵最大化，最后在仿真環境中實現了單臂和雙臂自由漂浮空間機械臂的目標捕獲。

空間機械臂實現自主運動規劃能力的一個關鍵在于從以往的操作任務經驗中學習，實現對已有知識的更新和推理，并通過不斷地自學習或互學習獲取新知識，提升自主運動規劃的性能以能夠處理將來會遇到的任務需求。使用深度強化學習方法進行空間機械臂運動規劃的優點在于：面對不同的環境約束算法的泛化性較強；回避了空間機械臂的運動學和動力學建模；不易陷入局部最優解；降低了實時計算量。但是，現階段大多數基于強化學習的運動規劃算法都在仿真場景中學習、訓練，向真實環境中的移植與遷移略顯匱乏。

3 空間機械臂運動控制

空間機械臂在不同的應用場景下或不同的任務背景下，其約束、指標等也會有所區別。例如自由漂浮或者自由飛行狀態下的空間機械臂基座不固定，并且關節運動時會與基座產生耦合運動。因此，相關學者基于基本控制方法，提出了專門針對特定任務場景的空間機械臂控制技術。

3.1 柔順控制

利用空間機械臂執行接觸型操作任務時，機械臂末端會因為與目標載荷發生接觸碰撞產生碰撞力或碰撞擾動。例如，當空間機械臂進行裝配工作時，控制誤差會導致機械臂裝配過程中擠壓到目標物體的管壁從而產生較大的應力，通過六維力傳感器讓機械臂感應到與目標物體之間的相互作用力，柔順控制會針對受力方向對規劃好的路徑進行修正，使裝配任務正常進行，防止機械臂和目標物體在碰撞過程中損壞。

傳統柔順控制方式主要分3 種：力/位混合控制、阻抗控制和自適應控制。力/位混合控制可以直接實現對接觸力的控制，徐文福等［54］針對空間機械臂在軌更換ORU 模塊過程中提出了一種改進的力位混合控制方法，采用加權選擇矩陣代替經典力／位混合控制中原有的選擇矩陣，實現了位置、力混合控制的平滑切換。阻抗控制對于機械臂與環境接觸狀態的切換有很強的適應性，Hogan［55］提出了阻抗控制用來處理機械臂和環境的動力學耦合；Stolfi 等［56］采用力矩控制的阻抗控制方法進行機器人裝配，通過末端的力、速度、加速度這些間接量來控制機械臂輸出力矩的大小。周昱城［57］針對空間機械臂大負載自主裝任務的力接觸問題，結合空間機械臂動力學方程與離散和連續碰撞力的分析，先對自主裝系統閉鏈式結構進行動力學建模，再設計阻抗控制策略實現任務過程中的力接觸跟蹤。Wang 等［58］針對機械臂末端與自旋目標之間發生接觸的場景，先消除基座加速度項對關節運動和基座運動解耦，再構建空間雙臂機器人協調操作系統的統一動力學模型，設計了一種協調操作柔順控制策略，實現了對接觸力的精確控制。Pan等［59］基于滑模阻抗控制律，建立了一種改進的等效剛度模型，設計了接觸擾動的最優補償項，有效地減輕了由于接觸力的突然變化而引起的碰撞。但上述方法無法對外界的干擾進行修正，且控制精度會受控制模型影響。因此在此基礎上引入自適應控制方法，通過對比任務要求性能指標和實際性能指標獲得的信息來修正控制器，減小模型參數與實際參數不匹配的問題。Love 等［60］較早使用了遞歸最小二乘法來辨識環境剛度，從而調整柔順控制器的參數。Colton 等［61］使用了指數加權遞歸最小二乘法辨識非線性模型，實現對非線性系統的精確控制。自適應控制不需要精確的動力學模型，并且可以根據動力學特征和環境特征自適應，但是自適應算法的計算量較大。這3 種柔順控制方法都需要建立機械臂動力學方程，但是空間機械臂的工作環境復雜、耦合關系復雜、不確定性強，其動力學模型難以精確描述。

為解決這一問題，有人提出將智能算法引入柔順控制的想法，利用智能算法高度非線性逼近映射的能力解決上述問題。Touati 等［62］將神經網絡引入力/位混合控制，可以在沒有準確的系統動力學模型的情況下實現力/位控制完成軸孔裝配任務。Tsuji 等［63］針對特定的接觸型操作任務，提出了一種使用神經網絡調節機械臂末端執行器阻抗參數的方法。該方法在自由運動過程中訓練用于位置和速度控制的神經網絡，在接觸運動過程中訓練用于力控制和環境識別的神經網絡，從而減少位置和力的控制誤差，以達到更好的柔順控制效果。

在柔順控制中的不確定因素主要來源于兩個方面，一方面是太空中碰撞模型復雜難以描述，另一方面是環境信息難以測量和辨識。利用以神經網絡為代表的智能算法可以有效地逼近真實的碰撞模型，對模型中的未知項進行描述，提高控制模型的精度，從而提升柔順控制的效果。

3.2 視覺伺服控制

為了增強空間機械臂對環境的感知能力，引入了視覺伺服控制。視覺伺服可以為機器臂提供自身定位、目標物體的位姿和環境信息，給空間機械臂系統規劃和控制提供依據。視覺伺服按相機安裝位置可分為手眼相機（Eye?in?hand）、全局相機（Eye?to?hand）兩種，按特征類型可分為基于位置的視覺伺服（Position?based visual servo，PBVS）、基于圖像特征的視覺伺服（Image?based visual ser?vo，IBVS）兩種，其中基于圖像特征的手眼相機系統的視覺伺服研究最為廣泛［64］。

基于位置的視覺伺服需要將視覺信息轉換到笛卡爾空間，在3D 笛卡爾空間構成閉環控制系統。在空間機械臂的研究中，有許多基于位置的視覺伺服方案，例如SPDM 完成的在軌燃料加注實驗中，地面操作人員利用機械臂自帶的相機觀察工具槽上的視覺標記作為視覺反饋。Nagamatsu 等［65］提出了一種針對翻滾衛星的捕獲任務的視覺伺服控制策略，利用安裝在基座的相機，結合卡爾曼濾波方法，根據圖像信息去估計目標衛星的位姿，但是目標特征點可能會被機械臂遮擋。劉冬雨等［66］為完成空間機械臂系統在軌擰松螺釘任務，提出了一種基于人機協同的空間機械臂在軌維修視覺伺服操控策略，修正了微重力環境和機械臂、模擬維修單機在軌安裝導致的位姿偏差，并通過了在軌實施。胡碩等［67］提出了一種基于加速魯棒特征（Speeded up robust features，SURF）的靜態目標識別算法，通過對目標圖像提取SURF 與目標圖像特征點匹配，然后利用先驗知識求解目標的位置信息，實現伺服定位。

基于圖像特征的視覺伺服方法利用視覺信息獲得被觀測對象在2D 圖像空間的特征，與期望的圖像特征相比較形成誤差，根據該誤差設計控制律。通常利用圖像雅克比矩陣設計機器人的控制律，具有較好的局部穩定性以及較高的精度。有很多視覺伺服任務中通常使用的方法是復合視覺伺服，即先通過基于位置的方法進行初步的對準，再通過基于圖像的方法進行精確的趨近。Hafez等［68］提出了一種用于雙臂空間機械臂的IBVS 策略，以視覺伺服為主要任務，以姿態干擾最小化為次要任務，采用基于增廣廣義雅可比矩陣的控制和任務函數的方法，實現了機械臂末端執行器的對齊。Alepuz 等［69］提出了一種IBVS 控制策略來實現自由漂浮機器人的制導，該控制策略結合了空間機械臂系統運動學和動力學，獲得了被觀測對象的期望位置，實現了對其的軌跡跟蹤。Marchionne等［70］將兩種IBVS 策略依次使用，一種只關注末端執行器的線性運動，一種只關注末端執行器的旋轉，有效緩解了特征識別和匹配過程中的小誤差在控制計算中產生大誤差的現象，提高了機械臂執行任務的成功率。徐昊［71］提出了一種空間機械臂在軌捕獲過程中，自由漂浮機械臂手眼相機構型下的一種IBVS 控制策略，推導了深度獨立視覺雅可比矩陣、設計了目標特征點運動估計器，從而估計目標的運動以及特征點的深度信息。張國亮等［72］提出了一種復合視覺伺服控制策略，通過在線估計目標的深度和旋轉姿態來選擇PBVS 和IBVS 控制器，涉及旋轉伺服的大范圍運動時選擇PBVS 控制器，小范圍運動時則使用IBVS 控制器，同時保留了兩種伺服方法的優點。

基于位置的視覺伺服具有3 大缺陷：由相機標定引入的測量誤差、視野范圍內特征點丟失以及對特征點的幾何信息的先驗知識，因此無法實現高精度的控制。基于圖像的視覺伺服在參數求解時容易出現的多解問題以及圖像雅克比矩陣奇異問題導致其在全局性能上表現不好，容易丟失目標。基于深度學習的IBVS 控制器以更優秀的特征提取能力、去噪能力獲得很多研究人員的青睞，但是由于模型參數規模和計算量巨大的問題難以實現在軌驗證。

3.3 軌跡跟蹤控制

空間機械臂軌跡跟蹤控制是在軌服務完成特定任務的關鍵技術，軌跡跟蹤控制就是采用對應的控制算法解算，生成機械臂關節的控制力矩，使空間機械臂在關節空間和笛卡爾空間中隨期望的路徑運動。

由于漂浮空間機械臂系統的高度非線性、非完整性、強耦合性，使軌跡跟蹤的控制問題變得十分復雜，傳統的控制算法如分解運動速率控制（Re?solved motion rate control，RMRC）和分解加速度控 制（Resolved motion acceleration control，RMAC）無法滿足機械臂控制中的不確定性，也沒考慮整體機器人系統的強耦合性，在此基礎上加入了自適應算法來解決軌跡控制過程中的不確定性。Walker 等［73］對空間機械臂系統慣性參數不確定性問題提出了一種全局穩定的自適應軌跡跟蹤方法，該方法可以實現對機械臂和基座衛星姿態角的穩定跟蹤。Gu 等［74］針對自由漂浮空間機械臂提出了擴展機器人模型，并基于此模型設計了一個自適應控制策略，克服了動力學方程參數化及笛卡爾空間轉到關節空間的不確定性問題。自適應算法可以有效處理系統中的不確定項，但其計算復雜、收斂時間慢，無法滿足機械臂控制系統的實時性。除了自適應算法，魯棒控制方法也是常用的處理系統中不確定項的常用方法之一。Chu 等［75］提出了一種自由漂浮空間機械臂軌跡跟蹤控制方法，該方法將空間機械臂動力學中的關節耦合項和模型不確定性統一看作集中干擾，并采用觀測器對干擾進行觀測。Tang 等［76］對雙臂自由漂浮空間機械臂，提出了一種魯棒反步控制方法，有效地克服了系統不確定性。但魯棒控制方法的精度較低，在空間機械臂進行精細操作的時候無法滿足任務要求。

近幾年隨著機器學習的興起，通過將智能控制算法與主流控制算法結合來解決自適應算法計算復雜、收斂速度慢和魯棒控制算法精度低的問題。吳愛國等［77］針對多自由度機械臂在實現軌跡跟蹤控制時過于依賴機械臂的精確數學模型和跟蹤精度低等問題，提出了一種將自適應神經網絡、局部模型與積分型終端滑模相結合的控制方法，提高了系統的收斂速度和控制精度，實現機械臂高精度軌跡跟蹤。劉元基等［78］設計了基于強化學習的機械臂輸入飽和固定時間軌跡跟蹤控制方法，賦予控制器對模型不確定性的在線學習能力，以適應太空中的不確定因素。但是，算法依舊存在一些問題，比如其控制系統需要大量的時間訓練，經過大量的試錯才能達到比較精確的控制效果，而這些條件在太空上是難以滿足的。

在軌跡跟蹤控制中，限制空間機械臂軌跡跟蹤精度的因素主要有兩個方面，一方面是機械臂動力學模型中的不確定項，另一方面是太空環境干擾所帶來的不確定因素。智能算法可以通過神經網絡的在線學習能力使實際控制輸出量越來越接近目標輸出，并對太空之中不定項進行擬合，提高軌跡跟蹤控制的精度和魯棒性，且控制器的控制參數會隨環境改變而變化，以提高空間機械臂對環境的適應性。

3.4 協調控制

多臂機器人比單臂機器人具有更高的工作效率和更多樣的任務能力，可以適應更多的應用場景而受到關注。多臂機器人的協同控制就是根據任務需求，多機械臂之間配合工作提升工作效率，防止競爭的產生。目前的協調算法主要分成兩種：把軌跡作為約束條件的主從控制和在約束環境不同方向上進行位置和力控制的位置/力混合控制算法。主從控制是先規劃出主機械臂的軌跡將其作為從機械臂的約束條件。位置/力混合控與單臂的位置/力混合控制方法類似但更加復雜［79］。

趙閣等［80］用拓撲學的知識，定義主從機械臂間同步誤差，基于無向圖放松約束條件，設計同步控制算法，減小主從機械臂間的同步誤差。李樹榮等［81］對受柔性關節和時間滯后影響的多機械臂位置/力控制問題，提出了一種自適應位置/力控制策略來保證閉環系統穩定性和多機械臂的運動跟蹤性能，通過利用神經網絡的擬合能力來避免多機械臂系統建模對穩定性的影響，并考慮了位置誤差和力誤差對控制算法的影響。Ge 等［82］出了一種阻抗控制算法，該算法允許多個機械臂協調控制捕獲目標，通過在機械臂末端引入參考阻抗，使末端執行器能像質量阻尼?彈簧系統一樣響應末端執行器與非合作目標之間的任何接觸力，該方法具有良好的控制性能。傳統的協調控制算法大多采用的控制方法基于機械臂復雜的數學模型，這導致算法對環境模型有很強的依賴性。控制算法的精度會隨工作環境的改變而降低。

相比于傳統的控制算法，基于智能學習的協調控制算法不依賴環境模型具有良好的有魯棒性、通用性。劉錢源［83］設計了一種基于深度強化學習的多智能體協同算法，該算法能夠自主探索動作空間，減少智能體之間的競爭，增加整體協作能力。周順［84］將強化學習算法應用到三機械臂抓取長方體物塊的任務中，提高了三機械臂機器人的控制算法的泛化性。基于智能學習的協調控制算法雖然有良好的魯棒性、通用性，但每當多臂系統更換工作環境的時候都需要較長的時間訓練控制器參數，才能達到滿足任務需求的操作精度和工作效率。

在協調跟蹤控制中，由于多臂系統比單臂系統的控制參數更多，受外界干擾的影響更大，神經網絡可以有效地應對外界的干擾并且依靠其強大的非線性擬合能力擬合多臂系統的動力學模型，對動力學模型中的未知項進行更準確的描述，避免通過多臂系統中復雜的耦合關系解算控制輸出量，減小算法的運算量，從而提高控制效率。但是智能算法需要更長的時間對控制參數進行訓練，才能達到相應的控制精度，并且在訓練過程中有可能造成機械臂的損壞。

4 發展趨勢與展望

空間機械臂技術是實現空間操控自主化和智能化關鍵技術之一，人工智能技術將極大地提升空間機械臂的自主能力和協作能力。隨著人工智能的發展和計算機性能的不斷提高，空間機械臂有望在復雜、非結構化環境中的感知、規劃和控制，以及處理突發、復雜情況等方面獲得突破。一方面可提高空間機械臂靈活性以應對復雜的環境和操作任務；另一方面提高空間機械臂系統的穩定性以實現長期可靠服役。基于此，本文總結了以下幾點對空間機械臂技術的發展趨勢，并對其應用進行了展望。

4.1 多模態感知融合

人工智能算法可以將視覺、觸覺、聽覺、力覺等多種傳感器的信息進行融合處理，提高空間機械臂感知的可靠性、魯棒性以及可信度，為機械臂后續的決策、規劃提供更加可靠的依據。然而，現階段空間機械臂系統配備的各種類型的傳感器主要還是獨立使用。考慮到控制系統應該更有效地對多種類型的感知信息進行綜合利用，后續的研究應當從數據層、特征層、決策層3 個層級對多類型感知信息進行融合。數據層融合是初級的信息融合，雖然能保留大量的原始信息數據，但數據量過于龐大、冗余。中間級別的特征層融合通過降維操作提取了原始感知數據的特征向量，為后續分類、匹配打下基礎。最高級別的決策層融合了每種傳感器數據經過特征層提取的特征后，決策出一致的最優值。

4.2 技能遷移

在軌裝配、在軌維護與星表建設是執行長期空間操控任務的重要保證，其中充斥著大量的搬運、組裝等同質化的勞動。傳統的作業編程方式在面對簡單機械式的重復勞動時效率較高。但是，在面對復雜、非重復性勞動時，傳統作業編程方式難以遷移至新的任務環境中或者適應新的環境約束。技能遷移與示教學習方法通過降低搜索策略空間的復雜度，使機器人獲得任務快速學習能力和技能優化能力，在面對空間操控任務中的不同約束下的同質化操作時，能夠準確快速地對任務進行識別與復現，從而達到技能遷移的目的。然而，技能遷移需要采集大量人類示教數據并進行訓練，對數據集的要求以及計算能力要求較高。在未來將示教學習方法運用到空間機械臂規劃算法的過程中，最大的難點是如何在小規模的訓練樣本下，實現對任務特征的提取與建模。

4.3 自適應控制

自適應控制方法可以辨識隨復雜、非線性系統的動力學模型，傳統的自適應控制有穩定性差、收斂速度慢等問題。空間機械臂作為一種高度復雜的非線性系統，系統建模誤差和外界擾動無法避免，這對基于模型的傳統控制方法提出了很高的要求。與神經網絡或強化學習結合的自適應控制方法，在模型未知、沒有先驗經驗的條件下，能夠快速適應對象動態特性的變化，并通過神經網絡調整控制策略，由此提高軸孔裝配、目標捕獲等任務執行的可靠性。但是，空間機械臂特殊的作業環境導致其對控制系統穩定性的要求較高，基于學習的自適應控制方法目前仍然面臨訓練久、收斂難的問題，難以在理論上保證控制穩定性。上述問題均需要在未來研究中著重解決。

4.4 多智能體與多臂協同

當單臂系統難以完成甚至無法完成復雜的空間操控任務時，需要依靠多智能體協同的決策與規劃技術，因此亟須針對不同類型的操作任務及空間機械臂系統，發展多智能體協同任務的集群智能規劃與控制技術。雖然相對于單機械臂系統，多機械臂協同系統對于規劃管理的難度呈指數級上升，增加了系統協調管理的難度、系統整體狀態的不確定性等，但是通過多條機械臂共同完成任務，可以從根本上突破單機械臂運動空間與運動控制的限制，完成更高難度的操作任務。多臂協同系統已有在軌應用的實例但尚未成熟，許多協同操作任務仍處于地面試驗階段。

5 結束語

隨著空間技術的不斷發展，人類探索太空的活動獲得了進一步的延伸，空間機械臂作為空間操控任務的重要裝備，擁有廣闊的應用前景。空間機械臂技術具有技術發展的“需求效應”，對機械、電子、通信、信息等行業有著強烈的牽引作用，可帶動相關產業技術的進步和升級。空間機械臂技術更是衛星應用、太空農業、太空工業等領域的重要技術裝備，極大地推動了國家經濟與科研水平的發展。此外，隨著人工智能、大數據、人機共融等前沿技術的興起，許多新技術、新思想被引入空間機械臂系統的設計，為其發展帶來新的可能與機遇。

現階段空間機械臂的操作任務對象仍多為合作目標，但是空間操控任務復雜多變，以非合作為目標的操作對象的任務越來越多，亟須加強推進空間機械臂系統智能化的研究。本文介紹了空間機械臂關鍵技術中的任務規劃、運動規劃以及運動控制技術，這些技術在空間機械臂自主化、智能化道路上扮演了重要角色，極大地提升了空間機械臂的工作能力。設計高度智能化、自主化的，能夠獨立汲取經驗、判斷思考、自主決策的空間機械臂系統是未來研究的關鍵。雖然空間操控技術已發展將近40 年，但是空間機械臂系統在智能化道路上仍有許多阻礙。深度學習作為一種數據驅動的方法，需要大量高質量的數據集，但是天地數據傳輸成本大，且地面難以模擬真實空間環境，小樣本數據訓練的問題需要攻克。空間機械臂系統的復雜以及環境的多變，導致強化學習方法中獎勵函數設計非常困難，直接影響到學習的快慢以及模型的收斂效果。學習類算法對硬件存儲和計算的要求十分高，但是空間中受輻射、低溫的影響，計算設備的能力上限相比地面大打折扣，深度學習在宇航級的硬件實現對計算機硬件技術提出了很高的要求。所以，將人工智能更深入地與空間機械臂相結合，需要更多的科研工作者的付出。