非合作目標智能感知技術研究進展與展望

牟金震，郝曉龍，朱文山，李爽

1. 南京航空航天大學 航天學院，南京 211106 2. 上海市空間智能控制技術重點實驗室，上海 201109 3. 北京跟蹤與通信技術研究所，北京 100094

1 引言

盡管航天器采取了多種保護措施，但在真空、失重、高低溫和強輻射環境下長時間工作，仍然會發生故障。這些故障給航天器帶來了巨大的經濟損失。在軌服務技術可以為故障失效、燃料耗盡或者模塊更換的衛星、空間站和空間運載器等空間目標提供在軌維修服務，其通過服務航天器平臺攜帶的機械臂系統、視覺系統與捕獲系統完成在軌裝配、捕獲、維修、燃料加注等操控任務，可有效延長服務對象的使用壽命。傳統在軌服務技術由地面人員遙操作協助完成交會對接，存在智能化水平低、適應差等問題。中國科技創新2030重大專項對在軌服務技術提出了更高的要求，以滿足空間無人操控任務的需求。因此，開展智能在軌服務技術的研究，有助于提高空間操控平臺的智能化水平[1]。

在軌服務任務中，服務航天器與服務對象到達交會對接距離后，利用服務航天器攜帶的感知系統完成對目標的位姿信息測量、關鍵部組件三維重構、關鍵部位識別等精細化感知。然而在軌服務對象中，由于對象先驗信息無法獲取，此時成為非合作目標。因此，非合作目標的智能感知成為近年來航天在軌操控領域的研究熱點，受到各國的廣泛關注和重視[2-3]。目前，面向在軌演示驗證，非合作目標智能感知仍存在諸多難點，如小樣本、多模態、模型適應與高維數據。

非合作目標感知不僅應用于在軌服務，還可以應用于小行星著陸等領域。針對目標結構已知或部分已知的非合作目標感知，國外研究機構預計2021年底前完成部分關鍵技術的在軌測試，如日本宇宙尺度公司(Astroscale)于2021年8月完成非合作衛星在軌捕獲技術驗證，考核了核心相機、可視化技術和感知算法軟件等。試驗中，非合作衛星偏離一小段距離后(約10 cm)，服務衛星點燃了推力器并捕獲非合作衛星。不過，這已足以驗證后續非合作在軌感知試驗所需的關鍵技術。考慮到非合作目標智能感知的重要意義，有必要分析梳理非合作目標智能感知涉及到的關鍵技術，總結目前存在的主要問題并給出后續發展的建議。

2 非合作目標感知系統

2.1 典型的非合作目標感知系統

前端機器人技術驗證項目(front-end robotics enabling near-tear demonstration，FREND)利用服務航天器末端的機械臂抓捕目標的星箭對接環等部位。機械臂感知系統由3個自帶照明系統且互為備份的相機組成[5]。美國DARPA的鳳凰計劃(Phoenix)的機械臂末端感知系統由3條機械臂組成，其中有1條為柔性機械臂，2條FREND機械臂。相機系統依然采用自帶照明且互為備份的3目相機系統。單目相機為MDA(MacDonald，Dettwiler and Associates)相機。2019年公開的數據顯示，當空間光照環境導致其中1個相機成像不理想時則利用剩余的2個相機組成雙目立體視覺系統繼續完成對非合作目標的位姿測量，當3個相機均能正常工作時則通過信息疊加融合提高位姿測量精度。

德國于2017年開始規劃在軌服務項目(Deutsche orbitale servicing，DEOS)。該項目主要對LEO上翻滾、失控非合作目標衛星進行抓捕演示驗證，抓捕位置包括失效衛星的對接環、發動機噴管等，抓捕流程包括遠距離跟蹤、交會段位姿測量、操作距離閉合抓捕以及組合體離軌。機械臂末端執行器上安裝立體視覺系統，即雙目相機與光源的組合。由于DEOS項目綜合驗證在軌服務任務，其機械臂視覺系統必須滿足狹小空間成像能力，因此相機視場設計為60°。

美國DARPA發起的地球同步軌道衛星機器人服務(robotics serving of geosynchronous satellites，RSGS)計劃使用了FREND計劃研發的兩條機械臂，一條臂用來捕獲和握緊非合作目標，另一條臂用于配合在軌修理操作。RSGS 計劃的機械臂操作采用自主操作與遙操作兩種方式，臂末端的感知系統包括照明系統、視覺相機系統和位姿計算系統。相機系統由3個單目相機組成，功能上實現狹小空間與復雜光照環境成像的互補。

歐洲航天局OLEV(orbital life extension vehicle)計劃的目標是拖拽地球靜止軌道上的故障非合作通信衛星到墳墓軌道。服務航天器的作用相當于一個空間拖船，其機械臂末端的抓捕對象為發動機噴管，視覺系統包括近距離立體視覺相機和照明系統。當服務航天器處于交會距離后，立體視覺相機捕獲抓捕機構的圖像后，在地面操作人員的引導下，OLEV逼近至離目標0.3m處。E.Deorbit計劃屬于歐洲航天局(ESA)清潔太空倡議，目的是清除體積較大的非合作目標，其機械臂末端的感知由兩組互為配合的視覺系統組成。第一個視覺系統任務為監視，第二個視覺系統任務為人工遙操作[4-5]。

德國ESS(experimental servicing satellite)計劃的目的是在軌維修故障非合作衛星，其機械臂抓捕對象為發動機噴管，通過機械臂的近距離操作將抓捕工具插入到指定位置，視覺感知系統由激光測距儀、雙目相機以及位姿計算系統組成。Astroscale公司于2021年8月已完成了在軌目標捕獲與清除技術的首項重要測試，釋放并重新捉回了一顆小衛星。試驗中，作為主星的“服務星”先是釋放了個頭很小的“客戶星”，然后又利用一個磁性機構將其重新捉住，其末端感知系統包括視覺相機、可視化軟件與捕獲系統。整個試驗充分驗證了軌道保持與姿態穩定技術。

2.2 光學敏感器技術

考慮到復雜多變的操控任務環境，光學敏感器不僅實現目標狀態感知，還需要克服由目標運動、觀測條件和資源限制影響。非合作交會對接主要采用微波或者激光雷達測距，視覺相機輔助測角，近距離采用成像激光雷達和視覺相機解算相對姿態。成像雷達包括激光雷達和TOF(time of fight)相機兩種方案。此外，針對遠近兼顧的位姿測量問題，美國采用激光雷達和三角激光測量結合的方案設計Tridar(triangutation-lidar)敏感器。國際上，各個航天強國逐漸開始了非合作目標測量的敏感器技術方案的驗證，依據測量理論設計了不同方案的測量敏感器與測量方案，雖然各有特點，但基本原理和測量流程基本一致，其中典型的方案為激光雷達為主視覺相機為輔。

如前所述，非合作目標感知任務以激光成像雷達和可見光相機為主。應用于非合作目標感知任務的可見光相機如表1所示[6-7]。目前，在研的激光雷達可用作非合作目標的感知任務如表2所示。由于單一敏感器的局限性，無法應對復雜多變的太空環境。將多種類傳感器進行融合來彌補不足，從而擴展測量能力、提高測量精度，以滿足智能化的非合作目標感知需求，其中多敏感器融合系統如表3所示。

表1 可見光相機

表2 激光雷達

表3 多敏感器融合感知系統

3 非合作目標位姿測量研究進展

3.1 基于目標先驗信息的測量方法

根據先驗信息的不同，非合作目標位姿測量技術大致分為以下3類：

第1類，已知目標航天器的結構信息，但目標航天器上沒有標識信息。非合作目標位姿估計問題變為圖像特征點的二維信息與三維結構信息匹配的PnP (perspective-n-point) 問題[8]。部分學者使用目標的邊緣信息完成姿態測量[9]屬于另外一個思路。此外，針對模型已知的非合作目標，還有另外一類求解方法，即建立目標各個姿態角度的圖像數據庫，通過圖像計算的投影與數據庫匹配來確定大致姿態，這類算法主要用于姿態的粗略估計[10]。

第2類，目標航天器上的部分特殊部組件信息已知。文獻[11]根據航天器上普遍安裝對接環這一特性，通過提取圓特征計算位姿的算法。文獻[12-13]提出基于航天器最大外輪廓識別的目標位姿測量方法。文獻[14]設計了單目結構光測量系統，選擇非合作故障衛星上常見的局部矩形作為識別對象進行非合作位姿測量。文獻[15]提出兩個單目相機協作的位姿確定方法，選擇非合作衛星矩形特征為識別標識，每個相機提供矩形的部分圖像，融合后獲取完整的特征。文獻[16]將多個單目相機組成非共視場來應對超近距離位姿測量中的成像空間小、相機視場角受限問題。

第3類，完全未知的非合作航天器?，F有的方法是先對目標進行重建，獲得目標的模型信息，然后將位姿估計問題轉換為特征點與模型匹配的問題，利用本質矩陣完成位姿初始化[17-18]。不使用配對的點信息，文獻[19]提出一種基于水平和垂直特征線推導基本矩陣的算法。文獻[20]對雙目圖像的邊緣點進行亞像素定位并重建出邊緣的三維點云，用ICP(iterative closest point)算法與ProE軟件建立的衛星模型匹配，進而得到目標的位姿信息。文獻[21]利用序列圖像重建非合作目標模型，將非合作問題轉為合作問題，進而解算出非合作目標的位姿參數。

3.2 基于傳感器配置的位姿測量方法

根據使用的測量傳感器的不同，非合作目標位姿測量方法分為以下5類：

第1類，基于單目視覺的位姿測量方法。文獻[22]利用前景提取技術與基于水平集區域的姿態估計相結合，對單目圖像進行位姿解算。使用SLAM (simultaneous location and mapping)方法[23, 33-34]對單目序列圖像進行位姿求解，是目前的研究熱點。

第2類，基于雙目視覺的位姿測量方法。文獻[24]基于立體視覺的完成非合作目標識別、位姿測量、服務機器人規劃3個問題。位姿測量算法包括圖像濾波、邊緣檢測、線提取、立體匹配和位姿計算等。最后，開發了三維仿真系統對該方法進行了評價。文獻[25]基于立體視系統重建非合作微納衛星的三維模型，之后基于特征匹配的方法對目標的相對姿態進行估計，最后開展地面試驗測試該算法系統的精度。文獻[26]基于雙目視覺測量原理，利用擴展卡爾曼濾波方法對目標特征點進行跟蹤觀測，實現了對非合作航天器的位姿測量，最后搭建非合作目標位姿估計試驗系統。

第3類，基于掃描式激光雷達的位姿測量方法?；贗CP匹配連續幀的2片三維點云是激光雷達測量非合作目標位姿的主流方法。文獻[27]提出了一種粒子濾波方法，利用連續的深度數據流估計非合作目標的相對位姿和旋轉速率。該方法避免了以往算法所遇到深度空洞和模糊問題，特別是在數據采集過程中使用掃描式激光雷達會導致運動失真問題。此外，與以往的試驗相比，該方法利用更簡單的傳感器模式，仍然可以正確估計目標狀態。通過仿真驗證了該方法的有效性，并給出了結果。

第4類，基于無掃描三維激光成像的位姿測量方法。無掃描激光成像不需要對場景進行逐行掃描，這與掃描式激光成像有很大的不同。無掃描三維成像雷達利用飛行時間法，計算光束從傳感器到目標點的飛行時間獲得深度信息。通過一次性平行獲取多點的深度值，可以實時獲取目標的三維圖像。文獻[28]提出基于二維相機和三維相機融合的非合作目標位姿測量方法，將高分辨率二維圖像信息與三維相機深度信息進行數據融合，獲得高分辨率三維圖像，高效準確地提取特征點信息，實現了對非合作目標的位姿測量。目前，無掃描三維激光成像技術應用于火星著陸項目、月球車避障、交會對接項目等非合作目標操控領域。

第5類，基于多傳感器融合的位姿測量方法。目前，多傳感器融合的主流方式有雙目視覺與激光測距儀的融合、TOF相機與單目相機的融合以及TOF相機和立體視覺系統的融合[29-30, 41-42]。

3.3 依據目標旋轉狀態的測量方法

根據目標的翻滾運動，非合作目標位姿測量方法分為以下3類：

第1類，非合作單軸穩定慢旋目標。非合作目標繞其慣性主軸做慢旋運動(一般指旋轉角速率小于5(°)/s)，處于一種穩定狀態。SLAM方法可用于解決非合作慢旋目標位姿測量問題。SLAM中環境一般為是靜止狀態，相機在運動中恢復環境結果和實現自身定位，而非合作單軸慢旋目標位姿測量問題中，相機是靜止的，目標是相對運動的，因此二者可以等效[31-32]。ORB(oriented FAST and rotated Brief)特征算法在多個尺度空間下對圖像特征點進行提取，并且賦予旋轉不變特性的描述子，基于ORB-SLAM方法的非合作慢旋目標位姿測量是目前的主流方案[33-34]。GCN-SLAM在ORB-SLAM基礎上，使用深度學習提特征點和描述子，已成功應用于地面試驗[35]。但是，基于ORB-SLAM的測量方案存在累積誤差增大問題，部分學者引入位姿圖優化[36]與閉環檢測優化[37]對測量進過進行校正。

第2類，非合作單軸快旋目標。相比于慢旋目標，非合作單軸快旋目標(一般指旋轉角速率大于5(°)/s)測量的困難之處在于特征提取困難與位姿遞推過程中的粗大誤差。針對特征提取困難，常見的有3種解決方法：一種解決思路是圖像增強，如基于低照度圖像增強[38]和基于圖像超分辨[39]等方法實現了以20(°)/s旋轉的非合作目標位姿測量；另一種解決思路是多特征提取方法[40]；最后一種是多傳感器融合，如采用相機與慣導融合[41]或采用主被動相機融合[42]。針對粗大誤差問題，常采用誤差優化技術[43]。誤差優化技術的核心問題可以歸納為兩個方面：閉環檢測與位姿優化。

第3類，非合作翻滾目標。非合作翻滾目標在空中一般處于自由翻滾狀態，既繞自旋軸旋轉也沿著進動軸旋轉[44]。文獻[45]直接使用深度傳感器在一段時間內采集到包含有目標信息的連續深度圖數據流，將深度圖轉化為三維點云，對于相鄰兩幅三維點云，直接采用ICP算法對其進行配準，估計所有相鄰兩幅點云之間的位姿。文獻[46]提出一種基于激光雷達點模板匹配的位姿估計算法。離線階段，對所有6自由度姿態進行采樣，以生成足夠的模板。 利用三維點云數據，將樣本限制3-DoF姿態域內，利用點云數據的質心估計出航天器的位置。在線階段，將激光雷達目標點構造成輪廓圖像，與模板進行匹配。文獻[47]通過試驗驗證非線性最小二乘方法對非合作目標的5種典型翻滾狀態具有最優的魯棒性。文獻[48]研究基于雷達散射截面序列的非合作目標翻滾周期估計。文獻[49]提出深度圖像和已知的模板匹配的姿態估計方法，該方法利用閉環方式實現的ICP算法。

3.4 基于深度學習的位姿測量方法

基于深度學習的非合作目標位姿估計主要分為2類。

第1類，混合人工神經網絡估計算法。文獻[50]提出一種融合卷積神經網絡的特征提取CEPPnP (efficient procrustes perspect-n-points)方法與擴展卡爾曼濾波的非合作目標位姿估計網絡。文獻[51]提出一種基于對偶向量四元數的混合人工神經網絡估計算法。文獻[52]提出一種神經網絡增強卡爾曼濾波器(NNEKF)。NNEKF的主要創新之處是利用慣性特性的虛擬觀測改進濾波器的性能。

第2類，改進深度模型的位姿估計算法。文獻[53]在Google Inception Net模型的基礎上設計非合作目標位姿估計網絡。針對空間目標數據的小樣本問題，使用3DMax軟件構建目標的數據集。為了充分模擬空間光照環境，隨機設置仿真環境的太陽光亮度，隨機增加星空背景噪聲以及對數據進行標準化等操作進行數據增強。文獻[54]參考VGG和DenseNet網絡設計一種雙通道的神經網絡，用于定位特征點在圖像中對應的像素，并給出其對應的像素坐標，提出神經網絡的剪枝方法，實現網絡的輕量化。文獻[55]針對空間非合作航天器姿態測量時受光照和地球背景影響大的問題，提出一種基于卷積神經網絡的端到端姿態估計方法，主干網絡采用AlexNet與ResNet。相較于僅采用回歸方法進行姿態估計，此方法能夠有效減小姿態估計平均絕對誤差，標準差與最大誤差。文獻[56]針對空間光照的干擾和小樣本問題，提出一種基于單目圖像的位姿估計網絡。用于訓練網絡的合成圖像充分考慮了航天器在軌的噪聲、光照等因素。此外，文獻[57]提出SPN(spacecraft pose network)模型，該模型僅利用灰度圖像訓練網絡。SPN模型包括3個分支，第1個分支利用檢測器來檢測輸入圖中目標的邊界框，其他2個分支使用二維邊界框內的區域來確定相對姿態。文獻[58]首次使用半物理仿真平臺制作非合作目標數據集。文獻[59-60]基于預訓練的深度模型實現了非合作航天器的6-DOF位姿估計。文獻[61]利用現有的目標檢測網絡和關鍵點回歸網絡預測二維關鍵點坐標，并結合多視點三角剖分重建三維模型，采用非線性最小二乘法最小化二維—三維坐標，預測位置和姿態。

應用深度學習實現非合作目標的位姿估計，訓練數據不足是必然會出現的問題。使用合成數據集難以完全模擬空間實際情況。此時位姿估計的準確率完全依賴于數據集本身提供的信息，當新的任務樣本與數據集本身樣本差異度過大時，準確率可能急劇下降。

4 非合作目標三維重建研究進展

4.1 基于稠密程度的重建方法

根據非合作目標重建模型的稠密程度，可以分為稀疏重建和稠密重建。

(1)稀疏重建

稀疏重建是通過相機的移動來構建目標的稀疏模型。首先輸入非合作目標的多視角圖像，檢測每張圖像中的特征點，并對特征點進行匹配，然后運用 SFM (Structure from Motion) 重構算法，恢復出相機的參數以及相機之間的相對位置關系及場景的稀疏點云。稀疏點云重建的一般流程為：首先檢測特征點，匹配特征點，然后求解相機位姿初始值，接著利用光束平差法等優化相機位姿，最后通過相機參數、位姿參數及特征點重構場景結構[62]。特征點檢測主要分為斑點和角點。斑點檢測[63]主要包括LOG(Laplacian of Gaussian)，SIFT(scale invariant feature transform)和SURF(speeded up robust features)等。角點檢測包括Harris角點、FAST(features from accelerated segment test)和ORB等。

(2)稠密重建

由于SFM用來做重建的點是由特征匹配提供的，導致匹配點稀疏，重建效果不好，所以需要MVS(multi view system)進行完善或者直接使用稠密點云重建。稠密點云重建目的是通過立體匹配等算法，計算圖像的大部分或者全部像素的三維信息，并對其進行三維重建。與稀疏重建法相比，稠密重建獲取的非合作目標的三維信息更加全面[64]。文獻[65]提出一種基于序列圖像的空間目標三維重建。文獻[66]提出基于序列圖像的三維重建方法，并可以提供翼板天線等部位的結構信息。文獻[67]提出基于序列圖像的空間非合作目標三維重建方法，但重建結果缺少目標表面紋理和局部結構特征關鍵。文獻[68]分析線陣激光成像雷達的成像機制并模擬失效翻滾衛星的數據采集，提出一種翻滾目標建模方法。隨著移動端傳感器的不斷集成，尤其是集成了3D深度相機，可直接采用幾何關系得到點云數據，加快了稠密重建速度，可實現實時稠密重建[75-78]。

4.2 基于傳感器配置的重建方法

根據傳感器的配置，非合作目標三維重建可以分為基于主動、被動與主被動融合的非合作目標重建。

非合作目標主動視覺重建技術：主動視覺重建利用激光掃描法[69]、結構光法[70]與TOF技術[71]等光學敏感器掃描非合作目標的表面，利用獲取的深度數據或點云數據重建非合作目標表面的三維結構。

非合作目標被動視覺的維重建技術：利用視覺傳感器獲取目標序列圖像，進而基于多視圖重建方法完成非合作目標三維重建。這種技術首先通過視覺傳感器獲取圖像序列，然后提取特征信息，最后將特征點三角化為點云，從而重建出物體的三維結構模型。一般地，應用于非合作目標重建的被動視覺三維重建技術可以分為單目視覺[72]、雙目視覺[73]和多目視覺[74]。

非合作目標主被動融合的重建技術：深度傳感器與彩色傳感器結合，可以實現空間髙分辨率的多維度數據采集。其中基于RGB-D相機的三維重建其實可以分為兩種：一種是對于靜態場景的三維重建，以KFusion[75]，Kintinuous[76]與ElasticFusion[77]為典型代表，一種是對于動態場景的三維重建，以DynamicFusion[78]為典型代表。

綜上所述，隨著在軌航天器采用多傳感器組合的方式觀測被測空間目標，獲取目標數據的維度及數據量不斷增加。由于數據量與數據維度的不斷增加，難以從高維數據中提煉出能夠表征空間目標特性的關鍵數據，不同維度的特征數據難以進行合理有效的融合[79]。

4.3 基于深度學習的目標重建

(1)深度學習與語義法

考慮到傳統三維重建方法在空間應用的局限性，基于深度學習的三維重建技術逐漸被引入到非合作目標重建中來[80]。文獻[81]提出非結構化多視點三維重建網絡(MVSNet)。同時，文獻[82]對原來的MVSNet進行優化，提出了R-MVSNet。文獻[83]提出PointMVSNet神經網絡框架，主要分為兩大部分：第一部分首先將不同視角的圖像輸入到網絡中，生成粗糙深度預測圖，然后轉換成粗糙點云；第二部分利用圖像金字塔網絡提取三維點云中每個點在各視角圖像中的紋理特征，構建特征增強點云，然后利用點流模型迭代出精確而稠密的點云。文獻[84]提出一種像素感知可見性的多視圖網絡 PVSNet，用于密集3D重建。文獻[85]提出一種用于單視圖和多視圖3D重建的Pix2Vox++框架，使用編碼器/解碼器可以從單輸入圖像生成一個粗糙的3D體，然后引入多尺度上下文感知融合模塊從粗糙3D體自適應重建目標模型。文獻[86]提出SurfaceNet+網絡，用于處理有系數MVS引起的“不完整”和“不準確”問題。該框架的核心優勢在于，利用端到端神經網絡解決多視立體視覺問題能夠直接學習到圖像一致性與其幾何相關性。

(2)深度學習輔助幾何的重建方法

文獻[87]提出了一種從單目圖像估計場景深度的雙通道算法，先利用暗通道先驗作為局部測度估計原始深度圖，然后用亮通道修正原始深度圖中誤差，最后利用語義分割信息和補丁匹配標簽傳播來加強語義一致的幾何先驗。該方法不需要真實深度數據進行訓練，使得該方法能夠適應空間非合作目標場景。文獻[88]提出GAN2shape模型，利用生成式對抗網絡從圖像中恢復目標的三維模型，其核心是利用一種迭代策略探索和利用GAN圖像流中的各個視點和光照的變化，不需要2D關鍵點和3D注釋，也不需要對對象形狀的嚴格假設。

(3)單目深度估計法

單目相機是最簡單的光學傳感器，是大部分航天器上的標準裝備。從單幅RGB圖像中估計深度的方法也稱單目深度估計方法，對非合作目標三維重建具有重要意義。監督/無監/半監督學習、基于隨機條件場的方法、聯合語義信息、基于輔助信息的深度估計[89]是基于深度學習的單目深度估計方法的熱點。

監督學習：文獻[90]提出一種在網絡內高效學習特征映射上采樣的新方法，引入殘差學習的全卷積架構來建模單目圖像和深度圖之間的模糊映射，使用Huber損失函數優化整個網絡，該方法經作者改進后融合到單目SLAM技術當中，可應用于非合作目標的單目位姿測量。文獻[91]提出StructDepth采用兩個額外的監督信息進行自監督訓練[91]：曼哈頓法線約束和共面約束。

無監督學習：文獻[92]提出一種神經架構搜索框架LiDNAS，用于生存輕量級單目深度估計模型。與以往的神經架構搜索不同，尋找優化網絡的計算要求很高，引入新穎的Assisted Tabu Search 實現高效架構搜索。文獻[93]提出通用場景單目深度估計無監督模型RealMonoDepth學習估計各種場景的真實深度，其包含相對深度和絕對深度損失函數。文獻[94]提出DeFeatNet是一種同時學習跨域密集表征表示方法以及扭曲特征一致性的深度估計模型。

半監督學習：文獻[95]將圖像一致性的無監督框架和密集深度補全的有監督框架結合提出一種半監督框架FisNets。此外，文獻[96]通過兩階段從單目圖像中預測深度，以半監督的方式訓練網絡。

基于隨機條件場的方法：文獻[97]考慮到深度值的連續特性，將深度估計轉化為連續條件隨空場(CRF)學習問題，提出了一種融合深度CNN和連續CRF的網絡。文獻[98]提出一種融合了來自多個卷積神經網絡輸出的互補信息的深度模型。

聯合語義信息：文獻[99-100]提出了一種聯合語義信息的深度估計網絡結構，預先訓練語義分割網絡，通過像素自適應卷積來指導深度估計。此外，為克服語義信息的偏見性，使用兩階段的訓練對動態對象通過重采樣。

引入其他信息輔助深度估計：從單目場景恢復深度信息需要其他輔助信息，文獻[101]針對單目深度估計的不精確對象及深度推斷和尺度模糊問題，使用額外的Lidar并建立DNet，提出密集鏈接預測層和密集幾何約束以應對這兩個問題。文獻[102]整合深度和曲面法線之間的幾何關系，提出GeoNet網絡預測單個圖像的深度和曲面法向量，并利用殘差模塊提高了其質量，其中作者利用了平面區域表面法線變化不大的幾何規律來輔助和優化單目深度估計。文獻[103]使用Lidar單目相機估計密集深度圖，網絡模型由多級編碼器/解碼器組成。文獻[104]將幾何與PackNet結合，利用對稱的packing 和unpacking模塊共同學習使用3D卷積壓縮和解壓縮保留細節的表征形式。

5 非合作目標及部組件識別研究進展

5.1 基于深度學習的非合作識別方法

由于航天任務的特殊性，目前應用深度學習的方法識別非合作目標仍處于起始階段，相關研究工作較少。文獻[106]提出用于空間目標檢測、分割和部組件識別的數據集。由于空間目標真實圖像獲取困難，公開的真實圖像不多。為了豐富數據集，研究人員從真實圖像和視頻中收集了3 117張衛星和空間站的圖像。在數據集注釋過程中使用一種引導策略，以最大限度地減少標注工作。首先，在小尺度上進行手工標記樣本標簽。然后，利用標記數據訓練一個分割模型以自動生成更多圖像的粗標簽。接著，通過交互式工具進行手工細化。最終，生成完整的數據集。數據集中，空間目標包括空間站和衛星。此外，還提供用基準數據集用于評估目標檢測和實例分割算法的先進性。文獻[107]提出用于空間目標識別的訓練和測試圖像的單一和混合數據增強方法，并提出基于數據增強的空間目標識別方法。其數據集的制作由STK(systems tool kit)通過一系列運動模糊和離焦模糊來模擬空間真實成像條件。文獻[108]利用YOLO(you only look once)模型對衛星及其部件進行識別，采用兩種衛星模型的三維模型圖片集進行訓練，測試了模型對不同視角、不同距離以及不同遮擋條件下的衛星及衛星部件的精度，結果顯示模型準確率在90%以上，但沒有考慮不同運動、不同光照、不同方位情況下衛星模型的識別。文獻[109]提出將Mask R-CNN(mask region-based convolutional neural network)應用于空間衛星特征檢測與識別問題，并借鑒R-FCN(region-based fully convolutional network)和Light-head R-CNN對其進行優化改進，以滿足空間衛星識別任務實時性要求。但搭建虛擬環境與真實太空環境仍然存在較大的差異，也未考慮更加復雜的太空光照環境、復雜的章動和進動等運動。

文獻[110]提出一種改進CenterMask網絡用于識別衛星及部組件，但此模型訓練時間長、模型內存大等原因不適合于資源受限的空間載荷部署，對于實際在軌應用仍然存在較大的差異。在衛星姿態和光照條件變化較大的情況下，文獻[111]提出基于R-CNN(region-based convolutional neural network)的衛星部件檢測算法。首先，在Mask R-CNN的基礎上，結合DenseNet、ResNet和FPN構建新的特征提取結構，并通過提供密集的連接增強各層之間的特征傳播。針對訓練樣本缺乏問題，模擬軟件生成不同角度、不同軌道高度以及不同類型的衛星圖像數據集。最后，在構建的數據集上測試識別模型精度。

綜上所述，目前已有的工作大部分借助傳統目標檢測領域經典成熟的方法，大多不能滿足實際在軌要求。用于模型訓練的數據大多基于模擬數據集，難以完全模擬真實空間環境。訓練完成的模型只能識別某一固定模態的衛星數據，無法滿足大量容易獲取的其他數據模態，也無法使用一個樣本豐富的模態信息來輔助另一個小樣本的模態進行學習。

5.2 基于多模態深度學習的目標識別

文獻[112]依據真實的空間仿真環境，提出空間目標識別和分割的多模態圖像數據集SPARK，數據集由深度圖和彩色圖組成，數量約1.5×105、目標類別11類。文獻[113]提出基于本體多源信息融合的空間目標識別方法，并首次提出使用零樣本分類技術實現新目標的自動識別。文獻[114]將多傳感器信息融合看成一種多元信息的融合處理技術，針對衛星識別問題的特征級融合階段，提出神經網絡組的方法，并應用到特征級融合對目標進行識別。文獻[115]研究模糊信息的融合方法，包括基于模糊積分和模糊邏輯的特征層融合算法，針對空間目標小樣本分類問題，在常用的模糊方法的基礎上實現了基于模糊積分的特征層融合算法。文獻[116]將紅外和可見光圖進行融合，并基于判斷模型定義紅外和可見光圖進不可融合的條件，將融合后的圖像應用于空間目標識別，提高復雜地球背景下識別的魯棒性。多模態數據融合中，不同模態數據具有不同的數據分布，使用傳統的“單源域→單目標域”融合方法將難以獲得數據疊加效果。多模態交叉遷移下，樣本標簽并不能有效遷移，導致融合后的目標域存在較多的噪聲干擾，降低了模型的跨域識別性能。

5.3 基于遷移深度學習的目標識別

已有的空間非合作目標識別模型基于特定任務和數據集訓練各自孤立的模型，學習中并未保留任何可從一種模型遷移到另一種模型上的知識，而遷移學習利用先前訓練模型中的特征，權重等知識訓練新模型，解決識別任務中具有較少高質量數據的問題。在空間目標識別任務中，由于光照環境的改變、目標遠近距離的變化、星空背景和地球背景的交替干擾等影響，導致地面試驗條件下訓練的模型無法遷移到空間環境，極易出現模型失效。遷移學習可以將地面條件下的模型知識，快速遷移到新的就環境中，它使模型在新的小樣本環境中快速學習新的知識。因此，利用遷移學習和深度學習結合，將地面任務與空間任務之間遷移特征學習方法，解決空間任務的多域遷移問題[117]。

5.4 基于小樣本學習的目標識別

參數微調、模型結構變遷、度量學習是小樣本目標識別方的主流方法。目前直接應用小樣本學習處理空間目標識別主要存在以下幾方面的問題。首先，大部分模型部署后推理速度緩慢，大多不能滿足空間處理實時要求。其次，模型結構的復雜度高，不滿足星載資源受限的應用需求。半監督學習利用小樣本標簽指導大量為無標簽數據學習，因此小樣本學習可與半監督學習結合。此外，也可以先利用無監督學習在無標簽數據訓練模型，然后遷移到小樣本數據中強化模型[118]。在非合作目標及部組件識別任務中，由于空間任務以及目標的改變，標注樣本難以獲得，即使獲得樣本也非常容易過時，但無標簽的樣本則相對容易獲得。半監督學習為解決小樣本學習問題打開一種新的局面。但是，面向在軌服務任務，當新的任務樣本與數據集本身樣本差異度過大時，識別準確率可能急劇下降。

6 非合作目標智能感知技術發展趨勢

目前，非合作目標感知的部分關鍵技術已經得到了在軌驗證。在深度學習的影響下，研究人員開始了智能感知技術的研究。然而，面向在軌應用，仍然存在較多的方向值得研究。下面提煉出非合作目標智能感知的一些亟待解決的問題， 并給出研究建議。

1)小樣本圖像生成：非合作目標在真實環境中的數據難以獲取，而地面試驗條件下產生的訓練數據樣本難以完全模擬空間實際情況。少樣本生成旨在基于同一種類的少量圖像， 生成該種類更多的圖像，可以用來增廣已有的訓練數據，從而輔助圖像分類等下游任務。

2)多星協同測量方式：傳統的單星測量方式，對目標遮擋問題處理困難，不能對指定區域進行持續觀測。隨著空間操控任務的多樣性、復雜性和精細化需求，傳統的單星工作模式將無法滿足要求。多星協同觀測，特別是微納星群協同感知技術，利用多星的協同配合完成對目標的多角度、全方位觀測。

3)多傳感器信息融合：多傳感器協同或者多傳感器數據融合的方法可以有效應對復雜多變的空間環境，實現功能的互補。如何剔除多傳感器的冗余信息，提取有效特征為多傳感器融合的關鍵。

4)多視角數據聯合表征：多視角數據能讓服務航天器更加全面地了解待觀測的對象，因此對多視角數據進行表征學習具有重要研究意義。如何將每個視覺的特征進行融合，然后映射到低維空間表征多視角是未來一個值得研究的方向。

5)多特征融合表達：在獲取的多視圖信息中，尋找具有準確、全面描述目標特征信息和具有良好分類性能的圖像目標特征以及如何提取這些特征就成為解決圖像目標識別問題的關鍵。

6)空間目標的精細化感知：隨著對非合作目標操控任務和需求越來越復雜，非合作目標感知也越來越精細?？臻g目標的精細化感知包括目標測量、目標識別、場景理解與目標重建。

7)變化場景下識別模型遷移與重用問題：深度神經網絡模型的設計大多依賴其初始任務需求，對新任務的自適應性較差。因此需要開展面向多任務應用的航天器感知模型自適應機制研究，設計模型遷移機制對原有權值信息進行壓縮，自動生成適應新任務的模型結構。

8)面向非合作目標感知的高維數據機器學習：智能感知算法存在 “維數災難”和“過擬合”問題。此外，還面臨高維小樣本問題。因此，克服因高維數據帶來的分類器的過擬合問題也是未來的研究方向；如何進一步改善高維空間的小樣本學習的有效性和穩定性也是未來需要解決的關鍵問題。

7 結論

目前，各個航天強國陸續開展了非合作目標智能感知技術的在軌驗證。傳統的非合作目標感知技術在特定任務、特定操控對象以及特定的環境等具有局限性，盡管感知方法由單一測量方法發展為多手段協同的測量方法，仍不能滿足智能化的需求，亟需將感知技術推向人工智能感知測量的新階段。將人工智能技術引入到非合作目標感知領域，將使航天器具備感知、學習與決策能力，提高航天器對空間復雜任務自主適應的能力?？紤]到非合作航天器智能感知的重要意義，有必要對非合作航天器智能感知技術進行深入系統地研究，針對其中的難點問題進行突破，從而提高中國空間操控平臺的智能化水平。