基于2D/3D多特征融合的近距離空間非合作目標相對測量方法*

易 兵 敬忠良 潘 漢

上海交通大學航空航天學院，上海 200240

?

基于2D/3D多特征融合的近距離空間非合作目標相對測量方法*

易 兵 敬忠良 潘 漢

上海交通大學航空航天學院，上海 200240

面向空間在軌服務重大應用需求，以提高系統自主性和空間環境適應性為目標，發展了一種空間非合作目標三維重建、目標識別和位姿估計一體化的近距離相對測量方法。該方法基于二維圖像信息和深度數據，通過數據融合并重建出非合作目標的稠密三維模型，接著基于快速迭代最近點配準算法，提出基于SIFT和SHOT特征融合的三維識別方法，為系統的相對位姿估計提供有效的參數初始化。本文方法可進一步減少地面的干預，增強在軌服務系統的自主性，擴展系統的工作范圍。地面仿真實驗驗證了該方法的可行性和有效性。 關鍵詞 非合作目標；相對位姿測量；三維重建；三維目標識別

空間非合作目標近距離相對測量是衛星在軌服務中的關鍵技術之一[1]。它為服務衛星接近、捕獲空間非合作目標，開展修理維護等空間任務提供關鍵導航支持。

空間非合作目標相對測量受到各國科研人員的關注。美國FREND項目[2]、歐空局TECSAS/DEOS項目[3]和歐洲多國合作的PRISMA項目[4]都使用了視覺測量載荷確定非合作目標的相對位置和姿態。加拿大Neptec公司開發了基于激光雷達的視覺系統TriDAR，并通過三維點云配準的方式來測量非合作目標[5]。我國在這個領域的研究亦活躍而有成果。郝剛濤[6]和張勁鋒[7]等分別提出了基于單目相機的航天器相對位姿測量方法。徐文福等基于圖像形態學特征，提出了相對測量的雙目視覺系統[8]。劉濤等從相對距離、姿態確定，以及濾波器設計的角度研究了非合作目標相對導航方法[9]。王曉亮等研究了噪聲不確定情況下的非合作目標對接濾波器算法[10]。徐培智提出了結合雙目相機和激光掃描儀的非合作目標相對測量方案。其中，激光掃描儀用于確定相對距離信息[11]。最近，梁斌等分析了ToF相機應用在空間非合作目標近距離相對測量的可行性，梳理了其中的關鍵技術，并對發展趨勢進行展望[12]。

空間非結構化環境下的特征檢測與跟蹤、幀與幀配準帶來的誤差累積問題給基于可見光圖像的測量方法帶來了極大挑戰。目前，基于三維模型配準的測量方法依賴于目標幾何模型的建立。本文使用深度傳感器和可見光相機，結合三維重建和三維目標識別技術，提出一種融合2D彩色信息和3D幾何信息特征的近距離空間非合作目標相對測量方法。該方法通過在線重建，并獲取非合作目標三維模型，減小對先驗信息的依賴；然后，通過幀與重建模型配準的方式，減小測量誤差累積；最后，基于三維目標識別方法，解決位姿參數初始化和測量失敗下的重新定位問題，增強了系統自主性與環境適應性。

首先從總體上介紹了本文方法的3個運行階段和對應的飛行狀態，隨后具體講述方法的各個環節，給出了算法地面仿真實驗與分析結果，最后總結并指出可能改進的方向。

1 非合作目標相對測量過程概述

本文結合三維重建技術和三維目標識別技術增強系統自主性的目的，提出一種非合作目標近距離相對測量的方法。即服務衛星抵近目標衛星，以及相對測量的相對飛行軌跡，如圖1所示。在發現并靠近目標達到一定距離之后，服務衛星開始對目標衛星進行相對測量。這個過程中有2種飛行狀態：

圖1 相對測量理想相對飛行軌跡

1)服務衛星環繞目標衛星伴飛。其中，服務衛星對目標衛星展開連續觀測，對非合作目標進行三維重建，接著進行三維目標識別，識別目標形態以給出相對測量初始參數；

2)服務衛星停止環繞伴飛，以合理路線靠近非合作目標以進行對接。其中，服務衛星借助繞飛階段重建的目標模型對非合作目標進行準確的相對測量，為對接捕獲做準備。

與兩衛星2種飛行狀態相聯系的是服務飛行相對測量系統的3種工作階段：三維重建階段、三維目標識別階段和相對測量階段。整個工作流程如圖2所示(圖中目標運動狀態分析階段是利用相對測量采集的數據分析目標的運動參數，此階段不在本文關注范圍內)。

圖2 非合作目標相對測量系統流程圖

1)三維目標重建階段。系統采集可見光傳感器和激光成像傳感器的測量數據，通過相對運動位姿估計將連續觀測的目標數據融合，通過稠密三維重建算法獲取非合作目標的曲面模型；

2)三維目標識別階段。使用三維目標識別有2個目的：①為相對測量提供初始化相對位姿參數；②在相對測量失效需要重置的情況下，找回當前相對位姿。三維目標識別首先以重建模型為輸入訓練目標識別模型，然后再對傳感器輸入進行三維目標識別，給出相對測量的初始位姿參數；

3)在相對測量階段，使用迭代最近點算法將傳感器采集數據與非合作目標模型數據進行配準，計算出當前時刻目標相對位置和姿態參數。

本文提出的非合作目標相對測量系統方案在不同階段下分別完成建模、識別、相對測量等工作，減少系統對非合作目標先驗信息的需求，為服務衛星提供準確的相對測量數據。以下詳細介紹本文方法內容。

2 非合作目標相對測量方法

2.1 相對位姿估計

相對位姿估計是相對測量系統的核心。本文使用迭代最近點(Iterative Closest Point，ICP)算法[13]進行相對位姿計算。

Newcombe等人通過實驗驗證了使用幀-模型的ICP配準計算的時間漂移小于使用幀-幀ICP配準的時間漂移[14]。因此，本文使用輸入幀數據與重建模型數據ICP配準策略。ICP算法普遍采用的步驟，如圖3所示。該算法將輸入點云與目標點云進行配準計算。在一次迭代計算過程中，ICP算法首先搜索輸入點云與目標點云之間的匹配點，再經過匹配點對篩選之后進行旋轉矩陣和位移向量的最小二乘估計，得到相對變換的增量變換。在此基礎上，應用增量變換更新輸入點云，并且更新誤差函數，然后進入下一次迭代。

圖3 ICP算法流程

2.1.1 ICP輸入點云計算

首先利用輸入的深度圖像計算輸入點云對應的三維坐標。然后采用均勻采樣方法采集ICP配準控制點，降低計算量。已知深度傳感器的內參數，從深度圖像生成點云的計算過程如下。

在簡化的針孔相機投影模型下，相機的投影矩陣為：

(1)

式中，sx，sy和sθ是相機的像素縮放因子，f是相機焦距，cx和cy是圖像中心位置對應像素坐標。在齊次坐標表示下，相機的投影模型為：

(2)

其中，Π是標準投影矩陣：

對于深度圖像，D(u,v)=z/sz，sz是Z軸縮放因子，對于常見的Kinect傳感器其值為1000mm。于是對應圖像坐標點(u,v)的三維空間點p(u,v)的坐標是：

(3)

2.1.2 匹配點搜索與篩選

(4)

(5)

2.1.3 誤差函數與最優化求解

本文使用點到平面的距離的平方之和[14]作為誤差函數。在第k次ICP迭代中，誤差函數定義為：

(6)

(7)

ΔT屬于特殊歐拉群SE(3)，隱含著復雜的約束條件，使得此最優化問題難以直接求解。考慮到衛星間相對運動速度緩慢，輸入點云與待配準的目標點云之間相對運動量小，可以假設ΔT很小：

于是ek(ΔT)可以改寫成x的函數：

(8)

式(9)中映射A:3|→4×6為：

x=[u1,u2,u3,t1,t2,t3]T

相應的問題式(7)變為：

(9)

使用非線性優化算法或者簡單最小二乘方法可方便求解出x*以及對應的增量變換ΔT*。

2.2 非合作目標稠密三維重建

對非合作目標表面進行深度測量得到的是不連續且含有噪聲的數據。高效率地從這些數據中重建目標模型是比較困難的。采用傳統的頂點——網格——曲面的三維重建計算量太大，不能達到實時要求。KinectFusion[14]算法提出了高效的解決方法。該方法以立方體體素表達模型空間，通過融合TSDF(TruncatedSignedDistanceFunction)有向距離函數完成對目標場景快速、準確重建。本文提出的稠密三維重建流程如圖4所示。讀取傳感器數據后按照深度圖像計算點云及法向量，使用2.1節的快速ICP算法計算輸入數據到重建模型的相對位姿變換。然后進行TSDF點云融合更新重建模型。最后使用虛擬相機采集重建模型的局部視圖。本節講述后2個步驟。

圖4 稠密三維重建流程圖

2.2.1 稠密三維重建

首先在全局坐標系下將測量空間劃分為N×N×N個立方體體素(Voxel)。然后給每一個體素賦予一個有向距離值Fk(p)和一個融合權值Wk(p)(p表示體素中心的三維坐標)。Fk(p)表示該體素距測量到的非合作目標表面的有向距離：Fk(p)=0表示目標表面正好穿過此體素；Fk(p)>0表示體素位于非合作目標表面上的空白空間；Fk(p)<0則表示體素處于非合作目標表面之下的空間，實際上是傳感器無法測量到的。

TSDF點云融合方法具有最小二乘優化性質，對傳感器噪聲具有一定的濾波作用。在相對測量模塊求解出當前深度圖像Dk的配準變換Tg,k之后，其在全局坐標系下的TSDF函數表示[FDk,WDk]的計算為：

(10)

其中：

在建模精度損失不大的情況下，可設定Wdk(p)=1。當前深度測量與全局重建模型的融合公式為(Fk(p)≠null)：

(11)

Wk(p)=min(Wk-1(p)+WDk(p),Wthres)

(12)

2.2.2 相對位姿估計模塊目標點云數據獲取

將一虛擬深度相機以與衛星下一時刻預測的位置和朝向對非合作目標的重建模型進采樣。假設光線從虛擬相機中心朝每一個像素點方向射出，如果遇到體素的有向距離Fk(p)從正到負變化，就以此光心到零跨越處的深度作為圖像采樣值。具體過程參考文獻[14]。通過這個步驟，可以獲得相對位姿估計系統所需要的目標模型深度圖像、目標模型點云和對應的法向量。

2.3 三維目標識別

本文提出基于多特征融合的非合作目標三維識別方法。首先訓練非合作目標模型，然后對傳感器輸入進行三維目標識別，給出相對測量的初始位姿參數，具體算法流程如圖5所示。

圖5 三維識別流程圖

2.3.1 訓練三維目標識別模型

訓練三維目標識別模型以待識別目標三維模型，且包含彩色信息的局部點云作為輸入。在提取RGB-D數據的二維SIFT特征和三維SHOT特征后，分別使用相互最近鄰算法(ReciprocalNearestNeighborClustering)[17]對兩類特征描述子碼本進行降維處理，得到方便高效搜索的特征描述子碼本。最后將碼本存儲以完成非合作目標三維識別模型的訓練。

2.3.2 三維目標識別

基于多特征融合的非合作目標三維識別方法融合二維圖像SIFT(ScaleInvariantFeatureTransform)特征[18]和三維SHOT(SignatureofHistogramsofOrientations)特征[19]的描述能力，通過匹配對分組聚集符合幾何約束的特征匹配對，并使用全局優化的假設檢驗方法篩選最佳相對測量結果。如圖5所示，三維目標識別按照步驟進行，詳細描述可參考文獻[20]：

1) 讀取傳感器輸入數據；

2) 分別提取二維SIFT特征和SHOT特征；

3) 將以上特征與訓練數據特征進行匹配，并將二維SIFT特征匹配對映射到三維空間；

4) 根據幾何一致性約束將特征匹配對分組，并在每組中估計一個識別假設hi={Mi,Ti}(Mi是識別標簽，Ti是配準變換)；

5) 以X=[x1,x2,…,xn]T,xi∈B={0,1}表示所有識別假設hi被接受或拒絕的狀態，計算全局目標函數F(X)，并使用模擬退火算法搜索最優解。

該算法具備同時識別多個模型的能力，當模型數量只有一個時，算法退化成對所有模型假設進行逐一檢驗的方法。

3 地面仿真實驗

為評估算法的可行性和有效性，本文基于華碩XtionProLiveRGB-D傳感器(模擬空間可見光相機與無掃描激光雷達)，開展相對測量地面仿真實驗。該傳感器在2m處的深度測量精度約2mm[21]。以下實驗中均保持傳感器和待測量衛星模型之間的距離在2m內。

1)相對位置測量實驗

相對距離測量實驗中衛星模型固定，傳感器沿某個方向等間距平移，將相鄰2次測量結果ti+1和ti之間的差值與真值進行對比來確定該方法在相對距離測量上的精度：

Δt=ti+1-ti

設置不同平移值，展開了2次實驗： Δt1=[0,0,0.05m]T，Δt2=[0.05m,0,0.05m]T。2次測量結果的誤差參見表1。結果顯示相對位置測量精度與傳感器測量精度相當，而且在傳感器特性影響下縱向測量精度明顯高于橫向測量精度。

2)相對姿態角測量實驗

相對姿態角測量實驗為固定傳感器位置和姿態，固定衛星模型位置，沿空間某個固定軸u旋轉指定角度θ。比較前后相對姿態測量的姿態矩陣Ri和Ri+1，然后通過旋轉矩陣的歐拉角分解得到旋轉軸u和旋轉角θ：

本文進行了2次實驗，實驗中衛星模型分別圍繞未知的軸旋轉2次，每次旋轉20°。相對姿態角測量結果如圖6所示。本文算法相對姿態角測量的絕對誤差和標準差分別是：

第1組實驗：E1=0.6297°,σ1=1.5120°,

第2組實驗：E2=0.2627°，σ2=1.1479°

表1 相對位置測量絕對誤差和標準差

圖6 相對姿態角測量實驗旋轉角θ結果

4 結論

以增強非合作目標近距離相對位姿測量系統自主性為目標，提出了綜合三維重建、目標識別和位姿估計3個部分的非合作目標相對位姿測量方法。該方法以快速ICP算法、TSDF點云融合算法和基于多特征融合的三維目標識別算法為核心，進一步降低了系統對非合作目標先驗信息的依賴，提高了系統自主性，增強了相對位姿測量精度和空間環境適應性。綜合多源信息的處理過程在一定程度上以系統復雜度增加為代價，后續研究將以本文方法為基礎，進一步深入研究重建、識別和位姿估計一體化系統，降低算法的時空復雜度，提高系統實時性，擴展系統的空間環境應用范圍。

[1] 梁斌, 杜曉東, 李成,等. 空間機器人非合作航天器在軌服務研究進展[J]. 機器人, 2012, 34(2):242-256. (Liang Bin, Du Xiaodong, Li Cheng, et al. Advances in Space Robot On-orbit Servicing for Non-cooperative Spacecraft[J]. Robot, 2012, 34(2):242-256.)

[2] Debus T, Dougherty S. Overview and Performance of the Front-End Robotics Enabling Near-Term Demonstration (FREND) Robotic Arm[C]. AIAA Infotech, Aerospace Conference, 2009.

[3] Martin E, Dupuis E, Piedboeuf J C, et al. The TECSAS Mission from a Canadian Perspective[C]. Proc. 8th International Symposium on Artificial Intelligence and Robotics and Automation in Space, Munich, Germany, 2005.

[4] Persson S, Bodin P, Gill E, et al. PRISMA - An Autonomous Formation Flying Mission[C]. Small Satellite Systems and Services - The 4S Symposium. DLR, 2006.

[5] Ruel S, English C, Anctil M, el al. 3DLASSO: Real-time Pose Estimation from 3D Data for Autonomous Satellite Servicing[C]. Proc. of The 8th International Symposium on Artifical Intelligence, Robotics and Automation in Space, Germany, 2005.

[6] 郝剛濤, 杜小平. 基于單目視覺圖像序列的空間非合作目標相對姿態估計[J]. 航天控制, 2014, 32(2):60-67. (Hao Gangtao, Du Xiaoping. Relative Attitude Estimation for Space Non-cooperative Targets Based on Sequence of Monocular Images[J]. Aerospace Control, 2014, 23(2):60-67.)[7] 張勁鋒, 蔡偉, 孫承啟. 基于單目視覺的空間非合作目標相對運動參數估計[J]. 空間控制技術與應用, 2010, 36(2):31-35. (Zhang Jingfeng, Cai Wei, Sun Chengqi. Monocular Vision-Based Relative Motion Parameter Estimation for Non-Cooperative Objects in Space[J]. Aerospace Control And Application, 2010, 36(2):31-35.)

[8] 徐文福, 梁斌, 李成,等. 基于立體視覺的航天器相對位姿測量方法與仿真研究[J]. 宇航學報, 2009, 30(4):1421-1428. (Xu Wenfu, Liang Bin, Li Cheng, et al. The Approach and Simulation Study of the Relative Pose Measurement Between Space-crafts Based on Stereo Vision[J]. Journal of Astronautics, 2009, 30(4): 1421-1428.)

[9] 劉濤, 解永春. 非合作目標交會相對導航方法研究[J]. 航天控制, 2006, 24(2):48-53. (Liu Tao, Xie Yongchun. A Study on Relative Navigation for Spacecraft Rendezvous with a Noncooperative Target[J]. Aerospace Control, 2006, 24(2):48-53.)

[10] 王曉亮, 邵曉巍, 龔德仁,等. 改進的量測噪聲自適應濾波在空間非合作目標視覺導航中的應用[J]. 航天控制, 2011, 29(2):37-41. (Wang Xiaoliang, Shao Xiaowei, Gong Deren, et al. Application of an Improved Measurement Noise Adaptive Filter in Vision Navigation for Non-Cooperative Target in Space[J]. Aerospace Control, 2011, 29(2):37-41.)

[11] 徐培智. 基于視覺和激光的空間非合作目標相對位姿測量技術研究[D]. 南京航空航天大學, 2014. (Xu Peizhi. Research on Measurement of Relative Pose Between Space Non-cooperative Targets Based on Vision and Laser[D]. Nanjing University of Aeronautics and Astronautics, 2014.)

[12] 梁斌, 何英, 鄒瑜,等. ToF相機在空間非合作目標近距離測量中的應用[J]. 宇航學報, 2016, 37(9):1080-1088. (Liang Bin, He Ying, Zou Yu, et al. Application of Time of Flight Camera for Relative Measurement of Non-Cooperative Target in Close Range[J]. Journal of Astronautics, 2016, 37(9) :1080-1088. )

[13] Rusinkiewicz S, Levoy M. Efficient Variants of The ICP Algorithm[C]. 3-D Digital Imaging and Modeling, 2001. Proceedings. Third International Conference on. IEEE, 2001.

[14] Newcombe R A, Izadi S, Hilliges O, et al. Kinect Fusion: Real-time Dense Surface Mapping and Tracking[C]. IEEE International Symposium on Mixed and Augmented Reality. IEEE, 2011:127-136.

[15] Blais G, Levine M D. Registering Multiview Range Data to Create 3D Computer Objects[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1995, 17(8):820-824.

[16] Rusinkiewicz S, Hall-Holt O, Levoy M. Real-time 3D Model Acquisition[J]. Acm Transactions on Graphics, 2010, 21(3):438-446.

[17] Leibe B, Leonardis, Ales, Schiele B. Robust Object Detection with Interleaved Categorization and Segmentation[J]. International Journal of Computer Vision, 2008, 77(1-3):259-289.

[18] Lowe, D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision,2004,60(2): 91-110.

[19] Tombari F, Salti S, Stefano L D. Unique Signatures of Histograms for Local Surface Description[C]. ECCV 2012. Springer Berlin Heidelberg, 2010.

[20] Aldoma A. A Global Hypotheses Verification Method for 3D Object Recognition[C]. ECCV 2012. Springer Berlin Heidelberg, 2012:511-524.

[21] Rauscher G, Dube D, Zell A. A Comparison of 3D Sensors for Wheeled Mobile Robots[M]. Intelligent Autonomous Systems 13. Springer International Publishing, 2016:29-41.

2D/3D Feature Fusion Based on Space Non-Cooperative Target Close-Range Relative Measurement

Yi Bing， Jing Zhongliang，Pan Han

Shanghai Jiao Tong University, Shanghai 200240, China

Aclose-rangerelativemeasurementmethodfor3Dreconstruction,objectrecognitionandrelativeposeestimationofspacenon-cooperativetargetintegrationisdevelopedtofulfillthegoalofimprovedsystemautonomyinthescenarioofon-orbitsatelliteservicing.Thetwo-dimensionalRGBdataanddepthdataarefusedtoapplyintheproposedmethod,andadense3Dmodelisestablishedbytruncatedsigneddistancefunction,thena3DobjectrecognitionpipelinebasedonintegrationionofSIFTdescriptorandSHOTdescriptorisproposedtoapplytothereconstructedmodelforinitializingeafastversionofiterativeclosestpointregistrationcycle.Therefore,thevalidparametersofrelativeposeestimationcanbecalculated.Theautonomyofthesystemcanbeenhancedandtheadaptabilityofrelativeposemeasurementpipelinecanbeimprovedbyusingthismethod.Groundsimulationdemonstratesthefeasibilityofthismethod.

Non-cooperativetarget;Relativeposemeasurement; 3Dreconstruction; 3Dobjectrecognition

* 國家自然科學基金資助項目(61673262，61603249)；上海市科學技術委員會重點資助項目(16JC1401100)

2016-10-25

易 兵 (1991-)，男，湖南人，碩士研究生，主要研究方向為航空宇航信息與控制；敬忠良 (1960-)，男，四川人，教授、博士生導師，主要研究方向為航空航天信息處理與控制，信息融合；潘 漢 (1983-)，男，廣西人，博士，助理研究員，主要研究方向為黎曼流形優化與信息融合。

TP242

A

1006-3242(2017)02-0060-06