非合作航天器的立體視覺位姿測量

束 安 ，裴浩東 ，周姍姍 ，段慧仙 ，陸佳琪

（1. 中國科學院智能紅外感知重點實驗室，上海200083；2. 中國科學院大學，北京 100049；3. 中國科學院上海技術物理研究所，上海200083；4. 中國科學院紅外探測與成像技術重點實驗室，上海200083）

1 引 言

近年來隨著人類對太空探索的深入及全球對空間資源的持續開發與利用，空間碎片的數量急劇增加。例如2019 年印度進行了反衛星實驗，美國國家航空航天局（NASA）表示該實驗產生了約400 多塊碎片，其中有24 塊的軌道遠地點超過了國際空間站所在軌道高度，給國際空間站和在軌衛星的正常工作造成了巨大的風險［1］。空間碎片一旦與正在服役的衛星航天器發生碰撞，會直接改變航天器的表面性能，導致航天器系統故障，對航天器的威脅極大。并且廢棄的航天器還占用了寶貴的軌道資源，所以面向非合作航天器的在軌服務技術（On-Orbit Servicing，OOS）受到各國航天領域研究人員的重視［2-3］。

空間非合作航天器在軌服務的關鍵任務在于連續獲取目標相對追蹤系統的相對位置和姿態。隨著立體視覺的發展，國際上以空間機器人進行空間在軌服務已成為一種必然趨勢［4-5］。而視覺傳感器作為空間機器人最主要的部分，成為了國內外航天機構的研究重點。2015 年，美國國防高級研究項目局（DARPA）在鳳凰計劃的基礎上提出了“地球靜止軌道衛星機器人服務”（RSGS），它采用多目視覺手段，在抓捕非合作航天器的逼近階段，利用三目視覺算法實現對非合作目標的位姿測量，并計劃于2022 年或2023 年發射［6-7］。2012 年，歐洲航天局（ESA）的 e.Deorbit 計劃也屬于清潔太空提倡工作，目的是開展針對歐洲環境衛星Envisat 的救援計劃，該計劃采用3 相機+2 激光雷達的組合構成用于自動操作的視覺系統，預計在2023 年執行首次主動碎片清除計劃［8-9］。在國內，蔡晗針對非合作目標顯著的矩形太陽能帆板和星箭對接環等，利用特征提取和最小二乘法橢圓擬合的方法進行雙目視覺測量，并通過地面仿真驗證了該方法在超近程階段（小于4 m）的有效性［10］。楊寧等以航天器本體和星箭對接環作為識別特征，提出了立體視覺相對位姿自主測量方法，在航天器本體尺寸為0.28 m、相對距離為2 m 時位置測量精度小于4 mm，姿態測量精度小于 1.5°［11］。吳斌等針對含有圓和直線特征的1 m×1 m 航天器，將基于直線和橢圓檢測單目算法嵌入到現場可編程門陣列（FPGA）和數字信號處理器（DSP）系統中，當距離小于4 m 時，距離方向精度優于10 cm，角度精度優于 1°［12］。綜上所述，國外已將雙目立體視覺技術應用到航天領域，但大多處于理論驗證與樣機研制階段，而國內針對非合作航天器的雙目視覺測量研究大多處在理論研究與計算機模擬仿真階段，地面模擬實驗不足。

本文提出一種對非合作航天器的雙目立體視覺位姿測量方法。該方法采用兩臺大視場可見光相機獲取高分辨率圖像，用最大類間方差法（OTSU）和雙邊濾波法對圖像進行預處理，接著利用弧線段擬合法提取目標表面的對接環橢圓，用Hough 變換提取目標的矩形邊框特征，并引入極線約束準則、對接環尺寸約束和光流跟蹤的方法，提高算法的提取精度和效率。該方法具有較高的位姿解算精度，可以為追蹤航天器提供連續的位姿導航信息。

2 雙目立體視覺位姿測量方法

圖1 為本文雙目立體視覺位姿測量方法的流程。其中，預處理在對圖像進行去噪的同時，要保留邊緣信息；對接環檢測部分是通過弧線段擬合法，結合極線約束和尺寸約束提取目標的對接環橢圓；矩形邊框檢測部分是通過Hough 直線變換及光流法輔助跟蹤檢測目標的四條邊框直線；最后通過立體視覺原理構建的對接環平面和邊框角點建立目標坐標系，解算檢測目標相對于世界坐標系的位姿關系。

圖1 雙目立體視覺位姿測量流程Fig.1 Flow chart of binocular visual position and attitude measurement method

2.1 坐標系定義

為了方便解算非合作航天器與雙目相機測量系統的位姿關系，建立目標坐標系（Op-XpYpZp）、左相機坐標系（Ol-XlYlZl）和世界坐標系（Ow-XwYwZw），如圖2 所示。

2.1.1 目標坐標系（Op-XpYpZp）

該坐標系建立在非合作目標的表面，目標坐標系的原點Op位于對接環的中心，Xp軸為對接環平面的法向量，與相機光軸同向，原點Op指向邊框角點的向量為Yp軸，對應右手準則得到Zp軸。

圖2 雙目視覺測量系統坐標系的相互關系Fig.2 Interrelation of coordinate systems of binocular vision measurement system

2.1.2 左相機坐標系（Ol-XlYlZl）

原點Ol定義為左相機的光心，Xl軸和Yl軸分別與圖像的行和列平行。Zl軸為左相機的光軸，與圖像平面垂直。

2.1.3 世界坐標系（Ow-XwYwZw）

世界坐標系定義在雙目相機的安裝支架上，以安裝支架的中心為原點Ow，Xw軸為雙目系統的逼近方向，Yw軸的方向為左相機光心指向右相機光心，對應右手準則得到Zw軸。文中的世界坐標系與左相機坐標系之間只存在剛體變換。

2.2 圖像預處理

由于真實場景光照特性復雜，且非合作航天器表面材料特殊，相機在實際成像過程中，會存在噪聲［13］。這些噪聲疊加在原始圖像上，不利于對接環橢圓和目標邊框直線的檢測，從而難以解算較高精度的位姿信息，所以在檢測之前需要對圖像進行預處理。一般大多采用濾波算法進行去噪處理，如均值濾波、中值濾波和高斯濾波等，這些濾波算法通過對鄰域像素的加權平均來實現去噪的目的。但僅對圖像進行空間域的處理，往往會在去噪的同時損失大量圖像細節，使圖像邊緣過度平滑，丟失細節特征［14］。

本文選用雙邊濾波（Bilateral Filter，BF）法對左右圖像進行預處理，該方法在高斯濾波器的基礎上增加對像素之間相似度的判斷，具有簡單、非迭代和局域的特點，能夠在保持圖像邊緣的基礎上去除圖像的噪聲［15］。雙邊濾波法可定義如下：

式中：gBF(x，y)為濾波后的結果，g(x，y)為原圖像 (x，y)點的像素值，S表示 (x，y)點的掩膜集合，w(x，y)為濾波器的權重，其表達式為：

式中：(xc，yc)為掩模中心點，c(x，y)和s(x，y)分別表示空間域和值域的權重，σc和σs為2 個高斯函數核的標準差。所以，BF 法綜合考慮了空間域和值域來分配權重，減少了圖像邊緣區域被過度平滑的現象，起到了保邊降噪的作用。

為保證雙目測量系統的實時性，本文在進行雙邊濾波前先通過最大類間方差法［16］快速計算圖像的最優化閾值，以前景和背景的類間方差最大作為閾值選取準則，將圖像分為前景區和背景區。然后建立包含前景（非合作目標本體）的感興趣區域（Region of Interest，ROI），在該區域進行圖像的預處理，提高雙目測量系統的計算效率。圖3 為非合作航天器顯著特征進行圖像預處理前后的對比，可以看出，濾波后目標表面的噪聲得到了很好的去除，目標的邊框信息更為突出，對接環邊緣信息也得到了很好的保留。

圖3 非合作目標雙邊濾波示意圖Fig.3 Images of non-cooperative target after bilateral filtering

2.3 非合作航天器顯著特征提取

在軌服務的近距離階段，雙目視覺測量系統受光照的影響，相機采集的圖像信息較為豐富，但其中大部分并非位姿解算所需要的，所以需要從這些豐富的信息中提取顯著的信息特征參與解算。本文研究的非合作航天器，通常表面含有星箭對接環、噴嘴、矩形邊框和帆板等特征信息。由于帆板位于航天器兩側，很容易超出相機視場，而噴嘴的尺寸較小，所以本文通過提取目標表面的星箭對接環和矩形邊框，建立目標坐標系，解算與世界坐標系的位姿關系，為追蹤航天器提供精準的相對導航信息。

2.3.1 星箭對接環橢圓提取

根據相機成像原理，星箭對接環在雙目相機像面上大多以橢圓形式呈現，常見的橢圓提取方法包括最小二乘法擬合、Hough 變換和基于圓弧段擬合［2］。基于最小二乘法擬合橢圓通常利用圖像的邊緣檢測信息，要求所有參與計算的邊緣點在同一個橢圓上，對于星箭對接環這種包含多個同心圓的目標適應性較差；Hough 變換則根據橢圓方程的 5 參數 (x0，y0，a，b，θ)，需要建立一個五維空間的累加器，不僅計算量大，且需要占用大量的內存資源，難以滿足實時和嵌入式要求；基于圓弧段的橢圓擬合法根據弧段的特征將提取的邊緣線段連接成弧段并分組，利用分組后的弧線段組進行橢圓參數的擬合。這種方法可以快速提取目標表面的多個橢圓特征，具有高魯棒性、高效率等優點。

本文利用直線段檢測（Line Segment Detector，LSD）算法［17］，快速從圖像上提取亞像素級的線段，并根據線段的連續性和凸性分組得到弧線段組，對分組后的弧線段進行橢圓參數的擬合。基于LSD 弧線段的橢圓檢測方法［18］的具體步驟如下：

（1）運用LSD 方法從原始圖像中提取所有線段，得到去除直線段后的n條弧線段集合

（2）基于弧支撐線段的連續性和凸性原則，將屬于同一曲線邊緣的弧線段分為1 組，形成k個弧線段組

（3）對于弧線段組內的弧線段所跨角度較大時，直接進行最小二乘法擬合；對于所跨角度較小的組，進行兩兩組合擬合橢圓，最終得到初始橢圓集為初始橢圓集個數；

（4）運用橢圓類聚合算法對初始橢圓幾何進行聚類分析，并應用橢圓的幾何性質加以驗證，產生候選橢圓集合。

圖4 非合作目標候選橢圓Fig.4 Candidate ellipses of non-cooperative target

由于真實的空間環境較為復雜，且非合作航天器的對接環具有一定厚度和寬度，受光照角度的影響，圖像上的圓弧段既來自凸出的對接環本身，也可能包含部分本體表面的環壁和陰影，從而擬合出多個橢圓特征，如圖4 所示。為了篩選出正確的對接環，本文利用雙目視覺的極線約束準則和對接環尺寸信息，建立完善的對接環篩選機制，具體步驟如下：

（1）對于左圖上橢圓集合中的任一橢圓子集ei，計算圓心p(x，y)在右圖上的極線li，F表示左相機與右相機之間的基礎矩陣：

（2）計算右圖上橢圓集合中的各個子集的圓心到極線li的距離{d0，d1，d2，...，dm}，若小于閾值t，則為候選匹配橢圓；

（3）計算候選匹配橢圓集中各子集對應的對接環半徑，選取與真實半徑最接近的一組，即為最終的對接環橢圓。

2.3.2 矩形邊框提取

通過提取非合作航天器的對接環，可以解算出目標的相對位置、俯仰和偏航等信息，但是無法判斷滾轉維的信息，所以需要提取目標表面的顯著特征，確定目標的滾轉情況。由于空間環境背景純黑，非合作航天器的邊框直線特征更為突出。

本文通過Hough 變換提取非合作航天器的矩形邊框特征，其基本思路是利用圖像空間與參數空間點-線的對偶性，即對圖像空間進行坐標變換，使它在另一坐標的特定位置出現峰值，從而將檢測曲線轉化為尋找峰值的問題［19］。為提高解算效率，通過極線約束準則和光流法輔助跟蹤觀測［20］，實現邊框角點的選擇以及優化角點提取算法，具體過程如下：

（1）對于初始幀，通過hough 變換提取非合作航天器的4 條直線邊框，計算左右圖像4 條直線邊框的交點 ，分別為和通過雙目極線約束準則，空間點P在左圖像的位置pl時，相應的右圖像匹配點pr必然在極線l上。所以通過極線距離約束，將4 個角點一一匹配，極線距離分別為{d0，d1，d2，d3}，選擇極線距離最小時對應的角點，計算角點在世界坐標系下的三維坐標，參與建立目標坐標系。此外，將左右圖像的4 個角點坐標作為光流法輔助跟蹤的初始點集Pprev，并對濾波后圖像進行裁剪，去除背景，提取ROI，下一幀只在該ROI 模板中進行邊框角點提取，提高算法效率；

（2）對于非初始幀，以左圖為例，根據ROI 模板提取當前幀的ROI，在區域內進行直線檢測，并計算交點坐標表示當前幀數，輔以進行光流跟蹤，得到光流跟蹤的4 個角點坐標計算與檢測點的像素距離選取離上一幀距離最近的交點，作為邊框角點；當該幀的檢測點與光流跟蹤點之間的像素距離大于某一閾值（本文設置dmax=10.0）時，認為檢測點異常，選擇光流跟蹤的點代替邊框角點，從而提高雙目視覺測量系統的穩定性。

2.4 非合作航天器位姿測量

根據雙目視覺系統的坐標系定義（見圖2），解算非合作航天器的位姿關系，即為計算目標坐標 系（Op-XpYpZp）相 對 于 世 界 坐 標 系（Ow-XwYwZw）的旋轉矩陣假設對接環中心和邊框角點在世界坐標系下的坐標為表示當前幀數，則目標坐標系的單位方向軸nx，ny和nz如 下 ：

其中為對接環平面的法向量。則目標系相對于世界坐標系的旋轉矩陣和平移向量為：

其中：θx，θy和θz分別為目標的三軸角度變化，rij(i=1，...3；j=1，...3)為旋轉矩陣的對應元素。根據2.3.1 節和2.3.2 節的對接環和邊框角點提取方法，可以計算出所以還需要重建出非合作目標的對接環平面，計算對接環平面的法向量。

如圖5 所示，對于左圖，過對接環圓心等角度繪制k條直線，則與對接環橢圓的交點為｛p1，p2，p3，...，p2k｝，以點p1為例，利用雙目極線約束準則得到該點在右圖上的極線為lp1，與右圖上對接環橢圓的交點分別為pr0和pr1，通過立體視覺原理和與對接環圓心三維坐標的關系即可篩選出正確的匹配點。同理，可計算出左圖所有點在右圖上對應的點集為從 而求出對應點的三維點集｛P1，P2，P3，...，P2k｝。通過最小二乘法迭代計算對接環平面方程，得到對應三維圓的單位法向量。

圖5 雙目立體視覺極線約束關系Fig.5 Relationship of polar constraint in binocular stereo vision

3 測量實驗與結果

為了驗證本文所提方法的有效性，本文選用2 臺項目組研制的 60°×60°的大視場相機，探測器尺寸為2 048×2 048 pixel，像元尺寸為5.5 μm×5.5 μm，焦距為10 mm。為了獲取更大的檢測視場，兩臺相機的基線為1.3 m，并將光軸內旋18°。采用目前較為成熟的張氏平面標定法［21］，標定的重投影誤差分別為 0.22 和 0.12 個像素。選用的非合作測量目標為2 m×2 m 的衛星模型，內環半徑為60 cm。暗室環境下，測量模型與雙目相機分別安裝于兩個六自由度的機械臂上，導軌長度為15 m，實驗中使用0.1 個太陽常數的太陽模擬器作為光源，光線與測量模型的角度約為30°。雙目視覺測量系統為嵌入式DSP6678 信息處理平臺，主要分為左右2 個圖像處理平臺和1 個主控處理平臺，圖像預處理、對接環檢測、矩形邊框提取和光流法輔助跟蹤在圖像處理平臺完成，主控處理平臺利用極線約束和半徑約束的方法進行候選橢圓的篩選和邊框角點的提取，從而建立目標坐標系，解算非合作航天器的相對位姿信息。雙目測量系統的數據更新率為1 Hz。

在某一狀態下三目相機獲取的圖像如圖6 所示。當前幀提取的對接環和矩形邊框如圖7所示。

圖6 雙目相機獲取圖像Fig.6 Images obtained by binocular camera

圖7 非合作目標對接環和矩形邊框Fig.7 Docking ring and rectangle borders of non-cooperative target

3.1 雙目相機系統位置逼近實驗

當追蹤航天器距離非合作目標較近時，雙目立體視覺系統能夠在由遠及近的逼近過程中連續為航天器提供位姿導航信息，是在軌服務的關鍵。本次實驗中目標模型處于靜止狀態，雙目相機系統在距目標12.0 m 處，以4 cm 每幀的速度向它逼近，運動到2.0 m 處停止，共獲得251 幀圖像。該組工況下非合作目標的絕對位姿和相對位姿變化如圖8 所示。

從圖8 可以看出，在雙目相機系統向非合作目標勻速逼近的過程中，在遠距離段（12.0～10.0 m）時，X軸的相對位置和姿態的波動較大，這是由于在遠距離時，目標在雙目圖像上的成像較小，單個像元所占的真實尺寸較大，由于光照的不穩定，對接環和邊框直線的檢測精度比近距離時低，解算的相對位姿精度也較低，但波動最大不超過2 cm 和1°。總體來看，該方法在逼近實驗中的輸出結果較為穩定，具備近距離范圍內連續的位姿解算能力。最終目標模型的三軸前后幀的相對位置測量標準差3σ=(0.958 cm，0.070 cm，0.082 cm)，相 對 角 度測 量 標 準 差 3σ=(0.223°，0.174°，0.409°)，算 法測量的移動距離均值為4.005 cm，與控制臺提供的移動速度4 cm 每幀相差僅為0.05 mm，解算精度較高。

3.2 非合作目標模型姿態轉動實驗

實驗過程中，雙目相機系統在距模型4.0 m處靜止，目標在機械臂的控制下以2.0°每幀的速度做勻速旋轉，共采集68 幀圖像。該組工況下非合作目標的絕對位姿和相對位姿變化如圖9所示。

圖9 4.0 m 處旋轉非合作目標的絕對位姿和相對位姿變化Fig.9 Absolute and relative poses of non-cooperative target in rolling experiment at 4.0 m

從圖9 可以看出，當目標在距雙目相機系統4.0 m 處旋轉時，雙目立體視覺算法解算位姿趨勢與實際運動狀態一致，只有滾動軸角度勻速下降。由于目標姿態的改變，雙目相機獲取的前后幀圖像受光照影響較大，所以容易干擾提取的對接環橢圓參數，所以其相對位置波動較大，如在第47 幀時，三軸的相對位置為（-3.057 cm，0.468 cm，0.016 cm），相對姿態為(-2.201°，0.134°，0.135°)，X軸對應的相對姿態誤差較大。通過分析對接環和邊框角點檢測結果，造成該幀相對姿態誤差較大的原因是右圖部分陰影參與了擬合，導致最終構建的環法向量和圓心坐標突變。后期將通過前后幀的相對位置關系和進一步改進優化環檢測方案，降低光照對算法的影響。總體來看，由于目標距相機較近，目標姿態的變化在圖像上的體現越顯著，像素點移動距離越大，相對姿態精度較高。最終目標模型的三軸前后幀的相對位置測量標準差3σ=(1.232 cm，0.201 cm，0.143 cm)，相對角度測量標準差 3σ=(0.106°，0.874°，0.726°)，算法測量的轉動角度均值為1.991°，與控制臺提供的轉動速度2°每幀僅相差0.009°，解算精度較高。

4 結 論

本文針對在軌服務中非合作航天器相對位姿測量的關鍵任務，提出了一種雙目立體視覺方法。該方法通過兩臺大視場相機獲取圖像，連續識別圖像中的對接環橢圓和矩形邊框，并引入極線約束準則、對接環尺寸約束和光流法跟蹤的方法，提高算法的提取精度和效率。然后利用立體視覺構建非合作目標的對接環平面和邊框角點，建立目標坐標系，解算與世界坐標系之間的位姿信息。最后通過實驗室的雙目相機、非合作目標模型和導軌平臺，進行雙目相機系統由遠及近逼近和目標姿態轉動實驗。在雙目相機系統12～2 m的逼近實驗中，算法的相對位置精度優于1.0 cm，相對姿態精度優于0.41°，測量的移動距離均值為與真實移動距離相差0.05 mm。當目標在距雙目相機系統4.0 m 處旋轉時，算法的相對位置精度優于1.3 cm，相對姿態精度優于0.88°，測量的轉動角度均值與真實轉動角度相差為0.01°，解算精度較高。為了提升雙目立體視覺測量方法的穩定性和適應性，后續要進行地面模擬實驗，定量分析實驗結果并優化和改進算法。