失效衛(wèi)星遠(yuǎn)距離相對(duì)位姿估計(jì)與優(yōu)化方法

牟金震,劉宗明,韓飛,周彥,李爽

1.上海航天控制技術(shù)研究所,上海 201109

2.上海市空間智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室,上海 201109

3.南京航空航天大學(xué) 航天學(xué)院,南京 211106

4.湘潭大學(xué) 信息工程學(xué)院,湘潭 411100

衛(wèi)星由于故障、完全失效或任務(wù)結(jié)束而被放棄后,停留在空間將成為太空垃圾。與三軸穩(wěn)定的合作目標(biāo)不同,廢棄衛(wèi)星在空間攝動(dòng)力作用下,隨著能量耗散可能繞本體最大慣量軸慢旋,此時(shí)稱為非合作慢旋目標(biāo)[1-4]。完成非合作慢旋目標(biāo)的空間在軌操控,空間機(jī)動(dòng)平臺(tái)須通過(guò)測(cè)量敏感器實(shí)現(xiàn)相對(duì)位姿態(tài)的確定[5-9]。

單目相機(jī)是最簡(jiǎn)單的光學(xué)傳感器,是大部分航天器上的標(biāo)準(zhǔn)裝備。相比于其他復(fù)雜的視覺(jué)傳感器,單目相機(jī)是空間探測(cè)的有效載荷。近年來(lái),國(guó)內(nèi)外研究者將單目視覺(jué)SLAM (Simultaneous Localization and Mapping)方法[10]進(jìn)行擴(kuò)展,成功應(yīng)用到非合作目標(biāo)的位姿測(cè)量中。Schniter等[11]提出基于EKF-SLAM (Extended Kalman Filter-SLAM) 的非合作航天器位姿估計(jì)方法,并進(jìn)行了目標(biāo)三維重構(gòu)仿真。Augenstein等[12]提出一種基于FastSLAM的非合作目標(biāo)位姿跟蹤和外形重建算法。Chou等[13]將SURF (Speeded Up Robust Features)算法應(yīng)用于航天器角點(diǎn)提取,并利用SLAM的光束平差方法優(yōu)化位姿。Dor和Tsiotras[14]利用單目SLAM實(shí)現(xiàn)空間非合作目標(biāo)的交匯對(duì)接,并基于半物理仿真環(huán)境驗(yàn)證算法的魯棒性。Tweddle[15]提出ISAM (Incremental Smoothing and Mapping)方法的非合作目標(biāo)最大慣性主軸測(cè)量方法。Thomas等[16]研究了一種單目SLAM算法,在更新相機(jī)的位置和姿態(tài)的同時(shí),對(duì)目標(biāo)的三維特征進(jìn)行跟蹤,用于軌道上衛(wèi)星的近距離自主捕獲任務(wù)。郝剛濤等[17]將單目SLAM的貝葉斯濾波軌跡方法應(yīng)用到翻滾非合作目標(biāo)相對(duì)位姿估計(jì)中。劉宗明等[18]利用SLAM的位姿初始化方法,有效解決小視差情況下的單目視覺(jué)姿態(tài)估計(jì)。劉宗明等[19]又提出基于SLAM構(gòu)建目標(biāo)特征數(shù)據(jù)庫(kù),利用當(dāng)前幀與特征數(shù)據(jù)庫(kù)的匹配解決單目位姿估計(jì)發(fā)散問(wèn)題。康國(guó)華等[20]提出基于先驗(yàn)子圖檢測(cè)的失效航天器SLAM方法。朱晏辰[21]在單目SLAM的礎(chǔ)上,引入IMU (Inertial Measurement Unit)慣性測(cè)量元件對(duì)相機(jī)的慣性屬性進(jìn)行測(cè)量,通過(guò)濾波的方式將視覺(jué)與慣導(dǎo)進(jìn)行融合,從而完成測(cè)量尺度信息的恢復(fù),在完全沒(méi)有目標(biāo)先驗(yàn)信息的情況下,完成對(duì)非合作目標(biāo)的位姿確定。周朋博[22]等融合視覺(jué)SLAM與LIME (Low-light Image Enhancement)的圖像增強(qiáng)算法,提出了一種弱光照條件下空間非合作目標(biāo)的姿態(tài)估計(jì)方案。但單目SLAM只適合于20 m以內(nèi)的近距離探測(cè)。當(dāng)探測(cè)距離遠(yuǎn)超過(guò)20 m以后,非合作目標(biāo)在圖像中所占像素明顯減少,特征提取算法無(wú)法有效提取特征點(diǎn),易導(dǎo)致非合作目標(biāo)測(cè)量失敗。此外,非合作目標(biāo)處于慢旋的運(yùn)動(dòng)狀態(tài),位姿估計(jì)在長(zhǎng)時(shí)間運(yùn)行后產(chǎn)生累積誤差也不容忽視。

從工程應(yīng)用角度出發(fā),將非合作慢旋目標(biāo)位姿估計(jì)精度問(wèn)題解耦成兩個(gè)子問(wèn)題分別進(jìn)行研究,即如何提升圖像質(zhì)量以獲取更多更高質(zhì)量的特征點(diǎn),以及如何利用多幀圖像進(jìn)行聯(lián)合位姿圖優(yōu)化得到更為精確的位姿估計(jì)結(jié)果。因此,將圖像增強(qiáng)算法與視覺(jué)SLAM結(jié)合,提出一種基于梯度引導(dǎo)生成式對(duì)抗網(wǎng)絡(luò)增強(qiáng)的失效衛(wèi)星相對(duì)位姿估計(jì)ORB-SLAM方法。研究?jī)?nèi)容分為3部分：第1部分介紹梯度引導(dǎo)對(duì)抗網(wǎng)絡(luò)超分辨模型,并從自然進(jìn)化的角度提出穩(wěn)定訓(xùn)練策略；第2部分應(yīng)用ORB-SLAM算法初始化非合作目標(biāo)的特征數(shù)據(jù)庫(kù),利用圖優(yōu)化理論構(gòu)建李代數(shù)空間下的位姿聯(lián)合優(yōu)化方程；第3部分介紹實(shí)驗(yàn)過(guò)程與結(jié)果。受真實(shí)世界圖像超分辨與小樣本學(xué)習(xí)的啟發(fā),實(shí)驗(yàn)均采用半物理方式設(shè)置。

1 基于梯度引導(dǎo)的生成式對(duì)抗網(wǎng)絡(luò)圖像超分辨方法

1.1 超分辨網(wǎng)絡(luò)設(shè)計(jì)

為提升非合作目標(biāo)圖像質(zhì)量以獲取更多更高質(zhì)量的特征點(diǎn),應(yīng)用圖像超分辨率增強(qiáng)算法是一種有效的手段。但空間目標(biāo)圖像存在雜散光干擾、對(duì)比度弱和高頻信息少等特點(diǎn),應(yīng)用傳統(tǒng)方法具有一定的局限性。考慮到空間目標(biāo)成像中的輪廓不變性,提出一種基于梯度引導(dǎo)生成式對(duì)抗網(wǎng)絡(luò) (Generative Adversarial Network, GAN) 的圖像重建模型,模型主要包括：SRGAN[23](Super-resolution Generative Adversarial Network) 網(wǎng)絡(luò)分支、梯度引導(dǎo)分支和融合模塊。

算法的生成器網(wǎng)絡(luò)模型如圖1所示,相比于SRGAN網(wǎng)絡(luò)的生成器模型,其多了一條梯度引導(dǎo)分支,用來(lái)處理圖像的梯度信息。梯度引導(dǎo)分支作為先驗(yàn)引導(dǎo)生成式對(duì)抗網(wǎng)絡(luò)關(guān)注圖像局部結(jié)構(gòu)特征,以達(dá)到為模型提供結(jié)構(gòu)特征信息的目的。融合模塊由權(quán)重調(diào)節(jié)層與重建層組成。權(quán)重調(diào)節(jié)層的作用是調(diào)節(jié)基礎(chǔ)層圖像和梯度圖像的權(quán)值,從而保留高頻細(xì)節(jié),使得重建結(jié)果的特征表示更加突出。重建層的作用是融合成最終的高分辨率圖像。

圖1 梯度引導(dǎo)超分辨率網(wǎng)絡(luò)結(jié)構(gòu)

在圖1中,超分辨網(wǎng)絡(luò)分成兩個(gè)支路進(jìn)行圖像處理： ① 上方為SRGAN分支，模型中使用的殘差模塊為ESRGAN (Enhanced Super-resolution Generative Adversarial Network)[24]中提出的RRDB (Residual-in-Residual Dense Block)模塊,共級(jí)聯(lián)了22個(gè)RRDB模塊，RRDB 具有殘差網(wǎng)絡(luò)和密集連接的優(yōu)勢(shì),能夠增加網(wǎng)絡(luò)深度的同時(shí)提高對(duì)圖像特征信息的利用； ② 下方為梯度引導(dǎo)分支，模型中使用的殘差模塊為SRGAN中提出的RB (Residual Block) 模塊連接一個(gè)卷積層,共級(jí)聯(lián)了4個(gè)殘差模塊。融合模塊利用滾動(dòng)引導(dǎo)濾波對(duì)兩張圖像分別進(jìn)行權(quán)重圖構(gòu)造。

1.2 損失函數(shù)

SRGAN分支以感知損失作為優(yōu)化目標(biāo),該損失由像素級(jí)損失、感知損失和對(duì)抗損失三部分加權(quán)組合構(gòu)成。基于像素級(jí)損失函數(shù)使用L1損失函數(shù),它有利于值信噪比 (Peak Signal to Noise Ratio, PSNR)評(píng)價(jià)指標(biāo),能夠加快收斂,其表達(dá)式為

(1)

式中：LLR表示低分率圖像(LR表示Low-Resolution)；IHR表示高分辨率圖像(HR表示High-Resolution)；G(·)表示生成器。感知損失通過(guò)預(yù)訓(xùn)練的VGG (Visual Geometry Group)網(wǎng)絡(luò)特征圖譜損失替代了之前基于MSE (Mean-Square Error)的內(nèi)容損失,目的在于提高圖片的視覺(jué)質(zhì)量,其表達(dá)式為

(2)

式中：φi表示從VGG隱含層提取的特征圖的第i個(gè)通道；GM(·)表示梯度運(yùn)算；Lpercep下標(biāo)percep表示perception縮寫。對(duì)抗損失函數(shù)的表達(dá)式為

(3)

梯度引導(dǎo)分支的損失函數(shù)包括像素級(jí)損失和對(duì)抗損失兩項(xiàng)[25]。基于像素級(jí)損失函數(shù)使用L1損失函數(shù),其表達(dá)式為

(4)

(5)

綜上所述,網(wǎng)絡(luò)最后整體的目標(biāo)函數(shù)為

(6)

式中：μ、η、γ、β、ξ為平衡參數(shù)。

1.3 優(yōu)化訓(xùn)練

空間目標(biāo)圖像特性導(dǎo)致網(wǎng)絡(luò)在初始對(duì)抗訓(xùn)階段,生成器的生成能力無(wú)法有效提升。本文改進(jìn)了傳統(tǒng)的對(duì)抗訓(xùn)練,核心思想是將生成器的圖像重建過(guò)程看成一種變異操作。變異過(guò)程中,重建的圖像當(dāng)成子代。根據(jù)子代的適應(yīng)度值F進(jìn)行自然選擇,即子代的自適應(yīng)度值F進(jìn)行升序排列后,剔除“表現(xiàn)”較差的子代,保留“表現(xiàn)”較好的子代,并進(jìn)化到下一個(gè)迭代。自適應(yīng)度函數(shù)主要關(guān)注圖像的質(zhì)量,定義為

F=E[DSR(G(LLR))]

(7)

式(7)的物理意義是利用對(duì)抗損失函數(shù)的平均值來(lái)反映圖像的質(zhì)量。判別器的損失函數(shù)在訓(xùn)練過(guò)程中不斷升級(jí)為最優(yōu),反映了每個(gè)進(jìn)化步驟中生成器的性能。如果生成器得到一個(gè)相對(duì)較高的適應(yīng)度值,生成的樣本可以欺騙鑒別器,超分辨結(jié)果更加逼真。

2 基于ORB-SLAM的非合作慢旋目標(biāo)姿態(tài)估計(jì)

2.1 ORB-SLAM算法

非合作慢旋目標(biāo)相對(duì)位姿測(cè)量中的難點(diǎn)為以下兩點(diǎn)：特征點(diǎn)提取與旋轉(zhuǎn)變化。因此,特征點(diǎn)提取的快速性、描述子的尺度不變性和旋轉(zhuǎn)不變性是實(shí)現(xiàn)非合作旋轉(zhuǎn)目標(biāo)實(shí)時(shí)測(cè)量的基礎(chǔ)。

ORB-SLAM[26-27]中,為了保證特征的不變特性,在多個(gè)尺度空間下對(duì)圖像特征點(diǎn)進(jìn)行提取,并且賦予旋轉(zhuǎn)不變特性的描述子。為了保證特征匹配的尺度不變性,使用尺度因子將當(dāng)前幀圖像轉(zhuǎn)換到8個(gè)尺度空間上進(jìn)行FAST (Features from Accelerated Segment Test) 角點(diǎn)提取。為了確保在圖像核心目標(biāo)區(qū)域角點(diǎn)的均勻分布,對(duì)每個(gè)尺度的圖像進(jìn)行網(wǎng)格劃分,將其等分為若干份,在每個(gè)網(wǎng)格中至少提取5個(gè)角點(diǎn)。

在ORB-SLAM中,KL為所有共視幀的集合；pL為共可見(jiàn)點(diǎn)的集合,通過(guò)滑動(dòng)窗口處理所有共視幀l∈KL、共視地圖點(diǎn)m∈pL構(gòu)成的最小二乘估計(jì)問(wèn)題,即

subject toXm∈3

(8)

式中：KF為具有可視地圖點(diǎn)的關(guān)鍵幀的集合；(j,r)∈JK為匹配的關(guān)鍵點(diǎn)；ujk∈2為關(guān)鍵幀k中的特征點(diǎn)j的坐標(biāo)；urk∈2為地圖點(diǎn)r的投影坐標(biāo)；與3為位置向量3經(jīng)過(guò)投影函數(shù)π變換地圖點(diǎn)r的旋轉(zhuǎn)和平移矩陣；是點(diǎn)m在坐標(biāo)系N中表示的位置向量；ρ:→為魯棒核函數(shù)；為關(guān)鍵特征點(diǎn)j的協(xié)方差矩陣。

2.2 慢旋目標(biāo)姿態(tài)解算與優(yōu)化

圖2 服務(wù)航天器追蹤旋轉(zhuǎn)目標(biāo)航天器示意圖

(9)

完成ORB-SLAM特征初始化后,首先構(gòu)建目標(biāo)的三維特征數(shù)據(jù)庫(kù)。所建立的目標(biāo)特征庫(kù)中每個(gè)點(diǎn)包含了其三維坐標(biāo)信息和ORB特征描述子。在實(shí)際測(cè)量時(shí),轉(zhuǎn)為當(dāng)前幀與特征數(shù)據(jù)庫(kù)的準(zhǔn)確匹配。

(10)

式中：Tref_cur表示兩幀之間的變換矩陣。

根據(jù)當(dāng)前考關(guān)鍵幀和勻速運(yùn)動(dòng)模型估計(jì)的當(dāng)前幀位姿變換為

(11)

假設(shè)相機(jī)的內(nèi)參為K,上一幀在三維特征數(shù)據(jù)庫(kù)的點(diǎn)集為p,其在當(dāng)前幀中的投影為

(12)

據(jù)此,可以將當(dāng)前幀的ORB與特征數(shù)據(jù)庫(kù)中的公共點(diǎn)對(duì)應(yīng)起來(lái),完成特征接力。利用當(dāng)前幀中的特征點(diǎn)對(duì)相機(jī)的位姿進(jìn)行基于捆集調(diào)整優(yōu)化處理,即

(13)

隨著失效衛(wèi)星旋轉(zhuǎn),采用以圖優(yōu)化為基礎(chǔ)的非線性優(yōu)化的方法局部?jī)?yōu)化目標(biāo)位姿,消除累計(jì)誤差。在李代數(shù)空間下建立位姿向量微分?jǐn)_動(dòng)方程,獲得測(cè)量值與估計(jì)值的殘差目標(biāo)函數(shù),基于貝葉斯法則最大后驗(yàn)概率和李群與李代數(shù)的對(duì)指變換法則,求取位姿向量最優(yōu)。圖優(yōu)化,就是把一個(gè)常規(guī)的優(yōu)化問(wèn)題以圖的形式表達(dá)出來(lái)。航天器的位姿作為圖的節(jié)點(diǎn),位姿之間的位姿變換矩陣作為圖的邊[19]。

構(gòu)建圖優(yōu)化誤差函數(shù)：

(14)

式中：∨表示從矩陣到向量的運(yùn)算。根據(jù)圖優(yōu)化,假設(shè)C為所有邊的集合,那么基于李代數(shù)空間位姿圖優(yōu)化的目標(biāo)函數(shù)可記為

(15)

式中：Ωe表示關(guān)于e的信息矩陣。

當(dāng)失效衛(wèi)星旋轉(zhuǎn)一周期后,利用圖像的相似性檢測(cè)閉環(huán),進(jìn)一步精細(xì)化修正位姿。利用ORB-SLAM提供的視覺(jué)詞袋完成閉環(huán)檢測(cè)與相似性變換。接著對(duì)當(dāng)幀進(jìn)行閉環(huán)位姿優(yōu)化操作。在李代數(shù)空間下定義如下變換矩陣殘差：

(16)

式中：Sref_cur、Scur與Sref分別變換為Tref_cur、Tcur與Tref在李代數(shù)空間的相似性變換矩陣。在李代數(shù)空間下,相似性變換矩陣定義為

(17)

最終的優(yōu)化目標(biāo)函數(shù)為

(18)

(19)

(20)

同理,校正后的當(dāng)前幀位姿變換矩陣為

(21)

至此,位姿優(yōu)化的最后一步利用式(10)中的位姿變換關(guān)系和式(17)得到的尺度因子,最終校正當(dāng)前幀與當(dāng)前關(guān)鍵幀之間的變換矩陣為

(22)

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)置

文獻(xiàn)[20-22]采用仿真生成的數(shù)據(jù)作為測(cè)量系統(tǒng)的輸入,忽略了空間光照的明亮交替變化對(duì)測(cè)量結(jié)果的影響。設(shè)置的采集環(huán)境能較為真實(shí)的反映了空間環(huán)境。用于模擬失效衛(wèi)星慢旋的高精度三軸轉(zhuǎn)臺(tái)如圖3所示。用于模擬空間失效衛(wèi)星的1∶5模型如圖4所示,其表面貼有熱控多層反光材料。將衛(wèi)星模型固定于轉(zhuǎn)臺(tái)上,以一定的角速度繞豎直軸勻速運(yùn)動(dòng)。同時(shí),采用交叉亮度光源,模擬復(fù)雜的太空光照環(huán)境。所用設(shè)備中,單目相機(jī)為奧比中光 Astra S 相機(jī)。

圖3 三軸轉(zhuǎn)臺(tái)

圖4 失效衛(wèi)星

應(yīng)用深度學(xué)的超分辨方法進(jìn)行圖像處理時(shí),需要高/低分辨率的匹配數(shù)據(jù)對(duì)。文獻(xiàn)[23-25]通過(guò)下采樣將高分辨圖像轉(zhuǎn)為低分率圖像,訓(xùn)練過(guò)程缺少“真實(shí)地面參考”,導(dǎo)致模型的泛化和魯棒性會(huì)降低。受“真實(shí)世界超分辨”思想的啟發(fā),低分率圖像的獲取直接通過(guò)物理設(shè)置獲取。由于衛(wèi)星模型已經(jīng)進(jìn)行等比率縮小,相機(jī)與衛(wèi)星的真實(shí)距離調(diào)整為4 m即可等效真實(shí)環(huán)境中的20 m,相機(jī)與衛(wèi)星的真實(shí)距離調(diào)整為5 m即可等效真實(shí)環(huán)境中的25 m。距離調(diào)整過(guò)程中,始終保持相機(jī)與目標(biāo)的相對(duì)位姿與光照條件不變。實(shí)驗(yàn)中將4 m 與5 m處采集的旋轉(zhuǎn)衛(wèi)星序列圖像定義為低分辨圖像,將1 m處采集的旋轉(zhuǎn)衛(wèi)星序列圖像定義為真實(shí)參考高分辨率序列圖像。

實(shí)驗(yàn)過(guò)程中,采集相同數(shù)量的圖像(實(shí)驗(yàn)中,每個(gè)數(shù)據(jù)集為4 189張,每張圖像的分辨率為640(480)并分別命名為data4、 data5與data1,并將data4與data5作為L(zhǎng)R數(shù)據(jù)集,將data1作為HR數(shù)據(jù)集用于訓(xùn)練,LR數(shù)據(jù)集與HR數(shù)據(jù)集具有一一對(duì)應(yīng)的關(guān)系。受“小樣本學(xué)習(xí)思想”的啟發(fā),隨機(jī)挑選1 000張匹配的LR與HR進(jìn)行翻轉(zhuǎn)、加入隨機(jī)噪聲等操作來(lái)增加樣本的多樣性。實(shí)驗(yàn)中先后進(jìn)行了基于低分辨率序列圖像相對(duì)位姿測(cè)量、基于梯度引導(dǎo)GAN增強(qiáng)后的超分辨率序列圖像相對(duì)位姿測(cè)量以及基于真實(shí)參考高分辨率序列圖像的相對(duì)位姿測(cè)量。

3.2 基于梯度引導(dǎo)GAN的圖像超分辨效果驗(yàn)證

圖5 超分辨效果對(duì)比

由于模擬空間失效衛(wèi)星的模型外形過(guò)于單一,為了說(shuō)明本文所提出的利用梯度圖作為先驗(yàn)引導(dǎo)生成式對(duì)抗網(wǎng)絡(luò)的超分辨圖方法的有效性,此部分實(shí)驗(yàn)采用1:1的嫦娥衛(wèi)星模型。圖6展示了部分圖像在基準(zhǔn)超分辨方法上的運(yùn)行結(jié)果。從上到下依次為低分辨率圖像,通過(guò)Bicubic、ERGAN[24]、SPSR[25]、PPON[28]與本文算法重建的圖像。通過(guò)觀察可知Bicubic方法只是簡(jiǎn)單進(jìn)行了線性插值運(yùn)算,可視化效果較差；ESRGAN、PPON與SPSR充分利用了圖像細(xì)節(jié)特征,解決了圖像銳化問(wèn)題。相比之下本文算法重建圖像清晰度更高,增強(qiáng)了紋理細(xì)節(jié)信息,得到了最佳的視覺(jué)效果。

圖6 與基準(zhǔn)超分辨方法的效果對(duì)比

表1客觀展示了Bicubic、ESRGAN、PPON、SPSR與本文方法重建圖像的PSNR、SSIM值。從表中可以看出,基于深度學(xué)習(xí)算法相比Bicubic,其PSNR、SSIM都有提高,這也證實(shí)了深度學(xué)習(xí)算法在圖像超分辨問(wèn)題上的優(yōu)勢(shì)。本文所提方法的PSNR和SSIM較SPSR別提高了1.67 和 0.045。

表1 不同算法的定量結(jié)果比較

如圖7所示,ORB-SLAM算法在低分率圖像中初始化困難,平均耗時(shí)11 s；ORB-SLAM算法在超分辨后的圖像中初始化相對(duì)容易,平均耗時(shí)3 s。在圖8(a)中,當(dāng)目標(biāo)的紋理邊緣模糊時(shí),圖像丟失細(xì)節(jié)信息。因此,ORB-SLAM算法在低分率圖像中所提取的特征點(diǎn)稀少,這樣導(dǎo)致用于相機(jī)位姿估計(jì)的關(guān)鍵幀數(shù)量明顯減少。在圖8(b) 中,經(jīng)過(guò)梯度引導(dǎo)GAN網(wǎng)絡(luò)增強(qiáng)后的圖像內(nèi)容清晰,其能提供更多的形狀、紋理等細(xì)節(jié)信息,視覺(jué)效果等同于真實(shí)參考(圖8(c))。圖9中,隨著圖像分辨率的增加,用于位姿估計(jì)的關(guān)鍵幀數(shù)量明顯增多,目標(biāo)運(yùn)動(dòng)軌跡估計(jì)效果增強(qiáng)。圖10和圖11中,隨著圖像分辨率的增加,每幀的特征點(diǎn)數(shù)量逐漸增多,對(duì)應(yīng)的重建地圖效果明顯增強(qiáng),說(shuō)明了基于梯度引導(dǎo)GAN增強(qiáng)的圖像可有效的實(shí)現(xiàn)空間目標(biāo)較遠(yuǎn)距離的相對(duì)位姿估計(jì)。在圖7～圖10中,為了便于對(duì)比,將目標(biāo)圖像剪切并且調(diào)整為相同的尺寸。

圖7 ORB-SLAM中的初始化結(jié)果對(duì)比

圖8 ORB-SLAM中特征提取結(jié)果對(duì)比

圖9 ORB-SLAM中的相機(jī)軌跡估計(jì)

3.3 空間非合作目標(biāo)相對(duì)位姿測(cè)量實(shí)驗(yàn)

基于ORB-SLAM的多幀圖像信息連續(xù)測(cè)量方法嚴(yán)重依賴特征點(diǎn)的提取與匹配效果,當(dāng)探測(cè)距離遠(yuǎn)超過(guò)20 m后,圖像內(nèi)容模糊,無(wú)法有效提取ORB特征點(diǎn),在地圖中無(wú)法投影足夠多的匹配點(diǎn)對(duì),會(huì)導(dǎo)致非合作目標(biāo)測(cè)量的失敗[29]。如前所述,圖像超分辨方法是一種有效的應(yīng)對(duì)措施。將增強(qiáng)后的序列圖作為輸入,驗(yàn)證了ORB-SLAM方法對(duì)失效衛(wèi)星的相對(duì)位姿估計(jì)準(zhǔn)確性和魯棒性。為了便于對(duì)比,將等效距離為25 m和20 m處采集的低分辨率圖像、距離為1 m處采集的高分辨率圖像與超分辨后的圖像剪切并調(diào)整為相同的尺寸。圖12與13分別展示了在等效距離為25 m與20 m處的低分辨圖像與超分辨圖像。

圖14中,在等效距離為20 m處,失效衛(wèi)星以20 (°)/s的速度旋轉(zhuǎn)。由于目標(biāo)在圖像中所占像少,目標(biāo)的紋理邊緣模糊(如圖12(b) 所示),導(dǎo)致提取特征點(diǎn)數(shù)量顯著減少,使得目標(biāo)的姿態(tài)角和運(yùn)動(dòng)軌跡的估計(jì)結(jié)果存在明顯的誤差。此外,失效衛(wèi)星以20 (°)/s的速度旋轉(zhuǎn)時(shí),觀測(cè)面周期性進(jìn)出視場(chǎng)的時(shí)間較快導(dǎo)致累積誤差增大?；谔荻葓D作為先驗(yàn)引導(dǎo)生成式對(duì)抗網(wǎng)絡(luò)的超分辨方法增強(qiáng)了圖像的邊緣信息,使超分辨后的圖像內(nèi)容清晰(如圖13(b) 所示),能提供更多的形狀、紋理等細(xì)節(jié)信息。在圖14(d) 中, 將x軸與z軸的測(cè)量距離等效為[-1 cm, 1 cm],這樣真實(shí)的運(yùn)動(dòng)軌跡為等效的單位圓軌跡,因此目標(biāo)運(yùn)動(dòng)軌跡估計(jì)僅對(duì)比與單位圓軌跡的差異[27]。圖15表示測(cè)量的旋轉(zhuǎn)角和擬合的旋轉(zhuǎn)角之間的擬合殘差曲線,當(dāng)測(cè)量穩(wěn)定后,低分辨圖像的姿態(tài)角擬合誤差最大值為0.9°,而圖像分辨率增強(qiáng)的姿態(tài)角擬合誤差最大為0.1°。

圖12 低分辨圖像

圖13 超分辨圖像

圖14 估計(jì)結(jié)果對(duì)比 (等效距離=20 m,旋轉(zhuǎn)速度=20 (°)/s)

圖15 擬合殘差對(duì)比 (等效距離=20 m,旋轉(zhuǎn)速度=20 (°)/s)

在圖16中,當(dāng)?shù)刃Ь嚯x為25 m并且失效衛(wèi)星以20 (°)/s的速度旋轉(zhuǎn)時(shí),此時(shí)目標(biāo)圖像模糊程度加劇,此外觀測(cè)面快速進(jìn)出視場(chǎng)導(dǎo)致累積誤差加重。在圖17中,當(dāng)測(cè)量穩(wěn)定后,低分辨圖像的姿態(tài)角擬合誤差最大值為1°,而圖像分辨率增強(qiáng)的姿態(tài)角擬合誤差最大為0.2°。圖16和圖17的對(duì)比結(jié)果表明當(dāng)?shù)刃Ь嚯x為25 m并且失效衛(wèi)星以20 (°)/s的速度旋轉(zhuǎn)時(shí),所提方法仍具有較優(yōu)的估計(jì)精度和魯棒性。

圖16 估計(jì)結(jié)果對(duì)比 (等效距離=25 m,旋轉(zhuǎn)速度=20 (°)/s)

圖17 擬合殘差對(duì)比 (等效距離=25 m,旋轉(zhuǎn)速度=20 (°)/s)

圖18和圖19分別表示在等效距離為20 m和25 m,失效衛(wèi)星以25 (°)/s的速度旋轉(zhuǎn)的姿態(tài)估計(jì)結(jié)果。隨著目標(biāo)旋轉(zhuǎn)速度加快,獲取的目標(biāo)圖像內(nèi)容模糊程度也隨之加劇,ORB-SLAM算法無(wú)法有效提取低分辨率圖像的特征。因此,這里僅對(duì)比超分辨與高分辨率序列圖像的姿態(tài)角和運(yùn)動(dòng)軌跡的估計(jì)結(jié)果。通過(guò)對(duì)比結(jié)果可知,基于梯度引導(dǎo)GAN超分辨后的姿態(tài)角和運(yùn)動(dòng)軌跡的估計(jì)結(jié)果逼近真實(shí)參考高分辨率序列圖像的相對(duì)位姿估計(jì)結(jié)果。

圖18 估計(jì)結(jié)果對(duì)比 (等效距離=20 m,旋轉(zhuǎn)速度=25 (°)/s)

圖19 估計(jì)結(jié)果對(duì)比 (等效距離=25 m,旋轉(zhuǎn)速度=25 (°)/s)

4 結(jié) 論

將ORB-SLAM與基于梯度引導(dǎo)GAN圖像增強(qiáng)算法結(jié)合,有效解決了探測(cè)距離超過(guò)20 m的空間非合作慢旋目標(biāo)相對(duì)位姿測(cè)量難題。實(shí)驗(yàn)結(jié)果表明,等效距離為25 m時(shí),非合作目標(biāo)的圖像經(jīng)過(guò)梯度引導(dǎo)生成式對(duì)抗網(wǎng)絡(luò)增強(qiáng)后,ORB-SLAM方法可以有效的提取特征點(diǎn)。主要貢獻(xiàn)在于：

1) 提出梯度引導(dǎo)GAN超分辨率網(wǎng)絡(luò)結(jié)構(gòu),改進(jìn)GAN的訓(xùn)練方式。

2) 分析ORB-SLAM在非合作目標(biāo)位姿估計(jì)的應(yīng)用價(jià)值以及如何消除ORB-SLAM初始化后的累計(jì)誤差。

3) 半物理實(shí)驗(yàn)對(duì)在軌應(yīng)用有重要參考價(jià)值。但未來(lái)面向在軌應(yīng)用,仍需進(jìn)一步考慮空間光照環(huán)境的影響與小樣本問(wèn)題。因此,后續(xù)將開(kāi)展針對(duì)復(fù)雜光照環(huán)境與小樣本條件下的非合作目標(biāo)相對(duì)位姿估計(jì)研究。