基于單視圖的非合作航天器三維體素重構算法

郭鵬宇，胡慶雷,，歐陽真超

(1. 北京航空航天大學自動化科學與電氣工程學院，北京 100190；2. 北京航空航天大學杭州創新研究院(余杭)，杭州 310023)

0 引言

隨著航天工程的持續推進，太空合作共贏與競爭對抗并存的趨勢日益明顯。為維護空間在軌安全，非合作航天器的在軌監測日益重要，具體任務包括快速逼近、繞飛監視以及運動捕獲甚至打擊對抗等[1-2]。由于目標的強非合作特性，服務航天器無法提前獲知目標特征及在軌運動信息，這給目標的精準、快速感知帶來了巨大的挑戰[3-4]。針對上述任務需求，空間非合作航天器的三維模型快速構建技術備受關注，目標的模型結構可以為空間博弈對抗提供豐富的感知信息。因此，目標三維模型精確快速重構是未來目標監視、對抗制勝率的重要技術保障之一[5]。

現有的目標三維模型表征方式總體可以劃分為顯式模型表征和隱式模型表征。其中，顯式模型表征包括點云(Point Cloud)、體素(Voxelization)和網格(Meshgrid)[6]。三維點云表征可以更好地保留精確的模型位置、幾何特征和拓撲結構[7]。然而，真實采樣的點云相對稀疏、無序和噪聲，其索引計算會帶來巨大的計算開銷，同時空間結構上的多樣性也會導致計算上的歧義。而模型的體素表征可以看作是對三維無序點云的正則化處理，基于均勻體素的模型表征更適合航天器的特征提取與恢復，規則化的結構表示大大減少了數據規模和處理的計算量[8]。網格表示下目標的三維表面結構最光滑，但生成的曲面網格都具有較強的隨機性，這通常需要額外的對齊框架設計[9]。由于點云和網格表征均具有較強的隨機性，針對非合作航天器的模型體素表征唯一性最佳。隱式的三維模型恢復是由目前最為顛覆性的神經輻射場(Neural Rad-iance Fields, NeRF)模型[10]首次引出，以相機視角和位置作為神經網絡輸入，利用隱式的三維模型高質量地恢復不同視角下的目標視圖。雖然基于目標隱式模型可以高質量地恢復目標不同視角下的圖片，但在航天器三維感知的任務中，顯式模型表征能夠為后續導航任務提供更有利的支撐。

針對空間非合作航天器的三維重構任務，目前現有方法包括基于幾何的算法和基于神經網絡建模的方法。其中，傳統基于幾何計算的三維模型構建是目前的主流方案，通常需要對目標進行多角度的連續采樣和復雜的迭代計算，計算時間過長極大地限制了傳統方法在航天器實時感知任務中的應用。調研發現，基于人工智能的三維場景重構和目標三維結構恢復已取得大量的研究進展。但神經網絡依賴大規模標注數據進行有監督訓練，數據饑餓問題(Data Hungry Problem)是所有基于端到端(End-to-End)學習的研究中普遍存在的問題。雖然有少數利用人工智能算法進行航天器數據特征的提取及處理研究，如基于圖像的目標檢測和分割[11]，但缺少對應目標的三維結構基準。數據集的缺乏使得面向非合作航天器的三維模型智能重構研究暫時處于空白狀態。

在航天器顯式模型表征中，體素化的模型結構更加規則且具有唯一性，基于這種規則化的表示方式進行網絡建模，能夠降低非線性擬合的復雜度，且重建結果更加易于進行姿態配準、朝向檢測等后續任務處理。對于三維體素模型重建結果的量化指標，地面物體通常使用體素交叉聯合(intersection-over-union)[12]評估算法性能。基于地面目標三維模型智能恢復算法研究，本文提出了“編碼-解碼-細化”網絡架構，以解決空間非合作航天器三維體素模型重構問題，建立航天器三維模型數據樣本，并利用人工智能方法深入學習航天器模型與輸入圖片之間的映射關系。具體來說，本文的貢獻可以總結如下：

1)基于公開航天器三維模型和開源渲染軟件，針對單視圖三維體素重建任務，構建了面向航天器三維模型重建任務的數據集，包括多個航天器的三維模型文件、對應多尺度體素正則化文件以及多視角相機采樣模擬的渲染圖像，為后續深度學習建模任務提供數據基礎和量化評估方案。

2)設計了基于單一視圖輸入的航天器三維體素模型神經網絡框架，整個模型主干網絡主要包含3個子模塊，圖像2D卷積編碼模塊、基于3D卷積的解碼模塊和基于U-Net架構的3D卷積調優模塊，能夠針對單幀目標圖像數據進行卷積編解碼，然后恢復航天器的三維空間正則化的體素表征，并利用MIoU指標對網絡性能進行評估。

本文各部分組織如下：第1章介紹了航天器三維模型智能重構算法的總體框架；第2章介紹了航天器三維模型數據樣本集的構建方案；第3章介紹了所設計的重建模型的神經網絡架構細節，以及與所構建數據集的訓練方案；第4章介紹了航天器三維模型恢復的評估指標，并基于本地數據對訓練好的模型進行評估和分析，證明了所提方法的有效性；最后一章討論了所提方法的優缺點，并給出結論及未來研究方向。

1 航天器三維模型智能重構算法

針對基于人工智能的航天器三維體素重建問題，網絡的輸入為包含目標的多種采樣視角下的圖像，輸出為目標的三維體素結構。與常規三維重建問題不同，航天器結構復雜、體積龐大,僅存在于太空環境和近地軌道附近，相關數據難以獲取。因此，針對不同的航天器采用渲染的方式分別生成正則化的三維體素結構，并利用相機模型渲染生成固定尺寸的航天器圖像數據。其中，三維體素表征采用以目標為中心的方法，圖像則通過固定小孔成像模型，保證采樣圖像尺寸的情況下，在不同視角下對航天器進行渲染成像，增加樣本的豐富度。通過對大量航天器模型進行批處理的數據生成，構建了一對多的“體素-圖像”數據集,并在此基礎上，設計了對應的神經網絡模型架構，用于接收單視圖圖像數據，通過數據集訓練模型構建“圖像-體素”之間非線性關系，實現目標的三維體素重建。最后，通過量化評估和測試，驗證了航天器三維重構網絡的有效性。總體流程如圖1所示，包括以下三個部分：

1)航天器三維模型數據樣本集合生成。一方面，基于已知航天器三維模型文件生成對應的三維體素數據，并構造航天器結構三維模型的規范方向，實現航天器模型數據各部分的剛性對齊；另一方面，為恢復目標完整的模型結構，對目標進行全覆蓋的球采樣，實現全方位、全視角下的航天器圖片渲染，為后續的網絡模型訓練和評估提供數據支持。

圖1 航天器三維模型智能重構算法架構Fig.1 Architecture of intelligent 3D model reconstruction algorithm for spacecraft

2)航天器三維模型重構網絡框架設計。該部分基于所生成的航天器三維模型及對應的渲染圖片數據對，設計適配的航天器三維模型數據恢復網絡框架。利用生成的航天器三維體素表征作為真實值 (Ground Truth)，渲染的航天器圖片作為探測數據，設計網絡訓練框架，確保神經網絡模型能夠處理對應的數據結構并生成目標尺寸的三維體素。

3)航天器模型恢復性能評估與分析。利用訓練好的網絡參數和所設計的網絡架構測試航天器的體素結構恢復效果，定量對比分析模型的重建效果，構建模型恢復對應的評估體系。從不同的角度評估網絡架構的性能，對比不同網絡框架下航天器三維模型的恢復結果，確保航天器三維模型重構網絡框架能夠滿足目標感知需求。

2 三維模型數據樣本生成

航天器三維模型數據樣本集是航天器三維模型智能重構的數據基礎，也是航天領域神經網絡建模研究發展的制約因素。目前，被公開使用的USRO、SPARK及SPEED等航天器數據集是為了目標識別、位姿估計和語義分析任務開發的，均不涉及航天器三維模型的組織和注釋，難以為航天器三維重構提供有效的數據支撐。因此，本文通過分析日常目標三維重構數據集ShapeNet[13]的處理方案，對航天器結構、類型等因素進行歸約，并構建航天器三維模型數據樣本集合。首先，利用Blender軟件對不同視角下的航天器成像結果進行渲染，然后，生成對應的航天器三維體素模型作為網絡訓練的模型真值。數據樣本集合生成的過程是一個雙向映射的過程，圖片與體素模型的樣本數據鏈接是后續網絡框架訓練的基礎。

2.1 數據必要性分析

航天器三維模型數據集的構建將包含豐富的注釋，為航天模型恢復任務提供基礎數據激勵。通過收集公開航天器模型用于構建航天器三維重建數據集，可以實現以下任務：

1)幫助開展航天器三維結構分析工作；

2)支持需要航天器模型數據的航天任務；

3)對涉及航天器結構幾何的基本任務(分割、對齊等)進行算法評估；

4)為航天器語義分析提供模型數據庫。

為滿足以上航天任務需求，首先需要將所構建的航天器三維模型數據集覆蓋現實世界中的多種航天對象，包括不同的空間非合作航天器類別，如衛星、運載火箭及空間站等結構；其次，航天器三維模型需要與其對應的2D視角圖像、結構語義信息等特征相互關聯；最后，為航天器的三維體素模型建立一致的規范方向(目標中心表征)，實現體素表征的唯一性，保證后續航天器識別、結構分類和語義分割等不同感知任務的展開。

2.2 三維模型生成

如圖2所示，基于航天器三維模型，將其柵格化為二進制3D體素網絡，可以生成不同分辨率下的binary-voxel (binvox) 體素格式文件；考慮網絡模型的計算效率、模型的復雜性和下游感知任務所需模型的精度，目前以分辨率大小為643進行航天器三維體素模型生成。

圖2 航天器三維體素模型生成樣例Fig.2 A sample of spacecraft 3D voxel model

雖然目前生成的模型文件表征粗略，但所生成的目標三維體素能夠盡可能地保持原模型的關鍵形狀結構。后續為確保航天器三維模型結構的精細化表示、語義分割及三維姿態檢測任務，可針對性地調整航天器體素生成分辨率。

2.3 關聯圖片渲染

考慮太空環境下非合作航天器的運動自由度較高，傳感器可能從不同的方位進行觀測，為了提升生成模型的魯棒性和泛化能力，采用球形采樣策略進行目標航天器的圖像渲染。具體地，以目標航天器為中心，在固定半徑構成的球面擺放相機模型，并進行渲染采樣生成航天器圖像數據。例如，航天器的圓形對接環、噴嘴及太陽能帆板支架等結構至少需要保證觀察到一個視圖才能覆蓋到細節形狀架構。本文構建球形采樣方式，從各個視點捕捉航天器圖片，如圖3所示。對于單個航天器模型，從40個不同視角進行渲染采樣。

圖3 航天器RGB圖片渲染樣例Fig.3 Spacecraft RGB image rendering example

為了模擬中遠距離下傳感器采樣視場能夠包含完整的航天器結構，本文采用的相機模型將輸出512×512分辨率的圖像數據，并保證目標的關鍵細節清晰，作為后續網絡的輸入。

3 航天器模型重構網絡框架設計

本文的航天器三維模型智能重構算法使用“編碼-解碼-細化 (Encoder-Decoder-Refiner)”網絡來訓練恢復航天器三維體素模型。其中，編碼器用于拆分2D圖像中的有效紋理卷積特征；解碼器用于從高維卷積特征中重建目標三維體素；最后，一個基于U-Net架構的三維卷積模塊對重建的粗糙結果進行精細化調優。圖4所示為所提出的模型架構，該架構以二維航天器圖片作為輸入，三維模型作為網絡輸出，重建航天器三維體素結構。

圖4 航天器三維重構網絡結構Fig.4 Spacecraft 3D model reconstruction network

3.1 編碼

編碼器的目的是對輸入的RGB圖片進行深度特征提取，作為后續解碼任務的輸入，以恢復航天器的3D形狀。將RGB圖片輸入連續的6組2D卷積 (2D Convolution) 層、批歸一化層和ReLU層，將語義信息嵌入到特征圖中。6個卷積層均采用大小為32的卷積核，步長為2，填充為1，每個模塊將特征圖縮小1/2(單個維度)，對應的輸出通道分別為64、128、192、256、384和512。最終，編碼階段輸出大小為512×82的高維局部特征圖組，為之后的解碼恢復提供深層次特征。

3.2 解碼

為了生成分辨率大小為643的航天器體素模型，解碼階段以編碼得到的高維特征作為輸入，先將特征圖數據重組為4096×23維，為3維體素生成提供基礎。整個解碼階段包含6組3D逆卷積 (3D Deconvolution) 層，與編碼階段類似，每個逆卷積層后都有批歸一化層和ReLU層，最后使用sigmoid激活函數。6個逆卷積層的內核大小為43，步長為2，填充為1，每次將生成體素(單個維度)的分辨率提升1倍，對應的輸出通道分別為512、128、32、16、8和1。最終，解碼階段輸出大小為643的數據架構；但由于網絡較淺，此時所恢復的三維體素細節較差，一些結構恢復不全，為重建更加精確的航天器模型結構，需要對生成的粗略模型進行進一步處理。

3.3 細化

參考3D U-Net架構，構建航天器三維模型細化模塊，在不改變生成模型分辨率的情況下，采用3D卷積和逆卷積進行特征重組，將編碼階段生成的特征引入到解碼階段，進一步將粗略的航天器模型精細化。為了生成分辨率大小為643的三維精確模型，細化階段的編碼器具有4組3D卷積層、批歸一化層、ReLU層和內核大小為23的最大池化層，每個卷積層的內核大小為43，填充為2。對應卷積層的輸出通道分別編號為16、32、64和128。編碼器后面是2個全連接層，大小分別為2048和8192。解碼器由4組3D逆卷積層組成，每個逆卷積層后都有批歸一化層和ReLU層，最后一個逆卷積層之后接sigmoid函數。4個逆卷積層的內核大小為43，步長為2，填充為1，對應的輸出通道分別為128、64、32和2，最終生成細化后的航天器三維模型。

3.4 損失函數

訓練過程中，網絡的損失函數定義為重建的航天器三維模型與真實值之間的體素交叉熵，具體公式為

(1)

其中，N表示總體體素數目；Gi表示真實模型在對應位置的體素占用情況；Pi表示所重構的航天器模型在對應位置的體素占用情況，該指標獨立地衡量每個體素柵格位置的存在情況。損失函數越小，表示航天器三維模型重構效果越好。

4 航天器三維模型恢復結果及分析

在本章中，首先對航天器三維模型重構的性能評估進行了介紹，然后展示了所提網絡框架的實現細節，最后與目前基于人工智能算法的目標重構結果進行對比，說明所提網絡框架在航天器三維模型重構方面的優勢。

4.1 評估方式

為了評估所提方法對航天器三維體素模型的重構質量，本文在閾值t=0.2時對恢復的航天器模型數據進行二值化處理，使用聯合交集(Intersec-tion over Union, IoU)作為預測的模型和真實的模型之間的相似性度量指標，具體來說，其數學模型可以表示為

(2)

其中，P(i,j,k)與G(i,j,k)分別表征航天器三維體素模型重構結果及訓練過程中使用的真實體素模型；t表示訓練過程中所設置的閾值。IoU值越高，表示所生成的航天器三維體素模型精確度及質量越高。

針對整個網絡模型的體素結構預測性能，本文使用平均聯合交集(Mean Intersection over Union, MIoU)作為評估指標，其數學模型可以表示為

(3)

其中，Nmodels表示測試的航天器三維模型數量；IoUi表示第i個生成的航天器模型與真實模型之間的相似性度量指標。

4.2 航天器三維模型恢復結果

本文使用分辨率為512×512的RGB圖像作為網絡模型的訓練輸入，輸出體素化航天器三維模型重建的大小為643。使用Adam優化器訓練航天器三維重構網絡模型，對應的參數β1=0.9，β2=0.999。初始學習率設置為0.001，共訓練250個epoch的網絡。

針對不同結構的航天器模型，本文提出的網絡架構最終可以良好地恢復其三維結構，如圖5所示，列出了9種不同結構航天器的恢復結果。其中，每列圖片的左側為目標航天器真實體素(GT)，右側為訓練后模型基于單視圖輸入生成的航天器三維體素模型(Predicted)可視化結果。通過分析對比不同結構的航天器恢復結果，發現本文所提網絡可以良好地恢復大部分的航天器三維模型結構，但對于少數航天器，可能由于其輸入的圖片信息缺乏足夠的RGB特征，生成的模型存在一定的噪聲，但主要結構基本與原模型體素一致。

4.3 性能分析

為了評估所提方法在航天器三維模型恢復方面的性能，本文將所提方法與目前最先進的體素模型生成方法進行比較。對比Pix2Vox[14]和Pix2Vox++[15]網絡模型，其三維模型重建結果定量對比如表1所示，各網絡架構的模型重構性能指標均是在裝有NVIDIA GTX 3080Ti GPU的同一臺電腦上訓練獲取。目前所構建的網絡在航天器結構恢復方面取得了0.895的MIoU值，相同條件下目前最優越的Pix2Vox++三維模型恢復網絡框架通過相同的數據訓練在航天器三維模型恢復任務中取得了0.7504的MIoU值。本文所提的網絡框架訓練恢復結果在航天器三維模型恢復效能方面要優于現有網絡，并且具備更低的網絡超參數量，但由于整個測試過程中將輸入數據的分辨率提升，導致最終重建時間高于其余網絡。同時，與傳統算法相比，基于人工智能的航天器三維模型重構方法表現出更強的時效性。

表1 航天器三維模型恢復性能對比

5 結論

針對傳統空間非合作航天器三維模型重構算法復雜、繞飛觀測實時性差及計算過程數據量龐大等問題，本文突破傳統算法的限制，提出了一種基于單視圖的航天器三維體素模型重構方法。首先，通過類比地面大規模目標三維模型數據集，分析航天器結構、背景、形狀等特性，建立航天器三維模型數據樣本集合，并將其鏈接到對應的RGB圖片，構建完備的“模型-圖片”信息交互；其次，設計適用于航天器三維模型重構的網絡框架，以圖片為輸入，三維體素模型為輸出，對網絡模型參數進行訓練，最終得到最優的網絡模型；最后，通過仿真實驗對比說明了所提方法的有效性。總體來說，該方法仍存在一些不足，數據集規模不夠龐大且完備性不足，僅引入光照元素對航天器進行數據生成，缺乏噪聲、背景等其他干擾因素下的數據補充；同時，目前生成的航天器模型比較粗糙，因此需要對航天器模型進一步提高分辨率，使其能夠更好地表征真實航天器三維模型，這也是本文后續的研究方向。