基于單目視覺的三維重構相機技術研究

溫聚英 施衛科 倪 越

(1.中國運載火箭技術研究院,北京 100076;2.中國運載火箭技術研究院空間物理重點實驗室,北京 100076)

1 引言

美國航空航天局、歐洲空間局等部門先后開展了針對空間目標的操控任務,以驗證航天器間對接、停靠與捕獲技術,為開展在軌服務任務提供了技術論證并積累了工程經驗。飛行器對空間目標進行檢測、交會對接及維修等操作的前提是獲取目標的相對位置和姿態。由于太空環境的特殊性,需要空間飛行器測量克服衛星振動、參照系誤差、軌道預測誤差和背景光噪聲等因素對測量精度的影響,主要利用裝載在空間飛行器上的相對位姿測量系統實現對空間目標的精密測量。面向空間飛行器執行在軌服務過程中對精確識別空間目標特征部位的需求,提出基于單目視覺的三維重構相機技術[1-3]。

基于圖像的三維重構方法主要有單目視覺、雙目視覺及多目視覺。基于單目視覺的三維重構是根據相機的運動（或物體的運動）得到不同角度的圖像序列,根據圖像特征匹配估計相機和物體之間的相對運動,利用極線約束和三角原理進行計算,最后得到重建的三維場景;基于雙目視覺的三維重構首先需要對相機進行標定,然后根據拍攝到的左右視圖的圖像進行立體匹配,利用視差圖和三角原理進行重建[4];基于多目視覺的三維重構的原理跟雙目視覺重構的原理一致,需要更多相機組合在一起形成一個多目視覺成像系統。雙目視覺和多目視覺單次拍攝就可以得到物體在某個視角下的立體圖像,三維重構的精度高,缺點是成像系統復雜（需要兩個及以上相機且需要進行雙目聯合標定）,體積和質量大,且需要提前標定基線的信息,從而實現空間目標的三維重構。單目三維重構系統的優點是成像簡單,只需要一個相機即可,質量輕,精度較高[5-7]。

針對空間飛行器特點及任務需求,提出一種基于單目視覺的三維重構相機技術,利用基于亮度法體素著色技術的三維重構算法,獲取空間目標多角度、多層次的圖像信息,為空間飛行器執行在軌服務提供空間目標特征部位相對位置和姿態。

2 基于單目視覺的三維重構相機技術基本原理

使用基于亮度法體素著色技術實現對物體的三維建模。假設有一靜態場景,光照情況不隨時間改變,同時,物體滿足朗伯表面假設,物體表面的任意一點從不同方向進行成像得到像素值的亮度應該具有一致性,如圖1 所示。通過分析物體在不同視角下圖像亮度特征的一致性關系,就可以確定空間中的某一點是否位于物體的表面,從而得到三維幾何模型。微單元著色法根據輸入的圖片組對微單元賦予顏色,從而使得圖片最完整。根據輸入的圖片組對微單元著色后,盡可能投影出原始的圖片。

圖1 三維重構原理圖Fig.1 3D reconstruction schematic diagram

將包含物體的三維空間離散化成大小相同的體素單元,按照某種遍歷算法訪問全部體素,并將每一個三維采樣單元——體素,投影至所有可見的圖像上。按照一致性判定方程,計算所對應的全部圖像像素是否滿足亮度一致性條件,如果滿足,則說明該體素位于物體的表面,將其保留并賦予顏色信息,否則將其剔除。最后,判定結束時保留的全部體素組成重建的三維模型。基本公式為

式中:X——測量坐標系下體素坐標值;J（X）——亮度梯度一致性;P——體素總個數;k——體素序號;GVC——法向量;BP——反向傳播矩陣;ρ——特征點匹配誤差;Yk——測量坐標系下第k個體素坐標值;λ1、λ2——加權值;DBk——第k個體素深度值;Mk——第k個體素投影;γ——表面反射率。

基于單目視覺的三維重構算法的前提是對攝像機進行標定,確定攝像機的內部參數和外部參數。內部參數在攝像機研發裝配完成后,可以采取實驗室定標的方式獲得,外部參數的信息由觀測平臺的位置和姿態信息獲取。獲取到標定的信息以后,就可以確定不同視角下二維圖像中的特征點在三維模型中的映射關系。

3 三維重構試驗驗證

3.1 系統組成

三維重構相機主要包括光學系統、圖像傳感器、高清攝影組件和電源轉換板。光學系統用于接收目標反射的光信號,成像于圖像傳感器上,獲取高分辨率光學影像;高清攝影組件主要包括鏡頭結構及箱體結構,為相機提供支撐和防護;電源轉換板完成獲取圖像采集及處理等工作,用于實現光電轉換、圖像預處理、內部數據接口、二次電源分配、圖像壓縮、數據緩存等功能。三維重構相機觀測范圍為200 m 內,視場角為1.85°×1.05°,像素分辨率優于7.2 mm ＠100 m,三維重構相機系統組成如圖2 所示。

圖2 三維重構相機方案設計Fig.2 Scheme design of 3D reconstruction camera

3.2 試驗平臺設計

試驗平臺包括三維重構相機、小衛星模型、搖擺臺、光源組件等。將三維重構相機用夾具固定在三腳架上,如圖3 所示。目標模型的尺寸（長×寬×高）為700 mm×650 mm×550 mm,小目標模型的尺寸（長×寬×高）為151 mm×166 mm×179 mm。設計了四次試驗,分別為:200 m×100 m 橢圓軌道試驗、100 m 圓軌道試驗、10 m 圓軌道局部特征試驗和10 m 小目標圓軌道試驗。三維重構相機沿著橢圓軌道或圓軌道圍繞小衛星模型在不同角度對物體進行成像,利用算法進行后續三維建模。

圖3 試驗平臺設計圖Fig.3 Design of experiment platform

3.3 三維重構試驗結果分析

在200 m 橢圓軌道試驗中,每旋轉10°采集一張圖像,將目標模型按照計算得到的橢圓軌道參數進行前后移動,形成遠近大小不同的36 張圖像,將所有圖像映射到圓軌道進行三維模型重建,如圖4所示。針對650 mm 的邊長,對應的衛星計算邊長為601.044 mm,誤差為±48.956 mm;針對550 mm的邊長,對應的衛星計算邊長為533.2 mm,誤差為±16.800 mm;針對700 mm 的邊長,對應的衛星計算邊長為632.96 mm,誤差為±67.040 mm,模型的整體誤差為±67 mm。

圖4 200 m 橢圓軌道重構效果圖Fig.4 Reconstruction of 200 m elliptical orbit

在100 m 圓軌道試驗中,每旋轉30°采集一張圖像,形成12 張圖像,進行三維重構。由于是圓軌道試驗,在試驗過程中,目標模型不需要相應移動,僅需轉動轉臺,如圖5 所示。針對650 mm 的邊長,對應的衛星計算邊長為634.45 mm,誤差為±16 mm;針對550 mm 的邊長,對應的衛星計算邊長為567.174 mm,誤差為±18 mm;針對700 mm 的邊長,對應的衛星計算邊長為664.699 mm,誤差為±36 mm,模型的整體誤差為±36 mm。

圖5 100 m 圓軌道重構效果圖Fig.5 Reconstruction of 100 m circal orbit

在10 m 圓軌道局部特征試驗中,每旋轉10°采集一張圖像,形成36 張圖像,進行三維重構。由于是圓軌道試驗,在試驗過程中,目標模型不需要相應移動,僅需轉動轉臺,如圖6 所示。由于鏡頭最佳觀測距離為100 m 以上,所以在10 m 距離處只能通過調節后焦距對部分目標特征進行成像,局部目標已經占據整個視場,所以不需要進行輪廓提取,由于沒有輪廓信息,視場中僅有多張圖像,沒有立體信息,重構試驗驗證失敗。

圖6 10 m 圓軌道局部特征重構效果圖Fig.6 Reconstruction of 10 m circle orbit local characteristic

在10 m 小目標圓軌道試驗中,每旋轉10°采集一張圖像,形成36 張圖像,進行三維重構。由于是圓軌道試驗,在試驗過程中,目標模型不需要相應移動,僅需轉動轉臺,如圖7 所示。由于鏡頭最佳觀測距離為100 m 以上,所以在10 m 距離處只能通過調節后焦距對部分目標特征進行成像,換做小目標后可以在視場中清晰成像,針對151 mm 的邊長,對應的衛星計算邊長為147.251 mm,誤差為±3.749 mm;針對166 mm 的邊長,對應的衛星計算邊長 為160.055 mm,誤差為± 5.994 mm;針對179 mm的邊長,對應的衛星計算邊長為183.18 mm,誤差為±4.18 mm,模型的整體誤差為±5.994 mm。

圖7 10 m 小目標圓軌道重構效果圖Fig.7 Reconstruction of 10 m circle orbit characteristic

3.4 三維重構精度分析

從四種試驗工況結果分析可知,三維重構相機對目標單幅成像的像素分辨率較高,但存在三維重構誤差,如表1 所示。

表1 四種試驗工況下目標模型重構誤差分析Tab.1 Error analysis of target model reconstruction in four operating test condition

假設觀測平臺的位置信息已知,此時三維重構誤差源主要有兩個:一是由于平臺的姿態信息的不準確性導致的三維重構誤差δ;二是三維重構算法所帶來的三維重構誤差λ。

（1）平臺姿態誤差δ:在三維重構過程中,假設每隔30°拍攝一幅圖像來進行三維重構,由于平臺姿態的不穩定性,平臺給出的角度信息跟實際的拍攝角度通常存在誤差,假設這個誤差是當前拍攝角度的±4°,則通過試驗可以得到最長邊三維重構后的數據誤差為±6.23 pixel。

（2）重構算法誤差λ:由于基于體素渲染的三維重構算法在體素著色過程中,需要計算當前體素在所有可視視角下的圖像中的對應點。一般情況下,在每個視角圖像下所找到的點并不是一個,通常是一個3 pixel×3 pixel 的區域甚至更大。這里可以假定體素的分辨率等于三維重構相機像素的分辨率,由于三維重構的算法所導致的誤差可以限定在±3 pixel。

按照誤差分布理論,總誤差可以計算得到

此時,6.92 pixel 在200 m 處等同于±0.105 m的三維重構誤差,在100 m 處等同于±0.048 m 的三維重構誤差。

4 結束語

提出了基于單目視覺的三維重構相機技術,實現了200 m 范圍內非合作目標的高分辨率三維圖像重構,重構誤差為±0.105 m。搭建地面試驗環境,按照四種工況對目標模型進行成像,利用基于亮度法的體素著色技術對目標三維建模,驗證了該方法的準確性,該技術成果可應用于在軌操控、在軌加注和交會對接等領域。