基于深度相機的大場景三維重建

劉東生，陳建林，費 點，張之江

(上海大學 特種光纖與光接入網重點實驗室，上海 200444)

1 引 言

大型場景的三維重建是圖形學和計算機視覺領域的一個研究熱點，被廣泛應用于室內設計、機器人導航和增強現實。在表面重建系統中，需要同時精確地獲取相機的運動軌跡和場景的三維模型。深度相機因其能以視頻幀速直接獲取物體的位置信息且價格低廉，而非常適合用來研究三維重建。

KinectFusion[1]系統開創了使用手持式深度傳感器進行實時稠密重建的新領域。它采用點到平面的迭代最近點算法(Iterative Closest Point,ICP[2])將輸入的深度圖與當前模型配準來跟蹤相機，實時性能由GPU的并行計算來實現。然而KinectFusion只能重建固定于空間中的小場景，并且相機位姿估計不精確。隨后，研究者使用移動網格的策略來擴展KinectFusion算法，使其能重建大型場景[3-5]。但對于大型場景重建，長的相機掃描序列會引入越來越大的位姿累積誤差，測量的表面信息被不精確地融合到模型中，會進一步惡化位姿估計的結果，最終導致相機漂移，重建的模型質量差，甚至是重建失敗。

為了解決上述問題，Fioraio等人[5]使用最新K張深度圖像構建局部子網格，以幀到模型的方式執行相機跟蹤。盡管該方法可極大地減少累積誤差，但當場景缺少幾何結構特征時，僅利用深度信息進行重建會使相機丟失跟蹤。Fu等人[6]在跟蹤相機的同時檢測場景閉環，以閉環為約束來矯正相機軌跡。但檢測的閉環存在錯誤且有部分正確的閉環并未被檢測。Choi等人的離線方法[7-8]采用基于線流程(Line processes)的魯棒全局位姿優化來消除檢測錯誤的閉環以提高重建質量，但需耗費大量時間。在Dai等人[9]的BundleFusion算法中，新輸入的RGB-D圖像需要和之前所有分塊的關鍵幀匹配，以高斯牛頓法的求解方式極小化位姿對齊誤差來優化全局軌跡，可得到精確的相機位姿，但需要兩張顯卡執行復雜的局部和全局優化。

針對大場景重建中，由位姿估計的累積誤差而導致的相機漂移、重建模型質量低的問題，本文設計了一種基于深度相機的場景重建方法。在系統中保持一個K長的滑動窗口，基于由最新K幀融合的彩色模型跟蹤相機，以此來減少局部累積誤差。在全局優化中，迭代步長式地在子網格間搜索表面對應點，并以對應點的點到平面距離誤差和亮度誤差為約束，優化全局相機軌跡。最后通過實驗證明了本文方法的有效性。

2 三維重建流程

基于深度相機的靜態場景重建方法都有相似的系統框架，如圖1(a)所示。

首先，對輸入的RGB-D圖像執行深度圖像預處理以減少噪聲和錯誤的深度值。其次，取決于不同的方法，從預處理過的深度圖像中獲取不同類型的深度信息。隨后，可利用幀到幀、幀到模型的方式計算當前圖像到全局坐標系的最優變換。最后，將當前深度圖的所有頂點轉換到全局坐標系并融合到模型中。

為了重建大型場景，本文方法的流程如圖1(b)所示。隨著深度相機在靜態場景中掃描，根據時間戳對齊一對深度和彩色圖像。在算法啟動時，將第一個子網格固定于相機正前方，子網格內的體素由第一對深度和彩色圖像初始化，用于后續的相機跟蹤。

在每個子網格內，結合彩色和深度測量執行幀到模型的相機跟蹤?？紤]到短時間內的累積誤差小，且物體的顏色亮度可能在不同視角下有些許變化，本文提出使用彩色模型的去融合方案來減少累積誤差。核心思想是當第N對圖像融合到模型時，將N-K對圖像從模型中去融合，以此來確保輸入的圖像始終基于最新的K對幀估計位姿。

當相機相對于當前子網格中心點的位置超過給定閾值時，為了高效性，將子網格平移體素單元倍數的距離。移動到子網格外面的體素會丟失，而剩余的體素會從舊的子網格復制到新的子網格以繼續執行幀到模型的相機跟蹤。

圖1 三維重建流程

在全局優化中，本文提出了迭代步長式的方法在子網格間搜索對應表面點，并基于對應點的點到平面距離約束和亮度約束迭代地執行全局優化，目標函以sparseLM的方式求解。相機軌跡優化后，將子網格全局配準，融合到全局網格中[10]。隨后，采用marching cubes[11]算法提取三角片面以便可視化。

3 場景重建的算法

3.1 相機模型及符號表示

對于一個三維空間點P(x,y,z)∈3，可以使用針孔相機模型獲取其對應于二維圖像平面的像素點X(u,v)∈2

(u,v)T=π(x,y,z)=

(1)

其中fx,fy和cx,cy分別是焦距和光軸中心點坐標，π為投影方程。

(2)

(3)

其中:三維正交矩陣Rl,k∈3×3表示旋轉分量，tl,k∈3×1表示平移分量。

3.2 魯棒的相機跟蹤及數據融合

本文采用文獻[12]的方法估計相機位姿。如圖2所示，使用加權截斷有向距離函數(TSDF[10])表示三維空間:

ψ:[ψrgb,ψd]→[3,],

(4)

其中ψrgb與ψd分別表示重建表面的色彩和幾何信息。

給定由前N對深度和彩色圖像融合的表面ψf_n，和由第N+1對深度和彩色圖像的反投影得到的表面ψs_n+1，其幾何位置和顏色亮度應盡可能一致。誤差函數可定義為：

E(Tl,N+1)=

(5)

(6)

點P定義于第N+1幀的相機坐標系，Ω為一個三維對角矩陣，將RGB格式的彩色圖轉換為灰度圖[13]:

(7)

誤差函數(5)可使用Gauss-Newton算法迭代求解直至收斂。

圖2 表面ψs_n+1與ψf_n的幾何位置和顏色亮度應盡可能一致

本文在每個體素v中分配6個值，其中Φ是從v到最近表面的TSDF，R,G,B是三通道顏色值，Wd和Wc分別為TSDF和顏色值的確信度。在估計完第N+1對圖像的位姿后，可使用加權平均法[10]更新TSDF:

(8)

類似地，以相同的方式更新顏色信息:

γ∈{r,g,b}.

(9)

3.3 基于深度和彩色信息的去融合

針對位姿估計存在累積誤差的問題，本文在文獻[5]的基礎上，結合深度和彩色信息對模型去融合。

考慮到短時間內累積誤差可忽略不計，本文基于由最新的K幀深度和彩色圖像融合的模型跟蹤相機。在當前幀融合到模型后，將N-K幀的信息從模型中去融合，在程序中該過程對應于一個K長的FIFO隊列，如圖3所示，直到第N-1+C幀時生成一個新的子體積。去融合過程可表示為:

(10)

(11)

圖3 子網格的融合和去融合

對于彩色測量的累積誤差，以同樣的方式:

γ∈{r,g,b}.

(12)

若小于K幀圖像被跟蹤，則不對子網格去融合。一旦超過K幀被處理且滿足子網格的移動條件，則將當前子網格保存在內存中。

3.4 子網格的移動策略

當相機的位置距離子網格的中心點超過給定閾值時，需要移動子網格來重建大型場景。

如圖4所示(彩圖見期刊電子版)，相機從路標L1移動到路標L2。橙色線表示相機光軸，相機在L1處采集到第1幀圖像，其位姿為I4×4，并新建子網格V1，中心點為O1，如綠色實線框所示。在任意時刻t, 第i幀圖像和當前子網格Vj的絕對位姿可分別表示為Tg,i和Pg,j，Tj,i為第i幀到局部子網格Vj的變換:

(13)

在移動子網格時，如果同時考慮平移和旋轉分量，則當下列條件滿足時:

‖tji‖>Thold_t或aji=

‖rodrigues-1(Rj,i)‖>Thold_R,

(14)

Vj被移動到Vj+1，如圖4中的藍色虛線框所示。其中Thold_t和Thold_R分別為距離和角度閾值，rodrigues為羅德里格斯變換。此時，對于新建立的子網格Vj+1，有:

Tj+1,i=I4×4,Pj,j+1=Tj,iTj+1,i-1=Tj,i,

(15)

Vj中的體素需要被三線性插值到Vj+1中，會耗費大量時間。同時，由于體素在三線性插值后通常位于非整數坐標處，因此插值方法會影響重建的準確性。

本文采用圖4所示的子網格移動方法，其中黑色實線箭頭表示O1與L2處光軸的距離，交光軸于點C。當該距離超過給定閾值dth_1時，移動V1:

d1>dth_1.

(16)

考慮到三線性插值非常耗時且會引入不精確的tsdf， 本文將V1平移體素單元倍數的距離。同時，為了使平移到新建的子網格內用于相機跟蹤的有效體素數量盡可能的多，點O1被平移到藍色虛線框的中心點O2，生成一個新的子網格，如圖4紅色虛線框所示。此時，L2處滿足子網格移動條件的相機視角在新的子網格內具有很大的覆蓋范圍，如圖4黃色箭頭所示。因此，隨后用于相機跟蹤的實體素數量眾多，相機跟蹤會更加精確魯棒。V1被平移整數體素單元的距離，最終生成的子網格如紅色實線框所示，此時子網格之間的位姿有以下關系:

Pj,j+1=

(17)

vs為單個體素的尺寸。

需要注意的是，當相機沿著固定光軸向前或向后移動超過一定距離時，V1同樣需要被平移:

d2>dth_2_l‖d2

(18)

其中d2是點C到光心L2的距離，dth_2_l和dth_2_s為兩個閾值。當式(17)或式(18)滿足時，平移V1。移動到子網格外的體素將會丟失，剩余的體素將從舊的子網格復制到新的子網格。

圖4 將子網格從L1平移到L2

3.5 全局優化

雖然相機在每個子網格內是低漂移的，但由于長的掃描序列，子網格之間不可避免地存在累積誤差。本文基于文獻[5]的全局優化框架，提出了迭代步長式地尋找表面對應點。如圖5(a)是未優化的子網格，圖5(b)是優化后的子網格。

圖5 全局優化的示意圖

3.5.1 迭代步長式尋找表面對應點

如圖6，P={pi}和Q={qi}是子網格Vj和Vk的表面點集，pi和qi是一對對應點，Tg,j和Tg,k為子網格Vj和Vk的全局變換。若Tg,j和Tg,k都被精確地估計，則可建立以下方程:

(19)

為了表述簡潔，公式中默認存在點的齊次形式與非齊次形式間的轉換。

通常，由于噪聲的存在，式(19)不會相等。為了得到Tg,j和Tg,k的精確值，需要在Vj和Vk中尋找更加精確的對應點。

對于任意表面點P，假設其tsdf值為ψd,可獲取歸一化的梯度:

(20)

因tsdf表示一點距表面的有向距離，故Vk中的對應點可通過以下方式搜索:

(21)

在式(21)中，Vj中的表面點pi被轉換到Vk中，并沿著轉換后的點的法線方向行進αψd的距離。理論上僅僅需要行進距離ψd，但在實驗中發現，由于位姿估計和tsdf計算過程中存在誤差，尋找到的對應點不一定是Vk的表面點。因此，本文引入步長參數α，基于實驗經驗，α由0.8增長到1.2，增量為Δα= 0.05，直到找到tsdf值足夠小的點qi。如果α增長到1.2之后，qi仍然遠離表面，則認為pi沒有對應點。

圖6 Vj和Vk之間尋找對應點

3.5.2 迭代式的全局優化

對于一對對應點(pi,qi)，其三維空間位置和亮度應盡可能地一致。誤差函數可表示為:

ei,i=‖(Tg,jpi-Tg,kqi)TTg,kn‖+

(22)

對于尋找的對應點集，整體誤差函數可定義為如式(23)，可使用sparseLM求解：

E(Tg)=

(23)

在本文中，設置迭代次數Nth，如果相鄰兩次迭代的優化誤差小于給定閾值或者迭代次數超過Nth時，則停止迭代，輸出優化后的相機位姿。

3.5.3 獲取全局一致的三維模型

在全局軌跡優化后，為了得到整體的三維模型，需將子網格融合到全局TSDF中:

(24)

類似地，對于彩色信息:

(25)

隨后使用marching cubes[11]算法提取三角片面以獲得精細的三維場景模型。

4 實驗結果及分析

本節使用兩類不同的數據分別從定性和定量兩個方面驗證本文算法的有效性。

4.1 場景重建結果的定性展示

圖7是由Kinect v2從實驗室中采集的450張深度和彩色圖像重建的模型。圖7(a)和圖7(b)分別從兩個不同的視角展示了重建的結果?？梢钥闯?，盡管場景中的物體繁雜多樣，但最終重建的結果清晰地展示了實驗室內部的結構。圖7(c)展示了書桌部分的局部細節圖，可以看到書桌、顯示器屏幕、紙箱表面都平坦光滑，甚至紙箱表面上貼的透明膠帶都清晰可見。圖7(d)展示了書架部分的局部細節圖，垃圾桶、植物、書架上擺放的書本、玩偶都實現了較高水平的還原。

圖7 實驗室的重建結果

此外，本文還重建了Augmented_ICL_NUIM[5]數據集中的客廳(Living Room2)部分場景，并與現有方法進行了比較，驗證了本文提出算法的有效性。

圖8分別展示了4種方法的重建結果。圖8(a)為Bylow等人[14]的重建模型，與 KinectFusion[1]中通過點到平面的ICP 算法跟蹤相機不同，Bylow 等人直接基于TSDF最小化深度測量誤差，有效地提高了位姿估計的精確度。但僅通過單一網格持續估計位姿并融合數據，位姿誤差不斷累積，不準確的位姿導致融合的模型出現模糊或者斷裂現象，如8(a)中臺燈的燈柱和植物的枝葉所示。圖8(b)為Fioraio等人[5]的重建結果，為了減少累積誤差，Fioraio等人沿著相機運動軌跡新建子網格，子網格內局部場景的細節精細度有所提升，模型中臺燈的燈柱和植物等細節都基本保留。但其在全局優化中尋找的對應點不夠精確，導致子網格之間的相對位姿仍然存在較大誤差，重建模型中的墻壁、沙發等處存在明顯的折痕。圖8(c)為Choi等人[8]的重建結果，該算法間隔固定幀數(實驗中為50幀)生成一個新的子網格，但當相機運動速度較快時，單個子網格內覆蓋的場景較大，包含的相機運動軌跡較長，重建模型細節處容易出現空洞，如模型中的靠枕和植物所示。圖8(d)為本文提出方法的重建結果，本文結合深度和彩色測量跟蹤相機位姿，同時對深度和彩色數據進行融合和去融合操作，估計的位姿更加準確，并且子網格間采用更加精確的步長式方法尋找對應點，極大程度地減輕了折痕現象，同時保證了子網格內局部場景的細節精細度，如圖中的靠枕和植物。

圖8 四種方法的重建結果對比

通過自采數據和公開數據集的實驗結果分析，本文提出的場景重建方法能夠克服較長相機軌跡帶來的累積誤差問題，重建的模型平滑且完整，同時保留了精致的局部細節，最終生成的三維模型具有更佳的可觀性。

4.2 絕對軌跡誤差的定量分析

表1所示為四種方法對數據集Augmented ICL-NUIM Living Room2部分場景評估的絕對軌跡誤差(ATE)，其中包括均方根誤差(RMSE)、平均值(Mean)和標準差(STD)，單位均為米。從表中可看出，相較于現有的幾種方法，本文方法估計的絕對軌跡誤差最低，均方根誤差 RMSE 與 Choi等人提出的算法相比低 14.1%，說明本文提出的算法在位姿估計準確率上得到了很大提升。

表1 四種不同方法估計的相機絕對軌跡誤差

Tab.1 Absolute trajectory error evaluated by four different methods

(m)

4.3 重建時間的定量分析

表2所示為三種方法對自采的450張實驗室場景數據集評估的重建時間。需要說明的是，本文基于Fioraio[5]等人的方法實現整體模型配準，融合效率已在文獻[5]中說明。與文獻[5]不同的是，此處的對比實驗基于串行CPU，硬件環境為i5-7300HQ、2.5 GHz英特爾CPU。

相比Bylow[14]等人直接配準單張深度圖像，Fioraio[5]等人需對深度圖像去融合，且需新建子網格，后續還需對子網格融合配準。而本文在文獻[5]的基礎上加上了彩色圖像的配準和去融合，且在子網格間迭代式地尋找對應點，使用迭代式地方式優化全局誤差函數，因此耗費時間比文獻[14]，文獻[5]都長。

表2 三種不同方法的重建時間對比

Tab.2 Reconstruction time for four different methods

方法Bylow[14]Fioraio[5]本文總體重建耗時/s99170190平均每幀耗時/ms221378423

后續使用GPU實現代碼加速可極大地減少重建時間，理論上可達到Fioraio[5]等人的重建效率。

4.4 實驗中的參數分析

除了上述定性和定量的實驗，本節還研究了算法中相關參數對重建效果的影響，包括位姿跟蹤中用于調節彩色誤差在總誤差中所占比例的權重參數θ和迭代步長參數α。實驗均基于Augmented ICL-NUIM Living Room2數據集。

表3 不同權重θ對絕對軌跡誤差的影響

表3所示為不同θ值對相機運動軌跡誤差的影響。當θ=0，此時彩色誤差占比為 0，位姿跟蹤中僅使用了深度數據；當θ=100，此時彩色誤差占比為92%，位姿跟蹤中彩色信息起決定性的作用。當θ=8時，彩色誤差和深度誤差共同作用于位姿跟蹤，RMSE最小。

此外，對于全局優化，本文還設置了三組對比實驗，分別命名為A：未優化的絕對軌跡RMSE。B：迭代步長α=1.0，優化后的絕對軌跡RMSE。C：本文迭代步長式尋找對應點，優化后的絕對軌跡RMSE。表4展示了實驗結果。從表中可看出，迭代步長式尋找對應點方法比直接尋找對應點方法軌跡優化結果提升8%。

表4 迭代步長α對絕對軌跡誤差的影響

由上述實驗結果可知，本文提出的三維重建方法可減少位姿估計中的累積誤差，得到的相機軌跡更加精確。

5 結 論

針對大場景重建中，相機位姿估計的累積誤差導致相機漂移、重建模型質量低的問題，提出了基于深度相機的高質量三維場景重建方案。針對在缺少幾何結構特征的場景中，僅使用深度信息跟蹤相機易于失敗的問題，結合深度和彩色測量以幀到模型的方式跟蹤相機；針對位姿估計中存在累積誤差，提出結合深度和彩色信息的去融合方案；在全局軌跡優化中提出迭代步長式地尋找表面對應點，并以對應點的歐氏距離和亮度信息為約束，優化全局相機位姿。

本文在傳統的三維重建框架基礎上提出了彩色信息去融合方案，并在全局優化中引入迭代步長，提高了相機軌跡的精確度。與基于深度相機的重建方法對比，本文提出的重建方法相機軌跡精度提升14.1%，基于實際數據實驗，本文方法能實現精確的相機跟蹤，重建高質量的場景模型。滿足實際應用需求。本文的算法基于串行CPU實現，重建時間相對較長。同時本文使用歸一化體素網格表示三維場景，內存消耗大，因此限制了重建的場景大小。后續工作可將算法移植到CUDA平臺，用于GPU加速。同時使用Octree[19]或Voxel Hashing[20]來表示重建空間，以便重建更大場景。