面向微運動視頻的三維重建①

王晨麟,趙 正,張 濤,劉 洋

1(國網江蘇省電力有限公司 徐州供電分公司,徐州 221000)

2(江蘇萬安電力科技有限公司,南通 210018)

1 引 言

對真實世界的三維數字化是虛擬現實的核心研究任務之一. 高質量三維重建將可顯著提升虛擬現實場景的真實感并簡化建模過程,并廣泛應用于其他領域,如現場勘測、遙感航拍和消費電子等. 對真實場景的三維重建有多種方法,如結構光法、立體法、明暗法、光場法等. 在這些方法當中,立體方法(shape from stereo)通過場景不同角度的圖像信息進行場景的三維重建,具有低成本、易于部署和擴展性好等優勢. 特別地,隨著數碼相機和手機相機的發展,圖片質量和分辨率均得到顯著提高,捕獲場景圖像視頻數據變得非常便捷. 在這一背景下,立體方法,特別是多視角方法,日益成為對真實世界的重要三維感知手段. 多視角立體方法需要用戶在多個角度拍攝圖片或圍繞場景進行視頻的錄制,需保證圖片間具有足夠的基線以實現精確的三維重建. 寬基線假設增加了用戶拍攝和三維獲取的成本,并且在某些空間受限情況下,大范圍的移動相機并不可行.

與經典的多視角立體方法不同,本文考慮如下場景: 手持相機或智能手機進行拍照時,由于手部抖動或拍攝者對攝影畫面的局部調整,不可避免的導致相機發生微小運動(small motion),如圖1 所示. 對于此類包含極小視差的數據,主流三維重建方法,如COLMAP,將會由于較窄的基線導致重建過程失敗. 特別地,一些相機和數碼相機在拍照的同時可以直接記錄這樣的微小運動視頻(small motion clips),如iPhone 的實況照片(LivePhoto),松下相機的4K 預連拍和GoPro 相機的實況連拍(LiveBurst)等. 這類包含微小運動的極短視頻數據已經成為介于寬基線(wide-baseline)視頻和單目圖像之間的一類數據形式. 一方面,微運動視頻蘊含的視差信息可以有助于恢復三維場景; 另一方面,由于小基高比特性(相機的位移遠小于相機距離場景的距離),對應點的三角化過程易受噪聲影響,導致三維點重建過程具有較高的不確定性.

圖1 微運動視頻三維重建示意圖

為了解決微運動視頻三維重建問題,學術界已提出了一系列專門的方法. Yu 等[1]首次提出針對小運動視頻的三維重建方法,他們的方法首先基于小運動假設簡化旋轉矩陣的參數,在此基礎上提出基于特征跟蹤—光束平差重建—條件隨機場稠密深度估計的重建流程. Im 等[2]提出一種高效的小運動視頻稠密重建方法,其中包括一種法線約束和顏色信息引導的從稀疏到稠密插值方法,可以獲得場景的光滑深度. 文獻[3]進一步在文獻[2]的基礎上,引入基于平面掃描(planesweep)的精化操作,提升在特征分布稀少區域的稠密重建效果. 以上方法需要假設相機內參數已知(焦距和畸變系數等),限制了方法在任意相機模型和拍攝場景中的應用. Ha 等[4]提出面向無標定微運動視頻的方法,采用D-U 畸變模型來簡化畸變系數估計所帶來的復雜優化,并提出基于方差最小化成本函數的平面掃描法獲得深度圖. 文獻[5]進一步將深度學習方法引入微運動視頻的稠密重建中,實現對弱紋理的魯棒性. 針對城市場景,Li 等[6]提出一種魯棒的微運動視頻三維重建方法,包括基于線段特征約束的相機自標定和對噪聲魯棒的PatchMatch 稠密重建方法,并通過加權平均多個關鍵幀的深度圖進一步減小噪聲的影響.

雖然以上工作針對微運動視頻提出了一系列改進方法,逐漸提升了重建質量,然而這些方法[1–6]沒有考慮微運動視頻重建過程中的不確定性,賦予微運動視頻中不同鄰域視頻幀相同的權重,導致重建結果容易受到噪聲的影響,同時在稠密重建階段,缺乏一種有效的正則化方法來平滑噪聲的同時保持幾何結構. 針對這些問題,本文提出一種高精度的微運動三維重建方法,將不確定性顯示地考慮進重建過程中,在自標定階段,提出一種視點加權方法,減少窄基線的負面影響,在稠密重建階段,提出基于廣義全變分的深度圖平滑方法,提升稠密重建質量.本文方法技術流程圖如圖2 所示,主要貢獻總結如下.

圖2 提出的微運動視頻三維重建方法的技術流程圖.

(2)提出基于廣義全變分的深度估計方法,在抑制深度圖噪聲的同時保持傾斜結構和精細幾何特征.

本文在真實數據和合成上與主流方法進行了定量和定性評估實驗,驗證了提出方法的有效性.

本文余下內容組織如下: 第2 節論述相關工作,第3 節介紹提出的算法,第4 節給出實驗評估結果,第5 節對全文進行總結.

2 相關工作

基于圖像的立體三維重建是圖像生成的逆過程,旨在通過匹配多視角圖像間的對應點,估計場景的三維表面. 基于立體線索信息的三維重建可以分為兩個主要步驟: 從運動恢復結構(structure from motion,SFM)和多視角立體稠密重建(multi-view stereo,MVS). 針對這兩個子問題,已經提出了大量的研究工作[7–14],嘗試解決基于圖像的三維重建中存在的若干關鍵問題,包括: 弱紋理、大尺度重建、高反光重建等,逐漸提升了重建精度. 這些方法需要假設圖像間包含足夠的視差,以準確復原有效像素對應點. 然而,對于微小運動視頻,其運動幅度所誘導的視差非常小,對當前主流重建方法提出了挑戰.

針對微運動視頻的三維重建問題,學術界已經提出了若干重建方法. Yu 等[1]首次研究這一問題,提出簡化的旋轉矩陣參數化來減少問題的復雜性,并提出使用逆深度來約束深度的不確定性對優化過程的影響,提出基于能量最小化的深度估計方法改善噪聲的影響.該方法可復原由于手部抖動造成的微小運動,但其需要假設相機的內參數已知,并依賴耗時的能量優化過程. Im 等[2]提出了從稀疏到稠密的插值方法避免了耗時的稠密重建過程,其方法首先提出一種基于微小運動復原結構(strucure from small motion,SFSM)重建一組三維稀疏點,在此基礎上將三維稀疏點的二維投影當作是控制點,通過求解基于法線約束的權重最小平方的能量函數來補全缺失的深度. 這一方法依賴SFSM階段重建的稀疏三維特征點的分布和密度,如果稀疏三維特征點數量過少,則插值結果將偏離真實表面.Im 等[3]在其改進工作中,提出采用插值結果作為初始值,在此基礎上執行局部的平面掃描立體算法,提升了表明細節的重建效果. 文獻[15]將相機模型從透視模型寬展到球面模型,嘗試解決全景相機的微運動三維重建問題. 文獻[2,3,15]的方法也需要假設相機的內參數已經標定并且輸入圖像為已經過畸變矯正的圖像,然而在真實場景下相機的焦距和畸變系數可能和標定時不一樣(如對近景的焦距不適合遠景),因此固定相機內參數限制了方法在真實場景下的適用性.

為了增強方法處理真實拍攝場景下的靈活性,Ha等[4]提出了面向無標定微小運動視頻的三維重建方法.為了將相機內參,如焦距和畸變系數引入SFSM 的優化過程中,他們提出采用D-U 畸變模型來簡化畸變系數帶來的復雜的非線性優化問題. 在稠密重建階段,文獻[4]提出一種基于方差成本最小化的平面掃描方法,并通過基于最小生成樹的深度精化算法[16]來平滑噪聲和補全空洞. Im 等[5]將文獻[4]中的稠密重建步驟替換為深度學習方法,提升了弱紋理表面的重建完整度,但是由于深度學習的泛化能力問題,方法在一些與訓練數據差異較大的場景下表現較差,并且無法復原物體表面的細致結構. 針對城市場景,Li 等[6]提出基于點特征和線特征共同約束的SFSM 方法,提升了相機自標定的準確性,并提出一種對噪聲魯棒的PatchMatch深度圖估計方法快速復原一組關鍵幀的深度圖,通過多幀深度圖的加權平均進一步減小重建噪聲.

窄基線立體視差計算問題在遙感領域獲得了關注[17–19],用于遙感影像中的小基高比建筑物的視差,然而此類方法需要預先極線校正的立體圖像對作為輸入.微運動視頻也可以看作是光場問題的特例,在光場問題中,經過內參數和位姿標定的相機陣列稠密且均勻分布在空間中,光場方法[20,21]通過這一均勻且稠密的相機分布特性來計算圖像間的遮擋. 然而,微運動視頻相比窄基線立體視覺和光場問題更具挑戰性,這是因為其運動軌跡是任意的,并且相機參數未知. 因此從微運動復原三維結構不僅需要進行深度的估計還需要考慮相機的標定問題.

阿魚不讓人騎，干活卻是憋足力氣的。所以，爺爺待阿魚很好，每天半夜起身給它加草料，隔三岔五用自己做的大毛刷給它梳理毛發。

雖然方法[4–6]可以處理無標定的微運動視頻,但是這些方法在光束平差過程中,將所有鄰域視頻幀相同對待,忽略了不同視頻幀由于相對參考圖像的基線不同而具有不同可信度的事實,導致較差的重建精度. 并且在稠密重建階段,文獻[1–5]提出方法的重建結果忽略了場景的表面幾何細節和傾斜結構,而文獻[6]的方法缺乏有效的噪聲平滑手段,其重建結果仍包含明顯噪聲.本文提出一種高精度的微運動視頻三維重建方法,包含視點加權的光束平差方法和基于廣義全變分的稠密深度估計方法,可提升對窄基線所造成的噪聲的魯棒性.

3 提出的方法

3.1 問題定義

假設輸入微運動視頻序列為I={I1,I2,I2,···,IN},其中I∈I為視頻序列的參考幀. 參照主流工作[1–6],本文設置參考幀為視頻序列的第一幀. 微運動三維重建的目標是從輸入的視頻序列,估計每一視頻幀I的相機外參數{Ri,ti}和相機內參數f,k1,k2. 其中f為相機的焦距,k1,k2為相機的多項式畸變模型的一階和二階系數. 令鄰域視頻幀集合為J ?I,包含除了參考圖像之外的所有視頻幀. 在此基礎上,估計參考視頻幀的稠密深度圖D.

針對微運動視頻,本文提出的三維重建方法包括:(a)相機自標定和(b)稠密重建. 其中相機自標定將根據輸入視頻序列估計對應的相機位置姿態(旋轉和平移)和相機內參數(焦距和畸變系數); 而稠密重建計算參考圖像的稠密深度圖. 在第3.2 節和第3.3 節,將對這兩個步驟分別詳細介紹.

3.2 基于視點加權的微運動視頻的自標定

根據文獻[4],給定參考圖像I∈I和其對應的鄰域圖像J ?I,執行從微小運動復原結構算法,包括2 個關鍵步驟:

步驟1. 特征點檢測和匹配. 首先,使用Harris 角點檢測方法在參考圖像上檢測特征點,設特征集合為 P,其中p∈P為某一特征點. 然后針對參考圖像I和鄰域圖像集合 J,執行雙向的Kanade-Lucas-Tomasi (KLT)追蹤,如果參考圖像上的特征點p和它經由鄰域反追蹤回來的對應點q之間的距離小于閾值ε,則此特征點為候選特征點. 一個特征點是正確特征點(inlier)僅當它能夠在所有的鄰域圖像的雙向跟蹤下成為候選點. 令{P1,P2,···,PMp}表示特征點的軌跡集合,其中Pm=而pim∈Pm為參考圖像特征點pm在鄰域圖像Ii上的對應點.

步驟2. 光束平差. 假設在拍攝瞬間的相機焦距和鏡頭畸變固定不變,即所有輸入視頻幀I={I1,I2,I2,···,IN}具有相同的相機內參數. 令f是焦距,圖像中心為相機主點位置,畸變過程使用D-U 畸變模型F(·)=1+k1∥·∥+k2∥·∥將畸變圖像空間的像素點映射到無畸變空間,其中k1和k2是待估計的畸變系數. Ha 等[4]提出SFSM 優化模型如式(1):

其中,xm是特征點pm對應的三維點.ri和ti是旋轉和平移向量,πi是一個復合函數,其首先將三維點變換到視角i坐標系下,然后投影三維點到歸一化坐標空間,ρ為Huber損失函數. 微運動情況下,旋轉矩陣可以用式(2)近似:

其中,R代表從向量到矩陣的參數化,其中ri=(ri,1,ri,2,ri,3). 式(1)所定義的SFSM 方法已在文獻[4,5]中應用,將作為本文的基準方法. 本文指出,該方法將各個鄰域視角平等對待,忽略了不同視角相對于參考視角的基線不同,根據誤差傳播公式ez=(z)2/(baseline·focallength),假如鄰域視角Ii比Ij的基線更小,則Ii更易導致較大重建不確定性. 因此,如果Ii相對于參考視角的基線較小,則其應該具有更小的可信度. 基于以上討論,定義鄰域視角圖像Ii的權重為代表該視角的置信度,其中di是參考視角到鄰域視角Ii的所有對應點運動位移之和,即直觀上說,如果鄰域視角Ii相對于參考視角具有較大的運動位移,則該視角具有較大的權重. 基于以上分析,本文提出視角加權的光束平差方法,用于在優化過程中刻畫視角間的不確定性,其定義如下:

在實驗部分本文將對所提出的視點加權的光束平差方法與主流方法進行詳細的實驗比較,由于本文方法將視點不確定性考慮進優化過程,可顯著提升相機自標定的精度. 需要指出的是,相比基準方法,所提出的視點加權方法僅需要額外計算視角權重,因此并不顯著增加計算量.

3.3 基于廣義全變分的稠密重建

稠密重建的目標是基于SFSM 估計的相機參數和|J|個鄰域圖像數據,估計參考圖像I的深度圖D. 本文基于文獻[6],采用GPU 加速的PatchMatch Stereo 方法快速重建初始深度圖. 由于窄基線的影響,重建的深度圖包含噪聲,本文在此基礎上,引入廣義全變分對噪聲深度圖進行自適應平滑.

首先,對于像素p∈Ii,設它當前的深度假設值為dp與法線假設值為np,經由深度zp和法線np所構成的平面 Π和相機參數Pi,Pj,可計算p在鄰域圖像Ij的對應點qj. 通過參考圖像中以p為中心的r×r的圖像塊Rp與鄰域圖像Ij∈V(i)的對應匹配圖像塊Rq j計算匹配代價選擇最優的深度和法線假設. 匹配相似性函數定義為:ρj=ρ(R(p),R(qj)). 本文采用了如下intensity+gradient的成本函數:

其中,s∈Rp和t∈Rq j是參考圖像和鄰域圖像的對應點,參數 α調節圖像塊的灰度值差異和梯度值差異的權重,τc和 τg為兩個控制最大差異的常數. 仿射權重函數定義為其中 γ是參數,而 ∥I(p)?I(q)∥1計算I(p)和I(q)之間的L1-距離. 仿射權重減少遠離中心像素的像素影響.

對于小運動視頻,由于各幀之間視差很小,可以忽略遮擋的影響,則關于像素p的深度dp和法線np的多視角累積成本為:

PatchMatch 首先隨機初始化深度和法線值,方法通過交替執行鄰域傳播(propagation)和精化(refinement)步驟來不斷地優化深度和法線假設. 在文獻[22]所提出的方法中,采用一種基于GPU 的紅黑棋盤格傳播算法,可以在整幅圖像上并行的傳播鄰域的深度與法線假設. 其中精化操作采用二分法,不斷地在更小的區間內隨機尋找更優的深度和法線. Li 等[6]在文獻[8]的基礎上提出一種噪聲魯棒的PatchMatch 算法(noiseaware PatchMatch,N-PM),通過成本松弛和局部假設更新來改善噪聲的影響,并通過加權融合一組關鍵幀的深度圖實現對噪聲的進一步抑制. 然而由于窄基線的影響,重建的深度圖z0p仍包含噪聲,本文在文獻[6]的基礎上進一步改進,使用廣義全變分(generalized total variation,TGV)精化深度圖zp,使得平滑噪聲的同時保持傾斜結構和顯著幾何特征. 提出的基于TGV 的深度圖精細化操作定義如下:

其中,η(x)表示對稱梯度操作子α0和α1是控制平滑項的參數,v是一個輔助變量. 由于較小的基線將導致重建深度圖z0p的噪聲較大,因此需要較強的正則化項. 因此,正則化的強度需要根據當前輸入視頻序列的基線大小進行調整. 給定視頻片段 V,基線比例定義為其中dmin是當前深度圖z0p的最小深度點,而bmax是鄰域圖像集中相對于參考圖像的最大基線. 本文定義?和 α1的關系為α1=(??/σ)3,其中σ設置為20.

4 實驗分析

本文在多種數據集上對微運動視頻的自標定和稠密重建進行了定性和定量對比實驗. 數據集包括來自主流方法[3,4]的公開數據集和合成數據集,以及本文作者捕獲的數據集.

4.1 自標定算法評估

首先,本文對所提出的視點加權的自標定方法進行評估. 本文方法和基準方法[4,6]均采用30 幀微運動視頻幀作為輸入.

由于真實數據的外部參數未知,根據文獻[4,6]所提出的策略評估相機內參數估計的準確度,包含焦距和畸變系數. 其中焦距的評價包含了在數據集上的平均值、最大值和最小值. 畸變系數的估計采用文獻[4]所提出的策略: 首先在圖像閾建立一張均勻網格,使用真值畸變系數對網格進行形變,然后采用算法估計的畸變系數對其進行去畸變,計算去除畸變后的網格和原始網格的誤差,從而得到畸變系數的誤差. 本文給出各個算法在數據集上的平均畸變誤差、最大畸變誤差和最小畸變誤差.

本文分別在文獻[3]所給出的Canon 60D 數據集(4 個視頻片段),文獻[6]所給出的Nikon D5500 數據集(10 個視頻片段)和本文作者捕獲的Nikon D600 數據集(18 個視頻片段)上進行了定量評價. 其中Canon 60D 數據集如圖3 所示,Nikon D5500 數據集如圖4 所示,本文捕獲數據集如圖5 所示. 這3 個數據集的視頻規格均為30 幀,1920×1080,數據拍攝時候保持鏡頭焦距固定,數據集的內參數的真值采用棋盤格法[23]獲得.對于Canon 60D 和Nikon D600 數據集,本文使用Ha 等提出的方法[4]作為基準方法. 對于Nikon D5500 數據集,由于其弱紋理等挑戰性,文獻[4]方法容易導致較大重建誤差,為此選用文獻[6]的線特征約束的SFSM方法作為基準方法,在此方法基礎上引入本文提出的視點加權策略. 對于每個數據集,執行SFSM 之前的焦距的初始值等于圖像維度的最大值,畸變系數設置為0.

圖3 Canon 60D 數據集[3]

圖4 Nikon D5500 數據集[6]

圖5 本文捕獲的Nikon D600 數據集部分樣例

表1–表3 分別展示了本文方法和基準方法[4,6]在3 個數據集上的量化對比. 從實驗結果可以看出本文提出的視點加權方法在不同相機拍攝的室內和室外視頻片段中均可以實現高質量的自標定,在絕大多數量化指標項上實現了比基準方法更好的結果,本文分析這是由于所提出的視點加權的光束平差方法考慮了不同鄰域視點的基線大小導致的重建不確定性,可以減小窄基線視點的影響同時增大較寬基線視點的權重,從而有效地減弱了微運動視頻的窄基線對自標定的影響,提升了自標定的精度.

表1 Canon 60D 數據集上的自標定結果(像素)

表2 在Nikon D600 數據集上的自標定結果(像素)

表3 在Nikon D5500 數據集上的自標定結果(像素)

4.2 稠密重建算法評估

進一步地,本文對稠密重建算法進行評估. 首先在合成數據集上進行定量評價. 合成數據集來自文獻[6],其使用Blender 軟件對真實感場景沿一條直線上均勻分布的視點進行渲染,獲得微運動相機軌跡. 合成數據總共包含5 組相機軌跡和對應圖像數據,每組包含31 張圖像,并提供了深度真實值. 相機的基高比使用基線與最小深度比值的log10 來刻畫,分別為: ?3.0,?2.5,?2.0,?1.5 和?1.0,值越小則基高比越小,重建的不確定性越大. 為了專注于稠密重建算法本身的誤差,稠密重建算法相機參數采用數據集提供的真值參數. 誤差度量指標包括R1 和MAD. 其中MAD 表示估計深度與真值深度的平均絕對差異值,該指越小越好,而R1 表示像素的深度估計值與真值深度的誤差值小于最大真值深度的1%的像素比例,該值越大越好. 量化評估結果如表4 所示. 在表4 中,本文分別給出了主流方法[4–6]的重建結果,其中,R1 指標越大越好,MAD 指標越小越好. 可以看出,本文方法顯著提升了重建精度,在不同基線下均實現最好的重建結果,證明了方法的有效性.

表4 合成數據集上不同基高比的量化評價結果

除了定量比較,本文還定性地比較了在不同基高比下,提出的方法和對比方法[4–6]的重建結果,如圖6所示. 其中數據集的基高比為–2.0. 為了幫助可視化,深度圖使用法線圖形式進行渲染. 可以看出本文方法顯著減少了重建誤差,重建結果更加平滑且保留傾斜結構和豐富的幾何細節. 本文還在真實數據集上進行了稠密重建的定性比較實驗,如圖7 所示,平滑的重建結果進一步驗證了方法的有效性.

圖6 合成數據上的深度估計 (第2 行為對應的R1 誤差圖)

圖7 真實數據集上的定性評估,數據集來自文獻[4]

4.3 iPhone 實況照片的重建結果

特別地,本文采用iPhone 6S 的實況照片模式捕獲了一組真實場景的微運動視頻數據. 在實況照片模式下,用戶手持手機按下快門,可同時拍攝一張照片和一個記錄了拍攝瞬間前1.5 s 和后1.5 s 的視頻. 首先將視頻等間隔采樣,獲得30 幀數據. 在此數據基礎上,執行本文提出的視點選擇和稠密重建,獲得的重建結果如圖8 和圖9 所示. 可以看出針對不同的場景下拍攝的實況照片,本文方法可以實現高質量的三維重建,驗證了方法的有效性.

圖8 針對iPhone 實況照片拍攝的貓雕塑數據的重建結果

圖9 針對iPhone 實況照片拍攝的咖啡杯數據的重建結果

5 結論與展望

微運動視頻來自拍攝瞬間的手部抖動,提供了一種獲取場景深度信息的便捷方式,同時極小的基線也為三維重建算法提出了挑戰. 本文提出一種高精度的微運動重建方法,包括一種基于不確定性的視點加權相機自標定精度,以及一種基于廣義全變分的稠密重建算法,提升了重建算法對于窄基線所誘導的噪聲的魯棒性. 此外提出的整個系統框架還可以應用于手機自帶的動態照片,可方便的重建場景的深度圖. 基于重建的深度圖,提出的方法可潛在地應用于場景建模、照片重定焦、局部著色等任務.