基于物方體素約束的深度圖融合方法

張帥哲 劉振東 劉 新 蔡昊琳 屈文虎 張 棟

(1. 山東科技大學 測繪與空間信息學院, 山東 青島 266590; 2. 中國測繪科學研究院, 北京 100089; 3. 泰安金土地測繪整理有限公司, 山東 泰安 271018)

0 引言

基于多視立體視覺的三維重建技術是攝影測量與計算機視覺領域中的研究熱點,涉及多學科知識,被廣泛應用于自動駕駛、城市建設、醫學成像、文化遺址保護等領域[1]。在三維重建流程中,稠密重建是二維影像轉換為三維模型的關鍵一環,一般包括密集匹配和深度融合兩個主要步驟[2]。深度融合是指將不同視角的深度圖融合到統一的坐標框架下并進行表面計算,以產生整個場景的密集點云。

根據文獻[3]所述,深度融合方法主要分為基于體素的融合方法[4-5]、基于特征點擴散的融合方法[6-8]和基于深度圖的融合方法[9-14]。其中,基于深度圖的融合方法具有較高的魯棒性、靈活性[13]。因此,該類方法成為最常用的深度融合方法。目前,學者們在基于深度圖的融合方法方面開展了大量的研究。Shen[9]首先計算出每個像素對應的三維點,通過重投影將三維點重投影到鄰居影像上,比較三維點所對應像素的深度值和三維點與影像的距離,并結合深度一致性篩選點云。劉怡光等人[13]提出一種基于置信度的方法來刪除密集點云中的冗余,該方法賦予每個三維點一個置信度,并在互為冗余的三維點中保留置信度最高的三維點。Liu等人[14]通過定義有限數量的虛擬視角,盡可能地減少密集點云的冗余并覆蓋全部場景,在虛擬視角上融合深度圖。

以上幾種方法至少在以下兩方面有待改進：一是,密集點云存在密度較大的問題;二是,密集點云存在較多噪聲和異常點。鑒于此,本文提出一種基于物方體素約束的深度圖融合方法,用于降低點云密度同時盡可能保證點云質量。

1 本文方法

1.1 體素網格尺寸自適應計算

多視影像進行深度圖融合時,針對現有大多數方法生成的密集點云的密度不可控問題,本文將在物方建立體素網格進行空間唯一性約束。體素尺寸是需要根據影像的地面分辨率來自適應確定的。一般來說,影像地面分辨率越高,經深度圖融合方法生成的點云越密集且質量越高。本文依據影像地面分辨率構建體素網格尺寸函數。

構建體素網格尺寸函數時,首先應計算影像地面分辨率。考慮到小孔成像原理導致圖像中不同區域的像素對應的地面分辨率存在一定差異,因此本文將計算影像的平均地面分辨率作為體素網格尺寸函數中的影像地面分辨率。另外,為加快計算速度,本文將整幅影像劃分為多個子區域;然后在每個子區域中,隨機采樣1～3個像素坐標,并將其作為計算影像平均地面分辨率的采樣點。構建體素網格尺寸函數的第二步是求解場景的地面分辨率并計算體素網格尺寸。①求解影像的地面分辨率。影像中所有采樣點的地面分辨率的平均值近似作為影像的地面分辨率;而采樣點的地面分辨率則以采樣點及其1階鄰居在物方的距離求和取平均。②計算體素網格尺寸。由于影像地面分辨率是影像中可識別地面物體的最小像素單元,體素網格尺寸不應小于影像地面分辨率,因此以場景中所有影像的地面分辨率的平均值乘以一個系數作為體素網格尺寸,如式(1)所示。

(1)

其中,ds表示體素網格尺寸;α表示計算系數;li表示影像的地面分辨率;n表示影像數量。注意,α值的大小將會直接改變體素網格尺寸進而影響深度圖融合生成的密集點云的密度和質量。在保證點云質量的前提下,建議α合理的范圍為1.0～2.0。

1.2 基于幾何特征約束的融合點確定

本文方法第二步是融合點的確定,與文獻[9]和文獻[15]方法類似,在深度一致性條件的基礎上,本文方法引入物方點空間距離、物方點法線夾角、重投影誤差等幾何特征約束條件。具體過程如下。

步驟1：依次將多視影像集合中的每張影像作為參考影像Iref,并確定其鄰居影像集Isrc。然后,遍歷計算參考影像中像素q對應的三維點P,如圖1所示。

圖1 融合點計算示意圖

步驟3：多幾何特征約束判斷。本文利用物方點空間距離、物方點法線夾角、重投影誤差等幾何特征作為判斷條件,如式(2)所示,確定參考影像的像素q能否生成融合點P。

(2)

其中,d為像素q與像素q″在圖像坐標系中的距離;dep1為像素q在參考影像Iref所對應深度圖中的深度值;dep2為三維點P′相對于參考影像Iref的深度值;A(nq,nq′)為像素q與像素q′所對應法線之間的夾角;D為三維點P與三維點P′之間的距離;θrad為像素q所對應的地面分辨率。

1.3 基于物方體素約束的融合點篩選

通過1.2節生成的融合點集合仍存在密度大的問題,本文還需對融合點集進行篩選。融合點集合的密度大主要是由于鄰近影像間的重疊度較大,導致同一地物極有可能會被多張影像觀察到,因此在同一地物處可能會生成多個融合點。如圖2所示,I0、I1、I2、I3、I4分別表示五張鄰近的影像;虛線框G0、G1、G2分別代表不同的影像組,影像組中的參考影像分別為I1、I2、I3,其余影像作為鄰居影像;點P表示真實世界中的三維點,位于體素V中;P0、P1、P2分別代表由相應影像組確定的融合點。理想情況下,P0、P1、P2三個點的坐標值應與P點相同,但由于誤差的存在,導致P0、P1、P2三個點無法與真實世界的三維點完全重合。從圖2可以看出,體素V中產生了多個融合點。

圖2 深度圖融合示意圖

為解決上述問題,本文引入入射角角度、物方點的歸一化互相關系數(normalized cross correlation,NCC)、重投影誤差等多個約束條件聯合構建融合點權重函數,僅保留體素中權重值最高的融合點并作為體素的代表點,權重函數如式(3)所示。

(3)

由于八叉樹是一種常用且高效的三維空間搜索的樹結構,因此,本文利用動態八叉樹查詢融合點位于的體素節點并利用融合點的權重值進行篩選。具體步驟如下。

步驟1：創建包含根節點的八叉樹。遍歷融合點,定位其在八叉樹中的體素節點v。

步驟2：判斷體素節點v內是否存在融合點Pv。若不存在,則將融合點P的空間坐標、權重值以及顏色信息存儲在體素節點v中;若存在則進入步驟3。

步驟3：若體素v的尺寸大于1.1節中自適應計算的體素網格尺寸,則將體素v進行劃分,停止條件分為兩種情況：①融合點P與融合點Pv位于劃分后的不同體素節點中;②劃分后的體素節點尺寸等于1.1節中計算的體素網格尺寸,同時比較融合點P與融合點Pv的權重值,保留權重值較高的融合點。若體素v的尺寸等于1.1節中自適應計算的體素網格尺寸,則在融合點P與融合點Pv中保留權重值較高的融合點。

步驟4：判斷所有的融合點是否全部完成篩選。若完成,則收集所有體素節點中存儲的融合點及其相關信息,生成密集點云;否則繼續執行上述步驟。

2 實驗驗證

2.1 實驗數據及環境

本文依托中國測繪科學研究院研制的傾斜攝影自動化三維建模軟件IMS,嵌入本文的深度圖融合方法,采用兩類傾斜影像數據集進行實驗。第一類數據集為滕州市某鎮駐地傾斜影像數據。數據集共有影像34 364張,每張影像的地面分辨率為0.03 m,整個測區重建范圍為8.62 km2,具體如圖3所示。第二類數據集為ETH3D公開數據集,它不僅提供數碼單反相機(digital single lens reflex camera,DSLR)拍攝的高分辨率圖像,而且還提供高精度激光掃描儀記錄的真實點云數據。實驗硬件環境為：處理器Inter(R) Core(TM) i9-10900X 3.70 GHz,顯卡NVIDIA GeForce RTX 3080,運行內存128 GB。

圖3 實驗區域展示

本文將從密集點云的密度以及質量兩方面進行效果驗證。由于本文方法是在Shen的深度融合方法[9]基礎上進行改進,Shen的方法已經嵌入在OpenMVS中,因此本文方法的結果將與OpenMVS的結果進行對比分析。

2.2 密集點云密度定量分析

本文方法和OpenMVS方法都將PatchMatch方法生成的深度圖作為輸入,并在同一環境下進行實驗。從實驗數據中選取代表性區域(包含植被、道路、建筑等地物)進行實驗。

若實驗區域的所有深度圖進行一次性整體融合生成密集點云,則計算機內存無法滿足計算需求,因此本文將實驗區域劃分為多塊子區域(子區域大小為155 m×155 m)然后分塊融合。此處,隨機取其中6塊子區域進行分區域融合,具體如圖3所示,然后統計密集點云密度。結果如表1所示。

表1 密集點云密度統計對比

從表1可以看出,本文方法生成的密集點云的密度在各個子區域均比OpenMVS方法要少。證明了本文方法能夠有效降低密集點云的密度。主要是因為OpenMVS方法在融合過程中并未對場景中同一位置處的融合點進行識別篩選;而本文方法采用物方體素約束,對場景中同一位置處的融合點進行識別篩選,從而大幅降低密集點云的密度。此外,在邊緣區域的密集點云數量減少較少,主要是因為該子區域位于整個場景的邊緣部分,影像數量及冗余度較少;而在中間區域,影像數量及冗余度較多,密集點云數量減少明顯。

2.3 密集點云質量定量分析

為驗證本文方法生成的密集點云質量,本文將從密集點云的精度、完整度兩個方面進行定量分析。點云精度被定義為重建點云集合中所有點到真實點云集合中最小距離的平均值。點云完整度被定義為真實點云集合中所有點到重建點云集合中的最小距離小于1.5倍點云精度的點云數在真實點云集合中的比重。本節采用ETH3D公開數據集進行點云質量的對比分析。質量對比結果如表2所示，courtyard數據集的密集點云展示如圖4所示。

表2 密集點云質量統計對比

(a)真實激光點云數據

(b)OpenMVS生成的密集點云

(c)本文方法生成的密集點云圖4 courtyard數據集的密集點云展示

結合表2和圖4可以看出,①精度方面：本文方法生成的密集點云精度均比OpenMVS方法要高。主要是由于在深度圖融合過程中,OpenMVS方法只考慮深度差異作為約束條件,導致生成的密集點云中存在較多的噪聲和異常點;而本文方法通過引入多重幾何特征約束計算融合點,且在融合點的篩選過程中,利用權重值選出高質量的融合點,因此密集點云中的噪聲和異常點較少。從圖4(b)、圖4(c)的整體以及局部細節中可以看出本文方法相對于OpenMVS方法噪聲和異常點減少較多。②完整度方面：本文方法生成的密集點云完整度均低于OpenMVS方法。這是由于本文方法所使用的約束條件較為嚴格,且通過物方體素約束進一步降低密集點云的密度,導致完整度稍微偏低。但從圖4可以看出,本文方法生成的密集點云仍能較好地保證地物結構的完整度,且與OpenMVS方法所得結果并無太大差異。

3 結束語

現有基于深度圖融合的方法生成的密集點云還存在點云密度大且質量參差不齊的問題。為此,本文提出一種基于物方體素約束的深度圖融合方法,通過物方體素約束降低點云密度,同時通過多個約束條件聯合構建融合點權重函數,剔除噪聲和異常點,提高點云質量。通過實驗驗證及對比分析,得出結論如下：

(1)通過構建物方體素網格,同時利用動態八叉樹方法,能夠有效地降低點云密度。與現有基于深度圖融合的方法相比,本文方法在點云密度方面整體平均減少58.27%。

(2)通過多個約束條件聯合構建融合點權重函數,能夠有效地剔除密集點云中的噪聲和異常點。與現有基于深度圖融合的方法相比,本文方法在點云精度方面提升44.75%。但在密集點云的完整度方面,與現有基于深度圖融合方法相比降低8.60%。

在多視影像建模流程中,建模的質量和效率是兩個主要關鍵指標。目前,本文方法能夠在有效降低密集點云密度的同時保證點云的質量,但效率還有待提升。在未來研究中,重點將集中解決深度融合中的冗余計算問題,用于提高融合效率。