VR 中真實(shí)場(chǎng)景的多視圖三維重建

周曉雨，林 嫻，李志揚(yáng)

（華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院，湖北 武漢 430079）

1 引言

近年來(lái)，隨著智能手機(jī)、頭盔立體顯示等技術(shù)的發(fā)展和普及，虛擬現(xiàn)實(shí)技術(shù)取得了飛速發(fā)展。在VR 技術(shù)中場(chǎng)景建模是最關(guān)鍵的一步。3D 游戲通常采用專(zhuān)業(yè)三維建模軟件，如Autodesk Maya、Autodesk 3ds Max 等進(jìn)行建模，此方法耗時(shí)耗力，所建模型為虛擬場(chǎng)景。對(duì)真實(shí)場(chǎng)景一般需要借助專(zhuān)業(yè)三維掃描設(shè)備，此方法測(cè)量精度高，但設(shè)備價(jià)格昂貴，不利于大范圍推廣。為此本文將多視圖三維重建技術(shù)應(yīng)用于VR，實(shí)現(xiàn)真實(shí)場(chǎng)景的建模。該方法直接從多個(gè)視角的2D 圖像提取場(chǎng)景的三維信息，數(shù)據(jù)采集簡(jiǎn)單快捷，成本低廉，但由于遮擋、光照變化、特征弱等各種因素，建模過(guò)程會(huì)出現(xiàn)噪聲、空洞等各種瑕疵。

目前基于多視角圖像的三維重建算法主要有三類(lèi)[1-4]：①基于體像素的三維重建算法；②基于深度圖的三維重建算法；③基于特征點(diǎn)生長(zhǎng)的三維重建算法。本文采用基于特征點(diǎn)生長(zhǎng)的三維重建技術(shù)，通過(guò)對(duì)現(xiàn)實(shí)場(chǎng)景進(jìn)項(xiàng)圖像采集，然后對(duì)多幅圖像進(jìn)行特征點(diǎn)檢測(cè)、匹配，生成稀疏種子點(diǎn)云，并在此基礎(chǔ)上增加生長(zhǎng)點(diǎn)有條件的初值矯正優(yōu)化等措施，提高重建的精確性，降低噪聲、空洞等引起的重建錯(cuò)誤。

2 三維重建原理

如圖1 所示，本文提出的基于多視圖的三維重建方法主要包括5 個(gè)步驟：①對(duì)需要建模的真實(shí)場(chǎng)景進(jìn)行圖像采集，獲取多幅不同角度的照片，在采集圖像時(shí)圍繞景物轉(zhuǎn)動(dòng)，每轉(zhuǎn)動(dòng)一定角度拍攝一張照片，確保場(chǎng)景被完整的記錄下來(lái)；②采用尺度不變特征變換算法（SIFT）[5]和最鄰近方法[6]對(duì)圖像進(jìn)行特征點(diǎn)的提取和匹配；③通過(guò)SFM[7]和改進(jìn)后的PVMS[8]生成稀疏點(diǎn)云；④生長(zhǎng)稠密點(diǎn)云；⑤生成3D 網(wǎng)格重建模型。每個(gè)步驟的更詳細(xì)的解釋如下。

2.1 特征點(diǎn)的提取和匹配

各個(gè)角度的二維圖像是重建稀疏種子點(diǎn)的基礎(chǔ)。本文采用尺度不變特征變換算法（SIFT）和最近鄰方法進(jìn)行特征點(diǎn)的提取與匹配。

檢測(cè)sift 特征點(diǎn)時(shí)，需在多尺度空間中尋找極值點(diǎn)來(lái)檢測(cè)穩(wěn)定的點(diǎn)特征，然后使用高斯差分算子建立起的差分（DOG）[9]空間進(jìn)行檢測(cè)。在特征點(diǎn)的提取中，先利用相差K 倍的高斯核對(duì)原圖像卷積，再利用高斯金字塔上下相鄰的兩層圖像之間的差值得到高斯差分圖像(DOG 圖像)，確定關(guān)鍵點(diǎn)尺度和方向參數(shù)，并生成描述符算子。待sift 特征描述符提取后，對(duì)特征點(diǎn)進(jìn)行匹配。取出一張圖像的一個(gè)特征點(diǎn)，根據(jù)需求設(shè)定閾值，計(jì)算出此點(diǎn)與另一圖像所有特征關(guān)鍵點(diǎn)的歐式距離，選出歐式距離最近的兩個(gè)特征關(guān)鍵點(diǎn)，計(jì)算出最鄰近與次鄰近距離，如果最鄰近距離除以次鄰近距離的值小于閾值，則認(rèn)為這兩點(diǎn)為一對(duì)匹配點(diǎn)。

圖1 三維重建的流程圖

2.2 稀疏點(diǎn)云獲取

通過(guò)足夠數(shù)量的匹配特征點(diǎn)可以求取相機(jī)的投影矩陣，并確定每個(gè)特征點(diǎn)的三維空間坐標(biāo)，得到稀疏點(diǎn)云。首先按圖像分辨率從低到高的順序搜索，剔除分辨率較低的圖片；再?gòu)闹羞x取兩幅具有比較多匹配特征點(diǎn)且視角不同的圖像，通過(guò)三角測(cè)量方法求解這些匹配特征點(diǎn)的對(duì)應(yīng)空間位置坐標(biāo)和相機(jī)參數(shù)；然后逐步增加新的圖像進(jìn)行計(jì)算，并利用Bundle Adjust 算法[10]調(diào)整優(yōu)化所有相機(jī)的參數(shù)和空間位置坐標(biāo)。重復(fù)上述操作，直至完成所有圖像的計(jì)算。

2.3 稠密點(diǎn)云生長(zhǎng)

從每個(gè)稀疏種子點(diǎn)出發(fā)，可以通過(guò)生長(zhǎng)求出其近鄰點(diǎn)，再以已經(jīng)生長(zhǎng)出的點(diǎn)為種子點(diǎn)，反復(fù)多輪生長(zhǎng)可以得到稠密點(diǎn)。目前基于特征點(diǎn)生長(zhǎng)的稠密點(diǎn)云算法中的PVMS 算法已經(jīng)成為三維重建方面的流行算法之一，但這種方法完全從種子點(diǎn)出發(fā)確定生長(zhǎng)的初始值，容易陷入局部極值，導(dǎo)致重建出來(lái)的模型有很多毛刺漏洞，影響重建的完整度和真實(shí)性，因此我們對(duì)其進(jìn)行改進(jìn)，增加了初值矯正這一環(huán)節(jié)，使得生長(zhǎng)點(diǎn)初始值更加準(zhǔn)確，避免陷入局部極值，從而提高重建質(zhì)量。其核心思想是在首輪重建時(shí)，從種子點(diǎn)估計(jì)初始值，而當(dāng)經(jīng)過(guò)多輪重建，生長(zhǎng)點(diǎn)達(dá)到一定稠密度后，通過(guò)已生長(zhǎng)點(diǎn)進(jìn)行初始值矯正。具體步驟如下。

2.3.1 生長(zhǎng)點(diǎn)的初始值

將已生長(zhǎng)的點(diǎn)視作種子點(diǎn)，由于待生長(zhǎng)點(diǎn)與該點(diǎn)鄰近且方向相差不大，所以采用該點(diǎn)的方向作為生長(zhǎng)點(diǎn)的初始方向。根據(jù)三角測(cè)量原理，要想確定一個(gè)點(diǎn)的空間位置至少需要兩幅圖片。因此進(jìn)行生長(zhǎng)前要從多幅圖像中選取最合適的幾張圖片。首先優(yōu)先選擇正對(duì)生長(zhǎng)點(diǎn)的清晰圖片作為參考圖片，然后選取與已選參考圖片分辨率相差不大，但拍攝角度不同，不與已選圖片的相機(jī)處在同一平面拍攝，且兩張圖片的視線夾角適中的圖片。

選定圖片后，不斷迭代優(yōu)化生長(zhǎng)點(diǎn)的空間位置和方向，直至兩幅圖片中對(duì)應(yīng)窗口內(nèi)的灰度分布成比例關(guān)系，認(rèn)為得到該生長(zhǎng)點(diǎn)最終的空間位置和方向。具體比例關(guān)系為：

式（1）中：IR和IK分別為先選的參考圖的灰度值和后選的輔助圖片的灰度值；（s，t）為生長(zhǎng)點(diǎn)投影到參考圖中的像素坐標(biāo)；（s+i，t+j），（s+i，t+j）K分別為參考圖片和輔助圖中對(duì)應(yīng)窗口的第（i，j）格點(diǎn)的像素坐標(biāo)；CK為常數(shù)。

我們?cè)趯?shí)驗(yàn)中發(fā)現(xiàn)窗口內(nèi)圖像的紋理清晰度和圖像視角等因素都會(huì)對(duì)上述的優(yōu)化結(jié)果產(chǎn)生一定的影響，所以在實(shí)驗(yàn)過(guò)程中要根據(jù)情況調(diào)整窗口的大小，來(lái)保證其中有足夠的紋理，使優(yōu)化盡量成功。在調(diào)整窗口大小時(shí)一般參考下式：

式（2）中：σv為主要圖片窗口內(nèi)的灰度方差；thv為固定閾值。

2.3.2 初值矯正

如果生長(zhǎng)點(diǎn)的初始空間位置遠(yuǎn)離物體模型表面，且其方向與真實(shí)方向相差程度很大，得到優(yōu)化后的結(jié)果準(zhǔn)確度不高，從而導(dǎo)致重建點(diǎn)精度不高。為了提供更好的初始值，使優(yōu)化結(jié)果更加精確，在多輪重建以后，對(duì)于滿足以下兩個(gè)條件的生長(zhǎng)點(diǎn)進(jìn)行二重曲面擬合，用得到的二重曲面替換物體模型表面，同時(shí)利用生長(zhǎng)點(diǎn)在曲面上的投影矯正其初始值，然后利用矯正后的初始值優(yōu)化該點(diǎn)，并有條件的保留生長(zhǎng)點(diǎn)的結(jié)果。

其中第一個(gè)條件是待矯正點(diǎn)附近的點(diǎn)的分布不能太稀疏。因?yàn)檫@些點(diǎn)分布太稀疏的話，得到的曲面不能很好體現(xiàn)物體表面局部的起伏變化情況，造成誤差。因此要選出待矯正點(diǎn)周?chē)嗨罱腘 個(gè)點(diǎn)，并算出它們與待矯正點(diǎn)之間的平均距離。如果結(jié)果滿足則表明該區(qū)域的點(diǎn)滿足條件，可以對(duì)該點(diǎn)進(jìn)行二重曲面擬合。反之，放棄對(duì)該點(diǎn)進(jìn)行初值矯正。

第二個(gè)條件是待矯正點(diǎn)要在其周?chē)浇狞c(diǎn)籠蓋的中心區(qū)域附近。我們?cè)趯?shí)驗(yàn)中發(fā)現(xiàn)離中心區(qū)域較遠(yuǎn)的待矯正點(diǎn)擬合到的二重曲面，矯正后的初始值精確度不高。因此，對(duì)于滿足以上兩個(gè)條件的待矯正點(diǎn)，即可采用進(jìn)行二重曲面擬合，其中c1到c6為常數(shù)，擬合后可以確定其取值。如果優(yōu)化后的生長(zhǎng)點(diǎn)與擬合曲面相距不遠(yuǎn)，且與其對(duì)應(yīng)的擬合曲面的方向相差不大，則用此次結(jié)果替換之前的結(jié)果，反之保留之前的結(jié)果。最后，過(guò)濾重建誤差較大的點(diǎn)，得到密集點(diǎn)云。

2.4 重建三維模型

本文采用泊松表面重建算法[10]將稠密點(diǎn)云模型轉(zhuǎn)換為表面網(wǎng)格模型。該算法假定稠密點(diǎn)云的每一個(gè)點(diǎn)在模型表面均勻分布，然后根據(jù)樣本點(diǎn)得到指示函數(shù)，并求出指示函數(shù)的梯度與表面曲面法線場(chǎng)的積分之間的關(guān)系。提取等值面，將模型表面重建為一個(gè)無(wú)縫的三角逼近，最終得到一個(gè)完全閉合的表面。

3 實(shí)驗(yàn)結(jié)果

作為示例，本文對(duì)學(xué)校博雅廣場(chǎng)的一處石頭場(chǎng)景進(jìn)行了多視圖三維重建，以生成VR 所需要的三維模型。首先用相機(jī)圍繞該石頭場(chǎng)景拍攝一組照片，如圖2 所示，其中包括不同光線條件下的照片。其次篩選出可用的照片后提取特征點(diǎn)，通過(guò)SFM 算法生成稀疏點(diǎn)云，并獲取相機(jī)的空間位置和參數(shù)信息，如圖3 所示。通過(guò)初始值矯正、優(yōu)化生長(zhǎng)和濾波等環(huán)節(jié)，獲得稠密點(diǎn)云，最后通過(guò)泊松表面重建算法將點(diǎn)連成面，獲得最終三維重建場(chǎng)景，如圖4 所示。從圖4 可以看出，改進(jìn)后的多視角三維重建算法具有較好的重建效果，還原度高，因此可以用于VR 真實(shí)場(chǎng)景建模。

圖2 石頭場(chǎng)景的不同角度的代表性照片

4 結(jié)論

本文提出了一種改進(jìn)的基于特征點(diǎn)生長(zhǎng)的多視角三維重建方法，通過(guò)在傳統(tǒng)算法中加入有條件的初值矯正環(huán)節(jié)，避免了生長(zhǎng)過(guò)程終止于局部極值點(diǎn)，提高了重建精度。由于該算法所重建的三維模型具有較好的完整性和真實(shí)性，因此可以用于VR 中真實(shí)場(chǎng)景的建模。

圖3 SFM 獲取的稀疏點(diǎn)云及相機(jī)空間位置

圖4 石頭場(chǎng)景的三維重建結(jié)果