基于RGB-D單目視覺(jué)的室內(nèi)場(chǎng)景三維重建*

劉三毛，朱文球，孫文靜,王業(yè)祥

(湖南工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，湖南 株洲 412007)

基于RGB-D單目視覺(jué)的室內(nèi)場(chǎng)景三維重建*

劉三毛，朱文球，孫文靜,王業(yè)祥

(湖南工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，湖南 株洲 412007)

針對(duì)室內(nèi)環(huán)境單目視覺(jué)的室內(nèi)場(chǎng)景三維重建速度慢的問(wèn)題，采用華碩Xtion單目視覺(jué)傳感器獲取的室內(nèi)場(chǎng)景彩色圖像和深度圖像進(jìn)行快速三維重建。在圖像特征提取上使用ORB特征檢測(cè)算法，并對(duì)比了幾種經(jīng)典特征檢測(cè)算法在圖像匹配中的效率，在圖像匹配融合中采用Ransac算法和ICP算法進(jìn)行點(diǎn)云融合。實(shí)現(xiàn)了一種室內(nèi)簡(jiǎn)單、小規(guī)模的靜態(tài)環(huán)境快速三維重建方法，通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法有較好的精確性、魯棒性、實(shí)時(shí)性和靈活性。

單目視覺(jué)；點(diǎn)云；三維重建

0 引言

三維重建(3D Reconstruction)是指利用計(jì)算機(jī)、傳感器，通過(guò)對(duì)場(chǎng)景的紋理、深度等數(shù)據(jù)進(jìn)行分析和處理后構(gòu)建適合計(jì)算機(jī)表示和處理的數(shù)學(xué)模型。隨著工業(yè)信息技術(shù)的發(fā)展三維重建得到了廣泛應(yīng)用，如在移動(dòng)機(jī)器人自主導(dǎo)航、SLAM、虛擬現(xiàn)實(shí)和3D打印等諸多方面都發(fā)揮著十分重要的作用[1]。

1965年ROBERT L提出了使用計(jì)算機(jī)視覺(jué)方法從二維圖像獲取物體三維信息的可能性。FAUGRAS M A和Hartley[2-3]于1992年開(kāi)創(chuàng)性地提出了基于圖像系列的三維重建理論，在他們的論文中，把三維重建總結(jié)為3個(gè)步驟：基礎(chǔ)矩陣的估計(jì)、攝像機(jī)的標(biāo)定以及計(jì)算投影矩陣和相應(yīng)的三維空間坐標(biāo)。即輸入二維圖像，通過(guò)求解對(duì)應(yīng)攝像機(jī)運(yùn)動(dòng)參數(shù)及幾何結(jié)構(gòu)，生成圖像場(chǎng)景的三維模型。隨著RGB-D相機(jī)的成熟，它可提供彩色深度圖像和稠密深度圖像視頻流，這使得結(jié)合三維深度感測(cè)的視覺(jué)功能優(yōu)勢(shì)來(lái)快速、準(zhǔn)確地創(chuàng)建大場(chǎng)景的三維場(chǎng)景信息[4-5]成為現(xiàn)實(shí)。

采用RGB-D相機(jī)獲取彩色圖像和深度圖像，使用深度圖像信息結(jié)合稀疏特征點(diǎn)創(chuàng)建三維場(chǎng)景模型。首先提取每幀圖像的特征點(diǎn)，通過(guò)特征匹配找到兩幀圖像之間的對(duì)應(yīng)特征點(diǎn)，由深度圖像信息計(jì)算出對(duì)應(yīng)點(diǎn)對(duì)的空間坐標(biāo)(Xw,Yw,Zw)。針對(duì)圖像特征點(diǎn)誤匹配導(dǎo)致位姿估計(jì)的精度低的問(wèn)題，采用隨機(jī)采樣一致性算法(Random Sample Consensus,RANSAC)[6]剔除誤匹配點(diǎn)，其次在點(diǎn)云融合上，結(jié)合迭代最近算法(Iterative Closest Point，ICP)[7]進(jìn)行點(diǎn)云配準(zhǔn)以進(jìn)一步改善位姿精度，減少相機(jī)位姿漂移造成的誤差。

1 2D到3D坐標(biāo)轉(zhuǎn)換

設(shè)三維空間中任意一點(diǎn)P的坐標(biāo)為(Xw,Yw,Zw)，該點(diǎn)對(duì)應(yīng)的相機(jī)坐標(biāo)系坐標(biāo)為(Yc，Zc)，(x,y)、(u,v)分別是二維圖像中的物理坐標(biāo)和像素坐標(biāo)。根據(jù)針孔相機(jī)模型，相機(jī)坐標(biāo)系與世界坐標(biāo)系關(guān)系如圖1所示。

圖1 相機(jī)坐標(biāo)系與世界坐標(biāo)系

對(duì)空間任意一點(diǎn)P(Xw，Yw，Zw)進(jìn)行剛體變換，映射到相機(jī)坐標(biāo)系中點(diǎn)P(Xc，Yc，Zc)，如式(1)：

(1)

其中T是三維空間平移向量，R是3×3的正交旋轉(zhuǎn)矩陣。得到相機(jī)坐標(biāo)系坐標(biāo)后通過(guò)透射投影得到物理系坐標(biāo)P(x,y)，考慮到相機(jī)畸變因子，得到P(x,y)為:

(2)

其中k1、k2、p1、p2為畸變系數(shù)，是相機(jī)外部參數(shù)矩陣M2，由物理坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)P(u，v)關(guān)系如下：

(3)

其中，fx、fy指相機(jī)在x、y軸上的焦距，cx、cy指相機(jī)的光圈中心點(diǎn)坐標(biāo)，fx、fy、cx、cy這4個(gè)參數(shù)為相機(jī)的內(nèi)參矩陣M1，給定相機(jī)內(nèi)參之后，每個(gè)點(diǎn)的空間位置與像素坐標(biāo)就可以用矩陣模型表示:

(4)

其中，R和T是相機(jī)的姿態(tài)。R代表旋轉(zhuǎn)矩陣，T代表位移矢量，s是深度距離與實(shí)際距離的比例因子。由上述結(jié)果進(jìn)行齊次變換后得到三維空間點(diǎn)P與二維圖像像素坐標(biāo)的映射關(guān)系：

s·p=M1M2P

(5)

其中，M1、M2為相機(jī)的內(nèi)參和外參，由標(biāo)定結(jié)果得到。P=(X，Y，Z)為空間點(diǎn)齊次坐標(biāo)，p=(u，v，l)為二維圖像像素齊次坐標(biāo)。

2 點(diǎn)云融合

2.1 特征檢測(cè)

圖像的特征提取與匹配是實(shí)現(xiàn)三維重建的基礎(chǔ)，現(xiàn)在常用的特征檢測(cè)算法為1999年David Lowe提出的SIFT(Scale Invariant Feature Transform)算法，并于2004年進(jìn)行了深入的發(fā)展和完善[8]。SIFT算法最大的優(yōu)點(diǎn)是具有尺度不變性，圖像之間發(fā)生了平移、旋轉(zhuǎn)、仿射變換的情況下仍可以進(jìn)行特性匹配。SIFT算法提取到的特征點(diǎn)豐富，適合圖像精準(zhǔn)匹配，但時(shí)間復(fù)雜度高，實(shí)時(shí)性差。BAY H等人于2006年改進(jìn)了SIFT算法，提出了SURF[9](Speeded Up Robust Features)算法，SURF算法繼承了SIFT算法尺度不變的優(yōu)點(diǎn)，且大大提高了執(zhí)行效率。ROSTEN E和DRUMMOND T于2006年提出了FAST[10]算法，該算法通過(guò)檢查圖像塊中是否存在角點(diǎn)來(lái)判斷特征點(diǎn)，算法簡(jiǎn)單，避免了求解二階導(dǎo)數(shù)，因此運(yùn)算速度上快于SURF和SIFT算法。

RUBLEE E等人于2011年提出了ORB[11]算法，該算法采用視覺(jué)信息特征點(diǎn)檢測(cè)與描述方法，結(jié)合了FAST算法特征點(diǎn)檢測(cè)速度快的優(yōu)勢(shì)，加入FAST特征的方向信息，改進(jìn)了FAST算法不具備檢測(cè)特征點(diǎn)方向性的問(wèn)題。特征點(diǎn)描述部分則是利用基于像素點(diǎn)二進(jìn)制位比較的BRIEF[12]特征描述子，并改進(jìn)了 BRIEF描述子對(duì)圖像噪聲敏感和不具備旋轉(zhuǎn)不變性的缺點(diǎn)。準(zhǔn)確、快速的特征提取與匹配算法是實(shí)時(shí)三維重建的重要前提，本文在特征匹配中比較了這幾種常用的特征檢測(cè)算法。

2.2 基于ORB的特征匹配

由于同一場(chǎng)景的RGB圖像和深度圖像數(shù)據(jù)一一對(duì)應(yīng)關(guān)系，通過(guò)二維圖像坐標(biāo)與三維坐標(biāo)的映射關(guān)系可以得到場(chǎng)景的三維點(diǎn)云圖像。相機(jī)的廣度不能獲取室內(nèi)場(chǎng)景的全局圖像，所以需要對(duì)連續(xù)幀進(jìn)行融合獲取大場(chǎng)景的圖像。假設(shè)相機(jī)水平旋轉(zhuǎn)獲取的兩幀相鄰場(chǎng)景圖像為K1、K2，使用ORB特征點(diǎn)匹配得到結(jié)果如圖2所示。

圖2 相鄰圖像幀特征匹配

可以看出兩幀圖像的特征匹配存在誤匹配特征點(diǎn)，對(duì)匹配特征點(diǎn)進(jìn)行篩選可以提高匹配的準(zhǔn)確性和效率。由于相機(jī)是水平旋轉(zhuǎn)的，首先剔除水平距離過(guò)大的匹配點(diǎn)，然后采用RANSAC(隨機(jī)采樣一致性)算法[6]剔除誤匹配，進(jìn)一步提高匹配的準(zhǔn)確性。通過(guò)特征匹配得到兩幅圖像的特征點(diǎn)均為800個(gè)，匹配特征點(diǎn)為788個(gè)，篩選后得到的匹配個(gè)數(shù)為72個(gè)，結(jié)果如圖3。

圖3 進(jìn)行篩選后的特征點(diǎn)匹配結(jié)果

本文實(shí)驗(yàn)環(huán)境為L(zhǎng)iunx平臺(tái)下基于Opencv采用C++語(yǔ)言實(shí)現(xiàn)，運(yùn)行硬件環(huán)境為Intel Pentium 3.0 GHz CPU，運(yùn)行內(nèi)存4 GB。

SIFT、SURF、FAST、ORB 4種角點(diǎn)檢測(cè)算法在特征提取和幀間匹配中的比較結(jié)果如表1。

表1 特征檢測(cè)與匹配效率對(duì)比結(jié)果

2.3 點(diǎn)云拼接

相機(jī)緩慢移動(dòng)獲得連續(xù)的圖像幀序列，要進(jìn)行圖像的匹配融合首先要知道連續(xù)圖像的運(yùn)動(dòng)關(guān)系，設(shè)相機(jī)運(yùn)動(dòng)如圖4所示，其旋轉(zhuǎn)矩陣為R、位移矩陣為T。

圖4 相機(jī)運(yùn)動(dòng)估計(jì)

提取相鄰幀K1、K2間的特征點(diǎn)匹配對(duì)，描述為K1={p1,p2,…,pN}，K2={q1,q2,…,qN}，其中p、q都是三維坐標(biāo)的點(diǎn)，于是有：

?i,pi=Rqi+T+Ni

(6)

其中Ni代表噪聲。根據(jù)最優(yōu)化理論，求解旋轉(zhuǎn)矩陣R和平移矩陣T，需要滿足下式最小：

(7)

通過(guò)求解最小誤差可求得R和T，采用經(jīng)典的ICP[7]算法求解。該算法是一種非線性迭代方法，通過(guò)不斷迭代最近的匹配點(diǎn)求解變換矩陣，實(shí)現(xiàn)局部點(diǎn)云到整體點(diǎn)云的融合。

3 基于ICP算法的三維重建框架

3.1 算法框架

實(shí)驗(yàn)采用華碩公司的Xtion深度相機(jī)緩慢轉(zhuǎn)動(dòng)獲取連續(xù)的數(shù)據(jù)幀，先將起始幀圖像集合(RGB圖像和深度圖像)轉(zhuǎn)換成點(diǎn)云，實(shí)現(xiàn)局部圖像的二維到三維的轉(zhuǎn)換，當(dāng)相機(jī)采集到下一幀圖像集合時(shí)，通過(guò)提取兩幀圖像的特征進(jìn)行匹配，并計(jì)算相機(jī)的平移和旋轉(zhuǎn)向量進(jìn)行點(diǎn)云融合。通過(guò)相機(jī)移動(dòng)形成完整的三維模型。算法流程如圖5所示。

圖5 算法流程

主要步驟有：

(1)相機(jī)標(biāo)定，獲取RGB圖像和深度圖像；

(2)對(duì)彩色圖像進(jìn)行特征提取，結(jié)合特征點(diǎn)的深度信息實(shí)現(xiàn)2D到3D的轉(zhuǎn)換，生成局部點(diǎn)云圖；

(3)相機(jī)跟蹤，將當(dāng)前幀3D 點(diǎn)云和由現(xiàn)有模型生成的預(yù)測(cè)的3D 點(diǎn)云進(jìn)行ICP 匹配，計(jì)算得到當(dāng)前幀相機(jī)的位姿；

(4)點(diǎn)云融合，根據(jù)所計(jì)算出的當(dāng)前相機(jī)位姿，將當(dāng)前幀的3D 點(diǎn)云融合到現(xiàn)有模型中。

3.2 相機(jī)標(biāo)定

相機(jī)標(biāo)定的目的是建立有效的成像模型，并確定相機(jī)內(nèi)外部屬性參數(shù)，以便建立空間與平面像素點(diǎn)之間的對(duì)應(yīng)關(guān)系。相機(jī)是物體空間(三維空間)到2D圖像之間的一種映射，而這種映射由相機(jī)成像的幾何模型決定，幾何模型的參數(shù)就是相機(jī)的參數(shù)，由這些參數(shù)可以推導(dǎo)三維空間坐標(biāo)與二維圖像坐標(biāo)之間的變換關(guān)系。

實(shí)驗(yàn)使用張正友棋盤標(biāo)定算法[13]，通過(guò)MATLAB工具箱(Camera Calibration Toolbox)中提供的方法進(jìn)行相機(jī)標(biāo)定。使用A4紙自制7×9方格標(biāo)定模板，正方形小方格邊長(zhǎng)為27.8 mm，選取相機(jī)不同位姿拍攝的20幅標(biāo)定模板圖像對(duì)相機(jī)進(jìn)行標(biāo)定。

通過(guò)華碩Xtion深度相機(jī)獲取同一場(chǎng)景的RGB圖像和中值濾波后的深度圖像如圖6所示，圖(a)為RGB圖像，圖(b)為深度圖像。

圖6 RGB圖像和深度圖像

3.3 實(shí)驗(yàn)結(jié)果

華碩(Xtion pro live)深度相機(jī)的深度有效距離約0.2～5 m，彩色圖像和深度圖像的分辨率都為640×480。由于相機(jī)的廣度有限不能獲取室內(nèi)場(chǎng)景的全局圖像，需要對(duì)獲取的連續(xù)幀進(jìn)行點(diǎn)云融合來(lái)獲取大場(chǎng)景的圖像。實(shí)驗(yàn)通過(guò)手持Xtion相機(jī)掃描室內(nèi)場(chǎng)景，獲取連續(xù)的數(shù)據(jù)幀，實(shí)現(xiàn)室內(nèi)場(chǎng)景的實(shí)時(shí)三維重建，相機(jī)移動(dòng)軌跡如圖7所示。

圖7 相機(jī)運(yùn)動(dòng)軌跡和點(diǎn)云特征點(diǎn)

相機(jī)在室內(nèi)移動(dòng)采集數(shù)據(jù)幀，相鄰幀之間可進(jìn)行特征匹配，計(jì)算出相機(jī)運(yùn)動(dòng)的R和T矩陣，結(jié)合特征點(diǎn)的深度信息得到三維匹配關(guān)系， 基于ICP算法迭代相鄰點(diǎn)云圖像，不斷融合新信息形成由局部三維點(diǎn)云場(chǎng)景到整個(gè)室內(nèi)場(chǎng)景的三維重建。如圖8所示，圖(a)為局部三維場(chǎng)景點(diǎn)云圖，圖(b)為整體三維場(chǎng)景點(diǎn)云圖。

圖8 三維重建點(diǎn)云圖

4 結(jié)論

本文實(shí)現(xiàn)了基于RGB-D相機(jī)的室內(nèi)場(chǎng)景三維重建方法，通過(guò)華碩(Xtion pro live)深度相機(jī)在室內(nèi)環(huán)境中能夠得到準(zhǔn)確、稠密的三維模型，在特征提取上采用了ORB算法，特征匹配和點(diǎn)云拼接采用RANSAC和ICP算法。該方法在室內(nèi)靜態(tài)環(huán)境中有很強(qiáng)的實(shí)時(shí)性、準(zhǔn)確性和魯棒性，且大大提高了三維重建的效率。隨著深度相機(jī)的價(jià)格不斷下降，尤其是室內(nèi)機(jī)器人自主導(dǎo)航的研究和發(fā)展，基于RGB-D的三維重建系統(tǒng)將會(huì)對(duì)人們的日常生活產(chǎn)生巨大的影響。

[1] THOMAS D, SUGIMOTO A. A flexible scene representation for 3D reconstruction using an RGB-D camera[C]. IEEE International Conference on Computer Vision, IEEE Computer Society, 2013:2800-2807.

[2] HARTLEY R I. Estimation of relative camera positions for uncalibrated cameras[C]. European Conference on Computer Vision, Springer-Verlag, 1992:579-587.

[3] FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[M]. Readings in Computer Vision: Issues, Problems, Principles, and Paradigms. Morgan Kaufmann Publishers Inc. 1987:726-740.

[4] LEE K R, NGUYEN T. Realistic surface geometry reconstruction using a hand-held RGB-D camera[J]. Machine Vision & Applications, 2016,27(3):377-385.

[5] KERL C, STURM J, CREMERS D. Dense visual SLAM for RGB-D cameras[C]. Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, 2013:2100-2106.

[6] SCHNABEL R, WAHL R, KLEIN R. Efficient RANSAC for point-cloud shape detection[J]. Computer Graphics Forum, 2007, 26(2):214-226.

[7] BESL P J, MCKAY N D. Method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1992, 14(3):239-256.

[8] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(60):91-110.

[9] BAY H, TUYTELAARS T, GOOL L V. SURF: speeded up robust features[J]. Computer Vision & Image Understanding, 2006, 110(3):404-417.

[10] ROSTEN E, DRUMMOND T. Machine learning for high-speed corner detection[C]. European Conference on Computer Vision, Springer-Verlag, 2006:430-443.

[11] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]. In International Conference of Computer Vision(ICCV),2011: 2564-2571.

[12] CALONDER′ M, LEPETIT V, STRECHA C, et al. Brief: binary robust independent elementary features[C]. In European Conference on Computer Vision,2010:778-792.

[13] Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000,22(11):1330-1334.

3D reconstruction of indoor scenes using RGB-D monocular vision

Liu Sanmao,Zhu Wenqiu,Sun Wenjing,Wang Yexiang

(School of Computer Science, Hunan University of Technology,Zhuzhou 412007,China)

Aiming at the problem of low speed of 3D reconstruction of indoor scenes with monocular vision,the color images and depth images of indoor scenes obtained by ASUS Xtion monocular vision sensor are used for fast 3D reconstruction. The ORB feature detection algorithm is used in image feature extraction, and the efficiency of several kinds of classic feature detection algorithm in image matching is compared. Ransac algorithm and ICP algorithm are used for point cloud fusion. Finally, a fast 3D reconstruction method for indoor, simple and small-scale static environment is realized.It has good accuracy, robustness, real-time and flexibility.

monocular vision;point Cloud;3D reconstruction

湖南工業(yè)大學(xué)研究生創(chuàng)新基金(CX1503)

TP391

A

10.19358/j.issn.1674- 7720.2017.01.014

劉三毛，朱文球，孫文靜,等．基于RGB-D單目視覺(jué)的室內(nèi)場(chǎng)景三維重建[J].微型機(jī)與應(yīng)用，2017,36(1)：44-47.

2016-09-12)

劉三毛(1991-)，通信作者，男，碩士研究生，主要研究方向：智能信息處理。E-mail：601337631@qq.com。

朱文球(1969-)，男，碩士，教授，主要研究方向：數(shù)字圖像處理，模式識(shí)別。

孫文靜(1992-)，女，碩士研究生，主要研究方向：圖像處理，顯著性目標(biāo)檢測(cè)。