雙目視覺三維點云重建的誤差度量模型

卞玉霞，劉學軍，王美珍，周 業，甄 艷

(1. 成都信息工程大學資源環境學院，四川 成都 610225； 2. 南京師范大學虛擬地理環境教育部重點實驗室，江蘇 南京 210097； 3. 四川省第三測繪工程院，四川 成都 610501)

雙目視覺三維點云重建的誤差度量模型

卞玉霞1，劉學軍2，王美珍2，周 業3，甄 艷3

(1. 成都信息工程大學資源環境學院，四川 成都 610225； 2. 南京師范大學虛擬地理環境教育部重點實驗室，江蘇 南京 210097； 3. 四川省第三測繪工程院，四川 成都 610501)

從圖像中快速提取并構建三維模型是GIS空間數據獲取的重要途徑之一，作為智慧城市建設的基礎數據，如何度量和控制圖像三維模型質量成為阻礙智慧城市發展的首要問題。本文以立體像對為數據源，在研究三維點云重建模型的基礎上，結合矩陣微分理論和協方差傳播律構建了雙目視覺三維點云誤差度量模型及量化表達方法，為圖像三維建模質量控制和精度評估提供理論依據。

雙目視覺；三維點云；誤差；協方差傳播律

與人類視覺水平相比，基于雙目視覺原理重建的三維模型顯得較為粗糙，如：人臉識別會因光線、陰影或表情等變化而得不到有效檢測；地理場景的三維重建與實際不完全一致，特別是地理環境中的風吹草動識別的準確度遠不及靜態場景。雙目視覺三維重建的精度如何？精度受哪些因素影響？諸如此類問題[1]影響著數字城市建設及智慧城市的應用和發展。

雙目視覺三維建模是圖像三維建模的重要分支，其誤差受不同工作環節的影響。在三維重建的誤差領域，眾多學者基于雙目視覺的結構參數對三維誤差的影響進行了研究[2-8]，如攝像機光軸夾角、基線距離和方向、焦距、畸變系數等、空間點位與攝像機方位關系等。Fooladgar[6]研究了圖像量化誤差引起的三維誤差及分布，構建了兩斜錐相交的三維點位置的幾何誤差模型。Debei[9]、唐巍[5]和Belhaoua[10]等研究了特征點定位(識別)誤差對三維誤差的影響，也有針對攝像機標定對三維誤差影響的研究。

有關雙目視覺三維重建誤差的研究較多集中于影響因子的定性分析，缺少定量研究。本文結合矩陣微分理論研究雙目視覺三維點云重建的誤差傳播，在此基礎上構建雙目視覺三維點云重建誤差的度量模型，為雙目視覺三維模型誤差提供度量方法，為圖像三維建模質量控制和精度評估提供理論依據。

1 雙目視覺三維重建原理

若從兩個視點觀察同一場景，在獲取不同視點圖像的基礎上，基于視差原理可恢復物體的三維幾何信息，圖1是雙目視覺三維重建技術的流程。從圖中可以看出，構建三維模型受特征匹配、基礎矩陣估計、攝像機自標定、三維點云恢復、稠密匹配等環節的影響，其中點云精度對稠密匹配、三維模型的影響至關重要。

圖1 雙目視覺三維重建流程

若已知空間點位坐標X、攝像機內部參數K、旋轉矩陣R和平移向量T，根據小孔成像原理可以求得圖像中對應的特征點坐標x

(1)

在雙目視覺三維點云重建過程中，特征匹配能夠尋找立體像對的同名特征點x，基礎矩陣估計能夠估算圖像之間的對極幾何關系F，攝像機自標定能夠計算立體像對的攝像機內部參數K，在求解立體像對之間旋轉矩陣R和平移向量T的基礎上，根據式(1)即可求得三維點云坐標X。結合旋轉矩陣R和平移向量T的可分解性(R=UWVT，T=UB)，以及正交矩陣U、V、W的特性(UT=U-1,VT=V-1,WT=W-1)，三維點云X可以表示為

X=VWT(UTK-1x-B)

(2)

2 三維點云誤差模型

如圖1所示，立體像對獲取、特征匹配、基礎矩陣估計、攝像機自標定等各環節不可避免地會引入誤差，這些誤差被傳播并逐漸積累和放大，直至影響三維模型的精度。為此，本文擬以雙目視覺三維重建原理為研究對象，研究三維點云重建過程中的誤差傳播。

式(2)中，數值型函數X的自變量有：矩陣型變量U、V、K和x。結合全微分相關理論，可得三維點云X的微分表達式

dX=dV?(WTUTK-1x-WTB)+(VWT)?

(dUT?(K-1x)+UT?d(K-1)?x+UTK-1dx)

(3)

RTK-1Kd(RX+UB)+RTK-1xd

(4)

又，本質矩陣E=UDVT，則

(5)

需注意的是，本質矩陣E有2個相同特征值，第3個特征值為0，即矩陣D=g×diag(1,1,0)，由此可以認為，式(5)中Ud和Vd的第3列微分均為0向量。鑒于上述情況，U和V的微分形式應該表示為

(6)

式中，Ud3和Vd3分別表示U3和V3的微分量，而U3和V3是利用立體像對中圖像對極點的坐標向量表示的。又，R=UWVT，T=UB，則

(7)

此時

(8)

將式(8)代入式(6)，可以表達Ud和Vd。

綜合上述分析，在已知Ud、Vd、Kd、Fd和xd等情況下，結合式(4)，即可實現三維點云X的微分表達

(9)

在雙目視覺三維點云重建中，基礎矩陣F和攝像機內部參數K是依據特征匹配點x集合求得的，與任意一組特征匹配點x的關聯不大，因此本文三維點云誤差不考慮基礎矩陣F、攝像機內部參數K和特征匹配點x之間的關聯性。若已知Fd、Kd、xd的協方差，結合矩陣協方差傳播律，則可以實現三維點云誤差(協方差DX)的估算

(10)

式中，DK表示攝像機內參矩陣K的誤差——9×9協方差矩陣；Dx表示匹配點的誤差——3×3協方差矩陣；DU、DV是由本質矩陣E分解為U、V的協方差陣。

式(10)中，基礎矩陣F和攝像機內部參數K均是基于特征匹配點x求得的，特征匹配點是雙目視覺三維重建的基礎數據。若僅考慮特征匹配點對三維點云誤差的影響，三維點云的協方差矩陣：DX=RTK-1DxK-TR。由此認為，三維點云誤差與攝像機內部參數成反比，攝像機焦距越大，三維點云誤差越小；與攝像機外部參數成正比，攝像機的旋轉矩陣越大，三維點云誤差也越大；隨匹配點位誤差變化而變化，圖像邊緣比像主點的三維點位誤差大。

3 試驗分析

3.1 試驗數據

圖2是室外標定場數據，圖中分布著大量的標定點，這些標定點具有真實空間點坐標。圖2(a)是基準圖像，圖2(b)是相應的匹配圖像，圖中加號“+”表示基于SIFT模型提取的特征點，兩幅圖像中相同編號的特征點組成了一組特征匹配點。

圖2 以標定場為數據源的立體像對

本文僅針對圖2中均勻分布在圖像不同位置，且在標定場中具有真實點位坐標的三維點云坐標及其誤差進行分析。表1是基于上述立體像對重建的三維點云與標定場坐標的對比結果。

表1 重建的三維點云與標定場坐標的對比結果 m

3.2 結果分析

4 結 語

本文結合矩陣微分理論在研究非線性三維點云重建模型線性化的基礎上，構建并驗證了雙目視覺三維點云誤差模型。該模型與攝像機內部參數成反比，攝像機焦距越大，三維點云誤差越小；與攝像機外部參數成正比，攝像機的旋轉矩陣越大，三維點云誤差也越大。

需要說明的是，本文是在假設特征匹配點、基礎矩陣和攝像機內部參數矩陣相互獨立的基礎上，運用協方差傳播律進行的雙目視覺三維點云重建誤差的研究。下一步將深入研究特征匹配點、基礎矩陣和攝像機內部參數之間的關聯性。

表2 雙目視覺三維點云重建的誤差

[1] 黃健,王繼.多視角影像自動化實景三維建模的生產與應用[J].測繪通報,2016(4):75-78.

[2] XU G,LI X,SU J,et al.Precision Evaluation of Three-dimensional Feature Points Measurement by Binocular Vision[J]. Optical Society of Korea,2011,15(1):30-37.

[3] SEDLAZECK A,KOCH R.Perspective and Non-perspective Camera Models in Underwater Imaging—Overview and Error Analysis[M]. Berlin:Springer Berlin Heidelberg,2012: 212-242.

[4] ZHANG T,BOULT T.Realistic Stereo Error Models and Finite Optimal Stereo Baselines[C]∥Proceedings of IEEE Workshop on Applications of Computer Vision. Kona: IEEE, 2011:426-433.

[5] 唐巍,葉東,袁峰,等.均勻設計與灰色理論應用于視覺系統誤差分析[J].儀器儀表學報,2013,34(2): 371-378.

[6] FOOLADGAR F,SAMAVI S,SOROUSHMEHR S,et al. Geometrical Analysis of Localization Error in Stereo Vision Systems[J].Sensors Journal, 2013,13(11):4236-4246.

[7] 肖志濤,張文寅,耿磊,等.雙目視覺系統測量精度分析[J].光電工程,2014,41(2):6-11.

[8] LU B,LIU Y,SUN L.Error Analysis of Binocular Stereo Vision System Applied in Small Scale Measurement[J].Acta Photonica Sinica,2015,44(10):1-6.

[9] DEBEI S,ABOUDAN A,COLOMBATTI G,et al. Lutetia Surface Reconstruction and Uncertainty Analysis[J].Planetary and Space Science,2012,71(1):64-72.

[10] BELHAOUA A,KORNMANN A,RADOUX J P.Accuracy Analysis of an Augmented Reality System[C]∥Intornational Conference on Signal Processing. Hangzhou: IEEE,2014:1169-1174.

[11] 陳杰春,丁振良,袁峰.三維重構不確定度的兩階估計方法[J].光學精密工程,2008,16(6): 1110-1116.

[12] LEO G,LIGUORI C,PAOLILLO A.Covariance Propagation for the Uncertainty Estimation in Stereo Vision[J].Instrumentation and Measurement,2011,60(5):1664-1673.

[13] OTERO J,SANCHEZ L.Soft Methods for Bounding the Uncertainty of Stereo Calibration and Triangulation[C]∥2013 IEEE International Conference on Fuzzy Systems. Hyderabad: IEEE, 2013: 1-8.

ErrorMetricModelfor3DPointCloudReconstructionBasedonBinocularVision

BIAN Yuxia1，LIU Xuejun2，WANG Meizhen2，ZHOU Ye3，ZHEN Yan3

(1. College of Resources and Environment, Chengdu University of Information Technology,Chengdu 610225, China; 2. Ministry of Education Key Laboratory of Virtual Geographic Environment, Nanjing Normal University, Nanjing 210097, China;3. The Third Surveying and Mapping Engineering Institute of Sichuan, Chengdu 610501,China)

Rapid extraction and construction of 3D model from the images play an important role in the spatial data acquisition. Considering the basic data of smart city construction, how to measure and ensure the accuracy of images-based 3D model reconstruction will become one of research questions. Firstly, the model of 3D point cloud reconstruction need to be studied, and then binocular vision 3D point cloud error metric model and quantitative expression method can be constructed, based on the matrix theory and differential covariance propagation law. This research would provide a theoretical basis for the quality control of 3D image modeling and accuracy assessment.

binocular vision;3D point cloud;error;covariance propagation

卞玉霞，劉學軍，王美珍，等.雙目視覺三維點云重建的誤差度量模型[J].測繪通報，2017(11)：64-67.

10.13474/j.cnki.11-2246.2017.0349.

P237

A

0494-0911(2017)11-0064-04

2017-02-22

國家自然科學基金(41601422；41401436；41401442)；四川省教育廳科研計劃項目(17ZB0089)；成都信息工程大學校引進人才啟動項目(KYTZ201606)；成都信息工程大學校選項目(CRF201610)

卞玉霞(1987—)，女，博士，講師，主要研究方向為視頻GIS、空間數據不確定性等。E-mail: byx310@163.com