基于雙目單視面和結(jié)構(gòu)光的三維復(fù)原精度研究

黃治凡， 徐 曉

(華南理工大學(xué) 物理與光電學(xué)院，廣東 廣州 510640)

0 引 言

以往的雙目立體視覺系統(tǒng)[1～3]的精度評(píng)估工作[4～6]，未考慮物體在整個(gè)系統(tǒng)中不同位置所引起的精度差別，也未考慮在雙目情況下，相機(jī)的相對(duì)擺放對(duì)系統(tǒng)的精度影響。

本文基于雙目視覺和結(jié)構(gòu)光的三維測(cè)量的進(jìn)行了研究。在此基礎(chǔ)上，為利于工程應(yīng)用，將結(jié)構(gòu)光和雙目單視面[7]相結(jié)合，先用結(jié)構(gòu)光照射目標(biāo)物體，并利用雙目相機(jī)拍攝相應(yīng)圖像。通過圖片進(jìn)行三維復(fù)原時(shí)，將物體所在三維直角坐標(biāo)轉(zhuǎn)換到一個(gè)特定的角度坐標(biāo)系統(tǒng)，并在角度坐標(biāo)表征的空間中提取特征匹配點(diǎn)[8，9]，通過匹配點(diǎn)擬合出三維目標(biāo)物的形狀。為了評(píng)估本文測(cè)量方式的精度，及測(cè)量待測(cè)物在不同位置的精度差異，將待測(cè)物分別置于不同位置，得到在不同位置的測(cè)量誤差；通過改變雙目相機(jī)的偏轉(zhuǎn)角度，得到在不同角度下測(cè)量精度的差別。對(duì)誤差進(jìn)行綜合分析，得到工程應(yīng)用所需的一般精度分布規(guī)律。

1 三維重建模型

雙目相機(jī)交叉放置，用張正友標(biāo)定法[10]對(duì)相機(jī)進(jìn)行標(biāo)定；利用結(jié)構(gòu)光照射待測(cè)物表面，雙目相機(jī)同時(shí)拍攝物體，得到一對(duì)圖像；對(duì)圖像恢復(fù)目標(biāo)物的三維信息[11]。如圖1所示為雙目相機(jī)等效模型，可依據(jù)其中幾何關(guān)系完成圖像像素坐標(biāo)到角度坐標(biāo)的轉(zhuǎn)換[12]。

圖1 雙目相機(jī)等效模型

易知，對(duì)一個(gè)目標(biāo)點(diǎn)P，可以使用其對(duì)應(yīng)的αL,αR,β確定其在三維空間中的位置[13]。將2幅圖像進(jìn)行坐標(biāo)轉(zhuǎn)換后，使用其灰度值、灰度值的一、二階導(dǎo)數(shù)作為特征[14]進(jìn)行特征匹配。得到匹配點(diǎn)，即獲得了物體上該點(diǎn)的αL,αR,β，利用三角關(guān)系，可以得到該點(diǎn)的三維坐標(biāo)[15]。具體的特征匹配及三維復(fù)原運(yùn)算參照文獻(xiàn)[7]。

2 精度評(píng)價(jià)模型

2.1 角度分辨率因素

坐標(biāo)αL,αR，β將三維空間劃分為許多立體小塊，認(rèn)為落在同一小塊中的點(diǎn)的αL,αR，β一致，將分辨不同點(diǎn)坐標(biāo)的能力稱作角度分辨率。

由于在不同β角下規(guī)律一致，因此，考慮在基平面上的角度分辨率公式。圖2所示為基平面上的角度坐標(biāo)，L，R代表左右相機(jī)等效光心位置，陰影區(qū)域內(nèi)點(diǎn)的坐標(biāo)為(αL,αR,β)，在縱深方向上Δy=ymax-ymin。

圖2 基平面角度關(guān)系

基平面各量間關(guān)系表示為

(1)

式中l(wèi)為基線長(zhǎng)度，即線段LR長(zhǎng)度；Δθ為劃分角度空間的步長(zhǎng)。由式(1)計(jì)算出的誤差變化情況如圖3所示。可以看出，在能夠絕對(duì)精確匹配物體特征的情況下,物體距離基線中心點(diǎn)越遠(yuǎn)，復(fù)原精度越差。

圖3 角度分辨率與相機(jī)偏轉(zhuǎn)角關(guān)系

2.2 匹配誤差因素

實(shí)際工程應(yīng)用中，為了簡(jiǎn)化物體形狀所帶來的匹配效果不確定性，選擇簡(jiǎn)單的圓形作為本模型的待測(cè)物，如圖4所示，圓O為基平面上一球體的俯視圖，L,R分別代表左右相機(jī)等效光心，點(diǎn)M為基線LR的中點(diǎn)，LC,LD,RA,RB均為圓O切線。圓O在左相機(jī)成像的范圍為弧CD段，在右相機(jī)成像的范圍為弧AB段。

圖4 匹配誤差因素

運(yùn)用尋找特征點(diǎn)的方法進(jìn)行特征匹配，可以得到C點(diǎn)與A點(diǎn)為匹配點(diǎn)，記V為匹配因素誤差，由三角關(guān)系得，匹配因素誤差V∝∠AOC=∠LOR，由此得知，待測(cè)物距離雙目相機(jī)越近，∠LOR越大，V越大，匹配誤差越大；反之，匹配誤差越小。

2.3 特征點(diǎn)大小變化因素

在工程應(yīng)用中，物體特征的選取應(yīng)該由實(shí)際工況所決定，以空間中一橫條特征為例。如圖5所示為基平面的俯視圖，L，R分別為左右相機(jī)等效光心。AB為一個(gè)待測(cè)物的特征，長(zhǎng)度5 mm。記A點(diǎn)坐標(biāo)(a，b),B點(diǎn)坐標(biāo)(c,d)，那么AB對(duì)應(yīng)的左相機(jī)張角為

圖5 角度空間中的特征點(diǎn)

隨著AB在縱深方向移動(dòng)，γ變化如圖6所示，表明，同一特征在距離相機(jī)較近時(shí)張角比較大；反之，較小。在特征點(diǎn)附近區(qū)域所對(duì)應(yīng)的空間尺寸不變的前提下，此區(qū)域?qū)?yīng)張角越大即占像素越多，匹配效果越好，反之,匹配效果越差。

圖6 張角隨距離的變化關(guān)系

以上模型的理論分析表明：物體距離雙目相機(jī)中心點(diǎn)越近，角度分辨率越高；物體距雙目相機(jī)中心點(diǎn)越遠(yuǎn)，特征點(diǎn)越易匹配；而物體距相機(jī)越近，特征點(diǎn)成像也變得越大，也更易匹配。

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)將2個(gè)200萬(wàn)像素的工業(yè)相機(jī)交叉置于水平工作臺(tái)，兩相機(jī)的距離200 mm。選擇待測(cè)物為一個(gè)硅膠表面的水瓶，初始位置為兩相機(jī)連線中垂線，距離為400 mm，激光器將線結(jié)構(gòu)光投影到水瓶上。將采集到的每對(duì)圖像的結(jié)構(gòu)光區(qū)域分別用上述匹配方法進(jìn)行特征匹配，得到大量匹配散點(diǎn)，通過匹配點(diǎn)擬合出三維目標(biāo)物的形狀。

3.1 空間中不同位置誤差

雙目相機(jī)的距離設(shè)為200 mm,左相機(jī)角度為74.71°,右相機(jī)角度為71.51°，待測(cè)物的初始位置距離基線360 mm，將待測(cè)物按照等步長(zhǎng)置于實(shí)驗(yàn)臺(tái)的不同位置，并且保證結(jié)構(gòu)光照射到物體的同一位置。使用雙目相機(jī)采集圖像。將采集的圖像經(jīng)過畸變校正后采用三維復(fù)原算法，得到所有光條的三維信息。將置于初始位置的光條作為標(biāo)準(zhǔn)，計(jì)算所有光條與標(biāo)準(zhǔn)光條間距離，并與理論值比較，得到的值為絕對(duì)誤差。如圖7所示。

圖7 待測(cè)物在空間不同位置的誤差

由此得出：待測(cè)物距離雙目相機(jī)較近時(shí)，匹配因素占主導(dǎo)，匹配的難度增加，導(dǎo)致測(cè)量誤差變大。當(dāng)距離增加到一定程度時(shí)，匹配難度與角度分辨率相互制約，測(cè)量誤差逐漸降低；當(dāng)距離繼續(xù)增加時(shí)，角度分辨率占主導(dǎo)，導(dǎo)致測(cè)量誤差再一次增加。由上述特征點(diǎn)大小變化的因素與匹配因素及分辨率因素三者共同作用，使得整個(gè)誤差曲線在細(xì)部呈現(xiàn)不規(guī)律波動(dòng)。

由以上實(shí)驗(yàn)可知，在雙目相機(jī)的角度固定的情況下，將待測(cè)物置于凝視點(diǎn)附近時(shí)，可以獲得比較高的精度。通過改變凝視點(diǎn)的位置來驗(yàn)證該結(jié)論。

3.2 不同凝視點(diǎn)條件下中軸線上的誤差

改變雙目相機(jī)的偏轉(zhuǎn)角度以改變凝視點(diǎn)的深度，設(shè)置條件如表1。

表1 雙目相機(jī)位置參數(shù)

在不同凝視點(diǎn)的條件下，將物體等步長(zhǎng)地置于中軸線上，計(jì)算還原的光條與標(biāo)準(zhǔn)光條的距離，并與理論值進(jìn)行比較，實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 不同凝視點(diǎn)的條件下中軸線上不同位置的誤差

可以看出，隨著凝視點(diǎn)由近到遠(yuǎn)逐漸變化，整體的誤差由大變小再變大。將在不同凝視點(diǎn)條件下的誤差的平均值用三次多項(xiàng)式進(jìn)行擬合，大致可以得到，當(dāng)雙目相機(jī)的凝視點(diǎn)的位置由400 mm變化至900 mm的過程中，平均測(cè)量誤差先減小后增加，如圖9所示。

圖9 不同凝視點(diǎn)的誤差擬合

通過以上實(shí)驗(yàn)可以得出，在本文系統(tǒng)的相機(jī)條件下，偏轉(zhuǎn)角度在71°～84°范圍內(nèi)，凝視點(diǎn)變化在400～900 mm范圍內(nèi)的前提下，凝視點(diǎn)最佳的距離約737 mm。在此凝視點(diǎn)條件下，平均誤差為0.106 9 mm左右。圖8中擬合所得經(jīng)驗(yàn)表達(dá)式如下

error=(1.326 8×10-8)y3-(2.275 2×10-5)y2+

0.011 9y-1.626 5

(2)

4 結(jié) 論

本文利用雙目單視面的原理，通過測(cè)定結(jié)構(gòu)光的光條的位置，解算還原物體三維信息；為檢測(cè)此方法所還原的三維信息的精度，通過模型分析，測(cè)定處于不同位置的光條的三維信息，并解算精度。在測(cè)定過程中相機(jī)的參數(shù)也作了相應(yīng)變化，尤其通過調(diào)整雙目相機(jī)的交叉放置角度和有效物距來改變雙目相機(jī)的凝視點(diǎn)位置，以便合理評(píng)估相關(guān)精度。得到了影響復(fù)原算法的精度的3點(diǎn)因素：角度分辨率、匹配效果、像素所對(duì)應(yīng)的實(shí)物的大小；在給定的條件下，測(cè)量精度能達(dá)到0.1 mm。

整個(gè)實(shí)驗(yàn)中，待測(cè)物表面漫反射情況直接影響到匹配效果；同時(shí)，激光器的功率跟激光的粗細(xì)對(duì)實(shí)驗(yàn)結(jié)果也有比較大的影響；而攝像機(jī)的光學(xué)系統(tǒng)，以針孔相機(jī)方式為模型，實(shí)際上，光學(xué)系統(tǒng)的光斑彌散，也會(huì)影響定位效果。在以后的工程模型中，需要進(jìn)一步精細(xì)考慮。

參考文獻(xiàn):

[1] 于之靖,王 威,王 爍,等.十字線結(jié)構(gòu)光雙目視覺測(cè)量的在線匹配方法[J].半導(dǎo)體光電,2017,38(3):445-450，458.

[2] Howarth P A.The geometric horopter[J].Vision Research,2011,51(4):397-9.

[3] Vojnikovic′ B,Tamajo E.Horopters-Definition and construc-tion[J].Collegium Antropologicum,2013,37( supl1):9-12.

[4] 沈 彤,劉文波,王 京.基于雙目立體視覺的目標(biāo)測(cè)距系統(tǒng)[J].電子測(cè)量技術(shù),2015,38(4):52-54.

[5] 全燕鳴,黎淑梅,麥青群.基于雙目視覺的工件尺寸在機(jī)三維測(cè)量[J].光學(xué)精密工程,2013,21(4):1054-1061.

[6] 李 偉.基于線結(jié)構(gòu)光的火車輪對(duì)外徑三維檢測(cè)技術(shù)研究[D].武漢：華中科技大學(xué),2007.

[7] 王 珊,徐 曉.基于雙目單視面的三維重建[J].光學(xué)學(xué)報(bào),2017(5):199-207.

[8] Weisman M J.Parameterized surface models for binocular stereo vision[M].Cambridge：Harvard University,1996.

[9] Sun J,Ma H,Zeng D.Three-dimensional infrared imaging method based on binocular stereo vision[J].Optical Engineering,2015,54(10):103-111.

[10] 劉 艷,李騰飛.對(duì)張正友相機(jī)標(biāo)定法的改進(jìn)研究[J].光學(xué)技術(shù),2014,40(6):565-570.

[11] 劉 振.基于結(jié)構(gòu)光的雙目立體成像技術(shù)研究[D].成都：中國(guó)科學(xué)院研究生院(光電技術(shù)研究所),2013.

[12] 阮秋琦.數(shù)字圖像處理學(xué)[M].2版.北京：電子工業(yè)出版社,2007.

[13] 汪同浩,劉秉琦,陳一超,等.平行式雙目立體系統(tǒng)基線長(zhǎng)度的選取[J].半導(dǎo)體光電,2017,38(4):614-617.

[14] 張潔玉.圖像局部不變特征提取與匹配及應(yīng)用研究[D].南京：南京理工大學(xué),2010.

[15] Zhang K,Xu B,Tang L,et al.Modeling of binocular vision system for 3D reconstruction with improved genetic algorithms[J].International Journal of Advanced Manufacturing Technology,2006,29(7-8):722-728.