光柵投影雙目立體視覺測(cè)量方法的研究*

劉 江，梁美芹，劉曉明

(北京科技大學(xué)機(jī)械工程學(xué)院，北京 100083)

0 引言

隨著數(shù)字投影技術(shù)和計(jì)算機(jī)視覺理論的快速發(fā)展，光柵投影的雙目立體視覺測(cè)量已成為三維視覺測(cè)量的一個(gè)重要方面，在逆向工程中具有廣泛的應(yīng)用前景，特別是在長度超長的大型構(gòu)件測(cè)量中［1］。光柵投影雙目測(cè)量系統(tǒng)是利用計(jì)算機(jī)編程生成一系列正弦光柵，通過數(shù)字投影儀依次投射到被測(cè)物體表面，攝像機(jī)拍攝到受物體表面調(diào)制的變形光柵圖，通過格雷碼和相移法解相位恢復(fù)出連續(xù)相位分布，利用相位值準(zhǔn)確快速的找得左右相機(jī)中的匹配點(diǎn)，最終利用視差原理重構(gòu)三維物體。

1 測(cè)量原理

雙目光柵測(cè)量系統(tǒng)組成如圖1 所示，硬件部分包括雙攝像機(jī)，雙12mm 定焦鏡頭，數(shù)字投影儀，計(jì)算機(jī)等。

光柵投影的雙目立體視覺是基于三角形視差原理獲取物體的三維信息，即兩個(gè)攝像機(jī)的像平面和被測(cè)物體之間構(gòu)成一個(gè)三角形。在兩個(gè)攝像機(jī)已立體標(biāo)定的情況下，兩攝像機(jī)的位置關(guān)系是已知的，再利用相似三角形的關(guān)系便可得到兩攝像機(jī)公共視場(chǎng)內(nèi)的特征點(diǎn)的三維坐標(biāo)。

圖1 系統(tǒng)結(jié)構(gòu)裝配圖

2 相位求解

本文投射光柵到物體表面，增加被測(cè)物體表面的特征信息，以便于匹配。經(jīng)過編碼，兩個(gè)相機(jī)拍攝到的同一場(chǎng)景的兩幅圖片中，滿足碼值相同和極線約束條件的對(duì)應(yīng)點(diǎn)即為一對(duì)匹配點(diǎn)，然后利用雙目立體視覺測(cè)量的三角視差原理計(jì)算出空間點(diǎn)的坐標(biāo)。

2.1 相移法

相移法(Phase-shifting)［2］是利用多張有相同的相位增量作相位重建的一種測(cè)量算法。投射如圖2 所示的計(jì)算機(jī)編程生成的四幅滿足正弦強(qiáng)度分布且初始相位差為π/2 的光柵條紋在待測(cè)物體表面。

圖2 相移法中正弦光柵圖

正弦光柵通過投影儀投射到物體表面，CCD 攝像機(jī)拍攝經(jīng)物體表面高低起伏調(diào)制變形的光柵條紋圖，如圖3 所示，變形的光強(qiáng)分布函數(shù)為:

式中，Ik(x，y)為該像素的光強(qiáng)，φ(x，y)為初始相位，I'(x，y)為條紋背景光強(qiáng)，I″(x，y)為調(diào)制強(qiáng)度，k為該圖像在相移圖像中的序號(hào)。

每張圖像的光強(qiáng)分布為:

對(duì)上式化簡(jiǎn)變形可得相位主值

由于本研究中采用的是彩色CMOS 相機(jī)［3］，在拍攝過程中不可避免會(huì)有外界光線及噪聲的影響，所以需先對(duì)圖像進(jìn)行濾波、二值化、灰度化預(yù)處理，然后用四步相移法，得到如下圖4 所示的相位圖，其中圖4a為二維相位圖，4b 是三維相位圖。圖5 提取其中某行數(shù)據(jù)繪制的二維圖像，從圖中可以看出，相位的取值范圍是(-π/2，π/2)，我們必須加以修正。

圖3 攝像機(jī)拍攝的變形光柵條紋圖

圖4 相位圖

圖5 某行相位值得數(shù)據(jù)圖

2.2 相位主值的修正

由反正切函數(shù)的特性可知，解出的相位主值φ(x，y)的值域區(qū)間為(-π/2，π/2)，但實(shí)際的相位主值應(yīng)位于(0，2π)，因此需要分析其分子及分母正負(fù)的具體組成結(jié)構(gòu)，才能清楚地知道相位角到底位于哪一象限，進(jìn)而才能求得真實(shí)的相位值。

如下圖6 相位角示意圖，圖內(nèi)的正負(fù)號(hào)表示相位角位于此象限時(shí)，其正切函數(shù)的正負(fù)值，可以從分子及分母(即(I2-I4)，(I3-I1))的正負(fù)號(hào)來判定相位角具體的位于哪一象限，將反正切后的相位值補(bǔ)償成(0，2π)區(qū)間的相位值，如圖7 所示。

圖6 相位角示意圖

圖7 相位主值修正后某行的相位值

可見，經(jīng)過修正后，相位角的周期加倍，幅值增加，在0～2π 之間相位角越來越大，在2π 這個(gè)點(diǎn)就變成0，但是相應(yīng)階數(shù)就增加了1。

四步相移法得到的相鄰像素間的相位差落在(0，2π)，但當(dāng)遇到不連續(xù)的相位邊界時(shí)，就會(huì)產(chǎn)生2π 的跨越落差。我們需在不連續(xù)處進(jìn)行相位展開(消除2π突變)，便可獲得連續(xù)的相位分布圖［4-5］。如圖8 所示是四步相移法后的不連續(xù)相位分布，圖9 應(yīng)是進(jìn)行相位展開之后獲得的連續(xù)相位分布。

圖8 不連續(xù)相位圖分布

圖9 續(xù)相位圖分布

2.3 相位展開—格雷碼加相移法

考慮到三角函數(shù)的周期為2π，完整的相位值應(yīng)為:

式中，φ(x，y)為相移法得到的相位主值，k(x，y)為各條紋的周期次數(shù)。

當(dāng)格雷碼［6］的周期與正弦光柵周期相等時(shí)，則相位主值相差一個(gè)周期對(duì)應(yīng)的格雷碼值相差1，根據(jù)這個(gè)規(guī)律，可以利用格雷碼與正弦光柵相結(jié)合的方式來獲取連續(xù)相位值［8］。格雷碼編碼通過圖10 的流程圖解碼，結(jié)合上述獲得的相位主值得到如圖11 所示的連續(xù)相位值，圖12 為上述對(duì)應(yīng)數(shù)據(jù)的解相結(jié)果。φ(x，y)為相位主值，G(x，y)為該像素的格雷碼值，ψ(x，y)為展開的相位絕對(duì)值。

圖12 開后某行的相位值

3 系統(tǒng)標(biāo)定與立體校正

為了完成二維平面圖像到三維立體場(chǎng)景的轉(zhuǎn)變，需要精確的確定攝像機(jī)的內(nèi)外參數(shù)，即攝像機(jī)標(biāo)定［7，9-10］。

下圖13 為世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系之間的關(guān)系轉(zhuǎn)換。

圖13 像機(jī)坐標(biāo)系與世界坐標(biāo)系關(guān)系

假設(shè)空間中一點(diǎn)P在世界坐標(biāo)系與攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)分別是(XW，YW，ZW，1)T與(Xc，Yc，Zc，1)T，則存在如下關(guān)系:

式中，R 為旋轉(zhuǎn)矩陣;T 為三維平移向量;

點(diǎn)P 在圖像上的成像原理近似采用針孔模型表示則有:

用齊次坐標(biāo)與矩陣表示上述投影關(guān)系為:

將式公式(6)和公式(7)帶入上式得

其中，αx = f/dx，αy = f/dy;f為相機(jī)的焦距，稱為主距;Ou為主點(diǎn)。M為透視投影矩陣;M1為攝像機(jī)內(nèi)參數(shù)矩陣，M2為攝像機(jī)外參數(shù)矩陣。攝像機(jī)的標(biāo)定就是確定攝像機(jī)的內(nèi)、外部參數(shù)。

張正友平面模板標(biāo)定法中平面標(biāo)定模板制作簡(jiǎn)單，運(yùn)算速度快，標(biāo)定結(jié)果準(zhǔn)確，因此本研究采用張正友平面模板標(biāo)定法進(jìn)行系統(tǒng)標(biāo)定［1］。

張正友平面模板標(biāo)定法以標(biāo)定板所在平面為世界坐標(biāo)系的XW—YW平面，則標(biāo)定板上所有特征點(diǎn)zw=0。用ri表示旋轉(zhuǎn)矩陣R的第i列向量。對(duì)于平面模板上的點(diǎn)都有:

其中，單應(yīng)性矩陣H表示平面模板上的點(diǎn)與像點(diǎn)之間的映射關(guān)系。通過提取標(biāo)定板圖像上的角點(diǎn)坐標(biāo)，根據(jù)公式(10)便可計(jì)算出每個(gè)視場(chǎng)的單應(yīng)性矩陣。因?yàn)镠 =[h1h2h3]，則有:

從而可得:

可見，攝像機(jī)的內(nèi)、外部參數(shù)可以由棋盤坐標(biāo)系之間的轉(zhuǎn)換關(guān)系計(jì)算得到。

圖像立體校正就是利用標(biāo)定過程中得到的參數(shù)，對(duì)左右相機(jī)拍攝的兩幅圖像首先進(jìn)行了透視變換，分別將極點(diǎn)移至無窮遠(yuǎn)處，極線束變?yōu)閮蓛善叫械囊唤M直線;然后進(jìn)行相似變換，讓各極線均平行于圖像坐標(biāo)系的橫軸，即極線水平;最后再進(jìn)行錯(cuò)切變換減少畸變，使水平方向上的圖像畸變最小。經(jīng)過一系列變換把兩個(gè)相機(jī)的立體幾何結(jié)構(gòu)變成標(biāo)準(zhǔn)的外極線幾何結(jié)果，如圖14 所示。

圖14 體校正后的幾何結(jié)構(gòu)

經(jīng)立體校正后，兩攝像機(jī)的極線平行且等高即相當(dāng)于平視雙目立體成像，匹配對(duì)應(yīng)點(diǎn)處于水平線上，大大降低了匹配搜索難度，提高了運(yùn)算速率。

4 立體匹配與三維重建

4.1 立體匹配

雙目立體視覺獲得三維空間點(diǎn)云是通過計(jì)算目標(biāo)點(diǎn)在左右兩個(gè)視圖上形成的視差得到，所以我們首先要把該點(diǎn)在左右視圖上兩個(gè)對(duì)應(yīng)的像點(diǎn)匹配起來。我們通常所說的匹配即為尋找公共視場(chǎng)內(nèi)的特征點(diǎn)的過程。在立體匹配的過程中需要滿足以下幾個(gè)約束:

(1)唯一性約束。一幅圖像的每個(gè)像素只能對(duì)應(yīng)于另一幅幅圖像中的一個(gè)像素。

(2)連續(xù)性約束。物體的表面是連續(xù)的，則物體表面上的點(diǎn)在圖像上的投影也是連續(xù)的，其視差也是連續(xù)的。

(3)順序一致性約束。一幅圖像的一條極線在另一幅圖像中有一條對(duì)應(yīng)極線，該對(duì)極線上的匹配基元的序應(yīng)該是相同的。

(4)極線約束。在立體幾何中，對(duì)于從不同角度獲取的同一場(chǎng)景的兩幅圖像來說，對(duì)應(yīng)點(diǎn)之間應(yīng)滿足極線約束，即一幅圖像上的任一點(diǎn)，在另一幅圖像上的對(duì)應(yīng)點(diǎn)一定位于該點(diǎn)對(duì)應(yīng)的極線上。

對(duì)圖像進(jìn)行了立體校正后，此時(shí)左右圖像的極線平行且等高，所以匹配時(shí)只需在行方向上尋找，又因?yàn)楦窭状a周期與相位周期相同，把格雷碼值乘以2π 加上相位主值得到了線性的相位絕對(duì)值，可見，滿足匹配條件的對(duì)應(yīng)點(diǎn)應(yīng)位于同一高度而且具有相同的絕對(duì)相位值。

4.2 三維重建

圖15 目視差原理圖

如圖15，兩攝像機(jī)的基線距為b，左圖像的主點(diǎn)坐標(biāo)為(cx，cy);空間點(diǎn)P 的世界坐標(biāo)為(X，Y，Z) ，在兩攝像機(jī)成像平面上的像點(diǎn)分別為(u1，v1)和(u2，v2)，其中視差d = u1- u2。根據(jù)成像的幾何比例關(guān)系，對(duì)于左右攝像機(jī)關(guān)系如式(14):

由于，兩攝像機(jī)的成像平面位于同一平面內(nèi)且在垂直方向?qū)R，因此，世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的關(guān)系表述如下:

聯(lián)立(14)和(15)兩式可得:

式(16)把三維物體的深度Z與視差d直接聯(lián)系起來，而深度反映了三維空間信息。由于立體匹配已將左右圖像的對(duì)應(yīng)點(diǎn)匹配起來了，便可計(jì)算出特征點(diǎn)的視差，進(jìn)而結(jié)合立體標(biāo)定獲得的系統(tǒng)參數(shù)，便可計(jì)算出特征點(diǎn)的三維坐標(biāo)值。

5 實(shí)驗(yàn)

本研究選擇白色玩具狗頭作為實(shí)驗(yàn)對(duì)象，利用圖

1 所示測(cè)量系統(tǒng)采集到如圖16 所示的包含被測(cè)物體表面高度信息的光柵變形圖。

圖16 集到的變形光柵圖

利用四步相移法解得初始相位主值，再進(jìn)行相位主值的修正，進(jìn)而結(jié)合格雷碼進(jìn)行相位展開獲得連續(xù)的相位值，以此為據(jù)進(jìn)行左右圖像的立體匹配，獲得視差圖，再借助于系統(tǒng)的標(biāo)定信息生成模型的三維點(diǎn)云效果圖以更直觀地檢驗(yàn)三維測(cè)量信息得到的重構(gòu)效果如圖17 所示。

圖17 三維點(diǎn)云圖

實(shí)驗(yàn)結(jié)果表明，在被測(cè)物體本身顏色信息較為單一以及物體高度沒有出現(xiàn)劇烈的跳變時(shí)，本研究能在投影多幅輔助光圖像前提下有效地實(shí)現(xiàn)三維測(cè)量并達(dá)到較為理想的精度，而且算法流程易于實(shí)現(xiàn)。

從點(diǎn)云圖17 中可以清楚的看到，點(diǎn)云密度不均，局部有明顯的點(diǎn)云缺失現(xiàn)象，雖然這些問題可通過后續(xù)的處理得到改善，但還沒有從原理上解決問題，這是本系統(tǒng)存在的一個(gè)弊端。本實(shí)驗(yàn)只采集了一組實(shí)驗(yàn)圖片，未考慮環(huán)境中噪聲的影響，從圖17 中左邊耳朵處，可以明顯的看到噪聲點(diǎn)的影響。此外圖中玩具狗頭耳朵處位于同一周期的點(diǎn)云出現(xiàn)了局部缺失現(xiàn)象。針對(duì)以上問題，可以在通過以下方法來改善:

(1)系統(tǒng)標(biāo)定中角點(diǎn)提取是在手動(dòng)選取角點(diǎn)的四周輪廓的基礎(chǔ)上進(jìn)行的，精度不如自動(dòng)提取的高，會(huì)產(chǎn)生一定誤差。

(2)光柵圖是數(shù)模轉(zhuǎn)換后得到的，不是標(biāo)準(zhǔn)的正弦，必須通過實(shí)驗(yàn)來調(diào)節(jié)相機(jī)、投影儀的參數(shù)。

(3)減少噪聲影響，可采取多次采集求平均值、后處理等方法降低環(huán)境的影響，提高系統(tǒng)的精度。

6 結(jié)束語

針對(duì)光柵投影三維測(cè)量技術(shù)的原理進(jìn)行了闡述并且給出了結(jié)果。實(shí)踐證明光柵投影法具有檢測(cè)過程完全非接觸、數(shù)據(jù)空間分辨率高、一次性瞬間投影直接實(shí)現(xiàn)三維物體形狀檢測(cè)的特點(diǎn)，便于實(shí)際應(yīng)用，具有較高研究?jī)r(jià)值和發(fā)展前景。此外，光柵投影的雙目立體視覺測(cè)量方式，由于測(cè)量平臺(tái)可以隨意放置到大尺寸或超大尺寸構(gòu)件周圍的任一位置，不需要運(yùn)動(dòng)平臺(tái)，可實(shí)現(xiàn)自動(dòng)拼接，測(cè)量速度快，操作簡(jiǎn)單方便，因此在大尺寸或超大尺寸構(gòu)件的表面測(cè)量上具有廣闊的應(yīng)用前景。

［1］馬頌德，張正友. 計(jì)算機(jī)視覺- 計(jì)算理論與算法基礎(chǔ)［M］.北京:科學(xué)出版社，1998.

［2］劉曉輝. 基于格雷碼與相移結(jié)合的雙目立體視覺測(cè)量研究［D］. 福建:華僑大學(xué)，2011.

［3］劉榮生.CCD 與CMOS 傳感器的發(fā)展與應(yīng)用［J］.影像材料，2003(5):7 -11.

［4］張培恩. 以DLP 發(fā)展光學(xué)立體視覺微測(cè)量系統(tǒng)之研究［D］.臺(tái)灣:國立臺(tái)灣大學(xué)，2006.

［5］劉菲. 基于相位測(cè)量法的光學(xué)三維形貌測(cè)量研究［D］.山東:山東師范大學(xué)，2008.

［6］王震. 基于光柵投影的三維模型測(cè)量系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)［D］. 南京:南京航空航天大學(xué)，2007.

［7］Zhang Zhengyou.Flexible camera calibration by view a plane from.Calibrate Research，1998.

［8］尹麗萍，于曉洋，吳海濱.格雷碼與相移結(jié)合的結(jié)構(gòu)光三維測(cè)量技術(shù)研究［J］. 哈爾濱理工大學(xué)學(xué)報(bào)，2007，12(5):5 -8.

［9］Tsai R Y. An efficient and accurate camera calibration technique for 3D machine vision［J］. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1986:364 -274.

［10］Sansoni G ，Carocci M ，Rodella R. 3D vision based on the combination of gray code and phase shift light projection［J］. Applied Optics，1999，38(31):6565 -6573.