直線擬合的高準(zhǔn)確度投影結(jié)構(gòu)光系統(tǒng)標(biāo)定算法研究

董建民，李東晶

（山東工業(yè)職業(yè)學(xué)院，山東淄博256414）

直線擬合的高準(zhǔn)確度投影結(jié)構(gòu)光系統(tǒng)標(biāo)定算法研究

董建民，李東晶

（山東工業(yè)職業(yè)學(xué)院，山東淄博256414）

針對(duì)現(xiàn)有投影儀-相機(jī)結(jié)構(gòu)光測(cè)量系統(tǒng)標(biāo)定算法準(zhǔn)確度不高的問(wèn)題，提出一種基于直線擬合的高準(zhǔn)確度標(biāo)定算法。該算法首先找到系統(tǒng)灰度響應(yīng)線性度較好的灰度區(qū)間，在該區(qū)間內(nèi)采用三頻四步相移算法對(duì)相機(jī)獲取的投影光柵圖像進(jìn)行相位恢復(fù)。然后計(jì)算出棋盤格角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，并找到這些角點(diǎn)在投影儀圖像中的對(duì)應(yīng)像素點(diǎn)，通過(guò)直線擬合的方法進(jìn)行優(yōu)化，提高匹配點(diǎn)的搜索準(zhǔn)確度。最后采用雙目視覺(jué)的標(biāo)定方法實(shí)現(xiàn)投影結(jié)構(gòu)光系統(tǒng)的標(biāo)定。系統(tǒng)標(biāo)定實(shí)驗(yàn)的結(jié)果驗(yàn)證所提出的基于直線擬合的標(biāo)定算法具有較高的標(biāo)定準(zhǔn)確度，有助于后續(xù)高準(zhǔn)確度的三維重建與測(cè)量。

三維測(cè)量；校準(zhǔn)；相位計(jì)算；直線擬合

如何對(duì)投影儀和相機(jī)組成的光學(xué)系統(tǒng)進(jìn)行標(biāo)定，是實(shí)現(xiàn)高準(zhǔn)確度的三維測(cè)量需要解決的首要問(wèn)題[7-8]。目前最受歡迎的標(biāo)定方法是將投影儀等效成一個(gè)逆向的相機(jī)，進(jìn)而通過(guò)成熟的雙目視覺(jué)系統(tǒng)標(biāo)定技術(shù)來(lái)標(biāo)定該投影結(jié)構(gòu)光系統(tǒng)。這種方法首先通過(guò)投影儀向棋盤格標(biāo)定板上投射出一系列正弦變化的相移圖像，并用相機(jī)進(jìn)行捕獲；然后對(duì)相移圖像進(jìn)行解相位；最后從相機(jī)得到的圖像中提取出棋盤格角點(diǎn)，并找到投影儀圖像中的對(duì)應(yīng)點(diǎn)，從而進(jìn)行系統(tǒng)標(biāo)定。然而，由于棋盤格標(biāo)定板中不同顏色的格子對(duì)光柵圖案的灰度響應(yīng)是不一樣的，現(xiàn)有的投影儀結(jié)構(gòu)光標(biāo)定算法在標(biāo)定板區(qū)域解相位的準(zhǔn)確度并不高，因此難以得到高準(zhǔn)確度的標(biāo)定結(jié)果，進(jìn)而限制了整個(gè)三維測(cè)量系統(tǒng)的準(zhǔn)確度。本文針對(duì)這一問(wèn)題進(jìn)行深入研究，給出一種基于直線擬合的高準(zhǔn)確度的標(biāo)定算法，從而為后續(xù)的高準(zhǔn)確度三維重建與測(cè)量提供保障。

1 基于三頻外差的相位計(jì)算

為實(shí)現(xiàn)投影儀和相機(jī)的聯(lián)合標(biāo)定，需要使投影儀具有“拍攝”棋盤格標(biāo)定板的能力，這就要對(duì)投影儀的光柵圖像進(jìn)行準(zhǔn)確的解相位。本節(jié)將從相位移算法和相位展開兩部分介紹如何進(jìn)行相位計(jì)算。

1.1 四步相移算法

相移法的基本原理是采用投影儀向場(chǎng)景中投影出具有一定相位差的正弦光柵圖像，當(dāng)這些結(jié)構(gòu)光照射到物體上時(shí)，會(huì)受到物體表面的調(diào)制而發(fā)生形變，通過(guò)相機(jī)采集這些變形的光柵圖像，便可以恢復(fù)出每一個(gè)像素點(diǎn)處的相位值。本文采用的是標(biāo)準(zhǔn)的四步相移算法，該方法對(duì)系統(tǒng)的偶次諧波及隨機(jī)噪聲具有很好的抑制作用。

假設(shè)投影儀投射出的光柵圖像光強(qiáng)分布為

式中：i′（x，y）——期望的灰度均值；

i″（x，y）——期望的灰度變化幅值；

θ0——圖像的初始相位值；

φ0（x，y）——像素點(diǎn)（x，y）處的相位值。

在實(shí)際測(cè)量過(guò)程中，由于環(huán)境光不可能被完全去除，且投影儀和相機(jī)都存在一定的非線性特性，因此系統(tǒng)的灰度響應(yīng)也是非線性的，需要找到一個(gè)線性度較好的灰度區(qū)間作為投影灰度的范圍。用投影儀向一個(gè)白色平板上依次投影灰度值為0～255的灰度圖像，然后計(jì)算相機(jī)所采集圖像的灰度均值。通過(guò)實(shí)際測(cè)量發(fā)現(xiàn)，本文使用的系統(tǒng)在[120，200]的灰度區(qū)間內(nèi)線性度最好，如圖1所示。因此，將i′（x，y）設(shè)定為160，將i″（x，y）取為40。那么，可以得到相移為π/2的4幅正弦光柵圖像：

圖1 灰度響應(yīng)測(cè)試曲線

相位值φ0（x，y）的計(jì)算需分為投影豎條紋和橫條紋兩種情況：

式中：T——條紋的周期數(shù)；

w、h——投影圖像的寬和高。

將上述4幅光柵圖像分別投影到場(chǎng)景中，并用相機(jī)對(duì)其進(jìn)行捕獲。相機(jī)采集到的圖像灰度也應(yīng)具有式（2）的形式，如下所示：

式中：I′（u，ν）——疊加了環(huán)境光后的圖像灰度均值；

I″（u，ν）——拍攝到圖像的灰度變化幅值；

φ（u，ν）——相機(jī)坐標(biāo)系中像素點(diǎn)（u，ν）處的相位值。

對(duì)式（4）進(jìn)行簡(jiǎn)單的推導(dǎo)便可以得到相位值φ（u，ν）的計(jì)算公式為

由式（5）得到的相位結(jié)果位于[0，2π]區(qū)間，即被2π包裹著的。為得到單個(gè)周期的連續(xù)相位值，需要對(duì)其進(jìn)行相位展開。

1.2 基于三頻外差的相位展開

現(xiàn)有的相位展開算法可以分為兩類：基于空間的相位展開算法和基于時(shí)間的相位展開算法。基于空間的方法僅需要投影一幅圖像，效率較高，但分辨率較低；基于時(shí)間的方法可以得到更高的分辨率和精度，且對(duì)物體表面的形狀沒(méi)有任何要求。

本文采用基于時(shí)間編碼方法中的三頻外差編碼策略[9-10]。該方法先后向場(chǎng)景中投影頻率為f1=1/ 70、f2=1/64、f3=1/59的相移圖像各4幅，即一共12幅圖像。假設(shè)根據(jù)這3種頻率的四步相移圖像由式（5）求出的相位圖像分別為φ1（u，ν）、φ2（u，ν）、φ3（u，ν）。由φ1（u，ν）和φ2（u，ν）這兩幅相位圖像，可以計(jì)算得到一幅新的相位圖，其相位值為

該相位圖像對(duì)應(yīng)的頻率為

類似地，可以由φ2（u，ν）和φ3（u，ν）得到新的相位圖像φ23（u，ν），其頻率為f23=1/5。進(jìn)一步地，再通過(guò)這兩幅新的相位圖像，可以得到相位圖像φ123（u，ν），其頻率為f123=1。該相位圖的頻率為1，意味著在整個(gè)圖像中僅存在一個(gè)相位周期，因而能夠?qū)⒉煌南袼攸c(diǎn)區(qū)分開來(lái)。然而，該圖像中的相位值變化范圍為[0，2π]，還需要將其恢復(fù)成式（3）所給出的變化范圍。

這里可以由3種頻率中的任意一種頻率進(jìn)行恢復(fù)，本文采用第一種頻率進(jìn)行恢復(fù)。令

其中round（）為取整函數(shù)，T1=1/f1=70。則最終恢復(fù)出的絕對(duì)相位值可由下式求得：

2 投影結(jié)構(gòu)光系統(tǒng)標(biāo)定

高準(zhǔn)確度的標(biāo)定結(jié)果對(duì)投影結(jié)構(gòu)光系統(tǒng)的測(cè)量準(zhǔn)確度起著至關(guān)重要的作用，本節(jié)提出一種基于直線擬合的標(biāo)定算法，可以取得較高的標(biāo)定準(zhǔn)確度。

圖2 標(biāo)定用的紅藍(lán)棋盤格標(biāo)定板

2.1 標(biāo)定方案

目前廣泛使用的投影結(jié)構(gòu)光系統(tǒng)標(biāo)定算法是將投影儀等效成一個(gè)逆向的相機(jī)，然后用成熟的雙目視覺(jué)標(biāo)定技術(shù)來(lái)進(jìn)行標(biāo)定。傳統(tǒng)的雙目視覺(jué)標(biāo)定方法是用相機(jī)從不同角度拍攝一個(gè)黑白交錯(cuò)的棋盤格標(biāo)定板，然而由于投影儀投射出的是黑白相間的正弦光柵，這些光柵條紋在黑色棋盤格中很難被分辨出來(lái)，因此無(wú)法用黑白顏色的棋盤格進(jìn)行標(biāo)定。本文采用如圖2所示的紅藍(lán)棋盤格標(biāo)定板進(jìn)行系統(tǒng)的標(biāo)定，該標(biāo)定板對(duì)黑白條紋的影響很小，而且通過(guò)投影儀投射紅色光便可以用相機(jī)拍攝到類似黑白棋盤格的圖像。標(biāo)定過(guò)程中拍攝的圖像如圖3所示。

具體的標(biāo)定方案如下：

1）調(diào)整棋盤格標(biāo)定板的姿態(tài)；

2）投影儀投射紅光，用相機(jī)拍攝標(biāo)定板圖像；

3）投影儀投射3個(gè)頻率的四步相移豎條紋圖像（共12幅），并用相機(jī)拍攝相應(yīng)的圖像；

4）投影儀投射3個(gè)頻率的四步相移橫條紋圖像（共12幅），并用相機(jī)拍攝相應(yīng)的圖像；

5）重復(fù)上述步驟10～15次。

圖3 標(biāo)定過(guò)程中拍攝的圖像

2.2 系統(tǒng)的內(nèi)外參數(shù)標(biāo)定

2.2.1 攝像機(jī)標(biāo)定

通常情況下，相機(jī)的成像模型都用小孔成像模型來(lái)表示。對(duì)于世界坐標(biāo)系中的任意一點(diǎn)P（X，Y，Z），對(duì)應(yīng)于相機(jī)圖像坐標(biāo)系中的一個(gè)像素點(diǎn)（u，ν），則有如下關(guān)系成立：

式中：s——尺度因子；

A——相機(jī)的內(nèi)參數(shù)矩陣；

T——相機(jī)的外參數(shù)矩陣。

目前有很多成熟的攝像機(jī)標(biāo)定技術(shù)，如Bouguet方法等。本文采用Matlab提供的detect Checker board Points函數(shù)提取出棋盤格圖像的角點(diǎn)坐標(biāo)，然后用estimate Camera Parameters函數(shù)進(jìn)行標(biāo)定，從而得到相機(jī)的內(nèi)參數(shù)矩陣。

2.2.2 投影儀標(biāo)定

為了對(duì)投影儀進(jìn)行標(biāo)定，需要使投影儀具有捕獲棋盤格角點(diǎn)的能力，這就需要將攝像機(jī)捕獲的角點(diǎn)與投影儀圖像關(guān)聯(lián)起來(lái)，進(jìn)而求出棋盤格角點(diǎn)在投影儀圖像中的坐標(biāo)。

假設(shè)在拍攝標(biāo)定圖像的過(guò)程中對(duì)于棋盤格標(biāo)定板的某個(gè)姿態(tài)，從紅光下拍攝的圖像中提取的某個(gè)角點(diǎn)在相機(jī)圖像坐標(biāo)系下的坐標(biāo)為（xc，yc），從豎條紋及橫條紋圖像中恢復(fù)的相位圖分別為Φν（u，ν）和Φh（u，ν）。首先需要找到角點(diǎn)（xc，yc）處的相位值。為了減小觀測(cè)噪聲對(duì)標(biāo)定結(jié)果的影響，用角點(diǎn)鄰域Ω中相位的均值作為該角點(diǎn)處的相位值，如下式所示：

式中N為鄰域Ω中像素的個(gè)數(shù)。接下來(lái)便可以求出投影儀圖像坐標(biāo)系中對(duì)應(yīng)于這兩個(gè)相位值的像素點(diǎn)坐標(biāo)（up，νp）：

對(duì)攝像機(jī)捕獲的所有棋盤格角點(diǎn)進(jìn)行上述的運(yùn)算，可以得到所有棋盤格角點(diǎn)在投影儀圖像中的坐標(biāo)。然而，由于紅色格子和藍(lán)色格子對(duì)黑白條紋的灰度響應(yīng)不一致，在標(biāo)定板區(qū)域恢復(fù)出的相位值存在一定的誤差，由此計(jì)算出的棋盤格角點(diǎn)在投影儀圖像中的坐標(biāo)也是不準(zhǔn)確的，如圖4所示。

圖4 直接計(jì)算得到的棋盤格角點(diǎn)坐標(biāo)

圖5 直線擬合后得到的角點(diǎn)坐標(biāo)

為提高投影儀捕獲棋盤格角點(diǎn)的準(zhǔn)確度，將上述角點(diǎn)坐標(biāo)進(jìn)行直線擬合，得到7條豎線和12條橫線。然后計(jì)算這些直線的交點(diǎn)，用這些交點(diǎn)的坐標(biāo)來(lái)表示棋盤格角點(diǎn)的坐標(biāo)，最終結(jié)果如圖5所示。通過(guò)與圖4對(duì)比可以發(fā)現(xiàn)，得到的角點(diǎn)坐標(biāo)更加接近真實(shí)值。

得到準(zhǔn)確的棋盤格角點(diǎn)坐標(biāo)后，仍然使用Matlab中的estimate Camera Parameters函數(shù)對(duì)投影儀進(jìn)行標(biāo)定，從而得到投影儀的內(nèi)參數(shù)矩陣。

2.2.3 系統(tǒng)的聯(lián)合標(biāo)定

得到棋盤格角點(diǎn)在相機(jī)圖像坐標(biāo)系及投影儀圖像坐標(biāo)系中的坐標(biāo)后，直接使用Matlab中的estimate Camera Parameters函數(shù)就可以很方便的得到系統(tǒng)的所有參數(shù)。

3 實(shí)驗(yàn)與分析

3.1 系統(tǒng)標(biāo)定實(shí)驗(yàn)

按照上節(jié)給出的標(biāo)定方案，進(jìn)行了整個(gè)系統(tǒng)的標(biāo)定實(shí)驗(yàn)，比較了現(xiàn)有方法和本文所提出方法的標(biāo)定準(zhǔn)確度。在實(shí)際的實(shí)驗(yàn)中，棋盤格的尺寸為31.65mm× 31.65mm；共采集了12組有效的實(shí)驗(yàn)數(shù)據(jù)，即對(duì)應(yīng)棋盤格12個(gè)姿態(tài)。下面將從投影儀標(biāo)定和系統(tǒng)聯(lián)合標(biāo)定分別給出對(duì)比結(jié)果。

圖6 投影儀標(biāo)定誤差統(tǒng)計(jì)

圖7 系統(tǒng)聯(lián)合標(biāo)定誤差統(tǒng)計(jì)

圖6（a）為現(xiàn)有方法得到的投影儀標(biāo)定誤差統(tǒng)計(jì)，平均誤差為4.58個(gè)像素。圖6（b）為本文算法得到的投影儀標(biāo)定誤差統(tǒng)計(jì)，平均誤差僅為1.71個(gè)像素，準(zhǔn)確度得到了顯著的提升。

圖7（a）為現(xiàn)有方法得到的系統(tǒng)聯(lián)合標(biāo)定誤差統(tǒng)計(jì)，攝像機(jī)與投影儀的平均誤差為2.81個(gè)像素。圖7（b）為本文算法得到的誤差統(tǒng)計(jì)，平均誤差為1.60個(gè)像素，可見(jiàn)整個(gè)系統(tǒng)的標(biāo)定準(zhǔn)確度也得到了較大程度的提高。

3.2 平面重建實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文所提算法的有效性，對(duì)一個(gè)標(biāo)準(zhǔn)的平板進(jìn)行了三維重建實(shí)驗(yàn)，投影儀到被測(cè)平板的距離為1m左右。重建結(jié)果如圖8所示，上下兩張圖分別為兩個(gè)不同視角下的觀測(cè)結(jié)果。從結(jié)果圖中可以看出重建的平面平整度非常高，通過(guò)計(jì)算得到擬合平面的誤差為1.27mm，充分驗(yàn)證了本文所提出算法的有效性。

圖8 不同視角下的平板三維重建結(jié)果

4 結(jié)束語(yǔ)

研究了投影儀-相機(jī)結(jié)構(gòu)光系統(tǒng)的灰度相應(yīng)特性，得到了線性度較好的灰度區(qū)間。在該灰度區(qū)間內(nèi)，采用三頻四步相移算法對(duì)投影圖像的相位進(jìn)行展開，能夠得到正確的單周期絕對(duì)相位值。

采用紅藍(lán)棋盤格作為標(biāo)定模板，給出了系統(tǒng)的標(biāo)定方案，并提出基于直線擬合的標(biāo)定算法，利用Matlab提供的函數(shù)對(duì)系統(tǒng)進(jìn)行標(biāo)定。實(shí)驗(yàn)結(jié)果表明本文提出的算法具有更高的標(biāo)定準(zhǔn)確度，為后續(xù)的三維測(cè)量提供了保障。

[1]雷彥章，趙慧潔，姜宏志.一種單雙目視覺(jué)系統(tǒng)結(jié)合的三維測(cè)量方法[J].光學(xué)學(xué)報(bào)，2008，28（7）：1338-1342.

[2]Luhmann T，Robson S，Kyle S，et al.Close range photogrammetry：principles，techniques and applications[M]. New York：Wiley&Sons，2006：50.

[3]鄭順義，周漾，黃榮永，等.館藏文物三維測(cè)量與重建方法研究[J].測(cè)繪科學(xué)，2014，39（7）：76-79.

[4]劉桂華，劉先勇，馮全源，等.大型鍛件熱態(tài)三維結(jié)構(gòu)光在線測(cè)量技術(shù)[J].光電工程，2010，37（9）：91-97.

[5]何懂，劉曉利，殷永凱，等.結(jié)合條紋和偽隨機(jī)結(jié)構(gòu)光投影的三維成像[J].中國(guó)激光，2014，41（2）：0209021.

[6]呂岑，朱歡敏.基于結(jié)構(gòu)光投影的三維指紋特征提取方法[J].科學(xué)技術(shù)與工程，2014，14（27）：71-74.

[7]魏振忠，張廣軍，徐園.一種線結(jié)構(gòu)光視覺(jué)傳感器標(biāo)定方法[J].機(jī)械工程學(xué)報(bào)，2005，41（2）：210-214.

[8]陳會(huì)，密保秀，高志強(qiáng).基于畸變規(guī)律的三維結(jié)構(gòu)光測(cè)量系統(tǒng)標(biāo)定[J].光學(xué)學(xué)報(bào)，2013，33（12）：1215002.

[9]黃燕鈞，李中偉，史玉升，等.基于多頻外差原理的三維測(cè)量技術(shù)[J].新技術(shù)新工藝，2008（12）：37-40.

[10]陳玲，鄧文怡，婁小平.基于多頻外差原理的相位解包裹方法[J].光學(xué)技術(shù)，2012，38（1）：73-78.

Accurate calibration algorithm for structure light system based on line fitting

DONG Jianmin，LI Dongjing
（Shandong Vocational College of Industry，Zibo 256414，China）

An accurate calibration algorithm for projector-camera structure-lighted measuring system has been proposed to improve the accuracy of traditional calibration algorithms.First，find out gray intervals with nearly linear grayscale response.Second，calculate the phase of the projected image by using triple-frequency four-step phase shifting method in the selected interval. Third，extract checkerboard corners from the images captured by the camera，and find out corresponding pixels of these corners in the projector image.Fifth，increase the searching precision of correspondences with the line fitting method.The last step，calibrate the projected structure light system by means of standard stereo.The experiments demonstrate that the proposed algorithm is accurate and satisfies the requirements of three dimensional reconstruction and measurement systems.

three-dimensionalmeasurement；calibration；phase calculation；line fitting

A文章編號(hào)：1674-5124（2015）08-0088-06

10.11857/j.issn.1674-5124.2015.08.021

0 引言

近年來(lái)，光學(xué)三維測(cè)量技術(shù)被廣泛應(yīng)用于逆向工程、虛擬現(xiàn)實(shí)、人體掃描、文物數(shù)字化等領(lǐng)域[1-3]。基于結(jié)構(gòu)光的三維重建是一種重要的主動(dòng)式光學(xué)三維測(cè)量技術(shù)，該方法準(zhǔn)確度高、成本低、抗干擾能力強(qiáng)，因而得到了深入的研究[4-6]。隨著數(shù)字投影技術(shù)的不斷發(fā)展，越來(lái)越多的學(xué)者開始使用投影儀來(lái)投射出固定模式的圖像，并搭配普通的工業(yè)相機(jī)來(lái)實(shí)現(xiàn)物體的三維測(cè)量。

2015-01-01；

2015-03-18

國(guó)家863計(jì)劃資助項(xiàng)目（2011AA040902）

董建民（1979-），男，講師，碩士，主要從事圖像處理、光學(xué)測(cè)量方面的研究。