提高形狀測量精度的直接與間接反射分離方法

王小磊

徐州工程學(xué)院 信電學(xué)院，江蘇 徐州 221111

1 引言

光學(xué)三維形狀測量具有非接觸、高準確度和高分辨率等特點，廣泛應(yīng)用于CAD/CAM、逆向工程、產(chǎn)品質(zhì)量檢測、醫(yī)療診斷、機器人視覺、數(shù)字化文物保護、虛擬現(xiàn)實等諸多領(lǐng)域[1-2]。

在光學(xué)三維形狀測量方法中結(jié)構(gòu)光投影法具有成本低、分辨率高和測量速度快的優(yōu)勢，日益得到廣泛應(yīng)用[3]。該方法利用結(jié)構(gòu)光投影裝置向被測物體投射有一定規(guī)律的結(jié)構(gòu)光，由攝像機獲取被測物體表面信息的調(diào)制而發(fā)生形變的結(jié)構(gòu)光條紋圖像，并加上系統(tǒng)結(jié)構(gòu)參數(shù)計算獲得被測物體的三維形狀信息。該方法的測量前提是結(jié)構(gòu)光投射后必須在被測物體的表面上形成反射光。但這些反射光中含有兩種成分：一種是投射結(jié)構(gòu)光到達被測物體表面后直接反射所形成的，也是三維形狀測量所需的理想反射光（圖1（a））。另一種是投射結(jié)構(gòu)光進入到被測物體內(nèi)部產(chǎn)生散亂或反射，與投射結(jié)構(gòu)光所到達位置不同的點射出而形成的反射光（圖1（b）和（c）），比如皮膚等；或者是投射結(jié)構(gòu)光與被測物體和另外物體間相互反射所形成的反射光（圖1（d）），如鏡面等。本文把內(nèi)部散亂、內(nèi)部反射以及相互反射統(tǒng)稱為間接反射。

圖1 直接反射和間接反射示意圖

由圖1可知間接反射是降低三維形狀測量精度的主要因素，因此分離或者消除間接反射就可以提高三維測量精度。為此，本文提出了一種分離或消除間接反射的改進方法。

2 提出的方法

結(jié)構(gòu)光投影法是由攝像機獲取被測物體表面信息的調(diào)制而發(fā)生形變的結(jié)構(gòu)光條紋圖像。此時該條紋圖像包含了兩種反射光，即直接反射和相互反射。假設(shè)投射結(jié)構(gòu)光是沿著時間軸方向的一定初相位的調(diào)制結(jié)構(gòu)光（圖2（a）），那么如果攝像機觀測到直接反射，認為投射結(jié)構(gòu)光的相位與攝像機所觀測到的結(jié)構(gòu)光條紋圖像的灰度值相位是相同的（圖2（b））；反之由于相互反射的投射路徑不同，與直接反射存在著一定的相位差異（圖2（c））。

圖2 投射結(jié)構(gòu)光和反射光之間的相位關(guān)系圖

結(jié)構(gòu)光條紋圖像中分離直接反射和相互反射的相位差異是一種復(fù)雜的數(shù)學(xué)解析過程[4]。為了避免數(shù)學(xué)解析過程，本文反向利用了直接反射和相互反射的相位差異，在投射結(jié)構(gòu)光中設(shè)置不同相位的調(diào)制結(jié)構(gòu)光。該調(diào)制結(jié)構(gòu)光是以格雷碼結(jié)構(gòu)光為基礎(chǔ)，將初相位為0°和相移為90°的格雷碼結(jié)構(gòu)光相結(jié)合而形成的改進投影結(jié)構(gòu)光，如圖3所示。

圖3 提出的改進投影結(jié)構(gòu)光

利用上述改進結(jié)構(gòu)光，分離或消除相互反射的具體步驟如下：

（1）通過攝像機獲取一系列格雷碼結(jié)構(gòu)光和改進結(jié)構(gòu)光正-反投影的條紋圖像A、B、C。

（2）A和B的差分獲得D-1條紋圖像，以此分離或消除直接反射對相互反射的影響；同樣A和C的差分獲得D-2條紋圖像，以此分離或消除直接反射對相互反射的影響。

（3）合成條紋圖像D-1和D-2，便可得相互反射已被分離或消除的新條紋圖像D（如圖4所示）。

圖4 直接反射和相互反射的分離方法

采用了上述方法，在有效地分離或消除了相互反射影響的同時，提高了被測環(huán)境變化時的魯棒性。并且采用改進投影結(jié)構(gòu)光的正-反投影方法，將實現(xiàn)結(jié)構(gòu)光條紋圖像中的結(jié)構(gòu)光邊緣的亞像素定位。

3 邊緣檢測

利用結(jié)構(gòu)光三維形狀測量方法來獲取被測物體的三維坐標信息時，應(yīng)滿足投射結(jié)構(gòu)光和攝像機所獲得的結(jié)構(gòu)光條紋圖像之間的一一對應(yīng)關(guān)系。但是由于結(jié)構(gòu)光條紋圖像是離散數(shù)據(jù)存在著量子化誤差等原因，未能實現(xiàn)被測物體三維坐標的高精度計算。此外，實際所獲得的結(jié)構(gòu)光條紋圖像都存在著不同程度的擴散，因此采用Otsu、Canny邊緣檢測等圖像處理算法很難達到預(yù)期的效果。為此，本文采用了投射結(jié)構(gòu)光的正-反投影方法來實現(xiàn)結(jié)構(gòu)光條紋圖像中的結(jié)構(gòu)光邊緣的檢測及亞像素定位[5-6]。具體定位過程如下：

步驟1利用結(jié)構(gòu)光投影裝置投射調(diào)制結(jié)構(gòu)光的正-反投影的同時，通過攝像機獲得形變后的調(diào)制結(jié)構(gòu)光正-反投影的結(jié)構(gòu)光條紋圖像，如圖5所示。

圖5 正-反投影結(jié)構(gòu)光條紋圖像示意圖

步驟2利用格雷碼的解碼方法對獲得的正-反投影的結(jié)構(gòu)光條紋圖像進行解碼，并對各像素點進行排序確定相同投射結(jié)構(gòu)光的像素點。然后，獲取相鄰?fù)渡浣Y(jié)構(gòu)光的沿時間軸方向、同一條紋S下的像素點的灰度值A(chǔ)S、BS、CS、DS。

步驟3根據(jù)相鄰結(jié)構(gòu)光的正-反投影中的同一個像素點的灰度值A(chǔ)S和BS、CS和DS，以及線性補償方法來確定在結(jié)構(gòu)光條紋圖像中的結(jié)構(gòu)光邊緣位置PS，如圖6所示。其中邊緣位置PS的亞像素定位表達式為：

圖6 邊緣檢測算法

4 三維信息計算

根據(jù)投射結(jié)構(gòu)光裝置和攝像機的幾何坐標變換來計算被測物體的三維坐標信息[7-9]，計算步驟如下所示。

步驟1建立攝像機坐標系和圖像坐標系之間的對應(yīng)關(guān)系，可寫為：

式中，Cij為攝像機坐標系的三維坐標[Xc,Yc,Zc]到圖像坐標系的二維坐標[xc,yc]的變換矩陣。

步驟2根據(jù)投射結(jié)構(gòu)光裝置的一維投射結(jié)構(gòu)光的特點，建立攝像機坐標系和結(jié)構(gòu)光投射裝置的投射面坐標系之間的對應(yīng)關(guān)系，可寫為：

式中，pij為攝像機坐標系的三維坐標[Xc,Yc,Zc]到結(jié)構(gòu)光投射裝置的投射面坐標系的一維坐標[xp]的變換矩陣。

步驟3 消去上式（2）、（3）中的參數(shù)hc、hp，則可得的矩陣方程式為：

式中：

因此式（4）中只要Q-1存在，就可以計算被測物體的三維坐標V,其表達式為：

式（2）～（5）中，變換矩陣Cij和Pij是通過系統(tǒng)標定來確定的。為了簡化標定過程，本文采用傳統(tǒng)標定方法，即利用空間坐標已知的三維標定體，由攝像機獲取圖像中標定變換矩陣Cij；另外向標定體的指定位置投射光標，來標定變換矩陣Pij。

5 實驗及結(jié)果分析

圖7（a）為本實驗的結(jié)構(gòu)光投影三維形狀測量系統(tǒng)；系統(tǒng)所采用的主要實驗設(shè)備如表1。

表1 主要實驗設(shè)備一覽表

圖7（b）為本實驗被測環(huán)境，其被測對象采用足部關(guān)節(jié)，并利用鏡面形成間接反射。利用VC++編程生成投射結(jié)構(gòu)光，并從投影儀投射正-反結(jié)構(gòu)光，共計20幅，其空間分辨率為210=1 024。

圖7 結(jié)構(gòu)光投影三維形狀測量系統(tǒng)示意圖

結(jié)構(gòu)光投影三維形狀測量中采用Online測量（含結(jié)構(gòu)光投射、采樣圖像）和Offline計算（含三維坐標計算、三維重建）的兩步驟處理方法，以此提高三維形狀測量速度。其測量流程如圖8所示。

圖8 結(jié)構(gòu)光投影三維形狀測量流程圖

5.1 直接反射和相互反射的分離結(jié)果

圖9所示為基于本文方法的邊緣檢測及直接反射和相互反射的分離結(jié)果。其中圖9（a）為直接反射的檢測結(jié)果，圖9（b）為相互反射的檢測結(jié)果。檢測結(jié)果可知，本文方法不僅有效地分離出了直接反射和相互反射，并且有效地檢測出了投射結(jié)構(gòu)光邊緣，消除了相互反射對測量精度的影響。

圖9 直接反射和相互反射分離結(jié)果圖

5.2 三維重建結(jié)果

根據(jù)5.1節(jié)所得的直接反射和相互反射的分離結(jié)果，以及正-反結(jié)構(gòu)光投影法獲得投射結(jié)構(gòu)光排序結(jié)構(gòu)和邊緣的亞像素定位結(jié)果，計算出被測物體的三維坐標信息，并結(jié)合VC++和OPENGL的編程方式進行了對被測物體的三維重建[10-11]。其重建結(jié)果如圖10所示，圖（a）為兩種反射分離后的各反射光的三維重建結(jié)果，圖（b）為兩反射光的三維重建合成結(jié)果。重建結(jié)果表明了該改進結(jié)構(gòu)光投影方法的有效性，同時也擴大了三維測量范圍。

圖10 足部關(guān)節(jié)的三維重建結(jié)果圖

6 結(jié)論

通過鏡面所形成的間接反射和足部關(guān)節(jié)的三維形狀測量來驗證提出的直接反射和相互反射的分離方法；利用格雷碼結(jié)構(gòu)光和改進結(jié)構(gòu)光的正-反投影方法來檢測結(jié)構(gòu)光條紋圖像中的邊緣亞像素定位。實驗結(jié)果表明，本文方法不僅有效地分離出直接反射和間接反射，并且精確地計算出了足部關(guān)節(jié)的三維坐標，并實現(xiàn)了三維重建。本文方法不僅能改善間接反射對形狀測量精度的影響，而且根據(jù)實驗環(huán)境設(shè)置便可擴大被測物體的三維測量范圍。

[1]Sang X Z.A method on 3D shape measurement and its trend in development[J].Measurement Transaction，2001，2：36-37.

[2]Salvi J，Pages J，Batlle J.Pattern codification strategies in structured light systems[J].Pattern Recognition，2004，37（4）：827-849.

[3]張廣軍.視覺測量[M].北京：科學(xué)出版社，2008.

[4]Nayar S K，Krishnan G，Grossberg M，et al.Fast separation of direct and global components of a scene using high frequency illumination[J].Transaction on Graphics，2006，25：935-943.

[5]Ikuchi S，Satou G.3D imaging techniques for measurement[M].Tokyo：Shoko-do，1992.

[6]于曉洋，董秋玲，張加海，等.基于正反圖案的亞像素條紋邊緣檢測方法[J].測試技術(shù)學(xué)報，2008，22（2）：231-235.

[7]David A.Forsythandjeanponce[M]//ComputerVision：A Mordern Approach.[S.l.]：Printice Hall，2003.

[8]Rocchini C，Cignoni P.A low cost 3D scanner based on structured light[J].Proc Euro Graphics，2001，20：299-308.

[9]TsaiR Y.A versatile camera calibration techniquefor high-accuracy 3D machine vision metrology using off-theshelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation，1987，RA-3（4）：323-344.

[10]肖健，孫杰，李明媚，等.三維形貌測量系統(tǒng)的數(shù)據(jù)處理與顯示技術(shù)實現(xiàn)[J].天津理工大學(xué)學(xué)報，2009，25（3）：40-43.

[11]Bernardini F，Rushmeier H E.The 3D model acquisition pipeline[J].Computer Graphic Forum，2002，21：149-172.