快速數字條紋投影三維測量系統的開發

張建民 龍佳樂 許志輝 羅順祺 范智暉 陳富健

摘 要： 利用工業相機、工業投影機和計算機開發一套基于數字條紋投影的快速三維形貌測量系統。通過自編軟件實現對工業相機、工業投影機的自動控制和同步，通過標定、投影并拍攝條紋、條紋分析、相位展開和重構獲取了物體表面的三維點云數據。經實驗論證，該系統能快速自動獲取待測物體表面三維數據，進行準確的三維重構。

關鍵詞： 三維形貌測量； 標定； 條紋投影； 同步； 重構； 數字條紋

中圖分類號： TN98?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）15?0119?05

Development of fast 3D measurement system based on digital fringe projection

ZHANG Jianmin1， LONG Jiale1， XU Zhihui1， LUO Shunqi1， FAN Zhihui2， CHEN Fujian1

（1. College of Information Engineering， Wuyi University， Jiangmen 529020， China；

2. MStar Software Development Inc.， Shenzhen 518057， China）

Abstract： A set of fast 3D shape measurement system based on digital fringe projection was developed by means of industrial camera， industrial projector and computer. The automatic control and synchronization of the industrial camera and industrial projector are realized with the self?made software. The calibration， projection， fringe photographing， fringe analysis， phase unwrapping and reconstruction are used to obtain the 3D point cloud data of the object surface. The experimental result confirms that the system can get the 3D data of the measuring object surface quickly and automatically， and perform the 3D reconstruction accurately.

Keywords： three?dimensional shape measurement； calibration； fringe projection； synchronization； reconstruction； digital fringe

0 引 言

隨著科學技術的發展和人們生產生活水平的不斷提高，僅僅得到三維世界中物體的二維信息已遠遠不能滿足需求，作為非接觸式三維測量技術的典型代表，基于數字條紋投影的三維形貌測量越來越受到關注[1?8]。該類系統由一個投影機、一個照相機和一個參考平面構成，先設計一組數字條紋圖像通過投影機先后投射到參考平面和待測物體表面，并用照相機拍攝下來。由于參考平面表面形貌沒有任何起伏，所以相機拍攝到的經參考平面直接反射的是沒有任何形變的條紋，稱為參考條紋。但經待測物體表面反射的條紋發生了形變，顯然這種變形條紋攜帶了物體表面形貌的三維信息，基于數字條紋投影的三維形貌測量就是通過對這種變形條紋和參考條紋的對比分析提取出物體表面的三維形貌信息的。

上述傳統的三維形貌測量系統存在可操作性差，對硬件設備的位置約束過強，且需要應用參考平面等問題，于是文獻[9]提出一種新的系統模型，利用該模型通過標定、投影條紋圖的設計與投影，相位計算、相位展開四步，最終結合標定參數即可求得待測物體表面每個像素點的三維坐標，實現立體重構[10?12]。其中快速三維形貌測量系統開發的關鍵是如何控制相機和投影機采集待測物體的三維數據以及實現兩者信號采集的同步。

1 理論模型

從二維圖像獲取三維物體信息，需要根據計算機視覺原理建立二維圖像與三維世界之間的關系。二維圖像的單位為像素，而三維世界的物體長度為模擬量，因此，首先需要確定二維數字圖像與二維物理圖像之間的關系，然后確定二維物理圖像與三維世界的關系。

以相機為例，二維數字圖像與二維物理圖像之間的關系[13]如圖1所示。

圖1中，[O1?uc?vc]為圖像坐標系，以圖像的左上角第一個像素點為坐標原點，圖像的上邊沿為[uc]軸，左邊沿為[vc]軸。[O1c?xc?yc]為圖像的物理坐標系，[O1c（uo，vo）]為光心點，設1個像素[uc]方向對應的物理長度為[dx]，[vc]方向對應的物理長度為[dy]，則像素坐標系與圖像物理坐標系存在式（1）所示關系。

然后需要確定二維物理圖像與三維世界的關系，如圖2所示。圖2中，坐標[Oc?Xc?Yc?Zc]為相機坐標系，坐標[O1c?xc?yc]為圖像的物理坐標系，是一個三維的坐標系。透鏡光心[Oc]到圖像中心點[O1c]的距離為相機的焦距，設為f。有三個維度的相機坐標系中的點[P（Xc，Yc，Zc） ]在只有兩個維度的圖像物理坐標系中成像，形成點[PO（xc，yc）]。由成像原理可得[△OcLP]與[△OcO1cPo]相似，則有[XcZc=-xcf，YcZc=-ycf]，結合式（1）得到式（2）：

式中：[λc]=[Zc]，[αc=-fdx]，[βc=-fdy]，[uoc]=[uo]，[voc]=[vo]。式（2）確定了圖像坐標系與相機坐標系之間的關系，即二維數字圖像與三維世界的關系[14]。對于投影機也有投影機圖像坐標系與投影機坐標系，并存在類似式（2）的關系。

在三維形貌測量中，待測物體表面的點可以用相機坐標系的坐標表示，也可以用投影機坐標系的坐標表示。為了實現坐標系的統一，需要選定一個世界坐標系，并用其坐標表示待測物體表面的點。相機坐標系、投影機坐標系和世界坐標系都是三維坐標系，如圖3所示，它們存在旋轉和平移的關系[15?17]。

圖3中，坐標系[O1?uc?vc]為CCD矩陣坐標系，即相機的圖像坐標系。坐標系[O2?up?vp]為DMD矩陣坐標系，即投影的圖像坐標系。坐標系[Oc?Xc?Yc?Zc]為相機坐標系，該坐標系以相機鏡頭光學中心為原點，平行相機CCD矩陣左邊沿過點[Oc]所在直線為[Xc]軸，平行相機CCD矩陣上邊沿過點[Oc]所在直線為[Yc]軸，相機鏡頭法線所在直線為[Zc]軸。同理，坐標系[Op?Xp?Yp?Zp]為投影機坐標系，該坐標系以投影機鏡頭光學中心為原點，平行投影機矩陣左邊沿過點[Op]所在直線為[Xp]軸，平行投影機DMD矩陣左邊沿過點[Op]所在直線為[Yp]軸，相機鏡頭法線所在直線為[Zp]軸。[P（Xw，Yw，Zw）]是待測物體所在世界坐標系坐標。由式（2）和相機坐標系與世界坐標系的關系可得：

在式（3）中，等式右邊的第一個矩陣為相機的內參數矩陣，等式右邊的第二個矩陣為世界坐標系到相機坐標系的旋轉平移矩陣，即外參數矩陣。同理，投影機也存在與工業相機一樣的坐標關系：

式（3）中的相機內外參數矩陣和式（4）中的投影機的內外參數矩陣可通過系統標定來確定。首先設計紅藍棋盤格的標定板，通過分別投影單色光和黑白圖片并拍攝，然后利用相機Matlab工具箱進行相機標定，接著將相機拍攝到的圖片轉換為投影機“拍攝”的圖片，進行投影機的標定，最終確定相機的內外參數矩陣和投影機的內外參數矩陣[18]。

式（3）和式（4）中等式的左邊[uc]和[vc]表示圖像坐標上的點，[up]表示投影平面上的某一橫向直線，[up]可通過條紋分析技術和相位展開技術從變形條紋中解得，因此由式（3）和式（4）即可求出待測物體表面的三維坐標[（Xw，Yw，Zw）]，從而完成重構，實現三維測量。

2 系統設計

根據上述數學模型，進行測量系統的硬件設計和軟件設計。在硬件設計上，通過控制工業投影機投影和工業相機拍照實現三維數據的采集；在軟件設計上，通過對硬件設備的自動控制和調用相關的三維重構算法實現重構。

2.1 硬件設計

本系統的硬件模型即工業相機，工業投影機和計算機之間的相互連接如圖4所示，計算機通過網線與工業相機連接，通過USB線和視頻傳輸線與工業投影機連接。工業投影機與工業相機通過外部觸發雙絞線連接，能實現兩者的通信，即工業投影機每投影出一幅圖片輸出一個外部觸發信號，觸發工業相機采集。圖5為本系統的實物圖，其中右側為工業相機，左側為工業投影機。

本系統采用的工業相機型號為Basler acA1280?60gc，其擁有GigE接口和外部觸發接口，1 280×1 024像素（60 f/s），支持外部觸發采集和內部觸發采集。該相機內部包括以太網控制器、微控制器、FPGA、圖像緩沖器、I/O寄存器和圖像傳感器等，結構示意圖如圖6所示。當工業相機從Pin2接收到單幀采集的控制信號時，FPGA根據由微控制器預先設定的曝光時間控制傳感器進行曝光，傳感器采集到的圖像數據先保存到圖像緩沖器中，再經過以太網控制器傳輸到計算機，這樣就實現了圖像數據的獲得與傳輸。其中對工業相機曝光時間、圖像增益等參數設置也通過以太網和微控制器實現。

本系統采用的工業投影機型號為DLP LightCrafter4500，其內部結構如圖7所示。該投影機擁有許多外部接口，常常用于三維形貌測量系統中，而本系統主要應用的接口是USB接口和外部觸發接口。在圖7中，計算機通過UART接口發送控制數據，發送圖像投影信號，設置投影機的投影模式等。投影圖像數據傳輸過程是將預先設計好的條紋圖通過投影機的UART接口經DLPC350保存到FLASH中。在投影圖像時，首先DLPC350從FLASH中加載所需要投影的圖像到其內存中，微鏡陣列模塊根據接收到圖像數據，控制每個像素所對應微鏡的開關頻率。投影原理是DLPC350通過控制LED驅動紅綠藍燈的電流實現LED亮度的控制，LED燈光透過微鏡陣列投影成像。

投影與拍攝能實現同步是因為投影機每投影一幅圖像的同時，DLPC350使觸發器TRIG1_OUT_CON輸出一個信號1，該信號通過外部觸發雙絞線送給工業相機的Pin2，Pin2引腳接收到該上升沿時觸發相機采集一幅圖片。正是由于投影和拍攝的同步使得該系統的測量速度較傳統的通過估算投影時間設置相機曝光時間的系統加快不少。

2.2 軟件設計

軟件設計的目的是實現工業相機、投影機的自動控制和相關重構算法的調用。其中工業投影機的控制可通過官方提供的LightCrafter4500_v1.2.exe軟件實現投影的曝光時間和投影外部觸發信號的輸出，控制界面如圖8所示。

工業相機的控制可通過調用圖9所示的SDK庫實現初始化，觸發模式控制和拍攝與保存等功能。為了方便用戶進行系統標定和三維重構，需要使用MFC編程，編寫系統標定界面和點云數據采集界面以實現投影和拍照（即采集）的自動化。交互界面如圖10和圖11所示。

在圖11中，點擊“投影條紋”或“外部觸發采集”按鈕后實現投影條紋圖和采集變形條紋圖，投影和采集完成后通過點擊“重構立體數據”按鈕后，系統軟件調用條紋分析算法和相位展開算法結合標定參數計算出待測物體三維數據，最終會在系統目錄下生成“result.txt”文件，該文件包含每個像素點的三維坐標，可利用第三方Geomagic Studio軟件打開后直觀地看到三維重構的立體視圖，并獲取待測物體表面的三維數據。

3 實驗與分析

首先設計兩組波長為23和47的光強在垂直方向（y方向上）呈正弦規律變化的條紋圖片，投影到一個玩具模型表面，通過照相機采集到的變形條紋如圖12a）和圖12b）所示。對變形條紋用六步相移的條紋分析技術處理得到的包裹相位圖如圖12c），圖12d）所示。根據首次提出的基于波長選擇的雙波長條紋相位展開算法可從包裹相位中正確地恢復出絕對相位，如圖12e）和圖12f）所示。

結合系統的標定參數可求得待測物體表面每個像素點的三維坐標，利用Geomagic Studio對測量結果進行顯示，最終得到的三維重構立體視圖如圖13所示。其中圖13a）是待測物體的實物圖，圖13b）～圖13e）分別為該物體重構后不同角度的三維視圖。結果顯示該玩具模型得到了準確重構，證明了該系統的有效性。

4 結 論

本文完成了一套基于數字條紋投影的三維相貌測量系統的開發，利用工業相機和工業投影機搭建三維測量系統，利用軟件編程實現工業相機和投影機的控制，并實現了投影和拍攝的同步，達到了快速測量的目的。該三維形貌測量系統的算法核心是條紋分析技術和相位展開技術，本系統所采用的條紋分析技術是通用的相移形貌測量法[18]，采用的相位展開技術是自主提出的基于波長選擇的多波長相位展開算法[19?20]。該快速測量系統的開發，將推動三維形貌測量在生產生活中的應用。目前正在進一步研究多面重構結果的拼合，以達到更好的立體重構效果。

注：本文通訊作者為龍佳樂。

參考文獻

[1] 李中偉.基于數字光柵投影的結構光三維測量技術與系統研究[D].武漢：華中科技大學，2009.

LI Z W. Research on structured light 3D measurement technology and system based on digital fringe grating projection [D]. Wuhan： Huazhong University of Science and Technology， 2009.

[2] CHEN K， XI J， YU Y， et al. Three?dimensional measurement of object surfaces with complex shape and color distribution based on projection of color fringe patterns [J]. Applied optics， 2013， 52（30）： 7360?7366.

[3] DU G， ZHANG C， ZHOU C， et al. Iterative two?step temporal phase?unwrapping applied to high sensitivity three?dimensional profilometry [J]. Optics and lasers in engineering， 2016， 79： 22?28.

[4] GUAN G， HASSEBROOK LG， LAU D L. Composite structured light pattern for three?dimensional video [J]. Optics express， 2003， 11（5）： 406?416.

[5] FENG S， CHEN Q， ZUO C. Graphics processing unitassisted real?time three?dimensional measurement using speckle?embedded fringe [J]. Applied optics， 2015， 54（22）： 6865?6873.

[6] JIANG C， JIA S， DONG J， et al. Multi?frequency color?marked fringe projection profilometry for fast 3D shape measurement of complex objects [J]. Optics express， 2015， 23（19）： 24152?24162.

[7] XU Y， JIA S， LUO X， et al. Multi?frequency projected fringe profilometry for measuring objects with large depth discontinuities [J]. Optics communications， 2013， 288： 27?30.

[8] GARCIA?ISAIS C A， OCHOA N A. One shot profilometry using phase partitions [J]. Optics and lasers in engineering， 2015， 68： 111?120.

[9] ZHANG S， HUANG P. Novel method for structured light system calibration [J]. Optics engineering， 2006， 45（8）： 8360?8368.

[10] 龍佳樂，張建民，范智暉.雙波長條紋投影三維形貌測量的實現[J].光電子技術，2015，35（4）：258?262.

LONG J L， ZHANG J M， FAN Z H. Implement of three dimensional topography measurement with double wavelength fringe projection [J]. Optoelectronic technology， 2015， 35（4）： 258?262.

[11] SERVIN M， PADILLA M， GARNICA G， et al. Profilometry of three?dimensional discontinuous solids by combining two?steps temporal phase unwrapping， co?phased profilometry and phase?shifting interferometry [J]. Optics and lasers in enginee?ring， 2016， 87： 75?82.

[12] 劉星明，蔡鐵，王輝靜，等.基于相位恢復的三維可視化應用研究[J].計算機科學，2016， 43（z2）：256?258.

LIU X M， CAI T， WANG H J， et al. Research on application of 3D visualization based on phase recovery [J]. Computer science， 2016， 43（S2）： 256?258.

[13] 錢垚，童立靖，劉晶晶，等.一種基于工業相機的距離測量系統[J].計算機時代，2011（11）：28?31.

QIAN Y， TONG L J， LIU J J， et al. An industrial camera?based distance measuring system [J]. Computer era， 2011（11）： 28?31.

[14] 張成艷.基于雙目視覺的織物三維數字化技術研究[D].西安：陜西科技大學，2014.

ZHANG C Y. Research on 3D digital technology of fabric based on binocular vision [D]. Xian： Shaanxi University of Science and Technology， 2014.

[15] ZHANG Z Y. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1334.

[16] ZHANG W， CHEN Z， ZHANG R， et al. An absolute phase to world coordinates method for the defocusing structured light shape measurement system [J]. Optik?international journal for light and electron optics， 2014， 125（22）： 6819?6825.

[17] GAO W， WANG L， HU Z. Flexible method for structured light system calibration [J]. Optical engineering， 2008， 47（8）： 602?612

[18] ZHANG S. Digital multiple wavelength phase shifting algorithm [J]. Proceedings of SPIE， 2009， 7432： 1?11.

[19] LONG J L， XI J T， ZHU M， et al. Absolute phase map reco?very of two fringe patterns with flexible selection of fringe wavelengths [J]. Applied opticts， 2014， 53（9）： 1794?1801.

[20] LONG J L， XI J T， ZHANG J M， et al. Recovery of absolute phases for the fringe patterns of three selected wavelengths with improved anti?error capability [J]. Journal of modern optics， 2016， 63（17）： 1695?1705.