一種利用結構光照明的高精度三維測量系統

祁昊， 董健， 趙楠， 余毅

（1.中國科學院 長春光學精密機械與物理研究所 精密儀器與裝備研發中心，吉林 長春 130033；2.中國科學院大學， 北京 100049）

1 引言

目前，條紋投影三維測量技術在許多領域發揮著至關重要的作用，如工業檢測、醫療檢測、文物保護和計算機視覺［1-4］等。隨著微光學、微電子和集成化技術的發展，工業產品設計更加高精度化和微小化，因此，機械加工和制造標準必須滿足嚴格的約束，這促進了結構光技術向微小物體表面的三維輪廓信息方向發展［5］。

近年來，國內外許多學者針對顯微小視場三維測量系統的結構原理開展了大量研究。Li等人［6］采用針孔鏡頭投影儀和雙遠心鏡頭相機搭建了一套測量系統，通過優先校準投影儀，再利用投影儀解決校準遠心鏡頭時標定板的位姿模糊問題，建立空間中的三維坐標系，系統精度約為10 μm，但測量視場不到1 cm2。艾佳等人［7］將投影儀和相機搭配遠心鏡頭研發了一種小視場三維測量系統，系統精度為10 μm，但測量視場較小且測量深度僅為380 μm。Hu等人［8］提出了一種利用Greenough立體顯微鏡的顯微表面測量系統。該類型的顯微鏡鏡頭為軸對稱排列，在消除透鏡失真影響的情況下，更容易進行高精度校準。史耀群等人［9］利用立體顯微鏡搭建了一套基于空間相位展開方法的小視場測量系統，但該系統有嚴格幾何約束，需要投影儀和相機與參考面的距離保持一致，導致搭建困難，進而使測量系統丟失了靈活性。由上述研究可知，大部分的測量系統由于標定靈活度低、測量范圍小、測量精度低等因素，未能達到工業檢測的要求。

本文提出了一種結構光照明測量系統，其結構簡單，搭建靈活，在保證大視場的同時視場中心的精度沒有降低。該測量系統利用基于DLP4710芯片開發的投影組件，投影正弦條紋到物體表面，搭配同步觸發相機采集變形條紋圖，并將傳統結構光中針孔鏡頭替換為遠心鏡頭，消除了透視誤差，使拍攝景深增大、圖像失真小、圖像分辨率高。在系統標定過程中使用高精度二維平面標靶，保證標定過程靈活可靠。首先利用系統模型對遠心相機參數進行校準，得到初始參數，包括旋轉矩陣、平移矢量、有效放大率、畸變系數和失真中心。然后將初始參數進行非線性迭代優化，得到較為準確的標定參數。最后將參數代入系統模型中完成微小物體的三維測量與重建。

2 結構光三維測量基本原理

2.1 針孔相機模型

為了對投影儀進行“逆相機”校準［10］，可以使用傳統針孔模型進行描述，圖1顯示了世界坐標系中一個物點P在圖像坐標系中的投影過程。

圖1 針孔成像模型Fig.1 Pinhole imaging model

OW(XW，YW，ZW)、OC(XC，YC，ZC)、OI(x，y)和OS(u，v)分別表示世界、相機、圖像和像素坐標系。

空間中具有坐標(XW，YW，ZW)的點P投影到圖像平面上，由相似三角形可計算出成像平面上的點(f·XC/ZC，f·YC/ZC，f)T，即：

然后考慮外部變換和從圖像系統到像素坐標系的映射，得到將世界坐標中三維物點(XW，YW，ZW)映射到圖像平面像素坐標中二維像點p(u，v)的變換公式，如式（2）所示：

其中：ZP=ZC，dup、dvp為投影儀像元尺寸為投影儀主點坐標。

2.2 遠心相機模型

與針孔成像模型不同，雙遠心透鏡的孔徑光闌放置在焦點上，并且只允許從物體側平行于光軸的光線通過，因此世界空間中所有大小相同的物體無論如何接近或遠離鏡頭，在圖像中都會有大小相同的投影，即產生一個仿射投影。其成像模型如圖2所示。在不考慮鏡頭畸變的情況下，遠心透鏡在X和Y方向上都進行了放大，齊次數學表達式如式（3）所示：

圖2 遠心鏡頭成像模型Fig.2 Telecentric lens imaging model

其中，M為遠心鏡頭的放大倍數。考慮外部變換和從圖像系統到像素坐標系的映射，得到遠心模型中世界坐標中三維物點(XW，YW，ZW)映射到圖像平面像素坐標中二維像點(u，v)的變換公式：

其中：duc、dvc為相機像元尺寸為相機主點坐標。

理想情況下，遠心鏡頭不存在鏡頭畸變，但由于設計和組裝上的缺陷，不可避免造成一定誤差。雖然雙遠心透鏡相比其他透鏡失真較小，但對于測量精度高的系統還需要進行校正，并且由于遠心鏡頭為平行成像，所以切向畸變通常非常小，因此我們只考慮徑向畸變［11］，表達式如式（5）所示：

2.3 相移法及相位展開

在過去幾年中多種相移算法已被提出。每種算法的穩定性和誤差響應均不相同。標準N步相移算法是應用最廣泛的技術，主要特點是算法簡單，具有較強的抑制噪聲的能力。其投影光柵的光強可以表示為：

其中：(x，y)為正弦條紋圖案中的像素點坐標；In是采集條紋圖像的強度；A(x，y)和B(x，y)是圖像的背景強度和調制強度；φ(x，y)是受高度調制的相位；δn是初始相位，且δn=2πn/N，投影的正弦條紋每隔一個周期的2/N移動一次，正弦條紋的相位對應移動2π/N。對應的包裹相位φ(x，y)可以由式（7）算出：

獲取截斷相位后，通過雙頻分層法進行相位展開［12］，進而恢復出連續相位。

相位展開時先設光柵的波長分別為λh和λl，各自的階數為kh和kl，展開相位為Φh和Φl，先分別投影并捕獲高頻和低頻兩套條紋圖，由相移法求得高頻和低頻包裹相位分別為φh和φl，因為單位頻率相位φl不需要相位展開，即Φl(x，y)=φl(x，y)，可以通過單位頻率相位分布φl展開高頻包裹相位，所以只需展開高頻相位即可，由式（8）求出：

其中，kh的表達式為：kh(x，y)=RoundRound［］為求最接近整數值函數。在得到相位展開圖后，由投影儀與相機之間的對應關系即可求出投影儀投射圖案中的坐標。

3 系統標定

3.1 遠心相機標定

目前，基于張正友提出的二維平面靶標標定法［13］已被廣泛應用在傳統針孔相機標定中，所以本節針對遠心成像系統對標定算法進行改進，同樣使用具有特征點的靶標來完成相機的內外參數標定。為了得到精確的標定結果，該靶標應具有一定程度的平面性。

首先忽略鏡頭畸變，并設平面標靶世界坐標的ZW=0，設M/duc=M/dvc=m，則式（4）變為：

由已知特征點的世界坐標與圖像像素坐標之間的關系，可得：

其中，hij是仿射矩陣H的第i行和第j列元素。由于特征點個數大于需要求解的參數個數，所以通過DLT方法［14］與最小二乘法求解出其線性最優解。

由式（9）可得：

因為旋轉矩陣是單位正交矩陣，可以得到：

聯合式（11）和式（12），可得：

因為遠心相機沒有投影中心，所以可以自由設置圖像平面中心位置，一般取探測器平面中心為中心點，進而可以確定tx、ty。

由于模型參數的退化，r13和r23的符號不能確定，Zhang［15］利用微動平臺添加一個新的約束條件解決了符號模糊的問題，但該方法需要添加新的設備且增加了額外操作步驟。Rao等人［11］利用模型的外部參數不變性和張氏標定法，輔助確定參數符號的正負，從而求得完整旋轉矩陣，并且該方法可以重復利用投影儀標定時所使用的圖片，沒有新增操作步驟。

在得到所有內部、外部參數后，引入鏡頭畸變，并對所有參數進行非線性優化。將畸變參數和主點參數作為優化參數加入目標函數中，通過最小化式（15），確定最終標定結果：

其中：pi是特征點的圖像坐標k2R，ts)是特征點的世界坐標根據式（2）、（4）計算得到的投影點坐標，R為旋轉矩陣的前兩行。式（15）是一個非線性最小化問題，可以用L-M算法［16］求解。

3.2 投影儀標定

投影儀標定是將投影儀看作“逆相機”，其校準與相機校準幾乎相同。由于投影儀不能直接捕捉圖像，可以使用相機捕捉圖像，然后將圖像轉換為投影儀圖像，關鍵是在相機像素和投影儀像素之間建立高度精確的對應關系。本文使用第2.3節中的相移法完成這項任務。首先將一系列在垂直方向和水平方向上的正弦條紋圖案投影到二維平面靶標上，如圖3、圖4所示，并用相機捕獲圖像，使用第2.3節中的方法計算出每個像素在垂直和水平方向上的展開相位，再從全白的標靶圖像中提取每個圓心的亞像素位置坐標(uc，vc)［17］，如圖5所示。

圖3 豎直條紋圖Fig.3 Vertical fringe patterns

圖4 水平條紋圖Fig.4 Horizontal fringe patterns

圖5 投影儀圓心圖Fig.5 Circle center image of projector

通過移相算法和線性插值方法提取兩個方向中圓心點的絕對相位，進而求得具有相同的絕對相位的投影儀對應點坐標(up，vp)，計算公式如式（16）所示。

其中：Nv和Nh分別為垂直和水平條紋圖案的條紋周期，W和H為投影儀條紋圖案的寬度和高度。在相位相等的條件下，即可建立相機圖像和投影儀圖像之間的一一映射關系。

將上一步提取的投影儀圓心坐標輸入到MATLAB相機標定工具箱進行標定，可得到投影儀的內部參數。相機與投影儀的內部、外部參數標定結果見表1和表2。將以上代入對應模型計算得到相機與投影儀的反向投射誤差，相機反投影誤差為0.03像素，投影儀反投影誤差為0.05像素。由于“逆相機”法標定投影儀需要利用相機捕捉的圖像，所以相機的標定誤差會傳遞給投影儀。

表1 遠心鏡頭和投影儀內部參數Tab.1 Intrinsic parameters of telecentric lens and projector

表2 遠心鏡頭和投影儀外部參數Tab.2 External parameters of telecentric lens and projector

4 三維重建

4.1 重建原理

完成遠心相機與投影儀標定后，將最終標定參數代入模型中，將內部參數與外部參數合并，得到其標定矩陣：

進一步計算得：

由式（10）可知，求解該點世界坐標要找到投影儀投影像素和相機成像像素的對應關系，并且僅需要4個方程式中的3個即可。因此在測量物體過程中，只需投影垂直或水平條紋中的一組。投影條紋方向的選擇與相機和投影儀的相對位置有關，一般選擇正弦條紋形變最大的方向進行投影［18］，使測量結果更加準確可靠。

4.2 實驗設備

基于以上原理，本文搭建了一套顯微小視場三維形貌測量系統，測量系統如圖6所示。測量系統采用投影芯片型號為TI DLP4710LC DMD，投影儀分辨率為1 920 pixel×1 080 pixel，相機型號為大恒MER-230-168U3M，分辨率為1 920 pixel×1 200 pixel，遠心鏡頭放大倍率為0.231，景深為12 mm。測量時依次將正弦圖投影到視場大小為55.4 mm×43.8 mm內的物體表面上，并使用相機與投影儀進行同步觸發采集照片。

圖6 測量系統裝置圖Fig.6 Photograph of hardware system

標定時采用72 mm×72 mm高精度圓形標定靶，圖7為標定靶圖，特征點圓心間的寬度為3 mm。由于相機視場不足以覆蓋整個標定靶，可以只選取8×11的特征點進行標定。

4.3 重建結果

本文測量的微小物體為5角硬幣和PCB電路板，相機采集的硬幣與PCB電路板的照片如圖8所示。去除掉無關噪聲點［19］并將重建數據點調整到水平坐標系下，硬幣的三維重建結果如圖9所示，其局部重建結果如圖10。電路板重建結果如圖11所示，其局部重建結果如圖12所示。

圖8 被測物體照片Fig.8 Photo of the object

圖9 五角硬幣重建結果Fig.9 Photo of reconstructed coin

圖10 硬幣局部重建結果Fig.10 Region of reconstructed coin

圖11 PCB電路板重建結果Fig.11 Photo of reconstructed PCB board

圖12 PCB電路板局部重建結果Fig.12 Region of reconstructed PCB board

下面對系統的測量精度進行檢測。將標定板置于任意位置并重建特征點的空間坐標，然后計算位于兩條對角線（圖7）的長度，重建結果如圖13所示。為了獲得更好的視覺效果，10個位置中只顯示3個，計算得到的測量結果如表3所示。

表3 標定板對角線測量結果Tab.3 Measurement results of two diagonals on calibration board mm

圖13 3個不同位置的特征點3D圖像Fig.13 3D images of the control points in 3 different positions

測量結果表明，平均測量誤差為32 μm。為了進一步檢查測量系統的不確定度，我們測量了陶瓷標準平面，并與最小二乘擬合得到的理想平面進行了比較，圖14為誤差圖。測量平面的均方根（RMS）誤差為9.8 μm，其誤差的主要來源為測量表面的粗糙度與相機的隨機噪聲。由圖13可知，在視場中心的一定范圍內測量精度可提升至約10 μm。實驗結果表明，本文所提出的校準方法可以為三維幾何重建提供良好的精度。

圖14 標準平面誤差圖Fig.14 Error map of the flat plane

5 結論

本文基于二維平面與逆相機標定法，使用針孔鏡頭投影儀與雙遠心鏡頭相機，設計搭建了一套顯微高精度三維形貌測量系統，其視場范圍為55.4 mm×43.8 mm。標定時使用二維平面標靶，簡化了標定流程，提升了標定速度，保證了測量精度。實驗結果表明，該系統的全視場測量精度為32 μm。如果將被測物體置于視場中心20 mm×20 mm附近，則由標準平面的均方根誤差可知，測量精度約為10 μm，這與其他高精度結構光測量精度相當。即使在視場邊緣也有40 μm精度，優于其他測量方法。使用遠心鏡頭后，測量深度為12 mm，相比于其他方法，本測量系統的測量體積可以容納絕大多數電路板，滿足高精度的工業檢測的要求，實現了對封裝電路板缺陷的檢測，在未來具有進一步探索和應用的潛力。