基于快速散斑結構光三維重建的在線測量系統(tǒng)

郭繼平，李名兆，周迎春，李阿蒙，張俊杰

（深圳市計量質(zhì)量檢測研究院，廣東 深圳 508055）

0 引言

隨著制造業(yè)數(shù)字化、智能化轉型發(fā)展，生產(chǎn)線上對運動狀態(tài)下產(chǎn)品或工件物體的非接觸表面三維結構尺寸和表面缺陷的高精度快速測量需求日益增多。基于散斑結構光投影和立體視覺原理的三維成像和測量技術，具有非接觸、速度快、抗環(huán)境干擾能力強、適用于運動物體測量等特點，在工業(yè)測量領域有著廣闊的應用前景，成為近年來國內(nèi)外研究的熱點［1-5］。

基于散斑投影的三維重建方法的關鍵步驟是利用數(shù)字圖像相關算法搜索查找左右相機采集的散斑圖像的對應點。該步驟計算量大、計算復雜度高、耗時長，成為散斑投影三維重建方法應用于快速在線工業(yè)測量的限制因素之一。此外，在鈑金件輥壓成形等典型的連續(xù)性制造中，工業(yè)產(chǎn)線對產(chǎn)品和工件的質(zhì)量檢測，需要同時對3D面型輪廓及關鍵表面幾何結構尺寸進行精確快速測量，當前國內(nèi)缺乏針對性的自主在線測量設備。本文針對上述問題，通過對散斑三維重建算法的優(yōu)化，提升三維重建計算效率，結合輥壓成形智能制造場景中鈑金件快速檢測需求，研究開發(fā)基于快速散斑三維重建的在線測量系統(tǒng)，并通過已校準溯源的測量標準對系統(tǒng)測量數(shù)據(jù)結果的精度進行了驗證分析。

1 基于快速散斑結構光三維重建的在線測量方法

1.1 散斑結構光三維重建步驟

典型的基于散斑投影的三維重建系統(tǒng)一般由1個投影裝置和2個相機組成，如圖1所示。其基本步驟為：①投影裝置投射散斑結構光至物體表面，左右兩個相機同步采集包含物體表面信息的散斑圖像；②對散斑圖像進行預處理，包括濾波、散斑區(qū)域的提取、圖像去畸變等；③對處理后的圖像進行投影校正，并利用數(shù)字圖像相關算法搜索得到物體表面點在兩個相機所成圖像中的整像素匹配點對；④利用非線性優(yōu)化方法計算亞像素匹配點對；⑤基于系統(tǒng)標定數(shù)據(jù)，利用雙目立體視覺原理計算匹配點對的空間三維坐標，獲得物體表面三維數(shù)據(jù)。

圖1 散斑投影三維重建示意圖Fig.1 Schematic diagram of speckle projection 3D reconstruction

上述步驟③和④的匹配點對搜索是關鍵步驟，但由于計算量較大，較為耗時，選擇合適的搜索策略和優(yōu)化算法十分重要，關系到三維重建的精度和效率［6-7］。本文利用二階圖像投影校正算法和優(yōu)化的亞像素優(yōu)化算法提升三維數(shù)據(jù)重建效率。

1.2 二階圖像投影校正

基于散斑投影的三維重建系統(tǒng)中的兩個相機構成雙目立體視覺系統(tǒng)，其中一個相機獲得的散斑圖像特征點位于另一個相機平面對應的極線上。如圖2所示，aL(uL，vL)和aR(uR，vR)是物體表面點A在左右相機所成散斑圖像中的對應點，(ui，vi)(i=L，R)為各自圖像坐標。aL，aR分別落在對應圖像的極線paL，paR上，圖中eL，eR為極點，OL，OR為相機光心。這一性質(zhì)可用于左右相機散斑圖像對應點的搜索過程，使得數(shù)字圖像相關計算搜索從整個圖像區(qū)域的二維搜索簡化為沿極線方向的一維搜索，可減少搜索計算時間。通常情況下，極線在圖像中有一定的斜率。直接沿極線進行對應點搜索仍較為耗時，且容易產(chǎn)生誤匹配。為此，可對預處理后的散斑圖像進行投影校正，使得搜索路徑沿u軸方向進行，以進一步提升效率，減少錯誤［8-9］。

圖2 極線搜索及圖像投影校正示意圖Fig.2 Schematic diagram of polar line search and image projective rectification

采用的圖像投影校正方法包括圖像水平線變換校正和共線性變換校正兩個步驟。首先根據(jù)式（1）將左右相機圖像極線調(diào)整至與u軸平行。

式中：a，b，c為調(diào)整系數(shù)，可通過已知對應圖像坐標點由最小二乘法解算求出。然后，可根據(jù)式（3）完成共線性變換。

通過變換，左右相機圖像共軛極線paL，paR的v坐標調(diào)整至相同，散斑圖像的對應點相關搜索僅需沿u軸進行，可大幅提升對應點搜索效率［10］。

1.3 對應點快速搜索

完成上述投影校正變換處理后，通過雙線性插值算法獲得可直接進行數(shù)字相關計算的新物體散斑圖像。本文選擇搜索子圖像窗口半寬m為10像素，對左相機子圖像區(qū)域IL沿其中心點v坐標在右相機圖像中沿u軸進行相關搜索，并采用基于去均值歸一化互相關函數(shù)的相關算法依據(jù)式（4）計算相關系數(shù)Ci［11］。

式（4）中：fi為IL中第i個子區(qū)內(nèi)像素點對應的灰度值為對應子區(qū)圖像度值均值；gi為右相機圖像水平極線上第i個待匹配子區(qū)域內(nèi)像素點的灰度值為該子區(qū)圖像灰度均值。當Ci取最大值時對應的子區(qū)域即為匹配區(qū)域，其中心點即為對應點。

1.4 對應點亞像素優(yōu)化及三維重建算法

經(jīng)過上述快速對應點搜索步驟，得到整像素級對應點坐標。為提升散斑重建三維數(shù)據(jù)精度，需對整像素對應點坐標進行亞像素優(yōu)化。采用簡化的視差變換模式構造目標函數(shù)對整像素對應點坐標進行亞像素優(yōu)化［10］。首先，利用二階視差變換模式給出對應點坐標的變換關系，如式（5）；同時再構建優(yōu)化目標函數(shù)，如式（6）。其中，uT為左右相機散斑相機子區(qū)域圖像水平視差；?u，?v為對應點距子區(qū)域圖像中心的圖像坐標偏差。

定義待優(yōu)化參數(shù)為

并由此定義優(yōu)化目標函數(shù)τ（σ），采用Newton-Raphson迭代算法可實現(xiàn)該優(yōu)化過程求解，其迭代公式為

式中：σ0為初值（可采用整像素對應點坐標參數(shù)）；?τ(σ0)為τ（σ）在σ0處的梯度值；??(σ0)為τ（σ）在σ0處的二次偏導。

按照式（8）循環(huán)迭代，直至前后兩次結果的差值小于規(guī)定閾值，即可得到σ的最優(yōu)解，并將結果代入式（5），可得到對應點亞像素圖像坐標xi(ui，vi，1)，i=L，R。根據(jù)雙目立體視覺原理，將xi帶入式（9）聯(lián)立方程即可求得對應點的空間三維坐標。

式中：Mi為相機內(nèi)參矩陣；Ri，Ti為世界坐標系到相機坐標系的旋轉平移變換矩陣，可通過相機標定預先獲得［12］。

2 實驗驗證與精度分析

根據(jù)上述方法，構建基于散斑投影的三維在線測量系統(tǒng)如圖3所示。系統(tǒng)中使用的投影模塊有效像素數(shù)為1280 × 800，相機有效像素數(shù)為2448 ×2048，幀率為20 fps。直線電機可模擬在線測量工況帶動被測工件運動。

圖3 散斑三維在線測量裝置圖Fig.3 Speckle 3D online measurement system

為驗證本文開發(fā)系統(tǒng)的實用性，選取輥壓成形制造工件作為測量對象，模擬流水線運動狀態(tài)進行測量實驗，將測量結果與工件設計3D模型進行對比，輸出整體面形誤差及在線檢測中關注的關鍵幾何尺寸。同時為驗證系統(tǒng)測量結果的準確性，采用經(jīng)校準溯源的臺階標準器進行了測量實驗，給出測量數(shù)據(jù)的誤差分析結果。

2.1 工件測量實驗結果

應用本文測量系統(tǒng)對如圖4（a）所示的輥壓成形鈑金件進行測量，測量時設置電動馬達帶動工件以1.5 m/min速度運動。圖4（b）和圖4（c）給出了兩個相機采集到的物體散斑圖像和三維重建數(shù)據(jù)結果。使用本文優(yōu)化的圖像投影校正和亞像素優(yōu)化算法，圖像采集及計算處理時間總計約4.6 s。使用優(yōu)化前的算法重復該實驗過程，圖像采集及計算處理時間總計約8.2 s。由此表明，優(yōu)化的算法可顯著提高散斑圖像三維重建效率。

圖4 工件三維重建實驗結果Fig.4 3D reconstruction result of workpiece

結合產(chǎn)線對該工件的實際質(zhì)量檢測需求，使用本文系統(tǒng)軟件分別對工件整體面型輪廓誤差、上下面高度差及平面度進行了測量分析。整體面型輪廓與CAD模型進行自動匹配，得到誤差分布如圖5所示。同時，系統(tǒng)可根據(jù)獲得的3D數(shù)據(jù)計算出工件上下面高度差為54.075 mm，工件上表面平面度為0.530 mm。實驗結果表明本文開發(fā)的散斑三維測量系統(tǒng)適用于工件在線測量任務。

圖5 面型輪廓分析結果Fig.5 Measurement results of surface profile

2.2 精度驗證實驗結果

為驗證測量結果的精度，使用圖6（a）所示臺階標準器進行了驗證測量。應用本文系統(tǒng)對該標準器重建的三維數(shù)據(jù)結果如圖6（b）所示。臺階標準器的臺階面高度、上臺階面平面度經(jīng)校準溯源，使用本系統(tǒng)軟件測量得到的結果及誤差如表1所示，臺階高和平面度計算時，去除了部分錯誤三維數(shù)據(jù)點。根據(jù)驗證測量結果，本文系統(tǒng)臺階面高度測量誤差為- 0.032 mm，上臺階面平面度測量誤差為0.052 mm（采用最小二乘平面擬合，參與擬合計算的有效數(shù)據(jù)點數(shù)為12681個，擬合標準偏差為0.009 mm）。由實驗結果可知，結構尺寸測量誤差可控制在0.035 mm以內(nèi)，可滿足工業(yè)生產(chǎn)中部分產(chǎn)品或工件的在線測量要求。

表1 數(shù)據(jù)精度驗證結果Tab.1 Precision verification results mm

圖6 驗證標準器三維重建結果Fig.6 3D reconstruction result of step standard

3 結束語

針對物體表面在線三維測量需求，利用優(yōu)化的投影校正算法和亞像素優(yōu)化算法，開發(fā)出一種基于散斑結構光投影的三維測量系統(tǒng)，可成功用于鈑金件等產(chǎn)品的在線測量。此次研究開發(fā)的系統(tǒng)僅能實現(xiàn)一個視角下的物體表面數(shù)據(jù)三維重建和測量分析，對于有遮擋關系的復雜物體數(shù)據(jù)獲取不完整，不能實現(xiàn)對物體全部表面完整數(shù)據(jù)的獲取和測量，三維數(shù)據(jù)重建和測量分析過程仍相對耗時。今后仍需對完整物體表面數(shù)據(jù)獲取、快速實時在線測量算法進行深入研究，進一步提高系統(tǒng)的應用范圍。