高效RGB格雷碼與相移法結合的三維重建技術*

2019-05-07 11:45:00皮金柱梁艷陽何宏森

傳感器與微系統 2019年5期

皮金柱，梁艷陽，何宏森

(西南科技大學信息工程學院，四川綿陽 621000)

0 引言

傳統的三維模型測量手段主要有基于被動光測量和主動光測量。基于主動光的非接觸式三維測量技術在現代工業中占據重要的地位且精度高于被動光的方法。主動光視覺按投射結構光的屬性分為散斑、線結構光、光柵等，主動光視覺通過人為投射具有某種屬性的結構光，來解決由于物體缺乏紋理而造成的測量困難。

文獻[1]提出了一種基于面結構光的刀具三維測量系統，采用多頻外差法與4步相移法結合的方法使系統獲得了較高的測量精度，測量誤差小于0.09 mm。文獻[2]提出了一種雙頻相移三維測量方法，使用通過四步相移法求解包裹相位來建立條紋周期編號組合表，通過獲得條紋周期數和利用條紋周期與包裹相位之間的數學關系得到絕對相位，實現解包裹。文獻[3]中采用格雷碼—相移組合的結構光，結合雙目立體視覺技術的三維表面測量方法,重建結果驗證該方法的準確性和可靠性。文獻[4]針對牙齒的三維輪廓重建提出了一種基于張正友標定法提出一種快速、精確的相機與投影儀聯合標定的方法提高系統的精度，測量誤差小于0.1 mm。文獻[5]中提出了一種雙頻相移與格雷碼結合的方法，消除了測量過程中的由周期跳變導致的粗大誤差，有效提高了系統的精度。

本文提出了基于RGB格雷碼和相移法相結合的三維重建方法。采用RGB格雷碼的編碼方式進行條紋定級。與傳統的二值格雷碼與相移法相比，64級條紋之內僅需要3幅條紋圖，有效減少了條紋圖的幅數，減少解碼周期提高重建的精度，更好地滿足實時重建需求。

1 系統總體設計

系統的總體方案設計如圖1所示，首先當投影儀投射初始相位為0，π/2，π，3π/2的正弦光柵時，雙目相機采集不同相位的圖片。然后將3幅RGB格雷碼條紋投射在立體模型表面，用同樣的方式記錄變形的格雷碼條紋。

圖1 系統平臺設計

系統流程如圖2所示，由于左右相機采集圖片的順序是已知的，分別計算相位主值和條紋級數，最后求出初始相位為0時，經立體模型調制后正弦光柵的真實相位分布，將左右視圖進行立體匹配生成視差圖。對雙目相機進行標定，根據標定參數和視差圖求出立體模型的三維點云。

圖2 系統流程

2 算法設計

2.1 正弦光柵解包裹

2.1.1 正弦光柵生成

本文使用投影機投射可編程的正弦光柵相移條紋[6,7]。當投影系統的光強分布滿足余弦分布時，其光強則可表示[8]為

F0(x,y)=A(x,y){B(x,y)+C(x,y)cosφ(x,y)}

(1)

式中A(x,y)為物體表面的反射率，B(x,y)為背景光強，C(x,y)為條紋幅度，φ(x,y)為初始相位。本文采用四步相移法[5]，需要4幅相位間隔π/2度的條紋圖。通過大量的實驗數據分析確定采樣間隔為一個像素點。由于該系統對立體模型的輪廓進行測量時，其深度信息相對變化幅度較大，故選取的采樣周期應較大一些，本文選取的采樣周期為1/32。設T為采樣周期，在光柵原圖中每一個點賦值Fi(x,y)

Fi(x,y)=127.5+127.5sin(i2π/T+0.5tπ)

(2)

式中t=0，1，2，3分別為4次相移。生成的正弦光柵如圖3所示。

圖3 正弦光柵

2.1.2 正弦光柵相位主值解包裹

正弦光柵的解碼包括相位主值的求取和真實相位值的展開兩步[9]。在本文中采用四步相移法計算包裹相位,在采集變形光柵圖片時，由于受到現場環境和采集設備的影響，采集的圖像中會存在失真及各種噪聲點。使得到的光柵圖像中會產生一些錯誤灰度值，這種情況對整個測量結果造成不利影響。經分析圖像的主要噪聲點為斑點噪聲，因此要在解碼之前先對采集的圖像進行中值濾波[10]。由于正弦光柵投射到漫反射物體表面后，CMOS相機獲取的變形光柵圖像滿足式(1)，根據式(2)可以得到相位差為π/2的4幅變形光柵圖片，由式(2)可得

(3)

(4)

從式(3)、式(4)可以計算出n幀相移的相位函數[7]

(5)

本文選擇四步相移法，故n=4,根據式(5)解得相位主值為

(6)

根據式(6)求得左相機圖像進行相位矯正后的相位主值分布。

2.2 RGB格雷碼的編碼與正弦光柵定級

2.2.1 RGB格雷碼編碼

傳統的利用格雷碼編碼的圖像中只包含黑、白兩種顏色的條紋[11]，編碼所需要投影的編碼圖像數多，解碼所需時間長。本文采用RGB格雷碼對光柵條紋進行定級，為使條紋之間的差別達到最大,本系統投射的彩色條紋只采用每一通道的最大灰度255,即使用三基色紅(255,0,0)、綠(0,255,0)、藍(0,0,255)和(0,0,0)來編碼。使用三基色編碼使系統的噪聲大大減少,有利于圖像正確解碼得到可靠的數據。本文的編碼如圖4所示，其中01代表RGB通道值為(255,0,0)，11代表RGB通道值為(0,0,255)，10代表RGB通道值為(0,255,0)，00代表RGB通道值為(0,0,0)。

圖4 彩色光柵編碼

同理，第二級條紋在T1，T2，T3時刻條紋的RGB通道值分別為(255，0，,0)、(0,0,0)和(255，0,0)，以此類推。第一級條紋在T1時刻投射三個通道值為(255,0,0)的條紋，在T2時刻投射三通道值為(0,0,0)，T3時刻投射三通道值為(0,0,0)的條紋。根據圖4的編碼原理，可以生成相對應的三幅格雷碼圖片，如圖5所示。

圖5 光柵原圖

傳統方法在基于二值的格雷碼編碼時需要投射log 2n幅圖片[9](n為條紋級數)，而本文的方法有效地減少了投射圖片，僅需要log 4n/3+1幅圖片，很大程度提高了測量效率。

2.2.2 正弦光柵條紋定級

四步相移法是利用反正切函數求解相位主值，因此，所求得的相位都被折疊在[π,- π]之間。存在跳變和不連續的狀態，需要對折疊的相位進行展開，才能得到連續分布的真實相位值[10,12]。

本文采用RGB格雷碼對正弦光柵相位進行展開。根據式(2)可知，sin(i2π/T+0.5tπ)=0時，解得i值Ii，其中Ii為每個周期的正弦光柵條紋中心處。由于正弦光柵與RGB格雷碼的節距和位置是一樣的，故格雷碼條紋中心與正弦條紋中心重合。由圖4知，正弦光柵第一級條紋中心編碼為010000，第二級為010001，第三極為010010，以此類推，第64級為111111。采集t1時刻經物體高度調制的光柵圖片，將RGB光柵圖片的三通道轉換為單通道，并用灰度重心法提取條紋中心線[13,14],根據條紋中心的位置，對比t1，t2，t3時刻對應位置光柵圖的三個通道的像素值，根據式(8)得到條紋中心處每個像素對應的編碼值。分析格雷碼條紋中心處和非條紋中心處的像素的灰度值，得到解碼時所需的閾值Th,Tl。對照圖4的編碼列表，由式(7)、式(8)可以解出條紋級數K為

K=P1+P2+P3

(7)

式中Th設為最大值，Tl為最小值，r,g,b為對應光柵圖片的R,G,B通道值。

2.3 正弦光柵相位真實值求取

由式(2)得到正弦光柵的相位主值φ，由式(7)求出正弦光柵條紋級數K，將φ和K帶入公式(8)可以得到相位真實值φ

φ=φ+2Kπ

(8)

2.4 基于真實相位的立體匹配

本文采用張正友平面標定法求出相機的內參數和外參數，然后求出左相機到右相機的旋轉平移矩陣R,T。由于在雙目的左右視圖中，每一行中每個像素的φ值是唯一的，根據雙目視覺原理的極線約束條件知，左相機相位分布圖中的每一個點在右相機相位視圖的極線上都有唯一的點與之相對應，逐點求出視差值得到的左視圖的視差圖。

3 實驗與結果分析

實驗平臺采用Inter i7730處理器，三菱MD—565X投影儀，BASLER PIA 2400工業相機，分辨率為1 280×1 024，實驗中的立體模型采用的是立體的人臉石膏模型。

采用張正友標定法對相機標定，雙目相機拍攝14幅以上個不同位置的棋盤格標定板圖像。求出左右相機的內外參數矩陣。

雙目標定完成后，將正弦光柵投射于待測物體表面，得到4幅相位差為π/2的光柵編碼圖案，如圖6(a)～圖6(d)所示。根據式(6)求得正弦光柵的相位主值，并將相位主值歸一化為(0～255)，得到相位主值分布圖，如圖6(e)所示。

圖6 正弦光柵編碼

相位主值具有周期性不能用于立體匹配，需要用RGB格雷碼將相位展開。將3幅格雷碼圖案按順序投射于被測物體表面，得到求取相位真實值所需要的編碼圖案，如圖7所示。

圖7 RGB格雷碼與相位

由實驗得知，投射RGB通道值為(255,0，0)，(0,255，0)，(0,0，255)的條紋，得到的真實通道為230以上，投射RGB通道值為(0,0，0)的條紋，得到的真實通道為30以下，故式(8)中的Th,Tl設置為230和30。完全滿足根據RGB通道值大小為解碼依據的要求。根據圖7和式(7)，可以解得每個條紋的編碼值，然后對照圖4的解碼方式，可以確定每條格雷碼條紋的級數K。將K值和由式(6)求得的φ值帶入式(8)，得到正弦光柵的真是值分布圖，如圖7 (d)所示。

本實驗中條紋級數為64級，多頻相移法解碼所需的圖片數量至少8幅[1]，二值格雷碼與相移法需要投射的條紋幅數最小為11幅[3,4]，因此，傳統格雷碼與相移法比多頻相移法的運算效率低，但精度比多頻相移法高。本文方法可以直接進行相位主值求取和對條紋級數定級，且64級條紋之內需要投射的格雷碼條紋圖片為7幅。本文方法在條紋定級時僅需要3幅條紋圖，提升了重建的速率。為了驗證本文提出的算法的優越性，本文方法和多頻相移法以及傳統二值格雷碼與相移法分別對投射有正弦光柵的模型進行相位解包裹和三維重建。分別從時間和點云精度及視差圖效果做對比，由實驗結果得出，在同樣的圖片分辨率下，本文方法比傳統二值格雷碼與相移法、多頻相移法效率更高。多頻相移法需要在求出相位主值之后才能求取相位真實值，不利于并行計算，速率受到限制。由圖8(a)知，在同樣分辨率的圖片下，本文的方法比多頻相移法的速率要高1.5倍左右，比二值格雷碼與相移法的速率高1.2倍左右。本文算法和多頻相移法及二值格雷碼與相移法應用到同一標準球體表面的三維重建中，將點云擬合為球面并求出重建球面半徑，重建半徑與標準半徑做差得到重建誤差，連續測量10次得到圖8(b)所示的誤差分布圖。可知本文方法的精度可以達到0.025 mm，比多頻相移法和二值格雷碼與相移法的精度分別提高了0.02 mm和0.03 mm。