結構光中心提取中的條紋灰度退化調整

陳波,張英杰,張佳瑞,代愽超

(西安交通大學機械工程學院,710049,西安)

結構光三維測量技術具有非接觸性、測量系統簡單、測量效率高和易于實現等特點,被廣泛應用于產品快速成型、在線測量、故障缺陷檢測等諸多領域[1-3]。基于三角法原理進行結構光測量時,獲取結構光條紋中心的高精度圖像坐標是測量過程中的核心步驟[4]。

線結構光的光強特性表明,條紋的灰度在橫截面上基本服從高斯分布[5],條紋中心位于截面灰度最大值附近。因此,學者們提出了極值法、幾何中心法、曲線擬合法、灰度重心法[6]和Steger法[7]等常用的條紋中心提取方法。極值法和幾何中心法實現簡單但是精度不高;曲線擬合法、灰度重心法和Steger算法均為亞像素中心提取方法,且抗噪效果較好。無論對于哪種中心提取方法,提取精度都依賴于條紋的截面灰度分布特征。實際上,結構光條紋灰度會受到各種因素的影響而不再近似服從高斯分布,特別是當被測物體表面的曲率和反射率變化較大時,條紋的截面灰度分布會發生嚴重退化[8],引起條紋亮度不均勻、灰度最大值發生偏移等問題,從而導致條紋中心提取精度降低。針對這一問題,周興敏等提出基于雙三角光路修正投影光束反射光斑重心偏移的方法[9],但該方法需要一個左右對稱設計的雙三角測量頭,測量系統硬件復雜且對標定要求高。Yin等提出一種基于自適應卷積技術的方法[10]去修正條紋的灰度畸變,但該方法只局限于單根條紋的中心提取,并且需要對整幅圖像進行卷積運算。劉振等提出利用鄰域條紋的相關性建立相關系數來解決灰度分布退化的問題[11],但對灰度分布發生突變的條紋提取效果不佳,且相關系數計算復雜。

本文首先根據結構光能量傳播原理,建立了高斯結構光的條紋灰度退化模型,分析并推導了條紋灰度退化的過程表達式,然后提出了一種通過消除條紋灰度退化項的灰度調整方法。

1 測量模型與灰度退化分析

結構光測量系統由投影儀、攝像機和被測物體組成,測量原理如圖1所示。投影儀投射出帶有高斯條紋的圖像,條紋遇到被測物體產生變形,在攝像機端通過CCD圖像傳感器接收條紋信號,對攝像機和投影儀進行三維世界坐標與二維圖像坐標轉換關系的標定之后,計算機利用條紋中心的圖像坐標,采用線面求交法得到物體表面的三維信息。

圖1 測量系統圖

理論上可以認為,結構光條紋的灰度在橫截面上服從高斯分布,但在實際情況下,條紋的灰度分布受到各種因素的影響會產生退化,導致條紋中心位置提取不準確。這些因素包括圖像采集系統的隨機噪聲、外界環境光影響和被測物體的表面特征調制[12]。其中,隨機噪聲和環境光的影響可以選用合適的濾波方式與背景相減去除[13],而被測物是整個測量環節中最不具確定性的部分,其復雜的表面形狀、反射率系數等特征是引起條紋灰度退化的主要原因。因此,分析并減小物體表面特征對條紋灰度的影響有利于提高條紋中心提取的精度。

一般測量物體表面均由平面和曲面組成,為了分析物體表面特征對條紋灰度分布的影響,將結構光系統模型簡化為圖2所示的二維模型。圖中將被測物簡化為一個半徑為r的圓,圓心為Oc(x0,y0),假設物體表面為理想漫反射表面,且物體表面由具有不同反射率系數的曲面組成;圖中的高斯曲線S1表示投射條紋的截面灰度分布,不規則曲線S2表示拍攝條紋的截面灰度分布。測量系統中,設投影儀投射面平行于X軸,投射方向沿Y軸,θ為投射方向與物體表面法線的夾角,β為拍攝方向與物體表面法線的夾角,α為投射方向與拍攝方向的夾角。

圖2 條紋灰度退化分析模型

已知投射條紋的截面光強分布曲線為高斯曲線,數學表達式為

(1)

式中:A表示投射條紋灰度的幅值;σ為標準差,表示條紋的跨度;Xc為條紋中心的X坐標,并且滿足Xc=3σ+1。

(2)

(3)

式中:Kd1和Kd2分別表示圖2中被測物體表面上不同顏色區域的漫反射率系數;Xk為物體表面反射率突變處的X坐標。

式(3)表明,攝像機接收到的條紋光強分布受到物體表面反射率系數、入射光線角θ和拍攝光線角β的調制。圖3顯示了圖2模型中被測物體表面上不同反射率系數分布情形下對拍攝條紋光強的影響,圖3a表明物體反射率均勻,此時得到的條紋灰度符合高斯分布,圖3b表明物體反射率由高向低突變,此時條紋灰度極大值向左偏移,圖3c表明物體反射率由低向高突變,此時條紋灰度極大值向右偏移。此外,式(2)表明,對于固定的測量系統,θ和β由物體的曲率半徑r決定。圖4顯示了曲率半徑在X方向對入射角和拍攝角的余弦比值的影響,圖4表明曲率半徑越小,物體表面法線變化越劇烈,兩夾角的余弦比值曲線變化越明顯,反映到式(3)中,對條紋灰度退化的影響程度越大。

(a)Kd1=Kd2=0.8

(b)Kd1=0.8,Kd2=0.4

(c)Kd1=0.4,Kd2=0.8圖3 反射率對條紋灰度分布的影響

圖4 曲率半徑對θ與β余弦之比的影響

以上分析表明,結構光經過物體表面特征調制后,拍攝條紋的灰度會產生復雜的退化,進而引起條紋斷線、灰度丟失以及重心偏移等問題。若直接采用中心提取算法,對中心坐標會造成較大的測量誤差,所以要提高三維測量精度,必須對退化的條紋進行灰度調整。

2 條紋灰度調整與中心提取

圖1表明,結構光三維測量實質上是結構光能量的傳遞過程,設P為被測物表面上任意的一點,令該點的表面反射率為KdP,入射光線角為θP,拍攝光線角為βP,由式(3)導出P點的灰度調制系數為

(4)

根據三角測量原理,假設P點對應于投影圖像坐標中的Pp(ξP,ηP)點和拍攝圖像坐標中的Pc(uP,vP)點。設投影圖像上Pp點的灰度值為I(ξP,ηP),拍攝圖像上Pc點的灰度值為I(uP,vP),實際拍攝中,需要考慮環境光分量的影響,根據式(3)和式(4),可以推導出

I(uP,vP)=f(KdP,θP,βP)I(ξP,ηP)+Ia

(5)

式中:Ia表示環境反射光強,由拍攝環境決定,一般在固定拍攝場景下可以認為Ia為常數。

式(5)表明,灰度調制系數f(KdP,θP,βP)是引起拍攝條紋灰度退化的主要原因,在已知物體表面上各點反射率系數Kd、入射角θ、拍攝角β的情況下,可以通過式(4)直接計算出各點的調制信息,再消除環境光的影響,便能實現退化條紋的灰度調整。調整公式為

(6)

式中:I′(uP,vP)表示圖像坐標中Pc點經灰度調整后的灰度值,滿足I′(uP,vP)=I(ξP,ηP),所以對拍攝條紋橫截面上各像素點進行灰度調整后,條紋的截面灰度分布基本與投射條紋一致。

在實際測量過程中,Kd、θ、β均與被測物體上各點的空間位置有關,并且被測物體相對于結構光測量系統的空間關系是未知的,所以無法直接計算出灰度調制信息。如果已知I(uP,vP)和I(ξP,ηP),則可以通過式(5)反求對應點的灰度調制信息,但事實上無法通過單幅拍攝圖像找到Pc點和Pp點的匹配關系。

考慮到在固定測量環境下多次對被測物體進行拍攝,物體上各點的表面特征參數不發生改變。本文采用增加投影單色灰度圖像的方式來間接計算各點的灰度調制信息,其中單色灰度圖像指圖像中各點的灰度值相等,即I(ξ,η)=C,C為常數且C∈(0,255),此時拍攝圖像可以表示為

I(ui,vi)=f(Kdi,θi,βi)C+Ia,i=1,2,…,N

(7)

式中:N表示測量點的個數;(ui,vi)表示第i個測量點映射到拍攝圖像中的像素坐標,因此圖像像素點和測量點具有一一對應的關系。式(7)表明,投影單色灰度圖像后,由于環境光Ia為常數,從而可以通過拍攝圖像的灰度信息反求出與各像素點所對應的灰度調制信息。

基于上述思路,本文提出一種條紋灰度退化的調整方法,具體的實現步驟如下。

(1)在固定測量系統與拍攝環境下,投影儀分別投射兩幅單色灰度圖像和一幅高斯條紋圖像,其中單色灰度圖像的灰度值分別為C1、C2,并且滿足C1≠C2。此時,相機分別拍攝得到兩幅單灰度調制圖像I1與I2和一幅高斯條紋調制圖像I3,則有

I1(ui,vi)=f(Kdi,θi,βi)C1+Ia,i=1,2,…,N

(8)

I2(ui,vi)=f(Kdi,θi,βi)C2+Ia,i=1,2,…,N

(9)

I3(ui,vi)=f(Kdi,θi,βi)I(ξi,ηi)+Ia,

i=1,2,…,N

(10)

式中:(ξi,ηi)表示第i個測量點映射到投射的高斯條紋圖像中的像素坐標。

(2)在3次相機拍攝過程中,認為環境光分量是不變的,由于C1、C2已知,聯立式(8)、式(9),可以逐點計算出每個像素點對應的灰度調制信息為

i=1,2,…,N

(11)

得到灰度調制信息后,將其代入式(8)中,得到環境光分量為

i=1,2,…,N

(12)

(3)將求得的灰度調制信息和環境光分量代入式(6),逐點對高斯條紋調制圖像I3進行灰度調整,計算式為

i=1,2,…,N

(13)

經過上述灰度調整之后,基本消除了因物體表面屬性引起的條紋灰度退化問題,即調整后的條紋截面灰度基本滿足高斯分布,于是本文選擇計算效率較高、可達到亞像素級精度的灰度重心法進行條紋中心提取,其表達式為

(14)

式中:ok,j為圖像上第k行中第j根條紋的中心坐標;(p,q)為該條紋所在的位置區間;Ii為第i個像素的灰度值。

3 實驗與分析

為檢驗本文方法的有效性,進行了實物實驗,本實驗系統由一個數字投影儀(Optoma DN322,分辨率為1 024×768像素)、一個工業相機(Point GX-FW-28S5C/M-C CCD,分辨率為1 600×1 200像素)和一臺計算機(Pentium 3.2 GHz CPU,4 GB內存)組成。

為了得到不同反射率條件下的條紋圖像,在白色紙上打印出黑白相間的模板,并平貼在一平板上作為被測物體。在暗室環境下,調整曝光參數以保證相機CCD處于不飽和狀態,然后固定攝像機參數,在同一場景內分別由投影儀投射兩幅單色灰度圖像和一幅高斯條紋圖像。圖5為相機拍攝到的部分受調制的圖像,圖5a對應于投影儀投射高斯條紋圖像,圖5b對應于投影儀投射灰度值為200的單色灰度圖像。圖5a表明物體表面反射率大大影響了拍攝條紋的質量,其中橫線標記處依次代表低亮度條紋、反射率突變處條紋以及正常條紋。對其截面灰度分布進行分析,結合單灰度退化圖像中相同像素位置的灰度分布,利用本文所提方法對條紋灰度進行調整,得到圖6所示的條紋灰度經調整前后的分布曲線,以及調整后的條紋圖像。表1給出了橫線標記的截面經過灰度調整前后利用灰度重心法得到的條紋重心位置。

表1 灰度調整前后的截面條紋重心

(a)高斯條紋退化圖

(b)單灰度退化圖圖5 相機拍攝到的部分受調制的圖像

圖6a所示低亮度條紋處于反射率較低的黑色區域,平均灰度低。雖然其灰度分布對稱,重心基本沒有偏移,但是對整幅圖像提取中心時,需要設定一個灰度閾值對條紋進行分割,導致該類條紋因為特征不明顯易被當成背景處理,從而無法提取條紋中心。經過灰度調整之后,條紋亮度增加,便于提取條紋中心。圖6b所示條紋處于黑白交界區域,該區域反射率產生突變,灰度值也在交界處突然變大,導致條紋重心向反射率大的一側偏移,經灰度調整之后,消除了條紋灰度畸變,灰度分布基本符合高斯分布,條紋重心坐標也得到了較大的修正。圖6c所示正常條紋處于反射率較高的白色區域,條紋質量較好,灰度調整前后灰度值和中心位置變化不大。圖6d所示圖像表明,經過灰度調整后,條紋圖像的整體質量得到改善,相比于圖5a中的原圖像,條紋沿其延伸方向灰度分布均勻,基本不會產生突變。

此外,為了進一步驗證該方法的適用性,以表面曲率變化較大的人臉石膏模型進行對比實驗,條紋中心提取結果如圖7所示。圖7a為拍攝圖像直接經過灰度重心法得到的條紋中心提取結果,在物體表面曲率和法線方向變化較大的區域,如圖7a中矩形標記處,嚴重影響了結構光的入射角和拍攝角,使得條紋亮度降低。對該區域放大,如圖7b所示, 可以觀察到條紋中心產生大量斷線的現象,并且在中心線斷裂端(橢圓標記處),伴隨著許多噪聲中心點,嚴重降低了測量精度。圖7c為經本文方法調整后再提取的條紋中心結果,為了便于分析對比,將其表面曲率變化較大的區域進行放大,如圖7d所示,結果表明,調整后的條紋特征更加明顯,條紋亮度顯著提高,提取的條紋中心沒有產生斷線和噪聲現象,并且與條紋的延伸方向更加吻合。

(a)低亮度條紋

(b)反射率突變處條紋

(c)正常條紋

(d)灰度調整后的圖像圖6 條紋初始及調整后的灰度對比

(a)灰度調整前 (b)局部放大圖

(c)灰度調整后 (d)局部放大圖圖7 人臉模型條紋中心提取結果

由上述實驗結果分析可知,本文提出的灰度調整方法能有效降低物體表面反射率對條紋質量的影響,改善了條紋在其橫截面上的灰度分布,修正了因為條紋灰度突變引起的中心偏移。同時,本方法可以對復雜曲面的變形條紋進行灰度調整,解決了復雜曲面圖像中因條紋亮度不均勻而引起的中心線局部斷線問題。

4 結 論

本文對結構光經物體表面特征調制后的灰度分布模型進行分析,提出了一種對條紋灰度退化的調整方法。所提方法根據光線能量傳遞模型,通過投影單色灰度圖像間接計算出攝像機采集圖像上各像素點對于物體表面特征的調制信息,并將其代入實際變形條紋以消除灰度退化項,實現了對退化圖像的灰度調整,降低了物體表面曲率與反射率對條紋灰度分布的退化影響。實驗結果表明,本方法能有效地提升條紋質量,并消除條紋橫截面上的灰度突變,同時能解決復雜物體圖像中因為亮度太低而引起的條紋中心局部斷線問題,從而保證了測量數據的完整性與可靠性。

[1] USAMENTIAGA R, MOLLEAD J, GARCIA D F. Fast and robust laser stripe extraction for 3D reconstruction in industrial environments [J]. Machine Vision and Applications, 2012, 23(1): 179-196.

[2] 李鳳嬌, 李小菁, 劉震. 基于多尺度分析的激光光條中心點坐標提取方法 [J]. 光學學報, 2014, 34(11): 103-108. LI Fengjiao, LI Xiaojing, LIU Zhen. A multi-scale analysis based method for extracting coordinates of laser light stripe centers [J]. Acta Optica Sinica, 2014, 34(11): 103-108.

[3] XUE Q, WANG Z, HUANG J. Improving the measuring accuracy of structured light measurement system [J]. Optical Engineering, 2014, 53(11): 112204.

[4] 江永付, 江開勇, 林俊義. 線結構光光條中心亞像素精確提取方法 [J]. 激光與光電子學進展, 2015, 52(7): 179-185. JIANG Yongfu, JIANG Kaiyong, LIN Junyi. Extrication method for sub-pixel center of linear structured light stripe [J]. Laser & Optoelectronics Progress, 2015, 52(7): 179-185.

[5] 賀俊吉, 張廣軍. 結構光三維視覺檢測中光條圖像處理方法研究 [J]. 北京航空航天大學學報, 2003, 29(7): 593-597. HE Junji, ZHANG Guangjun. Study on method for processing image of strip in structured-light 3D vision measuring technique [J]. Journal of Beijing University of Aeronautics and Astronautics, 2003, 29(7): 593-597.

[6] TRUCCO E, FISHER R B, FITZGIBBON A W, et al. Calibration, data consistency and model acquisition with a 3-D laser striper [J]. International Journal of Computer Integrated Manufacturing, 1998, 11(4): 293-310.

[7] STEGER C. An unbiased detector of curvilinear structures [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113-125.

[8] 王順, 徐靜珠, 張益昕, 等. 結構光光條中心點信度評價方法與應用 [J]. 光學學報, 2011(11): 203-209. WANG Shun, XU Jingzhu, ZHANG Yixin, et al. Reliability evaluation method and application for light stripe center extraction [J]. Acta Optica Sinica, 2011(11): 203-209.

[9] 周興敏, 劉恒彪, 葛劍敏. 激光三角測量中物面反射光斑重心偏移的修正 [J]. 光學學報, 2015, 35(5): 153-157. ZHOU Xingmin, LIU Hengbiao, GE Jianmin. Reflected spot center offset correction in laser triangulation measurement [J]. Acta Optica Sinica, 2015, 35(5): 153-157.

[10]YIN X Q, TAO W, FENG Y Y, et al. Laser stripe extraction method in industrial environments utilizing self-adaptive convolution technique [J]. Applied Optics, 2017, 56(10): 2653-2660.

[11]劉振, 李聲, 馮常. 基于互相關算法的激光條紋中心提取 [J]. 中國激光, 2013, 40(5): 197-202. LIU Zhen, LI Sheng, FENG Chang. Laser stripe center extraction based on cross-correlation algorithm [J]. Chinese J Lasers, 2013, 40(5): 197-202.

[12]李瑩瑩, 張志毅, 袁林. 線結構光光條中心提取綜述 [J]. 激光與光電子學進展, 2013, 50(10): 9-18. LI Yingying, ZHANG Zhiyi, YUAN Lin. Survey on liner structured light stripe center extraction [J]. Laser & Optoelectronics Progress, 2013, 50(10): 9-18.

[13]許寧. 線結構光光條圖像處理方法研究 [D]. 哈爾濱: 哈爾濱工程大學, 2007: 17-21.

[14]陸楓, 何云峰. 計算機圖形學基礎 [M]. 北京: 電子工業出版社, 2008: 288-292.

[本刊相關文獻鏈接]

劉濤,楊樹明,蔣莊德.超振蕩透鏡的三維全矢量電磁分析方法.2017,51(8):1-5.[doi:10.7652/xjtuxb201708001]

陳冬,王亞寧,劉亞雄,等.雙投影光固化成型方法研究.2017,51(2):149-154.[doi:10.7652/xjtuxb201702023]

何徽,溫偉峰,張登洪,等.條紋相機掃描速度調節電路.2013,47(12):66-70.[doi:10.7652/xjtuxb201312012]

趙一博,韓妙飛,閆相國.幾種漫射光學成像圖像重建算法的比較研究.2012,46(4):106-111.[doi:10.7652/xjtuxb201204 018]

秦玉偉,趙宏,莊仲琴.熱光源譜域光學相干層析成像系統.2011,45(11):63-67.[doi:10.7652/xjtuxb201111013]