基于單目視覺三維恢復(fù)算法的微觀形貌原位測量方法研究

安奕同，周平，閆英

（大連理工大學(xué) 精密與特種加工教育部重點實驗室，遼寧大連 116024）

0 引言

工件表面的微觀形貌分析一直是機(jī)械加工及測量領(lǐng)域研究的熱點，對優(yōu)化工藝方法、提高工件表面質(zhì)量發(fā)揮著重要作用[1]。現(xiàn)有的先進(jìn)測量手段可以獲取工件表面的三維形貌，實現(xiàn)更加直觀的測量結(jié)果。例如激光共聚焦顯微鏡能夠利用激光掃描獲取工件表面三維形貌，并對表面進(jìn)行參數(shù)分析[2]。但是這些技術(shù)設(shè)備不僅造價昂貴，還需要將零件拆卸或分解并在實驗室環(huán)境中測量，難以應(yīng)用于現(xiàn)場檢測和原位測量，始終無法突破對表面微觀形貌原位測量的壁壘[3]。

隨著計算視覺技術(shù)的發(fā)展，計算機(jī)視覺技術(shù)在工件表面檢測上的應(yīng)用也越來越受到關(guān)注。計算機(jī)視覺技術(shù)克服了傳統(tǒng)方法的不足，具有簡單快捷、無接觸、無變形等優(yōu)點。基于單目視覺的SFS（shape from shading，從明暗恢復(fù)形狀）方法和光度立體視覺技術(shù)是計算機(jī)視覺技術(shù)在三維形貌恢復(fù)的手段，可以獲取工件表面法向量，還可以高精度恢復(fù)表面形貌，因而成為機(jī)器視覺領(lǐng)域研究熱門。

本研究的目的是將SFS方法和光度立體法應(yīng)用于工件表面微觀形貌的三維恢復(fù)，分析其算法性能，提出一種通過二維圖像進(jìn)行三維形貌恢復(fù)的原位測量方法，為超精密加工在線測量提供新方法。

1 三維重構(gòu)算法

1.1 Shape from shading

1970年，Horn[4]提出從明暗恢復(fù)形狀算法（Shape from shading），最初目的是用于月球表面重建。該方法利用物體表面二維圖像的灰度變化來恢復(fù)其表面各點的高度信息，從而實現(xiàn)對零件圖像表面微觀形貌的三維重建。

SFS方法可以劃分成4種類別，包括最小化方法、傳播方法、局部方法和線性方法[5]。為了滿足算法簡單易實現(xiàn)、快速、易收斂的要求，本文采用Tsai-Shah線性方法，詳細(xì)介紹具體步驟。

首先將表面梯度進(jìn)行離散估計。朗伯體表面的反射圖函數(shù)如下：

假設(shè)初始高度為0，經(jīng)過10次迭代后表面高度即可收斂平滑，整體算法流程如圖1所示。

圖1 本文SFS算法流程圖

1.2 光度立體技術(shù)

1980年，Woodham[6]提出了光度立體法，在保持相機(jī)視野不變的情況下，利用不同方向光源，對光源添加約束，令上述問題存在唯一解。光度立體法原理可以描述為：在不同但可控的光照條件下，得到物體表面上同一視點的圖像。基于這些圖像和物體表面的反射模型，計算物體表面的法向量，然后恢復(fù)物體表面的三維形貌。

在恢復(fù)過程中，采用了朗伯體反射模型[7]。假設(shè)存在n個光源，它們的位置形成一個光源方向矩陣L=[L1，L2…Ln]T（理論上只需要3個方向的光源，但實際上會使用更多數(shù)量的光源消除誤差），其中Ln表示第n個光源方向矢量。在n個光源的依次單獨照明下，表面上同一點會得到n個表面亮度I=[I1，I2…In]，其中In表示在第n個光源照明下所得到的表面亮度。如果表面上一點的法 向 量 為N=[n1，n2，n3]T，則朗伯體模型可表示為

使用近點光源校準(zhǔn)方法獲得入射光的信息，包括入射光的強度和方向。同時，根據(jù)圖像中每個像素點的灰度值，得到每個點的反射亮度，并根據(jù)式（8）計算出表面點的法向量，主要步驟如下：

第一步。如圖4所示，使用具有12個圓形均勻分布光源的電子顯微鏡來獲得工件表面的二維圖像。圖2顯示了在12個光源的不同方向照明下的SiC工件表面圖像。

圖2 12個不同方向光源依次照射下獲得的圖像

第二步。計算物體表面的法向量。使用圖2中的圖像，工件表面上一點的法向量可以通過式（8）計算。以此類推，將上述算法應(yīng)用于圖像的所有像素即可得到工件表面圖像所有點的法向量。

第三步。通過對向量域進(jìn)行積分獲得表面深度信息。將得到的法向量歸一化，得到工件表面梯度域，最后通過對法向量積分來恢復(fù)表面的深度信息。表面深度的計算方法與Agrawal 所提出的方法[8]相同，本文光度立體法流程如圖3所示。

圖3 本文光度立體法流程圖

2 試驗與分析

基于上文提及的微觀形貌原位測量方法，設(shè)計了二維圖像采集系統(tǒng)，并將其用于工件表面的檢測，最后比較恢復(fù)結(jié)果與共聚焦顯微鏡掃描結(jié)果，驗證所提方法的準(zhǔn)確性。

2.1 圖像采集系統(tǒng)

本文設(shè)計了微觀三維形貌的原位測量系統(tǒng)，該系統(tǒng)包括FT-UMS1000電子顯微鏡頭、一個 同 軸 光 源、12 個環(huán)形均勻分布的光源，如圖4所示。

圖4 SFS方法（左）及光度立體法（右）試驗方案

系統(tǒng)工作原理為將顯微鏡頭對準(zhǔn)所測工件表面并對焦，通過同軸光源照明獲取SFS 算法所需平面圖像；然后關(guān)閉同軸光源，依次切換12個光源照明獲得12幅單光源照明下的平面圖像，接下來利用上文提及的恢復(fù)算法實現(xiàn)工件表面微觀三維形貌的獲取。

2.2 驗證試驗方案

本文的試驗對象SiC為工件表面，利用SFS算法以及光度立體法對其微觀表面進(jìn)行三維形貌恢復(fù)與特征參數(shù)計算，同時利用激光共聚焦顯微鏡（Laser scanning confocal microscopy，LSCM）對同位置進(jìn)行掃描，以驗證兩種三維形貌恢復(fù)方法的準(zhǔn)確性。

為了驗證兩種恢復(fù)方法對表面三維形貌恢復(fù)結(jié)果的準(zhǔn)確性，本文隨機(jī)選擇并標(biāo)記了兩處特征位置進(jìn)行重構(gòu)試驗，同時也保證了兩種方法與LSCM測量的可比性，試驗工件及測量位置如圖5所示。

圖5 SiC工件試驗對象及測量位置

使用兩種方法與LSCM分別得到三維形貌后，分別比較高度圖、特征位置截線及特征點、截線二維參數(shù)和三維參數(shù)，以驗證兩種方法對表面形貌恢復(fù)的準(zhǔn)確性。

2.3 試驗結(jié)果與分析

將SiC工件分別置于一般環(huán)境下電子顯微鏡頭與試驗室環(huán)境下的LSCM下，得到了兩個測量位置的二維圖像，如圖6和圖7所示。

圖6 不同手段獲得SiC工件表面測量位置1二維微觀形貌

圖7 不同手段獲得SiC工件表面測量位置2二維微觀形貌

2.3.1 SiC工件表面位置1測量

通過SFS方法和光度立體法分別對采集的二維圖像進(jìn)行三維重構(gòu)恢復(fù)，并利用LSCM對相同區(qū)域進(jìn)行激光掃描，獲得三維形貌如圖8所示，高度圖如圖9所示。

圖8 不同手段獲得測量位置1三維微觀形貌

通過觀察圖9高度圖，SFS方法得到的三維形貌高度分布一致性較差，光度立體法與LSCM的高度分布基本一致。分別選取高度圖中標(biāo)記截線處，繪制輪廓曲線，如圖10所示。

圖9 不同手段獲得測量位置1高度圖

通過觀察截線對比圖可知，SFS方法走勢相差較大，故不再詳細(xì)進(jìn)行參數(shù)對比；而光度立體法與LSCM截線走勢基本一致，峰谷基本對應(yīng)；故接下來選擇圖10中光度立體法及LSCM截線上所示兩組對應(yīng)特征點，定量對比每組特征點之間的高度差、寬度差及絕對誤差，如表1所示。

圖10 不同手段獲得測量位置1截線對比圖

表1 測量位置1截線特征點對比

由表1可知，與LSCM相比，寬度差誤差最大值為9.18 μm，其相對誤差為1.94%，高度差誤差最大值為5.11 μm，其相對誤差為1.63%。

然后使用兩種手段分別獲取截線二維參數(shù)并比較，包括算數(shù)平均高度Ra、均方根高度Rq、最大峰高度Rp、最大谷深度Rv、最大高度Rz，反映截線高度分布的偏度Rsk、峰度Rku，結(jié)果如表2所示。

表2 測量位置1截線二維參數(shù)對比

由表2可知，相對于LSCM圖像，光度立體法算術(shù)平均高度誤差值為0.310 μm，其相對誤差為13.6%；均方根高度誤差值為0.291 μm，其相對誤差為10.7%;最大高度誤差值為5.282 μm，其相對誤差為32.8%。Rsk都低于0，表明輪廓有較少的凸臺和尖峰；Rku都低于3，截線高度分布均勻。

使用兩方法對圖9測量位置1的三維參數(shù)進(jìn)行獲取和比較，包括算數(shù)平均高度Sa、均方根高度Sq、最大峰高Sp、最大谷深Sv、最大高度Sz、反映表面高度分布的偏斜度Ssk、峭度Sku，結(jié)果如表3所示。

表3 測量位置1重構(gòu)圖像三維參數(shù)對比

通過觀察表3可知，光度立體法所得表面三維算術(shù)平均高度誤差為0.277 μm，其相對誤差為13.2%；三維均方根高度誤差為0.488 μm，其相對誤差為19.6%；最大高度誤差值為5.282 μm，其相對誤差為8.03%。Ssk值都低于0，表示高度分布相對于平均面偏上，與特征位置三維形貌相符；Sku值都低于3，表示形貌高度分布均勻，與特征位置三維形貌相符。

綜上分析，對于SiC工件表面位置1，與LSCM相比，SFS方法重構(gòu)結(jié)果較差；光度立體法三維模型直觀形貌、高度分布、取樣截線走勢均一致較好；各二維參數(shù)中，最大高度相對誤差最大，為32.8%，峰度及偏度判斷結(jié)果一致。各三維參數(shù)中，均方根高度相對誤差最大，為19.6%，偏斜度及峭度判斷結(jié)果一致。

2.3.2 SiC工件表面位置2測量

同樣利用SFS方法、光度立體法LSCM分別對測量位置2采集二維圖像；隨后進(jìn)行三維重構(gòu)恢復(fù)，獲得三維表面形貌，如圖11所示。各方法高度圖如圖12所示，通過觀察可以看出，SFS方法結(jié)果依舊不理想，高度分布不一致；光度立體法重構(gòu)結(jié)果較理想，表面紋理、高度分布基本一致，各方法相似位置截線對比如圖13所示。

圖11 不同手段獲得測量位置2三維微觀形貌

圖12 不同手段獲得測量位置2高度圖

由圖13可以觀察到，SFS方法所得截線符合度較差，故考慮不再參與后續(xù)參數(shù)對比；光度立體法與LSCM所得截線走勢一致，符合度較好。接著選取光度立體法和LSCM截線上兩組對應(yīng)特征點，并比較每組特征點之間的高度差、寬度差及其絕對誤差，結(jié)果如表4所示。

圖13 不同手段獲得測量位置2截線對比圖

表4 測量位置2截線特征點對比

由表4可知，與LSCM相比，寬度差誤差最大值為15.78 μm，其相對誤差為7.33%，高度差誤差最大值為1.44 μm，其相對誤差為27.02%。

接著提取并對比截線的二維參數(shù)，包括算數(shù)平均高度Ra、均方根高度Rq、最大峰高度Rp、最大谷深度Rv、最大高度Rz，表示截線高度分布的偏度Rsk、峰度Rku，結(jié)果如表5所示。

表5 測量位置2截線二維參數(shù)對比

由表5可知，相對于LSCM圖像，光度立體法算術(shù)平均高度誤差值為0.336 μm，其相對誤差為14.7%；均方根高度誤差值為0.731 μm，其相對誤差為25.3%;最大高度誤差值為1.675 μm，其相對誤差為13.4%。Rsk都低于0，表明輪廓有較少的凸臺和尖峰；Rku都低于3，表明截線高度分布均勻，二維參數(shù)結(jié)果與直觀觀察相符。

最后對兩種手段測量位置1的三維參數(shù)進(jìn)行提取與對比，包括算數(shù)平均高度Sa、均方根高度Sq、最大峰高Sp、最大谷深Sv、最大高度Sz、反映表面高度分布的偏斜度Ssk、峭度Sku，結(jié)果如表6所示。

通過觀察表6可知，光度立體法所得表面三維算術(shù)平均高度誤差為0.471 μm，其相對誤差為19.4%；三維均方根高度誤差為0.220 μm，其相對誤差為13.5%；最大高度誤差值為1.641 μm，其相對誤差為8.5%。Ssk值都低于0，表示高度分布相對于平均面偏上，與特征位置三維形貌相符；Sku值都低于3，表示形貌高度分布均勻，與特征位置三維形貌相符。

表6 測量位置2重構(gòu)圖像三維參數(shù)對比

綜上分析，對于SiC工件表面位置2，與LSCM 相比，SFS方法重構(gòu)結(jié)果較差；光度立體法三維模型直觀形貌、高度分布、取樣截線走勢均一致較好；各二維參數(shù)中，均方根高度相對誤差最大，為25.3%，峰度及偏度判斷結(jié)果一致。各三維參數(shù)中，算術(shù)平均高度相對誤差最大，為19.4%，偏斜度及峭度判斷結(jié)果一致。

3 結(jié)語

本文將基于單目視覺的SFS方法和光度立體法應(yīng)用至微觀形貌的原位測量領(lǐng)域，提出了一種通過單目顯微鏡頭采集二維平面圖像恢復(fù)三維表面形貌的方法。該方法將SFS方法和光度立體法所得重構(gòu)結(jié)果與激光共聚焦顯微鏡掃描結(jié)果比較，包括二維輪廓線、二維表面形貌參數(shù)、三維表面形貌參數(shù)，結(jié)果表明：SFS方法僅靠一張圖像作為輸入，深度信息丟失較多，同時在一般光照環(huán)境下，受陰影、噪聲等影響，對SiC工件復(fù)雜表面重構(gòu)結(jié)果不理想；光度立體法利用多角度光源拍攝，得到更多表面信息，求解得到更精確的表面法向量，可以獲得較為精確的重構(gòu)表面。

本文提出的方法能夠應(yīng)用于機(jī)械工件表面微觀形貌的三維重構(gòu)與參數(shù)分析，相比于傳統(tǒng)的工件加工后拆卸并測量的方式，無需拆卸工件，可對工件加工狀況提供及時的反饋，更加節(jié)約時間；同時測量設(shè)備經(jīng)濟(jì)、體積小，為解決機(jī)械零件表面微觀形貌原位檢測與三維分析難題提供了一種新思路。