機(jī)器視覺精密測量中的顯微光學(xué)聚焦

徐　征，陳聿夫，孫　謙，王曉東，周宗磊

(大連理工大學(xué) 微納米技術(shù)及系統(tǒng)遼寧省重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116085)

?

機(jī)器視覺精密測量中的顯微光學(xué)聚焦

徐征，陳聿夫，孫謙，王曉東*，周宗磊

(大連理工大學(xué) 微納米技術(shù)及系統(tǒng)遼寧省重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116085)

考慮顯微光學(xué)涉及的聚焦精度對機(jī)器視覺精密測量效果的影響，開展了顯微視覺環(huán)境下對圖像聚焦技術(shù)綜合定量評價的研究。建立了偏移率等系列性能指標(biāo)，對13組清晰度函數(shù)在顯微視覺條件下的無偏性、單峰性、分辨力等進(jìn)行了綜合評價，優(yōu)選出方差函數(shù)和Brenner函數(shù)分別用于粗聚焦和精聚焦階段的清晰度計(jì)算。建立了分步爬山搜索法，實(shí)現(xiàn)了顯微自動聚焦。與傳統(tǒng)爬山法相比，提出的方法聚焦時間顯著縮短，重復(fù)精度提高約24%。將建立的自動聚焦與圖像測量方法應(yīng)用于某電液伺服閥銜鐵氣隙測量中，得到的測量均值與工具顯微鏡結(jié)果相近，而測量標(biāo)準(zhǔn)差可達(dá)1.9 μm，測量效率也顯著提高。最后對伺服閥加電條件下的氣隙動力學(xué)特性進(jìn)行了測試，獲得了驅(qū)動電流-銜鐵氣隙之間的關(guān)系，為在線裝配/裝調(diào)提供了重要依據(jù)。

機(jī)器視覺；顯微成像；自動聚焦；微裝配；微機(jī)電系統(tǒng)；綜合定量評價

1　引　言

現(xiàn)代工業(yè)的快速發(fā)展對微傳感器和微執(zhí)行器的綜合性能提出了更高要求。目前，許多微傳感器和微執(zhí)行器的精密裝調(diào)工作仍依靠手工操作，導(dǎo)致裝配精度差和應(yīng)力分布波動大等問題，影響了它們的服役穩(wěn)定性。以顯微視覺為導(dǎo)引，通過精密定位和微小夾持裝置將多個微零件精確組裝成系統(tǒng)的微裝配技術(shù)是解決上述問題的主要途徑，而在裝配-裝調(diào)之前，基于顯微視覺的在線測量是不可或缺的環(huán)節(jié)[1-3]。在短景深的顯微視覺下，光學(xué)聚焦對測量效果的影響顯著，離焦偏差會使精密工具誤動作，從而導(dǎo)致工具或零件的損壞等問題[4]。此外，受表面涂膠等工藝的影響，留給光學(xué)聚焦的時間窗很窄，手工聚焦難以滿足需求，亟待發(fā)展高效自動的顯微光學(xué)聚焦技術(shù)。

顯微自動聚焦技術(shù)通?；趫D像，要解決圖像清晰度計(jì)算和合焦面搜索兩個問題[5-6]。國內(nèi)外學(xué)者對此開展了大量研究。Li等以直徑為10 μm 左右的軸-孔裝配為應(yīng)用對象，基于Sobel算子設(shè)計(jì)了先聚焦整體孔、再聚焦中心區(qū)的兩步搜索法，使注射針尖移動到合焦面，誤差小于0.5 μm[7]。Liu等設(shè)計(jì)了一種組合算法，先采用方差函數(shù)對微執(zhí)行器整體聚焦，再以四叉樹算法聚焦微執(zhí)行器的尖端[8]。Qiu等提出以Krisch邊緣算子卷積和評價粗聚焦清晰度、以圖像高頻成分比評價精聚焦清晰度的雙重算法，準(zhǔn)確度達(dá)到±4 μm[9]。Bilen等以方差函數(shù)計(jì)算清晰度，選擇Fibonacci法作為搜索策略對微夾鉗聚焦，1倍鏡頭下的定位準(zhǔn)確度可達(dá)2.7 μm[10]。

上述研究主要是將圖像聚焦技術(shù)作為不同應(yīng)用的中間環(huán)節(jié)，缺乏對該技術(shù)在顯微視覺環(huán)境下的綜合定量評價。本文建立了偏移率等系列性能指標(biāo)，對13組清晰度計(jì)算函數(shù)在顯微視覺條件下的無偏性、單峰性、分辨力進(jìn)行定量評價，選出適用于粗/精聚焦的清晰度函數(shù)，并建立分步爬山搜索策略，實(shí)現(xiàn)顯微自動聚焦。以精密電液伺服閥銜鐵氣隙為對象，利用測距傳感器驗(yàn)證聚焦搜索的重復(fù)性。最后，實(shí)現(xiàn)了銜鐵氣隙動力學(xué)特性的自動測量，獲得了驅(qū)動電流-銜鐵氣隙之間的關(guān)系，為其裝配/裝調(diào)提供可靠依據(jù)。

2　實(shí)驗(yàn)裝置組成

本文所用的實(shí)驗(yàn)裝置是為某企業(yè)開發(fā)的精密微裝調(diào)設(shè)備的一部分。如圖1所示，實(shí)驗(yàn)裝置包括傳送微組件的2維精密滑臺(Y向和Z向滑臺，分辨力為2 μm)、用于聚焦的精密直線滑臺(X向滑臺，分辨力為2 μm)、顯微鏡(Navitar，2.0×)、攝像機(jī)(DH-SV2001，單像素為4.4 μm×4.4 μm)和環(huán)形光源組成。為了對比聚焦精度，在顯微成像單元旁加裝有激光測距位移傳感器(ZX2-LD50L，分辨力為1.5 μm)。

測試對象為某精密電液伺服閥的銜鐵區(qū)域(12 mm×4 mm)。如圖2所示，銜鐵與基體間的氣隙(0.34 mm)是決定流體控制精度的關(guān)鍵，對性能影響顯著。實(shí)際生產(chǎn)中，需要根據(jù)氣隙偏差進(jìn)行銜鐵或墊片更換及緊定螺釘調(diào)節(jié)等裝調(diào)作業(yè)，使靜態(tài)氣隙更為均勻、加電時氣隙變化線性度更高。

圖1　顯微視覺單元的結(jié)構(gòu)組成

圖2　待測的伺服閥及其銜鐵氣隙結(jié)構(gòu)

系統(tǒng)的工作過程如下：首先由傳送滑臺將伺服閥組件傳送到操作區(qū)，再采集銜鐵區(qū)的圖像，并計(jì)算圖像清晰度，驅(qū)動滑臺搜索物面，待聚焦準(zhǔn)確后測量微小特征，最后根據(jù)測量結(jié)果對組件進(jìn)行裝配和裝調(diào)。

3　清晰度函數(shù)評價及搜索策略

3.1清晰度計(jì)算函數(shù)

本文采用梯度算子類函數(shù)、統(tǒng)計(jì)函數(shù)和圖像熵函數(shù)3類函數(shù)計(jì)算清晰度，并通過對比這3種函數(shù)的性能選出最佳函數(shù)。

(1)梯度算子類函數(shù)：Roberts算子及衍生函數(shù)(FRoberts、FRob-Energy)、Sobel算子及衍生函數(shù)(FSobel、FTenengrad、FSML)、Prewitt算子函數(shù)FPrewitt、梯度絕對值函數(shù)FSMD、梯度平方和函數(shù)FEOG、Laplace算子函數(shù)FLaplace以及Brenner算子函數(shù)FBrenner。

(2)統(tǒng)計(jì)函數(shù)：方差函數(shù)FVariance和自相關(guān)函數(shù)FVollaths。

(3)圖像熵函數(shù)FEntropy。合焦圖像與離焦圖像之比，熵函數(shù)多樣性大，即信息熵高。

3.2清晰度函數(shù)的特征參量

為了評價函數(shù)的聚焦特性，采用近焦區(qū)寬度Wclose和拐點(diǎn)到合焦點(diǎn)距DI-to-F為設(shè)計(jì)參量。首先引入近焦區(qū)與遠(yuǎn)焦區(qū)的概念。如圖3所示，以FTenengrad為例，函數(shù)頂點(diǎn)處為合焦點(diǎn)。合焦點(diǎn)附近為近焦區(qū)，成像相對清晰，曲線陡峭。將成像模糊、曲線平緩的區(qū)域稱為遠(yuǎn)焦區(qū)。遠(yuǎn)焦區(qū)函數(shù)曲線可近似為與位置坐標(biāo)軸平行的線段：

(1)Fi是在第i個圖像采樣位置處的函數(shù)歸一化計(jì)算值。臨界點(diǎn)(Xn，F(xiàn)n)到該線段的距離d=|Fn-b|，F(xiàn)n為臨界點(diǎn)處圖像清晰度的計(jì)算值，Xn即為臨界點(diǎn)采樣位置。當(dāng)滿足d>α，α為閾值(取0.001)，同樣，從右到左可以獲取右臨界點(diǎn)的坐標(biāo)。左、右臨界點(diǎn)的距離Wclose=|XR-XL|為近焦區(qū)寬度，XL，XR分別為左、右臨界點(diǎn)的采樣位置。粗聚焦步長應(yīng)小于函數(shù)近焦區(qū)寬度。

圖3　Tenengrad函數(shù)特征分析

3.3清晰度函數(shù)的性能評價指標(biāo)

在各清晰度函數(shù)的近焦區(qū)，函數(shù)的綜合性能指標(biāo)評價設(shè)計(jì)如下：

(1)表達(dá)函數(shù)無偏性的最值點(diǎn)偏移率：

(2)

其中：Xmax為函數(shù)取最大值的點(diǎn)，X0為真實(shí)聚焦清晰點(diǎn)，δ為相鄰采樣點(diǎn)的物理間距，Wdof為鏡頭的景深(～20 μm)。偏移量反映函數(shù)是否滿足無偏性，若Roffset>1，則不滿足無偏性。

(2)函數(shù)清晰度比率為計(jì)算值變化的比值：

Ra=Fmax/Fmin，

(3)

其中Fmax，F(xiàn)min分別為函數(shù)的最大值和最小值。

(3)綜合衡量合焦點(diǎn)附近陡峭程度的參量為：

(4)

(4)以局部極大值點(diǎn)個數(shù)Np衡量抗干擾能力和單調(diào)性。在近焦區(qū)內(nèi)的局部極值點(diǎn)越少，搜索落入局部極值的可能性越小。

(5)清晰度的計(jì)算時間Tc。

3.4分步爬山法

為消除導(dǎo)軌回程誤差對聚焦精度的影響，本文改進(jìn)了傳統(tǒng)爬山法，在清晰度函數(shù)2個特征參量的基礎(chǔ)上，建立了分步爬山法，減少往復(fù)搜索次數(shù)，搜索過程如圖4所示。搜索步驟如下：

(1)在粗聚焦階段，以大步長Sc(Sc

(2)以步長S1搜索清晰度函數(shù)的右臨界點(diǎn)。由臨界點(diǎn)計(jì)算公式，定義閾值因子：

ρ=d/b，

(5)

d，b的定義見式(1)。記錄兩相鄰采樣點(diǎn)的函數(shù)值F1和F2，計(jì)算相對變化率：

r′=r/F1，

(6)

(7)

其中δ為相鄰采樣點(diǎn)的間距。當(dāng)r′>ρ，縮小步長，否則繼續(xù)搜索。

圖4　改進(jìn)的分步爬山搜索法流程

(4)根據(jù)F函數(shù)值，以步長S3搜索合焦點(diǎn)，找到聚焦清晰平面所在的小區(qū)域，反向移動一個合焦點(diǎn)偏差估計(jì)距離。

4　實(shí)驗(yàn)驗(yàn)證與分析

4.1聚焦清晰度函數(shù)的綜合性能

圖5　各函數(shù)計(jì)算的圖像序列清晰度

利用3.3節(jié)中的評價指標(biāo)對13組清晰度函數(shù)的計(jì)算結(jié)果(圖5)進(jìn)行分析(表1)，結(jié)論如下：

(1)FVariance近焦區(qū)的寬度Wclose最大，為720 μm，其次是FTenengrad的Wclose為408 μm，其余函數(shù)的Wclose均遠(yuǎn)小于方差函數(shù)。計(jì)算各函數(shù)的DI-to-F，除FVariance外，其余DI-to-F均在40～72 μm。FVariance在近焦區(qū)波動較大，而且沒有明顯的拐點(diǎn)。

(2)FVariance的無偏性Roffset為2.4，不滿足無偏性。此外，F(xiàn)Laplace和FPrewitt的Roffset是0.8，偏移量較大。其余均滿足無偏性。

(3)FTenengrad和FBrenner的清晰度比率較高，分別為10.06和9.43。

(4)FSML，F(xiàn)Tenengrad，F(xiàn)Rob-Energy，F(xiàn)Brenner，F(xiàn)EOG函數(shù)的陡峭度超過0.022，這意味著在精聚焦階段搜索過程中，其合焦面更易分辨。

(5)除FVariance外，各函數(shù)在近焦區(qū)均嚴(yán)格滿足單調(diào)性。但FEntropy，F(xiàn)Laplace，F(xiàn)SML等在各自的遠(yuǎn)焦區(qū)不是嚴(yán)格單調(diào)遞增的。

(6)FEOG，F(xiàn)Rob-Energy，F(xiàn)Tenengrad函數(shù)的計(jì)算時間分別為42，43，46 ms，其它函數(shù)的計(jì)算時間不超過32 ms，原因是這3個函數(shù)的平方運(yùn)算多，計(jì)算復(fù)雜度高。

綜上，方差函數(shù)的近焦區(qū)較寬，可設(shè)置較大的粗聚焦搜索步長，減少采樣次數(shù)，但無偏性較差，僅適合在粗聚焦階段使用。對精聚焦而言，F(xiàn)Tenengrad函數(shù)的無偏性、清晰度比率、單調(diào)性等均理想，但耗時較長；而FBrenner與FTenengrad的性能接近，因此選擇FBrenner函數(shù)在精聚焦階段計(jì)算清晰度。

表1　清晰度評價指標(biāo)的計(jì)算結(jié)果

4.2聚焦搜索策略對比實(shí)驗(yàn)

按圖4流程進(jìn)行銜鐵氣隙聚焦實(shí)驗(yàn)。總搜索范圍約為8 mm，以方差函數(shù)計(jì)算粗聚焦階段的清晰度，步長Sc取為640 μm。在精聚焦階段，以Brenner函數(shù)和Tenengrad函數(shù)計(jì)算清晰度并進(jìn)行比較，近焦區(qū)搜索步長S1約為Wclose/4；拐點(diǎn)搜索步S2

用測距傳感器測量傳感器到激光反射物面的距離，記錄聚焦位置到反射面的距離li，每組聚焦20次，以聚焦測量結(jié)果的標(biāo)準(zhǔn)差S衡量重復(fù)性(表2)。其中Tf為所耗費(fèi)的時間。

表2　自動聚焦實(shí)驗(yàn)結(jié)果

與傳統(tǒng)爬山法相比，分步爬山法往復(fù)運(yùn)動次數(shù)少，從而抑制了滑臺回程誤差的影響，聚焦重復(fù)精度為4 μm，為鏡頭景深的1/5，重復(fù)精度提高約24%；同時縮短了聚焦時間。此外，Tenengrad函數(shù)的聚焦準(zhǔn)確度相對更高，而Brenner函數(shù)的聚焦效率更高，也間接驗(yàn)證了4.1節(jié)函數(shù)性能的分析結(jié)果。

4.3伺服閥氣隙的測試實(shí)驗(yàn)

靜態(tài)氣隙尺寸測量的具體過程為：以上述算法對銜鐵和基體分別聚焦，提取兩者邊緣，其中一條邊緣以最小二乘法擬合直線，另一條邊緣等間隔取點(diǎn)計(jì)算到該直線的平均距離，再將其換算為實(shí)際氣隙值gi。用工具顯微鏡(STM6-F10)對同一氣隙測量多點(diǎn)求平均，并與gi進(jìn)行對比。分析10組測量數(shù)據(jù)發(fā)現(xiàn)：本方法的測量值為358.8～365.1 μm，標(biāo)準(zhǔn)差為1.9 μm；而工具顯微鏡的測量值為352.2～368.4 μm，標(biāo)準(zhǔn)差為5.37 μm。二者均值的相對偏差為0.36%。本文中聚焦和測量均為自動化操作，測量一次耗時約40 s，而用工具顯微鏡則要手工對焦和取樣，耗時約2 min。

圖6　加電過程中伺服閥氣隙變化

加電狀態(tài)氣隙變化線性度是伺服閥的另一重要指標(biāo)，本文結(jié)合上述算法測量加電(分辨率為1 mA)狀態(tài)下的氣隙變化，通過模板匹配法獲取變化量。由圖6可知，當(dāng)電流為0時左氣隙比右氣隙大將近226 μm。加電過程中氣隙變化可分為3段，左右變化率也不相等。在區(qū)段2，左右兩側(cè)氣隙隨電流變化率的絕對值分別為25.2 μm/mA和25.7 μm/mA，氣隙位移變化明顯；在區(qū)段1，左右氣隙的變化率分別為2.8 μm/mA和2.6 μm/mA；而區(qū)段3的變化率分別為1.5 μm/mA和。上述結(jié)果為微裝配/裝調(diào)提供了實(shí)驗(yàn)依據(jù)。

5　結(jié)　論

本文建立了偏移率等系列性能指標(biāo)，對多種清晰度計(jì)算函數(shù)在顯微視覺條件下的無偏性、單峰性和分辨力進(jìn)行了綜合評價。其中，方差函數(shù)的近焦區(qū)域較寬，搜索步長較大，但無偏性較差，適合在粗聚焦階段使用；而Tenengrad函數(shù)的無偏性、清晰度分辨力、單調(diào)性等性能均較理想，但計(jì)算時間偏長；Brenner函數(shù)的性能與Tenengrad函數(shù)接近，并且計(jì)算時間適中，適合在精聚焦階段計(jì)算清晰度。

在傳統(tǒng)爬山法的基礎(chǔ)上，結(jié)合清晰度函數(shù)的特征參量建立了分步爬山法。該方法減少了往復(fù)搜索次數(shù)，消除了滑臺回程誤差對聚焦精度的影響，提高了聚焦的重復(fù)性和效率。

利用自動聚焦算法測量伺服閥氣隙，并與工具顯微鏡的測量結(jié)果對比，相對偏差為0.36%，能滿足測量精度要求，而且顯著改善了測量效率。

[1]YE X， GAO J， ZHANG Z J，etal.. Robotic microassembly for meso-scale application [J].IndustrialRobot:AnInternationalJournal， 2015， 42(2): 142-148.

[2]WASON J D， WEN J T， GORMAN J J，etal.. Automated multiprobe microassembly using vision feedback [J].IEEETransactionsonRobotics， 2012， 28(5): 1090-1103.

[3]婁志峰，王曉東，由博，等. 精密微小組件壓裝技術(shù)及儀器[J]. 光學(xué) 精密工程，2015，23(6):1605-1611.

LOU ZH F， WANG X D， YOU B，etal.. Pressing-fitting technology and instrument for precision small parts [J].Opt.PrecisionEng.， 2015，23(6):1605-1611.(in Chinese)

[4]唐永龍，張之敬，張曉峰，等. 微裝配正交精確對準(zhǔn)系統(tǒng)的設(shè)計(jì)[J]. 光學(xué) 精密工程，2012，20(7): 1542-1550.

TANG Y L， ZHANG ZH J， ZHANG X F，etal.. Design of precise alignment orthogonal system used in micro-assembly [J].Opt.PrecisionEng.， 2012，20(7):1542-1550.(in Chinese)

[5]周麗平，孫志峻，張泉. 顯微視覺系統(tǒng)的自動聚焦及控制[J]. 光學(xué) 精密工程，2013，21(3):807-812.ZHOU L P， SUN ZH J， ZHANG Q. Auto-focusing and control of micro-vision system [J].Opt.PrecisionEng.， 2013，21(3): 807-812.(in Chinese)

[6]MAIER A， NIEDERBRUCKER G， STENGER S，etal.. Efficient focus assessment for a computer vision-based Vickers hardness measurement system[J].SPFE， 2011， 8000(17)：477-526.

[7]LI F D， XU D， SHI Y L，etal.. Motion-based microscopic camera calibration and application on micro tube-hole insertion [J].OpticalEngineering， 2014， 53(5): 53103-53109.

[8]LIU J， GONG Z， TANG K，etal.. Locating end-effector tips in robotic micromanipulation [J].IEEETransactionsonRobotics， 2014， 30(1): 125-130.

[9]QIU Y R， LI Y H， CHEN Y X，etal.. Experiments on image processing for micro-assembly [J].AppliedMechanicsandMaterials， 2013， 333-335(1): 924-928.

[10]BILEN H， HOCAOGLU M A， UNEL M，etal.. Developing robust vision modules for microsystems applications [J].MachineVisionandApplications， 2012， 23(1): 25-42.

王曉東(1967-)，男，黑龍江哈爾濱人，教授，1989年于南京航空學(xué)院獲得學(xué)士學(xué)位，1992年于哈爾濱船舶工程學(xué)院獲得碩士學(xué)位，1995年于哈爾濱工業(yè)大學(xué)獲得博士學(xué)位，主要從事微裝配技術(shù)與系統(tǒng)、精密儀器等方面的研究。E-mail：xdwang@dlut.edu.cn

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Auto-focusing in optical microscopy for machine-vision-based precise measurement

XU Zheng， CHEN Yu-fu， SUN Qian， WANG Xiao-dong*， ZHOU Zong-lei(KeyLaboratoryforMicro/NanoTechnologyandSystemofLiaoningProvince，DalianUniversityofTechnology，Dalian116085，China)*Correspondingauthor，E-mail：xdwang@dlut.edu.cn

The auto-focusing precision of microscopy has great influence on the performance of machine-vision-based precise measurement. A comprehensively quantitative evaluation method on image auto-focusing technique in a microscopic vision environment was researched. Several kinds of evaluation indexes were proposed， and the unbiasedness， unimodality， spatial resolutionetc. of 13 groups sharpness functions were comprehensively evaluated in a microscopic vision condition. Then variance function and Brenner function were chosen to calculate the sharpness functions in coarse and fine focusing processes respectively. A modified Mountain Climbing Searching (MCS) algorithm was proposed to implement the micro-automatic focusing. As comparing to common MCS method， the modified method significantly improves the time consuming and increases the repeatability by about 24%. Finally， the developed auto-focusing algorithm was integrated into the system and was applied to the measurement of armature gap in a servo solenoid valve. The results show that the standard deviation of measurement is 1.9 μm， the precision is similar to that of the universal tool microscope， and the efficiency is significantly improved. Moreover， the system was also utilized for dynamic characteristic detection of gaps in the solenoid valve under the condition of power up， the relation between driving current and armature gap is obtained， which provides a reliable evidence for in-situ micro-assembly.

machine vision; microscopic imaging; auto-focusing; microassembly; Micro-electro-mechanical System(MEMS); comprehensively quantitative evaluation

2016-03-01；

2016-04-19.

國家科技重大專項(xiàng)基金資助項(xiàng)目(No.2013ZX04001091)

1004-924X(2016)09-2095-06

TP242.6；TH742.9

A

10.3788/OPE.20162409.2095

徐征(1973-)，男，河南鄭州人，博士，副研究員，1997年、2000年于吉林工業(yè)大學(xué)分別獲得學(xué)士和碩士學(xué)位，2004年于大連理工大學(xué)獲得博士學(xué)位，主要從事微納集成制造的研究。E-mail：xuzheng@dlut.edu.cn