貝塞爾曲線插值下的聚焦形貌恢復(fù)

張 明 ，丁 華 ，劉建成

（1.太原理工大學 機械工程學院，山西 太原 030024；2.School of Engineering and Computer Science，University of the Pacific，Stockton，CA，95211，United States）

1 引言

為提升聚焦形貌恢復(fù)精度，國內(nèi)外學者進行了廣泛深入的研究，主要涉及到利用曲線擬合插值法對初始深度圖做近似處理。文獻[1]運用改進的拉普拉斯聚焦算子對聚焦評價函數(shù)曲線峰值附近的三個數(shù)據(jù)點進行高斯插值，獲得了較為精確的深度信息。文獻[2]通過尋找理想聚焦表面（FIS）的斜面近似，提出一種全新的聚焦形貌法—SFF.FIS（focus image surface）。為了處理復(fù)雜表面形貌，文獻[3]采用二階拉格朗日多項式插值法獲得一個三次曲面，并用此曲面逼近理想聚焦表面（FIS）。文獻[4-5]提出一種基于離散差分預(yù)測模型算法提高了恢復(fù)精度。文獻的代表性研究有：在離散余弦變換域中應(yīng)用PCA（主成分分析）計算聚焦評價值；采用三次貝塞爾-伯因斯坦多項式對初始深度圖數(shù)據(jù)進行擬合[6]；借助遺傳算法實現(xiàn)深度值的優(yōu)化組合[7]，這些方法均實現(xiàn)了精確的三維形貌恢復(fù)。上述部分研究在形貌恢復(fù)精度提升方面取得了較為理想的結(jié)果，但其實現(xiàn)的前提是要假定聚焦評價函數(shù)曲線遵循某種特定分布模型，因而具有一定的局限性。

為獲取更為精確，完整的深度值信息，在分析了序列圖像噪聲類型的基礎(chǔ)上，對圖像進行中值濾波預(yù)處理，減少了噪聲干擾；結(jié)合近似處理手段，對由聚焦評價函數(shù)獲取的初始深度值進行三次貝塞爾曲線插值處理，獲取插值后函數(shù)的最大值位置作為特性曲線的峰值位置，進而確定景物深度，恢復(fù)其三維形貌。實驗結(jié)果表明，該方法不僅提升了峰值定位精度，而且實現(xiàn)了深度值的精確估計。

2 聚焦形貌恢復(fù)原理

聚焦形貌恢復(fù)技術(shù)就是要從部分聚焦的圖像序列中提取圖像的高頻成分，重構(gòu)物體的全聚焦圖像和恢復(fù)3D形貌（深度圖）[8]。其原理，如圖1所示。其基本思想[9]是：首先，通過調(diào)整顯微鏡z軸位置，獲取顯微樣本的序列圖像，使整個序列覆蓋在顯微鏡中的全部z軸方向的高度信息，每幅圖像有聚焦清晰區(qū)域和模糊區(qū)域；然后在序列圖像中通過一定的疊合規(guī)則，獲取每個像素點所對應(yīng)的聚焦清晰位置，從而重建出一副十分清晰的圖像，再通過聚焦分析，恢復(fù)深度信息；最后對深度信息進行插值擬合，恢復(fù)出比較精確的物體深度信息，從而通過二維圖像序列進行三維重建和測量。

圖1 聚焦形貌恢復(fù)原理圖Fig.1 Schematic Diagram of Shape From Focus

聚焦評價函數(shù)作為表征圖像清晰度的尺度，其在聚焦形貌恢復(fù)中扮演著至關(guān)重要的角色，其最大值點對應(yīng)著正確聚焦，即圖像最清晰的時刻。主流的聚焦評價函數(shù)有SML（改進的拉普拉斯算子），Tenengrad函數(shù)，以及GLV（灰度方差函數(shù)）等。

3 中值濾波除噪

圖像噪聲的存在大大影響了初始深度值估計的精確性。消除噪聲干擾的主要手段是采用濾波的方法，為了獲取更好的濾波效果，首先必須對圖像噪聲類型有一個準確的初步判斷，進而根據(jù)噪聲類型選擇合適的濾波方法。針對目前噪聲類型估計困難的問題，文獻[10]從直方圖信息灰色關(guān)聯(lián)的角度出發(fā)，總結(jié)了常見含噪圖像（高斯噪聲、椒鹽噪聲以及斑點噪聲）均勻區(qū)域內(nèi)灰度直方圖分布特征：含高斯噪聲灰度均勻區(qū)域直方圖分布特性近似于高斯分布；含椒鹽噪聲灰度均勻區(qū)域直方圖有三個波峰，分別對應(yīng)原始灰度、純黑和純白；含斑點噪聲灰度均勻區(qū)域直方圖分布近似于均勻分布。

依據(jù)上述理論，我們對采集到的序列圖像進行灰度直方圖顯示，根據(jù)灰度圖像的直方圖分布特征，推斷出采集的序列圖像的主要噪聲類型為椒鹽噪聲，而中值濾波非常適合去除椒鹽噪聲，且在去噪的同時能夠很好地保持圖像邊緣信息。因此，我們選擇中值濾波對序列圖像進行預(yù)處理。

4 基于貝塞爾曲線插值的聚焦形貌恢復(fù)

4.1 貝賽爾曲線

貝塞爾-伯因斯坦多項式廣泛應(yīng)用于計算機圖像學、特征提取、圖像分割、數(shù)據(jù)近似等領(lǐng)域。其一般數(shù)學表達式為：

式中：p—多項式階數(shù)；t—定義在［0，1］上的多項式參數(shù)；Fi—貝塞爾曲線的控制點；Φip（t）—p階伯因斯坦基底多項式。當p=3時，我們稱作三次貝賽爾曲線，其參數(shù)和矩陣形式分別為：

針對上述問題，我國銀行和中小企業(yè)都需要提升業(yè)務(wù)人員的綜合素質(zhì)，銀行和中小企業(yè)可以通過培訓(xùn)的方式，促使業(yè)務(wù)人員掌握國際金融市場的法律和知識，尤其是貿(mào)易和融資方面的知識，例如：國際金融商場的主要金融產(chǎn)品及其金融產(chǎn)品的性質(zhì)和特點。銀行和中小企業(yè)在培訓(xùn)業(yè)務(wù)人員理論知識的同時，也要注重實際操作能力的培訓(xùn)，并在培訓(xùn)過程中及時吸取培訓(xùn)經(jīng)驗，不斷補充和完善培訓(xùn)計劃，以此來提升業(yè)務(wù)人員的專業(yè)水平。此外，工作人員自身也要積極學習，提高自身的分析能力，及時把握金融市場的動態(tài)，了解國際金融市場的變化，準確地對風險進行預(yù)測，繼而增強中小企業(yè)在國際金融動蕩環(huán)境下的風險抵御能力。

貝塞爾曲線插值的關(guān)鍵在于控制點，多項式曲線參數(shù)a以及輸入曲線數(shù)據(jù)點的選擇[6]。為了獲取更為精確的深度值信息，我們利用三次貝塞爾曲線對初始深度矩D（x，y，k*）進行插值處理。由于插值曲線只是在峰值兩側(cè)的一定范圍內(nèi)和評價函數(shù)特性曲線相似，所以聚焦評價函數(shù)特性曲線半寬越小，選取的插值點數(shù)應(yīng)該越少。通常情況下，選取評價函數(shù)曲線峰值兩側(cè)的（6～8）個點就可得到滿意的深度恢復(fù)精度。當我們?nèi)=2時便可得到7個數(shù)據(jù)點，（Fk-2，F(xiàn)k-1，F(xiàn)k，F(xiàn)k+1，F(xiàn)k+2，F(xiàn)k+3，F(xiàn)k+4）以及 4 個控制點（Fk-2，F(xiàn)k，F(xiàn)k+2，F(xiàn)k+4）。這里 k 為像素點（x，y）聚焦評價曲線峰值位置對應(yīng)的圖像序號（深度），F(xiàn)i為相應(yīng)的聚焦評價值；根據(jù)這些輸入曲線數(shù)據(jù)點和控制點，我們即可確定三次貝塞爾插值曲線，并將其最大值位置對應(yīng)的m=argtmax（P（x））作為精確處理后像素點（i，j）的深度，對所有像素點執(zhí)行這樣的操作便可獲取新的深度矩陣D′（i，j，m）。

考慮金屬圓盤序列圖像經(jīng)中值濾波后像素點（200，200）的SML聚焦評價特性曲線，該像素點處的初始深度值為50。取a=2時，三次貝塞爾曲線插值所需的原始曲線由7個數(shù)據(jù)點（F48，F(xiàn)49，F(xiàn)50，F(xiàn)51，F(xiàn)52，F(xiàn)53，F(xiàn)54）構(gòu)成，4個控制點分別為（F48，F(xiàn)50，F(xiàn)52，F(xiàn)54），根據(jù)這些輸入點及控制點得到的插值結(jié)果，如圖2所示。可知插值后該像素點的深度值為50.36，相比于初始深度值50更為精確可靠。

圖2 三次貝賽爾曲線插值Fig.2 Three Degree Bezier Curve Interpolation

4.2 聚焦形貌恢復(fù)算法描述

根據(jù)上述理論設(shè)計聚焦形貌恢復(fù)算法，具體步驟如下：

Step 1：利用中值濾波對序列圖像進行預(yù)處理以減少噪聲對恢復(fù)精度的干擾。

Step 2：應(yīng)用聚焦評價函數(shù)計算序列圖像每個像素點（i，j）的聚焦評價值。

式中：I，J—序列圖像的行數(shù)和列數(shù)；K—序列圖像總數(shù)量；m—所

用聚焦算子序號。

Step 3：獲取初始深度值：將 Step 2 得到的每個像素點（i，j）在序列圖像中的聚焦評價值進行比較，并找到最大評價值對應(yīng)的圖像序號，從而獲得初始深度值。

Step 4：根據(jù)Step 3得到的初始深度值確定貝塞爾插值所需輸入曲線及控制點。

Step 5：貝賽爾曲線插值：利用三次貝賽爾曲線對初始深度值進行插值處理。

Step 6：將插值后曲線的最大值位置作為特性曲線的峰值位置，得到更為精確的像素點（i，j）的深度值：

Step 7：根據(jù)所有像素點的最終深度值重構(gòu)三維形貌。

5 實驗與分析

實驗所需數(shù)字圖像由型號為Basler Ace acA645-100um monochrome的CCD攝像機（圖像分辨率為659*494）采集，計算機配置：CPU為2.53GHz，內(nèi)存2GB。基于Windows平臺，實驗的算法應(yīng)用VC實現(xiàn)。首先，利用夾具將實驗對象固定起來，然后將攝像機固定在機床探臂上。攝像機調(diào)節(jié)步長為10μm，通過控制機床探臂的伸縮可調(diào)節(jié)攝像機Z軸方向高度，使攝像機的成像面聚焦在不同高度層面，順序采集100幀659*494大小的圖像，經(jīng)USB3.0數(shù)據(jù)線傳至計算機。形貌恢復(fù)實驗中的參考算法選擇為FGLV、FSML、FTEN等傳統(tǒng)聚焦算子，實驗對象選用不同材質(zhì)的表面細節(jié)特征豐富的3D打印實體和金屬圓盤，以驗證方法在形貌恢復(fù)精度方面的高精度性以及有效性。考慮到計算量及評價窗口尺寸對恢復(fù)精度的影響，計算窗口大小選擇為（3×3）。恢復(fù)算法簡寫為FBBP。實驗裝置及實驗對象，如圖3所示。

圖3 實驗裝置及實驗對象Fig.3 Experiment Setup and Objects

參考算法FSML、FTEN、FGLV以及這里的FBBP方法所獲取的3D打印實體和金屬圓盤的三維形貌圖，如圖4所示。定性分析，不論對3D打印實體還是金屬圓盤，基于梯度二階差分的FSML算子恢復(fù)得到的三維形貌都出現(xiàn)了一定程度上的缺失，尤其在3D打印實體凹槽及金屬圓盤中心處丟失了過多圖像信息，此外金屬圓盤邊緣凹凸不平，平整性較差。相比于FSML，F(xiàn)TEN、FGLV恢復(fù)得到的3D打印實體形貌圖有所改善，整體形貌細節(jié)部分均已基本顯示出來，平整性也較好，而且兩者形貌恢復(fù)結(jié)果差異性較小。FTEN、FGLV獲取的金屬圓盤形貌圖在邊緣細節(jié)處重建效果有了大幅改善，圖像整體輪廓也都基本重建出來，只是FTEN在中心圓環(huán)處出現(xiàn)了凸起，小部分邊緣形貌信息有所丟失。而FGLV不論在邊緣還是中心處都顯得很是平整，整體恢復(fù)效果明顯。顯而易見，相比于其他三種方法，這里方法獲得的3D打印實體三維形貌更加完整可觀、清晰可見，且光滑平整，尤其在凹槽、圓坑等表面細節(jié)處更為突出。由于金屬圓盤的反射性能較強，再加上其表面光滑，細節(jié)紋理豐富，因而其他三種方法均會出現(xiàn)不同程度上的形貌缺失問題，且表面粗糙度較大，而這里方法獲得的三維形貌更為完整，平滑，真實可觀性也大大提高。總體上看，重建出來的三維形貌圖較其他傳統(tǒng)方法而言，紋理信息保持較好，邊緣細節(jié)清晰可見，重建結(jié)果整體性較好。為了定量評價恢復(fù)效果，利用評估準則RMSE（均方根誤差）及Correlation（相關(guān)度）對四種方法恢復(fù)效果進行了對比。這里，RMSE值越小，Correlation值越大表明估計的深度值與實際深度值間的誤差越小。

圖4 3D打印實體形貌金屬圓盤形貌Fig.4 3D Shapes Reconstructed for 3D Printed and Metal Disk

統(tǒng)計了四種恢復(fù)方法下3D打印實體和金屬圓盤聚焦形貌恢復(fù)效果評價數(shù)據(jù)，如表1所示。從RMSE一欄可知，無論何種實驗對象，F(xiàn)SML對應(yīng)的RMSE值最大，F(xiàn)TEN及FGLV的RMSE值較為接近，F(xiàn)BBP對應(yīng)的RMSE指標最優(yōu)；Correlation一欄顯示，F(xiàn)SML對應(yīng)的Correlation值最小，F(xiàn)BBP對應(yīng)的Correlation值最大，分別達到了0.9453、0.9208，這些數(shù)據(jù)充分表明FSML的形貌恢復(fù)誤差最大，而FBBP法恢復(fù)效果最優(yōu)（估計深度值與實際深度值近似程度最高）。通過定性與定量分析可知，提出的方法較傳統(tǒng)方法在恢復(fù)精度方面具有一定的的優(yōu)越性。

表1 3D打印實體和金屬圓盤聚焦形貌恢復(fù)效果評價Tab.1 Recovery Effects Evaluation of 3D Printed and Metal Disk

6 結(jié)論

在對圖像噪聲類型識別理論及近似技術(shù)的研究基礎(chǔ)上，實現(xiàn)了一種高精度的聚焦形貌恢復(fù)方法。為了有效消除噪聲干擾，從含噪圖像灰度直方圖分布特性入手，經(jīng)過噪聲類型初步判斷后采用中值濾波對序列圖像進行預(yù)處理；引入三次貝賽爾曲線插值法對初始深度圖作近似處理，從而獲取更為精確的深度值信息。為了對恢復(fù)效果進行定性與定量分析，分別選用不同表面特征與材質(zhì)的實體對象（3D打印實體和金屬圓盤）進行形貌恢復(fù)實驗，并將FSML、FTEN及FGLV算子作為參考算法。結(jié)果表明，提出方法的RMSE、Correlation指標均優(yōu)于FSML、FTEN及FGLV，恢復(fù)精度分別達到了94.53%，92.08%，充分說明該方法兼具形貌恢復(fù)的高精度性與普適性。