基于深度估計置信度的聚焦形貌恢復(fù)

史艷瓊，查昭，張文亮，戴爾愉，陳中

（安徽建筑大學(xué)機械與電氣工程學(xué)院，安徽 合肥 230601）

0 引言

聚焦形貌恢復(fù)（SFF）［1］技術(shù)是一種利用二維圖像信息恢復(fù)物體三維形貌的方法，其對采集到的離焦序列圖像使用聚焦評價函數(shù)獲得象征聚焦程度的聚焦評價值，通過搜索使窗口聚焦評價函數(shù)值最大的圖像位置來估計景物的深度信息，以此實現(xiàn)三維形貌恢復(fù)。SFF 技術(shù)原理簡單、設(shè)備成本低、體積小，且具有較高的重建精度，因此，在顯微三維成像［2］、光學(xué)三維測量［3］等領(lǐng)域有著廣泛的應(yīng)用。

在離焦序列圖像的采集過程中，由于環(huán)境的影響和相機本身的限制，采集到的圖像會不可避免地帶有噪聲信息，這使得聚焦評價結(jié)果不準(zhǔn)確，最終導(dǎo)致重建精度降低?，F(xiàn)有研究主要從高性能聚焦評價函數(shù)設(shè)計［4-6］和深度圖優(yōu)化［7-9］兩方面入手提高SFF 精度。在高性能聚焦評價函數(shù)設(shè)計方面：文獻［10］提出一種自適應(yīng)窗口大小選擇算法和自適應(yīng)加權(quán)改進拉普拉斯算子；文獻［11］提出名為環(huán)形差分濾波器的新型聚焦評價函數(shù)；文獻［12］提出基于顏色空間的聚焦評價方法，根據(jù)彩色圖像中心像素與鄰域像素色彩的差異測量聚焦程度。在深度圖優(yōu)化方面：文獻［13］提出一種可靠性測量方法，用于評估SFF 技術(shù)中獲取的深度圖質(zhì)量，探測并移除深度圖中低準(zhǔn)確度區(qū)域，減少噪聲對重建質(zhì)量的干擾；文獻［14］提出對聚焦評價序列正則化處理，并使用圖像序列作為結(jié)構(gòu)先驗約束正則化的方法；文獻［15］基于圖像灰度曲線與聚焦評價值之間的相關(guān)性對深度信息進行引導(dǎo)濾波，提高深度圖質(zhì)量。然而，上述方法仍存在一些不足：文獻［13］提出的方法雖然可以識別出大部分深度信息不可靠的像素并進行移除，但并未對移除所產(chǎn)生的空洞進行填補，導(dǎo)致重建結(jié)果不完整；文獻［14］提出的方法雖然對于數(shù)據(jù)中的離群值有魯棒性，但需要使用彩色圖像作為結(jié)構(gòu)先驗，這一缺點使其應(yīng)用范圍狹窄；文獻［15］提出的方法雖然可以有效減輕噪聲對重建結(jié)果的影響，獲得完整且連續(xù)的物體三維形貌，但由于未考慮噪聲對圖像灰度曲線的影響，優(yōu)化過程會對物體原本結(jié)構(gòu)特征產(chǎn)生影響，使得重建結(jié)果不夠精確。

針對以上方法的不足，為盡可能抑制噪聲的影響并使得重建后的三維形貌完整且精確，本文從深度圖優(yōu)化方面入手，在基于相關(guān)性的引導(dǎo)濾波基礎(chǔ)上提出基于曲線相似度的概念，使其更具泛用性；同時添加修正項，改善灰度曲線受噪聲影響振蕩導(dǎo)致置信度錯誤降低的情況；在此基礎(chǔ)上，通過計算聚焦評價曲線與灰度曲線間的相似度，判斷像素聚焦評價結(jié)果是否受到噪聲影響導(dǎo)致深度估計出錯，得到整幅圖像深度估計的置信圖，并將置信圖作為引導(dǎo)圖；最后使用引導(dǎo)濾波對深度圖進行處理，優(yōu)化初始深度圖，使最終的重建結(jié)果精確且連續(xù)。

1 聚焦形貌恢復(fù)技術(shù)

1.1 基本原理

聚焦形貌恢復(fù)技術(shù)利用了相機光學(xué)成像原理進行三維重建［16］，如圖1所示。按照一定的步長λ移動物體或相機改變兩者間的距離對同一平面進行拍攝，采集到包含該平面內(nèi)物體所有點從模糊到清晰再到模糊的序列圖像后，使用聚焦評價函數(shù)對每幅圖像進行處理，獲得所有像素在當(dāng)前位置的聚焦值，聚焦值隨聚焦程度變化，在最佳聚焦位置達到最大值。使用最值搜索方法獲得所有像素的最佳聚焦位置，并結(jié)合已知的步長信息即可估計出圖像中像素的深度值。

圖1 聚焦形貌恢復(fù)原理Fig.1 Principle of shape from focus

1.2 聚焦評價函數(shù)

目前已經(jīng)有多種聚焦評價算子，PERTUZ等［17］整理了36 種聚焦評價算子并按照原理的不同分為6 類，在噪聲強度、對比度、飽和度、窗口大小等不同條件下對這些算子的性能進行實驗評估。常見的聚焦評價函數(shù)主要有空域、頻域、統(tǒng)計學(xué)3 種類別。空域聚焦評價算子在空間域內(nèi)根據(jù)圖像灰度變化的劇烈程度評估圖像聚焦程度：圖像越清晰，圖像灰度值變化越劇烈；圖像越模糊，圖像灰度值變化越平緩。通常使用圖像梯度算子來檢測圖像灰度的變化情況，使用較為廣泛的算子有改進的拉普拉斯算子［1］、Tenengrad 算子［18］、Roberts 算子等?？沼蚓劢乖u價算子具有計算簡單快速、對灰度變化靈敏等優(yōu)點，但在低紋理圖像中，由于圖像灰度變化不明顯，這類算子性能較差，并且因為高靈敏度的特點，在實際應(yīng)用中很容易受到噪聲的影響。常見的基于頻域的聚焦評價函數(shù)有基于傅里葉變換、基于小波系數(shù)和［19］、基于離散余弦變換［20］等方法，這類方法將圖像轉(zhuǎn)換到頻域計算，根據(jù)圖像頻率能反映圖像灰度變化這一特性，通過圖像高頻系數(shù)分布判斷圖像的聚焦程度。頻域聚焦評價算子魯棒性更強，但由于需要將圖像轉(zhuǎn)換到頻域，這類方法通常需要較大的計算量，花費時間長，不適合實時計算?；诮y(tǒng)計學(xué)的聚焦評價方法主要根據(jù)像素鄰域內(nèi)如灰度方差、灰度直方圖、熵等統(tǒng)計數(shù)據(jù)計算聚焦程度，常用方法有灰度方差函數(shù)［21］、熵函數(shù)［22］等，這類方法以一定區(qū)域范圍內(nèi)的統(tǒng)計數(shù)據(jù)作為評價依據(jù)，靈敏度較低。

基于上述傳統(tǒng)算子結(jié)合峰值搜索方法可以得到初始的深度圖，但此時深度圖中有大量錯誤的深度值，三維形貌恢復(fù)的精度和準(zhǔn)確度都無法達到要求，還需要對其進行優(yōu)化，提升重建精度。

2 基于深度估計置信度的聚焦形貌恢復(fù)

2.1 曲線相似度的深度估計置信度計算方法

根據(jù)光學(xué)成像原理可知，相機沿z軸移動掃描成像時，離焦序列圖像上同一位置的像素會經(jīng)歷從模糊到清晰再到模糊的過程。像素p的灰度曲線由各序列圖像上相同位置像素的灰度值構(gòu)成，表示為：

圖2 像素點的灰度曲線與聚焦評價曲線Fig.2 Grayscale curve and focus measure curve of pixel

像素深度估計的置信度可用2 條曲線間的相似度進行度量，相似度計算方法主要有基于皮森相關(guān)系數(shù)、基于歐氏距離、基于余弦相似度等。

皮爾森相關(guān)系數(shù)表示為：

余弦相似度表示為：

通過計算2 個向量的夾角余弦值來評估它們的相似度，余弦值越小則2 個向量越相似。

分別選取圖像上深度估計準(zhǔn)確的p1點和深度估計錯誤的p2點，圖3 中展示了這2 個像素點相應(yīng)的聚焦評價曲線與灰度曲線，其中，p1點坐標(biāo)為（939，593），p2點坐標(biāo)為（288，765）。p1點深度估計準(zhǔn)確，灰度曲線與聚焦評價曲線在圖像1～圖像6 中呈上升趨勢，從圖像6 開始大體上呈下降趨勢，根據(jù)計算結(jié)果，p1點的皮爾森相關(guān)系數(shù)ρp1=0.857 5；p2點深度估計錯誤，當(dāng)灰度曲線在圖像17～圖像24 中呈下降趨勢時，聚焦評價曲線卻呈上升趨勢，該點皮爾森相關(guān)系數(shù)ρp2=0.061 3。計算結(jié)果與上述推論保持一致，2 條曲線間的相似度在一定程度上可以反映初始深度估計的可靠性。

圖3 不同像素點的灰度曲線與聚焦評價曲線Fig.3 Grayscale curves and focus measure curves of different pixels

除此之外，筆者在實驗過程中發(fā)現(xiàn)，噪聲對像素點的影響較大時會導(dǎo)致灰度曲線產(chǎn)生劇烈的振蕩，在這種情況下，即使聚焦評價曲線具有良好的單峰性且深度估計正確，也會因為灰度曲線的異常導(dǎo)致2 條曲線的相似度減小，從而使該點置信度降低，如圖4 所示。

圖4 灰度曲線受噪聲影響異常振蕩的情況Fig.4 Abnormal oscillation when grayscale curve affected by noise

針對由灰度曲線振蕩引起的像素估計深度置信度降低的情況，分析正?；叶惹€與異常灰度曲線可知，當(dāng)灰度曲線大幅振蕩時，其均方根值會比正常情況下呈現(xiàn)單峰趨勢的均方根值大，而聚焦評價曲線保持單峰趨勢，其均方根值幾乎不變。因此，在原有相似度計算公式上再加上聚焦評價曲線與灰度曲線的均方根值之差作為修正項，改善上述情況：

將修正項與相似性度量相加得到最終的置信度計算公式，基于皮爾森相關(guān)系數(shù)和基于余弦相似度的置信度計算公式分別表示為式（6）和式（7）：

使用上述置信度計算公式對圖像中每一個像素進行估計，即可獲得該離焦序列圖像深度估計的置信圖。

2.2 引導(dǎo)濾波

為了獲得更為準(zhǔn)確與連續(xù)的深度圖，將置信圖作為引導(dǎo)圖，通過引導(dǎo)濾波對初始深度圖進行優(yōu)化。作為引導(dǎo)圖的置信圖含有一些深度圖中不存在的額外的結(jié)構(gòu)信息，引導(dǎo)濾波可以將這些結(jié)構(gòu)信息傳輸?shù)匠跏忌疃葓D中，幫助改善初始深度圖中的深度信息［23］。引導(dǎo)濾波［24］是一種根據(jù)局部線性模型原理，參考引導(dǎo)圖像內(nèi)容對輸入圖像進行濾波輸出的算法。它能在充分使用引導(dǎo)圖像變化細節(jié)的同時，保留輸入圖像整體特征，使輸入圖像與輸出圖像的結(jié)構(gòu)相似度更大。

在引導(dǎo)濾波算法中，記引導(dǎo)圖像為G，輸入圖像為P，輸出圖像為Q，則引導(dǎo)圖像I與輸出圖像Q在以k為中心的二維濾波窗口ωk內(nèi)有如下線性關(guān)系：

其中：i為窗口ωk中像素位置索引值；ak、bk為窗口中的2 個線性系數(shù)。求得ak與bk即可獲得濾波結(jié)果，可轉(zhuǎn)化為求這2 個系數(shù)最優(yōu)解的問題，表示為：

其中：Pi為濾波輸入；λ為歸一化因子。使用線性回歸求得公式的解為：

其中：μk與分別表示引導(dǎo)圖G在窗口ωk中的均值與方差表示輸入圖像P在窗口ωk中的均值為窗口ωk中的像素數(shù)。

2.3 聚焦形貌恢復(fù)算法步驟

根據(jù)上述原理設(shè)計相應(yīng)的聚焦形貌恢復(fù)算法，具體步驟如下：

1）使用聚焦評價函數(shù)計算序列圖像I中各個像素點的聚焦評價值：

2）使用基于高斯函數(shù)的最小二乘擬合法對離散的聚焦評價值進行擬合，獲得最大值位置，將其作為像素點的初始深度值D(p)：

3）根據(jù)像素灰度值與聚焦評價值在不同聚焦程度下的變化規(guī)律，使用相似性度量方法計算各個像素點深度估計的置信度，集合所有像素的置信度得到初始深度估計的置信圖。

4）將置信圖作為引導(dǎo)圖對初始深度圖進行引導(dǎo)濾波，使得深度圖更加精確且連續(xù)，最終獲得景物的三維信息。

3 實驗與分析

為了驗證形貌恢復(fù)的精度及有效性，對仿真離焦序列圖像與真實采集離焦序列圖像進行實驗，并將所提方法的結(jié)果與傳統(tǒng)方法、可靠性度量方法［13］（R-measure）、基于相關(guān)性的引導(dǎo)濾波方法［15］（Xcor）進行對比以直觀地驗證改進效果。由于可靠性度量方法會造成深度信息的缺失，因此不對其進行定量的評價指標(biāo)對比。同時，為了驗證所提方法的抗噪性能，對仿真離焦序列圖像加入方差為0.005 的高斯噪聲，得到加噪的仿真離焦序列圖像進行抗噪性驗證。為了控制變量，所有實驗中的聚焦評價算子均使用Tenengrad 算子，最值搜索方法均使用高斯擬合峰值搜索法，仿真數(shù)據(jù)實驗窗口大小為5×5 像素，真實數(shù)據(jù)實驗窗口大小為15×15 像素。

本文實驗環(huán)境為Microsoft Windows 10、Intel Core i7-8550U CPU；運行內(nèi)存為8 GB；使用軟件為MATLAB R2018b。

3.1 性能評價指標(biāo)

在獲得重建結(jié)果后，為了定量地評估形貌恢復(fù)結(jié)果優(yōu)劣，選用均方根誤差（RMSE）和相關(guān)系數(shù)（Corr）進行評估。均方誤差表示為：

其中：M、N分別為圖像水平方向和豎直方向的像素個數(shù)；f(i,j)是深度估計值；g(i,j)是離焦序列圖像真實深度值。相關(guān)系數(shù)表示為：

其中：Fij和分別為深度估計值和深度估計均值；Gij和分別為真實深度值和真實深度均值；相關(guān)系數(shù)取值范圍在0 到1 之間。

3.2 仿真數(shù)據(jù)實驗

實驗將在3 組仿真離焦序列圖像中進行，包括圓錐、正弦和余弦3 種模型。選用2 種主流離焦圖像合成方法生成實驗所用數(shù)據(jù)集，3 種模型的部分仿真離焦序列圖像如圖5 所示，其中，圖5（a）是使用文獻［14］提出的圖像仿真離焦方法對圓錐模型與紋理圖像進行處理生成的仿真離焦序列圖像，圖5（b）和圖5（c）是使用文獻［25］提出的圖像仿真離焦方法合成的仿真離焦序列圖像。序列圖像參數(shù)如表1所示。

表1 仿真離焦序列圖像參數(shù)Table 1 Parameters of simulated defocused sequence images

圖5 部分仿真離焦序列圖像Fig.5 Partial simulated defocused sequence images

對上述序列圖像進行實驗，結(jié)果如圖6 所示，其中，圖6（a）為初始重建結(jié)果，圖6（b）～圖6（e）為使用基于深度圖優(yōu)化的方法的重建結(jié)果，圖6（f）為真實值?？梢钥闯?，經(jīng)過本文方法優(yōu)化后的重建結(jié)果深度變化更為連續(xù)，第2 行展示的正弦的初始重建結(jié)果有著輕微的失真，產(chǎn)生了鋸齒狀的邊緣，而本文提出的優(yōu)化方法改善了這一現(xiàn)象。定量的重建結(jié)果評價指標(biāo)如表2 所示，其中最優(yōu)結(jié)果用加粗字體表示?？梢钥闯觯械姆抡骐x焦序列圖像重建結(jié)果經(jīng)優(yōu)化后Corr 都有提升，且圓錐、正弦和余弦模型的重建結(jié)果評價指標(biāo)中RMSE 都有減少，這說明本文提出的方法能夠有效地提高聚焦形貌恢復(fù)精度。在圓錐模型的重建結(jié)果評價指標(biāo)中，基于余弦相似度的優(yōu)化方法RMSE 值最小，在余弦模型的重建結(jié)果評價指標(biāo)中，使用基于余弦相似度的優(yōu)化方法得到了比使用基于皮爾森相關(guān)系數(shù)的優(yōu)化方法更低的RMSE 值和更高的Corr 值，因此，基于余弦相似度的優(yōu)化方法在具有復(fù)雜深度信息的重建中有著更優(yōu)的性能。

表2 仿真離焦序列圖像重建結(jié)果評價指標(biāo)Table 2 Evaluation indexes of reconstruction results of simulated defocused sequence images

圖6 仿真離焦序列圖像重建結(jié)果Fig.6 Reconstruction results of simulated defocused sequence images

為了驗證所提算法的抗噪性能，對仿真聚焦序列圖像均添加方差為0.005 的高斯噪聲并進行實驗，重建結(jié)果如圖7 所示?？梢钥闯觯釉敕抡骐x焦序列圖像的初始重建結(jié)果存在大量錯誤估計的深度信息，且由于噪聲的干擾，深度變得更加不連續(xù)。圖7（b）～圖7（e）展示了經(jīng)優(yōu)化后的重建結(jié)果，可以看出，本文所提方法相比于初始重建結(jié)果和其他優(yōu)化方法有著更為光滑的表面，錯誤估計的深度信息也被修正過來，深度也變得更為連續(xù)，所提方法的抗噪性能得到了驗證。定量的性能指標(biāo)如表3 所示，其中最優(yōu)結(jié)果用加粗字體表示。可以看出，經(jīng)優(yōu)化后的重建效果有了較明顯的提升，RMSE 均有明顯下降，Corr 有明顯提升，這表示恢復(fù)結(jié)果與真實值之間的誤差在減小的同時，與真實值的相似度也有了提升。在加噪圓錐模型和加噪正弦模型中，基于余弦相似性的優(yōu)化方法以略微的差距取得了更好的恢復(fù)結(jié)果，而在加噪余弦模型中，基于皮爾森相關(guān)系數(shù)的優(yōu)化方法則表現(xiàn)略好。

表3 加噪仿真離焦序列重建結(jié)果性能指標(biāo)Table 3 Evaluation indexes of reconstruction results of noisy simulated defocused sequence images

圖7 加噪仿真離焦序列圖像重建結(jié)果Fig.7 Reconstruction results of noisy simulated defocused sequence images

3.3 真實數(shù)據(jù)實驗

為了評估所提方法在真實場景中的表現(xiàn)，選用CMOS 相機、PK545 步進電機、位移平臺、同軸光源與環(huán)形光源搭建離焦序列圖像采集系統(tǒng)，如圖8所示。

圖8 離焦序列圖像采集系統(tǒng)Fig.8 Defocused sequence images acquisition system

實驗通過步進電機帶動成像系統(tǒng)沿Z軸移動拍攝1 mm 厚度的標(biāo)準(zhǔn)件表面獲得2 組掃描離焦序列圖像。采集的部分離焦圖像如圖9 所示，其中，第1 列為放在傾角為7°的載物臺上的標(biāo)準(zhǔn)件的表面顯微離焦圖像，第2 列為標(biāo)準(zhǔn)件與載物臺形成高度為1 mm 的臺階的顯微離焦圖像。真實離焦序列圖像參數(shù)如表4 所示。

表4 真實離焦序列圖像參數(shù)Table 4 Parameters of real defocused sequence images

圖9 部分真實離焦序列圖像Fig.9 Partial real defocused sequence images

通過實驗對比初始重建結(jié)果、可靠性度量方法、基于相關(guān)性的引導(dǎo)濾波方法、使用皮爾森相關(guān)系數(shù)置信圖的重建結(jié)果和使用余弦相似度置信圖的重建結(jié)果，各離焦序列圖像的三維形貌重建結(jié)果如圖10、圖11 所示。

圖10 真實斜坡離焦序列圖像重建結(jié)果Fig.10 Reconstruction results of real slope defocused sequence images

圖11 真實臺階離焦序列圖像重建結(jié)果Fig.11 Reconstruction results of real step defocused sequence images

從圖10 可以看出：由于噪聲的影響，初始重建結(jié)果中存在大量錯誤估計的深度，斜坡表面深度變化不平滑；R-measure 方法通過可靠性度量剔除了一部分深度估計出錯的點，但仍有遺漏，同時在斜坡表面留下了孔洞，造成了深度信息的缺失；Xcor 方法僅僅根據(jù)曲線間的相關(guān)性對深度圖進行優(yōu)化，沒有考慮噪聲對灰度曲線的影響，導(dǎo)致在灰度曲線受噪聲影響而異常振蕩的情況下優(yōu)化效果變差，邊緣處出現(xiàn)錯誤深度；本文所提方法基于曲線相似度構(gòu)建引導(dǎo)圖，使用引導(dǎo)濾波將其結(jié)構(gòu)信息傳輸?shù)匠跏忌疃葓D中，優(yōu)化重建效果，經(jīng)優(yōu)化后的重建結(jié)果相比于初始深度重建結(jié)果有了較大提升，形貌恢復(fù)結(jié)果中明顯的錯誤深度得到了改善，深度變得更為連續(xù)與明顯，優(yōu)于其他方法。

針對圖11 這類受噪聲影響嚴(yán)重、初始深度圖存在大量錯誤深度信息的圖像，R-measure 方法效果有限，并在上表面留下了孔洞，Xcor 方法在上表面邊緣處出現(xiàn)了明顯錯誤的深度，而使用本文所提方法進行優(yōu)化后則仍能得到較為理想的深度結(jié)果。

將實驗結(jié)果與理想重建深度結(jié)果進行對比，定量的性能指標(biāo)如表5 所示，其中最優(yōu)結(jié)果用加粗字體表示?？梢钥闯觯涸谛逼轮亟ńY(jié)果中，基于皮爾森相關(guān)系數(shù)和基于余弦相似度的重建結(jié)果相較于初始重建結(jié)果在RMSE 指標(biāo)上分別降低了64.8% 和64.9%，在Corr 指標(biāo)上都提升了2.18%；在臺階重建結(jié)果中，基于皮爾森相關(guān)系數(shù)和基于余弦相似度的重建結(jié)果相較于初始重建結(jié)果在RMSE 指標(biāo)上分別降低了47.3% 和49.8%，在Corr指標(biāo)上分別提升了6.35%和6.53%。上述實驗基于余弦相似度的重建結(jié)果均優(yōu)于基于皮爾森相關(guān)系數(shù)的重建結(jié)果。

表5 真實離焦序列重建結(jié)果評價指標(biāo)Table 5 Evaluation indexes of reconstruction results of real defocused sequence images

上述實驗證實所提方法在真實場景應(yīng)用中能夠提升聚焦形貌恢復(fù)的精度，在改善噪聲影響的情況下提升三維重建的準(zhǔn)確度，得到更完整、平滑的物體三維形貌，即使是初始重建結(jié)果較差的情況下，經(jīng)過深度優(yōu)化后，仍能得到較為理想的三維重建結(jié)果。

4 結(jié)束語

本文提出一種基于曲線相似度進行深度圖優(yōu)化的聚焦形貌恢復(fù)方法。利用圖像灰度曲線與聚焦評價曲線隨離焦程度而變化的統(tǒng)一規(guī)律，通過曲線間相似性度量方法評估當(dāng)前像素深度估計的置信度，從而得到整個序列圖像深度估計的置信圖，并將置信圖作為引導(dǎo)圖對初始深度進行優(yōu)化，改善聚焦形貌恢復(fù)效果。該方法直接使用圖像原始信息，避免了傳統(tǒng)方法預(yù)處理過程造成的圖像信息丟失，能夠更好地保留物體原始結(jié)構(gòu)特征。實驗結(jié)果表明，本文方法能夠有效消除噪聲的干擾，提高重建精度，恢復(fù)出完整連續(xù)的物體三維形貌。下一步將對低紋理圖像進行研究，提高低紋理或無紋理物體的重建精度。