復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像三維重建

王佳欣， 竇小磊

（河南工程學(xué)院計(jì)算機(jī)學(xué)院， 鄭州 451191）

0 引 言

隨著計(jì)算機(jī)視覺成像技術(shù)的發(fā)展，通過(guò)對(duì)不同光場(chǎng)環(huán)境的視覺信息跟蹤識(shí)別和圖像重建實(shí)現(xiàn)對(duì)復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像采集和三維重建，結(jié)合對(duì)多維光場(chǎng)的圖像視覺融合處理和三維特征重構(gòu)，提取圖像的亞像素特征點(diǎn)，通過(guò)機(jī)器學(xué)習(xí)和圖像濾波檢測(cè)算法實(shí)現(xiàn)對(duì)復(fù)雜光場(chǎng)環(huán)境下多重聚焦圖像重建識(shí)別，提高圖像的成像精度，相關(guān)復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像三維重建方法研究在圖像視覺跟蹤識(shí)別、遙感監(jiān)測(cè)等領(lǐng)域都具有很好的應(yīng)用價(jià)值［1］。

對(duì)圖像的三維重建、特別是對(duì)復(fù)雜光場(chǎng)環(huán)境下成型的圖像三維重建是建立在對(duì)圖像的降噪濾波和特征提取基礎(chǔ)上［2］，結(jié)合對(duì)四維光場(chǎng)的極平面圖像特征檢測(cè)和自適應(yīng)跟蹤識(shí)別，采用Harris 角點(diǎn)檢測(cè)技術(shù)［3］，通過(guò)視差線索跟蹤識(shí)別，實(shí)現(xiàn)對(duì)深度圖像檢測(cè)和識(shí)別，文獻(xiàn)［4］中提出基于LYTRO 相機(jī)光場(chǎng)圖像深度估計(jì)算法及重建技術(shù)，通過(guò)殘差視覺跟蹤方法，結(jié)合對(duì)子孔徑圖像亞像素偏移修正實(shí)現(xiàn)對(duì)圖像的光場(chǎng)特征提取和濾波處理，提高圖像的動(dòng)態(tài)識(shí)別能力，但該方法對(duì)復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像三維重建的動(dòng)態(tài)識(shí)別性能不好。 文獻(xiàn)［5］中提出基于空譜協(xié)同多尺度頂點(diǎn)成分分析的高光譜影像端元提取方法，通過(guò)2 個(gè)端元間的光譜角，確定特征檢測(cè)，結(jié)合集合約束的動(dòng)態(tài)檢測(cè)實(shí)現(xiàn)動(dòng)態(tài)檢測(cè)重建，但該方法對(duì)高光譜圖像的點(diǎn)云數(shù)據(jù)重建效果不好。

針對(duì)上述問(wèn)題，本文提出基于亞像素特征偏移修正的復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像三維重建方法。 首先采用深度引導(dǎo)濾波方法實(shí)現(xiàn)對(duì)圖像的邊緣保持修正和濾波處理，然后結(jié)合亞像素特征偏移修正方法實(shí)現(xiàn)對(duì)復(fù)雜光場(chǎng)環(huán)境采樣圖像的像素偏移特征點(diǎn)修正，考慮像素空間差異和強(qiáng)度差異，根據(jù)光強(qiáng)糾正結(jié)果實(shí)現(xiàn)對(duì)圖像的三維重建和特征配準(zhǔn)。 最后進(jìn)行實(shí)驗(yàn)測(cè)試分析，展示了本文方法在提高多重聚焦深度圖像三維重建視覺效果方面的優(yōu)越性能。

1 圖像邊緣保持修正和濾波

1.1 多重聚焦深度圖像邊緣保持修正

為了實(shí)現(xiàn)對(duì)復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像的三維重建，首先構(gòu)建圖像采集和融合模型，在不同的光場(chǎng)相機(jī)下通過(guò)構(gòu)建復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像的雙邊濾波降噪模型，采用深度置信度測(cè)量的方法實(shí)現(xiàn)對(duì)復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像的三維深度立體匹配，給出面向?qū)ο笥跋穹治鎏卣鞅孀R(shí)參數(shù)分布集，結(jié)合圖像的結(jié)構(gòu)信息和紋理信息分布，采用基于塊的修復(fù)方法實(shí)現(xiàn)圖模型參數(shù)匹配，通過(guò)傳感器像素集特征分布式組合控制，采用幾何校正和圖像融合處理相結(jié)合的方法［6］，結(jié)合深度引導(dǎo)濾波方法實(shí)現(xiàn)對(duì)圖像的邊緣保持修正和濾波處理，實(shí)現(xiàn)圖像三維重建，實(shí)現(xiàn)流程如圖1 所示。

圖1 圖像三維重建實(shí)現(xiàn)流程Fig. 1 Implementation flow of image 3D reconstruction

結(jié)合圖1 中的圖像三維重建實(shí)現(xiàn)結(jié)構(gòu)流程，根據(jù)多重聚焦深度圖像在空間域偏移特征分布，采用融合空間信息的端元特征提取方法提取圖像的譜特征點(diǎn)，采用低分辨視覺檢測(cè)技術(shù)，得到原始的多重聚焦深度圖像的像素分布函數(shù)：

其中，αi和αi*是表示復(fù)雜光場(chǎng)環(huán)境下多重聚焦的深度項(xiàng)及卷積特征；K（xi，xj） 是成像設(shè)備采集到的深度圖像的邊緣分布核函數(shù)；b表示暗通道先驗(yàn)邊緣像素分布區(qū)域y中的視覺連通度水平。 通過(guò)結(jié)構(gòu)模板圖像和較大搜索區(qū)域的連續(xù)塊匹配處理，得到復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像的時(shí)序邏輯分量表示為P＝ {1，…，P} 。 提取復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像的邊緣特征分布集，通過(guò)空譜得模糊集函數(shù)為：

其中，r為已知像素值的平均值；A是多重聚焦深度圖像模糊降噪聚合參數(shù)；Rin為特征圖分離系數(shù)；e-ikr為已知像素的位置相對(duì)應(yīng)指數(shù)增益。 采用全局特性和局部細(xì)節(jié)特征重組，得到圖像的邊界模糊集分配函數(shù)為：

式（3）表示結(jié)構(gòu)連續(xù)塊的聚合度，基于光照-反射模型分析，采用高光譜與多光譜圖像組合控制，結(jié)合SV 色彩組合，建立多重聚焦深度圖像邊緣保持修正模型［7］。

1.2 圖像引導(dǎo)濾波

采用場(chǎng)景深度估計(jì)方法，得到復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像圖片各元素的特征匹配集為B0，根據(jù)場(chǎng)景深度檢測(cè)［8］，得到圖像的邊緣信息熵平均值表示為：

其中，Rm(r，i) 為qj處像素的深度值，i下標(biāo)為邊緣模糊和紋理特征點(diǎn)。 在采樣深度圖和給定的低分辨率分布集中：

其中，表示彌補(bǔ)像素級(jí)損失的動(dòng)態(tài)參數(shù)；s表示綜合半方差分布鄰域；gj（） 表示第j個(gè)像素點(diǎn)中復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像虛擬細(xì)節(jié)信息；l表示屬性空間分割特征值；hj（） 表示最佳屬性參數(shù)跳變值；p為子圖像的子空間降噪特征分配系數(shù)。通過(guò)灰度動(dòng)態(tài)調(diào)節(jié)的方法進(jìn)行多重聚焦深度圖像的濾波處理，得到濾波函數(shù)為：

其中，t為圖像的特征匹配權(quán)重；BER為圖像降噪濾波的特征分辨率；xk表示目標(biāo)圖像采集時(shí)間間隔；yk為模糊隸屬度。 由此，采用融合空間信息的端元特征提取方法提取圖像的譜特征點(diǎn)，結(jié)合亞像素特征偏移修正方法進(jìn)行圖像三維重建處理。

2 圖像三維重建優(yōu)化

2.1 圖像亞像素特征偏移修正

采用自相似性數(shù)據(jù)立方體的提取方法，得到復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像三維虛擬重建的擬合梯度函數(shù)，采用目標(biāo)分塊特征匹配和模板匹配方法［9］，得到先驗(yàn)樣本塊的優(yōu)先權(quán)分布函數(shù)為：

其中，t為圖像的空間映射時(shí)間點(diǎn)；f（k，N）為所有格點(diǎn)的系數(shù)；s為復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像的干擾因子；avg為復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像干擾噪聲的均值。 設(shè)計(jì)聯(lián)合雙邊濾波器，表示為：

其中，為三維擬合重建后圖像方向信息特征點(diǎn)的加權(quán)映射序列；為高置信度像素的邊界頻點(diǎn)；Tj為波段圖像合成的偽彩色頻偏因子。 通過(guò)復(fù)雜光場(chǎng)環(huán)境下多重聚焦融合處理，得到深度學(xué)習(xí)的動(dòng)態(tài)分配模糊度函數(shù)H（f）：

其中，τ0為場(chǎng)景深度估計(jì)的門限因子，ωd為門限因子。 采用圖像亞像素特征偏移修正的方法，得到全局對(duì)比度融合圖像輸出：

其中，avgdl表示顏色和亮度信息的均值；fsearch表示預(yù)測(cè)圖與參考圖之間的動(dòng)態(tài)辨識(shí)尋優(yōu)參數(shù)；n為前置門限；d為第i個(gè)濾波器窗口的加權(quán)函數(shù)；l為分虛擬重建的特征濾波參數(shù)。 根據(jù)圖像亞像素特征偏移修正結(jié)果，實(shí)現(xiàn)對(duì)復(fù)雜光場(chǎng)環(huán)境采樣圖像的像素偏移特征點(diǎn)修正，考慮像素空間差異和強(qiáng)度差異，構(gòu)建圖像的三維立體重建模型［10］。

2.2 圖像的特征配準(zhǔn)及三維重建

考慮像素空間差異和強(qiáng)度差異，根據(jù)光強(qiáng)糾正結(jié)果實(shí)現(xiàn)對(duì)圖像的三維重建和特征配準(zhǔn)處理，通過(guò)灰度動(dòng)態(tài)調(diào)節(jié)的方法構(gòu)造不同種類圖像的自動(dòng)增強(qiáng)和三維重構(gòu)模型，得到qj處像素的深度值為：

其中，Eint（vi） 表示復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像的邊緣模糊度尋優(yōu)參數(shù)；Eext（vi） 表示圖像的像素增強(qiáng)目標(biāo)匹配系數(shù)；N表示分割斑塊的樣本數(shù)。 采用采樣深度圖融合的方法，結(jié)合波段圖像合成的偽彩色圖像重構(gòu)結(jié)果，通過(guò)增強(qiáng)輻射度的方法進(jìn)行復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像的視覺傳達(dá)跟蹤擬合，得到圖像三維重建的邊緣細(xì)節(jié)特征檢測(cè)結(jié)果為：

其中，a表示線性增強(qiáng)的圖像景深維度，照明不足或亮度分布不均下，提取深度修復(fù)的局部采樣放大圖，得到圖像三維重建輸出為：

其中，g（x，y） 為空間信息約束的光譜波段；（x，y） 為圖像的線性混合模板參數(shù)；t為采樣點(diǎn)。綜上分析，結(jié)合像元集合特征重組的方法，根據(jù)光強(qiáng)糾正結(jié)果實(shí)現(xiàn)對(duì)圖像的三維重建和特征配準(zhǔn)。

3 仿真測(cè)試與結(jié)果分析

為了驗(yàn)證本文方法在實(shí)現(xiàn)多重聚焦深度圖像三維重建上的性能，采用USGS 圖像作為學(xué)習(xí)訓(xùn)練庫(kù)，結(jié)合Matlab 仿真工具進(jìn)行仿真實(shí)驗(yàn)，圖像采集中干擾為零均值高斯噪聲，噪聲強(qiáng)度為-12 dB，圖像的標(biāo)準(zhǔn)訓(xùn)練集個(gè)數(shù)為1 200，測(cè)試集為500，特征動(dòng)態(tài)分辨率為32 m，模板匹配系數(shù)為0.72，各個(gè)波段的圖像模型分布參數(shù)見表1。

表1 各個(gè)波段的圖像模型分布參數(shù)Tab. 1 Image model distribution parameters of each band

根據(jù)上述仿真參數(shù)設(shè)定，進(jìn)行圖像三維重建的仿真實(shí)驗(yàn)，給出原始圖像如圖2 所示。

圖2 原始圖像Fig. 2 Original image

圖2 的圖像受到采集環(huán)境的光場(chǎng)環(huán)境突變等因素影響，導(dǎo)致圖像的成像效果不好，采用本文方法對(duì)圖像進(jìn)行多重融合和重建，對(duì)目標(biāo)圖像進(jìn)行深度渲染和映射處理，得到網(wǎng)格映射結(jié)果如圖3 所示。

圖3 圖像網(wǎng)格映射結(jié)果Fig. 3 Image grid mapping results

根據(jù)圖3 對(duì)圖像的網(wǎng)格映射結(jié)果，進(jìn)行圖像的邊緣校正處理，得到校正結(jié)果如圖4 所示。

圖4 圖像校正Fig. 4 Image correction

在對(duì)圖像校正的基礎(chǔ)上，根據(jù)光強(qiáng)糾正結(jié)果實(shí)現(xiàn)對(duì)圖像的三維重建和特征配準(zhǔn)，得到目標(biāo)深度圖像如圖5 所示。

圖5 目標(biāo)深度圖像Fig. 5 Target depth image

基于VC＋＋的OpenGL，考慮像素空間差異和強(qiáng)度差異，根據(jù)光強(qiáng)糾正結(jié)果實(shí)現(xiàn)對(duì)圖像的三維重建和特征配準(zhǔn)，得到三維重建輸出如圖6 所示。

圖6 圖像三維重建輸出Fig. 6 Three-dimensional reconstruction output of the image

分析上述仿真結(jié)果得知，本文方法能有效實(shí)現(xiàn)對(duì)復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像三維重建， 得到較為精細(xì)的重建結(jié)果，光場(chǎng)偏移修正能力較好。測(cè)試重建精度，得到對(duì)比結(jié)果如圖7 所示。 分析圖7 得知，本文方法對(duì)圖像重建的精度更高。

圖7 重建精度對(duì)比測(cè)試Fig. 7 Comparison test of reconstruction accuracy

4 結(jié)束語(yǔ)

通過(guò)機(jī)器學(xué)習(xí)和圖像濾波檢測(cè)算法實(shí)現(xiàn)對(duì)復(fù)雜光場(chǎng)環(huán)境下多重聚焦圖像重建識(shí)別，提高圖像的成像精度，本文提出基于亞像素特征偏移修正的復(fù)雜光場(chǎng)環(huán)境下多重聚焦深度圖像三維重建方法。 采用基于塊的修復(fù)方法實(shí)現(xiàn)圖模型參數(shù)匹配，考慮像素空間差異和強(qiáng)度差異，根據(jù)光強(qiáng)糾正結(jié)果實(shí)現(xiàn)對(duì)圖像的三維重建和特征配準(zhǔn)處理。 分析得知，本文方法對(duì)多重聚焦深度圖像三維重建的精度更高，特征匹配能力較強(qiáng)，重建視覺效果較好。