融合超像素分割技術的虛擬成像細節重建研究

劉 彪,顧邦軍

(蘇州科技大學新媒體交互設計與應用研究所,江蘇 蘇州 215009)

1 引言

虛擬成像是以全息科技為基礎的高科技成像技術[1],其原理是在獲取到目標物體的全息影像后將其投射于透明介質上[2],產生三維立體觀感,從而提升視覺效果。目前虛擬成像重建技術在眾多領域中均具有優異的表現,各領域科研人員利用虛擬成像重建技術能夠實現信息分析與處理,為生產和生活帶來極大的便利。

針對虛擬圖像的重建問題,當前相關領域的專家也得到了一些較好的研究成果。孫碩等人[3]提出基于面部虛擬整形的三維人臉重建系統。采集目標的多角度圖像,將圖像轉換為點云模型后去噪處理。通過粗匹配拼接正面點云和側面點云并采用精配準方法配準點云,生成三維點云模型并對其網格化處理,引入細分算法提升重建后模型精度,實現復雜虛擬成像重建。劉東生等人[4]提出基于深度相機的大場景三維重建方法。融合深度圖像和彩色圖像作為基礎模型,將輸入RGB-D圖像的幾何誤差和亮度誤差最小化處理用于相機跟蹤,計算相機與子網絡中心的距離。若該距離大于設置閾值,則以體素單元整數倍距離為標準平移子網絡。并基于該網絡跟蹤相機,重建局部場景模型。通過迭代步長法在子網格之間搜索相應表面點,將點間歐式距離和亮度誤差作為約束條件,對全局相機軌跡優化處理,實現復雜虛擬成像重建。薛俊詩等人[5]提出一種基于場景圖分割的混合式多視圖三維重建方法。采用多層次加權核K均值算法分割場景圖并混合重建每個子場景圖建立子模型,構造最佳影像選擇標準。依據穩健三角測量法和迭代優化策略等提升重建精度,合并全部子模型,實現復雜虛擬成像重建。以上方法忽略了對圖像分辨率限制和超像素分割相關問題的解決,導致峰值信噪比和結構相似度仍達不到理想效果。

為此,提出基于VR和小波降噪的復雜虛擬成像重建方法。通過對實景圖像采集和預處理,獲得去噪后的圖像。采用VR技術,將獲取的全息三維影像投射到透明介質,實現對復雜虛擬成像的重建。

2 實景圖像采集和預處理

2.1 最小識別距離確定

在復雜虛擬成像重建時,每個幀點像素分辨率均會對重建效果產生一定的影響,為了保證最終復雜虛擬成像重建質量,需要有效解決圖像分辨率限制問題。重建虛擬成像前需要通過專業攝像機全面采集目標事物的實景圖像,圖像識別距離會直接影響實景圖像分辨率。所提方法以光學原理為依據判定像素識別最小距離,將圖像中掃描到的目標點視為一個光源結構,在兩個目標點,即兩個光源中往往存在一個及以上的艾里斑,當某個艾里斑的中心與另一個艾里斑邊緣重合時,則兩者間具有最大識別距離φ。

將圖像和攝像機之間實際直線距離記作d,光源通過圓形路線直徑記作D,圖像點光源進入攝像機內的實際波長記作λ,則φ計算方式如下所示:

(1)

在實際使用中,攝像機分辨率通常為恒定值,且該值往往高于其它光學衍射分辨率[6],因此,依據式(1)得到最小識別距離后結合該值選取分辨率合適的攝像機有利于提升圖像質量,進而提升最終復雜虛擬成像重建效果。

2.2 多視點圖像采集

結合最小識別距離、攝像機配置標準和目標位置調節攝像機方位和標定,構建成像模型。為提升成像效果,通常采用針孔成像模型[7],成像原理如圖1所示。

圖1 針孔成像模型原理圖

為了重建復雜虛擬成像,需要攝像機采集目標在若干不同角度和方位的多視點圖像作為實景圖像,采集過程中,攝像機和投影平面通過移動實現目標的動態捕捉。

在針孔成像模型中,依據齊次坐標獲取三維空間中任意點Q坐標Q=(x,y,z,1),Q點經映射呈現于圖像平面,對應坐標記作q=(x′,y′,z′),連接該點與投影中心,用ψ代表投影矩陣,則可將映射關系表示為ψq=PQ。

將采集到的全部數據傳輸至計算機,通過單應矩陣計算全部圖像樣本標點改變值[8],引入線性分析處理計算結果,即可得到攝像機和二維圖像平面成像相關參數,主要流程如圖2所示。

圖2 多視點圖像采集流程

圖2中,初始化是對攝像機自身各項參數計算并生成參數閉式解的過程[9];非線性優化是以均值誤差最小為原則,最小化圖像全部目標特征點多次投影標定誤差的過程[10],過程中首先降低迭代梯度,然后引入雅可比矩陣封閉運算對標點參數非線性優化[11],最后將實景圖像信息存儲于計算機相應數據庫中。

2.3 小波降噪

利用SLIC超像素分割技術優化小波降噪方法,將采集到的實景圖像去噪處理。由于設備自身限制和外界環境干擾,采集到的圖像中不可避免會存在部分噪聲,小波降噪法在濾除圖像噪聲的同時能夠有效保護圖像邊緣和細節,為了保證復雜虛擬成像重建質量,所提方法引入小波降噪法去除圖像噪聲[12]。

所提方法引入分割結果緊湊均勻且所需輸入參數較少的SLIC超像素分割技術分割圖像[13],結合實際需求設置分割尺度為M,分割分解尺度為j時各方向上小波系數,生成標簽圖,匯總其中標簽值為k的分割塊中全部像素位置,構建集合u(k),即不規則窗口k,將該窗口中小波系數記作Fu(k),引入軟閾值函數S獲取小波系數Fu(k)的閾值化系數F′u(k),如下所示

(2)

(3)

(4)

通過以上方式,采用SLIC超像素分割技術改進局部自適應小波降噪法,將其用于采集到的圖像降噪之中,經驗證,該方法能夠有效提升圖像質量。

3 成像重建

3.1 坐標獲取

采用VR技術重建三維全息影像[15],確定實景圖像中各幀對應點坐標,選取一個與三個方向坐標軸距離近似的圖像點作為三維空間坐標原點,依據該點搜索實景圖像中全部坐標點與虛擬圖像的坐標點映射,并在同一坐標系中融合實景圖像和虛擬圖像。為了降低重建復雜度,將實景圖像視為虛擬圖像依據一定選擇規則變換生成的矩陣,對比該矩陣和實景圖像信息,將兩者間平移量記作p,描述三維圖像的虛擬值記作v,其橫坐標記作w,坐標系中水平方向、豎直方向和空間方向坐標數值分別記作x、y和z,則v的計算方式如下所示

(5)

依據式(5)可對實景圖像轉換為重建三維全息影像矩陣h加以計算,將參數量轉換為重建三維全息影像矩陣函數記作hm,參數量記作Φ,矩陣定標記作K,則h計算方式如下所示

h=hm(Φ)=K[v|vp]

(6)

3.2 重建深度距離計算

將實景圖像中任意幀點與其在重建后三維全息影像中幀點距離記作l,中心點記作o,實景圖像中某已知坐標點記作s,三維全息影像虛擬坐標記作R,則橫坐標、縱坐標或空間坐標上三維全息影像重建深度距離sd計算方式如下所示

(7)

在式(7)中,若sd為橫坐標上全息影像三維重建深度距離,則R應為實景圖像中已知坐標點空間坐標值;若sd為縱坐標上全息影像三維重建深度距離,則R應為實景圖像中已知坐標點縱坐標值,若sd為空間坐標上全息影像三維重建深度距離,則R應為實景圖像中已知坐標點橫坐標和縱坐標之差。由此可得到全息影像三維重建后每個幀點的正確位置,在重建過程中,由式(7)計算得到實際距離后以該距離為標準連接各幀點,從而生成一個虛擬平面圖像。為了使重建后三維全息圖像具有立體感,需要計算虛擬平面圖像中每個幀點的實際深度L,將虛擬平面圖像中心點在坐標系中水平方向坐標值記作x0,則L的計算公式如下所示

(8)

依據式(8)對虛擬平面圖像中每個幀點的深度值加以計算,從而得到深度一致的立體圖像。

通過以上方法實現全息影像三維重建,最終將得到的全息影像投射至透明介質上,完成復雜虛擬成像重建。

4 實驗與結果

為了驗證基于VR和小波降噪的復雜虛擬成像重建方法整體有效性,需要測試基于VR和小波降噪的復雜虛擬成像重建方法。采用如圖3的房屋模型作為實驗三維模型,分別采用VR和小波降噪方法、深度相機方法和場景圖分割方法對其虛擬成像重建,放大重建后虛擬成像局部細節,效果如圖4所示。

圖3 虛擬成像樣本模型

圖4 位置1超像素分割

圖5 位置2超像素分割

圖6 位置3超像素分割

由圖4～圖7可以看出,VR和小波降噪方法的復雜虛擬成像重建效果優于深度相機方法和場景圖分割方法,圖像清晰度更高,細節更為豐富,而文獻方法均出現一定程度的模糊,喪失部分細節,重建效果不理想。

圖7 位置4超像素分割

為了避免主觀視覺誤差,選取峰值信噪比和結構相似度對復雜虛擬成像重建效果定量分析,峰值信噪比和結構相似度越高,則復雜虛擬成像重建質量越好,假設Nmax代表圖像點像素最大值,MSE代表均方誤差,G和H代表尺寸為m×n的兩幅圖像,(i,j)表示像素值,則峰值信噪比PSNR計算公式如下所示

(9)

假設存在圖像a和圖像b,用ua和ub分別代表兩者均值,σa和σb分別代表兩者方差,σab代表兩者協方差,C1和C2代表兩個相關參數,α代表圖像像素位數,則結構相似度SSIM計算公式如下所示:

(10)

由圖8可以看出,VR和小波降噪方法平均峰值信噪比為25.5dB,平均結構相似度為0.83;深度相機方法的平均峰值信噪比為16.5dB,平均結構相似度為0.65;場景圖分割方法平均峰值信噪比為19dB,平均結構相似度為0.56;根據本次測試所得數據可知,研究方法的峰值信噪比和結構相似度指標平均值高于另外兩種方法。

圖8 指標測試結果

5 結束語

提出基于VR和小波降噪的復雜虛擬成像重建方法,結合最小識別距離、攝像機配置標準和目標位置確定攝像機方位和標定,采集多視點圖像,通過改進的小波降噪法去噪圖像,引入VR技術獲取全息三維影像重建點坐標和深度距離,將得到的全息影像投射至透明介質上,實現復雜虛擬成像重建。該方法能夠有效地提高峰值信噪比和結構相似度、縮短運算時間,為促進復雜虛擬成像技術發展奠定基礎。