基于雙目圖像的復(fù)雜視頻場(chǎng)景虛擬重建仿真

袁 紅，李 瑾，黃 婧

(西南醫(yī)科大學(xué)醫(yī)學(xué)信息與工程學(xué)院，四川 瀘州 646000)

1 引言

當(dāng)前，信息獲取技術(shù)與處理技術(shù)發(fā)展迅速，如何利用計(jì)算機(jī)技術(shù)對(duì)虛擬和現(xiàn)實(shí)世界高度融合，已經(jīng)成為非常重要的研究課題。但是融合的對(duì)象的復(fù)雜程度越來越高，使建模技術(shù)在計(jì)算效率與交互的自然性面臨了較大的挑戰(zhàn)。視頻圖像的重建多為超分辨率重建，其過程即為從低分辨率圖像或視頻序列中得到高分辨率圖像的過程。視頻圖像重建技術(shù)在醫(yī)學(xué)、航空和電子監(jiān)控等眾多領(lǐng)域均有廣泛應(yīng)用。當(dāng)前，最新一代的超高清視頻已經(jīng)日漸普及，其視頻像素高達(dá)3840×2048，但是，多數(shù)的視頻圖像內(nèi)容在采集、傳送以及存儲(chǔ)中面臨一些難點(diǎn)問題。因此，需要視頻重建算法從全高清視頻(1920×1080)或更低分辨率的視頻中生成超高清內(nèi)容。在這種背景下，較多學(xué)者均開展了關(guān)于視頻場(chǎng)景重建方法的研究。

在視頻圖像技術(shù)研究相關(guān)領(lǐng)域，一些國(guó)內(nèi)外學(xué)者已經(jīng)得到了一些較好的研究成果。文獻(xiàn)[1]研究了基于深度相機(jī)的大場(chǎng)景三維重建方法，該方法主要對(duì)圖像的幾何誤差與亮度誤差進(jìn)行了估計(jì)，對(duì)局部場(chǎng)景模型進(jìn)行重建，并尋找所有的對(duì)應(yīng)表面點(diǎn)，實(shí)現(xiàn)虛擬重建；文獻(xiàn)[2]研究了雙視系統(tǒng)的室內(nèi)三維場(chǎng)景重建方法，該方法利用了場(chǎng)景的點(diǎn)云信息，進(jìn)行點(diǎn)云配準(zhǔn)，實(shí)現(xiàn)三維重建。文獻(xiàn)[3]利用多圖形處理單元(multi-GPU)和三個(gè)空間光調(diào)制器(SLMs)分別對(duì)紅、綠、藍(lán)(RGB)色重建，利用彩色電全息系統(tǒng)實(shí)現(xiàn)了實(shí)時(shí)三維彩色視頻。在多GPU集群中包含GPU的CGH顯示節(jié)點(diǎn)，用于在SLMs上顯示。4個(gè)CGH計(jì)算節(jié)點(diǎn)使用12個(gè)GPU。CGH計(jì)算節(jié)點(diǎn)中的gpu通過管道處理生成3d彩色視頻中RGB重建光對(duì)應(yīng)的CGH。實(shí)時(shí)彩色電全息技術(shù)實(shí)現(xiàn)了由每種顏色約21000個(gè)點(diǎn)組成的三維彩色物體。文獻(xiàn)[4]采用三維(3D)視頻重建系統(tǒng)重建了電子全息真實(shí)視頻場(chǎng)景。利用RGB-D攝像機(jī)獲得的3D信息計(jì)算生成的全息圖。并驗(yàn)證了所提方法以每秒約14幀的速度運(yùn)行。通過改變RGB-D攝像機(jī)和人之間的距離來改變?cè)诂F(xiàn)實(shí)空間中移動(dòng)物體數(shù)量，并評(píng)估了三維(3D)視頻重建系統(tǒng)的性能。雖然上述方法能夠?qū)崿F(xiàn)虛擬重建，但是均存在重建后誤差較大問題。

為此設(shè)計(jì)基于雙目圖像的復(fù)雜視頻場(chǎng)景虛擬重建方法。實(shí)驗(yàn)結(jié)果表明，所研究的重建方法有效提高了重建準(zhǔn)確度，解決了傳統(tǒng)方法的不足。

2 雙目視覺攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定是對(duì)復(fù)雜視頻場(chǎng)景虛擬重建的首要步驟，可獲得攝像機(jī)中的內(nèi)部參數(shù)A與外部參數(shù)R，將其表示為

(1)

(2)

式(1)與式(2)中，αx、αy分別代表圖像坐標(biāo)系的尺度因子，γ代表攝像機(jī)的焦距，u0代表光學(xué)中心，r1～r9代表畸變參數(shù)。

利用上述過程獲得外部參數(shù)與內(nèi)部參數(shù)，依據(jù)上述參數(shù)建立成像模型，成像過程主要與三個(gè)坐標(biāo)系相關(guān)。

第一，成像平面坐標(biāo)系[5]，該坐標(biāo)主要利用攝像機(jī)的成像平面參數(shù)建立起的二維平面坐標(biāo)系，將其表示為

(3)

式(3)中，μx、μy代表像素點(diǎn)的物理尺寸，yctgθ代表任意像素點(diǎn)，v0代表坐標(biāo)轉(zhuǎn)變參數(shù)。

第二，攝像機(jī)坐標(biāo)系，將其表達(dá)為

(4)

式(4)中，Xc、Yc、Zc、1代表攝像機(jī)坐標(biāo)參數(shù)，x、y、1代表成像的平面坐標(biāo)參數(shù)。

第三，世界坐標(biāo)系，將世界坐標(biāo)系利用齊次坐標(biāo)表示，將其記作

(5)

式(5)中，A代表攝像機(jī)的內(nèi)部參數(shù)矩陣，主要代表攝像機(jī)的內(nèi)部特征參數(shù)，R、T代表攝像機(jī)的外矩陣參數(shù)，Xw、Yw、Zw代表轉(zhuǎn)換后的坐標(biāo)參數(shù)。

3 基于顏色和紋理的重建區(qū)域立體匹配

在此基礎(chǔ)上，立體匹配重建區(qū)域，其目的在于在重建場(chǎng)景中尋找到匹配點(diǎn)。選取復(fù)雜視頻場(chǎng)景中的匹配單元，匹配單元能夠?qū)D像特征基元匹配，為匹配區(qū)域中更多元素，采用顏色與紋理的方式進(jìn)行匹配。原因?yàn)閭鹘y(tǒng)的匹配方法雖然能夠描述鄰域的特征，但是存在匹配誤差大的問題，而顏色與紋理匹配算法能夠?qū)D像匹配的支持區(qū)域合理提取，并能夠?qū)χ亟▍^(qū)域內(nèi)的紋理與顏色相似度計(jì)算，得到相應(yīng)的支持區(qū)域。

在視頻場(chǎng)景中，由較多的點(diǎn)、線與區(qū)域等基元組成，這些特征以很多形式存在，為提高匹配的準(zhǔn)確性，首先確定初始的支持區(qū)域[6-9]，假設(shè)該匹配場(chǎng)景中共有n個(gè)顏色標(biāo)簽，將圖像中元素位置均值表示為

(6)

式(6)中，p代表像素點(diǎn)，z代表集合中的一個(gè)元素。

由于復(fù)雜視頻場(chǎng)景中存在較多的關(guān)鍵幀，為了降低重建的復(fù)雜度，需要對(duì)一些冗余的關(guān)鍵幀去除。在實(shí)際的重建過程匯總，若一個(gè)關(guān)鍵幀的大多數(shù)特征已經(jīng)被其它的關(guān)鍵幀跟蹤到，則將這個(gè)關(guān)鍵幀剔除。

然后，對(duì)區(qū)域的顏色特征描述，將其表達(dá)為

(7)

式(7)中，N代表待重建區(qū)域內(nèi)所有像素的數(shù)量，ni代表第i個(gè)顏色標(biāo)簽。

再次，判斷兩個(gè)區(qū)域內(nèi)的相似度，將其表達(dá)為

(8)

最后對(duì)特征點(diǎn)匹配，利用勻速運(yùn)動(dòng)模型對(duì)當(dāng)前幀的初始位姿進(jìn)行估計(jì)[10-12]，其估計(jì)流程如圖1所示。

圖1 位姿估計(jì)流程

Tc=VTl

(9)

式(9)中，V代表圖像點(diǎn)的速度參數(shù)，Tl代表當(dāng)前幀的位姿參數(shù)。

在此基礎(chǔ)上，對(duì)特征點(diǎn)與投影點(diǎn)的目標(biāo)函數(shù)計(jì)算

(10)

式(10)中，RXi代表特征點(diǎn)的平移向量，t代表匹配時(shí)間，xi代表當(dāng)前幀圖像的特征點(diǎn)，ρ代表投影參數(shù)。

基于上述過程對(duì)重建區(qū)域立體匹配，通過匹配能夠?qū)Τ跏嫉囊暡钸M(jìn)行校準(zhǔn)，能夠提高重建精度。

4 基于雙目圖像的三維重建

利用上述匹配過程得到的匹配點(diǎn)，依據(jù)得到的匹配點(diǎn)對(duì)復(fù)雜視頻場(chǎng)景虛擬重建。由于在實(shí)際的視頻拍攝時(shí)，會(huì)為了減少圖像遮擋問題導(dǎo)致圖像的傾斜角過大，從而難免存在誤差，為此通過匹配，找到兩個(gè)點(diǎn)，根據(jù)點(diǎn)的位置，與空間點(diǎn)建立聯(lián)系。假設(shè)圖像的匹配點(diǎn)為pi，圖像像素的坐標(biāo)為(ul，vl)，按照成像的比例關(guān)系將匹配關(guān)系推導(dǎo)為

(11)

式(11)中，xi、yi、zi代表復(fù)雜場(chǎng)景下的三維空間坐標(biāo)，fx、fy代表像素點(diǎn)的坐標(biāo)。

在此基礎(chǔ)上，對(duì)復(fù)雜視頻場(chǎng)景的圖像進(jìn)行極線校準(zhǔn)，將匹配點(diǎn)設(shè)置在同一行中，將其表示為

(12)

由于顯示中存在的噪聲情況較多，導(dǎo)致有一些曲線不能完全相交，為此需要對(duì)交點(diǎn)進(jìn)一步估計(jì)，表達(dá)式為

(13)

式(13)中，Di代表最佳估計(jì)參數(shù)。

經(jīng)過上述匹配后，能夠獲得復(fù)雜場(chǎng)景中對(duì)象的深度信息以及像素點(diǎn)之間對(duì)應(yīng)的關(guān)系，從而對(duì)復(fù)雜視頻場(chǎng)景虛擬重建，重建過程如圖2。

圖2 重建過程

圖2為虛擬場(chǎng)景重建過程，主要是將上述獲得的匹配像素點(diǎn)匹配到目標(biāo)圖像中，并選取重建控制點(diǎn)，將控制點(diǎn)加入到重建中，以此完成復(fù)雜視頻場(chǎng)景虛擬重建。

其中控制點(diǎn)的計(jì)算過程如下所示

(14)

式(14)中，(dp，dq)代表控制點(diǎn)，s代表匹配點(diǎn)。

5 實(shí)驗(yàn)對(duì)比

為驗(yàn)證設(shè)計(jì)的基于雙目圖像的復(fù)雜視頻場(chǎng)景虛擬重建方法在實(shí)際中的應(yīng)用效果，進(jìn)行實(shí)驗(yàn)，并將文獻(xiàn)1方法與文獻(xiàn)2方法與其對(duì)比，對(duì)比三種方法的重建效果。

在實(shí)驗(yàn)之前，預(yù)先對(duì)視頻拍攝，實(shí)驗(yàn)中應(yīng)用到的攝像機(jī)的參數(shù)如下表1所示：

表1 攝像機(jī)的具體參數(shù)

實(shí)驗(yàn)中，三種重建方法均采用上述攝像機(jī)進(jìn)行拍攝視頻，以保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性。

5.1 相對(duì)位姿誤差對(duì)比

分別采用傳統(tǒng)兩種方法與所研究的方法對(duì)視頻場(chǎng)景重建，對(duì)比在重建過程中的相對(duì)位姿誤差，其對(duì)比結(jié)果如下表2：

表2 相對(duì)位姿誤差對(duì)比

根據(jù)表2可知，此次研究的重建方法在重建過程中相對(duì)位姿誤差較小，原因是所研究的重建方法能夠有效提取視頻圖像中的特征數(shù)量。而傳統(tǒng)的兩種重建方法，在重建過程中，相對(duì)位姿誤差則高于所研究的方法，原因是傳統(tǒng)方法受到視頻圖像紋理的影響較大，在線段特征的匹配上誤差較大，從而增加了重建過程中的相對(duì)位姿誤差。

5.2 場(chǎng)景特征點(diǎn)匹配結(jié)果對(duì)比

圖3為三種方法的場(chǎng)景特征點(diǎn)匹配準(zhǔn)確度的對(duì)比結(jié)果。

圖3 場(chǎng)景特征點(diǎn)匹配準(zhǔn)確性對(duì)比

通過分析圖3發(fā)現(xiàn)，文獻(xiàn)[1]方法的特征點(diǎn)匹配準(zhǔn)確性最低。原因是復(fù)雜視頻中存在運(yùn)動(dòng)模糊圖像，該方法不能進(jìn)行有效的篩選與匹配。文獻(xiàn)[2]方法的重建方法特征點(diǎn)匹配準(zhǔn)確度雖高于文獻(xiàn)[1]方法，但是仍然達(dá)不到該領(lǐng)域的應(yīng)用要求。相比之下，所研究方法特征點(diǎn)匹配準(zhǔn)確度最高。這主要是因?yàn)榇舜窝芯康姆椒A(yù)先對(duì)場(chǎng)景特征點(diǎn)匹配處理，然后采用了雙目視覺方法實(shí)現(xiàn)了虛擬重建，從而降低了特征點(diǎn)匹配的誤差。

5.3 重建時(shí)間對(duì)比

對(duì)比傳統(tǒng)兩種重建方法與所研究方法的視頻場(chǎng)景重建時(shí)間，如下表3所示：

表3 重建時(shí)間對(duì)比

依據(jù)表3可知，傳統(tǒng)兩種重建方法的重建時(shí)間較長(zhǎng)，在重建過程中會(huì)受到視頻復(fù)雜度的影響，當(dāng)相機(jī)運(yùn)動(dòng)速度過快與圖像特征點(diǎn)過多時(shí)，都會(huì)增加重建的時(shí)間。而所研究的重建方法重建時(shí)間少于傳統(tǒng)兩種方法，原因是所研究的重建方法能夠及時(shí)對(duì)產(chǎn)生的新信息處理并且重建過程中，采用了關(guān)鍵幀的方法對(duì)圖像重建，并設(shè)計(jì)了控制點(diǎn)，減少了重建過程中的冗余性，因而提高了重建效果。

6 結(jié)束語

綜上所述，完成基于雙目圖像的復(fù)雜視頻場(chǎng)景虛擬重建方法的設(shè)計(jì).實(shí)驗(yàn)結(jié)果表明，所研究的方法較傳統(tǒng)方法重建精度更好，時(shí)間更短。本研究方法的主要工作有以下兩個(gè)方面：

第一，研究了位姿估計(jì)方法，克服了傳統(tǒng)方法內(nèi)外參數(shù)估計(jì)恢復(fù)時(shí)的誤差問題，有效提高了重建的效率；

第二，設(shè)計(jì)了復(fù)雜視頻場(chǎng)景的圖像極線校準(zhǔn)方法，減少匹配點(diǎn)的誤匹配現(xiàn)象，希望所研究的重建仿真方法能夠?yàn)橄嚓P(guān)的領(lǐng)域提供幫助。

當(dāng)前需要虛擬重建的視頻場(chǎng)景越來越多，為此在后續(xù)研究中還需要對(duì)視頻的動(dòng)態(tài)性與復(fù)雜性進(jìn)行分析，不斷優(yōu)化所研究的重建方法，以更好地提高場(chǎng)景重建效果。