基于VR技術(shù)的全景視頻運動目標(biāo)精確追蹤

徐建偉

（中海油信息科技有限公司湛江分公司，廣東 湛江 524000）

隨著虛擬現(xiàn)實（Virtual Reality，VR）技術(shù)的不斷發(fā)展，VR 技術(shù)已應(yīng)用于教育、醫(yī)療以及交通等領(lǐng)域[1-2]。在視景仿真方面，VR 技術(shù)能夠?qū)θ耙曨l區(qū)域進(jìn)行重構(gòu)，在此基礎(chǔ)上對運動目標(biāo)進(jìn)行精確追蹤和識別，提高對全景視頻視覺信息的識別能力，因此研究VR 全景視頻運動目標(biāo)追蹤對提高視頻成像的清晰度和運動目標(biāo)識別的準(zhǔn)確性具有十分重要的意義[3]。

VR 全景視頻技術(shù)快速發(fā)展。為了提高體育教學(xué)的樂趣，蘭青等[4]將VR 全景視頻技術(shù)應(yīng)用于體育教學(xué)實踐中，使體育教學(xué)具有創(chuàng)造性，給學(xué)生帶來了良好的交互式體驗。韓圣千等[5]利用VR 全景視頻技術(shù)對時空切片的傳輸流量進(jìn)行建模，提出了一種基于VR 技術(shù)的全景視頻嵌套優(yōu)化方法，采用實際算例進(jìn)行仿真分析，驗證了該方法的可靠性和實用性。任靖娟等[6]采用Canny 算子處理圖片邊緣信息，并利用角點匹配進(jìn)行全景視頻拼接，提出了一種基于VR 全景視頻的目標(biāo)可視化仿真模型，仿真結(jié)果驗證了該模型能夠廣泛應(yīng)用于多種場景。目前，VR 全景視頻技術(shù)在目標(biāo)追蹤方面的應(yīng)用較少，如何實現(xiàn)全景視頻運動目標(biāo)精確追蹤還有待進(jìn)一步研究。

1 VR 技術(shù)

1.1 VR 的基本概念

VR 技術(shù)是集多媒體、計算機(jī)、圖像處理、仿真和電子等多種技術(shù)于一體的新技術(shù)[7]。它由實體虛擬、虛擬現(xiàn)實和相對復(fù)雜的計算處理組合而成，屬于計算機(jī)模擬系統(tǒng)，利用計算機(jī)建模構(gòu)造與現(xiàn)實世界基本相同的虛擬場景。VR 技術(shù)具有4 個基本要素：1） 基本模型。基本模型是將現(xiàn)實場景虛擬化的基礎(chǔ)元素之一，利用建模將現(xiàn)實世界虛擬化，并保留其物理屬性。2） 空間定位。根據(jù)體驗者佩戴的工具定位他的實際位移情況，利用傳感器傳輸信息，系統(tǒng)界面接收信息后及時進(jìn)行反饋。3） 聲音跟蹤。利用傳感器接收聲音并確定聲源位置及其傳播方向，從而提高交互性。4） 視覺追蹤。視覺追蹤是將現(xiàn)實場景虛擬化的核心元素，跟隨體驗者的視覺移動呈現(xiàn)相應(yīng)的畫面，該技術(shù)主要是通過投影來實現(xiàn)的，根據(jù)時間和地點投影不同的畫面，從而確定追蹤對象的位置和方向。

1.2 VR 全景技術(shù)的特點

VR 全景技術(shù)具有以下3 個特點：1） 沉浸性。體驗者處在虛擬場景中，可以觀察周圍環(huán)境，其注意力容易被周圍環(huán)境吸引，從而拉近體驗者與虛擬場景之間的心理距離。VR全景技術(shù)通過刺激體驗者的感知，使體驗者產(chǎn)生共鳴，體驗者在虛擬場景獲得更強的視覺沖擊力后，產(chǎn)生身臨其境的感覺，從而獲得沉浸性的體驗。2） 真實性。VR 全景技術(shù)通過虛擬場景對現(xiàn)實畫面進(jìn)行還原，體驗者可以從任何角度觀看，獲得多維度感觀和體驗，體驗者感覺自身處于真實場景且不受空間和時間的束縛，時空體驗感更好。3） 交互性。與傳統(tǒng)視頻圖像相比，VR 全景技術(shù)使體驗者由被動接收轉(zhuǎn)化為主動參與，通過一些設(shè)備和VR 設(shè)備提高體驗者的主觀能動性，提高其體驗感，體驗者與周圍環(huán)境的交互感更好，從而打破空間的局限性。

2 VR 全景視頻運動目標(biāo)成像及特征分析

2.1 目標(biāo)成像

目標(biāo)成像是指在VR 全景視頻中建立運動目標(biāo)的成像模型，在圖像的邊緣輪廓提取特征值，結(jié)合特征分解方法進(jìn)行信息融合和目標(biāo)成像，并利用高斯模板進(jìn)行匹配，建立基于VR 技術(shù)的全景視頻運動目標(biāo)融合模型。

假設(shè)在運動區(qū)域共分布N 個特征點，每個特征點均滿足圖模型G=（V，E）。其中，運動區(qū)域的模型用dG=（u，v）表示，在成像區(qū)域?qū)D模型G=（V，E）進(jìn)行特征分割并進(jìn)行分塊匹配，得到的像素序列u（2）如公式（1）所示。

式中：u1（2）～u4（2）為4 個像素點。在像素序列中輸入特征數(shù)據(jù)，并利用公式（2）計算運動目標(biāo)的像素序列u。

式中：y0、z0、λ 和φ 為4 個光線參數(shù)。

得到的新像素序列u（3）如公式（3）所示。

式中：u1（3）～u4（3）為4 個新的像素點。

利用像素排序方法對像素序列進(jìn)行重組并進(jìn)行濾波處理，就可以得到公式（4）。

式中：c 為濾波后的像素序列；X（3）為特征點。

對公式（4）進(jìn)行逆映射，可以得到目標(biāo)圖像分布均勻的像素點，如公式（5）所示。

式中：θ*、ρ*為2 個光線坐標(biāo)；p為均勻分布的像素點；X(cs2)為新的特征點。

在空間坐標(biāo)系中建立運動目標(biāo)的三維融合模型，如公式（6）所示。

式中：θe、ρe分別為基準(zhǔn)線的橫、縱坐標(biāo)。

在成像區(qū)，以運動目標(biāo)的灰度特征為x軸重構(gòu)圖像目標(biāo)，可以得到灰度特征，如公式（7）所示。

式中：EX(cs2)、EY(cs2)和EZ(cs2)分別為X、Y和Z方向上的灰度特征；h為邊緣像素集。

根據(jù)上述步驟可以得到全景視頻運動目標(biāo)的三維流行分布圖，如圖1 所示。

2.2 特征分析

當(dāng)提取目標(biāo)成像的特征值時，可以用矩陣T表示VR 全景視頻的虛擬成像模型，如公式（8）所示。

式中：T11、T12、T21和T22均為特征矩陣中的元素。

采用時頻特征分解法[8]對公式（8）進(jìn)行特征分解，根據(jù)特征重組步驟可以得到VR 全景視頻運動目標(biāo)成像的分布條件，如公式（9）～公式（12）所示。

式中：A為關(guān)聯(lián)規(guī)則集合；N為標(biāo)量序列的個數(shù)；s、t為2 個二階特征量；κ（A）為分塊融合模型；P為調(diào)整系數(shù)；ai為特征元素。

考慮全景視頻的灰度圖像，采用模糊信息融合法[9]對任意像素（x，y）進(jìn)行處理，得到VR 全景視頻運動目標(biāo)成像的拓?fù)浣Y(jié)構(gòu)，如公式（13）～公式（15）所示。

式中：h為方向比；s為扁平度；v為橢圓長短半軸的和；θ為成像區(qū)的主方向角；λ1為成像區(qū)橢圓的長半軸長度；λ2為成像區(qū)橢圓的短半軸長度。

采用對稱分割法對運動圖像進(jìn)行分割處理，就可以得到該圖像的分塊融合模型，如公式（16）所示。

采用公式（16）就可以對目標(biāo)圖像進(jìn)行特征提取和追蹤識別。

3 全景視頻運動目標(biāo)精確追蹤

3.1 提取目標(biāo)特征

在運動目標(biāo)成像模型的基礎(chǔ)上，設(shè)計目標(biāo)精確追蹤的優(yōu)化算法，該文提出了一種基于VR 技術(shù)的全景視頻運動目標(biāo)精確追蹤方法。首先，對運動目標(biāo)的邊緣輪廓特征進(jìn)行提取。其次，利用角點跟蹤法進(jìn)行融合處理。最后，對運動目標(biāo)的圖像像素進(jìn)行進(jìn)一步融合。對Harris 角點來說，采用分塊檢測法進(jìn)行處理，得到運動目標(biāo)的像素集，通過特征匹配得到灰度鄰域，并對目標(biāo)成像進(jìn)行加權(quán)融合，提取其中的關(guān)聯(lián)信息，可以得到全序列特征量GD，如公式（17）所示。

式中：L為高斯尺度；I為全景視頻運動目標(biāo)的灰度值；di為特征元素。

對運動目標(biāo)進(jìn)行融合處理，并對其向量進(jìn)行量化編碼，得到的編碼集如公式（18）、公式（19）所示。

式中：ω為方向；ω0為初始方向；σr為方向關(guān)聯(lián)系數(shù)；θ為角度；σθ為角度關(guān)聯(lián)系數(shù)；j為編碼；J為編碼容量；θj為關(guān)聯(lián)規(guī)則特征集。

對目標(biāo)成像進(jìn)行加權(quán)融合，就可以得到其信息熵H'（X），如公式（20）所示。

式中：H為信息熵集合，Xt為信息熵集合中的元素。

利用灰度窗口進(jìn)行匹配，建立運動目標(biāo)特征分割模型，確定其融合特征Eθj（x），如公式（21）所示。

式中：Fθj（x）為水平融合特征集；Hθj（x）為垂直融合特征集。

采用時頻融合法對運動目標(biāo)的像素進(jìn)行特征分析，以提高對運動目標(biāo)進(jìn)行追蹤的準(zhǔn)確性。

3.2 輸出跟蹤目標(biāo)

對VR 全景視頻運動目標(biāo)的關(guān)聯(lián)特征量進(jìn)行提取，并對其進(jìn)行追蹤融合，得到運動目標(biāo)圖像的關(guān)聯(lián)算子，關(guān)聯(lián)特征集如公式（22）、公式（23）所示。

式中：δBT（F）（x，y）為關(guān)聯(lián)特征集；<（S，I）為條件“或”；>（S，I）為條件“與”；A（x，y）為特征量。

根據(jù)關(guān)聯(lián)映射F：E→R3，令特征集為T：E→PDS（2），得到運動目標(biāo)的高維分割張量模型（S，I），重構(gòu)后的全序輸出如公式（24）、公式（25）所示。

式中：Ai為分割后的張量；Aj為分割前的張量；h（S，I）為張量模型；S為張量元素。

對全景視頻運動目標(biāo)進(jìn)行梯度分解，得到相應(yīng)的梯度模型，對邊緣像素進(jìn)行重建，即可得到重建系數(shù)SP，如公式（26）所示。

式中：d為像素點間的距離。

根據(jù)上述步驟，基于VR 技術(shù)對全景運動目標(biāo)的特征量進(jìn)行提取，在虛擬仿真模型中實現(xiàn)運動目標(biāo)的精確追蹤和準(zhǔn)確識別，得到優(yōu)化輸出如公式（27）所示。

式中：T為優(yōu)化后的特征點集；B為特征點集。

4 仿真分析

為了驗證該文提出的全景視頻運動目標(biāo)精確追蹤方法的實用性，采用仿真試驗進(jìn)行驗證，將圖片的像素值設(shè)置為120 px，運動目標(biāo)的最大迭代次數(shù)設(shè)置為300 次，利用高分辨率光譜分析儀進(jìn)行視頻采樣，在Vega Prime 平臺中進(jìn)行運動目標(biāo)跟蹤識別。其中，像素值a1=（0.4，0.9，0.9）、a2=（0.6，0.7，0.6），特征分割系數(shù)α=0.35，關(guān)聯(lián)系數(shù)σ=0.41，圖像匹配系數(shù)β=0.32，分割張在不同幀數(shù)下全景視頻運動目標(biāo)追蹤結(jié)果如圖2 所示。

圖2 不同幀數(shù)下全景視頻運動目標(biāo)精確結(jié)果

從追蹤結(jié)果上來看，該文提出的基于VR 技術(shù)的全景視頻運動目標(biāo)精確追蹤結(jié)果較好，能夠很好地識別追蹤目標(biāo)的特征。采用ITV 跟蹤方法進(jìn)行對比，對比結(jié)果如圖3 所示，由圖3 可知，當(dāng)追蹤目標(biāo)不超過3 個時，該文提出的方法與增量視覺跟蹤法（ITV）的效果一致。當(dāng)追蹤目標(biāo)較多時，該文提出的方法進(jìn)行運動目標(biāo)追蹤的精度更高。

圖3 WPA 優(yōu)化結(jié)果

5 結(jié)語

該文提出了一種基于VR 技術(shù)的全景視頻運動目標(biāo)精確追蹤方法，通過提取運動目標(biāo)的邊緣輪廓特征來建立VR 全景視頻運動目標(biāo)融合模型，利用像素排序方法對運動目標(biāo)的特征進(jìn)行重組，采用分塊檢測法進(jìn)行處理，根據(jù)特征匹配結(jié)果得到灰度鄰域，并對目標(biāo)成像進(jìn)行加權(quán)融合，提取其中的關(guān)聯(lián)信息，實現(xiàn)了在虛擬仿真模型中精確追蹤和準(zhǔn)確識別運動目標(biāo)的目標(biāo)。仿真分析結(jié)果表明，該文提出的基于VR 技術(shù)的全景視頻運動目標(biāo)精確追蹤結(jié)果較好，能夠很好地識別追蹤目標(biāo)的特征，獲得更高的追蹤精度。