VR技術(shù)下多感官人機(jī)交互三維重建仿真

馬大勇，李安卓，王虎群，徐 昕

(沈陽(yáng)航空航天大學(xué)，遼寧 沈陽(yáng) 110136)

1 引言

人機(jī)交互界面指的是一種信息傳遞、交換的界面，應(yīng)用于人和計(jì)算機(jī)之間，能夠?qū)崿F(xiàn)信息內(nèi)部形式和人接收形式之間的轉(zhuǎn)換[1]。計(jì)算機(jī)和信息化的不斷發(fā)展，人機(jī)交互技術(shù)迅速發(fā)展，交互界面也隨著發(fā)生明顯變化，以計(jì)算機(jī)為主的方式逐漸發(fā)展成以人為主的方式[2]，使人機(jī)交互界面逐漸接近自然，在此情況下，VR(Virtual Reality，虛擬現(xiàn)實(shí)技術(shù))成為人機(jī)交互界面發(fā)展的主要趨勢(shì)，該技術(shù)能夠?qū)崿F(xiàn)虛擬和現(xiàn)實(shí)的結(jié)合，利用計(jì)算機(jī)構(gòu)建人機(jī)和諧的多維信息空間、實(shí)現(xiàn)自然的交互方式為目的，使界面的交互性、體驗(yàn)性、真實(shí)性以及沉浸感發(fā)揮最大的作用[3]，使用戶(hù)感受最佳的信息交互感受，實(shí)現(xiàn)多感官人機(jī)交互界面。將VR技術(shù)用于交互界面重建中，能夠?qū)崿F(xiàn)人機(jī)交互模擬，提升用戶(hù)對(duì)于界面的直觀性、交互性和參與性。三維重建可完成圖像或者界面的重建[4]，且以單視圖或者多視圖為依據(jù)，其在構(gòu)建目標(biāo)的三維模型時(shí)，需保證構(gòu)建的模型能夠通過(guò)計(jì)算機(jī)體現(xiàn)和處理；除此之外，三維重建也是VR技術(shù)實(shí)現(xiàn)客觀表達(dá)的重要技術(shù)。

為提升人機(jī)交互界面的效果，劉震等人[5]和張健等人[6]，分別提出基于滅點(diǎn)優(yōu)化和基于噪聲點(diǎn)云的三維重建方法，上述方法分別以去除構(gòu)建過(guò)程中的誤差直線和降低冗余子圖為出發(fā)點(diǎn)，實(shí)現(xiàn)三維重建；在構(gòu)建單圖像界面方面具備良好效果，但是構(gòu)建的界面在多感官體現(xiàn)方面的效果仍舊有待優(yōu)化。基于此，本文提出基于VR的多感官人機(jī)交互界面三維重建方法，結(jié)合VR技術(shù)和三維重建，實(shí)現(xiàn)人機(jī)交互的多感官體驗(yàn)。

2 多感官人機(jī)交互界面三維重建

基于VR的多感官人機(jī)交互界面三維重建整體劃分成3個(gè)步驟，一是人機(jī)交互界面深度數(shù)據(jù)處理，二是人機(jī)交互界面三維重建，三是人機(jī)交互界面優(yōu)化，三個(gè)步驟分別是通過(guò)Wallis勻色法、光線投射算法和3ds Max軟件、感知強(qiáng)度完成。

2.1 界面深度數(shù)據(jù)處理

人機(jī)交互界面重構(gòu)時(shí)，界面深度數(shù)據(jù)的處理是重構(gòu)的基礎(chǔ)，該處理包含兩部分，分別為色彩數(shù)據(jù)插值和深度數(shù)據(jù)濾波，通過(guò)前者實(shí)現(xiàn)界面色彩的均衡[7]，后者則實(shí)現(xiàn)界面圖像噪聲的去除。

2.1.1 基于Wallis勻色法的界面色彩均衡

Wallis勻色法是一種典型的線性變換方法，實(shí)現(xiàn)目標(biāo)的色彩均衡是其主要作用，因此，本文選擇該方法完成人機(jī)交互界面的色彩均衡處理。其通過(guò)對(duì)均值和標(biāo)準(zhǔn)偏差的映射完成，該映射是由待處理界面至參考界面之間[8]。該方法的線性數(shù)學(xué)模型公式為

f(x，y)=g(x，y)r1+r0

(1)

式中：灰度值用(x，y)表示；g和f分別表示待處理界面和處理后界面；r1和r0均表示系數(shù)，前者對(duì)應(yīng)乘性，后者對(duì)應(yīng)加性，兩者的計(jì)算公式分別為

(2)

r0=bmf+(1-b-r1)mg

(3)

式中：標(biāo)準(zhǔn)偏差用sg和sf表示，前者對(duì)應(yīng)待處理界面，后者對(duì)應(yīng)參考界面；b和c均表示系數(shù)，前者對(duì)應(yīng)亮度，后者對(duì)應(yīng)方差擴(kuò)展，均屬于界面，且b∈[0，1]、c∈[0，1]，兩者的取值正常情況下均為1。

通過(guò)Wallis勻色法將g的灰度均值和標(biāo)準(zhǔn)偏差轉(zhuǎn)換至mf和sf中，則式(1)可轉(zhuǎn)換成：

f(x，y)=(g(x，y)-mg)·(sf/sg)+mf

(4)

2.1.2 深度數(shù)據(jù)濾波

為了保證交互界面的平滑效果，本文采用雙邊濾波法結(jié)合給定的窗口信息，實(shí)現(xiàn)界面降噪處理，同時(shí)保證界面邊緣的清晰。

采用雙邊濾波法對(duì)f(x，y)進(jìn)行濾波處理時(shí)，濾波器輸出的界面像素值，是以其附近鄰域像素值的加權(quán)組合獲得，其公式為：

(5)

式中：去噪后的界面用N(x，y)表示；Ω表示窗口范圍；wp表示歸一化參數(shù)；ws(i，j)、wr(i，j)均表示權(quán)值，前者對(duì)應(yīng)高斯距離，后者對(duì)應(yīng)像素相似度，且為高斯，三者的計(jì)算公式分別為

(6)

(7)

(8)

式中：ξ和c均表示像素，兩者的空間距離和方差分別用d和δ表示；σs和σr均表示方差，前者對(duì)應(yīng)相似度，后者對(duì)應(yīng)空間。

界面存在兩種情況，分別為邊緣不連續(xù)以及平滑連續(xù)，兩者的目標(biāo)尺度一個(gè)較小一個(gè)較大，因此相似度權(quán)重也呈現(xiàn)對(duì)應(yīng)的狀態(tài)，則σs的計(jì)算公式為

(9)

式中：像素值用I(x，y)表示，對(duì)應(yīng)目標(biāo)位置；統(tǒng)計(jì)參數(shù)用σu表示，對(duì)應(yīng)界面圖像梯度分布；窗口范圍用Bij(Ω)表示。

2.2 基于VR的三維重建

基于VR的人機(jī)交互界面三維重建，是指利用計(jì)算機(jī)以及相關(guān)界面圖像處理技術(shù)將平面圖像信息結(jié)合后生成的虛擬的三維立體界面圖像，并結(jié)合人的多感官特性，展示三維立體效果，本文選擇光線投射算法完成界面的三維重建。該算法以降噪后的界面圖像空間為序，可采用粒子描述算法中的體素，對(duì)粒子進(jìn)行功能賦予，包括對(duì)光線的投射、發(fā)射以及反射。

該算法在進(jìn)行三維重建時(shí)分為4個(gè)步驟，其詳情如下所述：

1)數(shù)據(jù)值的分類(lèi)和賦值：

將N(x，y)的序列實(shí)行組合形成數(shù)據(jù)，并對(duì)該數(shù)據(jù)中的體素實(shí)行劃分，形成前景和背景兩個(gè)部分，該劃分采用閾值法完成。對(duì)劃分后的前景體素進(jìn)行顏色和不透明度的賦予，同時(shí)背景的體素不透明度是零。

如果A(i)、R(i)、G(i)、B(i)均表示傳遞函數(shù)，分別對(duì)應(yīng)不透明度、紅色、綠色、藍(lán)色，則四者的傳遞函數(shù)表達(dá)式為

(10)

R(i)=G(i)=B(i)=i

(11)

2)重采樣：

在灰度圖像中，采用亮度描述獲取的等距離采樣點(diǎn)位置處的不透明度和各類(lèi)顏色，沿著定義的角度在體素上反射光線，且交互界面的每一個(gè)不同的二維圖像被這些反射光線穿透，最終在圖像形成的控制范圍內(nèi)，按照等距離的原理得到采樣點(diǎn)，其數(shù)量為K；采用體素插值方法計(jì)算和采樣點(diǎn)距離最近的體素，以此獲取采樣點(diǎn)的顏色和阻光度，衡量計(jì)算的效率和精度，采用三次線性插值法完成；在此基礎(chǔ)上，通過(guò)計(jì)算獲取全部采樣點(diǎn)的顏色和不透明度，該計(jì)算通過(guò)光照模型完成。

3)界面圖像合成：

求解顏色值和不透明度值，屬于全部采樣點(diǎn)，且位于各個(gè)光線上。求解后進(jìn)行界面圖像合成，采用向后合成方法完成，公式為

αout=αin+αnow(1-αin)

(12)

Coutαout=Cinαin+Cnowαnow(1-αin)

(13)

式中：Cout和αout分別表示顏色值和不透明度，均對(duì)應(yīng)第i個(gè)體素，且為光線經(jīng)過(guò)的情況；Cnow和αnow分別表示顏色值和不透明度，均對(duì)應(yīng)第i個(gè)體素；Cin和αin分別表示顏色值和不透明度，均對(duì)應(yīng)第i個(gè)體素，且為光線進(jìn)入的情況。

4)三維重建：

在上述步驟的基礎(chǔ)上，采用3ds Max軟件完成人機(jī)交互界面三維重建，該軟件具備材質(zhì)制作、燈光設(shè)定、動(dòng)畫(huà)設(shè)定以及渲染輸出等功能，與三維建模結(jié)合可獲取最佳的人機(jī)交互的三維動(dòng)態(tài)和靜態(tài)的界面效果圖。

2.3 人機(jī)交互界面優(yōu)化

為獲取最佳的人機(jī)交互界面，在2.2小節(jié)的基礎(chǔ)上，確定優(yōu)化目標(biāo)，為人機(jī)交互界面布局的視覺(jué)感知強(qiáng)度，基于該目標(biāo)構(gòu)建優(yōu)化模型。模型構(gòu)建前先確定下述定義：

1)設(shè)視覺(jué)感知的全部元素集用Y表示，且Y={y1，y2，…，yn}，yi表示感知元素且為第i個(gè)，i=1，2，…，n。

2)所有y的重要度等級(jí)用D表示，且D={d1，d2，…，dn}；di表示等級(jí)值，且對(duì)應(yīng)yi。

3)所有y的面積集用S表示，且S={s1，s2，…，sn}，si表示面積值，且對(duì)應(yīng)yi。

4)X表示強(qiáng)度集合，X={x1，x2，…，xm}，對(duì)應(yīng)視覺(jué)感知強(qiáng)度；xj表示強(qiáng)度等級(jí)，對(duì)應(yīng)視覺(jué)感知區(qū)域，且為第j個(gè)，j=1，2，…，m。

5)Q表示數(shù)量，Q={q1，q2，…，qm}，對(duì)應(yīng)單元格，屬于每一個(gè)xj感知，且位于人機(jī)交互界面中；qj表示單元格數(shù)量，其屬于視覺(jué)感知區(qū)域。

6)位于第j強(qiáng)度等級(jí)界面區(qū)域中，布置感知元素時(shí)的所需單元格數(shù)量用qij表示。

7)R表示指數(shù)，R={r1，r2，…，rn}，對(duì)應(yīng)強(qiáng)度，屬于視覺(jué)感知，且為完成人機(jī)交互界面中每一種感知元素布置完成后；ri表示數(shù)量，對(duì)應(yīng)單元格，其屬于視覺(jué)感知區(qū)域。

在人機(jī)交互界面中，完成任一視覺(jué)感知元素布置后，由di、xj和qij三者的乘積表示ri，其公式為

(14)

基于上述的各個(gè)定義可確定，人機(jī)交互界面核心區(qū)域是否被視覺(jué)感知元素占據(jù)，可依據(jù)R的大小判斷。在此基礎(chǔ)上，完成優(yōu)化模型構(gòu)建，其公式為

(15)

約束條件為

(16)

(17)

(18)

結(jié)合式(15)確定視覺(jué)傳達(dá)指數(shù)，且在優(yōu)化過(guò)程中，完成所有元素布置后。基于此，可依據(jù)R值的結(jié)果判斷重要視覺(jué)感知元素布置的位置的xj，前者值越大，后者位于的位置感知強(qiáng)度則越高。最后采用遺傳算法對(duì)模型進(jìn)行求解，獲取優(yōu)化后的重建界面。

3 測(cè)試分析

為測(cè)試本文方法的重建效果以及應(yīng)用性，以某城市的交通管理部門(mén)的決策仿真平臺(tái)的人機(jī)交互界面為研究對(duì)象，該平臺(tái)的主要作用是模擬不同的實(shí)際道路通行狀況，針對(duì)該狀況設(shè)定解決規(guī)劃或者調(diào)整方案，并模擬方案的執(zhí)行的效果，以此，為實(shí)際交通路況的規(guī)劃提供依據(jù)。該管理部門(mén)對(duì)該平臺(tái)的人機(jī)交互需求為能夠清晰呈現(xiàn)整個(gè)路況，并且，能夠執(zhí)行調(diào)整方案的仿真運(yùn)行，同時(shí)該部門(mén)的管理人員能夠通過(guò)交互界面的交互操作選項(xiàng)查看局部重點(diǎn)路況。

界面的色彩均衡處理是實(shí)現(xiàn)三維重建的基礎(chǔ)，因此，為衡量本文方法的色彩均衡效果，采用兩種平均值作為評(píng)價(jià)指標(biāo)，分別為灰度值均值差、標(biāo)準(zhǔn)偏差之差，兩者均屬區(qū)域范圍內(nèi)的界面圖像重疊區(qū)域，兩個(gè)指標(biāo)的計(jì)算公式分別為

(19)

(20)

表1 色彩均衡效果測(cè)試結(jié)果

為測(cè)試本文方法的去噪效果，以噪聲方差作為衡量標(biāo)準(zhǔn)，測(cè)試本文方法隨著界面像素點(diǎn)數(shù)量的逐漸增加，不同窗口大小下的噪聲方差結(jié)果，期望標(biāo)準(zhǔn)為該方差結(jié)果低于1.0，測(cè)試結(jié)果如圖1所示。

圖1 去噪效果測(cè)試結(jié)果

由圖1的測(cè)試結(jié)果可得：在不同大小的濾波窗口下，隨著像素點(diǎn)數(shù)量的增加，不同窗口的噪聲方差的結(jié)果波動(dòng)曲線的趨勢(shì)發(fā)生不同的變化，但是波動(dòng)范圍均在0.4～0.8之間，低于期望的標(biāo)準(zhǔn)結(jié)果。

為測(cè)試本文方法的界面三維重建效果，采用本文方法對(duì)交通管理部門(mén)的決策仿真平臺(tái)的人機(jī)交互界面進(jìn)行重建以及優(yōu)化，獲取優(yōu)化后的交互界面，并且通過(guò)相應(yīng)的界面操作選項(xiàng)執(zhí)行相應(yīng)的操作，測(cè)試重建后的界面交互效果，如圖2所示。

圖2 人機(jī)交互界面重構(gòu)結(jié)果

由圖2測(cè)試結(jié)果可得：本文方法能夠?qū)崿F(xiàn)人機(jī)交互界面的三維重建，并且重建后的畫(huà)面色彩均衡，可通過(guò)界面操作選項(xiàng)進(jìn)行不同交互的操作，并且在通過(guò)界面選項(xiàng)操作后，對(duì)應(yīng)的操作結(jié)果會(huì)進(jìn)行呈現(xiàn)；在進(jìn)行不同角度、位置和街道的交互查看時(shí)，所選擇的內(nèi)容會(huì)呈現(xiàn)在大窗口，完成場(chǎng)景界面的穩(wěn)定轉(zhuǎn)換，并且界面中可清晰呈現(xiàn)所選擇街道的狀況；如果模擬規(guī)劃方案時(shí)，為實(shí)現(xiàn)更真實(shí)的多感官交互效果，可通過(guò)動(dòng)畫(huà)呈現(xiàn)的操作選項(xiàng)獲取動(dòng)態(tài)場(chǎng)景界面的交互，逼真呈現(xiàn)方案執(zhí)行后的道路狀況。因此，本文方法能夠?qū)崿F(xiàn)真實(shí)性、沉浸性、多感官的界面重建，并且重建后的界面具備動(dòng)態(tài)交互功能，能夠?qū)崿F(xiàn)多感官的交互體驗(yàn)。

4 結(jié)論

計(jì)算機(jī)的快速發(fā)展，人機(jī)交互界面作為諸多信息傳遞的重要途徑，其界面的多感官效果，保證界面的真實(shí)性、沉浸性是其在設(shè)計(jì)時(shí)的重點(diǎn)考慮內(nèi)容。本文研究基于VR的多感官人機(jī)交互界面三維重建仿真方法，并將該方法進(jìn)行相關(guān)的測(cè)試，結(jié)果表明：本文方法重建后的界面色彩均衡效果良好，并且能夠最大程度保證界面的平滑度，并且充分體現(xiàn)界面的多感官效果，重建的界面真實(shí)性較高。

下一步的研究方向?qū)@界面的細(xì)節(jié)部分開(kāi)展，例如實(shí)際情況下在雨、雪天氣時(shí)，路況的模擬，因此，將圍繞不同的天氣情況進(jìn)行構(gòu)建和渲染，同時(shí)賦予不同天氣不同的聲音，進(jìn)一步提升界面交互的真實(shí)感。