基于視景仿真技術的虛擬激光投影動態(tài)交互方法

張 穎

(文華學院城市建設工程學部,湖北 武漢 430074)

1 引 言

隨著科技的不斷發(fā)展,科技的應用范圍不斷擴大,多媒體技術逐漸融入人們的生活,成為人們學習工作的重要組成部分。多媒體一般來說就是將電視格式的視聽傳播能力與計算機[1]交互控制能力有效融合,從而創(chuàng)建出新型的信息處理模型,該模型將聲、像、文、圖集成于一體,使計算機在具備數(shù)字化動態(tài)功能的同時,還具備視頻播放、編輯等多項功能。多媒體技術的出現(xiàn)極大改善了人們信息交流形式。激光投影[2-3]交互作為多媒體的重要組成部分,是信息多媒體化的關鍵,并在近年來成為國內外爭先研究的重要技術。

文獻[4]提出基于稀疏編碼特征融合的交互行為識別。該方法通過Canny算子提取圖像邊緣特征,基于二值模式算子完成圖像紋理特征的采集,并使用光流法對圖像整體特征展開描述；再通過加權融合方法對提取的相關圖像特征實施加權融合；最后使用金字塔匹配模型完成圖像的動態(tài)融合,實現(xiàn)最終的交互。文獻[5]提出基于Lattice Server中間件的束流光學參數(shù)測量。該方法基于光源需求,完成了LatticeServer中間件的設計,過程中利用Python語言設計了中間件相關參數(shù),并基于確定的相關參數(shù)確定中間件結構；最后通過設計好的中間件實現(xiàn)信息的動態(tài)交互。文獻[6]提出多通道時空融合網絡雙人交互行為識別。該方法依據(jù)視角不變性完成特征提取,并建立時空融合網絡模型對提取的特征開展特征融合；再基于多通道融合網絡完成特征的交互識別,并將其共享在各個通道中,實現(xiàn)交互任務。

上述方法中由于未能利用視景仿真技術對交互效果實施加強,導致上述方法在動態(tài)交互時,易用性差、交互性低、魯棒性低。為解決上述信息動態(tài)交互過程中存在的問題,提出基于視景仿真技術的虛擬激光投影動態(tài)交互方法。

2 激光投影視頻圖像采集與預處理

由于激光投影筆在實施交互過程中,需要通過攝像頭采集大屏幕圖像依據(jù)計算機的計算處理,獲取激光投影點詳細坐標位置,再經由坐標的轉換獲取投影屏幕坐標,依據(jù)相關技術實現(xiàn)交互,過程中交互屏幕過大會導致激光投影點模式特征不明顯,易受噪聲影響。因此虛擬激光投影交互前,需要對視頻實時采集并去噪處理,從而消除交互時的噪聲影響。

2.1 基于VFW的視頻圖像采集方法

視頻采集就是將視頻從虛擬格式轉換成數(shù)字格式。VEW是關于數(shù)字視頻的軟件開發(fā)包,基于軟件形式對虛擬視頻源的數(shù)字視頻信號實施采集。VFW視頻采集技術主要是通過MSVIDEO、MCIAVI等組件間的協(xié)同操作完成數(shù)字視頻編輯、播放、視頻捕捉以及管理等處理。具體采集流程如圖1所示。

圖1 視頻圖像采集流程圖Fig.1 Flow chart of video image acquisition

2.2 預處理過程

激光投影視頻圖像采集后,為規(guī)避虛擬激光投影點的定位誤差,需對采集的視頻圖像中存在的噪聲進行去噪[7-8]處理。

2.2.1 基于加權平均法的圖像背景去噪

設定原始噪聲圖像為g(i,j),圖像鄰域像素點坐標位置標記X,坐標數(shù)量標記Y,以此獲取視頻圖像的鄰域平均圖像[9],過程如下式所示:

(1)

式中,h(i,j)表示圖像的鄰域平均結果。依據(jù)上述計算結果,設定圖像的噪聲矩陣為J,表達形式如下式所示:

J=M?(h(i,j)·g(i,j))/M?h(i,j)

(2)

式中,M表示圖像的卷積模板;h(i,j)表示鄰域平均圖像;g(i,j)表示原始圖像。

最后通過建立的圖像噪聲矩陣完成視頻圖像的背景噪聲消除。

2.2.2 圖像灰度轉換

基于紅綠藍三原色建立視頻的RGB彩色空間模型[10],設定模型中的任意光配色系數(shù)為A,獲取過程如下式所示:

A=r[R]+g[G]+b[B]

(3)

式中,r[R]、g[G]、b[B]分別表示三原色的配色占比。由于圖像灰度值能夠將圖像像素點信息量化表達,所以設定采集視頻圖像的像素占位字節(jié)為3,圖像灰度值即為視頻圖像的彩色像素亮度,由此對采集視頻的圖像像素實施轉換[11],轉換過程如下式所示:

C=0.011R+0.59G+0.3B

(4)

式中,R、G、B表示視頻圖像的各個顏色分量;C表示圖像灰度值。

2.2.3 圖像的閾值分割

圖像轉換成灰度圖像后,雖然能夠縮減圖像中的無效信息,但圖像中仍存在相關無效信息,為降低激光投影點的目標檢測誤差,需對灰度圖像開展閾值分割[12]。

首先對灰度圖像二值化處理[13-14],設定圖像二值化系數(shù)為E(i,j),獲取流程如下式所示:

(5)

式中,T表示圖像的二值化閾值;g(i,j)表示灰度圖像(i,j)位置的像素點灰度值;E(i,j)表示圖像二值化結果,范圍在[0,255]之間。基于上述獲取的灰度圖像二值化處理結果,使用最優(yōu)閾值分割算法對灰度圖像展開閾值分割處理,從而提升圖像的正確分割效率,使分割效果能夠達到最優(yōu)狀態(tài)閾值。

在原始視頻圖像中加入一組高斯噪聲[15],使原始視頻圖像成為加性高斯噪聲圖像,設定圖像的背景概率密度為σμ(z),目標概率密度標記ση(z),以此獲取圖像的混合概率密度Q(z),過程如下式所示:

(6)

式中,λμ表示圖像背景的均值方差;σμ表示平均灰度值;Qμ表示灰度值先驗概率;λη表示圖像目標的均值方差;ση表示平均灰度值;Qη表示灰度值先驗概率。

基于上述計算結果,設定圖像概率為Qμ+Qη=1,且ση≥σμ,依據(jù)制定的固定閾值,完成圖像的像素分割。設定圖像像素劃分的錯誤概率為θ(T),計算流程如下式所示:

(7)

式中,θμ(T)表示圖像背景劃分錯誤概率;θη(T)表示圖像目標的劃分錯誤概率;dz表示像素尺度。利用獲取的圖像分割誤差對固定閾值開展求導,從而確定圖像的最優(yōu)閾值,過程如下式所示:

(8)

式中,T表示獲取的圖像最佳分割閾值。最后基于上述圖像處理結果,完成激光投影點圖像去噪[16],無用信息剔除等處理。

3 虛擬激光投影的動態(tài)交互

基于上述的圖像預處理結果,獲取激光投影的中心點位置距離,最后通過對中心位置的映射,實現(xiàn)虛擬激光投影的動態(tài)交互。

3.1 虛擬激光投影中心點位置獲取

依據(jù)圖像的處理結果,設定圖像的目標跟蹤窗口為P×Q,以此獲取圖像當前幀激光投影的目標中心坐標,過程如下式所示:

(9)

式中,(ΔM,ΔN)表示激光投影的中心點位置;G(i,j)表示圖像灰度值;P表示跟蹤窗口的m方向像素原數(shù);Q表示n方向像素原數(shù)。

3.2 激光投影的中心點映射

3.2.1 中心點誤差校正

由于確定投影中心點過程中,攝像機存在畸變,所以需要建立徑向畸變模型,校正中心點位置誤差[17],過程如下式所示:

(10)

式中,φ表示建立的徑向畸變模型;(m,n)表示原始圖像激光投影中心位置;(cm,cn)表示光學中心;(m″,n″)表示校正后的投影中心點位置;r表示圖像像素點至攝像頭之間的距離;s表示校正參數(shù);σ表示定位誤差。

3.2.2 虛擬投影中心點映射

在虛擬激光投影交互過程中,攝像頭與投影幕布之間的距離、方位都會影響交互結果出現(xiàn)透視現(xiàn)象,所以要建立相應的變換方程,以此解決圖像位置的透視缺陷,過程如下式所示:

(11)

式中,(mx,nx)表示透視畸變圖像的像素位置;(ax,bx)表示未透視圖像的像素位置;dx、fx、gx、hx、jx、kx、lx以及ox分別表示透視變換參數(shù)。

在上式中可知,確定透視變換參數(shù)時,需要不少于4組參考坐標,設定透視畸變圖像的坐標分別為(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4),實際坐標位置標記(a1,b1)、(a2,b2)、(a3,b3)以及(a4,b4),通過計算建立激光投影圖像的透視變換矩陣,獲取交互過程激光點位置與鼠標位置之間的映射關系[18],從而實現(xiàn)激光投影的動態(tài)交互。具體過程如下式所示:

φ(ax,bx)=[-(ax,bx)]×[dx,fx,…,ox]

(12)

式中,φ(ax,bx)表示獲取的映射變換關系。

3.3 視景仿真

虛擬激光投影完成交互后,使用PC通道渲染交互場景,完成交互內容的視景仿真,從而提高激光投影的交互效果。

設定PC通道主控節(jié)點至從屬節(jié)點的通信時間為S,交互場景渲染時間為Sx,節(jié)點數(shù)量標記ρ形式,通過計算獲取PC通道從屬節(jié)點的利用效率,過程如下式所示:

ξ=Sx/2ρS+Sx

(13)

式中,ξ表示計算出的節(jié)點利用效率。視景仿真流程如下:

(1)啟動視景仿真系統(tǒng)。初始化PC通道節(jié)點參數(shù),完成激光投影主機與系統(tǒng)之間的連接。

(2)進入仿真循環(huán),接收渲染場景信息。

(3)解析PC通道通信信息,啟動渲染獲取交互場景的視景圖像。

(4)將視景圖像反饋至主機中,替換交互場景圖像,完成交互效果的增強。

4 仿真實驗分析

為了驗證本文提出的基于視景仿真技術的虛擬激光投影動態(tài)交互方法的整體有效性,需要對此方法進行仿真測試。

4.1 實驗結果及分析

分別采用基于視景仿真技術的虛擬激光投影動態(tài)交互方法(所提方法)、基于稀疏編碼特征融合的交互行為識別(文獻[4]方法)、基于Lattice Server中間件的束流光學參數(shù)測量(文獻[5]方法)、多通道時空融合網絡雙人交互行為識別(文獻[6]方法)測試；

在動態(tài)交互過程中,可以通過對交互方法易用性、交互性以及魯棒性測試,檢測交互方法的交互效果。采用所提方法、文獻[4]方法、文獻[5]方法以及文獻[6]方法開展動態(tài)交互時,測試上述4種交互方法的交互性能。

在測試過程中,需要選取適當?shù)募す馔队皟x器以及激光交互筆,以此縮減測試過程中儀器不同帶來的影響,選取儀器如圖2所示。

圖2 選定的激光投影設備Fig.2 Selected laser projection equipment

通過選定的激光投影設備進行虛擬激光投影動態(tài)交互,如圖3所示。

圖3 虛擬激光投影動態(tài)交互Fig.3 Dynamic interaction of virtual laser projection

4.2 易用性測試

隨機挑選50名人員,分成五個小組教授激光投影儀器使用方法,通過使用過程,開展百分制的交互性評分,依據(jù)評分結果,檢測交互方法的交互性,評價分數(shù)越高說明交互方法的易用性越好,反之則越差。測試結果如圖4所示。

圖4 不同交互方法的交互性測試結果Fig.4 Interaction test results of different interaction methods

分析圖4測試數(shù)據(jù)可知,組別之間的測試時結果均不相同。所提方法測試出的易用性是4種交互方法中評價分數(shù)最高的,文獻[4]方法測試結果僅次于所提方法,文獻[5]方法低于上述兩種方法測試結果,文獻[6]方法測試結果最差。由此可證明所提交互方法的易用性能高。

4.3 交互性測試

選取交互時間為交互方法的交互效率測試結果,采用所提方法、文獻[4]方法、文獻[5]方法以及文獻[6]方法開展動態(tài)交互時,測試4種交互方法的交互效率,結果如表1所示。

分析如表1可知,隨著檢測次數(shù)的增加,4種交互方法的交互時間都呈現(xiàn)出不斷上升趨勢。但是所提方法的測試出的動態(tài)交互時間持續(xù)低于其他三種交互方法的測試結果,這主要是因為所提方法在交互時,通過視景仿真技術對交互場景圖像實施增強處理,所以該方法動態(tài)交互時的交互時間短,側面說明了該方法的交互性好。

表1 不同方法的交互效率測試結果Tab.1 Interaction efficiency test results of different methods

4.4 魯棒性測試

開展交互仿真時,空間距離的長短能夠直觀影響交互方法的魯棒性能。采用所提方法、文獻[4]方法、文獻[5]方法以及文獻[6]方法開展動態(tài)交互時,對三種方法的魯棒性展開測試,測試結果如圖5所示。

圖5 不同交互方法的魯棒性測試結果Fig.5 Robustness test results of different interaction methods

分析圖5實驗數(shù)據(jù)可知,本文方法的虛擬激光投影動態(tài)交互魯棒性最高可達100 %,是4種方法中最好的,證明所提方法在動態(tài)交互時,交互效果優(yōu)秀,該方法具備有效性。

5 結束語

隨著激光投影的使用范圍越來越廣,提出高效的虛擬激光投影的動態(tài)交互方法就變得尤為重要。針對傳統(tǒng)激光投影動態(tài)交互方法中存在的問題,提出基于視景仿真技術的虛擬激光投影動態(tài)交互方法。該方法依據(jù)獲取激光投影中心點位置,完成激光投影的中心位置映射,實現(xiàn)虛擬激光投影的動態(tài)交互。由于該方法在提取圖像灰度值時存在些許問題,今后會針對該項問題,繼續(xù)優(yōu)化該交互方法。