基于聯覺效應的VR交互式圖形與圖像混合建模

唐偲祺

摘 要：VR交互式體驗的出現，使用戶在虛擬場景中感覺到自己是場景中的主體，用戶通過三維等交互設備直接控制虛擬世界中的對象，以一種新的觀看世界的方式將圖像演進到一個新的階段——圖像場景階段。為傳統視覺聯覺帶來了全新的感知體驗，圖形圖像作為場景中的核心構成部分，在交互式場景中也起到了重要的作用。

關鍵詞：視覺語言;交互式圖形圖像建模;聯覺

虛擬現實技術以對視覺、聽覺、觸覺等多種不同感官得自動模擬，讓體驗者在實際進行使用的整個過程中就猶如身臨其境一般，在其所虛擬的整個現實生活世界中“既有手可以摸又看得見，也摸得著”。它將虛擬圖像、圖像場景設計師與虛擬場景體驗者之間的各種文化生產關系進行同時空間交互操縱的同時，不必再要求任何圖象或主體的在場。這種完全具備了共享性，流變性，互動性的虛擬場景聯覺體驗方式顛覆了我們傳統的虛擬場景感官聯覺體驗。

在一個虛擬現實的場景中，視覺感官的語言在一定的程度上引導著交互式虛擬場景的敘事情感體驗主線的形成和發展。體驗者視覺感官的認知與情感體驗認知的發展是密不可分的，通過進行各種自主性的感官律動，獲得多感知性，交互性以及情感的沉浸性。基于計算機圖形與圖象的虛擬場景混合聯覺建模的技術，通常來說是基于現代計算機圖形學的三維立體幾何結構的模型，它將建模、繪制與基于圖象的混合建模、繪制的優點于融為一體。但是實際運作的過程中，也出現了很多有關人機交互的實際性問題。

一、VR中的視覺與語言的感官交互聯動性

虛擬現實的語言和場景視覺構造與虛擬現實傳統的視像系統完全不同。首先，虛擬現實不僅在本質上是視覺可感知的，而且它還是觸覺可感知和可交互的。觸覺也無疑是在虛擬現實場景的構建和視覺系統中十分重要的組成部分。正如德里克德克霍夫所言：“當你在VR中四處閑逛時，你的整個身體都與周邊環境接觸，就像你在游泳池中身體與水的關系那樣”。其次，虛擬現實技術是一種圖像技術對場景的立體呈現，并且它不是單一的立體圖像。虛擬現實的場景氛圍包括了時間，空間，以及設備支持等，同時還指向行為與心理的環境氛圍。以往我們對于圖形圖像的觀察和感知都認為是獨立地存在于其之外的，是一種客觀的，孤立的視角。VR將真實的圖像場景呈現出來成為一個不受任何時空限制的具有連續性的圖像虛擬現實場景，體驗者可以根據自身的需求，置身于圖像虛擬與現實的場景中，充分發揮其個體的主觀能動性，隨意地控制其與圖像虛擬現實場景的交互進程，體驗良好的交互感，甚至使體驗者能親身感受其進程所帶來的交互反作用。第三，虛擬與現實的場景不僅僅可以是真實與虛擬的，也是一種圖像虛擬與現實的有效交互結合。

二、關于虛擬現實場景中三維圖形圖像的混合處理和建模的必要性

虛擬與現實場景交互體驗已有的基于自然的交互設備主要包括：快速方便地將真實虛擬世界的立體彩色的三維物體圖形信息直接轉換為由計算機能直接進行處理的三維數字信號的三維圖形圖像掃描儀，能對場景中客觀模型物體產生力量的視覺或觸覺感應和反饋數據的三維掃描手套和數據服等，但是用戶與圖像虛擬現實場景的交互行為及感/知覺的交互仿真程度仍然依然存在一些技術性的問題，主要是受制于傳感設備和傳感器技術的發展和產業化水平的諸多因素限制。比如對于體驗者在對虛擬現實場景建模中的熱知覺反饋與傳感器的技術就未得到解決。

用戶在對VR現實場景的建模中，可以用useravatar這個特殊的虛擬實體對象的虛擬形象直接進入到現實場景中。對于具有良好的視覺和觸感體驗的虛擬現實場景的搭建技術，需要在對圖形圖象的建模以及繪制的技術基礎之上，以對圖象的插樸、變形、拼合等復雜的方法進行來設計和實現。這樣，體驗者和用戶可憑借頭盔顯示器等交互設備技術來直接獲取自身對于體驗者在VR現實場景中的虛擬性的深層次理解以及模塊對象的信息。目前VR混合建模場景的軟件構建，最廣泛的一種構建場景方式就是通過使用混合建模場景的軟件進行構建，目前我們可以看到的混合建模應用場景大多都是用3dsmaxs這款軟件構建的場景。場景的混合建模還需要進一步研究和完善所建模型的相關物理和數學特性。如何在虛擬場景中構建的虛擬實體對象與純粹虛實體對象之間的距離和位移包括位置、擺設的方向，以及如何在虛擬場景中光源的照射下虛擬場景中實體對象幾何模型形成的實體亮度、陰影的強度及擺設的方向與純粹虛對象的實體亮度、陰影的強度及方向上的準確匹配作為首先我們需要考慮和解決的物理屬性問題，這也是我們進行混合場景建模的一個主要難度所在。

三、基于聯覺效應的VR幾何實體對象建模與IBMR虛擬環境的空間關系與透視匹配

在對虛擬現實場景進行視覺體驗的過程中，由于目前計算機在圖像的質量和光學成像性能等諸多方面的技術存在缺陷，體驗者可能會對視覺產生諸如眩暈，模糊等明顯的不適感。因此，VR虛擬場景和幾何中的實體圖像場景空間和視覺的呈現效果需要以虛擬現實場景環境現實世界中的圖像場景坐標和具體位置作為數據支撐。IBMR場景建模的目的是基于對圖像的真實感，因此在以連續的圖像呈現虛擬場景中，采用IBMR的方法進行場景建模，可以有效彌補了傳統基于圖像幾何模型的繪制場景建模技術的不足，同時還能給出更豐富的信息進行圖像場景顯示。真實的成象與圖像傳感器的定標信息之間的數值誤差性較大，導致了體驗者會感覺真實場景的視覺感知與在虛擬真實世界中隨著物體的坐標位移產生的其他感官知覺也產生了誤差。目前解決這個誤差問題的有效解決辦法之一就是通過使用預先設定的特征控制點坐標值來對其進行誤差校正，即由實際攝影測量結果所得的同一預設特征控制點的對象點坐標系的坐標值與根據虛擬雙目立體空間視覺圖像計算反求得出來的同一預設特征控制點的對象點值，與虛擬真實世界中物體坐標系的坐標值誤差進行了比較，以準確判斷坐標位移產生的誤差值，計算得出相應的修正誤差值。該雙象解析算法的主要數學理論基礎是基于虛擬攝影立體空間測量計算科學理論中的雙象立體圖像解析算法和攝影測量計算技術的雙目立體空間前方交會計算原理。

參考文獻：

[1]宗世英.藝術視覺素養[M].北京：科學出版社，2017：29-30，31.

[2]譚雪芳.福建論壇.人文社會科學版，2017（6）：1671-8402（2017）06-0169-08.