基于三維虛擬視覺及交互設計的室內設計平臺建構

蔣夢菲 原麗花

摘? 要： 傳統的室內設計系統無法解決復雜場景的三維構建和可視化問題，更無法滿足用戶沉浸感和動態交互的需求。因此，在現有研究基礎上，以自然直觀的人機交互和逼真的虛擬環境體驗為目標，設計基于三維虛擬視覺及手勢交互設計的室內設計平臺。根據實際的功能需求分析，完成了平臺功能并給出基于雙目視覺技術進行人機交互的總體結構。利用攝像機設計交互功能中的虛擬手形識別算法，降低了應用成本，提高了識別的效率。室內設計環境的仿真測試結果表明，提出的室內設計平臺能夠有效進行直觀的室內三維場景可視化，且具有較好的準確性和交互性。

關鍵詞： 3D虛擬視覺; 人機交互; 攝像機模型; 雙目視覺技術; 室內場景; 三維環境

中圖分類號： TN911?34; TP393? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）03?0125?04

Construction of interior design platform based on 3D virtual vision and interactive design

JIANG Mengfei1， YUAN Lihua2

（1. Sichuan Tourism University， Chengdu 610100， China; 2. Southwest University of Science and Technology， Mianyang 621010， China）

Abstract： The traditional interior design system fails to solve the 3D construction and visualization of complex scenes. Moreover， it can′t meet the needs of user immersion and dynamic interaction. Therefore， on the basis of the existing research， an interior design platform based on 3D virtual vision and gesture interaction design is designed with the goal of realizing natural and intuitive human?computer interaction and realistic virtual environment experience. According to the analysis of actual functional requirements， the platform function is realized and the overall structure of human?computer interaction based on binocular vision technology is provided. The virtual hand shape recognition algorithm in the interactive function is designed by camera， which reduces the application cost and improves the recognition efficiency. The simulation test results of the interior design environment show that the proposed interior design platform can effectively visualize the indoor 3D scene with higher accuracy and better interactivity.

Keywords： 3D virtual vision; human?computer interaction; camera model; binocular vision technology; indoor scene; 3D environment

0? 引? 言

隨著計算機技術和網絡技術的高速發展，人們逐步體驗到了高性能計算機和高速帶寬帶來的全新體驗。在線購物、網絡社交、虛擬旅游和大型3D游戲已經被現代社會所接受。室內環境作為人們最熟悉的生活和工作場所，其傳統的二維界面管理或者設計系統已經無法滿足人們逼真沉浸感的需求[1]。現代人需要的是更加形象、更加真實、更加便于交互的三維虛擬仿真環境[2]。因此，如何利用虛擬現實技術來實現沉浸式虛擬環境的搭建和交互，成為當前虛擬仿真技術研究的熱點[3]。

文獻[4]提出了一種基于三維視覺的室內設計虛擬現實方法，通過三維場景點云數據集和高斯混合模型擬合，達到了較好的三維場景重構效率和精度。文獻[5]提出了一種基于三維平臺的虛擬圖書館室內設計與構建方法，實現了便于在線工作的三維虛擬設計與展示系統。但是，現有提出的三維虛擬室內設計平臺存在交互體驗差（人機交互準確率低）或者成本高昂的問題。因此，為了提高人機交互的準確性、降低實現成本，本文設計了基于三維虛擬視覺及手勢交互的室內設計平臺，從而為用戶提供全新的逼真虛擬場景體驗。

1? 室內三維虛擬交互的功能需求分析

傳統的室內設計系統無法解決復雜場景的三維構建和可視化問題，此外，更無法滿足用戶沉浸感和動態交互的需求。而虛擬仿真的出現，可以有效解決上述問題，能夠帶給用戶豐富而全方位的體驗[3，5]。本文以室內環境為主要研究對象，構建具有良好人機交互功能體驗的虛擬設計平臺，其功能需求主要包括：

1） 室內三維實體組件模塊的管理，包括室內物品、材料的導入和展示等。

2） 室內場景下的交互操作功能，包括視角切換、場景漫游、輸入響應等人機交互的各種操作。

3） 數據庫管理和顯示功能，包括自定義顯示信息、屬性定義等。

4） 人員管理常用功能，包括地圖導航、查詢位置定位等。

2? 基于三維虛擬視覺及交互設計的室內設計平臺建構

2.1? 平臺功能設計

通過上述室內三維虛擬交互的功能需求分析，對平臺所需的功能進行設計，如圖1所示。

2.2? 總體結構設計

現有的三維虛擬室內設計平臺采用的交互功能存在諸多問題，主要原因是其虛擬顯示交互系統采用的輸入設備[6?8]：

1） 對于輸入設備是三維鼠標和三維游戲桿的系統來說，其存在工作效率不高、用戶的人機交互體驗較差的問題;

2） 而對于輸入設備為頭部跟蹤設備和手勢跟蹤設備的系統來說，用戶可以得到更加自然、逼真的沉浸感。輸出設備均為VR眼睛。其中，利用數據手套作為輸入設備進行人機交互，會導致系統的成本大幅提高，影響了系統的普及和推廣應用。

由于使用數據手套實現現實中的人手與計算機交互，可以大大提高虛擬現實系統的可操作性。但是它價格昂貴、需要校準，導致實現成本高昂、使用不方便。而采用攝像機拍攝的方法來獲取手的運動，無需數據手套就能夠捕捉和識別手勢的動作，因此，本文采用基于計算機視覺的虛擬手交互來完成三維虛擬交互室內設計平臺的交互模塊功能，其總體結構示意圖如圖2所示。室內虛擬環境的搭建和生成采用Unity3D引擎渲染，技術已經較為成熟，因此不做過多介紹和分析，接下來將對平臺的重點——交互設計進行重點分析。

3? 基于虛擬手形識別算法的人機交互設計

3.1? 攝像機模型

三維虛擬環境下的手勢識別必須采用立體視覺系統，而雙目視覺應該是常見的立體視覺系統。需要對兩臺攝像機在工作區中的位置和朝向進行分析。實際三維空間一個四棱錐頂點坐標[P]的坐標為[WP=[WPx，WPy，WPz]]，其投影成圖像點為[IP=[IPr，IPc]]。兩者的變換關系為[9]：

式中：W為世界坐標系;C為攝像機坐標系。設圖像坐標點為[（x，y）]，相關的攝像機坐標點為[（CPx，CPy，CPz）]，那么可以按照如下方式進行透視變換：

式中[f]表示焦距。

3.2? 基于雙目視覺技術的手勢識別

本文實驗將采集到的RGB值轉化成HSV值，具體步驟如下[10]：

式中：[r，g，b]和[H，S，V]分別為每個像素的RGB分量和HSV分量。接著進行HSV二值化。

本文采用基于運動學反解的仿真算法[11]實現手形繪制，并默認滿足手的運動約束關系。解剖學研究顯示，人手指關節之間的關系如下：

式中：[γ]表示某個手指;DIP和RIP分別表示不同的關節位置，具體運動學模型如圖3所示。

基于運動學反解的仿真算法主要逆向推出關節在關節空間中的狀態，方式如下：

式中：[X]為關節末端的狀態矢量;[q]為關節角度參數。在本文中利用牛頓法實現三角方程[f（?）]的求解，在一定程度上提高了迭代速度，有利于增強實時性。

4? 實驗結果與分析

4.1? 實驗硬件和軟件環境

為了驗證提出的三維虛擬交互室內設計平臺的性能，本文以家居室內應用為例進行了開發和實例驗證。使用雙目立體視覺和Kinect深度攝像機進行室內場景三維重建。借助虛擬建模軟件3dsMax搭建室內實體及其三維場景，并結合Unity3D引擎作為虛擬驅動平臺重構。操縱系統為Windows 7。實驗的硬件設置和配置情況見表1。從表1可以看出，該平臺無需數字手套輸入設備，因此成本較低。

4.2? 效果分析

在切換到室內場景設計的界面時，室內三維虛擬交互的效果如圖4所示，用戶自由交互式漫游效果良好，通過雙目立體視覺和Kinect攝像機實時檢測用戶手形和輪廓，從而實現人機交互輸入，得到了自然直觀的用戶體驗效果。

4.3? 實時性和準確性分析

表2為基于雙目視覺技術的手勢識別的檢測率結果，可以看出，實際發生的幀數和檢測出的發生幀數之間差距較小，也就是說，能夠在相當短的時間內檢測到手勢的變化，實現了快速的輸入響應。

表2中誤差的計算方式[12]如下：

式中：[A]表示用戶產生手勢變化時的幀;[D]表示平臺檢測出的幀數;[error]表示誤差。從表1中可以看出提出識別算法具有較好的實時性。

將本文識別算法與基于OpenCV[13]、單目視覺[14]的手勢識別方法進行了對比。重復一個手勢動作100次后，三種不同方法的手勢跟蹤結果如圖4所示。可以看出，本文方法的跟蹤誤差最小。此外，對于不同的20個手勢動作也進行了100次重復實驗取平均值。三種方法的識別準確率如表3所示。可以看出，對于大部分手勢動作，本文方法均能夠準確識別出來，如向左、向右等動作。在相同條件下，相比于OpenCV和單目視覺，本文方法能夠保持更高的準確率。

5? 結? 語

本文設計了一種基于三維虛擬視覺及手勢交互的室內設計平臺，提高了人機交互的準確性、降低實現成本，并為用戶提供了全新的逼真虛擬場景體驗。實際室內應用的實例運行結果驗證了提出平臺設計的可行性和實時性。此外，相比基于OpenCV、單目視覺的手勢識別方法，本文提出的雙目視覺技術手勢識別表現出更高的準確性。但是，對于復雜的手勢運動，平臺交互識別效果不夠穩定，魯棒性不高，且受到光線強度的影響較大，后續將對此開展進一步研究。

參考文獻

[1] LAVER K E， GEORGE S， THOMAS S， et al. Virtual reality for stroke rehabilitation [J]. Physical therapy， 2016， 2（9）： 20?21.

[2] SATAVA R M. Virtual reality， telesurgery， and the new world order of medicine [J]. Journal of image guided surgery， 2015， 1（1）： 12?16.

[3] RIZZO A， HARTHOLT A， GRIMANI M， et al. Virtual reality exposure therapy for combat?related posttraumatic stress disorder [J]. Computer， 2014， 47（7）： 31?37.

[4] 師春艷.基于三維視覺的室內設計虛擬現實方法研究[J].現代電子技術，2018，41（5）：78?82.

[5] 彭渝，秦小鐵.基于三維平臺的虛擬圖書館設計與構建[J].重慶科技學院學報（社會科學版），2014（6）：142?143.

[6] BASTUG E， BENNIS M， MEDARD M， et al. Toward interconnected virtual reality： opportunities， challenges， and enablers [J]. IEEE communications magazine， 2017， 55（6）： 110?117.

[7] FRISOLI A， SALSEDO F， BERGAMASCO M， et al. A force?feedback exoskeleton for upper?limb rehabilitation in virtual reality [J]. Applied bionics & biomechanics， 2014， 6（2）： 115?126.

[8] PARK J， PAN Y， KIM C， et al. Future information technology [M]. [S.l.]： Springer， 2014.

[9] 付朋，陳新度，吳磊.基于角點的雙目視覺絕對定位研究[J].電子測量與儀器學報，2018（3）：1?8.

[10] 李秀娟，劉偉，李珊紅，等.基于雙目視覺導航的仿生機器人魯棒控制算法[J].計算機科學，2017，44（8）：318?321.

[11] 林碧華，張開淋，劉向軍.基于虛擬雙目視覺的電器電弧弧根三維運動特性的研究方法[J].電器與能效管理技術，2017（23）：1?5.

[12] IMPAIRMENT G. Effectiveness of conventional versus virtual reality based vestibular rehabilitation in the treatment of dizziness， gait and balance impairment in adults with unilateral peripheral vestibular hypofunction [J]. Journal of the American society for mass spectrometry， 2014， 17（5）： 661?671.

[13] 趙健，張冬泉.基于OpenCV的數字手勢識別算法[J].計算機應用，2013，33（z2）：193?196.

[14] 巫建輝.基于單目視覺的人機交互系統研究[J].工業控制計算機，2018，31（12）：7?8.