基于三維視覺的室內設計虛擬現實方法研究

師春艷

摘 要： 針對傳統基于輻射度算法的室內場景三維虛擬現實方法存在耗時高、建模效果差的弊端，研究基于三維視覺的室內設計虛擬現實方法，采用主動式、全方位立體視覺傳感器采集室內場景的三維點云數據，基于點云數據進行室內場景內的物體幾何關系以及擺放位置分布，完成室內三維場景的自主合成，對物體擺放位置分布實施訓練，通過三維場景點云數據集獲取相同類型支撐物中物體產生的位置，對數據實施歸一化操作，采用高斯混合模型擬合這些數據，訓練出三維室內場景中物件在支撐面中的位置分布模型。采用基于深度信息場景重構方法實現室內三維場景的虛擬實現。實驗結果說明，所提方法重構的室內場景直觀、視覺效果好，并且具有較高的重構效率和精度。

關鍵詞： 三維視覺； 室內設計； 虛擬現實方法； 場景； 點云數據； 高斯混合模型

中圖分類號： TN911.1?34； TP273 文獻標識碼： A 文章編號： 1004?373X（2018）05?0078?05

Abstract： Since the traditional indoor scene 3D virtual reality method based on radiancy algorithm has the disadvantages of high time consumption and poor modeling effect， the virtual reality method of indoor design based on 3D vision is studied. The active stereo omni?direction vision sensor （ASODVS） is used to collect the three?dimensional point cloud data of indoor scene. On the basis of point cloud data， the geometrical relationship of objects in indoor scene is analyzed， and the locating place distribution of the objects is trained to realize the autonomous synthesis of indoor 3D scene. According to the point cloud dataset of 3D scene， the position of the object in the same?type upholder is acquired to perform the normalization operation for the data. The Gaussian mixture model is adopted to fit the data， and obtain the trained position distribution model in support plane of the objects in 3D indoor scene. The depth information scene reconstruction method is used to implement the virtual realization of indoor 3D scene. The experimental results show that the method has intuitive reconstructed indoor scenes and perfect vision effect， and has high reconstruction efficiency and precision.

Keywords： 3D vision； indoor design； virtual reality method； scene； point cloud data； Gaussian mixture model

由于計算機仿真以及虛擬現實等技術的高速發展，室內場景的三維建模在火場救援、密室逃脫以及挖掘等領域中具有重要的應用價值。因此，采用有效的方法進行室內三維場景的虛擬實現，成為相關人員分析的熱點。傳統基于輻射度算法的室內場景三維虛擬現實方法存在耗時高、建模效果差等弊端[1]，因此，本文研究了基于三維視覺的室內設計虛擬現實方法，完成室內三維虛擬場景的準確重構。

1 基于三維視覺的室內設計虛擬現實方法研究

1.1 獲取室內場景的三維有序點云數據

為了對室內場景進行建模，本文采用主動式全方位立體視覺傳感器（Active Stereo Omni?direction Vision Sensor，ASODVS）掃描室內場景，獲取室內場景的三維有序點云數據具體過程如下：

1） 采用ASODVS采集室內全景圖像，將其標識成000000的文件名，存儲到全景圖像存儲文件夾中；

2） 通過移動面激光掃描；

3） 采用ASODVS采集模塊獲取室內全景掃描切片圖像，基于電機的變換速率和兩個極限點的時間，對移動面激光發生器的位置實施預測，將單視點到面激光發生器中心的垂直距離值當成全景掃描切片圖像的文件名，并將獲取的掃描切片圖像存儲到全景圖像存儲文件夾中；

4） 分析是否到達極限點位置，若到達則完成掃描，終止移動面激光掃描[2]；否則運行過程3）。

基于上述結果實施點云數據解析能夠獲取室內場景的點云數據，解析過程如下：

1） 依據值的降序分布情況，將室內全景掃描切片圖像從室內全景圖像存儲文件夾中采集出來；

2） 對獲取的室內全景掃描切片圖像進行實時預處理，提升激光投射點范圍；endprint

3） 基于不同的方位角逐次檢索總體室內全景掃描切片圖像，運算獲取激光投影的空間坐標；

4） 向點云數據文件夾內存儲含有色彩信息的掃描切片點云數據文件，標識各點云數據文件名為“值+.txt”；

5） 分析是否完成全部室內全景掃描切片圖像的檢索，若是則結束解析；否則采集新全景掃描切片圖像，運行過程2）。

ASODVS掃描獲取垂直方向基于值分布的大量切片圖像，解析這些圖像中的點云數據可獲取相關的切片點云數據。各切片點云數據在垂直方向中基于進行分布。解析各切片圖像過程匯總，檢索圖像實時方位角[3]，運算各點的三維空間坐標值，則各切片內的點云數據在水平方向基于方位角分布。本文通過點云矩陣保存點云數據，矩陣行用于描述掃描的120張室內全景切片圖像，矩陣列用于描述方位角的檢索結果，每次檢索的步長是0.36°，則存在1 000列，通過上述分析的室內場景檢索、點云數據解析和存儲過程，獲取的點云矩陣大小是120×1 000。

1.2 室內三維虛擬場景合成算法

1.2.1 總體結構

基于1.1節獲取的室內場景的三維有序點云數據，合成室內三維虛擬場景，總體結構如圖1所示。

合成室內三維場景過程包括輸入模塊、場景分析模塊、場景合成模塊以及輸出模塊。輸入模塊是室內場景的有序點云數據和室內場景中的物件種類以及數量。場景分析模塊由場景中物體間的幾何關系分析以及物體擺放位置分布模型訓練兩個部分構成。分析場景中的物體幾何關系時，需要實現物體支撐面的采集、檢測物體相交、支撐關系、接近關系以及共生關系。采集支撐面時，采集室內場景中各物體的支撐面，相交檢測時采用包圍盒的相交檢測算法確保物體在擺放過程中相互獨立。先實施室內場景中不同物體支撐關系的采集，再檢測物體間的接近關系，最終依據三維場景的數據集獲取室內三維場景中不同類型支撐物能夠支撐的物體種類以及產生頻率。

對物體擺放位置分布實施訓練，通過三維場景數據集獲取相同類型支撐物中物體產生的位置，對數據實施歸一化操作[4?5]，采用高斯混合模型擬合這些數據，訓練出位置分布模型。

本文設計任意擺放以及在指定支撐面中擺放兩種場景合成模塊，輸入室內場景在該量子算法的驅動下表現出兩種不同的輸出結果，任意擺放算法從輸入室內場景存在的多個支撐物中任意采集其中一個，從多個支撐面內旋轉一個實施擺放，依據任意過程運算出擺放點。在指定支撐面中擺放時分析了共生關系匯總出的結果，實現設置物體在擺放過程中能夠選擇的支撐物，在該支撐物存在的平面中任意選擇位置點實施擺放。采用場景合成模塊的兩種算法獲取兩種不同效果的室內設計合成場景。

1.2.2 物件任意自動擺放算法

物件任意自動擺放算法從室內場景存在的支撐物中任意選擇一個，從所選擇的支撐物中任意采用一個支撐平面，將小物件任意擺放到該平面中。物件任意自動擺放算法由任意采集支撐面、產生可用擺放點以及相交檢測構成。本文采用三維模型表面的均勻采樣算法，基于支撐面的面積任意采集支撐面，詳細過程如下：

1） 語義標識，在室內場景選擇支撐物的過程中，基于小物件的支撐語義標簽，得到的支撐平面數是用{SuppPlane1，SuppPlane2，…，SuppPlanek}描述。

2） 檢索個支撐平面，這些平面的面積是在數組CumAreas內存儲完成訪問的支撐平面面積，該數據是維數是支撐面數

3） 產生任意數。

4） 采集目標支撐面，對數組CumAreas實施檢索，獲取任意數的支撐平面的索引號[6]，則第個平面被選中的概率為：

則各平面被選擇的概率同平面的面積具有正相關性。

獲取支撐面后，依據接受?拒絕采樣在支撐面中產生有用擺放點，由支撐面基于其最長邊得到正方形，使得該正方形對總體支撐面進行覆蓋[7]。

合成三維場景時進行相交檢測，獲取具有兩個支撐平面的支撐物的場景合成結果，如圖2所示。

1.2.3 規定支撐面擺放算法

規定支撐面擺放算法在物體支撐的共生關系上，去掉室內場景中不滿足該關系的支撐平面，確保物件可擺放到合理的支撐面中，具體過程如下：

1） 對數據集內可擺放輸入物件的支撐物label實施匯總，基于物體支撐的共生關系，向文本文件內存儲場景集內可支撐輸入物件的label，向數組supporter_labels內存儲可擺放物件的支撐物label。

2） 對室內場景中全部支撐物label實施匯總，對用戶輸入的室內場景中各模型實施檢索，采集出支撐面后，將支撐面對應支撐物的label存儲到數組suppPlanes內。

3） 選擇支撐物label，對比分析前兩個過程獲取的支撐物label，在數組m_suppPlanes內存儲同一名稱的label，也就是存儲輸入室內場景中滿足輸入物件擺放并且滿足支撐共生關系的支撐物label。

4） 分析過程1）和2）中統計的支撐物label，若不存在名稱一致的支撐物，則將數組suppPlanes內的元素逐次存儲到數組m_suppPlanes內。

算法停止運算后，物件從算法中獲取m_suppPlanes數組內選擇的支撐面實施擺放。

規定支撐面的場景合成結果如圖3所示。從圖3能夠看出輸入場景包括地面、桌子以及茶幾，場景合成結果中包括臺燈、電腦、鼠標、飲料、茶杯等，實現了室內場景的準確合成。

1.3 基于高斯混合模型的物體位置分布

通過三維場景點云數據集獲取相同類型支撐物中物體產生的位置，對數據實施歸一化操作，采用高斯混合模型擬合這些數據，訓練出三維室內場景中物件在支撐面中的位置分布模型。

1.3.1 高斯混合模型endprint

若存在一批維觀測室內場景點云數據滿足獨立同分布，各點通過單高斯模型產生，均值以及樣本方差矩陣值不確定，該批數據通過個高斯模型產生，個單高斯模型加權和[8]，也就是高斯混合模型的表達式：

式中：表示各單高斯模型在混合模型內所占的比例；表示由相應單高斯模型產生的數據；是第個單高斯模型的概率密度函數的均值以及協方差矩陣。

則第個單高斯模型的概率密度函數為：

式中：權重需要符合條件的要求；是高斯混合模型的參數集。基于三個參數以及則能夠獲取高斯混合模型。

1.3.2 高斯混合模型的參數預測

基于室內場景點云數據樣本集預測高斯混合模型的全部參數。通過似然函數預測參數，對似然函數實施最大化操作完成參數的預測，高斯混合模型的似然函數為：

大量數字相乘后會出現浮點數下溢問題，則將似然函數變換成對數似然函數，對其最大化，獲取的對數似然函數為：

通過期望最高（Expectation Maximization，EM）算法分布迭代獲取最高值，得到最高值時各參數的值。

若完全數據集是，表示觀測到的不完全數據集，是融入的隱含變量。EM算法假設內數據同已知高斯模型獨立分布，且模型參數已知，則基于該模型運算出數據集內不同數據點由各單高斯模型產生的概率[9]。采用極大化似然函數修正參數值，循環該規程直至算法收斂。

基于EM算法的高斯混合模型參數預測過程如下：

1） 參數的原始值

通過K?means算法對觀測數據點實施聚類，表示聚類數，表示各類數的均值，運算得到各類樣本數占總樣本數的比例。

2） 算法過程

預測數據通過各高斯分布產生的概率。融入隱含變量其中，各運算用于描述各單高斯模型，則數據由產生的后驗概率為：

循環運行上述過程，對式（8）～式（10）的值實施循環更新，直至算法滿足收斂條件是更新參數后運算的值，如果算法收斂，則似然函數獲取最高值，參數對應的值則是各參數的最高似然預測值。

1.3.3 物體位置分布模型

采用物體共生關系采集算法獲取.sch文件以及.csv文件，各.sch文件內存儲通知類型支撐物中擺放的物體label。針對不同種類的支撐物，本文將擺放在該支撐物中的物體支撐點當成物體的位置坐標。對點云數據集內各廠家包含的支撐平面實施歸一化操作，將支撐平面變換成面積是1的正方形平面，對物體在支撐平面中的位置坐標實施歸一化操作，獲取.csv文件中的數據。基于該文件中的數據點坐標，采用高斯混合模型擬合這些數據點[10]，獲取室內場景中物體的位置分布模型。

1.4 基于深度信息場景重構

采用Kinect深度攝像機獲取室內場景的深度信息以及彩色信息，通過開源OpenNI向PC機內傳輸深度信息，PC機對深度信息實施坐標變換。采用濾波算法對深度圖像進行實時濾波以及降噪操作，對基于1.1小節獲取的室內場景點云數據實施配準和空間旋轉平移變換，并基于高斯混合模型獲取物體位置分布，在采用多邊形網格紋理映射后，采用PCL開源平臺中的PCLVisualizer類重構室內三維虛擬場景。

2 實驗結果與分析

2.1 實驗硬件環境

實驗采用Kinect傳感器采集室內場景的深度信息，通過主動式全方位立體視覺傳感器獲取室內場景的點云數據，采用聯想公司的PC機分析和處理數據，完成室內場景的三維重構。實驗的硬件設置和配置情況見表1。

2.2 實驗結果

2.2.1 重構效果分析

實驗采用Kinect深度攝像機以及主動式全方位立體視覺傳感器得到室內場景1和場景2某角落場景，采用高斯模型獲取物體位置分布情況，在PCL開源平臺下進行操作獲取的室內三維虛擬場景1和場景2的重構圖，分別如圖4和圖5所示。能夠看出，相對于基于輻射度算法的虛擬現實方法，利用本文方法獲取的室內場景三維重構圖，物體擺放效果逼真，表面光滑、輪廓清晰，具有較佳的視覺效果。

2.2.2 誤差分析

實驗統計兩種方法對場景1和場景2進行重構時的誤差情況，見表2。能夠看出，因為場景1區域比場景2小，所以兩種方法對場景1的重構誤差低于場景2，并且兩個場景中本文方法的重構誤差低于基于輻射度算法的虛擬現實方法，說明本文方法具有較高的室內三維場景重構精度。

實驗對兩種方法重構過程的時間統計情況見表3。

分析表3能夠看出，場景大小對運算時間的干擾較低，五個過程中預操作耗時最低，獲取物體位置分布耗時最高。本文方法對于不同場景中不同過程的重構過程耗時低于基于輻射度算法的虛擬現實方法，說明本文方法具有較高的室內三維虛擬場景重構效率。

3 結 語

本文研究了基于三維視覺的室內設計虛擬現實方法，重構的室內場景直觀、視覺效果好，實現了室內三維虛擬場景的高效率、高精度重構，具有較高的應用價值。

參考文獻

[1] 王云舒，劉建業，曾慶化，等.結構光輔助的慣性/視覺室內導航三維環境重構方法[J].中國慣性技術學報，2016，24（1）：51?58.

WANG Yunshu， LIU Jianye， ZENG Qinghua， et al. 3D environment restructure method with structured light for indoor vision/inertial navigation [J]. Chinese journal of inertial technology， 2016， 24（1）： 51?58.

[2] 吳乃亮，閆飛，卜春光.基于視覺里程計的移動機器人三維場景重構[J].華中科技大學學報（自然科學版），2015，43（z1）：337?340.endprint

WU Nailiang， YAN Fei， BU Chunguang. Mobile robot 3D environment reconstruction based on visual odometer [J]. Journal of Huazhong University of Science and Technology （natural science edition）， 2015， 43（S1）： 337?340.

[3] 李秀智，楊愛林，秦寶嶺，等.基于光流反饋的單目視覺三維重建[J].光學學報，2015，35（5）：228?236.

LI Xiuzhi， YANG Ailin， QIN Baoling， et al. Monocular camera three dimensional reconstruction based on optical flow feedback [J]. Acta optica sinica， 2015， 35（5）： 228?236.

[4] 高如新，王俊孟.雙目立體視覺求取三維坐標的方法研究[J].計算機仿真，2014，31（10）：296?300.

GAO Ruxin， WANG Junmeng. Study on some methods of 3D coordinate calculation of binocular vision [J]. Computer simulation， 2014， 31（10）： 296?300.

[5] 廖明，周良辰，閭國年，等.基于OpenGL驅動的三維場景重構[J].計算機應用研究，2015，32（4）：1276?1280.

LIAO Ming， ZHOU Liangchen， L? Guonian， et al. 3D scene reconstruction based on OpenGL [J]. Computer application research， 2015， 32（4）： 1276?1280.

[6] 李輝.基于虛擬雙目視覺的玉米葉片三維重建方法[J].科技通報，2016，32（5）：96?101.

LI Hui. 3D reconstruction of maize leaves based on virtual visual technology [J]. Bulletin of science and technology， 2016， 32（5）： 96?101.

[7] 朱笑笑，曹其新，楊揚，等.一種改進的KinectFusion三維重構算法[J].機器人，2014，36（2）：129?136.

ZHU Xiaoxiao， CAO Qixin， YANG Yang， et al. An improved KinectFusion 3D reconstruction algorithm [J]. Robot， 2014， 36（2）： 129?136.

[8] 董峰，王繼州.三維虛擬海洋圖像仿真在艦艇視覺中的應用[J].艦船科學技術，2015，37（9）：176?180.

DONG Feng， WANG Jizhou. Application of 3D virtual ocean image simulation in naval ships vision [J]. Ship science and technology， 2015， 37（9）： 176?180.

[9] 肖建良，張程，李陽.基于Unity3D的室內漫游系統[J].電子設計工程，2016，24（19）：54?56.

XIAO Jianliang， ZHANG Cheng， LI Yang. The indoor roaming system based on Unity3D [J]. Electronic design engineering， 2016， 24（19）： 54?56.

[10] 韋爭亮，古耀達，黃志斌，等.雙目立體視覺中特征點三維坐標重構校準研究[J].計量學報，2014，35（2）：102?107.

WEI Zhengliang， GU Yaoda， HUANG Zhibin， et al. Research on calibration of three dimensional coordinate reconstruction of feature points in binocular stereo vision [J]. Journal of metrology， 2014， 35（2）： 102?107.endprint