基于Cloud VR的數(shù)據(jù)可視化研究

褚衛(wèi)艷（中國(guó)聯(lián)通網(wǎng)絡(luò)技術(shù)研究院，北京 100048）

1 概述

目前VR 在垂直行業(yè)的應(yīng)用有了突飛猛進(jìn)的發(fā)展，隨著5G網(wǎng)絡(luò)的建設(shè)，VR的發(fā)展進(jìn)入了關(guān)鍵期。特別是增強(qiáng)移動(dòng)寬帶的發(fā)展，推動(dòng)VR 應(yīng)用的快速落地。VR 與可視化技術(shù)應(yīng)用-虛擬城市是綜合地運(yùn)用GIS、遙感、遙測(cè)、網(wǎng)絡(luò)、多媒體及虛擬仿真等技術(shù)，對(duì)城市內(nèi)的基礎(chǔ)設(shè)施、功能機(jī)制進(jìn)行自動(dòng)采集、動(dòng)態(tài)監(jiān)測(cè)管理和輔助決策的數(shù)字化城市，是智慧城市建設(shè)的重要保障。

隨著5G 網(wǎng)絡(luò)的商用，5G 網(wǎng)絡(luò)高速率、低時(shí)延的優(yōu)勢(shì)將大大提高Cloud VR用戶體驗(yàn)。

5G Cloud VR需要良好的生態(tài)，生態(tài)圈各方協(xié)同合作，有利于產(chǎn)業(yè)發(fā)展，虛擬現(xiàn)實(shí)技術(shù)將成為數(shù)字時(shí)代的殺手锏應(yīng)用。數(shù)據(jù)可視化工具可以幫助分析人員直觀的看出業(yè)務(wù)的發(fā)展趨勢(shì)以及存在的問(wèn)題，但是目前無(wú)法呈現(xiàn)復(fù)雜分析結(jié)果，Cloud VR 可以深入挖掘數(shù)據(jù)，能夠清楚地展示數(shù)千個(gè)數(shù)據(jù)點(diǎn)的詳細(xì)情況，并提供沉浸式和交互式的數(shù)據(jù)分析方式。

1.1 可視化面臨的挑戰(zhàn)

可視化技術(shù)包括空間數(shù)據(jù)的可視化和非空間數(shù)據(jù)的可視化，空間數(shù)據(jù)的可視化技術(shù)顯示的對(duì)象涉及標(biāo)量、矢量和張量等不同類別的空間數(shù)據(jù)；而非空間可視化技術(shù)，顯示的對(duì)象主要是多維的標(biāo)量數(shù)據(jù)。

雖然數(shù)據(jù)可視化展示技術(shù)日益成熟，但在高速圖像變換方面仍面臨挑戰(zhàn)，數(shù)據(jù)分析人員可以觀察數(shù)據(jù)，但無(wú)法對(duì)數(shù)據(jù)強(qiáng)度變化做出分析。

目前可視化速度較低，對(duì)性能要求不高，動(dòng)態(tài)可視化對(duì)性能要求較高。可感知的交互的擴(kuò)展性也將面臨較大挑戰(zhàn)，從數(shù)據(jù)庫(kù)中查詢大規(guī)模數(shù)據(jù)將帶來(lái)高延時(shí)，降低交互體驗(yàn)。在大數(shù)據(jù)可視化中，大規(guī)模數(shù)據(jù)以及高維數(shù)據(jù)展示較難。因此，Cloud VR 是VR 在可視化領(lǐng)域走向普及的必然選擇。

1.2 Cloud VR

實(shí)時(shí)仿真是VR 技術(shù)的核心內(nèi)容，主要是對(duì)真實(shí)環(huán)境進(jìn)行三維建模，重點(diǎn)在于“實(shí)時(shí)”，在多個(gè)垂直領(lǐng)域都有一定的應(yīng)用。

目前體驗(yàn)較好的VR 多是PC VR 終端設(shè)備，需要用戶購(gòu)買昂貴主機(jī)或者高端PC，大大提高了VR 的使用門檻。

Cloud VR 將云計(jì)算技術(shù)引入VR 業(yè)務(wù)中，借助高速穩(wěn)定的5G 網(wǎng)絡(luò)，使內(nèi)容經(jīng)過(guò)編碼壓縮后傳輸?shù)浇K端。Cloud VR流程如圖1所示。

圖1 Cloud VR流程圖

為了保證云渲染業(yè)務(wù)的QoS，可構(gòu)建邊緣計(jì)算，邊緣計(jì)算可以很好地降低傳輸距離帶來(lái)的時(shí)延；利用邊緣計(jì)算服務(wù)集群大的CPU、GPU 計(jì)算能力，構(gòu)建靠近用戶的VR云渲染。

VR 終端設(shè)備功能包括終端顯示屏幕，用于將服務(wù)器端輸出的圖像進(jìn)行顯示，使用戶可以觀看；傳感器，用于即時(shí)獲取頭戴式顯示設(shè)備的位置信息和朝向信息，進(jìn)行頭部運(yùn)動(dòng)和眼睛方向的跟蹤。

云渲染系統(tǒng)的流程為：從傳感器中獲取頭戴式顯示器設(shè)備的位置信息和朝向信息進(jìn)行頭部跟蹤，并將坐標(biāo)和旋轉(zhuǎn)信息反饋至應(yīng)用程序；應(yīng)用程序通過(guò)云渲染模塊對(duì)反饋的信息進(jìn)行處理，設(shè)置坐標(biāo)矩陣，將處理過(guò)的圖像通過(guò)頭戴式顯示設(shè)備的硬件抽象層傳輸給VR 設(shè)備，用戶通過(guò)雙眼看到反饋后更新的畫面，還能夠通過(guò)偵測(cè)用戶眼睛的活動(dòng)來(lái)完成通過(guò)眨眼控制的動(dòng)作。

2 Cloud VR可視化解決方案

Cloud VR 可視化解決方案架構(gòu)共分4層：VR 技術(shù)與可視化、云平臺(tái)、網(wǎng)絡(luò)層、終端，Cloud VR 可視化解決方案架構(gòu)如圖2所示。

圖2 Cloud VR可視化解決方案

a）VR 技術(shù)與可視化：基于Unity平臺(tái)和DXR 可視化工具，生產(chǎn)VR 可視化內(nèi)容，向VR 業(yè)務(wù)專用系統(tǒng)提供特定指標(biāo)要求的高質(zhì)量?jī)?nèi)容，實(shí)現(xiàn)VR 內(nèi)容的快速引入和聚合。

b）云平臺(tái)：業(yè)務(wù)場(chǎng)景為大數(shù)據(jù)量、強(qiáng)交互類VR業(yè)務(wù)，云平臺(tái)需要新建VR 業(yè)務(wù)專用系統(tǒng)，比如：云渲染平臺(tái)、邊緣計(jì)算平臺(tái)等，來(lái)顯示VR 內(nèi)容的正常生產(chǎn)和發(fā)放。

c）網(wǎng)絡(luò)層：用戶可通過(guò)家庭寬帶接入，也可通過(guò)5G 移動(dòng)網(wǎng)絡(luò)接入，為Cloud VR 提供大帶寬、低時(shí)延的穩(wěn)定傳輸。

d）終端：負(fù)責(zé)Cloud VR 業(yè)務(wù)接入、內(nèi)容呈現(xiàn)以及用戶鑒權(quán)等工作。為了能讓用戶獲得流暢的業(yè)務(wù)體驗(yàn)，終端需要支持異步渲染技術(shù)。

3 Cloud VR關(guān)鍵技術(shù)

目前大部分VR 可視化應(yīng)用都是基于Unity3D 環(huán)境開發(fā)的，本文研究基于DXR（Data visualization for eXtend Reality）的一個(gè)開源的VR可視化構(gòu)建工具。

3.1 VR技術(shù)與可視化

a）Unity。Cloud VR 平臺(tái)基于Unity 技術(shù)，開發(fā)者通過(guò)Unity 平臺(tái)，集成HVR SDK，搭建本地開發(fā)平臺(tái)，開發(fā)數(shù)據(jù)可視化應(yīng)用。

b）DXR：沉浸式可視化工具。DXR是虛擬現(xiàn)實(shí)情景下數(shù)據(jù)展示的開源工具，可通過(guò)它實(shí)現(xiàn)大數(shù)據(jù)在3D圖表中的展示。DXR 支持多種展示樣式，樣式配置支持JSON數(shù)據(jù)格式，如圖3所示。

圖3 DXR數(shù)據(jù)配置格式示意圖

DXR 中的可視化是由GameObject預(yù)制體Pre-prefab表示的，它可以被添加到Unity場(chǎng)景中，并可以進(jìn)行編輯。Pre-prefab從文檔vis-specs讀取可視化映射。

DXR的構(gòu)成流程如圖4所示。

圖4 DXR流程圖

DXR 采用分層開發(fā)策略，對(duì)于不同層次的開發(fā)人員，提供了不同的使用方法。非編程人員可以通過(guò)簡(jiǎn)單的預(yù)制件拖拽和文檔綁定，并通過(guò)GUI 進(jìn)行屬性映射得到一個(gè)可視化結(jié)果；有一定經(jīng)驗(yàn)的開發(fā)者可以通過(guò)腳本添加更細(xì)節(jié)的映射關(guān)系，并可以自定義標(biāo)記預(yù)制件；進(jìn)階開發(fā)者可以通過(guò)派生類為marks 類添加更多自定義屬性和更復(fù)雜的表現(xiàn)樣式。

3.2 VR云渲染

Cloud VR 的主要過(guò)程在于渲染。渲染是把幾何圖元描述成圖形或圖像，具體就是根據(jù)光學(xué)原理的光照模型計(jì)算物體可見面投影到觀察者眼中的光亮度大小和色彩，并把它轉(zhuǎn)換成適合顯示設(shè)備的顏色值，從而確定投影畫面上每一像素的顏色和光照效果，最終生成具有真實(shí)感的圖像。真實(shí)感圖像根據(jù)物體表面的材料性質(zhì)、表面向視線方向輻射的光能計(jì)算得來(lái)，計(jì)算復(fù)雜，計(jì)算量很大。VR 云渲染核心模塊如圖5所示。

圖5 VR云渲染核心模塊圖

VR 云渲染技術(shù)是一種以云計(jì)算和網(wǎng)絡(luò)串流技術(shù)為基礎(chǔ)的云應(yīng)用，它將三維可視化應(yīng)用放在云端服務(wù)器運(yùn)行，并將渲染結(jié)果（視頻流+音頻流）壓縮，通過(guò)網(wǎng)絡(luò)傳輸給用戶，在用戶終端進(jìn)行解碼、顯示，同時(shí)再將用戶操作（控制流）傳輸回渲染服務(wù)器，最終實(shí)現(xiàn)用戶和虛擬世界的實(shí)時(shí)互動(dòng)。VR 云渲染技術(shù)應(yīng)用場(chǎng)景示例如圖6所示。

圖6 VR云渲染技術(shù)應(yīng)用場(chǎng)景示例圖

高速且低延遲的5G 將突破云渲染的帶寬和延遲瓶頸，解決阻礙VR 云渲染發(fā)展的問(wèn)題，從而實(shí)現(xiàn)VR終端、PC、平板電腦、手機(jī)等設(shè)備在實(shí)時(shí)3D 渲染畫面上的同步。電信運(yùn)營(yíng)商依托5G 全面部署MEC，中國(guó)聯(lián)通也已在全國(guó)開展MEC應(yīng)用試點(diǎn)。

4 結(jié)束語(yǔ)

引入VR 技術(shù)，數(shù)據(jù)實(shí)現(xiàn)沉浸式、多維度的可視化和交互，Cloud VR 解決方案的提出和成熟，使大數(shù)據(jù)、強(qiáng)交互的可視化展示得以實(shí)現(xiàn)。基于Cloud VR 的可視化和交互方式比傳統(tǒng)三維建模方法展示的尺度和分辨率更好，交互效果更加身臨其境。

Cloud VR 在VR 業(yè)務(wù)中引入云計(jì)算、云渲染技術(shù)，實(shí)現(xiàn)VR 業(yè)務(wù)內(nèi)容上云、渲染上云，VR 的渲染具有較大的時(shí)延，而邊緣計(jì)算作為5G 的重要技術(shù)之一，在靠近接入側(cè)的邊緣機(jī)房部署網(wǎng)關(guān)、服務(wù)器等，將低時(shí)延業(yè)務(wù)的數(shù)據(jù)在邊緣服務(wù)器處理和傳輸，進(jìn)而降低時(shí)延，有效提高用戶體驗(yàn)。

當(dāng)前Cloud VR 平臺(tái)的建設(shè)還處于初級(jí)階段，基于Cloud VR 平臺(tái)的可視化技術(shù)需求越來(lái)越多，相信隨著5G 網(wǎng)絡(luò)的日益完善和成熟，云VR 平臺(tái)建設(shè)會(huì)逐漸標(biāo)準(zhǔn)化，可視化技術(shù)在垂直行業(yè)將發(fā)揮重要作用，給社會(huì)帶來(lái)巨大的便利和影響。