淺析VR技術及其視頻端到端的過程

李 強

內蒙古廣播電視臺 內蒙古 呼和浩特市 010050

1 VR技術概要

VR 技術是計算機技術、傳感技術、機器人技術、人工智能、仿生學、物理學等眾多學科飛速發展的結果。主要依賴于三維圖形實時顯示、三維定位追蹤、觸覺傳感技術、人工智能技術、高速計算與并行計算技術，以及人的行為學研究等多項關鍵技術的發展。虛擬現實技術有以下幾個特點：

第一，交互性（Interactivity）是指使用者與虛擬場景中各種對象相互作用的能力，它既包括場景中對象的可操作程度，又包括使用者從環境中得到反饋的自然程度。用戶通過專門的設備來實現對模擬環境的作用，同時實現對設備的操控，它是人機和諧的關鍵性因素。

第二，構想性（Imagination）是指借助虛擬現實技術，實現抽象概念的具象化。在虛擬現實系統中，人們不僅可以直觀的體驗到虛擬世界里各種對象帶給的新奇感受，而且還能通過人類的思想意識，發揮主觀能動性，去積極構想和創造新的事物。可以說VR 是啟發人的創造性思維的活動。

第三，沉浸感（Illusion of Immersion）是指使用者通過借助各種設備使其意識完全進入到計算機創建的虛擬環境中，他的各種感知（包括視覺、聽覺、觸覺、嗅覺等）如同在現實環境中的感受一樣真實。VR技術利用計算機生成的模擬環境，通過多源信息融合交互、三維動態視景和實體行為的系統仿真，能使用戶得到真正的沉浸式體驗。

其中VR 視頻是指全景視頻，用專業的VR 攝影設備將現場環境真實地記錄下來，再通過計算機進行后期處理，所形成的可以實現三維空間展示功能的視頻。如水平360°x 垂直360°全景視頻，用戶可借助VR虛擬現實設備觀看全景視頻，并獲得身臨其境的感受。

圖1 觀看VR視頻典型流程

2 用戶交互

什么樣的技術才能做到真正的VR 沉浸感呢？其實VR 沉浸感，最終表現為用戶交互。而對于用戶交互，有幾種技術方案選擇。

2.1 頭部追蹤

VR 頭戴式設備中的頭部跟蹤系統可跟蹤你的頭部向側面移動的角度。它為方向和運動分配X，Y，Z 軸，并涉及諸如加速度計、陀螺儀、光學捕捉設備。頭部跟蹤要求低等待時間，即50 毫秒或更短，否則用戶將感覺到頭部運動和模擬之間的延時。

2.2 眼動追蹤

某些頭戴設備包含紅外控制器，該控制器可在虛擬環境中跟蹤眼睛方向。這項技術的主要好處是可以獲得更真實，更深入的視野。

2.3 運動追蹤

事實上，沒有運動跟蹤，VR 將受限制，無法四處張望和四處走動，而運動追蹤將把VR提升到一個全新的水平。6DoF是六自由度的簡稱，分別指代虛擬世界中的位置坐標和姿態坐標。6DoF 產品不僅可以感知到使用者的頭部轉動，還可以獲取到使用者在虛擬世界中空間位移和身體運動，從而使用戶能夠便捷的使用身體位移來變換位置，并且可以用手去摸，抓取物品等，與虛擬世界交互。6DoF 產品除了最基礎的用于觀看視頻外，還能用于游戲、健身、知識學習等更廣泛的領域，讓真實的你與虛擬世界融為一體，真正感受VR 帶來的獨特奇幻體驗。3DoF 是三自由度的簡稱，與6DoF 相比它僅有姿態坐標，而不具備位置坐標，相當于在虛擬世界中的眼睛，用戶可以以頭部為中心環視虛擬世界的畫面，因此3DoF產品僅用于觀影體驗。

相比較傳統的3DoF，6DoF通過與3D 空間概念的結合，支持運動跟蹤的選項分為光學跟蹤和非光學跟蹤兩類。光學跟蹤通常是頭戴式設備上的攝像頭，用于跟蹤運動，而非光學跟蹤是指在設備或身體上使用其他傳感器。實際上，大多數現有設備都結合了這兩種選擇。

通常，使用VR 設備可實現100～110°的視野。下一個關鍵功能是每秒的幀速率，該速率至少應為60fps，以使虛擬仿真看起來足夠逼真。早期VR 頭戴設備的6DoF 定位，主要是依靠在場地中架設額外的設備配合眼鏡里的定位marker 來實現定位，而近年來興起的定位技術，則是靠頭盔上自帶的攝像頭拍攝外部景物，來反向估計自己的姿態，進行定位。與早期的外部定位技術相比，新的定位技術可以使用戶免去了復雜的外部設備架設環節，使得VR 頭戴設備在使用上和便捷性上有了很大的提升。

3 VR視頻端到端的過程

真正的VR 技術給我們帶來的是全方位的感官體驗，使我們沉浸其中，而最直接、最具體的感受首先是視覺上的。因此我們就需要分析研究怎樣把獲得的VR 視頻，從前端的服務器送到終端的顯示器上，使我們在虛擬的環境中得到真實的體驗。

3.1 前期視頻拍攝和虛擬現實場景設計制作

全景拍攝是虛擬現實技術中非常重要的環節，全景視頻360°無死角還原現場的特點，讓VR 技術的“沉浸感”得到最好的體現。攝像機處于中心位置向外360°進行拍攝，隨后對各方向視頻進行全景拼接。VR視頻拼接算法，一種是基于變換的拼接算法，就是通過對單應性矩陣進行調整，再通過網格化的扭曲，使重合區域的拼接縫隙盡可能減小；另一種是基于拼接線的拼接算法，通過對圖像拼接線部分的重新調整，確保拼接的自然性。用戶固定觀看位置，支持頭部轉動，以頭部為中心選擇視角方向，觀看改變方向的相應畫面。

除了全景拍攝實景外，虛擬現實應用領域里大量的產品圖像輸出畫面，完全由計算機圖形系統渲染輸出的。此外，使用者的空間運動數據信息也實時的通過VR 設備的SDK（軟件開發工具包）和API（應用程序接口）傳入計算機系統里進行計算，最終反應在圖形系統里并給出對應的反饋。使用VR 技術可以從兩方面逾越傳統影視中的一些屏障：一者，可以運用數字技術，復原某些歷史中存在的場景、事物、打破時間和空間的限制；二來可以運用數字技術，發揮創作者的想象力和創造力，建構某些在現實中未必存在的場景。

圖2 ERP映射模式

3.2 VR 視頻映射與編碼

H.264、H.265、AVS2 是 目前最主流的視頻編碼協議，得到眾多編解碼軟硬件的支持，但它們都是傳統平面視頻編碼技術不斷演進的結晶，并不能原生支持基于球面的VR 視頻，因此需要先把球面投影到平面，才能通過已有的成熟協議、軟件和硬件把VR 視頻傳播出去。因此，視頻映射是VR 視頻編碼的預處理環節，目前專門針對VR 視頻的編碼標準仍在研究中，通常將360°的二維球面視頻圖像映射成為二維平面矩形視頻圖像，再送入編碼器進行編碼傳輸。

映射：VR 視頻映射是指將球面全景視頻表示為適于壓縮編碼的平面視頻，即將球面全景圖像轉化映射成為二維平面圖像，最常用的是等距圓柱映射和正六面體映射模型。

3.2.1 等距圓柱映射（ERP）

ERP 映射模型是在VR 視頻中使用最廣泛的映射模型，經緯圖模型只有一個投影面。它的實現過程如下：首先在平面長寬比為2:1 的矩形區域內按照目標分辨率進行均勻的像素格劃分，得到長為m 等分寬為n 等分的分割，然后按照矩形的長和寬在球面上進行均勻的經線和緯線采樣，將經線m 等分，緯線n 等分，獲得球面網格。等距圓柱體投影最大的優勢就是其直觀的投影方式，完全線性的變換公式使得其易于操作。

3.2.2 正六面體映射（CMP）

CMP 映射模型有6 個映射面，分別將360°球體視頻圖像映射到6 個面上，然后拼接為矩形的一種投影方式，具體的操作其實就是簡單的坐標比例縮放。由于立方體模型具有極好的對稱性，所以在與球面進行相互投影的過程中可以大大降低計算復雜度，并且面與面之間的投影關系是一致的。如圖3所示。

圖3 CMP映射模式

壓縮編碼：映射后的VR 視頻可采用普通視頻的編碼技術進行壓縮。目前應用較多的視頻編碼技術是H.264、H.265、AVS2 等，在保證同等畫質的前提下，H.265 和AVS2 的壓縮效率大約比H.264 提升50%左右。下一代編碼技術H.266 與AVS3的目標壓縮效率比H.265 與AVS2 提升一倍。碼率是影響VR視頻在終端接收和觀看清晰度的重要指標。8K/50P 的視頻，采用H.265 或AVS2 編碼，碼率需80～100Mbps。

3.3 VR 視頻傳輸

VR 視頻數據量大，現階段要觀看4K 影片，至少需要25～50Mbps 以上的速率；8K 的VR視頻需要80～100Mbps 速率，將來30K 的VR 視頻預計需要800～1000Mbps 的速率。目前互聯網帶寬限制影響用戶體驗，而廣電自有網絡帶寬38Mbps，能夠高效順暢支持4KVR 節目傳輸，保證節目的清晰流暢。如果真正進入5G 時代，（5G 網絡的傳輸速率可達到10Gbps，是4G 的100 倍；傳輸時延可達到1ms 級別，是4G 的1/50），將有望助力VR 真正落地，擴展更多的應用領域。

由于VR 視頻數據量大，傳輸時要占用更多的網絡資源，而全視角傳輸方案是將360°環繞的畫面都傳輸給終端，當用戶頭部轉動需要切換畫面時，所有的處理都在終端本地完成。采用全視角傳輸方案，由于觀看者在觀看時，實際只能看到當前視野，看不到的部分占了網絡帶寬，但沒有真正用到，從而對網絡資源造成了較大浪費。因此，提出了FOV（Field of View，視場角）傳輸方案，傳輸當前視角中的可見畫面，將360°全景視野劃分為若干個視角，每個視角生成一個視頻文件，只包含視角內高分辨率和周圍部分低分辨率視覺信息，終端根據用戶當前視角姿態位置，向服務器請求對應的視角文件，只將視角區域進行高質量傳輸，不涉及非視角區域。VR 視頻應用的全視角傳輸帶寬要求達到140Mbps，FOV傳輸帶寬只要求達到75Mbps。

圖4 VR視頻端到端系統框圖

3.4 終端渲染和顯示

目前，VR 全景視頻一般采用投影方式，每一幀畫面為矩形畫面，VR 全景視頻播放過程具體如下：

（1）VR 服務器按照順序將VR 全景視頻通過流媒體方式下發給VR 顯示終端；

（2）VR 顯示終端通過相應流媒體協議進行下載，解析和解碼后獲取到每一幀矩形視頻畫面；

（3）將相應的矩形畫面渲染為球狀畫面；

（4）根據用戶眼睛觀看方向確定用戶在所述球狀畫面中所能觀看到的區域，并從所述球狀畫面中獲取所述區域的畫面；

（5）對所獲取的畫面進行桶形反畸變處理，并將處理后的畫面渲染至顯示屏中進行顯示。

上述就是關于VR 的概況和視頻流程分析。當然，目前VR的發展還面臨很多挑戰，例如，拍攝時如何隱藏設備和制作人員；鏡頭快速移動造成用戶觀看時感覺頭暈；前端制作和傳輸分發過程中，需要考慮到各種終端對不同映射模型的適配情況；VR 高質量畫面的傳輸遠遠超出了當前網絡資源的范圍；眼鏡、頭盔等VR 終端設備長時間使用對人眼的傷害等。但我們相信，隨著科技的發展，VR 技術會給我們帶來更好的體驗和更廣泛的應用。