基于DASH的全景視頻傳輸應用研究

楊福星 孫博文 夏進

摘要：隨著虛擬現實的興起，全景視頻業務迎來了快速的發展期。然而，全景視頻較于傳統視頻有著更大的數據量，往往網絡環境并不足以支撐全景視頻的在線播放，用戶在觀看全景視頻時會出現卡頓、模糊、黑屏等影響用戶體驗的現象。基于HTTP的DASH技術的發展，為解決全景視頻傳輸所面臨的問題帶來了很大的助益。文章闡述了全景視頻技術以及DASH的發展，提出了一種基于DASH的全景視頻自適應傳輸方法。

關鍵詞：全景視頻；DASH；自適應傳輸；用戶視窗

目前，Youtube和Facebook都已經支持智能終端（智能手機、頭戴式顯示器）對全景視頻的觀看，各大公司也加大研究制定針對360度全景視頻傳輸的方案。Facebook公布的視頻轉碼工具宣稱可以節約80%的帶寬，而HHI提出基于切片的HEVC編碼方案。然而，如何在節約帶寬的情況下保證全景視頻用戶的體驗度（Quality of Experience，QoE）則是目前研究的熱點。 VR和全景視頻業務正在快速增長。全景視頻因其具有更高的比特率和更大的分辨率，給網絡流傳輸帶來了挑戰。然而，通過仔細研究全景視頻特性表明，從基于用戶視窗的角度出發，我們有顯著的機會來減少傳送到客戶端設備的實際比特率。根據分析發現，全景視頻在比特率方面變化波動性較小，并且比傳統視頻少運動，由于攝像機在傳統視頻中的運動（或攝像機之間的切換）而引起的比特率的變化現在被轉換為端對端全景流式架構的響應要求。

本文中，我們設計了一個基于動態自適應流（ DynamicAdaptive Streaming over HTTP， DASH）的全景視頻自適應傳輸方法。該方法綜合考慮了網絡環境和緩沖區狀態以及用戶視窗對全景視頻傳輸的影響，借助于DASH技術自適應傳輸全景視頻。

1 相關工作

國內外對于傳統視頻的傳輸做了大量的研究工作。Pessemier等[1]提出了一種視頻質量動態優化方法，此方法實現了當網絡環境變化時視頻質量自適應調整，但并未考慮緩沖區對視頻傳輸的影響，造成碼率頻繁切換或出現卡頓現象。Alberti等[2]提出了一種基于DASH的增強自適應方法，通過將用戶的體驗質量評估結果作為自適應決策的控制因素，建立QoE模型。De Cicco等[3]建立了視頻流切換控制系統，通過調整服務器端的發送速率將緩沖區狀態控制在目標范圍內，但并未考慮到切換的平滑過渡，影響用戶體驗質量。Zhou等[4]提出了基于控制理論的方法控制緩沖區長度和碼率自適應，達到穩定地調整視頻碼率及切換視頻質量的目的，避免了傳統的基于緩沖區的碼率自適應方法帶來的視頻碼率震蕩的問題。Qian等[5]運用模糊邏輯理論控制發送速率，提出了一種無線網絡中基于QoE的實時視頻自適應傳輸算法，動態調整視頻質量，改善用戶體驗，但并未考慮緩沖區對用戶體驗質量的影響。Xu等[6]建立了碼率切換的QoE分析模型來預測無線網絡中自適應流媒體的QoE，該模型可計算播放緩存匱乏概率、連續播放時間以及平均視頻質量，在綜合考慮當前緩存長度和信道狀態時，用戶可利用該模型預測待選的切換策略的QoE，在保證QoE的情況下選擇合適的切換策略。Suh等[7]從降低成本的角度出發，將碼率自適應過程建模為馬爾科夫決策過程，在蜂窩網與WiFi的環境中靈活切換，在播放不中斷的情況下減少蜂窩網數據的使用。 全景視頻通常比傳統視頻消耗更多帶寬，因為它們需要更多數據才能覆蓋所有空間方向。由于這種豐富的視頻模式帶來的高容量需求，要求考慮如何在滿足用戶體驗質量的同時實現可行且可接受的限制帶寬消耗的方法。DASH技術的發展使得能夠以最適合于可用帶寬的質量來傳送內容，以使流的停滯最小化。

目前，國內關于全景視頻傳輸的研究較稀少，而國外的全景視頻傳輸的相關研究大多數還是處于實驗室研究階段，尚未達到成熟階段。雖然關于傳統視頻傳輸的相關研究在國內外都取得了很大的進展和突破，但隨著視頻模式的變化，已有的傳統視頻傳輸方式并不能很好地解決全景視頻傳輸所帶來的問題，挑戰仍然存在。新的視頻形式需要有效傳輸數據的新方法，以減輕網絡和用戶的負擔。在本文中，在傳統視頻傳輸技術的基礎上，我們著重提高對全景視頻的特性以及對流媒體的理解，綜合考慮網絡環境、緩存狀態和用戶視窗，基于DASH技術自適應傳輸全景視頻。

2 基于DASH的全景視頻自適應傳輸方法

基于DASH的全景視頻自適應傳輸方法的基本架構如圖1所示。服務器端存儲全景視頻的切片集，DASH客戶端根據服務器端傳送的媒體文件展示描述（Media PresentationDescription，MPD），再結合網絡環境、緩存區狀態以及用戶視窗選擇下載不同質量等級的視頻集合，達到自適應傳輸全景視頻的目標。

DASH于2011年成為國際標準，現已是目前業界內大力研究的ISO標準（ISO/IEC 23009-1）。快速的啟動時間、較好的用戶體驗以及較少的緩沖是DASH技術最顯著的特點。DASH技術通過探測終端的狀態和網絡環境，配合自適應決策算法，智能自適應地傳輸視頻。DASH技術根據當前網絡質量和終端能力，自適應地切換不同碼率的視頻片段進行傳輸，客戶端播放器會根據現有的資源采用不同速率的流進行解碼播放，保障用戶在當前網絡環境下得到最流暢的視頻播放體驗。DASH緩解了全景視頻對網絡的高負載，確保了用戶的體驗質量。

本研究根據不同用戶視窗對視頻內容進行分區處理，按照與用戶視窗距離遠近的程度對視頻內容進行等級分區劃分。為了確保用戶當前觀看時的視頻內容的質量以及視頻播放的流暢度，本研究對不同視頻分區內容進行組合，再進行傳輸，達到根據用戶視窗傳輸不同視頻組合內容的目的。根據用戶視窗的分級反饋機制，將反饋得到的視頻分區信息與媒體文件展示描述（Media Presentation Description，MPD）[8]內的空間關系描述（Spatial RelationshipDescription，SRD）[9]攜帶的全景視頻子柵格的空間信息（x，y，width，high）進行匹配，獲取視頻分級劃分映射到二維平面全景視頻柵格文件上，確定視頻柵格文件質量等級劃分。最后，結合當前網絡環境對全景視頻傳輸的影響，合理確定某一等級比來進行自適應視頻傳輸。全景視頻自適應傳輸保證了用戶觀看視頻清晰度以及流暢度，極大地確保了用戶體驗質量QoE的高水平。本方法的整體流程設計方案如圖2所示。

3 結語

本研究首先對全景視頻和DASH技術的發展進行了簡單介紹，然后提出了一種基于DASH的全景視頻自適應傳輸方法，將網絡吞吐量、視頻資源緩存以及用戶視窗作為自適應決策的主要參數。本研究將龐大的VR全景視頻以及底層3D幾何劃分為360度空間的空間分割區域，利用DASH空間關系描述SRD與用戶視窗的語義鏈接來提供動態視窗感知，然后基于動態視窗感知來削弱巨大的流帶寬需求。本研究的初步實驗結果表明，在保證用戶當前視窗的視頻質量與用戶體驗度QoE的同時，有效節省了全景視頻傳輸過程中的帶寬。