3D全景體育直播的HEVC編碼優(yōu)化

暴風(fēng)魔鏡是中國VR產(chǎn)業(yè)的先行者，公司成立于2015年1月，主要專注于移動(dòng)的虛擬現(xiàn)實(shí)。2017年第二季度，產(chǎn)品銷售量是350萬臺(tái)，月活躍用戶達(dá)到200萬。公司本身是硬件、軟件和VR平臺(tái)一起開發(fā)，是綜合性的VR平臺(tái)。

全景體育直播的核心問題是清晰度和碼率，根據(jù)我們的經(jīng)驗(yàn)，2兆碼率是普通家用WiFi的經(jīng)驗(yàn)值上限，3兆碼率是CDN加速和P2P傳輸?shù)慕?jīng)驗(yàn)值上限。對(duì)于180度的3DVR體育比賽，如果我們需要讓用戶看得很清楚，需要10兆以上的碼率。但是家用WiFi碼率做不到，如何突破3兆碼率的上限，如同把大象塞進(jìn)冰箱。

首先，對(duì)于VR全景圖像而言，其實(shí)有大量的天空和地面。為了提高效率，我們選擇使用Cube映射方式，對(duì)于180度包廂而言，相當(dāng)于把一個(gè)立方體切一半。但是對(duì)于體育比賽而言，絕大多數(shù)用戶關(guān)心的場景是在中心部分，用戶希望能看清運(yùn)動(dòng)員，所以，我們還會(huì)進(jìn)一步選取中間圖像，按照32∶9的格式取出3840×1080像素的圖像。因?yàn)槿擞凶笱酆陀已郏绻醋笥腋袷狡唇拥脑挘瑱M向分辨率可以達(dá)到7680像素，這個(gè)對(duì)傳輸仍然很不利，拼完之后從水平方向壓縮一半，最后的傳輸圖像是3840像素，最后大約能降低30%的碼率。

在一個(gè)賽場上，很多時(shí)候大量的背景是觀眾，對(duì)用戶而言這不是最重要的東西，球才是大家關(guān)注的重點(diǎn)，還有防守的人也需要更高的碼率。所以，應(yīng)該分成觀眾、球場以及中心區(qū)域，三個(gè)區(qū)域用不同的碼率來對(duì)待。但是如果真的分成三個(gè)部分，整個(gè)開發(fā)難度比較大，所以可以簡化一點(diǎn)，只分成兩個(gè)部分，這樣子也可以達(dá)到我們期望的效果。……