基于LBS平臺的全景直播功能的研究與實現

李璇

摘 要 隨著新媒體時代的來臨，移動互聯網相關的創新型產業成為了市場上的焦點，體育視頻直播就是其中一個具有代表性的文化創業產業，全景攝像機也逐漸受到社會的關注，該類相機不僅可以對運動的整個區域進行全面的把握和掌控還能真正意義上做到全方位無死角的場景觀測。隨著VR技術的快速發展市場的不斷擴大，VR虛擬設備研發團隊不斷探究幫助人們在網絡和計算機虛擬世界中更加清晰地體驗現實、重建現實和改造現實。VR技術使大場景難以觀看的體育全景重現更加全面真實給人帶來身臨其境的感覺，體育運動項目繁多，極具表演性和觀賞性，擁有大量的受眾。基于運動實時性的比賽與不可預測的比賽結果需要媒介給予即時、準確的報道，運動廣泛而有力的傳播也是吸引受眾帶動社會發展的過程。運用360度全景成像技術可以獲得單視點在周圍360度觀察方向上的比賽場景信息使得觀看比賽的觀眾能夠更快更準確的感知周圍場景的變化，比以往傳統的視頻圖像處理技術有著實質性的進步。近年來基于影像的三維可視化正成為視頻直播的熱點，而VR全景影像就是三維可視化的一種既經濟又高效的表達方法。

關鍵詞 全景視頻 賽事直播 虛擬現實

1研究意義

全景視頻直播功能的實現可以將LBS平臺應用于體育賽事直播，運動訓練過程中教練員和運動員通過觀看直播來監控訓練過程。大型賽事直播花費巨大，并不能實現日常的廣泛應用，本研究基于此實現民用級別的全景直播研發，在LBS軌跡跟蹤平臺的軌跡跟蹤功能基礎上增加了全景視頻直播功能，它的實現將提高運動項目的直觀性與觀賞性，促進運動項目的樂趣與百姓的參與程度，同時使教練員對每位運動員日常運動訓練的針對性方案制定提供了一個良好的監控平臺及訓練保障，為全民健身開啟互聯新模式，為互聯網+體育提供實踐范例，并為促進大眾健身行為的研究提供數據基礎。如網球運動、足球運動、帆船運動、定向越野為例，現場觀眾肉眼看不到的細節往往只能通過場邊的大屏幕來彌補，而大屏幕所展示的賽況畫面有限往往滿足不了觀眾的觀賽友好度體驗，通過網絡觀看直播的觀眾也只能通過現場的固定攝像機位定點切換觀看比賽，而現場機位通常追蹤的是個別成績突出的運動員，觀眾對觀看內容缺乏自主選擇性。對于教練員和運動員而言，在實地訓練中教練員通常采用遠距離觀望指導，戶外運動、水上運動等的教練員則部分采取跟行的方式對運動員的實地訓練進行觀察指導，這就導致在訓練中，教練員無法同時兼顧多個運動員的訓練細節不能詳細針對每一個運動員的具體問題制定訓練方案，運動員本身也無法在訓練后對自己的訓練進行回顧、發現訓練中的問題與路線技巧改進。本研究在軌跡追蹤功能外增加的全景視頻直播功能可實現運動觀賞的體驗度與趣味性，應用于體育運動時運用全景攝像通過全景視頻直播在LBS服務平臺實時定位運動員位置軌跡的情況下實時查看運動員為原點視角的360度全景運動實況，使用戶能夠沉浸式體驗運動，增強觀眾的觀賽體驗同時使教練能夠更加直觀生動有效的了解運動員的運動軌跡及比賽情況，及時制定更加合理的比賽戰術和訓練方法。

2全景直播的發展現狀

流媒體技術具有悠久的歷史。1994年流媒體技術正式在互聯網上亮相，1997 年該公司發布了應用廣泛的流媒體播放器之后微軟也開始推出了自己全新格式的流媒體產品，標志著流媒體時代的開啟。流媒體是指使用流式傳輸方式在網絡中進行傳輸播放的媒體格式，具有連續傳輸和實時傳輸的特點。目前互聯網的應用越來越廣泛，圖像信號的數字化和網絡傳輸已經非常普遍，利用數字圖像技術進行現場直播和動態監測都成為了現實并且具有相當高的可靠性和靈敏度。網絡視頻直播是流媒體與互聯網相結合的產物它憑借著互聯網強大的傳播能力實現了快速地記錄并傳播現場狀態的功能。其對象是廣大的網絡用戶群，其目的是把各種現場活動的場景進行擴散突破了地域限制完成了整個現場的網絡直播。在國內視頻直播可以劃分為兩類，一類是制作好的電視視頻信號再通過網絡向用戶提供資源。現在網絡上可以看到許多晚會以及體育運動的直播，這些大型節目往往是先處理為電視信號，再在對應的網站上進行發布供用戶進行點播。二是真正意義上的網絡直播，在第一時間對現場進行信號采集經過一系列信號處理后通過流媒體技術進行轉發最終用戶可以在各種終端設備上通過網絡進行視頻播放。網絡視頻直播系統以綜合調度服務器為中心主要分為五個部分：視頻采集終端進行現場場景的拍攝記錄對采集后的數據進行壓縮編碼、封裝并發送給綜合調度服務器；綜合調度服務器獲取數據后分發到視頻服務器提供直播或者通過數據庫服務器進行存儲；數據庫服務器用于視頻流的存儲并供用戶進行視頻點播；視頻服務器主要通過互聯網等傳輸媒介向播放終端發送視頻流同時響應播放終端的操作請求；播放終端獲取來自視頻服務器發送的視頻流進行解碼顯示并且具有相應的交互功能。

虛擬現實技術建立人工構造的三維虛擬環境，其主要科學問題包括建模方法、表現技術和人機交互三大類。增強虛境是虛擬現實技術的一大分支，其最直接的想法就是利用相機捕捉真實圖像或者三維場景將圖像或者場景注冊到虛擬環境中使虛擬環境能夠表現真實對象的狀態和實現響應交互。通過視頻圖像增強的方法最早是在 1997 年提出的，他們認為視頻信息可以用來創造沉浸式的虛擬環境，如可以變換虛擬視角的虛擬場景。美國嘗試將多個視頻注冊到同一個三維環境中，擴展了用戶的視域。南加州大學闡述了增強虛擬環境的概念。麻省理工學院利用魚眼相機設計了一套沉浸式飛行屋，虛擬現實技術應用領域十分廣泛，在航天航空領域虛擬現實技術展現了虛擬火箭的發射過程；在游戲領域大量 3D 游戲的產生為虛擬現實的發展注入了新鮮血液；在視頻直播領域中虛擬現實技術可以結合全景視頻直播系統來實現沉浸式的網絡視頻直播體驗。2015 年國內網絡視頻播放平臺愛奇藝對中國網球公開賽進行了360 度全程直播。用戶可以通過電腦端、手機客戶端或者佩戴虛擬現實頭盔進行觀看，身臨其境地感受現場氛圍。通過將全景視頻與市面上的虛擬現實頭盔實現適配用戶還可以自主選擇觀看視角，帶來沉浸式地觀賽體驗。這代表著虛擬現實直播應用的問世，在不久的將來沉浸式的全景直播方式將會代替傳統的視頻直播方式成為網絡視頻直播的主流。2018年平昌冬奧會全景直播拿下兩個第一是迄今為止冬奧會的第一次VR現場直播也是迄今為止最大規模的全景體育運動的直播。利用虛擬現實進行體育運動直播可以保證比賽的現場同步性也讓比賽播出的不可預見性更富有懸念。觀眾收看直播運動就是要體驗事件發生過程中對于結局的緊張期盼，實時沉浸式運動直播使觀眾產生一種緊張的期待感，帶來身臨比賽現場的體驗同時可以選擇更多不同視角進行觀看。從1994年流媒體技術問世到今天虛擬現實技術廣泛應用在電視網絡直播中國內外專家學者對視頻直播的技術的研究從點到面到三維立體空間取得了巨大進步，國內外對體育賽事、戶外越野等項目的直播水平也得到了大眾認可但是在視頻直播輸出顯示的問題上還存在視頻畫面不穩定以及交互性差的問題亟待解決。目前國內外基于實景拍攝這種手法完成全景拍攝的主要運用是運用三維實景技術實現也就是運用相機對相隔一定距離的實際場景進行多角度環視拍攝，每個場景都拼接生成 360 度影像并按照實際情況關聯每個場景讓觀眾能夠選擇在每個場景之間進行切換游覽。而在實景展示上谷歌在 2007 年推出的谷歌街景就是在原有的谷歌地圖的基礎上加入了全景功能，做法就是在一輛車的車頂上擺放一組全景圖像采集的攝影器材，讓這輛車在大街上行駛按照一定密度對街道圖像進行采集并且生成的全景圖像在游覽程序中可以 360 度觀看并且通過鼠標點擊游覽器中前后左右的箭頭號進行場景切換游覽。國內的百度地圖也推出了類似的全景地圖功能把真實的場景搬到了用戶面前，起到很好的路線指導作用為用戶出行提供方便。類似的還有博物館和展覽館也都有了類似的虛擬觀看系統。國內也有學者在這方面做了研究，比如 2007 年楊琳等把全景拍攝技術應用到虛擬校園上，2013 年馮建平等提出的基于全景圖像構建三維全景系統，唐俊等在 2003 年就開始基于魚眼鏡頭的全景視頻模型的研究，而近年來基于魚眼鏡頭然后用圖像繪制技術去構建全景視頻拍攝的研究也屢屢出現。

3研究目標

本研究綜合商用及已有民用賽事直播服務設備的特點與功能，基于位置服務LBS運動軌跡實時跟蹤服務平臺實現全景視頻直播的功能，用戶通過軌跡跟蹤服務與全景視頻直播功能的結合不僅可以看到運動員的運動軌跡同時還能直觀的觀看到比賽的全景實況。全景直播功能的實現不僅可應用于網球、足球、帆船帆板、定向越野、滑雪、騎行等體育運動的直播也可應用于日常運動訓練中的訓練監控，教練員可以通過全景視頻的展示對每個運動員的運動訓練進行更好的跟進觀察、技術剖析、具有針對性的訓練方案制定。全景直播功能通過全景視頻錄制設備系列產品進行全景視頻的拍攝及視頻處理，防抖性能更高使全景影像更加清晰穩定易編輯，使用成本也較低提高了在大眾健身中應用的普及度。

4研究內容

通過需求分析確定研究內容基于平臺主要實現運動的全景視頻跟蹤服務功能。將拍攝和處理好的全景視頻通過實時傳輸協議以及webGL開發，在LBS 服務平臺上實現全景視頻的直播功能同時預留VR設備接入端口。結合平臺原有數據采集硬件設備所采集的運動數據以及運動軌跡相結合實現全景視頻實時在線服務的研究與應用，用戶在運動直播過程中通過LBS平臺實現實時定點觀看運動全程全景視頻。

通過對市面上的全景攝像設備進行對比分析從需求、穩定性、適用性、便攜性、價格等幾個方面對比之后，全景攝像設備選擇insta 360系列攝像設備是全球首個面向企業級的360度全景相機可拍攝4K級全景視頻和全景照片。廣泛應用于旅游、房地產、新聞、體育賽事、大型活動等多個領域，突破傳統視頻固有限制給用戶360度全空間視角、顛覆性的視覺體驗。相比較市面上同類型的全景攝像設備在戶外全景視頻的使用更加便攜和適用，而在后期LBS平臺的研發中也更加適合于將攝像頭與原運動采集硬件設備集成一個集：采集軌跡、采集運動數據、采集全景視頻功能于一體的集成度高的硬件設備。

全景視頻直播功能的實現通過對其SDK二次開發以及平臺適配，拍攝的全景視頻通過無線網絡上傳到其服務器再通過其推流功能可上傳至LBS服務平臺實現全景視頻拍攝內容指向LBS平臺的實時傳輸。直播的整體流程包括數據采集、數據編碼、數據傳輸、解碼數據、播放顯示整個流程。

流媒體指以流方式在網絡中傳送音頻、視頻和多媒體文件的媒體形式。直播常用到的流媒體協議RTMP協議，它的實時性高一般能做到3秒之內。LBS平臺的直播屬于大中型集群分發選擇穩定性高的協議是一定必要的。一個單一的連接可以通過不同的通道傳輸多路網絡流，這些通道中的包都是按照固定大小的包傳輸的。全景視頻在LBS平臺上的播放展示相較于普通視頻而言在電腦端可以對全景場景進行鼠標縮放與360度拖拉旋轉觀看，手機端可通過手指以及轉動手機本身進行全景視頻的觀看角度控制，全景視頻的交互觀看需要通過WebGL編程實現是一種繪圖協議，程序開發時就可以借助系統顯卡來在瀏覽器里更流暢地展示（下轉第263頁）（上接第261頁）3D場景和模型了還能創建復雜的導航和數據視覺化。完美地解決了現有的交互式三維動畫的兩個問題：第一它通過腳本本身實現交互式三維動畫的制作無需任何瀏覽器插件支持；第二它利用底層的圖形硬件加速功能進行的圖形渲染是通過統一的、標準的、跨平臺的接口實現的。

5研究成果

全景視頻直播功能的實現將實現平臺應用于各大賽事全景直播，服務于賽事直播和運動訓練監控；可以進行多項體育運動訓練的實地測試以及全程視頻觀看監測。通過全景直播服務，提高各類運動項目的直觀性、觀賞性以及用戶參與程度。將全景視頻與位置軌跡追蹤服務相結合，使教練員可以更清晰直接的了解每一個運動員在運動訓練過程中的位置改變、動作技巧細節并有助于教練員及時提出訓練建議以及戰術分析，便于教練員針對不同運動員制定更合理的訓練方案，提高訓練的效率和指導性。