融合媒體交互包裝的應用探究

摘要：文章提出了數據視頻時碼幀同步的方案，通過時碼將數據與視頻關鍵幀綁定，進而在用戶終端進行同步顯示，同時通過PIP技術以及節目后臺相關的SDK接口，實現交互包裝的融合節目落地應用。經過詳細方案的論證以及實際的節目落地應用，融合媒體的交互包裝對于用戶黏性的提升和留存時長以及商業化助力都有非常積極的作用。

關鍵詞：融合媒體；交互包裝；廣播電視節目包裝；節目創新應用

doi：10.3969/J.ISSN.1672-7274.2023.02.059

中圖分類號：G 206，TN 94" " " " " " " "文獻標示碼：A" " " " " " " "文章編碼：1672-7274（2023）02-0-03

Research on the Application of Integrated Media Interactive Packaging

ZHENG Xudong

（Tencent Technology （Beijing） Co.， Ltd.， Beijing 100049， China）

Abstract： This paper proposes a scheme of data video time code frame synchronization， which binds data and video key frames through time codes， and then displays them synchronously at user terminals. At the same time， it realizes the integrated program landing application of interactive packaging through PIP technology and SDK interfaces related to the program background. After detailed scheme demonstration and actual program landing application， the interactive packaging of integrated media has a very positive effect on the improvement of user stickiness， retention time and commercialization.

Key words： integration media; interactive packaging; packaging of radio and television programs; program innovation and application

隨著移動互聯網的發展，催生了用戶對于自主地獲取、選擇更豐富信息的需求。同時，節目制作方對于獲取用戶反饋以及增強節目互動性的需求也與日俱增，融合媒體對于交互包裝的需求日益顯現，所有這些都催生了一個新的應用領域——融合媒體交互包裝應用[1]。

1" 痛點分析

1.1 信息量少，千人一面

在傳統包裝模式下，包裝呈現的內容多少、側重展現的信息維度、上屏的時間長短，都受到畫面構圖、節目流程等因素的制約。即使演播室側掌握著整個節目的所有數據信息，也無法將其在同一時間全部呈現給觀眾。只能是制作方推送什么，觀眾收看什么。

例如，某個用戶在一檔游戲類節目中想多了解參演嘉賓的情況，但是在節目中，每個嘉賓只有在出場時，包裝信息才給予了《人名條》《信息板》等相關介紹，內容較為簡略，呈現時間也很短，用戶無法充分地獲取其想要的信息。在游戲過程中，觀眾能看到什么內容取決于演播室推送什么內容，可能用戶正在仔細分析某一些包裝信息時，畫面已經切換走了。

1.2 單向通信，數據錯位

傳統模式下，信息的傳播方向是從演播室到觀眾，觀眾較難參與節目互動。即使輔以諸如在終端App中添加交互按鈕、彈幕、網站留言等技術手段，也會因為網絡質量不佳導致無法實現實時的交互。

例如當主持人口播某個互動活動開始時，工作人員將活動開始的指令發送給終端，由于用戶們的網絡環境各異，會導致部分觀眾還沒有看到主持人口播的畫面時，就收到活動開始的指令。顯示在App數據區的節目實時數據也同樣會出現快于畫面呈現的情況。

1.3 業務分離，強制升級

由于沒有一個統一的將視頻流、數據和控制信號進行綁定的機制，一個業務的實現需要在各種類型的終端上分別進行開發。業務的增改均與終端有強綁定關系，需要用戶升級終端后才可以使用該業務。

例如，節目需要增加“讓觀眾在觀看視頻過程中投票”的功能，需要在IOS、安卓、PC、Web終端分別開發這些前端交互的業務，同時觀眾必須升級包含這些業務的App版本后才能使用新增的功能。

1.4 賽事數據，相互分離

目前大部分基于移動端或者電視的賽事直播，都是比賽信號或者節目信號與相關的數據傳輸，沒有達到“有需要有數據（服務），無需要專注比賽”的效果。

例如，網友通過手機觀看賽事，如果需要查看某些球員或者相關的賽事數據，就要“跳出”視頻播放器，打開相關網站、網頁，進行查找，然后如此反復，邊看邊查；這就失去了賽事轉播的連貫性和即時性。對于綜藝節目更是如此，投票、點贊的數據和窗口如果不做在產品中，臨時想增加一個互動選項或者為參賽的選手點贊互動，這些就不可能做到。

1.5 精彩片段，一網打盡

現階段直播類節目必須要等到所有的節目直播結束后，才可以進行點播操作，并且觀看點播要到不同的頁卡中選擇那些有實時交流、互動需求的網友和觀眾，就要等節目結束后才能相互討論和分享。

例如，對于足球比賽，有些觀眾是從賽事進行中開始觀看的，中途錯過了從比賽開始到進入轉播畫面之間的所有的精彩片段（進球、精彩射門、紅黃牌等），如何做到無論從任何時間點進入賽事畫面，都可以即刻欣賞直播內容，同時還能把之前錯過的精彩片段“補上”，這給我們交互包裝提出了新的要求。

2" 解決痛點

2.1 包裝、數據、畫面三者分離

與傳統包裝“嵌入”電視信號不同，本系統將包裝的樣式、包裝中呈現的數據以及電視畫面三者以不同的路徑分發傳輸，在觀看終端分別接收后再將三者渲染呈現。這樣觀眾不再受限于傳統包裝呈現限制的信息，而可以接收到全部的信息，

2.2 時碼同步

對于上文中提到的電視畫面和數據（包括控制數據和節目實時數據），在制作端加上時碼信息，觀看終端獲取到這些數據后，在渲染呈現時，強制將賽事的數據信息和賽事的視頻關鍵幀信息通過時碼信息對齊。最終在用戶的播放器端一同播出，從而解決數據錯位的問題。不僅如此，如果你是剛剛開始觀看賽事直播，甚至可以通過拖曳時間線，對比賽進行快速掃描，選擇自己喜歡的精彩時刻觀看，與此同時，相關賽事數據也會自動同步，不會因為拖曳時間線而造成數據的“不同步”。

2.3 包裝可交互

將觀看終端從原來的兩層結構（播放器控制層和畫面渲染層）變更為三層結構（播放器控制層、包裝渲染層和畫面渲染層）。其中，包裝渲染層可以用H5（或其他）的方式實現，再輔以交互技術（如JavaScript）即可實現包裝的交互（如呈現更多內容，收集觀眾反饋等）?？山换サ陌b不僅提供了用戶與節目組雙向通信的通道，而且也可以讓觀眾通過交互的方式自主選擇想要查看的信息。如果觀眾不需要這些數據信息，只需要將交互包裝“隱藏”起來，這樣就可以全屏欣賞比賽，真正做到了“有需求有（數據）服務，無需求無打擾，讓觀眾全程定制化地享受節目以外的服務。

2.4 畫中畫交互

將在直播中產生的全部數據，包括時碼、音視頻信號、實時數據、播控數據和包裝數據全部存儲下來，并將音視頻流轉為文件。在點播模式下完全復現直播時的包裝和數據呈現。通過提供對直播節目（賽事）的打點服務，結合PIP（畫中畫）技術，可以讓觀眾在欣賞直播節目的同時，即刻回顧點播精彩片段，實現即刻交流和分享。對于體育賽事直播，無論什么時刻進入直播畫面，你都可以邊看直播邊回顧，無論是精彩射門還是換人都可以一個不落地盡收眼底。

3" 系統架構與方案

整個系統在宏觀上分為演播室端、云服務端和用戶終端三部分。演播室端負責對信號進行時碼加嵌并發出播控指令；云服務端負責數據的存儲和分發，包括包裝數據、節目實時數據、播控數據以及用戶反饋數據；用戶終端負責按當前視頻的時碼呈現響應的包裝和數據，并響應用戶的交互操作。

附帶時碼的視頻和數據分別由兩個CDN路徑傳輸，由于視頻比數據更大，傳輸消耗的時間更長，所以同樣時碼的數據總是能先于視頻到達用戶終端，等待視頻播放到相應的時碼時才進行呈現。

4" 系統集成與使用流程

4.1 系統集成

整體的中臺已經落地應用交互包裝管理平臺、交互包裝播控平臺、云服務幾個模塊的功能，完成了IOS/Android端SDK的開發。在進行實際的落地集成時，除了將這些平臺服務遷移到目標域名下，還需要進行節目數據的對接以及用戶終端的SDK集成工作。其中，節目數據對接是將目標的節目管理系統中需要使用交互式包裝的節目的相關信息，如ID、內網播放流地址、所屬類別等信息同步到“交互包裝管理平臺”作為基礎數據；用戶終端的SDK集成是對自研的SDK和目標平臺的視頻播放終端進行整合，最主要的集成點是將播放器解析出的當前視頻的時碼信號發送給SDK，以及在點開交互視頻時調用SDK進行初始化工作（分層、預加載交互式包裝）。

4.2 使用流程

在完成集成和部署測試后，實際執行階段流程如下。①節目組按照節目特點提出交互式包裝的需求，包括樣式、承載內容、交互效果、數據綁定等；②在經過需求評估和溝通后，商定最終的需求范圍和交付時間；③進行交互式包裝的制作、測試、部署、節綁定目信息；④完成直播中的播控操作（直播后自動直播轉點播）。

5" 系統亮點

5.1 信息全面且定制化

（1）節目數據與包裝的分離使得演播室可以將全部的節目數據都分發給終端，由終端的邏輯和用戶操作來決定展示哪些數據。

（2）通過對用戶信息的分類（如性別、IP地址、問答反饋展現出來的喜好等）可以為不同的用戶推送不同的包裝內容。

（3）可支持終端多語言實時切換、橫豎屏切換。

（4）當觀眾有需求，系統提供服務；當觀眾沒有需求時，觀眾不會被額外的包裝和數據交互層所打擾，盡情專注比賽（節目）。

5.2 包裝可交互

（1）用戶在視頻播放畫框內即可完成交互操作，乃至可在觀看節目時完成支付消費的操作。數據和交互操作也可以延伸到視頻播放框外使用。

（2）用戶對節目可以進行實時反饋，演播室能夠實時獲取用戶反饋的統計信息。

（3）可以跟隨節目的進度，即時與觀眾交互，增強用戶的黏性以及節目的趣味性和參與度。

5.3 時碼同步，數據先行

（1）所有數據與畫面幀級同步，不因具體用戶的網絡情況導致呈現不同，不因直播或點播的模式導致呈現不同。

（2）因為數據到達終端的時間會比視頻更快，因而在發生播出錯誤后及時更改，可以在觀眾看到錯誤數據之前，完成修正。

（3）因為數據和視頻時碼同步，避免了因為數據延遲少過早“劇透”賽事結果的現象發生。

5.4 流程不變

（1）對于包裝需求方來說，從提出包裝需求到包裝上線，使用的流程沒有變化，對于包裝的功能能夠有更多的交互可選項。

（2）對于實際的演播室播出來說，變更的是播控包裝的軟件，對于播出流程沒有變更。當然，如果節目需要，可以在直播中實時收集用戶反饋來變更播出內容。

（3）所有的交互包裝和傳統的節目包裝都可以通過一個界面實現播控和編輯操作，不僅節省了人力，同時還讓包裝更加有層次。

6" 后續規劃

（1）創建更多通用的交互包裝模板。雖然節目之間業務的具體需求各異，但同類節目甚至大多數節目都有普遍使用的交互式模式，如人名條、高光時刻、問答、商業化廣告等，我們后續規劃將在功能性和視覺樣式兩個難度上抽象出更多的通用交互包裝模板，使得在項目制作過程中可以直接符合這些模板。

（2）搭建低代碼的交互包裝制作平臺。目前，交互包裝的制作流程是設計師根據需求進行功能樣式的設計，之后由前端開發工程師實現。我們后續規劃搭建一個低代碼平臺，將前端工程師的代碼實現工作交由平臺來自動完成，設計師只需要在平臺上按照設計者的思路完成功能樣式設計，即可完成交互包裝的制作，更進一步，將數據綁定等操作也可以封裝到平臺中，實現無代碼開發。

7" 結束語

交互包裝最大的亮點是打破了傳統的觀看邏輯和收視習慣，讓觀眾當導演，讓平臺不僅提供視頻信號，還提供同步的包裝數據服務、點播服務、交互服務等。相信在不久的未來，大家會慢慢接受并習慣這種觀看模式?！?/p>

參考文獻

[1] 中國電影電視技術學會成立40周年影視科技創新發展白皮書[Z]，2022.8.