摘要:隨著互聯網技術的普及和XR(擴展現實)技術的成熟,節目生產的方式也在趨于輕量化、便捷化。新聞報道的方式也在經歷一場革命性的變革。與以往的異地同框新聞連線方式不同,湖南廣播電視臺在2024全國兩會新聞報道節目中采用5G+XR技術,讓北京演播室的代表和長沙演播室的主持人通過虛擬合成方式,給觀眾一種處于同一演播室面對面直接交談的觀看感受。這種模式的新聞制作對傳輸技術提出了更高的要求。該文對2024全國兩會新聞報道節目的傳輸方案及問題進行分析,志在為未來更多此類節目的技術應用及遠程制作提供思路。
關鍵詞:5G+XR;SRT;WebRTC;M-TECH;輕量化
doi:10.3969/J.ISSN.1672-7274.2024.09.064
中圖分類號:G 222;TN 943.3 文獻標志碼:B 文章編碼:1672-7274(2024)09-0-04
Lightweight Transmission Facilitates National Two Sessions News Interview
HUANG Zhenghai1, ZHAO Pinzheng1, YAO Di2
Hunan Radio Film and Television Group, Changsha 410003; China;
2.China Space-Time Information Co., Ltd., Beijing 100029, China)
Abstract: With the popularity of Internet technology and XR (extension) reality technology matures, program production way is also tend to be lightweight, convenient.News report way is also experiencing a revolutionary change. Different from the previous way of different places with the same frame news connection, Hunan Radio and Television Station adopted 5G+XR technology in the National Two Sessions news report program in 2024, so that the representatives of the Beijing studio and the host of the Changsha studio through virtual synthesis, giving the audience a viewing feeling of being in the same studiov/fUmvlA1aefx+OHcPoSLA== and talking directly to each other. This mode of news production also puts forward higher requirements for transmission technology. This paper analyzes the transmission scheme and problems of the national Two Sessions news report program in 2024, aiming to provide ideas for the future technical application and remote production of more such programs.
Keywords: 5G+XR; SRT; WebRTC; M-TECH; lightweight
0 引言
XR技術是一種涵蓋增強現實(AR)、虛擬現實(VR)和混合現實(MR)的綜合性技術,它通過將計算機生成的環境和真實世界的結合,為用戶提供沉浸式的體驗。5G技術以其高速率、低時延和大連接數的特性,為XR技術提供了更加穩定、高效的網絡環境。因此,5G+XR的結合成為行業發展的必然趨勢。
湖南廣播電視臺這些年也在積極探索5G+XR在節目生產上的技術創新與運用。在2023年正式投入使用的芒果XR虛擬棚宣告其已具備5G+XR創作的硬件條件。其以UE5為核心,使用高精度XR屏幕,能同時提供虛擬制片(VP)和擴展現實(XR)拍攝兩種拍攝手段,為內容制作提高賦能力度。影棚主要拍攝的區域呈半環形結構,其中LED立屏長12 m,高5 m,地屏近60 m2,縱深達6 m,可以滿足綜藝XR、VP虛擬拍攝和4~5人的訪談節目錄制需求。
除此之外,以往兩會直播采用現場制作的方式,需要傳統大型轉播車、衛星車到場,動用大量人力財力。在確保業務安全的前提下,我們積極探索輕量化生產模式,此次全國兩會新聞報道采用互聯網+5G傳輸的節目生產模式,主會場在長沙,北京會場只需要綠背景的演播室及輕量化的制作和傳輸設備,相比往年人數減少40%,整體費用大幅降低50%。
本次全國兩會新聞訪談節目在使用5G+XR節目創新生產技術的基礎上,還真正實現了低成本、輕量化新聞內容生產模式。這次新聞報道案例的成功應用,為以后此類型節目生產提供一個可實施性方案,也是當今融合媒體下新質生產力方式的重要嘗試和突破。
1 傳輸方案設計
本次節目制作采用基于互聯網+5G的遠程虛擬制作方式。前方現場在北京,臺內演播室在長沙,集團機房將對兩地合成后的信號進行剪輯與收錄,生成最終播出素材。此次兩會新聞節目制作的重點在前方現場與臺內演播室的遠程信號實時傳輸與虛擬合成處理。
本次節目制作信號傳輸采用基于互聯網+流媒體協議的方式進行,前方采訪嘉賓和臺內主持人的信號互聯后,再通過實時綠幕摳圖技術進行虛擬合成,實現異地同屏、面對面直接交談的節目制作效果,以低成本、高質量、高效能打造科技+文化融合的新聞節目生產新模式。
北京現場共三路不同機位信號需要實時回傳臺內,長沙演播室需要返送兩路信號至北京現場(一路主持人實時連線互動信號,一路虛擬合成后的PGM信號)。
基于需求及后續測試錄制調整,制定最終傳輸系統方案如下所述。
(1)SRT點對點雙向低延時傳輸系統作為新聞節目制作錄制系統。該系統具有低延時、高畫質特點,正適配該節目制作。其中,以某品牌SRT硬件編解碼推流系統作為主路,在北京會場配置2臺雙通道編碼器和2臺解碼器;在長沙會場配置1臺雙通道編碼器及3臺解碼器。另外一品牌SRT軟件編解碼推流系統作為備路,該設備單臺支持8路可選擇高清信號編解碼,兩邊各配置一臺即可。
(2)SRT傳輸系統與M-TECH云平臺連線系統混搭配合,作為節目制作對話系統。其中M-TECH云平臺連線系統支持基于WebRTC的低延時、高質量視音頻實時交互,曾用于2023年雙十一晚會“穿屏互動”節目環節。在北京會場配置云連線終端,長沙會場配置云連線網管服務器,其超低延時的特點,使得對話系統更適合面對面訪談。
(3)臺內調配開通光纖網絡傳輸系統,實現長沙演播室與集團機房之間的主備光纖互連和網絡互通。機房的互聯網專線信號通過光纖系統傳輸至長沙演播室,虛擬合成導切后的信號通過光纖鏈路送至機房。
(4)北京現場做好網絡接入資源保障。使用一條當地運營商互聯網專線作為網絡信號傳輸主路由;配備一臺多鏈路網絡聚合路由設備,聚合多家運營商4G/5G移動網絡、會場辦公網絡作為網絡信號傳輸備路由。同時協調北京場地方提高現場辦公網絡QoS等級。
2 技術難點
在遠距離5G+XR傳輸中,存在著幾個關鍵的技術難點。首先,傳輸延時是需要解決的問題之一。由于新聞訪談對實時性要求極高,任何微小的延時都可能導致信息的滯后或失真。因此,技術團隊需要致力于在保證圖像質量和虛擬成像效果的同時,降低傳輸延時。
其次,圖像效果和虛擬成像效果也是重要的考量方面。新聞連線傳輸的畫面質量必須滿足長沙演播室的虛擬制作要求,以呈現出逼真的虛擬場景。這需要解決如何提升圖像質量和實現更精確的虛擬成像的問題。
再次,新聞類節目的交談性質要求雙方對話延時可靠。縮短對話延時以保障節目制作的順暢性是需要重點考慮的問題。
最后,傳輸系統的穩定性和可靠性是基本要求。新聞連線是新聞報道的關鍵手段,任何技術問題都可能影響新聞的傳播效果。故而我們選擇使用專線SRT協議傳輸的信號作為節目制作的主體。
3 具體實施情況
在互聯網傳輸中運用SRT協議越來越普及,其可靠性、高質量、低延時、帶寬利用率高、安全性等已經得到大量的實踐證明。但是到底能否滿足虛擬合成的需求,我們進行了反復測試。我們對SRT硬件編碼傳輸系統和SRT軟件編解碼傳輸系統進行測試和比對,并且重點關注傳輸延時、圖像效果和虛擬成像效果等指標,根據測試結果多次調整,最終找到一個合適的編解碼參數。
3.1 傳輸延時
我們在長沙進行了數天的模擬測試。將新聞中心信號編碼后傳至會場進行解碼;再將會場解碼輸出信號傳回至新聞中心。
在第一次延時測試中,主路整個系統包含新聞中心演播系統、會場演播系統、兩次編解碼推拉流系統,測試整體延時為2.26 s;第二次延時測試甩開會場演播系統,測試整體延時為1.65 s。第三次延時測試使用新聞中心錄機作為信源輸出,不經過兩邊系統,測試延時為1.23 s。常規推拉流系統的純粹編解延時包括編碼延時、解碼器延時以及設定的Latency緩存延時,再加上網絡波動所產生的延時,便是編解碼系統的傳輸延時。查看硬件編解碼系統的后臺數據:Buffering Delay為270 ms,即解碼器延時為270 ms。已知該系統純編碼延時不超過50 ms,Latency設置為125 ms,可知純編解延時大約為450 ms左右。雙邊閉環1.23 s延時包括:雙邊純編解延時加上雙邊網絡波動,再加上兩臺監視器的成像延時,大致符合標準。
3.2 傳輸畫質
延時測試符合節目錄制要求后,需要考慮畫面質量的優質性。如何兼顧兩者,我們也做了多次調整。在網絡帶寬穩定性得到保障的前提下,我們陸續調整碼率10 Mbps/12 Mbps/15 Mbps/20 Mbps,Video Encoder熵編碼使用Cabac/Cavac,GoP(Group of Pictures,畫面組)使用IP幀/IBP幀結構,長度選擇120/75/50,通過這三種參數的搭配測試提升畫面質量,在保障畫面質量的同時,保障穩定性、安全性、低延時。
經過反復測試以及與廠家的深入溝通,在進行新聞節目制作時,在兩端帶寬充足的情況下,建議使用的視頻編碼配置為:碼率15 Mbps(新聞節目制作,由于動作幅度不大,動態畫面信息量不多,使用H.264編碼方式的有效帶寬為15 Mbps左右,再往上增加帶寬畫質不大)。Encoder熵編碼使用Cabac,GoP結構使用IP幀結構,GoP長度50。這樣整體畫質及解碼平順性是比較好的。
在北京繼續測試這兩套采用SRT協議系統的綜合畫質、延時等多方面因素,我們采用SRT協議硬件編解碼系統作為最終的主路,SRT協議軟件編解碼系統作為備路。主路傳輸延時優于備路,其圖像效果符合節目要求,略低于備路。
3.3 虛擬合成
在編碼畫質和傳輸延時都符合要求的前提下,需要觀察虛擬合成前后的效果。在這一環節發現一個問題,虛擬合成后畫面邊緣部分存在少許在可接收范圍內齒痕,而未經合成的畫面未出現該情況。經過分析和對比,長沙會場虛擬UE5系統使用的是1080 P分辨率,而北京攝像機輸出只支持1080 i格式,不支持1080 P的輸出格式。通過理論分析得出,若使用支持1080 P輸出的攝像機,配合支持H.265編碼、1080 P制式的SRT協議編解碼系統,應可完美解決該問題。
3.4 對話訪談
在單純使用SRT編解碼系統進行節目制作時,發現有聲畫延時輕微不同步、對話反應時間較長的問題。經與節目組溝通,我們決定采用SRT推拉流的錄制系統和M-tech云平臺演播室的對話系統。其中錄制系統傳輸穩定,延時符合虛擬成像要求,畫質符合節目制作高質量要求;對話系統使用我們自主研發的M-tech云平臺演播室,其基于WebRTC的解決方案,低延時、可消除回聲,更適用于主持人與代表觀看及對話。該系統在不考慮網絡鏈路的情況下,可達到單邊延時100~200 ms,在專線使用情況下,既能有效保障其傳輸的穩定性,又能極好地體現其通話效果。
WebRTC基于UDP傳輸,UDP的包頭小,采用成熟的RTP/RTCP技術,重傳策略基于NACK完成[1]。UDP的運用就保障了WebRTC解決方案的延時會很低。除了低延時,還利用到WebRTC的三個功能:回聲消除、責編管理和統一監看。其中,回聲消除功能通過建立回聲路徑模型來減少回聲,提高音頻通話質量;責編管理功能用于管理和協調音頻和視頻流,提高通信質量和穩定性;統一監看功能則可以監視和控制通信中的音頻和視頻流,確保通信質量和可靠性,并允許用戶進行管理和調整。
長沙演播室使用的錄制系統采用基于SRT協議的硬件編碼傳輸,延時較大,導致與M-tech云平臺連線系統的WebRTC對話延時相比,聲音比圖像傳輸快,從而會對長沙演播室的導演和工作人員造成誤導。針對聲音比圖像快的問題,經過與音頻科的分析論證,決定采用兩套系統混搭的方法。北京到長沙使用錄制系統SRT硬件編碼傳輸聲音,長沙到北京使用M-tech云平臺連線WebRTC傳輸聲音。這樣既不會影響長沙錄制的平穩性,又可減少對話延時500 ms以上,將其控制在700 ms以內,有效保障節目制作和觀看效果。這種混搭傳輸方式很好地解決了聲畫延時不同步和對話反應時間長的問題。
4 結束語
該文介紹了借助互聯網專線+5G/云平臺的傳輸模式,采用SRT編解碼推流與WebRTC通話的互聯網方式混搭配合使用,為遠程XR新聞節目制作提供解決傳輸延時、圖像效果、虛擬成像、對話訪談等技術難點的方案,該方案為節目生產節約了成本并提供便捷。該案例的成功踐行,為未來類似節目的技術應用及遠程制作給予思路指引,是現行輕量化生產的表象之一,亦是融合媒體里新質生產力發展的思路呈現。新質生產力的特點是創新,關鍵在質優;而本次節目生產正是使用了創新的傳輸模式,為遠程XR節目的新媒體形式提供了高效率、高質量的傳輸服務。相信伴隨新質技術的革故鼎新,未來媒體文化輸出將愈發出色。
參考文獻
[1] 劉瓊,鄭鋒.新技術賦能全國“兩會”報道——5G+XR助力人大代表異地同屏“云訪談”[J].現代電視技術,2021(04):126-128.