融媒體視域下沉浸式新聞的技術(shù)呈現(xiàn)與應(yīng)用

周富強(qiáng)

（湖南省湘潭市廣播電視臺(tái)，湖南 湘潭 411104）

0 引言

隨著信息技術(shù)的快速發(fā)展，新聞傳播方式正在經(jīng)歷深刻變革。傳統(tǒng)的平面媒體由于信息傳播的“一對(duì)多”模式和信息源單一的特點(diǎn)，已無(wú)法滿足受眾對(duì)沉浸式、交互式新聞體驗(yàn)的需求。基于互聯(lián)網(wǎng)和移動(dòng)通信技術(shù)的數(shù)字化媒體，用戶獲取新聞信息的方式漸趨個(gè)性化，被動(dòng)接收新聞信息已經(jīng)成為過(guò)去。近年來(lái)，虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）等新興技術(shù)的應(yīng)用，人工智能等新興技術(shù)的發(fā)展與普及，使得新聞傳播呈現(xiàn)出“沉浸式”的全新特征，拉近了新聞事件與受眾之間的距離，實(shí)現(xiàn)了新聞傳播的“同在”效果[1]。沉浸式新聞不僅重塑了新聞傳播和接收的形式，也帶來(lái)了新的傳媒商業(yè)模式，被認(rèn)為是新聞業(yè)數(shù)字化轉(zhuǎn)型的重要方向。

1 沉浸式新聞的概念

沉浸式新聞是基于VR、AR 等新興技術(shù)的新聞表現(xiàn)形式，其核心概念是“身臨其境”，即通過(guò)技術(shù)手段營(yíng)造高度逼真的虛擬環(huán)境，實(shí)現(xiàn)新聞場(chǎng)景的沉浸式體驗(yàn)。有學(xué)者認(rèn)為，沉浸式新聞可以看作是傳統(tǒng)新聞報(bào)道環(huán)境向虛擬環(huán)境演化的產(chǎn)物。沉浸式新聞以VR 技術(shù)為基礎(chǔ)，配合頭戴顯示器、動(dòng)作捕捉和交互控制器等硬件設(shè)備，將用戶“沉浸”在一個(gè)三維的虛擬新聞場(chǎng)景中。用戶能夠在場(chǎng)景內(nèi)自由瀏覽和交互，就像身臨其中一樣。與此相比，AR 技術(shù)使虛擬元素“浮現(xiàn)”在真實(shí)世界中，為用戶提供融合了虛擬和真實(shí)的沉浸體驗(yàn)。除視聽(tīng)沉浸外，沉浸式新聞強(qiáng)調(diào)情境交互，用戶可以對(duì)新聞環(huán)境及內(nèi)容進(jìn)行操作與查詢[2]。

2 沉浸式新聞創(chuàng)作的關(guān)鍵技術(shù)

2.1 VR 內(nèi)容制作技術(shù)

VR 技術(shù)的應(yīng)用是實(shí)現(xiàn)沉浸式新聞高仿真虛擬體驗(yàn)的關(guān)鍵。高質(zhì)量的VR 新聞內(nèi)容制作涉及多種技術(shù)。為構(gòu)建沉浸式新聞所需的高質(zhì)量VR 環(huán)境，一個(gè)完整的流程往往包括采集、建模、開(kāi)發(fā)、渲染和優(yōu)化等環(huán)節(jié)。首先是全景拍攝技術(shù)，通過(guò)多視角拍攝獲得新聞場(chǎng)景的全部視野信息，使用全景圖像拼接算法將不同視角圖像精確對(duì)位，生成無(wú)縫的360°全景圖或視頻，作為構(gòu)建虛擬空間的基礎(chǔ)素材[3]。其次是三維空間重建技術(shù)，利用三維建模軟件針對(duì)新聞現(xiàn)場(chǎng)進(jìn)行虛擬環(huán)境重建，定制新聞場(chǎng)景的虛擬空間地形、虛擬對(duì)象模型等細(xì)節(jié)內(nèi)容，補(bǔ)充全景攝像的不足。為實(shí)現(xiàn)VR 新聞場(chǎng)景的實(shí)時(shí)交互，需要運(yùn)用六自由度定位跟蹤技術(shù)動(dòng)態(tài)獲取用戶視角，使用圖像識(shí)別、環(huán)境敏感等感應(yīng)技術(shù)捕捉新聞場(chǎng)景及虛擬對(duì)象的狀態(tài)變化，借助逆向運(yùn)動(dòng)學(xué)算法計(jì)算機(jī)制實(shí)現(xiàn)實(shí)時(shí)渲染和交互響應(yīng)，使虛擬場(chǎng)景與用戶的視角和操作保持同步[4]。許多沉浸式新聞制作會(huì)運(yùn)用Unity、Unreal 等游戲開(kāi)發(fā)引擎中的豐富交互設(shè)計(jì)工具、物理模擬模塊等功能來(lái)便捷實(shí)現(xiàn)VR 新聞場(chǎng)景的開(kāi)發(fā)。

2.2 AR 內(nèi)容制作技術(shù)

AR 技術(shù)實(shí)現(xiàn)了虛擬數(shù)字信息與真實(shí)環(huán)境的融合，為沉浸式新聞提供了將新聞要素實(shí)時(shí)疊加到現(xiàn)實(shí)中的能力。要制作出高質(zhì)量的AR 新聞內(nèi)容，完整的流程需要以下幾方面技術(shù)的支持：一是準(zhǔn)確的空間定位和跟蹤，需要計(jì)算機(jī)視覺(jué)算法基于攝像頭圖像實(shí)時(shí)識(shí)別環(huán)境中的關(guān)鍵特征，計(jì)算設(shè)備自身在真實(shí)世界中的位置姿態(tài)，對(duì)虛擬要素快速定位、穩(wěn)定錨定；二是建模與渲染技術(shù)，通過(guò)三維建模軟件構(gòu)建新聞事件需要的虛擬人物或物體模型，并設(shè)置材質(zhì)、動(dòng)畫以增強(qiáng)真實(shí)性，然后基于光學(xué)或視頻疊加顯示技術(shù)，將三維虛擬模型精確渲染并疊加到實(shí)際鏡頭畫面中，同時(shí)處理好虛擬物體與實(shí)物的遮擋關(guān)系；三是環(huán)境映射技術(shù)，即捕捉真實(shí)場(chǎng)景的幾何形狀、表面屬性及光照信息等數(shù)據(jù)，以制定虛擬要素的光照效果，保證虛擬物體在場(chǎng)景中的影調(diào)和照度與實(shí)景環(huán)境一致。

2.3 人工智能技術(shù)

人工智能（Artificial Intelligence，AI）技術(shù)為沉浸式新聞提供了強(qiáng)大的智能化支持，成為實(shí)現(xiàn)新聞內(nèi)容自動(dòng)化生成、組織和智能交互的關(guān)鍵。在內(nèi)容生產(chǎn)方面，自然語(yǔ)言處理技術(shù)中的預(yù)訓(xùn)練語(yǔ)言模型可自動(dòng)生成邏輯清晰、語(yǔ)法正確的新聞文本，輔助新聞撰寫工作；語(yǔ)音合成技術(shù)可以自動(dòng)將文本轉(zhuǎn)化為真人語(yǔ)音音頻，賦予沉浸式新聞環(huán)境中的虛擬角色智能對(duì)話能力，實(shí)現(xiàn)人機(jī)語(yǔ)音交互；知識(shí)圖譜和深度語(yǔ)義理解技術(shù)可以分析用戶請(qǐng)求的語(yǔ)義和意圖，利用知識(shí)網(wǎng)絡(luò)推理出最匹配的新聞響應(yīng)；計(jì)算機(jī)視覺(jué)技術(shù)可對(duì)新聞畫面中的場(chǎng)景、人物及物體等內(nèi)容進(jìn)行智能分析，實(shí)現(xiàn)圖像檢索和主題識(shí)別功能；大數(shù)據(jù)挖掘技術(shù)提供海量新聞內(nèi)容的采集、關(guān)聯(lián)分析和組織能力，以構(gòu)建豐富的新聞知識(shí)庫(kù)；多模態(tài)信息融合算法可以實(shí)現(xiàn)文本、音頻、視頻等不同模態(tài)新聞內(nèi)容之間的交叉關(guān)聯(lián)，推薦相關(guān)聯(lián)的沉浸式素材[5]。

3 融媒體視域下沉浸式新聞的呈現(xiàn)形式與應(yīng)用

3.1 VR 新聞

基于VR 技術(shù)的沉浸式新聞，極大地豐富了傳統(tǒng)新聞的表現(xiàn)手段，為用戶提供了革命性的身臨其境新聞體驗(yàn)，可以分為場(chǎng)景還原型和角色扮演型兩種。場(chǎng)景還原型VR 新聞運(yùn)用三維建模和虛擬場(chǎng)景技術(shù)還原新聞發(fā)生的環(huán)境，通過(guò)精細(xì)化處理每個(gè)細(xì)節(jié)，重構(gòu)事件的原始場(chǎng)景，讓用戶得以沉浸式地瀏覽新聞現(xiàn)場(chǎng)，360°瀏覽場(chǎng)景，近距離觀察細(xì)節(jié)，更直觀深入地理解新聞事件。角色扮演型VR 新聞通過(guò)構(gòu)建第一人稱視角，增加用戶的代入感和現(xiàn)場(chǎng)感，配合立體環(huán)繞音頻的運(yùn)用，身臨其境地重現(xiàn)事件經(jīng)過(guò)。如2016 年法國(guó)記者Arnaud Colinart 導(dǎo)演推出的《失明筆記》（Notes on Blindness），就是根據(jù)一位失明作家的日記改編，讓用戶身臨其境地感受他的視覺(jué)世界消失，以及他如何重新發(fā)現(xiàn)生活的意義。英國(guó)《衛(wèi)報(bào)》社推出的《6×9》VR 新聞作品，探索了獨(dú)居牢房對(duì)囚犯心理和生理的影響，用戶可以通過(guò)VR 頭盔沉浸式體驗(yàn)約5 m^2大小的牢房，感受囚犯的生活。除上述沉浸式新聞外，VR 技術(shù)也可以用來(lái)展示傳統(tǒng)的二維圖片或視頻新聞，通過(guò)浮動(dòng)的三維環(huán)幕效果呈現(xiàn)，同樣提供更加開(kāi)闊的視角。

3.2 AR 新聞

基于AR 技術(shù)的沉浸式新聞，實(shí)現(xiàn)了虛擬數(shù)字信息與真實(shí)環(huán)境的無(wú)縫結(jié)合，為新聞傳播開(kāi)拓了獨(dú)特的可能性，可以分為現(xiàn)場(chǎng)增強(qiáng)型和交互式AR 新聞兩個(gè)類別。現(xiàn)場(chǎng)增強(qiáng)型AR 新聞使用空間定位和圖像識(shí)別算法，在真實(shí)的新聞現(xiàn)場(chǎng)中疊加各類虛擬要素，如行為標(biāo)簽、三維模型、地圖導(dǎo)覽等數(shù)字元素。如2018 年11 月《紐約時(shí)報(bào)》推出的《火星探索》（Mars In Sight），用戶可以通過(guò)移動(dòng)設(shè)備在身邊環(huán)境中查看火星探測(cè)器的三維模型，深入了解其功能。這些虛擬要素呈現(xiàn)了難以攝制的場(chǎng)景細(xì)節(jié)，幫助受眾更好理解案發(fā)地點(diǎn)環(huán)境和事件經(jīng)過(guò)。交互式AR新聞通過(guò)識(shí)別語(yǔ)音指令或手勢(shì)操作，實(shí)現(xiàn)了虛擬要素的自主控制，用戶可以調(diào)整新聞瀏覽的順序和視角，獲得身臨其境的沉浸體驗(yàn)。如2022 年北京冬奧會(huì)報(bào)道中，央視網(wǎng)搭建的AR 虛擬演播室在實(shí)景中添加各類虛擬元素，利用VR 技術(shù)打造沉浸式視聽(tīng)效果，讓觀眾有身臨其境的體驗(yàn)。央視網(wǎng)還推出創(chuàng)意視頻《當(dāng)天鵝湖遇上北京冬奧》，融入元宇宙概念和CG 動(dòng)畫等技術(shù)手段，在連續(xù)18 天的《環(huán)球體育》特別直播節(jié)目過(guò)程中，“雪如意”“冰立方”“雪游龍”等冬奧比賽場(chǎng)館被“搬運(yùn)”進(jìn)演播室內(nèi)，以微縮、立體的方式呈現(xiàn)在觀眾面前，向世界傳遞科技冬奧理念[6]。總體而言，AR 技術(shù)為新聞提供了虛擬數(shù)字內(nèi)容的無(wú)縫疊加、主觀視角的代入以及交互操作等創(chuàng)新功能。相較傳統(tǒng)視頻新聞，AR 新聞具備雙向交互性和開(kāi)放性的沉浸式新聞體驗(yàn)。

3.3 智能語(yǔ)音新聞

基于自然語(yǔ)言處理技術(shù)的智能語(yǔ)音新聞，實(shí)現(xiàn)了新聞的“自言自語(yǔ)”，為用戶提供便捷自然的語(yǔ)音交互服務(wù)。語(yǔ)音播報(bào)型智能語(yǔ)音新聞運(yùn)用語(yǔ)音合成技術(shù)，自動(dòng)將文字新聞轉(zhuǎn)換成逼真的語(yǔ)音，用戶可以隨時(shí)隨地通過(guò)語(yǔ)音方式獲得新聞聽(tīng)覺(jué)體驗(yàn)；個(gè)性化推薦型智能語(yǔ)音新聞根據(jù)用戶興趣畫像，主動(dòng)推薦個(gè)性化的新聞內(nèi)容，并用語(yǔ)音方式播報(bào)給用戶；語(yǔ)音問(wèn)答型智能語(yǔ)音新聞可以解析用戶的語(yǔ)音提問(wèn)，利用自然語(yǔ)言理解技術(shù)分析提問(wèn)含義，在知識(shí)庫(kù)中檢索到相關(guān)新聞，并用語(yǔ)音方式回答用戶的查詢，實(shí)現(xiàn)人機(jī)語(yǔ)音對(duì)話；語(yǔ)音交互型智能語(yǔ)音新聞設(shè)計(jì)了包含不同虛擬角色的語(yǔ)音交互劇情，用戶可以通過(guò)語(yǔ)音方式與虛擬角色對(duì)話互動(dòng)，改變故事走向，獲得身臨其境的沉浸式體驗(yàn)。智能語(yǔ)音新聞實(shí)現(xiàn)了基于語(yǔ)音交互的新聞傳播新方式，為用戶提供了更便捷自然的新聞獲取體驗(yàn)，正成為新聞傳播的重要發(fā)展方向。

4 結(jié)語(yǔ)

在融媒體視域下，沉浸式新聞應(yīng)運(yùn)而生。這種新聞形式代表了新聞傳播形式的重大革新，其應(yīng)用VR、AR 等前沿技術(shù)，打破了新聞傳播的時(shí)間和空間限制，實(shí)現(xiàn)了高度仿真的沉浸體驗(yàn)。沉浸式的新聞表達(dá)方式不僅豐富了新聞傳播的語(yǔ)言，也更好地滿足了公眾對(duì)身臨其境、互動(dòng)性新聞體驗(yàn)的需求，成為新聞業(yè)數(shù)字化轉(zhuǎn)型的重要方向之一。未來(lái)，還需要新聞媒體、技術(shù)企業(yè)等各方面力量的不斷探索與實(shí)踐，以期實(shí)現(xiàn)沉浸式新聞傳播的更廣泛應(yīng)用，讓這項(xiàng)新興的新聞形式在數(shù)字時(shí)代扮演更重要的角色。