虛擬主播的關鍵技術及應用場景

蔣中琪

（西安外事學院，陜西 西安 710077）

0 引 言

虛擬主播，作為一項融合了人工智能（Artificial Intelligence，AI）、三維技術和云計算的前沿技術，正在以驚人的速度改變著媒體和互動娛樂的面貌[1]。本文旨在深入探討虛擬主播的關鍵技術和應用場景。通過分析虛擬主播在社交媒體、廣告、教育和文化領域的應用，揭示這一技術的潛力和對各領域產生的影響。

1 虛擬主播的概念和發展歷程

1.1 虛擬主播的概念

虛擬主播是指以虛擬形象在視頻網站上進行活動的內容創作者，是虛擬偶像的應用之一。虛擬偶像包括虛擬主播、虛擬歌手、名人數字孿生以及其他類虛擬人式產品或服務等[2]。虛擬主播是基于動作捕捉技術的新興主播形式，依托動畫形象、真人動作捕捉及表情捕捉技術等技術，融合虛擬偶像與直播主播的特點，進行游戲、聊天、唱歌及聯動等直播活動。

1.2 虛擬主播的發展歷程

虛擬主播的發展受技術、市場等多種因素的影響，可分為萌芽期、探索期、成長期3 個階段[3]。

（1）萌芽期（2013—2016 年）。這一階段，虛擬主播處于萌芽期，隨著移動互聯網、數字替身、計算機圖形學（Computer Graphics，CG）等技術的廣泛應用，虛擬主播實現從2D 向3D 虛擬人物、虛擬形象的轉變。在這一時期，網絡直播由計算機端向移動端、秀場、游戲和電商等直播場景轉移，以洛天依為代表的初代虛擬主播受到市場認可。

（2）探索期（2016—2022 年）。這一時期，人工智能、深度學習等技術領域發展應用，直播行業發展勢頭迅猛。虛擬主播技術在這一時期逐漸成熟，包括人物表達、合成顯示、識別感知及分析決策等方面的人工智能水平大幅度提升。各大互聯網頭部企業紛紛布局虛擬主播產業，虛擬主播的商業化應用規模不斷拓展。其中，代表性的事件有2018 年搜狗公司與新華社聯合推出的首個AI 合成主播，得益于搜狗人工智能的核心技術“搜狗分身”，通過人臉關鍵點檢測、人臉特征提取、人臉重構、唇語識別及情感遷移等多項前沿技術，并結合語音、圖像等多模態信息進行聯合建模訓練后，生成與真人無異的AI 分身模型。2019 年3 月，全球首個AI 合成女主播誕生。2019 年，中央廣播電視總臺（以下簡稱央視）網絡春節聯歡晚會（以下簡稱春晚）推出AI 虛擬主播團隊，AI 合成主播迎來發展應用高峰期[4]。

（3）成長期（2023 年至今）。在這一階段，隨著元宇宙的發展與媒體深度融合的深入，虛擬主播的形象設計定制成本大幅度降低，商業應用更加普遍。隨著虛擬現實（Virtual Reality，VR）、增強現實（Augmented Reality，AR）設備與軟件的發展，涌現出更多新的虛擬主播商業應用模式，推動虛擬主播向個性化、智能化等方向發展。

1.3 虛擬主播產業發展情況

虛擬主播產業鏈涉及上游技術提供方、中游平臺方以及下游運營方。上游技術提供方主要負責虛擬主播底層技術，包括高精度建模采樣、實時動畫渲染引擎、人工智能算力以及大數據訓練等。相關代表企業生產的產品包括硬件中的零部件（如傳感器、光學設備、芯片及顯示屏等）和設備（輸出設備、交互設備），軟件包括信息處理（如信息采集、編解碼、渲染呈現及物理反饋）和系統平臺如操作系統、軟件開發工具包（Software Development Kit，SDK）、應用程序編程接口（Application Programming Interface，API）及App 等。中游平臺方主要承擔虛擬主播應用場景的運維與知識產權（Intellectual Property，IP）孵化設計工作。代表企業有IP 企劃工作室、機構以及嗶哩嗶哩（以下簡稱B 站）、斗魚、抖音等直播平臺，主要負責承接上游對接技術實現方案、定制業務使用場景，服務下游構建通用開放的生態系統、構建虛擬形象IP 矩陣。下游運營方主要指虛擬主播的內容呈現和創作者，有企業勢（多頻道網絡（Multi-Channel Network，MCN）機構）與個人勢（個人主播）。隨著元宇宙產業的發展，虛擬主播下游運營方與元宇宙在游戲、文旅、金融、教育及快消等行業的融合應用持續深化[5]。

2 虛擬主播的關鍵技術

2.1 人工智能和深度學習

人工智能和深度學習在虛擬主播領域的應用，為虛擬主播注入了令人驚嘆的實時交互和逼真性，主要有以下兩種技術。

（1）語音合成技術。語音合成技術通過深度學習算法，將文字轉化為自然流暢的語音。虛擬主播能夠利用這項技術生成逼真的聲音，使虛擬主播在直播、娛樂和教育等領域更具吸引力和互動性，使虛擬主播能夠與觀眾進行實時對話，提供個性化的互動體驗。

（2）視覺合成技術。視覺合成技術為虛擬主播的逼真外觀提供了強大支持。深度學習模型可以生成高分辨率的虛擬角色圖像，并在實時渲染中逼真地模擬角色的面部表情和動作。

2.2 三維建模和動畫技術

三維建模和動畫技術共同構建了虛擬主播的外觀和行為。借助三維建模技術，虛擬主播的外觀和形象得以精心設計和定制，從頭發顏色到服裝風格，都可以根據需求進行創造。這種高度的個性化使虛擬主播能夠塑造出獨特的角色，吸引不同類型觀眾的關注。在動畫生成與控制方面，利用深度學習和實時渲染技術，虛擬主播可以模擬真實的肢體動作、面部表情和語言互動。這使得虛擬主播可以在直播和演出中展示豐富的情感，與觀眾進行互動，甚至實時響應觀眾的提問和評論，創造出更加生動的娛樂體驗。

2.3 云計算和流媒體技術

云計算和流媒體技術為虛擬主播提供了高效的計算和實時內容傳輸支持。虛擬主播需要處理復雜的三維建模、深度學習和實時渲染任務，這些任務需要大量的計算資源。通過云計算，虛擬主播可以訪問彈性計算資源，根據需要擴展計算能力，確保在高負荷時期也能保持流暢的性能，而無須投資昂貴的硬件設備。實時流媒體傳輸技術通過優化數據傳輸和視頻編碼，使虛擬主播的直播、互動和娛樂內容可以幾乎實時地呈現給觀眾，確保了互動性和觀看體驗的流暢性。

3 虛擬主播的應用場景

3.1 社交媒體和直播平臺

虛擬主播在社交媒體和直播平臺上的應用，正在改變娛樂和互動媒體的格局。虛擬主播在社交媒體上的應用，在吸引粉絲和創造內容方面具有顯著影響力。虛擬主播創建個性化的虛擬形象，與觀眾進行實時互動，分享生活點滴，參與社交互動。這些虛擬角色通常擁有大量忠實粉絲，并與粉絲建立緊密聯系，從而成為強大的社交媒體影響者，不僅能夠推廣品牌和商品，還能傳播信息、娛樂觀眾以及與他們互動。虛擬主播在直播平臺上的應用越來越流行，可以進行各種類型的直播，包括音樂表演、游戲實況轉播、互動問答和娛樂節目等。他們通過實時互動與觀眾建立聯系，觀眾可以發表評論、提問和送禮物以支持虛擬主播。

虛擬主播在中國普遍被稱為虛擬UP主（Virtual Uploader，VUP）。B 站憑借其簡單便捷的虛擬直播技術和一鍵創建虛擬形象功能，成為國內擁有最多個人勢虛擬主播的直播平臺。目前，B 站活躍的虛擬主播有3 000 多個，代表性的有真白花音_Official、費爾南Fernand、星街彗星Official 等。以真白花音_Official 為例，目前在B 站擁有145.1 萬粉絲。2023 年1 月14 日，真白花音_Official 在B 站虛擬UP 主年終盛典中獲得“最具影響力提名”和“年度虛擬UP 主”（第三名）的榮譽，主要作品有《合集·白菜VLOG》等。

3.2 營銷和廣告

虛擬主播在營銷和廣告領域的應用正在嶄露頭角，為品牌和廣告商提供了全新的推廣方式。虛擬主播可以擔任品牌代言人，有效地推廣產品和服務。由于虛擬主播擁有龐大的粉絲群體，他們能夠將品牌信息傳達給廣泛的受眾，增強品牌知名度和認可度。虛擬廣告角色是一種創新的廣告形式，品牌方可以合作或創建自己的虛擬廣告角色。這些虛擬角色可以與觀眾互動，以輕松幽默的方式傳達廣告信息。

2023 年2 月12 日，元宇宙虛擬主播DOKI 首次登陸抖音、B 站、小紅書等平臺。虛擬主播DOKI 依托虛擬現實技術、三維建模及動畫技術等，構建3D 虛擬數字人形態，在表情、肢體動作等方面趨于真人。

3.3 教育和培訓

虛擬主播在教育和培訓領域的應用為學習和培訓提供了全新的可能性。虛擬主播可以充當虛擬講師和教育助手，提供個性化的學習經驗。其以虛擬角色的形象出現，通過互動教育內容，解釋復雜的概念，回答學生的問題，甚至模擬實驗和場景，增強學習的趣味性和參與感。虛擬講師和助手不受時間和地點的限制，使學習資源更加普遍和靈活。

2023 年9 月，中公教育推出虛擬主播小鹿，以虛擬數字講師形象進行授課服務。虛擬主播小鹿充分結合大模型、數字人等技術，作為AI 數智系統班的數字講師，通過大數據技術可深入分析學員的學習數據和需求，進而優化培訓教學內容。

3.4 娛樂和文化

虛擬主播在娛樂和文化領域的應用正在塑造新的娛樂方式和文化體驗。虛擬歌手和演員已經成為音樂和娛樂界的獨特存在。通過深度學習和音頻合成技術，虛擬歌手可以以虛擬形象唱歌，并且能夠模擬不同的音樂風格和聲音。這些虛擬歌手在音樂制作和演出中具有廣泛的應用，吸引了數百萬的粉絲和觀眾，創造了新的音樂體驗。

以科大訊飛的虛擬歌手Luya為例，其于2022年8 月官宣出道。與其他虛擬歌手的真人配音不同，Luya 的聲音完全由AI 制作完成。這得益于其使用的AI 語音技術，通過AI 賦能目標音色系統的調試、確定以及聲音轉換，結合專家經驗進行調整，形成獨具特色的動聽音色。Luya 陸續推出了《北極星與流星雨》《迷霧之中的微光》等音樂作品，輕松表演各種音樂演唱風格，如古風、民謠及電子等音樂類型。

4 結 語

虛擬主播已經在多個領域展現出強大的影響力，從社交媒體到廣告、教育、娛樂和文化等。這一新興技術為品牌、廣告商、教育機構、娛樂界和藝術家提供了創新的機會。隨著技術的不斷演進和社會接受度的提高，虛擬主播將繼續在各個領域發揮作用，為未來的娛樂、教育和文化創新開辟更加廣闊的道路。