基于5G多視頻融合的流媒體應用探索與研究

馮九龍 楊海濤 欒曉鵬 馬營營 馮薈璇

摘 ?要：隨著5G和智能視頻技術的快速發展，國內流媒體技術取得了突飛猛進的發展，應用接入規模不斷擴大，涌現了大量的平臺服務商。然而，現實的智慧化建設方面，面臨多視頻接入、多協議、多應用融合的問題。為此，文章通過研究流媒體技術的價值，闡述多視頻融合的方法。通過對智慧建造項目建設思路的思考，從視頻遠程現場指揮調度的需求角度出發，探索流媒體技術的應用場景與未來展望。在這樣的產業背景下，基于多樣性接入、融合互聯互通的應用的價值顯得尤為重要。

關鍵詞：5G;Rtmp;多視頻;流媒體

中圖分類號：TN929.5 ? ? ? ?文獻標識碼：A文章編號：2096-4706（2022）05-0060-05

Exploration and Research on Streaming Media Application Based on 5G Multi-Video Fusion

FENG Jiulong， YANG Haitao， LUAN Xiaopeng， MA Yingying， FENG Huixuan

（Beijing Telecom Planning & Designing Institute Co.，Ltd.， Beijing ?100048， China）

Abstract： With the rapid development of 5G and smart video technology， domestic streaming media technology has developed rapidly， the scale of application access has continued to expand， and a large number of platform service providers have emerged. However， in terms of practical intelligent construction， it is faced with the problems of multi video access， multi protocol and multi application integration. Therefore， this paper expounds the method of multi-video integration by studying the value of streaming media technology. Through thinking about the construction idea of smart construction project， this paper explores the application scenario and future prospect of streaming media technology from the perspective of the demand of video remote on-site command and scheduling. In such industrial context， the value of applications based on diversity access， integration of interconnection is particularly critical.

Keywords： 5G; Rtmp; multi-video; streaming media

0 ?引 ?;言

5G的快速發展給我國的通信技術注入了新的活力，同時，通信技術與流媒體視頻技術存在著相互影響、相互促進的關系。在網絡層面，5G為流媒體視頻應用提供了有力的支撐，網絡通信的延時越低、帶寬越高，視頻的應用領域就越具有多樣性（例如在智慧城市、智慧建造等領域，超高清視頻都是關鍵應用場景），而5G技術徹底改變了流媒體技術的通用性，視頻是一種應用，表面上看，它似乎是為5G打造的，通過5G的傳輸能夠大幅增加帶寬并獲得極低的延遲，從而孕育出各類移動應用（如短視頻、視頻直播、城市慢直播等），依托傳輸優勢助推各種技術與場景的深度融合，如人工智能AI分析、虛擬VR/AR、數字孿生、視頻識別等都呈現了新一代應用生態。

本文基于智慧建造領域的典型場景，分析了5G通信技術在智慧建造平臺的接入方式，重點闡述流媒體平臺的典型價值及融合技術策略，并建立基于多終端、多協議的適配，融合典型視頻協議的應用平臺設計，探索以視頻為基礎的人工智能分析、安全行為管理規范等，提供流媒體融合建議及應用探索。

1 ?5G視頻應用概述

1.1 ?5G視頻發展分析

近年來，智能建造及智慧工地迅猛發展，中國各部委也對建筑行業信息化建設提出了更高的要求。2018年12月，中央經濟會議首次提出“新基建”這一概念，并明確了新基建三大發展方面，即信息通信基礎設施、融合基礎設施、創新基礎設施，新基建本質上是信息數字化的基礎建設，而5G作為通信基礎設施的重要載體，不僅能從根本上改變移動網絡的現狀，促進數據要素的生產、流動和利用，還更加便于各行各業的聯通協同、服務供給，帶動形成5G相關產品和服務市場。近幾年，以視頻為中心的社交活動、沉浸式娛樂、教育、以及許多其他影響消費者的內容都逐漸火熱起來，這使基于5G的實時視頻傳輸也成為商業生活中多種應用的重要組成部分。隨著我國5G網絡建設進入快車道及商業化的逐漸開啟，5G成為促進產業數字化升級、商業模式創新和經濟社會轉型的重要動力。

圍繞智慧化建造場景的高清視頻、安全作業、施工行為等實時視頻發揮著重要價值，同時在助推創新應用方面，基于流媒體技術的視頻直播，短視頻也使信息傳播的方式發生了巨大改變。5G“萬物智聯”的到來使直播、視頻在內容的制作、輸出、分發等環節步入新軌道。在5G的賦能下，直播、視頻結構化、人工智能+視頻等誕生了更多的新模式、新玩法，5G+VR/AR/MR以及物聯網等新技術助力直播，視頻不再局限于4G下的二維觀感，視聽的沉浸式體驗、身臨其境的場景感將會加強，畫面的清晰度、延時性和互動性等將會明顯改善，萬物“視”聯將走進現實，長短視頻交織將成為主流的信息表達方式，真實世界與虛擬世界之間的界定會越來越模糊，社會化協同模式也將隨之發生改變。

5G與流媒體技術的結合，既能夠滿足人工智能視頻結構化的發展需求，形成具有低時延、高可靠、廣覆蓋特點的關鍵網絡基礎設施，也將是新一代信息通信技術在視頻領域深度發展而形成的新興應用模式，更會在此基礎上形成全新的應用生態引領體系。

1.2 ?視頻應用典型需求

目前，國內視頻廠商及流媒體技術提供商的產品及技術特點、平臺提供商的接入協議各不相同，終端制造商需要為每款終端維護提供適用于不同平臺的軟件版本，造成了極大的資源浪費，其次是多種視頻協議標準的出現，給視頻服務平臺與前后端視頻設備的互聯互通帶來麻煩。為了解決視頻終端采用不同視頻協議標準的平臺對接困難的問題，構建一個能夠同時兼容多種協議的視頻服務平臺，以確保不同格式高清視頻的流暢傳輸，而傳統單一的視頻平臺顯著影響用戶體驗，隨之而來的輕量化、場景化視頻應用及平臺的嵌入需求呈井噴式增長。

隨著互聯網應用需求的大量涌現，推動了需求場景的拓寬：

（1）跨品牌接入需求。國內各個廠商的高清監控攝像機ip camera，遵循監控傳輸標準，一般只支持自有技術產業鏈的私有協議，無法滿足跨平臺、跨協議、跨品牌的業務需求及利舊需求，制約著視頻產品的覆蓋面。伴隨著商業應用需求的擴大（如各類球機、槍機、手機、PC、移動攝像頭等終端類型的出現），單一的流媒體技術手段無法實現跨品牌應用，無形中形成了行業壁壘，增加了建設成本，直接影響經濟效益轉化率。

（2）多協議的流媒體技術。多品牌的接入伴隨著多協議的融合、流媒體技術能力的支持，如海康的Ehome、宇視Onvif等流媒體廠商只支持私有協議的轉碼、解碼、推流等，雖然有國標GB/28181的適配要求，但流媒體處理過程和接入方式較為復雜，形成了潛在的接入障礙，并且實時流質量和畫質嚴重受影響。而解決各供應商的私有協議保護問題，形成共性的流媒體融合平臺則是現實需求。

（3）基于人工智能的視頻媒介。視頻源的歸一融合是流媒體的技術趨勢，AI事件分析可有效完成對視頻源的動態分割、分類、分析，視頻融合可有效針對事件、行為、環境進行實時分析，無須重復性的模塊化AI加載，提升技術棧和中臺向大型業務系統延伸擴展的創新應用需求。

（4）輕量化的開放應用能力。高清視頻的應用應該是輕量化的，隨著業務發展，可形成互動的引用機制，與對外業務系統的高度集成，可在視頻媒介的基礎上孵化出各類輕型應用（如實時打賞、鼓勵點贊、視頻追蹤、LBS聯動等），例如對視頻的調度可采用API的鏈接方式，建立無限制的視頻業務引用，形成開放式的嵌入能力，擴大視頻生態的業務延伸能力。

2 ?流媒體技術的典型價值

2.1 ?提升智慧建造安全管理

安全是智慧建造領域的首要關注對象，建造領域涉及工地、工廠等相對復雜的場所，基于視頻監控的安全監管是通用做法，但涉及跨區域、跨城市、跨平臺的視頻+圖像、視頻+文字、視頻+地圖的多模態聯動，融合流媒體平臺是很好的解決方案，可針對建造施工領域的安全問題建立動態發現機制，基于多維度的視頻機制發揮流媒體的融合處理能力，提升智慧化的全周期管理。

2.2 ?助推前沿技術的創新生態應用

流媒體的發展撼動了傳統廣播電視的根基，碎片化時間利用和內容整合都迎來了直接面向消費者的流媒體新時代。人們對視頻隨時隨地可看、可控、可互動、可調度指揮、可智能預警、可智能檢索回溯的訴求越來越高，尤其是移動視頻應用技術和智能語音技術的普及和發展，使得視頻智能分析和語音智能理解支持的需求在各行各業越來越受到青睞和重視。尤其是移動互聯網、物聯網、深度學習、智能分析、云端組網等方面的融合技術，完全能夠滿足新形勢下各種行業終端智能化的需要。

3 ?關鍵技術分析

3.1 ?流媒體技術基本概念

所謂流媒體是指采用流式傳輸的方式在Internet上播放的媒體格式，流媒體又叫流式媒體，是指項目現場用一個視頻傳送服務器把節目當成數據包傳送到網絡上，用戶通過解壓設備對這些數據進行解壓后，節目就會像發送前那樣顯示出來，流媒體以流的方式在網絡中傳輸音頻、視頻和多媒體文件（由服務器向用戶計算機連續、實時傳送）。在采用流式傳輸方式的系統中，用戶不必像非流式播放那樣等到整個文件全部下載完畢后才能看到其中的內容，而是只需要經過幾秒或幾十秒的啟動延時即可在用戶計算機上利用相應的播放器對壓縮的視頻或音頻等流式媒體文件進行播放，剩余的部分將繼續進行下載，直至播放完畢。

針對智慧建造場景的視頻源我們采用5G接入，通過搭配MEC邊緣計算的能力進行部署，結合CDN的終端內容分發網絡技術，實現流媒體服務中臺進行轉碼、解碼、拉流，完成視頻畫面的獲取，形成（5G）端+（MEC）邊+（CDN）云一體化解決方案，以保障流媒體的實時性。

3.2 ?多視頻融合的流媒體關鍵要點

多視頻是指多個設備品牌、多種視頻協議、多類接入手段的統稱，通過兼容多樣性的設備，打造流媒體處理、轉碼、推流，實現融合的流媒體中臺能力，形成開放性的應用平臺。

多視頻主要以多源視頻的融合為基礎，通過多協議的傳輸中臺能力以及多樣性的用戶終端，形成端到端的流媒體處理場景，主要體現在以下幾個方面：

（1）多視頻融合方式。視頻源接入模塊首先將不同廠家的前端設備接入進來，對于支持互聯網接入的采集設備，我們利用標準的流媒體協議接口，實現視頻和音頻數據的傳輸;對于不支持Rtsp/Rtmp的采集設備，我們利用SDK進行接入或私有協議轉化，將采集到的高清視頻信號解碼后再重新編碼，在滿足用戶需求的同時降低對網絡帶寬的消耗，同時將轉碼后的視頻流推送給流媒體服務器分發出去。

以海康ISC平臺為例，接入海康ISC平臺，兼容EHOME協議，通過SDK的集成對接以及視頻轉碼，將視頻推送至云流媒體平臺，流媒體平臺形成解碼、通過CDN下發，由云平臺支撐兼容的可視化平臺，根據項目類型及項目精細化要求進行排列組合展示，以達到協議融合、終端融合。

（2）多協議傳輸方式。多視頻可實現的跨品牌是指基于協議融合通過流媒體轉碼達到一致，解決了協議一致（即可完成跨品牌的接入），通過多協議可不斷補充視頻源的接入層，如圖1所示。不限于球機、槍機、移動視頻源、PC攝像頭、手機端等實現視頻的多源，建立多源后的業務高度適配定制化，提升業務延伸的持續擴展，助推項目的廣泛落地。

圖1 ?RTSP多協議流媒體

多視頻的傳輸涉及傳輸的方式、用戶終端的兼容適配，將非私有協議進行統一接入，流媒體通過RTSP實時控制協議進行解碼、編碼、處理。

目前視頻發展的一大趨勢是低延遲，在流媒體技術編解碼方面，H.264相對比較完善，而PC等設備上則有硬件編解碼，除了編解碼，再往上如推流OBS、FFmpeg等則主要被集成在系統當中，如果從PC端直接推流，則是采用OBS建立推流視頻源。

（3）多樣性終端實時視頻。為了解決多視頻的傳輸延時問題，通過內容分發網絡（CDN）技術，實現流媒體的下發，完成視頻接入、轉碼，下發推流的關鍵流程。形成HTTP協議的視頻畫面，根據終端用戶的類型（如蘋果終端采用FLV協議地址，普通計算機采用HTTP的瀏覽器）以及其他公共媒體進行大屏幕的媒體流播放。對于其他互聯網形態的開放應用，采用RTSP及WEBRTC的技術協議進行封裝集成，基于HTTP流媒體地址進行分類兼容適配。

通過部署MEC邊緣計算的服務器網絡，引入主動內容管理、全局負載均衡和內容緩存等技術，將用戶請求的流媒體內容發布到距離用戶最近的網絡邊緣，解決由異步網絡、網絡延遲和抖動導致的數據包錯序問題，將數據包先緩存在本地，防止緩存溢出，從而提高響應速度，減輕骨干網絡的壓力。

通過MEC邊緣計算，實現低于5毫秒的延遲，邊緣計算使計算和數據存儲更接近用戶，將流媒體平臺服務部署在MEC，通過分散處理和相應決策縮短響應時間并節省帶寬，流媒體已經為大量的應用提供了十足的動力。

MEC根據媒體流發送到多個接收服務端，客戶端可以就近訪問服務器獲得較高質量的媒體流，同時減少帶寬的使用。推流是指將直播內容推送至服務器的過程;拉流是指服務器已有直播內容，用指定地址進行RTSP拉取的過程。至此，實現視頻推送、視頻獲取、視頻集成、視頻內容分發播放、實現多視頻的云門戶全屏聯動的智慧應用平臺，同時根據傳輸協議的選擇（如RTMP、FLV、HLS及WebRTC），適配多樣性的觀看終端，達到最佳的視頻體驗。

4 ?多視頻融合的應用探索

基于5G多視頻接入的融合流媒體技術特性，依托多視頻接入、多場景的融合流媒體平臺，在搭載AI引擎的基礎上進一步打造產品內容生態。

在流媒體方面，5G將消除部署流媒體技術的障礙，以降低延遲、提高能力、擴大應用場景。5G將與邊緣計算在設備之間提供更優越的創新模式、更簡化的集成手段，利用邊緣服務分布提升傳輸的響應能力。

在流媒體技術處理能力和網絡技術的加持下，涌現了諸多新興應用場景，以多視頻、跨場景、廣覆蓋為主要特點。

4.1 ?融合高清視頻

通過部署多臺高清攝像機、360度全景鏡頭、多個麥克風，共同形成立體視頻感知，所拍攝的一切，用戶可以在視頻終端進行24小時觀看，實現輕量化適配。

以4K進行流式傳輸時，屏幕寬度大約有4 000個像素，這種超高清格式勝過1 080 p，而作為超高清的下一個發展階段，8K是4K分辨率的兩倍，通過不同視角的拍攝畫面，以搶球聯動、視角完善、姿態補充的形式將多個畫面組合成一個整體畫面。如智慧建造的場景下，將各項目施工工地不同畫質的高清視頻、4K超高清視頻，以及移動端視頻和空中無人機拍攝的視頻充分融合，實現管理人員對施工現場的鳥瞰以及對主要位置的實時監控，通過角度互補，實現流媒體技術在多個畫面的協議下的下發與推流處理，形成整套超高清視頻畫面，達到融合的技術與產品補位的效果，保證施工現場實時監控畫面高清、流暢、無延遲傳輸至智慧建造指揮中心，如圖2所示。

圖2 ?融合高清視頻應用 ?來源：大興項目現場

4.2 ?智慧融媒體

融媒體是指充分利用媒介載體，將存在共同點的廣播、電視、報紙等既有媒體，以及存在互補性的不同媒體，在人力、內容、宣傳等方面進行全面整合，實現資源通融、內容兼融、宣傳互融、利益共融的新型媒體宣傳理念。

隨著5G等新興技術的快速發展，媒體邊界在未來的某一時刻將被徹底打破，融合將無處不在。文字、圖片、音頻、視頻之間無縫轉換，聲音一鍵轉文字，圖像和音頻一鍵轉視頻，長視頻一鍵轉短視頻，看視頻時用文字發評論、刷彈幕，小說看累了一鍵轉成聽書，這種信息的無限融合、無邊界呈現，已經成為媒體發展變化的大趨勢。

融媒體中的視頻，早已不是錄像或者膠片狀態下的視頻，而是數據流的視頻。各種信息元素中的視頻是最復雜的，可是通過數據化的處理，就可以把視頻無限細分、重組，便捷地呈現給用戶。電視臺在視頻化過程中最常見的做法是“拆條”，其實就是把傳統視頻內容變成數據顆粒，變成視頻的數據流。視頻中的每一幀可以用作通過查找學習的嵌入空間中最近鄰居來檢索相似幀的查詢，嵌入功能足以區分看起來非常相似的幀。一旦視頻內容變成視頻數據流，平臺就可以通過算法來進行定向推薦和流量分配，大大縮短了視頻信息傳播轉換路徑，如圖3所示。

圖3 ?智慧融媒體（基于視頻標簽提取）

能否成為平臺的關鍵在于能不能把傳統的視頻轉變為視頻數據流，從底層徹底打通數據系統，構建視頻化的數據平臺，讓視頻內容在平臺上順暢流動。AI智能拆條、智能標簽系統，這些還只是從視頻節目向視頻數據流轉變的第一步，而在視頻數據流基礎上構建平臺，滿足用戶的無限需求，可實現精準了解用戶的目的。

4.3 ?城市直播

如新冠疫情期間的直播造樓，城市全景直播、中國聯通的直播珠峰都是通過部署實時高清攝像頭，實現現場同步采集、跟蹤、發布視頻的案例，形態豐富、信息多元，能夠承載更為豐富的視頻內容，使視頻去中心化，讓任何人都可以實時觀看操作內容，實現指導及監督目的，這些都是通過視頻融合的方式實現的，在形成多個視頻群以后，多視頻就發揮著巨大的集成價值，建立了立體、多角度的視頻直播，以使用戶獲得多維度、全周期的實時觀看體驗。

在城市慢直播的場景下，越來越多的流媒體技術正朝著提供實時視頻和用戶分析的視頻直播模式邁進，將數據用作最終的用戶畫像行為進行分析和處理，借助流媒體視頻，內容分發者可以通過手動操作和相關功能來分析、預測和建立平安城市。

4.4 ?互動直播

互動直播連麥功能支持全平臺多方音視頻連麥，用戶隨時可以通過不同設備、不同平臺建立視頻直播。近年來，互聯網直播和連麥的應用場景是熱門，通過建立切屏、分屏及PC端與手機端同步直播機制，形成多場景聯動形態，如圖4所示，通過CDN網絡將內容分發給許多觀眾，采用適配的H5播放器，通過RTC與WebRtc的交叉功能來實現互動直播的音視頻實時效果。

圖4 ?互動直播（多場景聯動）

4.5 ?人工智能識別

人工智能在安全領域的應用最為廣泛，AI可提供更為有效的方式來編碼、分發和管理流媒體的多源數據，然后通過計算機視覺或機器來識別對象，如圖5所示，在獲得自動執行能力以前需要借助人類視覺系統執行任務的能力，這對內容檢索來說非常關鍵，建立多形態的識別規范。

圖5 ?人工智能識別（識別分類）

通過移動視頻和固定視頻機位，從多視頻角度建立行為、操作、標準的立體建模數據，不斷完善視頻庫數據規范，形成AI識別和分析流媒體內容并自動提取元數據，通過先驗概率分析，幫助企業或管理部門更有效地監管危險和標記非法內容，如圖6所示。

圖6 ?人工智能識別（先驗概率）

在5G高清視頻傳輸的基礎上，通過系統搭載的AI智能識別模塊，可以實現對工地視頻的實時分析，對施工現場的不安全行為及時預警，通過標準化多形態訓練庫，實現訓練施工現場的AI算法，通過AI可有效指導施工現場安全操作、規范化作業，約束傳統的工人日常安全行為管理，防范火災等意外發生。將5G傳輸、視頻及AI功能進行整合，AI分析展示系統將基于AI識別抓拍能力和抓拍數據為項目安全管理、質量管理提供智能實時報警、統計分析與展示功能。

4.6 ?互聯網廣告

在流媒體視頻廣告的世界里，內容相關性至關重要，視頻的互動性也將成為焦點。視頻的處理可以由具有多樣性的終端來收集數據，通過多元化的創新形式和娛樂化視頻內容可以提高用戶的參與度，比如觀眾可以在選擇自己的體驗經歷或選擇產品之間進行切換，通過視頻的面部識別可以啟用針對每個路人的個性化廣告。

5 ?結 ?論

視頻的最大優勢是不受時間和地域的限制，能夠高效地完成多媒體信息傳播，為視頻用戶提供一個交互式、廣視角、全方位的交流空間，獲得等同于或高于現實情境下的溝通效果。實時視頻點播、實時網絡對話、遠程監管和教學等，這些是流媒體技術的常見應用，從技術層面來講，流媒體是多媒體與網絡通信的結合，是網絡與媒體通信業發展的結晶，符合人們對高品質、快節奏生活的迫切追求，在驗證了技術的可行性后，流媒體行業的應用前景將十分廣闊。

隨著移動通信網絡和移動終端技術的發展，人們隨身攜帶的智能手機、筆記本電腦等成為集語音、文字、圖像為一體的信息平臺，即成為移動媒體，也被譽為“第五媒體”。從中可以看出，流媒體將是未來互聯網的發展趨勢，視頻流將運用于越來越多的場景中（如智能家居、智慧城市、教育、交通、安防等領域），構建“5G+視頻+場景落地”商業模式、實現技術創新升級，成為未來創新應用發展的重點。

參考文獻：

[1] 張璦涵，劉翔，石蘊玉，等.基于深度學習的雙流程短視頻分類方法 [J/OL].計算機工程：1-8.[2022-02-07].DOI：10.19678/j.issn.1000-3428.0061913.https：//kns.cnki.net/kcms/detail/detail.aspx？dbcode=CAPJ&dbname=CAPJLAST&filename=JSJC20210908002&uniplatform=NZKPT&v=g9BjGJf5ZLVfjammXSrkEpYRNYIXSA5b0fQPGeJIg48EBT6lr_U3Z5EDLdjsxGD9.

[2] 蘇永紅.基于內容分發網絡的實時流媒體直播系統設計 [J].軟件工程，2021，24（12）：35-39.

[3] 劉浩，黃榮，袁浩東.面向上行流媒體的壓縮感知視頻流技術前沿 [J].中國圖象圖形學報，2021，26（7）：1545-1557.

[4] 張遠.視頻會議系統中TCP/RTMP/WebSocket協議間轉換的研究與實現 [D].廣州：華南理工大學，2016.

[5] 陳積銀，胡睿心，孫鶴立.用戶體驗視角下人工智能視頻生產平臺使用效果研究 [J].新聞大學，2021（12）：92-107+124-125.

作者簡介：馮九龍（1987.12—），男，漢族，湖北襄陽人，工程師，學士，主要研究方向：5G+人工智能關鍵技術的創新產品應用與研究;楊海濤（1975.12—），男，漢族，北京人，高級工程師，學士，主要研究方向：5G相關技術及行業典型應用;欒曉鵬（1993.02—），男，漢族，北京人，工程師，碩士，主要研究方向：5G+視頻在建筑行業的應用及解決方案;馬營營（1992.01—），女，漢族，河北保定人，工程師，碩士，主要研究方向：5G智能建造領域的應用研究;馮薈璇（1993.01—），女，漢族，山東菏澤人，設計師，碩士，主要研究方向：大數據技術的行業應用與研究。