面向應急需求的異構融合技術及應用

安進朝 馬文學

摘要：信息技術和計算機技術在專網通信領域應用的不斷深入，為面向應急需求的融合指揮手段提供了新的動力，經多年攻關和積累，提出了一種異構融合技術并成功應用，對其中協(xié)議接入、媒體處理和業(yè)務融合3個關鍵子模塊的設計方案進行了闡述，分析了其中涉及到的3種關鍵技術：組媒體處理及調度技術、弱網視頻優(yōu)化技術和異構系統(tǒng)互聯(lián)互通技術，給出了異構融合技術的實現(xiàn)效果和未來的研究方向。

關鍵詞：異構融合；調度；統(tǒng)一適配；音視頻優(yōu)化；業(yè)務開發(fā)

中圖分類號：TP311文獻標志碼：A文章編號：1008-1739（2022）12-67-5

0引言

隨著信息通信和計算機網絡技術的飛速發(fā)展，國內外在構建應急指揮調度系統(tǒng)過程中積極開展了相關的探索，已經逐步從早期的有線電話和無線對講階段發(fā)展成為運用有線、無線、衛(wèi)星、網絡和視頻等多種通信技術的全面應用階段。由于不同網絡（包括固定網絡和多種移動網絡等）在傳播特性、帶寬、時延和覆蓋范圍等方面具有不同的性能[1]，沒有一種通信制式能解決所有問題。近年來，在“市域社會治理現(xiàn)代化”戰(zhàn)略及應急管理部設立等大背景下，應急管理體制應對的危機范圍逐漸擴大，國內的面向應急通信系統(tǒng)的建設迎來了新的歷史機遇和挑戰(zhàn)。針對突發(fā)事件呈現(xiàn)出事態(tài)多樣多發(fā)、影響更大更廣、處置更難更復雜的特點，如何保障政府和各行業(yè)應急力量及時準確了解現(xiàn)場情況，快速有效地進行信息溝通，進而及時、科學地決策，實現(xiàn)跨區(qū)域、跨部門的統(tǒng)一指揮調度[2]，已經成為一個重要的研究課題。

1平臺簡介

異構融合通信平臺的總體建設目標為應急指揮中心系統(tǒng)的支撐技術平臺，對上提供豐富標準的開放接口與應急各部門通信業(yè)務應用系統(tǒng)對接，對下連接各類終端，實現(xiàn)對渠道信息接入并有效支撐融合指揮服務。重點強化在各種突發(fā)事件時對事件和現(xiàn)場的快速研判和會商決策，提高應急指揮效能，系統(tǒng)網絡拓撲圖如圖1所示。

2設計方案

異構融合通信平臺總體架構分為前端接入層、控制融合平臺層和服務接口層4部分，采用全IP網絡架構，融合了專網主流通信技術，架構如圖2所示。

前端接入層主要由各應用系統(tǒng)或者定制的專用客戶端實現(xiàn)，為各類異構網絡提供接入服務，為互聯(lián)互通提供穩(wěn)定高效的通道；融合平臺層是這個系統(tǒng)的核心，提供語音、視頻和數據的調度服務，多種通信手段的融合[3]，提供多種媒體協(xié)議和控制協(xié)議的擴展。

服務接口層為指揮調度業(yè)務提供SDK服務接口，提供不同系統(tǒng)的對接能力，供外部業(yè)務終端或者系統(tǒng)進行調用和集成。

控制融合平臺層，又細分為業(yè)務融合、媒體處理和協(xié)議接入3個子系統(tǒng)，下面將分別介紹。

2.1業(yè)務融合子系統(tǒng)

異構融合通信平臺的特點是調度一體化、無障礙的互聯(lián)互通和豐富的通信業(yè)務，在應急指揮和公安指揮等多種場景下，多種調度方式相結合，視頻實時呈現(xiàn)和互動，接報地圖自動定位，為輔助指揮中心高效聯(lián)合研判和指揮決策，繁雜的通信方式對異構融合通信平臺的能力和便捷提出了很高的要求。控制融合子系統(tǒng)是融合平臺層的業(yè)務控制核心，也是異構融合通信平臺的控制核心，通過對各種接入協(xié)議和業(yè)務引擎的融合，對服務接口層提供語音調度、視頻調度、GIS調度、短數據調度和設備管理等統(tǒng)一的支撐服務接口。

結合AI應用技術，利用人臉識別、語音撥號和音視頻綁定等手段，融合通信平臺層可以為云應用提供強大的功能擴展。

2.2媒體處理子系統(tǒng)

媒體處理子系統(tǒng)，即平臺的媒體引擎，為融合平臺層提供音視頻會議功能，遵循媒體與信令分離、媒體處理與服務控制分離的原則，子系統(tǒng)分為服務接入、服務控制、媒體控制和媒體處理4層，其中媒體處理屬于媒體面，采用開源媒體處理框架。媒體處理子系統(tǒng)與控制融合子系統(tǒng)基于SIP/MSML協(xié)議傳輸媒體控制信令；與視頻網關、接入網關以及各類接入終端等接入層設備基于RTP/RTCP協(xié)議進行媒體流的控制和傳輸。

通過采用優(yōu)秀的會議混音技術、視頻會議自適配技術、GPU加速技術、RTP擁塞控制和加密技術，保障異構融合通信平臺流暢的媒體呈現(xiàn)和視頻源的無縫接入。

2.3協(xié)議接入子系統(tǒng)

協(xié)議接入子系統(tǒng)融合前端各種不同類型協(xié)議的系統(tǒng)和終端，可以接入多種系統(tǒng)和終端等專網通信產品，實現(xiàn)互聯(lián)互通。可以與公網通信系統(tǒng)、專網無線寬窄帶集群系統(tǒng)以及視頻會議對接，完成融合指揮調度。對外選用了一種標準協(xié)議（SIP協(xié)議）和一種接口（UC服務接口），接入各種網關和統(tǒng)一通信服務，網關包括語音網關、寬窄帶集群接入網關、視頻會議網關、衛(wèi)星接入網關和視頻監(jiān)控接入網關等。

3關鍵技術

3.1組媒體處理及調度技術

在視頻指揮調度應用中，網絡建設往往不是一次性全部更新，新舊設備共存是常態(tài)，不同網絡、不同終端視頻能力差異很大，調度應用中既要保證所有在網的設備都可以接入，又要體現(xiàn)其中高端設備的先進性和應用效果。融合平臺的媒體引擎設計采用全新的多方媒體處理模型，同時具備媒體能力自動適配功能。

目前多方媒體處理框架主要有Mesh，Selective Forwarding Unit（SFU）和Multipoint Conferencing Unit（MCU）3種方案。

Mesh方案，即多個終端之間兩兩進行連接，形成一個網狀結構，這種方案對各終端的帶寬要求比較高。Mesh模型示意圖如圖3所示。

MCU方案由一個服務器和多個終端組成一個星形結構。各終端將自己要共享的音視頻流發(fā)送給服務器，服務器端會將在同一個房間中的所有終端的音視頻流進行混合，最終生成一個混合后的音視頻流再發(fā)給各個終端，這樣各終端就可以看到/聽到其他終端的音視頻了。實際上服務器端就是一個音視頻混合器，這種方案服務器的壓力會非常大。MCU模型示意圖如圖4所示。

SFU（Selective Forwarding Unit）方案，該方案也是由一個服務器和多個終端組成，但與MCU不同的是，SFU不對音視頻進行混流，收到某個終端共享的音視頻流后，就直接將該音視頻流轉發(fā)給房間內的其他終端。它實際上就是一個音視頻路由轉發(fā)器。這樣大大增加了客戶端的靈活性，但是這樣做也有弊端，因為SFU不會對原視頻做壓縮處理，這對下行帶寬有很高的要求，若沒達到要求，將會對音視頻的質量產生影響。

針對SFU帶寬問題，目前還有基于SFU的simulcast和SVC分層[6]方案。simulcast方案是通過分層的方式，可以設置成2層、3層或是4層甚至更高層次的分辨率，下發(fā)的時候SFU會判斷整個帶寬能否承載下行的數據，如果不能承載便選擇低一個層次的分辨率看能否承載，若不能承載，再選擇更低層次的，依次下去。SVC也是采用分層，但與simulcast不同，后者是獨立的層，而前者是相互依賴的。SFU-simulcast模型示意圖如圖6所示。SFU-SVC模型示意圖如圖7所示。

上述2種分層方案，都可以有效利用帶寬資源，但需要終端廣泛支持媒體流分層技術，因此應用在融合指揮調度領域受限很大。

在異構融合通信平臺中，前方應急指揮環(huán)境下的終端組網采用了Mesh模型，在與外界網絡隔離的情況下，可以進行應急終端中間的多媒體交互。后方處理模型則采用了改進的復合模型，兼顧了MCU和SFU的特點。

會議中某一會場不支持當前會議要求的視頻格式時，媒體引擎需要為該會場分配額外的圖像編解碼器資源。當媒體服務器中的編解碼器處理資源達到為每個會場都配備1路編解碼器資源時，就能夠實現(xiàn)全適配處理。會場終端都能夠以最優(yōu)的視頻能力接入，同時媒體服務器發(fā)送給會議終端的視頻碼流也是最優(yōu)的。復合模型示意圖如圖8所示。

相對于傳統(tǒng)的指揮調度平臺，異構融合通信平臺接入的媒體類型更多，業(yè)務流程更加復雜，對媒體資源的調度靈活性和能力兼容性有非常高的要求。

本平臺媒體引擎設計采用自適應的媒體資源動態(tài)調度方法，根據不同的調度業(yè)務及終端設備間的媒體協(xié)商，均衡分配相應的媒體轉發(fā)或轉碼資源，對不同業(yè)務及終端音視頻能力進行適配；使用一種資源占用修正模型，該模型的輸入為資源目標類型、當前的網絡丟包、延遲、碼率、編解碼以及處理主機情況，輸出為修正后的最小資源占用、最優(yōu)資源預留和資源變化趨勢，用于準確地評估資源占用情況。

該方法根據業(yè)務的媒體協(xié)商采用音視頻資源實時監(jiān)控策略，同時基于多目標決策和資源修正模型，實現(xiàn)了轉碼、轉發(fā)等各類媒體資源的均衡動態(tài)分配與控制，突破了指揮調度中心大規(guī)模并發(fā)多媒體通信的瓶頸，保證了上層多種調度業(yè)務的高效穩(wěn)定進行。

當媒體流經過任意媒體組件時，將執(zhí)行內部動態(tài)配置，以便將傳入媒體格式與請求的輸出媒體格式相匹配。如果輸入和輸出格式兼容（在編解碼器級別），則媒體可以直接傳輸而無需任何額外的處理。但是，如果輸入和輸出媒體格式不兼容，則啟用內部轉碼模塊將輸入媒體格式轉換為與所需輸出兼容。

3.2弱網視頻優(yōu)化技術

變分辨率在弱網場景的實際應用中非常常見，網絡狀況不好的時候降低分辨率可以降低碼率，減少塊效應，網絡好的時候增加分辨率可以提升清晰度及主觀體驗。

目前主流的視頻編碼標準，比如H.264和H.2655/HEVC[4]，在編碼過程中如果要進行分辨率切換，則必須要先編碼一個I幀，而I幀只能使用幀內預測，編碼效率低下。這在弱網變分辨率的時候就容易造成卡頓。圖9展示了每秒鐘切換分辨率的碼率波動效果，高低2個分辨率，每秒鐘切換一次。