基于FFmpeg+OpenCV 技術(shù)的廣播電視無(wú)線發(fā)射臺(tái)站音視頻集中分發(fā)流媒體管理平臺(tái)

羅秋云

（廣西廣播電視無(wú)線傳播樞紐臺(tái)，廣西 南寧 530022）

0 引言

廣西廣播電視無(wú)線傳播樞紐臺(tái)監(jiān)控平臺(tái)通過(guò)廣西廣播電視技術(shù)中心自主研發(fā)的廣西整?。▍^(qū)）廣播電視無(wú)線發(fā)射臺(tái)站智慧運(yùn)維管理系統(tǒng)（以下簡(jiǎn)稱廣西遠(yuǎn)程監(jiān)控系統(tǒng)）實(shí)現(xiàn)了對(duì)全區(qū)包括區(qū)、市、縣、鄉(xiāng)4 級(jí)共877 個(gè)中波、實(shí)驗(yàn)、調(diào)頻、電視無(wú)線發(fā)射臺(tái)站的智能化和自動(dòng)化管理。本文以廣西遠(yuǎn)程監(jiān)控系統(tǒng)為應(yīng)用案例，探索并建設(shè)一種基于FFmpeg 和OpenCV 技術(shù)的廣播電視無(wú)線發(fā)射臺(tái)站音視頻集中分發(fā)流媒體管理平臺(tái)。

1 現(xiàn)狀需求和設(shè)計(jì)目的

1.1 現(xiàn)狀及需求

廣西遠(yuǎn)程監(jiān)控系統(tǒng)已實(shí)現(xiàn)對(duì)全區(qū)無(wú)線發(fā)射臺(tái)站信號(hào)源、發(fā)射機(jī)、供配電系統(tǒng)以及機(jī)房環(huán)境、傳輸網(wǎng)絡(luò)等運(yùn)行情況進(jìn)行統(tǒng)一集中監(jiān)控，但還存在以下問(wèn)題。

第一，廣西遠(yuǎn)程監(jiān)控系統(tǒng)主要采用點(diǎn)對(duì)點(diǎn)的方式獲取數(shù)字電視、調(diào)頻廣播及數(shù)字安防等信號(hào)，當(dāng)多個(gè)不同客戶端獲取同一個(gè)臺(tái)站的同一個(gè)信號(hào)時(shí)，需要從臺(tái)站發(fā)送多個(gè)相同的信號(hào)到服務(wù)器，容易造成同時(shí)觸發(fā)流量過(guò)大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬堵塞，無(wú)形中浪費(fèi)了大量的寬帶資源[1]。

第二，無(wú)線發(fā)射臺(tái)站端音視頻流有數(shù)字電視、調(diào)頻廣播和數(shù)字安防等廣播電視信號(hào)，涉及無(wú)線傳輸鏈路各個(gè)節(jié)點(diǎn)、不同廠家的各種不同設(shè)備。如何對(duì)這些不同廣播電視流進(jìn)行統(tǒng)一轉(zhuǎn)編碼，從而實(shí)現(xiàn)異構(gòu)設(shè)備傳輸流（Transport Stream，TS）的集中管理，成為一個(gè)難題。

第三，無(wú)線發(fā)射臺(tái)站音視頻信號(hào)種類繁多，包含各個(gè)無(wú)線發(fā)射臺(tái)站重點(diǎn)部位的實(shí)時(shí)攝像頭視頻、廣播電視節(jié)目衛(wèi)星光纖主備信號(hào)源和空收流等，需要建立一個(gè)管理平臺(tái)監(jiān)管這些音視頻信號(hào)，及時(shí)、準(zhǔn)確地發(fā)現(xiàn)安全播出事件，從而更有效地提高安全播出保障能力[2]。

為解決上述問(wèn)題，搭建基于流媒體技術(shù)的廣播電視無(wú)線發(fā)射臺(tái)站音視頻集中分發(fā)管理平臺(tái)，采用流媒體技術(shù)實(shí)現(xiàn)廣播電視無(wú)線發(fā)射臺(tái)站音視頻流的集中分發(fā)，可按多節(jié)目、多臺(tái)站定制化廣播電視音視頻信號(hào)多節(jié)目多臺(tái)站多畫面輪播監(jiān)測(cè)，并支持不同廣播電視音視頻流的統(tǒng)一編轉(zhuǎn)碼，從而解決音視頻信號(hào)重復(fù)傳輸導(dǎo)致的網(wǎng)絡(luò)擁堵，實(shí)現(xiàn)無(wú)線發(fā)射臺(tái)站音視頻信號(hào)的集中監(jiān)管，提高安全播出保障能力。

1.2 設(shè)計(jì)目的

為解決廣播電視音視頻信號(hào)重復(fù)傳輸問(wèn)題，實(shí)現(xiàn)不同廣播電視音視頻信號(hào)多畫面輪播監(jiān)測(cè)和異構(gòu)設(shè)備TS 流的集中管理，廣西廣播電視無(wú)線傳播樞紐臺(tái)計(jì)劃搭建基于流媒體技術(shù)的廣播電視無(wú)線發(fā)射臺(tái)站音視頻集中分發(fā)管理平臺(tái)，提高安全播出保障能力，項(xiàng)目預(yù)期效果如下。

第一，利用流媒體技術(shù)實(shí)現(xiàn)廣播電視無(wú)線發(fā)射臺(tái)站音視頻流的集中分發(fā)，解決同時(shí)觸發(fā)流量過(guò)大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬的堵塞問(wèn)題。

第二，按多節(jié)目、多臺(tái)站定制化多畫面輪播監(jiān)測(cè)，實(shí)時(shí)監(jiān)控臺(tái)站端調(diào)頻廣播、數(shù)字安防、數(shù)字電視的音視頻信號(hào)，可以通過(guò)對(duì)比信號(hào)源與空收流信號(hào)準(zhǔn)確定位故障點(diǎn)，提高運(yùn)維效率[3]。

第三，支持不同廣播電視音視頻信號(hào)的統(tǒng)一編轉(zhuǎn)碼，能夠接入各種不同類型的設(shè)備，實(shí)現(xiàn)異構(gòu)設(shè)備TS 流的集中管理。

第四，對(duì)外提供統(tǒng)一的實(shí)時(shí)音視頻調(diào)用接口，可為遠(yuǎn)程監(jiān)控系統(tǒng)提供音視頻信號(hào)。

2 系統(tǒng)設(shè)計(jì)及應(yīng)用

2.1 系統(tǒng)架構(gòu)

基于FFmpeg 和OpenCV 技術(shù)的廣播電視無(wú)線發(fā)射臺(tái)站音視頻集中分發(fā)流媒體管理平臺(tái)主要由臺(tái)站流媒體回傳系統(tǒng)、流媒體代理服務(wù)集群和流媒體發(fā)布平臺(tái)組成。其中，流媒體代理服務(wù)集群和發(fā)布平臺(tái)部署在廣西遠(yuǎn)程監(jiān)控系統(tǒng)中心平臺(tái)，流媒體回傳軟件部署在廣西全區(qū)96 座發(fā)射臺(tái)站終端，利用已有的10 Mb·s-1光纖回傳鏈路，通過(guò)瀏覽器網(wǎng)頁(yè)、個(gè)人計(jì)算機(jī)（Personal Computer，PC）客戶端、手機(jī)App、微信小程序等方式，實(shí)時(shí)監(jiān)控臺(tái)站端廣播電視音視頻信號(hào)的播放情況，以實(shí)現(xiàn)對(duì)全區(qū)無(wú)線發(fā)射臺(tái)站的音視頻信號(hào)進(jìn)行實(shí)時(shí)集中監(jiān)控，整體架構(gòu)如圖1 所示。

圖1 系統(tǒng)拓?fù)?/p>

2.2 臺(tái)站流媒體回傳系統(tǒng)

2.2.1 系統(tǒng)拉流

臺(tái)站端的流媒體回傳系統(tǒng)主要部署在臺(tái)站端的服務(wù)器和主控電腦臺(tái)站，接收來(lái)自光纖及衛(wèi)星輸入流、地面數(shù)字多媒體廣播（Digital Terrestrial Multimedia Broadcasting，DTMB）接收機(jī)空收流，支持拉取多種格式的TS 流。

2.2.2 FFmpeg 編解碼

采用FFmpeg 方法將接收的廣播電視多節(jié)目數(shù)據(jù)流解復(fù)用，按音視頻pid 進(jìn)行拆分轉(zhuǎn)碼，重新封裝為新的視頻流，然后將新視頻流從用戶數(shù)據(jù)報(bào)協(xié)議（User Datagram Protocol，UDP）轉(zhuǎn)協(xié)議為HTTP+TS的單播視頻流。該系統(tǒng)還將接收來(lái)自海康威視服務(wù)器的實(shí)時(shí)流傳輸協(xié)議（Real Time Streaming Protocol，RTSP）監(jiān)控視頻流轉(zhuǎn)為HTTP+TS 的單播視頻流，從而實(shí)現(xiàn)臺(tái)站端調(diào)頻廣播、數(shù)字電視輸入輸出數(shù)字安防音視頻的編解碼和拉流。同時(shí)，該軟件還支持RTSP、實(shí)時(shí)傳輸協(xié)議（Real-time Transport Protocol，RTP）、基于HTTP 的自適應(yīng)碼率流媒體傳輸（HTTP Live Streaming，HLS）、超文本傳輸協(xié)議（Hyper Text Transfer Protocol，HTTP）、UDP 等協(xié)議的相互轉(zhuǎn)換，實(shí)現(xiàn)無(wú)線發(fā)射臺(tái)站音視頻不同格式、不同協(xié)議的轉(zhuǎn)換功能，為流媒體實(shí)時(shí)點(diǎn)播奠定了基礎(chǔ)。

2.2.3 OpenCV 播放音視頻

客戶端接收到單播視頻流后，解碼存入dst視頻。由于視頻格式是yuv420，需要將其轉(zhuǎn)碼為rgb 格式。將轉(zhuǎn)碼后的數(shù)據(jù)存入OpenCV 中，從而實(shí)現(xiàn)解碼后的視頻播放。

2.3 流媒體代理集群

在廣西遠(yuǎn)程監(jiān)控系統(tǒng)中心平臺(tái)搭建由3 臺(tái)流媒體服務(wù)器組成的流媒體代理集群，負(fù)責(zé)接收流媒體發(fā)布平臺(tái)的請(qǐng)求命令，實(shí)現(xiàn)與臺(tái)站端流媒體回傳軟件的交互，通過(guò)負(fù)載均衡方式拉取臺(tái)站的節(jié)目并轉(zhuǎn)發(fā)給請(qǐng)求的客戶端，流程如圖2 所示。但由于光纖回傳鏈路帶寬只有10 Mb·s-1，帶寬資源有限，為降低各臺(tái)站回傳節(jié)目帶寬，當(dāng)有多個(gè)客戶端請(qǐng)求同一個(gè)臺(tái)站的同一個(gè)節(jié)目時(shí)，臺(tái)站只需回傳一路節(jié)目即可，再轉(zhuǎn)發(fā)給多個(gè)客戶端?？蛻舳丝梢灾苯釉跒g覽器中播放視頻，無(wú)須安裝其他播放器插件，使用JS控制，將字節(jié)流發(fā)送給瀏覽器媒體解碼器進(jìn)行播放，實(shí)時(shí)觀看音視頻節(jié)目[4]。

圖2 節(jié)目回傳流程

2.4 流媒體發(fā)布平臺(tái)

在廣西遠(yuǎn)程監(jiān)控中心平臺(tái)搭建流媒體發(fā)布平臺(tái)，集成全區(qū)95 座無(wú)線發(fā)射臺(tái)海量音視頻信號(hào)，可實(shí)時(shí)監(jiān)控臺(tái)站端調(diào)頻廣播、數(shù)字安防及數(shù)字電視的音視頻信號(hào)。流媒體發(fā)布平臺(tái)接收不同客戶端的播放請(qǐng)求，根據(jù)流媒體代理集群的負(fù)載情況合理分配資源，向臺(tái)站端流媒體回傳軟件拉取音視頻信號(hào)，并對(duì)臺(tái)站回傳音視頻信號(hào)進(jìn)行分發(fā)，實(shí)現(xiàn)視、音頻格式統(tǒng)一化和轉(zhuǎn)發(fā)，同時(shí)確保不因同時(shí)觸發(fā)流量過(guò)大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬堵塞。

流媒體發(fā)布平臺(tái)支持多形式終端接入，可通過(guò)網(wǎng)頁(yè)瀏覽器、PC 客戶端、手機(jī)App 及微信小程序等方式實(shí)時(shí)監(jiān)控臺(tái)站端廣播電視音視頻信號(hào)的播放情況；并提供HTTP-JSON 接口，終端可向流媒體平臺(tái)申請(qǐng)拉流，實(shí)現(xiàn)音視頻信號(hào)的實(shí)時(shí)在線預(yù)覽。

流媒體發(fā)布平臺(tái)對(duì)外提供統(tǒng)一的實(shí)時(shí)音視頻調(diào)用接口，為廣西遠(yuǎn)程監(jiān)控系統(tǒng)提供所需的音視頻信號(hào)，支持輸入流斷開(kāi)后定期進(jìn)行重連，重連間隔可配置，保證輸出與輸入同步恢復(fù)。

2.5 多畫面輪播監(jiān)測(cè)

多畫面輪播監(jiān)測(cè)平臺(tái)可按多節(jié)目、多臺(tái)站定制化音視頻信號(hào)多畫面輪播監(jiān)測(cè)；根據(jù)需求制定輪播方案，并根據(jù)方案選擇添加所需臺(tái)站的廣播電視音視頻信號(hào)，設(shè)定輪詢間隔，按照設(shè)定的畫面數(shù)量進(jìn)行輪播，這樣可以多畫面查看多臺(tái)站、多節(jié)目的播出效果；通過(guò)對(duì)比信號(hào)源和空收流，可以快速判斷故障點(diǎn)，提高運(yùn)維能力。

3 社會(huì)效益和創(chuàng)新點(diǎn)

3.1 社會(huì)效益

廣播電視監(jiān)測(cè)工作是廣播電視事業(yè)的重要組成部分。廣西無(wú)線發(fā)射臺(tái)站流媒體平臺(tái)解決了信號(hào)重復(fù)傳輸?shù)膯?wèn)題，為廣西廣播電視無(wú)線傳播樞紐臺(tái)監(jiān)控平臺(tái)提供穩(wěn)定、不間斷、全方位的音視頻信號(hào)集中監(jiān)控系統(tǒng)。平臺(tái)利用流媒體技術(shù)實(shí)現(xiàn)廣播電視無(wú)線發(fā)射臺(tái)站音視頻流的集中分發(fā)，解決了同時(shí)觸發(fā)流量過(guò)大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬的堵塞問(wèn)題；按多節(jié)目、多臺(tái)站定制化多畫面輪播監(jiān)測(cè)，實(shí)時(shí)監(jiān)控臺(tái)站端調(diào)頻廣播、數(shù)字安防、數(shù)字電視的音視頻信號(hào)，信號(hào)傳輸穩(wěn)定、監(jiān)測(cè)數(shù)據(jù)完整，有效提高安全播出保障能力[5]。平臺(tái)極大地提升了運(yùn)維效率，采用瀏覽器/服務(wù)器（Browser/Server，B/S）方式對(duì)各臺(tái)站的不同音視頻信號(hào)進(jìn)行24 h 在線監(jiān)控，可以通過(guò)對(duì)比信號(hào)源與空收流信號(hào)，準(zhǔn)確定位故障點(diǎn)，可預(yù)防劣播、錯(cuò)播及停播等安全播出事件，實(shí)時(shí)查看臺(tái)站端環(huán)境安防情況，可精準(zhǔn)定位故障點(diǎn)，提高運(yùn)維人員的工作效率。平臺(tái)對(duì)外提供統(tǒng)一的實(shí)時(shí)音視頻調(diào)用接口，為遠(yuǎn)程監(jiān)控系統(tǒng)提供音視頻信號(hào)。

3.2 創(chuàng)新點(diǎn)

廣西無(wú)線發(fā)射臺(tái)站流媒體平臺(tái)具有以下創(chuàng)新點(diǎn)。

第一，采用FFmpeg 和OpenCV 方法實(shí)現(xiàn)廣播電視臺(tái)站地面數(shù)字電視遠(yuǎn)程集中音視頻監(jiān)控。平臺(tái)采用FFmpeg 通過(guò)對(duì)AVS+音視頻的高效編轉(zhuǎn)碼、圖片尺寸壓縮，降低分辨率，在圖像上添加水印信息，利用音頻數(shù)據(jù)重采樣降低音頻數(shù)據(jù)量等，完成對(duì)AVS+視頻的低碼率轉(zhuǎn)換。轉(zhuǎn)碼后的音視頻通過(guò)流媒體平臺(tái)回傳至廣西遠(yuǎn)程監(jiān)控中心平臺(tái)，采用OpenCV 讀取圖像，實(shí)現(xiàn)臺(tái)站音視頻遠(yuǎn)程集中監(jiān)控。

第二，采用流媒體集群代理+平臺(tái)管理方式，實(shí)現(xiàn)對(duì)廣播電視無(wú)線發(fā)射臺(tái)站音視頻流的集中拉取、分發(fā)管理，解決了傳統(tǒng)廣播電視臺(tái)站多終端向同一設(shè)備拉流造成網(wǎng)絡(luò)擁堵問(wèn)題。當(dāng)多個(gè)客戶端向平臺(tái)請(qǐng)求同一個(gè)音視頻，該平臺(tái)只需獲取一路音視頻流，再轉(zhuǎn)發(fā)給多個(gè)客戶端，有效解決了同時(shí)觸發(fā)流量過(guò)大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬的堵塞問(wèn)題。

第三，采用流媒體技術(shù)實(shí)現(xiàn)廣播電視無(wú)線發(fā)射臺(tái)站音視頻節(jié)目集中多畫面輪播監(jiān)測(cè)。平臺(tái)根據(jù)需求制訂輪播方案和設(shè)置輪播參數(shù)后，通過(guò)輪播展示，可以在同一頁(yè)面監(jiān)測(cè)多個(gè)臺(tái)站、多個(gè)節(jié)目的實(shí)時(shí)音視頻信號(hào)。通過(guò)對(duì)比信號(hào)源和空收流，可以快速判斷故障點(diǎn)，提高運(yùn)維能力。

第四，實(shí)現(xiàn)不同廣播電視音視頻流的統(tǒng)一編轉(zhuǎn)碼。平臺(tái)支持RTSP、RTP、HLS、HTTP 及UDP 等協(xié)議的相互轉(zhuǎn)換，實(shí)現(xiàn)廣播電視音視頻不同格式、不同協(xié)議的轉(zhuǎn)換功能，實(shí)現(xiàn)異構(gòu)設(shè)備TS 流的集中管理。

4 結(jié)語(yǔ)

廣西無(wú)線發(fā)射臺(tái)站流媒體平臺(tái)于2022 年6 月開(kāi)發(fā)完成，目前已在廣西全區(qū)95 個(gè)一、二、三級(jí)無(wú)線發(fā)射臺(tái)站部署流媒體回傳軟件，并在廣西遠(yuǎn)程監(jiān)控中心平臺(tái)部署流媒體發(fā)布平臺(tái)和流媒體代理集群。該平臺(tái)自2022 年6 月上線應(yīng)用以來(lái)，通過(guò)廣播電視音視頻信號(hào)集中轉(zhuǎn)發(fā)，有效解決了網(wǎng)絡(luò)擁堵問(wèn)題。它采用定制化多節(jié)目多臺(tái)站多畫面輪播監(jiān)測(cè)，實(shí)時(shí)監(jiān)控95 個(gè)無(wú)線發(fā)射臺(tái)站的調(diào)頻廣播、數(shù)字安防、數(shù)字電視的音視頻信號(hào)，可以準(zhǔn)確定位故障點(diǎn)，提高運(yùn)維效率。平臺(tái)信號(hào)傳輸穩(wěn)定、監(jiān)測(cè)數(shù)據(jù)完整，有效提高了安全播出保障能力。