基于流媒體技術(shù)的體育競賽視頻發(fā)布系統(tǒng)設(shè)計(jì)?

繆　剛，王　萍，莊亞軍，夏　偉

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

基于流媒體技術(shù)的體育競賽視頻發(fā)布系統(tǒng)設(shè)計(jì)?

繆剛，王萍，莊亞軍，夏偉

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

根據(jù)體育競賽信息發(fā)布系統(tǒng)逐步趨向移動(dòng)化、可視化的發(fā)展趨勢，提出了基于流媒體技術(shù)的體育競賽視頻發(fā)布系統(tǒng)設(shè)計(jì)。突破傳統(tǒng)思維，利用高清網(wǎng)絡(luò)攝像機(jī)，將體育競賽的視頻信息發(fā)布從單一的電視轉(zhuǎn)播發(fā)布，擴(kuò)展到全方位覆蓋的網(wǎng)絡(luò)視頻信息發(fā)布。將采集到的視頻流發(fā)送至基于Linux內(nèi)核的Nginx流媒體服務(wù)器，服務(wù)器對視頻進(jìn)行轉(zhuǎn)碼，并根據(jù)HLS協(xié)議對視頻進(jìn)行切片處理。最終將視頻分別發(fā)布到PC端及移動(dòng)端，實(shí)現(xiàn)了整個(gè)系統(tǒng)的跨平臺運(yùn)行。設(shè)計(jì)已成功應(yīng)用于2015年第一屆全國青年運(yùn)動(dòng)會(huì)，運(yùn)行結(jié)果穩(wěn)定，視頻發(fā)布流暢，滿足了綜合型運(yùn)動(dòng)會(huì)的信息發(fā)布需求。

視頻發(fā)布；網(wǎng)絡(luò)攝像機(jī)；Nginx服務(wù)器；流媒體服務(wù)器；HLS協(xié)議；跨平臺

1　引　言

隨著互聯(lián)網(wǎng)時(shí)代的到來以及流媒體技術(shù)的飛速發(fā)展，越來越多的行業(yè)開始融入流媒體技術(shù)［1］。近年來，人們關(guān)注體育比賽的渠道越來越多，除了傳統(tǒng)的電視直播，各大門戶網(wǎng)站也推出了各種類型的體育賽事直播節(jié)目［2］，但是，這些僅僅是廣播電視信號的采集和播放，仍然有很大一部分比賽的實(shí)時(shí)視頻被大家錯(cuò)過。針對這種情況，提出了基于流媒體技術(shù)的體育競賽視頻發(fā)布系統(tǒng)。隨著攝像機(jī)的碼率和幀數(shù)越來越高，通過高清IPC（網(wǎng)絡(luò)攝像機(jī)）可以實(shí)現(xiàn)比賽視頻的高質(zhì)量采集；通過流媒體服務(wù)器對視頻流進(jìn)行編碼、封裝，可以實(shí)現(xiàn)視頻流以合適的碼流和分辨率輸出；通過Nginx－rtmp模塊的HLS切片功能，可以實(shí)現(xiàn)移動(dòng)端與PC端的跨平臺發(fā)布；通過對接CDN分發(fā)網(wǎng)絡(luò)，可以實(shí)現(xiàn)視頻的多路并發(fā)。該系統(tǒng)的設(shè)計(jì)與運(yùn)行，對體育競賽信息發(fā)布系統(tǒng)的信息化發(fā)展起到了積極作用。

2　體育競賽視頻發(fā)布系統(tǒng)總體框架與工作流程

2．1總體框架

基于流媒體技術(shù)的體育競賽視頻發(fā)布系統(tǒng)主要由如下三個(gè)部分組成：視頻采集子系統(tǒng)，流媒體服務(wù)器子系統(tǒng)，播放終端子系統(tǒng)。如何將視頻以合適的碼流、分辨率、封裝格式發(fā)布在PC端、Android移動(dòng)端、IOS移動(dòng)端，實(shí)現(xiàn)視頻信息的跨平臺發(fā)布，是該系統(tǒng)重點(diǎn)解決的問題。體育競賽視頻發(fā)布系統(tǒng)的總體結(jié)構(gòu)框架如圖1所示，視頻采集子系統(tǒng)負(fù)責(zé)視頻采集和流媒體推送；流媒體服務(wù)器子系統(tǒng)負(fù)責(zé)拉取視頻流，對視頻流進(jìn)行轉(zhuǎn)碼、封裝、分發(fā)；播放終端子系統(tǒng)負(fù)責(zé)對視頻信息進(jìn)行解析、播放。

圖1　體育競賽視頻發(fā)布系統(tǒng)總體框架

2．2工作流程

視頻采集子系統(tǒng)：主要由IPC構(gòu)成，通過配置網(wǎng)絡(luò)硬盤錄像機(jī)，給IPC分配IP，與比賽信息綁定，通過IPC內(nèi)部H264編碼、封裝生成RTSP流，同時(shí)，NVR可以完成對比賽錄像的存儲(chǔ)。

流媒體服務(wù)器子系統(tǒng)：在Linux系統(tǒng)建立基于Nginx的Web服務(wù)器，添加RTMP模塊，構(gòu)成流媒體服務(wù)器。流媒體服務(wù)器將RTSP視頻流轉(zhuǎn)化為RTMP視頻流，用于PC端發(fā)布；通過RTMP模塊的HLS切片功能，對視頻流進(jìn)行轉(zhuǎn)碼，用于移動(dòng)端發(fā)布；通過jsp技術(shù)動(dòng)態(tài)修改服務(wù)器配置，對比賽視頻進(jìn)行動(dòng)態(tài)管理；對接CDN分發(fā)網(wǎng)絡(luò)，減輕服務(wù)器分發(fā)壓力。

播放終端子系統(tǒng)：主要由兩部分構(gòu)成，競賽數(shù)據(jù)發(fā)布模塊和競賽視頻發(fā)布模塊。采用HTML5網(wǎng)頁顯示，實(shí)現(xiàn)PC端和移動(dòng)端跨平臺發(fā)布。競賽數(shù)據(jù)發(fā)布模塊通過AJAX技術(shù)向體育競賽綜合數(shù)據(jù)庫服務(wù)器發(fā)出請求實(shí)現(xiàn)；競賽視頻發(fā)布模塊通過分配URL，向流媒體服務(wù)器發(fā)出RTMP和HTTP請求獲取視頻流信息，分別在PC端和移動(dòng)端播放。

整個(gè)系統(tǒng)的工作流程如圖2所示。

圖2　體育競賽視頻發(fā)布系統(tǒng)工作流程圖

3　系統(tǒng)設(shè)計(jì)

3．1視頻采集子系統(tǒng)設(shè)計(jì)

該模塊主要由高清網(wǎng)絡(luò)攝像機(jī)（IPC）構(gòu)成，由于IPC支持POE供電（網(wǎng)線供電），所以IPC特別適合用于體育競賽信息系統(tǒng)，簡化了場地布置。IPC由模擬攝像機(jī)和網(wǎng)絡(luò)編碼模塊構(gòu)成，模擬攝像機(jī)負(fù)責(zé)采集模擬視頻信號，網(wǎng)絡(luò)編碼模塊負(fù)責(zé)對模擬信號進(jìn)行編碼、封裝，構(gòu)成數(shù)字信號，便于接入交換網(wǎng)絡(luò)。將IPC連接到網(wǎng)絡(luò)硬盤錄像機(jī)（NVR），NVR對IPC的IP進(jìn)行配置，生成RTSP流。RTSP流類似于如下格式：

rtsp：／／admin：hhuc1115＠223．68．171．138／h264／ch34／sub／av_stream

該流可以利用VLC播放器直接播放，也可以將流推至流媒體服務(wù)器進(jìn)行轉(zhuǎn)碼分發(fā)。最后，通過NVR存儲(chǔ)模塊完成對比賽視頻信息的存儲(chǔ)。

3．2流媒體服務(wù)器子系統(tǒng)設(shè)計(jì)

該子系統(tǒng)基于Linux內(nèi)核，搭建了一個(gè)Nginx RTMP Server，作為流媒體服務(wù)器。實(shí)質(zhì)上，Nginx RTMP Server是集成在Web服務(wù)器Nginx上的一個(gè)RTMP模塊。Nginx RTMP Server功能十分齊全：支持視音頻直播、支持兩種流的分發(fā)模式推和拉、支持H264／ACC編碼、支持在線FFmpeg轉(zhuǎn)碼、支持HLS切片、支持外部程序執(zhí)行，同時(shí)擁有先進(jìn)的內(nèi)存控制技術(shù)，可以在使用少量內(nèi)存的情況下完成流暢的直播功能等［3］。

在體育競賽視頻發(fā)布系統(tǒng)中，該流媒體服務(wù)器負(fù)責(zé)以下四個(gè)任務(wù)：拉流，將IPC產(chǎn)生的視頻流拉取到服務(wù)器；RTMP輸出，用于適配PC端播放器；HLS切片輸出，用于適配移動(dòng)端播放器；分發(fā)，將視頻流分發(fā)至播放終端。

（1）拉流

利用Nginx－rtmp－module中的exec指令，在服務(wù)器配置文件中執(zhí)行外部FFmpeg命令。FFmpeg是一套開源計(jì)算機(jī)程序，它包含了非常先進(jìn)的視音頻編解碼庫，可以滿足大多數(shù)的視音頻編解碼需求，且支持直播應(yīng)用［4］。通過將FFmpeg命令寫進(jìn)服務(wù)器配置中，實(shí)現(xiàn)視頻流的拉取。

在Nginx啟動(dòng)時(shí)，服務(wù)器將執(zhí)行服務(wù)器配置中的FFmpeg命令，將IPC的RTSP視頻流拉取到服務(wù)器，同時(shí)可以對視頻流進(jìn)行轉(zhuǎn)碼處理。

在比賽中，為了動(dòng)態(tài)拉取視頻流，修改服務(wù)器配置，可以部署一個(gè)Web服務(wù)器，利用JSP技術(shù)向Web服務(wù)器發(fā)出請求，構(gòu)造FFmpeg命令行，執(zhí)行命令，最后修改配置文件，在非比賽期間重載配置。服務(wù)器拉流流程如圖3所示。

圖3　服務(wù)器拉流

（2）RTMP輸出

RTMP輸出是為了適配PC端播放器。RTMP是flash player從視頻服務(wù)器接收視頻的一種TCP協(xié)議，因?yàn)榇蟛糠钟?jì)算機(jī)都安裝有flash player，而chrome內(nèi)核的瀏覽器更是內(nèi)置了flash player，并且RTMP協(xié)議相對于HTTP協(xié)議延遲較小，因此選用RTMP協(xié)議作為體育競賽視頻發(fā)布系統(tǒng)的PC端視頻發(fā)布協(xié)議。

通過FFmpeg的轉(zhuǎn)碼功能將拉取的IPC視頻流進(jìn)行轉(zhuǎn)碼，將IPC端的RTSP流轉(zhuǎn)化為RTMP流推送至RTMP服務(wù)器，并且以RTMP協(xié)議輸出。PC端可通過網(wǎng)頁播放器直接對服務(wù)器發(fā)出RTMP請求，實(shí)現(xiàn)視頻直播。RTMP輸出流程如圖4所示。

圖4　RTMP輸出

（3）HLS切片輸出

HLS切片輸出是為了適配移動(dòng)端播放器，對RTMP輸出的進(jìn)一步處理。HTTP Live Streaming（HLS）是蘋果公司實(shí)現(xiàn)的基于HTTP的流媒體傳輸協(xié)議，為IOS設(shè)備提供音視頻直播和點(diǎn)播方案。由于IOS系統(tǒng)不支持Flash播放，因此在IOS移動(dòng)端無法播放RTMP視頻流，而IOS支持m3u8格式的HLS切片播放，因此需要對服務(wù)器端的RTMP流進(jìn)行HLS切片處理，通過HTTP分發(fā)給IOS用戶。另外，在Android sdk4．0以后，Android系統(tǒng)也開始支持m3u8格式的HLS切片播放。

HLS切片直播，實(shí)質(zhì)上就是分段HTTP點(diǎn)播。要實(shí)現(xiàn)HLS直播，關(guān)鍵在于流媒體文件的分段處理。Nginx的RTMP模塊提供了HLS切片功能，通過在RTMP Server中配置HLS應(yīng)用，對RTMP流進(jìn)行切片，生成m3u8視頻索引文件和多個(gè)ts視頻文件。最后生成HTTP路徑，通過HTTP協(xié)議，將切片文件發(fā)布。移動(dòng)端可通過HTTP請求訪問m3u8索引文件，從而播放ts分段文件。HLS切片輸出流程如圖5所示。

（4）分發(fā)

通過流媒體服務(wù)器，主要產(chǎn)生兩種格式的直播流：一種是flv格式的RTMP流，分發(fā)對象為PC端；一種是m3u8格式的HLS流，分發(fā)對象為移動(dòng)端。

為了使全國各地的觀眾都可以通過體育信息發(fā)布平臺流暢的觀看實(shí)時(shí)視頻，可以將視頻流對接第三方CDN內(nèi)容分發(fā)網(wǎng)絡(luò)。利用CDN，可以減輕對服務(wù)器性能的需求，無需在全國各地設(shè)置分站點(diǎn)，將流媒體視頻的內(nèi)容緩存至邊緣服務(wù)器，使內(nèi)容請求點(diǎn)和交付點(diǎn)之間的距離縮至最小，從而促進(jìn)流媒體服務(wù)器的性能，使體育競賽視頻發(fā)布平臺的服務(wù)覆蓋面更廣［5］。

3．3播放終端子系統(tǒng)設(shè)計(jì)

播放終端子系統(tǒng)包括兩個(gè)模塊：一個(gè)是競賽數(shù)據(jù)發(fā)布模塊，一個(gè)是競賽視頻發(fā)布模塊，均采用基于HTML5的Web頁面發(fā)布。由于所有計(jì)算機(jī)系統(tǒng)，包括所有移動(dòng)客戶端的瀏覽器都可以支持HTML5、CSS和JavaScript，因此HTML5是跨平臺信息發(fā)布的基礎(chǔ)和核心。利用Bootstrap和jQuery框架，可以使信息發(fā)布界面自適應(yīng)于各類尺寸規(guī)格的移動(dòng)設(shè)備［6］。

（1）競賽數(shù)據(jù)發(fā)布模塊

通過AJAX向體育競賽數(shù)據(jù)庫服務(wù)器端提交請求獲取數(shù)據(jù)可以實(shí)現(xiàn)頁面的動(dòng)態(tài)刷新。AJAX向服務(wù)器端提出請求并處理響應(yīng)而不阻塞用戶。在瀏覽器端與服務(wù)器端之間使用異步數(shù)據(jù)傳輸，使網(wǎng)頁從服務(wù)器端請求少量的數(shù)據(jù)刷新局部頁面，而不是整個(gè)頁面。

（2）競賽視頻發(fā)布模塊

在PC端，采用開源的JW Media Player網(wǎng)頁播放器，將網(wǎng)頁播放器嵌入到Web頁面，通過播放器插件和腳本文件對流媒體服務(wù)器發(fā)出RTMP請求，配合flash player，實(shí)現(xiàn)RTMP視頻流的播放。在移動(dòng)端，由于Android在sdk4．0以后，開始支持m3u8格式的HLS視頻流播放，所以播放方法與IOS移動(dòng)端一樣。只要對HTML5中video標(biāo)簽的src屬性進(jìn)行定義，直接對流媒體服務(wù)器發(fā)出HTTP請求，移動(dòng)端即可對比賽視頻進(jìn)行實(shí)時(shí)播放［7］。

將兩個(gè)模塊相結(jié)合，集成配置到體育競賽信息發(fā)布Web服務(wù)器，就形成了一個(gè)完整的體育競賽終端播放子系統(tǒng)，實(shí)現(xiàn)了體育競賽數(shù)據(jù)和比賽視頻的跨平臺實(shí)時(shí)發(fā)布。

4　延遲分析

由于體育比賽信息發(fā)布對實(shí)時(shí)性有一定的要求，為滿足用戶的體驗(yàn)需求，需要對各路視頻的延遲進(jìn)行分析。

在采集端，IPC需要對比賽現(xiàn)場視頻進(jìn)行采集、編碼、封裝生成RTSP流。由于是通過攝像機(jī)內(nèi)部嵌入式編碼模塊進(jìn)行編碼，編碼性能很好，所以延遲很小，幾乎可以忽略。在PC播放終端，服務(wù)器需要通過FFmpeg對RTSP視頻進(jìn)行轉(zhuǎn)碼生成RTMP流，加上PC端flash player播放RTMP流時(shí)會(huì)生成本地緩存，會(huì)造成一定程度的延遲。在移動(dòng)播放終端，由于需要進(jìn)行HLS切片處理，終端會(huì)在切片生成的第一個(gè)ts文件下載完成后再進(jìn)行播放，所以延遲稍大。可以通過流媒體服務(wù)器配置中的hls_fragment和hls_playlist_length指令來控制HLS分段長度和分段段數(shù)，從而控制視頻播放的延遲和質(zhì)量。分段越長，延遲和初始化時(shí)間就會(huì)變長，延遲就會(huì)更長；分段越短，對m3u8文件的請求會(huì)更加密集，延遲就會(huì)越小，網(wǎng)絡(luò)流量消耗也就越大［8］。為了減少延遲，同時(shí)考慮到移動(dòng)3G和4G網(wǎng)絡(luò)帶寬有限，需要對HLS切片的分段長度和分段段數(shù)進(jìn)行合理配置。

經(jīng)過多次實(shí)驗(yàn)和優(yōu)化，PC端和移動(dòng)端的延遲如表1所示。

表1　播放終端延遲分析表

由模擬結(jié)果可以發(fā)現(xiàn)：PC端播放的延遲在2－3s；移動(dòng)端播放有9－11s的延遲。考慮到10s左右的延遲并不會(huì)影響用戶觀看體驗(yàn)，因此本方案產(chǎn)生的延遲是體育競賽視頻發(fā)布系統(tǒng)可以接受的。綜上所述，該方案可以適用于綜合性賽事的視頻信息發(fā)布系統(tǒng)。

5　運(yùn)行與實(shí)現(xiàn)

該系統(tǒng)已應(yīng)用于2015年在福建舉行的第一屆全國青年運(yùn)動(dòng)會(huì)體育競賽信息系統(tǒng)中，實(shí)現(xiàn)了高清網(wǎng)絡(luò)攝像機(jī)的視頻采集，實(shí)現(xiàn)了Nginx－RTMP流媒體服務(wù)器的搭建，實(shí)現(xiàn)了PC端和移動(dòng)端的跨平臺競賽數(shù)據(jù)發(fā)布和競賽視頻發(fā)布。圖6和圖7是該系統(tǒng)在第一屆全國青年運(yùn)動(dòng)會(huì)乒乓球比賽中PC端和移動(dòng)端的運(yùn)行界面。

圖6　PC端運(yùn)行實(shí)現(xiàn)

圖7　移動(dòng)端運(yùn)行實(shí)現(xiàn)

6　結(jié)束語

針對體育競賽視頻發(fā)布僅限于電視轉(zhuǎn)播信號發(fā)布的現(xiàn)狀，提出了基于流媒體技術(shù)的體育競賽視頻發(fā)布系統(tǒng)方案，該方案已在2015年第一屆全國青年運(yùn)動(dòng)會(huì)中成功運(yùn)行。實(shí)現(xiàn)了比賽期間實(shí)時(shí)視頻的PC端和移動(dòng)端跨平臺發(fā)布，可以滿足體育比賽的視頻發(fā)布需求。相較于已有的信息發(fā)布系統(tǒng)有更加豐富的信息量，對推動(dòng)體育賽事信息化有著積極的意義。

［1］宋維虎．流媒體技術(shù)發(fā)展現(xiàn)狀及應(yīng)用策略綜述［J］．科技廣場，2010（9）：88－90．SONG Wei－h(huán)u．Overview of streaming media technology current situation and Application Tactics［J］．Technology Square，2010（9）：88－90．

［2］宋園園．我國專業(yè)門戶網(wǎng)站體育視頻傳播趨勢研究［D］．北京：北京體育大學(xué)，2012．SONG Yuan－yuan．China＇s Professional Sports Video Portal Spread Trend Research［D］．Beijing：Beijing Sport University，2012．

［3］姜浩然，徐林．基于RTMP的流媒體服務(wù)器的研究［J］．計(jì)算機(jī)與數(shù)字工程，2011（10）：104－108．JIANG Hao－ran，XU Lin．The Research of Streaming Media Server Based on RTMP［J］．Computer and Digital Engineering，2011（10）：104－108．

［4］任嚴(yán)，韓臻，劉麗．基于FFmpeg的視頻轉(zhuǎn)換與發(fā)布系統(tǒng)［J］．計(jì)算機(jī)工程與設(shè)計(jì)，2007，28（20）：62－63．REN Yan，HAN Zhen，LIU Li．Video Conversion and Distribution System Based on FFmpeg［J］．Computer Engineering and Design，2007，28（20）：62－63．

［5］姜楠，趙巍．內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）的發(fā)展與應(yīng)用［J］．科研，2015（9）：41－41．JIANG Nan，ZHAO Wei．Development and Application of Content Distribution Network（CDN）［J］．Scientific Research，2015（9）：41－41．

［6］陶國榮．jQuery Mobile權(quán)威指南［M］．上海：機(jī)械工業(yè)出版社，2012．TAO Guo－rong．The Definitive Guide of jQuery Mobile［M］．Shanghai：China Machine Press，2012．

［7］覃介右，谷岳．HTML5觸摸界面設(shè)計(jì)與開發(fā)［M］．北京：人民郵電出版社，2014．TAN Jie－you，GU Yue．HTML5 Touch Interface Design and Development［M］．Beijing：Posts and Telecommunications Press，2014．

［8］王文軒，胡曉晨，田響，等．一種基于HLS的移動(dòng)流封裝與切片部署架構(gòu)［J］．軟件，2015（2）：31－35．WANG Wen－Xuan，HU Xiao－chen，TIAN Xiang，et al．A HLS Based Mobile Streaming Package and Deployment Architecture Section［J］．Software，2015（2）：31－35．

Design of Sports Competition Video Release System Based on Streaming Media Technology

Miao Gang，Wang Ping，Zhuang Yajun，Xia Wei
（College of Internet of Things Engineering，Hohai University，Changzhou 213022，China）

As the sports competition information release system trending to development of the mobility and visualization，the design of sports competition video publishing system，out of the traditional thinking，based on streaming media technology，is proposed．The video game can be released from a single video broadcast signals to a full range of coverage of the network video information by means of the high－definition network camera．The video streaming will be sent to the streaming media server based on Nginx．By transcoding video and HLS slices，the video will be released to the mobile terminal and PC terminal to run the system cross platform．The design has been successfully used in the first National Youth Games in 2015．The test result shows that the operation is stable，the video released is smooth and the design meets the needs of information release for the integrated sports meeting．

Video Release；IP Camera；Nginx Server；Streaming Server；HLS Protocol；Crossplatform

10．3969／j．issn．1002－2279．2016．05．020

TP31

A

1002－2279（2016）05－0084－05

?國家體育總局體育信息中心委托項(xiàng)目—2015年第一屆全國青年運(yùn)動(dòng)會(huì)競賽信息發(fā)布系統(tǒng)

繆剛（1992－），男，江蘇省興化市人，碩士研究生，主研方向：智能信息處理理論與技術(shù)。

2016－02－02