一種流媒體服務(wù)系統(tǒng)分布式架構(gòu)的研究

彭方翔　廣東南方新媒體股份有限公司

從2017年起，以抖音、快手作為領(lǐng)頭羊的短視頻社交類手機(jī)應(yīng)用引領(lǐng)著網(wǎng)絡(luò)視頻行業(yè)的發(fā)展；進(jìn)入2018年，在經(jīng)歷了20個(gè)版本迭代和半年近12倍的用戶增長(zhǎng)之后，抖音的發(fā)展步入了一個(gè)新的階段，抖音實(shí)現(xiàn)了自增長(zhǎng)[1]；到了今年6月，抖音短視頻公布了今年上半年數(shù)據(jù)——日活超過(guò)1.5億，月活超過(guò)3億[2]。在網(wǎng)絡(luò)視頻業(yè)務(wù)快速發(fā)展的今天，在架構(gòu)設(shè)計(jì)時(shí)就要充分考慮系統(tǒng)具有高模塊化、高可靠性和高可擴(kuò)展性的能力。

一、網(wǎng)絡(luò)視頻業(yè)務(wù)系統(tǒng)

(一)業(yè)務(wù)系統(tǒng)分析

非實(shí)時(shí)網(wǎng)絡(luò)視頻業(yè)務(wù)系統(tǒng)主要包括三個(gè)部分：流媒體服務(wù)系統(tǒng)、內(nèi)容分發(fā)網(wǎng)絡(luò)和客戶端軟件。流媒體服務(wù)系統(tǒng)收集原始音視頻數(shù)據(jù)，對(duì)音視頻數(shù)據(jù)進(jìn)行流化處理后輸出到內(nèi)容分發(fā)網(wǎng)絡(luò)，由內(nèi)容分發(fā)網(wǎng)絡(luò)完成對(duì)終端用戶的內(nèi)容分發(fā)，讓用戶使用播放器觀看點(diǎn)播視頻。

1.常用的流媒體協(xié)議主要有基于HTTP 漸進(jìn)下載的HLS流媒體協(xié)議和基于RTP實(shí)時(shí)流媒體的RTMP/RTSP協(xié)議。HLS是由蘋果公司開發(fā)的流媒體協(xié)議，與RTP不同，HLS不需要服務(wù)端來(lái)提供播放控制，目前在非實(shí)時(shí)網(wǎng)絡(luò)視頻業(yè)務(wù)中比較流行。

2.內(nèi)容分發(fā)網(wǎng)絡(luò)，也叫CDN，負(fù)責(zé)接收客戶端發(fā)送的請(qǐng)求，通過(guò)全局和本地負(fù)載均衡系統(tǒng)調(diào)度請(qǐng)求到最接近的網(wǎng)絡(luò)節(jié)點(diǎn)上，將封裝的流媒體分片文件連同索引文件一起發(fā)送給客戶端。目前互聯(lián)網(wǎng)CDN服務(wù)的技術(shù)成熟、適配簡(jiǎn)單，主流技術(shù)架構(gòu)是：自有流媒體服務(wù)系統(tǒng)+租用互聯(lián)網(wǎng)CDN服務(wù)。

3.客戶端軟件負(fù)責(zé)確定應(yīng)該請(qǐng)求的具體媒體流，下載索引文件和流媒體分片文件，并在下載后通過(guò)拼接分片將流媒體重新展現(xiàn)給用戶。客戶端軟件通常是播放器或者帶有播放器插件的應(yīng)用或?yàn)g覽器。

(二)流媒體服務(wù)系統(tǒng)

流媒體服務(wù)系統(tǒng)作為支撐網(wǎng)絡(luò)視頻業(yè)務(wù)的核心系統(tǒng)，其性能決定了網(wǎng)絡(luò)視頻業(yè)務(wù)服務(wù)質(zhì)量。衡量流媒體服務(wù)系統(tǒng)，最關(guān)鍵的指標(biāo)是流輸出能力和支持并發(fā)請(qǐng)求的數(shù)量。下面我們以單臺(tái)HLS流媒體服務(wù)器為例，分析系統(tǒng)的工作流程。

1.媒體文件注入過(guò)程

(1)從硬盤中分段讀取流媒體文件，存儲(chǔ)到內(nèi)存中。

(2)CPU對(duì)內(nèi)存中的流媒體文件進(jìn)行解碼、重新編碼、切片、封裝、存儲(chǔ)、索引等流化處理。

(3)處理完的播放列表數(shù)據(jù)，放在內(nèi)存；處理完的切片數(shù)據(jù)經(jīng)過(guò)，從內(nèi)存寫入硬盤。

2.響應(yīng)訪問(wèn)請(qǐng)求過(guò)程

(1)網(wǎng)絡(luò)Web容器收到訪問(wèn)請(qǐng)求解包后將播放列表和切片數(shù)據(jù)請(qǐng)求發(fā)到相應(yīng)模塊進(jìn)行索引定位。

(2)播放列表直接從內(nèi)存讀取；切片數(shù)據(jù)從硬盤讀取放入到內(nèi)存。

(3)在Web容器對(duì)內(nèi)存中的數(shù)據(jù)打包發(fā)送。

總結(jié)以上兩個(gè)過(guò)程，推流服務(wù)系統(tǒng)大量消耗的系統(tǒng)硬件資源主要是CPU、內(nèi)存、磁盤I/O和存儲(chǔ)容量。

二、流媒體服務(wù)的分布式架構(gòu)設(shè)計(jì)

分布式架構(gòu)主要面對(duì)高并發(fā)、高性能和高可用的應(yīng)用場(chǎng)景，通過(guò)系統(tǒng)拆分成不同的子系統(tǒng)模塊，具有以下優(yōu)點(diǎn)：(1)模塊間低耦合度，系統(tǒng)整體可靠性高；(2)各模塊利用率高、方便橫向擴(kuò)展；(3)各模塊之間的邊界明確，有利于靈活部署和運(yùn)維管理。

關(guān)于分布式系統(tǒng)，不同的業(yè)務(wù)需求面對(duì)的應(yīng)用場(chǎng)景不一樣，使用的架構(gòu)設(shè)計(jì)也不一樣。因此，針對(duì)網(wǎng)絡(luò)視頻業(yè)務(wù)大并發(fā)量的應(yīng)用場(chǎng)景，結(jié)合流媒體服務(wù)系統(tǒng)功能對(duì)CPU處理能力、內(nèi)存、磁盤I/O能力和磁盤容量的要求，選擇把系統(tǒng)分成三個(gè)服務(wù)節(jié)點(diǎn)：(1)負(fù)載均衡服務(wù)節(jié)點(diǎn)；(2)流媒體服務(wù)節(jié)點(diǎn)；(3)存儲(chǔ)節(jié)點(diǎn)。

平面4參數(shù)轉(zhuǎn)換屬于兩維坐標(biāo)轉(zhuǎn)換，對(duì)于三維坐標(biāo)，需將坐標(biāo)通過(guò)高斯投影變換得到平面坐標(biāo)再計(jì)算轉(zhuǎn)換參數(shù)[9]。

(一)負(fù)載均衡節(jié)點(diǎn)

負(fù)載均衡節(jié)點(diǎn)主要解決大量用戶回源數(shù)據(jù)的請(qǐng)求分配到HLS服務(wù)節(jié)點(diǎn)的多臺(tái)服務(wù)器上。負(fù)載均衡分為四層和七層，四層負(fù)載均衡主要基于TCP協(xié)議，可以做任何基于TCP/IP協(xié)議的軟件的負(fù)載均衡；七層負(fù)載均衡，又叫反向代理，基于HTTP、RTMP協(xié)議實(shí)現(xiàn)web服務(wù)、圖片、視頻等靜態(tài)文件的訪問(wèn)服務(wù)。從軟件層面實(shí)現(xiàn)負(fù)載均衡的主流工具 有Nginx(七 層)、Haproxy(四 層)和LVS(四層)等。

1. Nginx

Nginx作為一種高性能的Web和反向代理服務(wù)，Nginx以支持高并發(fā)連接、低資源消耗、部署運(yùn)維簡(jiǎn)單等優(yōu)點(diǎn)而聞名。對(duì)于請(qǐng)求視頻內(nèi)容這一類靜態(tài)服務(wù)，Nginx以多連接對(duì)應(yīng)一個(gè)進(jìn)程的異步非阻塞請(qǐng)求處理能夠支持更多的并發(fā)請(qǐng)求。Nginx還具有多種負(fù)載均衡算法實(shí)現(xiàn)不同的調(diào)度功能[3]。

2.虛擬路由冗余協(xié)議(VRRP)

負(fù)載均衡節(jié)點(diǎn)作為用戶訪問(wèn)的第一節(jié)點(diǎn)，必須具備高可用性，這就需要在節(jié)點(diǎn)上部署多臺(tái)負(fù)載均衡服務(wù)器來(lái)集群。目前，較多使用VRRP來(lái)把幾臺(tái)路由設(shè)備聯(lián)合組成一臺(tái)虛擬的路由設(shè)備，保證當(dāng)主機(jī)的下一跳設(shè)備出現(xiàn)故障時(shí)，可以及時(shí)再次選擇新路由器來(lái)接替業(yè)務(wù)，保持了內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)通訊的連續(xù)性和可靠性。

(二)流媒體節(jié)點(diǎn)

因?yàn)橛辛素?fù)載均衡節(jié)點(diǎn)，HLS服務(wù)節(jié)點(diǎn)在響應(yīng)請(qǐng)求過(guò)程變得簡(jiǎn)單了許多，只需要由Nginx來(lái)分配訪問(wèn)請(qǐng)求即可。HLS服務(wù)節(jié)點(diǎn)的大部分硬件資源可以用來(lái)承擔(dān)媒體文件注入的任務(wù)。

通常，HLS服務(wù)節(jié)點(diǎn)上游的媒資管理平臺(tái)通過(guò)接口方式以FTP注入點(diǎn)播媒資數(shù)據(jù)、以UDP注入直播媒資數(shù)據(jù)。根據(jù)機(jī)械磁盤小文件讀寫性能非常低，所以通常選擇把m3u8文件放入內(nèi)存，把TS文件放入磁盤。

(三)存儲(chǔ)節(jié)點(diǎn)

流媒體服務(wù)系統(tǒng)中切片文件數(shù)據(jù)占了所有數(shù)據(jù)的95%以上。一套注入了10萬(wàn)小時(shí)時(shí)長(zhǎng)視頻的流媒體服務(wù)系統(tǒng)，切片文件的數(shù)據(jù)量就有幾百T。因此采用由“緩存節(jié)點(diǎn)+共享式存儲(chǔ)節(jié)點(diǎn)”的兩級(jí)存儲(chǔ)架構(gòu)，能夠提高推流服務(wù)系統(tǒng)的整體效率和穩(wěn)定性，便于節(jié)點(diǎn)擴(kuò)容。

1.緩存節(jié)點(diǎn)

部署在負(fù)載均衡節(jié)點(diǎn)上的Nginx還有一個(gè)重要功能--緩存。Nginx能夠?qū)蛻粢呀?jīng)訪問(wèn)過(guò)的內(nèi)容在本地建立副本，這樣在一段時(shí)間內(nèi)(該時(shí)間長(zhǎng)度可配置)再次訪問(wèn)該數(shù)據(jù)，就不用再次向HLS服務(wù)節(jié)點(diǎn)發(fā)出請(qǐng)求。同時(shí)，當(dāng)后端服務(wù)器宕機(jī)時(shí)，Nginx服務(wù)器上的副本資源還能夠回應(yīng)相關(guān)的用戶請(qǐng)求，在一定程度上提高了系統(tǒng)整體的魯棒性。

2.網(wǎng)絡(luò)附屬存儲(chǔ)(NAS)

NAS作為一種特殊的專用數(shù)據(jù)存儲(chǔ)服務(wù)器，包括可熱插拔存儲(chǔ)器件和內(nèi)嵌文件讀取系統(tǒng)，能夠支持多種訪問(wèn)協(xié)議，目前廣泛應(yīng)用于各種信息系統(tǒng)中。通過(guò)把NAS掛載在HLS服務(wù)節(jié)點(diǎn)的服務(wù)器下，存儲(chǔ)所有注入媒資文件的切片文件，既滿足了大量數(shù)據(jù)的存儲(chǔ)要求，又具有良好的系統(tǒng)擴(kuò)展能力。

三、結(jié)語(yǔ)

本文從當(dāng)前網(wǎng)絡(luò)視頻快速變化的業(yè)務(wù)場(chǎng)景出發(fā)，提出“負(fù)載均衡節(jié)點(diǎn)+HLS服務(wù)節(jié)點(diǎn)+存儲(chǔ)節(jié)點(diǎn)”的架構(gòu)以建設(shè)高模塊化、高可靠性和高可擴(kuò)展性的流媒體服務(wù)系統(tǒng)。圍繞該架構(gòu)的實(shí)現(xiàn)，本文進(jìn)行了解決方案的分析和選擇，討論了利用Ningx軟件同時(shí)實(shí)現(xiàn)把負(fù)載均衡節(jié)點(diǎn)和緩存節(jié)點(diǎn)、利用VRRP實(shí)現(xiàn)負(fù)載均衡主備、利用NAS提供大容量存儲(chǔ)等實(shí)現(xiàn)方法，提供了技術(shù)上的探索，具有重要意義。