流媒體服務系統存儲架構升級探析

張智騫 彭方翔

（廣東南方新媒體股份有限公司，廣東 廣州 510012）

全球信息化的發展，使得基于IP的業務必將成為信息產業的主流業務。IP網絡消除了傳統媒體(電視、廣播、報紙)之間，傳統信息產業（電信業、廣播電視業）之間的邊界，促使它們之間更廣泛的融合，形成無所不包的全業務特性。同時，互聯網的廣泛應用催生了一系列的新媒體。IP網絡的去邊界性決定了融合是新媒體行業發展的必然趨勢。媒體融合態勢下，傳統媒體與互聯網、移動互聯網等新興媒體傳播渠道有效結合，實現資源共享、集中處理，能夠衍生出多種形式的信息產品，多渠道廣泛傳播給受眾。基于以上發展理念，南方新媒體提出構建面向服務、面向融合的“廣電+”全業務融合云平臺（以下簡稱“融合云平臺”）來作為整體的基礎架構平臺，從服務端實現已有業務系統的整合，從客戶端實現各垂直業務的統一支撐，達到多業務、多屏終端用戶統一平臺管理的目的,如圖1所示。

圖1

圖2 推流服務層級圖

在融合云平臺中，流媒體服務系統作為流媒體應用的核心系統，是向用戶提供視頻服務的關鍵平臺。流媒體服務器的主要功能是對流媒體內容進行采集、緩存、調度和傳輸播放。流媒體服務系統的主要性能體現都取決于媒體服務器的性能和服務質量。因此，流媒體服務器是流媒體應用系統的基礎，也是主要的組成部分，如圖2所示。

一、系統現狀

（一）內容分發網絡

談到流媒體系統，就不得不談通常被稱為內容分發網絡Content distribution network（以下簡稱“CDN”）。完整的CDN通常由四部分構成：內容路由系統、內容分發系統、內容存儲系統和內容管理系統。其中，內容路由系統負責將用戶的請求調度到適當的設備上，通過全局和本地負載均衡系統來調度，實現的主要方法包括DNS、應用層重定向、傳輸層重定向。

如果說內容路由系統是幫助用戶找到合適的設備，那么內容分發系統就是把用戶需要的內容分發到不同服務節點的過程。通常，內容分發網絡包括三個層級：邊緣節點層、中心節點層和源站節點層。

內容存儲系統是針對用戶對流媒體內容的實際需求，在內容分發網絡的三個層級節點實施相應的內容存儲策略，達到有效提高用戶請求的響應時間、提高存儲空間的利用率、降低回源次數的目的。

內容管理平臺主要負責整個CDN系統的內容注入、收錄、發布等。

（二）流媒體服務系統

融合云平臺的流媒體服務系統主要負責上線內容的統一介質存儲、統一切片、實現統一向公網提供點播視頻流。流媒體服務系統與多個廠家的CDN對接，實現多CDN回源與多CDN切換，如圖3所示。

圖3 推流服務系統架構圖

按照完整CDN系統的技術概念，融合云平臺的流媒體服務系統屬于整個CDN系統的源站節點，負責內容管理和源站節點層面的內容存儲和內容分發；內容路由、邊緣節點層和中心節點層的內容存儲和內容分發則通過租用服務的方式，對接CDN服務提供商的系統（以下簡稱“CDN”）來向用戶提供服務。

流媒體服務系統第一期建設在2015年完成，由2臺DELL R730服務器作為硬件組成，每臺服務器掛22個1.8TB的SAS硬盤作為本地存儲。兩臺推流服務器以高可用集群（HA）的主從模式進行工作，主從服務器之間通過心跳線相連以虛擬路由冗余協議（VRRP）來監視和維護兩臺服務器的主從工作模式。

流媒體服務系統軟件采用Apple HTTP Live Streaming(HLS)技術規范，與上游的媒資管理平臺通過接口方式以FTP注入點播媒資數據、以UDP注入直播媒資數據，對視頻數據切片、存儲、索引、流化處理后輸出到CDN或用戶終端，讓用戶使用播放器觀看點播視頻。系統功能模塊如圖4所示。

圖4 推流服務系統功能模塊圖

流媒體服務系統采用TS封裝格式輸入輸出，視頻編碼格式為H.264，音編碼格式為AAC-LC。為用戶提供更好的體驗，因為采用分片的特點，HTTP streaming還可以實現媒體播放過程中的碼率切換（碼率自適應）。系統支持最多4000個應用層并發連接，按平均每個并發連產生1200Kbps的碼流計算。

經過了兩年的使用，業務的積累使得流媒體服務系統的點播存儲空間使用率逐漸增加，兩臺推流服務器已經掛滿了硬盤且存儲容量的使用率已達到90%。因此，本次系統升級應解決以下問題：①根據業務規劃，系統存儲容量由17T擴展到30T；②優化系統存儲結構，簡化系統存儲容量的橫向擴展。

二、系統升級方案設計

圍繞存儲擴容和存儲結構優化兩個需求，在源站節點層面采用由單級源站架構升級為源服務器節點和緩存服務器節點的兩級源站架構。這個設計有以下兩個優點：

第一，將屬于內容管理的內容注入、收錄、發布功能和屬于內容存儲的緩存服務功能分開，內容管理功能放在源服務器節點，緩存服務功能放在緩存服務器節點。因為內容管理和緩存服務都是對內存和磁盤I/O高消耗的功能，將兩個功能放在不同的節點能夠提高推流服務系統的整體效率和穩定性，同時便于將來的系統擴容。

在并購支付多元化的發展趨勢下，不同并購支付方式會對并購雙方股東產生什么影響，并購雙方應如何選擇對企業最有利的并購支付方式，這些問題成為并購支付方式選擇時需要考慮的首要問題。本文通過實證研究來估計企業選擇并購支付方式的影響因素和不同并購方式對企業績效的影響。

第二，在內容存儲上，根據CDN的回源數據，區分出媒資中的熱點數據并放在緩存服務器節點上。在兩級源站架構下，當CDN回源的時候，將首先訪問緩存服務器節點，緩存服務器節點沒有數據再將訪問請求重定向至源服務器節點。在緩存服務器節點配合使用緩存淘汰算法，可以使緩存服務器節點保持90%以上的訪問數據命中率，這樣就實現了熱點數據的區分，極大地提高數據的利用率。

要實現兩級源站架構的設計，有以下兩種可行的技術方案。

（一）分布式集群文件系統

已有的2臺流媒體服務器作為內容存儲的緩存服務器，作為緩存服務器節點，負責向CDN的數據請求提供緩存服務。新增4臺服務器，作為源服務器節點，負責內容管理服務的內容注入、收錄、發布，同時還作為內容存儲的源服務器，存儲所有注入的媒資文件。系統功能模塊如圖5所示。

（二）網絡附屬存儲系統

已有的2臺流媒體服務器作為內容存儲的緩存服務器，作為緩存服務器節點，負責向CDN的數據請求提供緩存服務。新增4臺服務器，作為源服務器節點，負責內容管理服務的內容注入、收錄、發布。同時將已有的網絡附屬存儲系統（以下簡稱“NAS”）掛載在源服務器節點，存儲所有注入的媒資文件。系統功能模塊如圖6所示。

（三）方案比較

比較兩種方案，方案一著重于在源服務器搭建分布式集群文件系統，源服務器使用SAS硬盤可以保證兩級節點都有高I/O性能，但是SAS硬盤的成本價格較高；方案二則選擇NAS系統上的硬盤分區掛載于源服務節點下，作為共享存儲型集群文件系統，在存儲擴容的時間和價格成本上體現了較大的優越性，但NAS系統能否滿足CDN回源時產生的I/O壓力存在不確定性。

經過綜合考慮，方案二成了首選方案，NAS系統的I/O速率和網絡傳輸的速度成為了下一步的測試中兩個重要的考量指標。

三、系統升級方案測試

（一）CDN回源數據峰值流量模型

根據半年的統計數據，CDN全天的連接數平均在一億五千萬次，其中約10%的數據需要回源，在源服務器產生一千五百萬的連接數，這其中的80%集中在20點至22點的2個小時以內；按照平均每個訪問的碼率為1.2Mb計算，在訪問量集中的時候，在目前的流媒體服務器產生峰值為2000Mbps的 I/O。

回源數據中的80%集中占全部媒資數據的20%，剩下的20%分散在全部媒資數據的80%中，將集中占全部媒資數據的20%的回源數據看作是熱點數據，即熱數據占全部數據的20%，熱點數據與非熱點數據的比例是1︰4。

（二）熱點數據分析

針對以上CDN回源數據的特征分析，根據源站服務器節點、緩存服務器節點的兩級存儲設計，在滿足緩存服務器節點存儲容量與源站服務器節點存儲容量的比例大于1︰4時，緩存服務器節點的I/O主要是來自熱點數據的訪問，NAS系統的I/O則是來自非熱點數據的訪問。按照目前回源數據的特征，非熱點數據的訪問占回源數據的20%，在訪問量集中的時候，緩存服務器節點向源服務器節點請求數據會在NAS系統對應產生峰值為400Mbps的I/O，以NAS系統測算的2Gbps峰值 I/O，這完全可以滿足。

另外，緩存服務器節點本地存儲17T，源站服務器節點使用NAS系統的存儲容量為30T，二者比例為1︰1.76，在這個比例達到1︰4，即源站服務器節點的NAS系統存儲容量在增加到85T之前，在當前CDN回源數據峰值流量模型保持不變，都不會對NAS系統的I/O產生更大的壓力。如果NAS系統存儲容量擴展超過85T，可以通過增加緩存服務器節點的存儲容量來控制兩個節點的存儲容量比例大于1︰4。因此，以NAS系統實現推流服務系統的兩級源站架構在技術上是可行的。

四、結束語

本文針對流媒體服務系統的內容存儲的升級需求，采用了基于NAS系統的“源站服務節點+緩存服務節點”的兩級存儲結構設計，在滿足業務需求的同時降低了存儲擴容的時間和經濟成本，具有重要意義。

圖5 方案一系統功能模塊圖

圖6方案二系統功能模塊圖