電視臺播出系統二級存儲改造實施方案

楊 爍

（貴州廣播電視臺，貴州 貴陽 550000）

1 系統建設背景

為順應技術發展趨勢，加快高清、超高清電視發展，貴州廣播電視臺結合自身實際，于2019 年開始實施全頻道高清化播出傳輸改造項目。建設內容涉及上載、縮編、播出及傳輸（含信號監測）多個方面，通過新建及改造，提升上載、播出、存儲、傳輸及網絡交換等能力，用以滿足全頻道高清化需求。其中，二級存儲方面采用了華為OceanStor9000 存儲系統解決方案，接入播出系統，與舊的Netapp 二級存儲一起使用。本文將對此方案進行詳細介紹。

2 播出二級存儲分析

2.1 常見播出二級存儲解決方案

二級存儲是計算機主存儲器或內存之外的所有可訪問數據存儲器，是程序和數據長期保存的地方。常見的二級存儲設備有硬盤、光盤等。播出二級存儲的發展經歷了直連存儲（Direct-Attached Storage，DAS）、中心化存儲（如存儲區域網絡SAN和網絡附屬存儲NAS）以及分布式存儲三個階段。

直連存儲（DAS）方式中，存儲直接存在服務器上。該方式因拓展性和靈活性差而被淘汰。中心化存儲分為存儲區域網絡（Storage Area Network，SAN）和網絡附加存儲（Network Attached Storage，NAS）[1]，具備拓展性，但是拓展性能和并發訪問能力受限于控制器，因此控制器成為瓶頸，數據遷移和RAID 重構需要消耗大量時間，是目前國內大多數電視臺采用的二級存儲方案。分布式存儲以高擴展性、高可用性、靈活性以及低成本得到廣泛青睞，成為未來主流存儲形式。

2.2 SAN 和NAS 的區別

存儲區域網絡SAN 和網絡附加存儲NAS 比較常見，都是使用RAID 的冗余存儲系統，兩種方式各有優劣，如圖1 所示。SAN 可以看成是一個網絡上的磁盤，以數據塊形式提供訪問，通常采用SCSI光纖連接，因此傳輸速度更快，帶來的硬件成本更高。近年來，SAN 一直在向TCP/IP 接口方向發展，也就是iSCSI 方案。NAS 則可以看成是一個網絡上的文件系統，以文件形式提供訪問，采用TCP/IP 連接，內置了網絡連接所需要的各種協議，即插即用，位置靈活，成本相對較低[2]。雖然SAN 和NAS 采用不同的方法、不同的構建方式，但差距一直在持續縮小，因為它們的目的都是解決存儲問題，最終可能會混合成為一種更為方便的存儲方案。貴州廣播電視臺舊的二級存儲Netapp8200 就采用了NAS 方式。

圖1 常用存儲結構圖

2.3 分布式存儲

分布式存儲是一種較先進的系統架構類型。這種系統架構由一組通過網絡連接的計算機節點組成，這些節點為了完成計算、存儲等任務而協同工作[3]。分布式系統能夠有效利用更多的計算機處理更多的數據，提高了系統可靠性、可用性及存儲效率，還易于擴展[4]。如果把NAS 和SAN 比作貨車，擴展則是在其后面增加掛載車廂，毫無疑問，整個系統會仍受限于車頭的動力。而分布式系統則可以看成是很多自帶動力的車廂連在一起，通過網絡進行協同計算，不但易于擴張，還解決了單個車頭動力瓶頸問題。

分布式存儲最大的特點是擴展性和低成本。其最初應用于互聯網大數據，近年逐步開始進入傳統媒體市場，成為廣播電視存儲的新寵兒。貴州廣播電視臺新建的華為存儲方案就采用了分布式存儲系統。

3 貴州廣播電視臺播出二級存儲改造實施方案

升級改造前，貴州廣播電視臺每個頻道的播出服務器只有6 TB 的存儲空間，播出二級存儲只有80 TB 的有效空間。播出服務器存儲價格遠超二級存儲，二級存儲的成本則相對低廉很多，且易擴充，因此二級存儲能夠大大降低播出系統的整體建設成本和維護成本[5]，同時，現在高清化節目所占的空間越來越大，因此構建新的二級存儲成為當務之急。

經過對比多家存儲廠商的方案，貴州廣播電視臺最終采用了華為公司的OceanStor9000 存儲解決方案。OceanStor9000 是采用Scale-out NAS 技術的分布式存儲系統。

貴州廣播電視臺安裝了4 個OceanStor9000 P36E 節點，如圖2 所示，每個節點規格為4 U，最大功耗900 W，采用1+1 電源冗余配置，支持3+1 風扇冗余，配置了2×Intel Xeon 8 核 2.1 GHz CPU，內存為48 GB，保電內存為8 GB NVDIMM，擁有36+2個硬盤槽位。

圖2 P36E 節點視圖

建成后的貴州廣播電視臺二級存儲系統按照如下規則分配：原Netapp8200 播出二級存儲共有3個節點有效容量80 TB，主要用于長期保存的節目，其中52 TB 用于自辦節目，26 TB 用于廣告及墊片；華為OceanStor9000 播出二級存儲共有4 個節點有效容量308 TB，如圖3 所示，用于電視劇等其他所有節目存儲，以充分發揮其優秀的性能。

圖3 四個節點狀態圖

系統建成后，兩套二級存儲一共可存儲17 700 h的碼率為50 Mb·s-1的高清節目，可滿足貴州廣播電視臺11 個頻道全高清播出的需要。目前，貴州廣播電視臺采用的自動策略為電視劇保留10 天，自辦節目保留7 天，廣告和墊片永久不刪除，僅由手動刪除。經過1 年多的使用，二級存儲僅使用了約23%的存儲容量，為后續的升級改造提供了存儲方面的保障。

根據筆者查閱到的資料，結合使用感受，下面本文將介紹華為OceanStor9000 二級存儲系統的幾個亮點。

3.1 性能方面

華為OceanStor9000 具備并發訪問、全局緩存、高速互聯以及自動分級存儲等關鍵技術。高性能帶來的最直觀的體驗就是節目素材傳輸速度加快了很多，在播出機加載新節目單后很少出現素材未傳輸完成的情況。據觀察，在長期使用中，文件系統的帶寬最大可以達到580 MB·s-1，文件系統讀取速度最大可達700 MB·s-1，文件系統寫入帶寬最大可達300 MB·s-1。

3.2 可靠性方面

華為OceanStor9000 在安全性方面非常可靠。其采用了分布式集群架構，系統的關鍵部位如電源模塊、各類接口、風扇等均采用冗余結構，無單潰點，使硬件可靠性得到保障。系統采用了N+M 數據保護級別，擁有強大的數據恢復能力，可以自動檢測節點故障，對故障區域進行物理分域隔離，之后對數據進行一致性掃描，最后自動恢復受損數據，大大提升了可靠性。貴州廣播電視臺采用了N+2 ∶1模式，雖然損失了一定比例的容量，但是大大提高了系統安全性。N+M 各種模式的配置及差異如表1所示。

表1 N+M 各種模式展示

值得一提的是，系統具有糾刪碼（Erasure Code）技術。相對于傳統的RAID 技術，糾刪碼技術有兩個最顯著特點，一是系統容錯能力大大提高，系統內硬盤故障容忍數量大幅增加，可以達到4 個，而傳統的RAID5 技術只有1 個，RAID6 技術只有2 個；二是磁盤重構速度大大提升，由于采用了多對多的快速數據重構方式，以數據重構代替磁盤重構，數據恢復速度高達1 TB·h-1，約是傳統RAID 技術的10 倍[6]。這大大提升了維護人員進行系統維護的體驗感和安全感。Erasure Code 技術與RAID 技術的主要性能對比如表2 所示。

表2 Erasure Code 技術與RAID 技術的對比

3.3 擴展性方面

得益于分布式架構的使用，存儲集群支持3 ～288 節點的彈性無縫擴展。二級存儲的容量和性能可以線性擴展，最大可提供100 PB 規模的單一文件系統，可以在不中斷系統運行的情況下，根據業務需要靈活地增減數據存儲節點。只要未來存儲架構不發生重大變化，貴州廣播電視臺就可以靈活地無縫擴展二級存儲，為以后超高清化的建設、擴容提供了便利。

3.4 系統管理方面

華為OceanStor9000 支持可視化自動部署，可以在圖形界面內監視系統性能、告警情況、容量使用情況、文件系統帶寬、讀寫速度以及節點情況等，管理界面如圖5 所示。在管理界面內還能夠方便地進行系統配置、資源分配。管理維護操作高效集中，簡潔易用。

圖4 OceanStor9000 管理界面圖

4 結 語

華為OceanStor9000 采用分布式存儲系統，實現了各系統、各業務互聯互通，具備高性能、高可靠性、易擴展性及便于管理等特點，是二級存儲理想和可靠的架構方式。系統滿足了貴州廣播電視臺的全高清化需求，也為以后的超高清化建設需求提供了保障。該系統運行了一年多時間，播出系統穩定、安全，相對國外品牌還降低了成本，符合國家廣播電視總局62號令“不間斷、高質量，既經濟、又安全”的方針。