章瀟泉
(作者單位:紹興廣播電視總臺)
EMC Isilon二級存儲系統在電視播出中的應用
章瀟泉
(作者單位:紹興廣播電視總臺)
隨著廣電行業在IT技術上的發展,全程的文件化制播成為主流,硬盤播出系統設計在強調風險分散的同時,開始利用二級存儲將上載和播出服務器進一步分離,把素材的編輯、修改以及審看工作從播出服務器中分離出來,避免誤操作及其他情況對播出造成影響。紹興廣播電視總臺在異址新建一個高標清同播電視播出系統,新系統增加二級存儲。本文淺析EMC Isilon二級存儲的配置和日常維護。
EMC;二級;存儲;配置;維護
隨著計算機和網絡技術的快速發展,網絡存儲技術在電視臺得到了大量的應用,一方面為了滿足自己日益增長的節目量的需求,另一方面為了保障電視節目安全播出,各家電視臺對存儲設備的要求也不斷提高,主要體現在讀寫帶寬、容量擴展、數據安全幾個方面。正是在這種需求環境下,各個存儲體廠商相繼開發了多種新型的存儲設備,以滿足客戶的需求,EMC Isilon二級存儲系統也就應運而生。紹興廣播電視總臺在異址新建一個高標清同播電視播出系統中采用二級存儲系統,將上載和播出服務器進一步分離,把素材的編輯、修改以及審看工作從播出服務器中分離出來,以避免誤操作及其他情況對播出造成影響。
EMC Isilon采用的是橫向擴展存儲方法,即創建一個運行分布式文件系統的節點群集。OneFS 將存儲體系結構的三個層(文件系統、卷管理器和數據保護)合并為一個橫向擴展NAS群集。每個節點都會向群集中添加資源。由于每個節點都包含全局一致的RAM,因此隨著群集不斷擴大,它將變得越來越快。此外,文件系統會動態擴展和重新分發內容,因此不必再分區磁盤和創建卷。各節點對等工作以跨群集分散數據。細分和分發數據(稱為分條過程)不僅可保護數據,還能讓用戶只要連接到任意節點就能利用整個群集的性能。OneFS使用分布式軟件跨商用硬件擴展數據。每個節點都有助于控制數據請求,提高性能并且擴展群集容量。沒有主要設備控制群集;也沒有從屬項涉及依賴關系,每個節點都有助于控制數據請求,提高性能并且擴展群集容量。
作為一種架裝式應用裝置,存儲節點包括帶LCD前面板的2U或4U架裝式機箱中的以下組件:內存、CPU、RAM、NVRAM、網絡接口、InfiniBand適配器、磁盤控制器和存儲介質。Isilon群集包含三個或更多節點(最大數為144)。每個節點都運行Isilon OneFS操作系統,一個群集的最小存儲容量為18 TB,而最大存儲容量為15.5 PB。
群集包括兩種網絡,用于在節點間交換數據的內部網絡和用于處理客戶端連接的外部網絡。節點運用內部網絡交換數據時使用的是通過InfiniBand的專利單播協議。每個節點都包括冗余InfiniBand 端口,可添加第二內部網絡,以防范第一網絡發生故障。客戶端通過1 GigE或10 GigE以太網連接到群集。由于每個節點都有以太網端口,因此在添加節點時,群集帶寬也會隨著性能和容量一起擴展。
Silon群集包含三個或更多硬件節點(最大數為144)。每個節點都運行Isilon OneFS操作系統(一種將節點聯合成群集的分布式文件系統軟件)。一個群集的最小存儲容量為18 TB,而最大存儲容量為15.5 PB。
在文件系統中,目錄是信息節點編號鏈接。信息節點包含文件元數據和標識文件位置的信息節點編號。OneFS動態分配信息節點,而信息節點的數量沒有限制。要在節點之間分發數據,OneFS將通過群集內部網絡使用全局可路由的數據塊地址發送消息。數據塊地址標識節點及存儲數據塊的驅動器。客戶端將文件寫入節點時,節點上的啟動器將管理文件在群集上的布局。首先,啟動器將文件分為8 KB大小的數據塊。接著,啟動器將數據塊置于一個或多個條帶單位中。大小為128kB 時,條帶單位包含16個數據塊。然后,啟動器將條帶單位分布到整個群集中,直到它們跨越整個群集寬度創建一個條帶為止。條帶寬度取決于節點數和保護設置。由于Isilon群集的連貫緩存跨越所有節點,因此OneFS可將不同數據存儲到每個節點的RAM中。通過使用內部InfiniBand網絡,節點可從其他節點的緩存檢索文件數據,比從自己的本地磁盤檢索更快。如果讀取操作請求的是任意節點上緩存的數據,OneFS即可直接提取緩存數據進行快速響應。
紹興廣播電視總臺現有個電視頻道,每天有約20小時的播出時間,新播出系統每天的節目量約60小時,設定的策略是所有素材在二級存儲上保存的時間是30天內的節目存儲,又考慮到每個頻道都有一些需要長期保存的節目以及對存儲空間的利用率不可能達到100%這兩個因素,播出二級存儲需提供2套美國EMC 861-0120系列的ISILON X2000存儲,每套3個節點、有效容量62T、600MB有效遷移帶寬,可提供6個萬兆接口,在50Mb/s視頻碼率的情況下,可存儲30天的節目量。
新系統滿足1個高標清同播頻道、2個高標清兼容頻道的播出需求,在編單系統的統一計劃下進行,實現播出節目的全文件化播出,優化了臺內業務流程。系統內設備完全兼容高標清播出,視頻服務器支持高標清混合播出,上載服務器支持高清和標清節目上載。通過配置可支持高清到標清或標清到高清的信號播出,目標是安全、準時的完成既定的節目播出計劃。
高標清同播采用輸出級分離方式(見圖1),從高清播出切換臺的PGM OUT輸出完整高清信號,經過視分、3選1、響度控制,最終高清播出;從高清播出切換臺的CLEAN OUT輸出干凈高清信號,經下變換后進入標清切換臺或鍵控器、視分、3選1、響度控制,最終標清播出,如圖1所示。系統考慮立體聲及5.1聲道節目的高清播出、高標清節目的同步播出、高清下變換AFD方式的運用等高標清同播關鍵技術問題。

圖1 系統輸出分離圖示
為了優化廣告的送播,同步更新了原有的廣告串編系統,完成廣告備播任務。新電視播出系統與老系統在存儲體系中增加了EMC Isilon二級存儲系統,其主要是承擔當天的節目存儲及30天內的節目的存儲,可提供穩定、可靠的大數據量的文件讀寫帶寬,有完備冗余備份,當對主存儲體寫入數據完后,經文件完整性校驗、自動技審、人工復檢后,通過策略服務器也將數據實時寫入備存儲體,保證主備存儲內容時刻保持一致,并確保存儲能7×24小時正常工作。同時,劃部分區域給廣告串編系統用。由互聯互通平臺傳送過來的待播文件,經文件完整性校驗、自動技審、人工復檢后遷移至EMC Isilon二級主備存儲。
電視硬盤播出系統使用大容量磁盤陣列來做近線存儲系統是一個必然的選擇,并作為節目采集、播出、非編網、媒資及備播系統的數據交換存儲中心。EMC Isilon二級存儲系統工作狀態穩定,操作維護方便,可以滿足大容量素材的存儲和再利用,節約素材重復上載的工作量,以其高性能和高安全性滿足了電視安全播出的要求。
[1]王艷紅.硬盤數字化播出技術[J].中國有線電視,2005(12).
[2]汪煒鋼.紹興廣播電視臺全數字硬盤播出系統[J].現代電視技術,2007(3).