媒體資產系統中的數據管理（上）

【摘要】媒資系統自出現以來，就被定義為一個巨大的“數據倉庫”，作為媒資系統存儲管理的唯一對象，數據的安全性和可用性既是數據管理的目的，也是整個系統在前期設計和后期運行中應當時刻考慮并遵循的重要原則。本文深入分析了媒資系統中數據管理的理論知識和技術基礎，詳細地劃分了各種數據管理的對象，分別給出具體的管理方式，并緊密結合系統中的實際數據流向詳細闡述了系統中軟硬件的部署，以及在實際管理工作中需要特別注意的數據方案和存儲策略。希望能為從事廣電行業媒資系統建設和維護的技術人員一些有限的借鑒和參考。

【關鍵字】 媒體數據 元數據 LTO 數據流向 編目前移

媒體資產管理系統中存儲的各類媒體數據是各應用單位極其寶貴的重要資產，這些數據將在今后的業務生產過程中發揮巨大的價值，對其有效、可靠的保存是媒資系統最重要的任務之一。考慮到電視臺媒資系統的功能需求、業務流程的特殊性，這些珍貴資料的重要性遠遠大于制作版塊日常生產使用的臨時數據，而且一般都要長期保存甚至永久存儲，因此應當充分認識并重視媒資系統中數據的管理。

從本質上說，媒資系統也是一個基于IT的信息處理系統，所以在系統設計之初，就需要對系統安全有完整的考慮和應對措施。通常來講系統安全需要從以下角度綜合考慮：物理安全、網絡安全、訪問安全、數據安全。而物理安全、網絡安全、訪問安全的設計最終都會影響到數據安全，數據安全在媒資系統來講是整個安全系統中的重中之重，所有安全方面的設計最終也都要在高可用的基礎上確保數據安全；另一方面，在媒資系統運行期間也必須進行日常的備份措施，以便系統出現問題的情況下及時恢復數據，及時保證全臺制作播出這一業務流程的完整和安全。

簡單來說，電視臺媒資系統內的數據主要分為兩類：一類是媒體數據（包括視音頻、圖片、電子文檔等）本身，這部分數據通常存儲在在線硬盤陣列的緩沖區和數據流磁帶中；另一類是描述媒體數據的元數據，包括數據庫內存儲的各類媒體數據的描述信息和屬性，視音頻數據的低碼流文件、關鍵幀數據，以及全臺業務流程中系統互聯和編目節點所產生的元數據等。

元數據由于需要頻繁訪問，通常都存儲在計算機系統的硬盤或是硬盤陣列中：其中部分媒體數據的描述信息和屬性存儲在數據庫系統中；低碼流文件和關鍵幀數據通常存儲在管理服務器、在線盤陣或是專門的流媒體服務器的數據硬盤上；此外，像大多數非編網絡一樣，媒資系統內也部署了許多服務器設備，這些服務器在進行日常的管理工作時，會產生大量的重要數據，如數據庫文件、系統日志、配置文件等等，這些數據對于保證系統本身正常運行，和必要情況下的系統數據恢復都是非常重要的，所以經常需要技術維護人員進行備份，而這種備份本身又產生了大量的重要數據，這些數據可能同樣需要管理備份。

綜上所述，結合媒資系統中數據的多樣性，根據各種數據重要性級別和備份恢復手段的不同，我們將媒資系統中的數據分為三類：媒體數據、數據庫文件、非數據庫的元數據。對于這些數據的管理，個人認為不僅要在搭建系統架構時充分考慮各種數據的存儲需求和管理模式，還要聯系實際情況——參照媒資系統投入運行之后的業務流程，分析系統內流程節點數據流向——對這些數據進行不同的記錄備份和恢復處理。

前期設計——明確存儲需求，做好數據部署

既然是數據管理，首先就要明確管理多少數據。數據量的多少直接影響媒資系統統計出客戶需要保存的節目時間、節目增量和工作目標，進而得出各站點的數量，最終確定媒體文件和元數據的存儲空間。個人認為應當從以下幾方面來考慮：

1. 系統中高低碼率文件編碼方式和碼率的選擇。對臺內現有數字化系統的資料進行保存時，一般可選用制作網、新聞網或播出網中的原始文件格式?，F在的媒資管理系統基本上可對多種碼率、多種編碼格式的節目資料文件統一管理，這樣既避免了轉碼帶來的時間、空間上的浪費，又防止出現因轉碼可能帶來的視音頻質量損失。

如上表所示，海量存儲一定是多格式的，從長遠來看，不管是高清還是標清壓縮算法都會改變，面向應用也會有不同的考慮，而且允許針對不同的節目形態在節目類型方面做一些優化，例如改變文件的封裝方式以有效提高效率等，這些優化都是有針對性的，需要根據實際情況制定相應的策略。

2. 上載工作站和編目工作站數量的確定。上載工作站的數量主要是根據用戶每天需要上載的傳統磁帶節目量的大小來確定的。由于上載的過程是1：1的信號上載，通常需要了解用戶現有的磁帶類型，各類節目的庫存量，計劃完成節目數字化采集上載的工作時間（如一年內完成多少小時等），由此計算出每天需要上載的節目量，從而得到系統需要配置多少臺上載工作站。個人認為還需要注意的是，要考慮到上載工作站的可用時間以及上載人員的工作習慣，相應增加站點的數量，常見的配置方案是6小時/每天的上載量對應1臺工作站。

此外，如果僅僅考慮完成傳統磁帶上載保存的話，簡單計算可按每臺上載工作站對應需要配置2臺編目工作站來配置；如果考慮保存其他系統的數字化成品和素材，每天每增加3小時的編目工作就應相應增加1臺編目工作站即可。

3. 明確數據總量，科學規劃存儲系統配置。在確定了媒資系統的上載站點和上載時間后，基本上就可以明確在一個較長的時間內數據量的大小，這也對存儲系統的選型、配置提出了要求。媒資的存儲系統通常包括在線盤陣和近線數據流磁帶庫，同時我們也要把媒資系統數據庫的元數據作為數據管理的重要對象之一來對其進行存儲規劃：

·在線盤陣主要存儲媒體文件、關鍵幀等數據，同時還可以作為提供上載的緩沖區和下載的緩沖區。高低碼率文件都可以儲存到在線盤陣中，也可以部署單獨的高、低碼率文件存儲管理服務器。低碼率文件除了作為編目、檢索的預覽文件，還可以用來對素材進行簡單的粗編，所以一般不刪除一直占據著相應的存儲空間，如果條件允許，可以考慮單獨部署一臺流媒體管理服務器來對其進行存儲和管理，這樣對于緩沖區、流媒體存儲空間的規劃就相對寬松；而如果只有一個在線盤陣，其容量就要根據低碼率文件的容量加上上載和下載緩沖區大小來計算。這就是一個相對不確定的數量，因為上載和下載對緩沖區的使用是不確定的，解決辦法就是盡可能地擴大在線盤陣的存儲容量，使其在滿足較長時間內的存儲任務的同時，兼顧為日常進出媒資的數據提供足夠的臨時空間。

·近線數據流磁帶庫容量規模的選擇：一般高碼率節目在近線帶庫存儲1年左右，之后就可以離線到數據流密集架上去存儲?？蓳斯浪?年內新增的數據量；同樣根據每天上載節目的多少可以計算需要多少臺磁帶驅動器。

小型媒資系統可選用獨立磁帶機，也可選用含一個磁帶驅動器的小型磁帶庫；對于一般中型的系統，實際上在平均流量上，1臺磁帶機已經足夠保證數據歸檔和回遷的需要，但可能某個時段使用特別集中，系統響應的時間就會變慢，某個任務在排隊后可能在十幾分鐘或更長的時間才會完成。另外，由于磁帶機的平均無故障工作時間也不是特別的長，所以中型媒資系統通常配置2臺磁帶機。大型系統的磁帶機通常在3臺到5臺，甚至會達到10臺以上。這種大型系統的磁帶機數量一般需要經過業務需求的仔細分析計算得到。大致需要考慮的因素包括：每天歸檔數據量、帶庫分區的情況（有幾類節目在帶庫里面，被劃分為幾個不同的獨立區域）、查詢回遷的數據流量、磁帶機的使用分配模式、使用的磁帶類型等。需要說明的是，現在多數媒資系統都可以對不同廠家不同型號的數據流磁帶庫統一管理。

·數據庫元數據管理方面，需要指定專門的存儲空間來存放管理數據庫。數據庫數據的存儲安全固然重要，硬件上為避免單個硬盤在系統運行期間出現故障，管理服務器的數據硬盤采用RAID卡實現硬件方面的冗余保護，這樣既提高了服務器關鍵數據訪問效率，又可同時保證單硬盤故障情況下不會造成任何數據丟失。此外還可以通過集群技術實現數據庫管理的熱備。另外針對媒資業務本身產生的元數據，需要根據不同的流程節點來選擇不同的存儲管理設備。

（未完待續）