超融合應(yīng)急制作備份系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

章 劍

（麗水市新聞傳媒中心，浙江 麗水 323000）

0 引 言

麗水市新聞傳媒中心（以下簡(jiǎn)稱麗水臺(tái)）融媒體技術(shù)平臺(tái)的非線性高清精編制作系統(tǒng)是電視節(jié)目制作的重要生產(chǎn)平臺(tái)，承載著臺(tái)內(nèi)新聞、欄目和廣告等節(jié)目后期制作的重要任務(wù)。因此，系統(tǒng)的穩(wěn)定性和可靠性尤為關(guān)鍵。當(dāng)系統(tǒng)出現(xiàn)故障，需要有高效的應(yīng)急制作措施，以迅速接管當(dāng)前制作服務(wù)，解決數(shù)據(jù)備份和恢復(fù)問(wèn)題，保障廣播電視的安全播出。

目前，基于傳統(tǒng)硬件設(shè)備構(gòu)建的應(yīng)急制作備份系統(tǒng)存在投資大、硬件性能瓶頸和軟件架構(gòu)承載能力擴(kuò)容困難等方面不足。因此，麗水臺(tái)在建設(shè)融媒體技術(shù)平臺(tái)非線性高清精編制作系統(tǒng)（以下簡(jiǎn)稱主系統(tǒng)）的時(shí)候，提出了一種基于超融合設(shè)備的應(yīng)急制作備份系統(tǒng)（以下簡(jiǎn)稱備份系統(tǒng)）設(shè)計(jì)方案[1]。該方案通過(guò)超融合設(shè)備的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全和虛擬化等多種功能融合，解決了業(yè)務(wù)部署緩慢、資源擴(kuò)容困難、管理策略分散以及投資成本高昂等問(wèn)題，使得備份系統(tǒng)得以低成本、高效率地完成建設(shè)。

1 系統(tǒng)功能設(shè)計(jì)

作為臺(tái)內(nèi)電視節(jié)目安全生產(chǎn)的解決方案，應(yīng)急備份系統(tǒng)的設(shè)計(jì)基于超融合設(shè)備并配置相關(guān)應(yīng)用軟件為核心的面向非編主系統(tǒng)構(gòu)建的安全運(yùn)行保障系統(tǒng)[2]。為了保證高優(yōu)先級(jí)的節(jié)目制作業(yè)務(wù)不受影響，在主系統(tǒng)異常時(shí)，備份系統(tǒng)要能夠提供必要的素材和元數(shù)據(jù)，使業(yè)務(wù)能夠不間斷地繼續(xù)進(jìn)行。當(dāng)主系統(tǒng)恢復(fù)后，備份系統(tǒng)應(yīng)能夠?qū)?yīng)急模式下的所有數(shù)據(jù)及時(shí)同步回主系統(tǒng)。因此，備份系統(tǒng)規(guī)劃的功能包括數(shù)據(jù)備份、應(yīng)急制作、數(shù)據(jù)回灌三個(gè)方面。

1.1 數(shù)據(jù)備份

數(shù)據(jù)備份是備份系統(tǒng)最基本的功能。備份系統(tǒng)需要對(duì)非編主系統(tǒng)中的文稿、圖片、視頻等相關(guān)素材和元數(shù)據(jù)進(jìn)行備份，以保證主系統(tǒng)故障時(shí)這些備份數(shù)據(jù)能夠快速支撐業(yè)務(wù)的恢復(fù)。

1.2 應(yīng)急制作

應(yīng)急制作功能是備份系統(tǒng)的核心功能。在非編主系統(tǒng)故障時(shí)，備份系統(tǒng)需要能夠在短時(shí)間內(nèi)持續(xù)為相關(guān)業(yè)務(wù)用戶提供高質(zhì)量的編輯服務(wù)，以保證節(jié)目后期制作業(yè)務(wù)不受主系統(tǒng)故障影響而正常進(jìn)行。

1.3 數(shù)據(jù)回灌

數(shù)據(jù)回灌是備份系統(tǒng)的重要功能之一。非編主系統(tǒng)恢復(fù)正常工作之后，備份系統(tǒng)需要能夠根據(jù)實(shí)際業(yè)務(wù)生產(chǎn)情況將素材和元數(shù)據(jù)回灌到主系統(tǒng)內(nèi)，也就是基于備份系統(tǒng)生產(chǎn)的所有素材和節(jié)目數(shù)據(jù)及時(shí)同步回主系統(tǒng)內(nèi)，以保證主系統(tǒng)與備份系統(tǒng)之間的數(shù)據(jù)一致性。

麗水臺(tái)備份系統(tǒng)設(shè)計(jì)配置了一套3節(jié)點(diǎn)超融合設(shè)備，采用分布式集群架構(gòu)，當(dāng)任意1個(gè)節(jié)點(diǎn)發(fā)生故障，剩余節(jié)點(diǎn)仍然能正常工作，存儲(chǔ)容量可支持備份10天內(nèi)的文稿、圖片、視頻等相關(guān)素材和元數(shù)據(jù)，同時(shí)在應(yīng)急情況下具備至少支持10臺(tái)高清精編非編工作站編輯的能力[3]。為了將來(lái)可以擴(kuò)容及提升安全性，超融合系統(tǒng)還設(shè)計(jì)了橫向擴(kuò)展節(jié)點(diǎn)的能力。

2 系統(tǒng)技術(shù)架構(gòu)

備份系統(tǒng)的核心平臺(tái)采用超融合技術(shù)構(gòu)架，通過(guò)以Linux系統(tǒng)為底層的超融合設(shè)備作為3節(jié)點(diǎn)協(xié)同構(gòu)建備份系統(tǒng)。數(shù)據(jù)存儲(chǔ)架構(gòu)采用Vida Grid分布式對(duì)象存儲(chǔ)系統(tǒng)[4]，以MongoDB作為分布式存儲(chǔ)數(shù)據(jù)單元，具有高可用、高性能、高擴(kuò)展等特點(diǎn)。節(jié)點(diǎn)的計(jì)算資源部署采用基于Docker的虛擬主機(jī)技術(shù)，通過(guò)Docker的計(jì)算資源協(xié)同調(diào)度方法以及Docker管理接口，充分利用超融合設(shè)備節(jié)點(diǎn)的計(jì)算資源，實(shí)現(xiàn)系統(tǒng)后臺(tái)管理功能模塊，部署在相應(yīng)的節(jié)點(diǎn)服務(wù)器上。系統(tǒng)提供節(jié)點(diǎn)和網(wǎng)絡(luò)所需的文稿模塊、檢索模塊、上載模塊、編輯模塊、審核模塊、數(shù)據(jù)同步模塊及網(wǎng)絡(luò)管理模塊等?；诔诤显O(shè)備機(jī)制，借助Docker管理機(jī)制的可擴(kuò)展性，系統(tǒng)可以對(duì)分布式節(jié)點(diǎn)進(jìn)行便捷的擴(kuò)展，實(shí)時(shí)滿足業(yè)務(wù)變化對(duì)于計(jì)算、存儲(chǔ)資源的需求。系統(tǒng)整體架構(gòu)如圖1所示。超融合技術(shù)構(gòu)架有別于傳統(tǒng)系統(tǒng)后臺(tái)獨(dú)立數(shù)據(jù)庫(kù)、獨(dú)立共享存儲(chǔ)的構(gòu)架，主要表現(xiàn)在以下幾個(gè)方面。

圖1 系統(tǒng)整體架構(gòu)圖

2.1 開(kāi)放式架構(gòu)

超融合系統(tǒng)由節(jié)點(diǎn)、前端網(wǎng)絡(luò)及后端網(wǎng)絡(luò)等三個(gè)元素構(gòu)成。每個(gè)元素都可方便地采用目前最新技術(shù)而不需要改變整體系統(tǒng)結(jié)構(gòu)，并且擴(kuò)展操作相對(duì)簡(jiǎn)單。特別是針對(duì)中心發(fā)展變化趨勢(shì)下難以預(yù)測(cè)的用戶，可以通過(guò)預(yù)先建立虛擬機(jī)模板的方式，根據(jù)用戶需求的變化進(jìn)行實(shí)時(shí)調(diào)整。

2.2 分布式操作系統(tǒng)

超融合設(shè)備節(jié)點(diǎn)的控制由基于中心節(jié)點(diǎn)控制的分布式操作系統(tǒng)統(tǒng)一控制和調(diào)度，通過(guò)網(wǎng)絡(luò)鏈接發(fā)送控制指令并在分布式集群節(jié)點(diǎn)上完成。在分布式操作系統(tǒng)架構(gòu)下，各個(gè)節(jié)點(diǎn)之間處于并行工作狀態(tài)，單節(jié)點(diǎn)的故障不會(huì)對(duì)整體系統(tǒng)工作狀態(tài)造成影響。

2.3 高性能

超融合設(shè)備節(jié)點(diǎn)具備強(qiáng)大的處理能力、高速的數(shù)據(jù)傳輸速度、可靠的數(shù)據(jù)保護(hù)和恢復(fù)機(jī)制，能夠滿足備份系統(tǒng)的高并發(fā)、高帶寬需求。此外，超融合設(shè)備節(jié)點(diǎn)的高IOPS、隨機(jī)訪問(wèn)、小文件訪問(wèn)以及備份歸檔等應(yīng)用機(jī)制，可以為備份系統(tǒng)提供比傳統(tǒng)存儲(chǔ)架構(gòu)更優(yōu)的性能。同時(shí)，系統(tǒng)還具有靈活性高、資源消耗低、服務(wù)彈性快等特點(diǎn)。

3 系統(tǒng)工作機(jī)制

應(yīng)急制作備份系統(tǒng)的核心問(wèn)題是解決與主系統(tǒng)之間的數(shù)據(jù)一致性。備份系統(tǒng)采用一種雙活系統(tǒng)機(jī)制作為主要技術(shù)手段，以充分利用超融合節(jié)點(diǎn)的技術(shù)優(yōu)勢(shì)。并且，超融合備份節(jié)點(diǎn)采用與非編主系統(tǒng)節(jié)點(diǎn)相同的系統(tǒng)架構(gòu)，避免主系統(tǒng)與備份系統(tǒng)由于異構(gòu)影響平臺(tái)之間數(shù)據(jù)實(shí)時(shí)互通。

主系統(tǒng)與備份系統(tǒng)的數(shù)據(jù)流轉(zhuǎn)，主要包括數(shù)據(jù)備份和數(shù)據(jù)回灌兩個(gè)核心的業(yè)務(wù)過(guò)程。系統(tǒng)正常工作時(shí)，主系統(tǒng)會(huì)將系統(tǒng)中的文稿、圖片、視頻等相關(guān)素材和元數(shù)據(jù)實(shí)時(shí)同步備份到備份系統(tǒng)。當(dāng)主系統(tǒng)出現(xiàn)故障，備份系統(tǒng)可以在非編工作站利用同步至超融合系統(tǒng)的素材和元數(shù)據(jù)繼續(xù)進(jìn)行不間斷的編輯制作，并通過(guò)非編站合成送播至融合直播系統(tǒng)和高清播出系統(tǒng)，保證在實(shí)際的節(jié)目制作業(yè)務(wù)中優(yōu)先級(jí)別高的節(jié)目制作業(yè)務(wù)不會(huì)受到主系統(tǒng)故障的影響。主系統(tǒng)恢復(fù)正常工作后，備份系統(tǒng)能夠?qū)⒐收掀陂g實(shí)際生產(chǎn)的所有數(shù)據(jù)及時(shí)回灌到主系統(tǒng)內(nèi)，以保證主系統(tǒng)與備份系統(tǒng)之間的數(shù)據(jù)一致性。數(shù)據(jù)同步和回灌流程如圖2所示。

圖2 備份系統(tǒng)數(shù)據(jù)同步和回灌流程

備份系統(tǒng)的數(shù)據(jù)同步通過(guò)主系統(tǒng)的數(shù)據(jù)庫(kù)操作來(lái)觸發(fā)產(chǎn)生。在系統(tǒng)中，數(shù)據(jù)代理節(jié)點(diǎn)接收到由主系統(tǒng)中心Com+服務(wù)轉(zhuǎn)發(fā)的數(shù)據(jù)庫(kù)操作指令后，將會(huì)觸發(fā)系統(tǒng)操作指令，將主系統(tǒng)中的數(shù)據(jù)庫(kù)增量信息同步到備份系統(tǒng)的數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)備份、回灌等業(yè)務(wù)流程中的數(shù)據(jù)同步功能。同時(shí)，數(shù)據(jù)代理模塊會(huì)分析主系統(tǒng)的主網(wǎng)絡(luò)數(shù)據(jù)庫(kù)中數(shù)據(jù)操作的相關(guān)數(shù)據(jù)表格。如果數(shù)據(jù)操作涉及與素材數(shù)據(jù)相關(guān)的關(guān)鍵表格，系統(tǒng)將會(huì)觸發(fā)相關(guān)的操作，實(shí)現(xiàn)原始素材文件的目標(biāo)遷移和管理等操作，以實(shí)現(xiàn)在應(yīng)急制作備份業(yè)務(wù)中的素材和元數(shù)據(jù)同步業(yè)務(wù)。

備份系統(tǒng)具備三大模塊功能，分別為數(shù)據(jù)同步模塊、編輯引擎后臺(tái)服務(wù)模塊以及元數(shù)據(jù)存儲(chǔ)模塊（數(shù)據(jù)庫(kù)）。

3.1 數(shù)據(jù)同步模塊

數(shù)據(jù)同步模塊能夠?qū)崿F(xiàn)非編主系統(tǒng)和備份系統(tǒng)之間的數(shù)據(jù)同步，確保備份系統(tǒng)中的數(shù)據(jù)與主系統(tǒng)中的數(shù)據(jù)保持一致。主系統(tǒng)故障恢復(fù)后，數(shù)據(jù)同步模塊還能將備份系統(tǒng)生產(chǎn)的數(shù)據(jù)回灌到主系統(tǒng)中，確保數(shù)據(jù)的完整性和準(zhǔn)確性。

3.2 編輯引擎后臺(tái)服務(wù)模塊

編輯引擎后臺(tái)服務(wù)模塊提供系統(tǒng)所需的后臺(tái)服務(wù)，包括編輯引擎模塊、網(wǎng)絡(luò)管理模塊、基礎(chǔ)平臺(tái)模塊、文稿模塊、檢索模塊以及資源管理模塊等等[5]。這些模塊在系統(tǒng)中發(fā)揮著重要的作用。例如，編輯引擎模塊在非編主系統(tǒng)異常時(shí)，能夠提供應(yīng)急制作能力，確保高優(yōu)先級(jí)的新聞制作業(yè)務(wù)不受影響；網(wǎng)絡(luò)管理模塊負(fù)責(zé)對(duì)系統(tǒng)進(jìn)行網(wǎng)絡(luò)管理和監(jiān)控，基礎(chǔ)平臺(tái)模塊提供了基礎(chǔ)的數(shù)據(jù)處理和存儲(chǔ)能力，文稿模塊負(fù)責(zé)對(duì)文稿進(jìn)行管理和編輯，檢索模塊提供了系統(tǒng)中內(nèi)容的快速檢索功能；資源管理模塊則負(fù)責(zé)對(duì)系統(tǒng)中的資源進(jìn)行管理和調(diào)度，以保證系統(tǒng)能夠高效地運(yùn)行和提供服務(wù)。

3.3 數(shù)據(jù)存儲(chǔ)模塊

數(shù)據(jù)存儲(chǔ)模塊提供可靠的數(shù)據(jù)存儲(chǔ)解決方案，是為系統(tǒng)中各個(gè)模塊提供數(shù)據(jù)讀寫(xiě)服務(wù)的數(shù)據(jù)庫(kù)。其基于MongoDB分布式文件存儲(chǔ)數(shù)據(jù)庫(kù)，具備支持?jǐn)?shù)據(jù)分片、數(shù)據(jù)備份等特性。同時(shí)，該模塊還能夠根據(jù)系統(tǒng)實(shí)際業(yè)務(wù)需求進(jìn)行擴(kuò)展，以滿足數(shù)據(jù)存儲(chǔ)容量和性能的不斷提升。

4 系統(tǒng)建設(shè)中遇到的問(wèn)題及解決辦法

麗水臺(tái)在2021年5月完成了主、備系統(tǒng)的招標(biāo)采購(gòu)。經(jīng)過(guò)6個(gè)多月時(shí)間的機(jī)房改造和設(shè)備安裝調(diào)試，系統(tǒng)于2021年12月上線試運(yùn)行。試運(yùn)行過(guò)程遇到了一些實(shí)際問(wèn)題，技術(shù)人員予以妥善解決，具體如下。

4.1 備份系統(tǒng)與主系統(tǒng)時(shí)間不同步

試運(yùn)行期間，備份系統(tǒng)出現(xiàn)非編主系統(tǒng)創(chuàng)建的數(shù)據(jù)無(wú)法及時(shí)同步到備份系統(tǒng)，主系統(tǒng)已經(jīng)過(guò)期的證書(shū)在備份系統(tǒng)中仍然有效，備份系統(tǒng)的日志時(shí)間錯(cuò)誤等問(wèn)題。經(jīng)排查，技術(shù)人員發(fā)現(xiàn)是主系統(tǒng)和備份系統(tǒng)時(shí)間不同步所導(dǎo)致。技術(shù)人員為系統(tǒng)配置了網(wǎng)絡(luò)時(shí)鐘協(xié)議（Network Time Protocol，NTP）工具，解決了時(shí)間同步問(wèn)題。

4.2 備份系統(tǒng)節(jié)點(diǎn)服務(wù)器磁盤空間不足

備份系統(tǒng)投入使用一段時(shí)間后，出現(xiàn)系統(tǒng)響應(yīng)緩慢，應(yīng)用程序無(wú)故崩潰或停止工作等問(wèn)題。經(jīng)排查，技術(shù)人員發(fā)現(xiàn)是開(kāi)源容器工具的一個(gè)已知Bug導(dǎo)致系統(tǒng)1節(jié)點(diǎn)服務(wù)器磁盤空間不足。技術(shù)人員及時(shí)對(duì)容器工具進(jìn)行了更新，修復(fù)了已知Bug，并設(shè)置了系統(tǒng)磁盤配額，限制了容器使用的磁盤空間，從而有效地避免了容器占用過(guò)多磁盤空間，有效解決了問(wèn)題。

4.3 主系統(tǒng)導(dǎo)出的節(jié)目工程或者素材無(wú)法引入備份系統(tǒng)

在實(shí)戰(zhàn)演練過(guò)程中，非編主系統(tǒng)導(dǎo)出的節(jié)目工程或者素材還原至主系統(tǒng)正常，引入備份系統(tǒng)，則出現(xiàn)Media offline（素材丟失）的情況。經(jīng)測(cè)試排查，發(fā)現(xiàn)是備份系統(tǒng)與主系統(tǒng)存在節(jié)目或素材者字段不匹配導(dǎo)致。技術(shù)人員通過(guò)升級(jí)主系統(tǒng)cmserver服務(wù)端版本，使其與備份系統(tǒng)統(tǒng)一，優(yōu)化相關(guān)數(shù)據(jù)庫(kù)字段后，問(wèn)題得到解決。

5 結(jié) 語(yǔ)

2022年10月，麗水臺(tái)超融合應(yīng)急制作備份系統(tǒng)正式上線運(yùn)行。上線以來(lái)，系統(tǒng)穩(wěn)定、運(yùn)行可靠，通過(guò)技術(shù)部門的兩次實(shí)戰(zhàn)演練，驗(yàn)證了系統(tǒng)的高可靠性。演練時(shí)，技術(shù)部門在非編主系統(tǒng)正常工作但不通知業(yè)務(wù)部門的情況下，關(guān)閉主系統(tǒng)Cmerver服務(wù)，造成用戶無(wú)法登陸訪問(wèn)的故障現(xiàn)象，模擬主系統(tǒng)癱瘓的情景?！肮收稀卑l(fā)生后，編輯人員按照臺(tái)內(nèi)應(yīng)急預(yù)案的要求，啟用應(yīng)急備份系統(tǒng)，順利完成了全臺(tái)24 h自辦節(jié)目的制作和送播，驗(yàn)證了備份系統(tǒng)建設(shè)實(shí)現(xiàn)了設(shè)計(jì)目標(biāo)，具備安全性、可靠性和穩(wěn)定性，有較高的應(yīng)用推廣意義。