視頻存儲數(shù)據(jù)保護(hù)技術(shù)分析

■ 趙慶偉 魏宏 李濤濤

數(shù)字視頻監(jiān)控系統(tǒng)尤其是大型視頻監(jiān)控系統(tǒng)中，幾千路監(jiān)控點(diǎn)使調(diào)度、公安人員無法實(shí)時(shí)監(jiān)控到所有點(diǎn)位信息，發(fā)生事故時(shí)往往通過調(diào)用歷史視頻進(jìn)行調(diào)查。因此，保護(hù)視頻存儲數(shù)據(jù)尤為重要。

1 數(shù)據(jù)保護(hù)技術(shù)

在存儲領(lǐng)域，數(shù)據(jù)保護(hù)技術(shù)主要分為鏡像技術(shù)、冗余校驗(yàn)技術(shù)和備份技術(shù)。

1.1 鏡像技術(shù)

數(shù)據(jù)鏡像方式可以保證在同一時(shí)刻數(shù)據(jù)能夠具備兩個(gè)完全相同的版本。這也保證了其中一個(gè)數(shù)據(jù)版本出現(xiàn)物理故障而不能對外提供服務(wù)時(shí)，另一個(gè)版本可以有效地支撐整體業(yè)務(wù)系統(tǒng)。但由于兩個(gè)版本永遠(yuǎn)保持一致，因此當(dāng)出現(xiàn)邏輯錯(cuò)誤（如人為誤修改、病毒篡改等）時(shí)，鏡像并不能修正其錯(cuò)誤。鏡像技術(shù)在實(shí)際應(yīng)用中有以下2種形式。

1.1.1 RAID1

RAID1又稱為M irror或M irro ring，目的是最大限度保證用戶數(shù)據(jù)的可用性和可修復(fù)性。 RAID1的操作方式是把用戶寫入硬盤的數(shù)據(jù)百分之百自動復(fù)制到另一個(gè)硬盤上。由于對存儲的數(shù)據(jù)進(jìn)行百分之百備份，在所有RAID級別中，RAID1提供最高的數(shù)據(jù)安全保障。圖1顯示的是由4塊硬盤組成的磁盤鏡像，其中可以作為存儲空間使用的僅為2塊硬盤（畫斜線的為鏡像部分）。

RAID1下，任何一塊硬盤的故障都不會影響系統(tǒng)正常運(yùn)行，而且只要能夠保證任何一對鏡像盤中至少一塊磁盤可以使用，RAID1甚至可以在一半數(shù)量硬盤出現(xiàn)問題時(shí)不間斷工作。當(dāng)一塊硬盤失效時(shí)，系統(tǒng)會忽略該硬盤，轉(zhuǎn)而使用剩余的鏡像盤讀寫數(shù)據(jù)。

通常把出現(xiàn)硬盤故障的RA ID系統(tǒng)稱為在降級模式下運(yùn)行。雖然這時(shí)保存的數(shù)據(jù)仍然可以繼續(xù)使用，但是RAID系統(tǒng)將不再可靠。如果剩余鏡像盤也出現(xiàn)問題，那么整個(gè)系統(tǒng)就會崩潰。因此，應(yīng)及時(shí)更換損壞的硬盤，避免出現(xiàn)新的問題。

在RAID1中，磁盤的有效容量僅為總?cè)萘康?/2，因此成本非常高。同時(shí)RAID1雖不能提高存儲性能，但由于其具有高數(shù)據(jù)安全性，尤其適用于存放重要數(shù)據(jù)，如服務(wù)器和數(shù)據(jù)庫存儲等領(lǐng)域。

1.1.2 遠(yuǎn)程卷鏡像技術(shù)

鏡像是在2個(gè)或多個(gè)磁盤或磁盤子系統(tǒng)上生成同一個(gè)數(shù)據(jù)鏡像視圖的信息存儲過程，一個(gè)叫主鏡像系統(tǒng)，另一個(gè)叫從鏡像系統(tǒng)。按主從鏡像存儲系統(tǒng)所處的位置可分為本地鏡像和遠(yuǎn)程鏡像。本地鏡像主從鏡像存儲系統(tǒng)處于同一個(gè)RAID陣列內(nèi)，遠(yuǎn)程鏡像主從鏡像存儲系統(tǒng)通常分布在跨城域網(wǎng)或廣域網(wǎng)的不同節(jié)點(diǎn)上。

遠(yuǎn)程鏡像又叫遠(yuǎn)程復(fù)制，是容災(zāi)備份的核心技術(shù)，同時(shí)也是保持遠(yuǎn)程數(shù)據(jù)同步和實(shí)現(xiàn)災(zāi)難恢復(fù)的基礎(chǔ)。利用物理位置上分離的存儲設(shè)備所具備的遠(yuǎn)程數(shù)據(jù)連接功能，遠(yuǎn)程維護(hù)一套數(shù)據(jù)鏡像，一旦災(zāi)難發(fā)生，分布在異地存儲器上的數(shù)據(jù)備份并不會受到波及。

遠(yuǎn)程卷鏡像技術(shù)可以簡單的理解為2臺設(shè)備間的RAID1，因此要求其RAID控制等多方面操作保持一致。遠(yuǎn)程卷鏡像只能在同系列的高端盤陣中進(jìn)行，成本投入非常大（見圖2）。

1.2 冗余校驗(yàn)技術(shù)

因?yàn)殓R像技術(shù)的磁盤利用率很低，所以為了實(shí)現(xiàn)既保護(hù)數(shù)據(jù)又提高磁盤利用率，出現(xiàn)采用冗余校驗(yàn)技術(shù)實(shí)現(xiàn)同盤陣內(nèi)的RAID機(jī)制。目前較為常見的有RAID3，RAID5和RAID6。

1.2.1 RAID3

RAID3是將數(shù)據(jù)先做XOR運(yùn)算，產(chǎn)生Parity Data后，再將數(shù)據(jù)和Parity Data 以并行存取模式寫入成員磁盤驅(qū)動器中，因此具備并行存取模式的優(yōu)點(diǎn)和缺點(diǎn)（見圖3）。RAID3每筆數(shù)據(jù)傳輸都更新整個(gè)Stripe（即每個(gè)成員磁盤驅(qū)動器相對位置的數(shù)據(jù)都一起更新），不會發(fā)生需要把部分磁盤驅(qū)動器現(xiàn)有數(shù)據(jù)讀出來，與新數(shù)據(jù)作XOR運(yùn)算，再寫入的情況（這個(gè)情況會在RAID4和RAID5發(fā)生，一般稱之為Read，M od ify，W rite Process）。因此，在所有RAID級別中，RAID3的寫入性能最好。

RAID3的Parity Data一般存放在一個(gè)專屬的Parity D isk，但是每筆數(shù)據(jù)都更新整個(gè)Stripe。在RAID3中，磁盤利用率為（N-1）/N（N為構(gòu)成RAID組的磁盤數(shù)）。

RAID3的并行存取模式需要RAID控制器特別功能的支持，才能達(dá)到磁盤驅(qū)動器同步控制，而且寫入性能的優(yōu)點(diǎn)以目前的Caching 技術(shù)都可以將之取代，因此一般認(rèn)為RAID3將逐漸淡出市場。

1.2.2 RAID5

RAID5是一種存儲性能、數(shù)據(jù)安全和存儲成本兼顧的存儲解決方案，使用的是Disk Striping（硬盤分割）技術(shù)，RAID5利用分散奇偶校驗(yàn)冗余數(shù)據(jù)（見圖4）。

RAID5是RAID0和RAID1的折衷方案，RAID5可以為系統(tǒng)提供數(shù)據(jù)安全保障，但保障程度要比RAID1低，但磁盤空間利用率比RAID1高。RAID5與RAID3的磁盤利用率為N-1/N，但RAID5的校驗(yàn)數(shù)據(jù)分散在所有RAID組成員磁盤上。

1.2.3 RAID6

RAID6 是在RAID5基礎(chǔ)上把校驗(yàn)信息由一位增加到二位的RAID級別（見圖5）。

RAID6和RAID5一樣，對邏輯盤進(jìn)行條帶化然后存儲數(shù)據(jù)和校驗(yàn)位，只是對每一位數(shù)據(jù)又增加了一位校驗(yàn)位。在使用RAID6時(shí)會有2塊硬盤用來存儲校驗(yàn)位，增強(qiáng)了容錯(cuò)功能，同時(shí)減少硬盤實(shí)際使用容量。以前的RAID級別一般只允許1塊硬盤壞掉，而RAID6可以允許2塊硬盤壞掉，因此，RAID6 要求至少4塊硬盤。

RA ID 6的磁盤利用率為（N-2）/N，較RA ID 3，RAID5略低，但安全性更高。

1.3 備份技術(shù)

不論鏡像技術(shù)還是冗余校驗(yàn)技術(shù)，數(shù)據(jù)邏輯損毀都無法恢復(fù)，因此為了全面保護(hù)數(shù)據(jù)安全，保證能夠提供正確數(shù)據(jù)，就有了備份技術(shù)。一般備份技術(shù)的應(yīng)用有備份系統(tǒng)和SnapShot兩種，當(dāng)數(shù)據(jù)出現(xiàn)邏輯故障時(shí)對數(shù)據(jù)進(jìn)行恢復(fù)。

1.3.1 備份系統(tǒng)

備份就是針對應(yīng)用系統(tǒng)的一個(gè)或多個(gè)完整數(shù)據(jù)拷貝，當(dāng)應(yīng)用系統(tǒng)出現(xiàn)問題時(shí)，可以隨時(shí)從備份中恢復(fù)需要的數(shù)據(jù)。

備份系統(tǒng)一般由3部分組成：（1）備份網(wǎng)絡(luò)。網(wǎng)絡(luò)環(huán)境是數(shù)據(jù)備份的傳輸通道，一個(gè)良好通暢的網(wǎng)絡(luò)能夠保證備份數(shù)據(jù)快速正確的傳輸。（2）備份軟件。優(yōu)秀備份軟件包括加速備份、自動操作、災(zāi)難恢復(fù)等特殊功能，對于設(shè)備安全有效的數(shù)據(jù)備份非常重要。（3）備份設(shè)備。備份設(shè)備是數(shù)據(jù)備份的最終目的地，其質(zhì)量與性能在整個(gè)備份過程中至關(guān)重要，是能否進(jìn)行高速高質(zhì)量備份的關(guān)鍵所在。

雖然備份系統(tǒng)提供了最可靠的數(shù)據(jù)安全保障機(jī)制，但由于視頻監(jiān)控應(yīng)用的特性，不太適合視頻數(shù)據(jù)的保護(hù)。（1）備份時(shí)間長。由于監(jiān)控?cái)?shù)據(jù)都是影像文件，總量非常龐大（一般為近百TB，甚至PB級別），因此如果對其進(jìn)行全備份，以目前的網(wǎng)絡(luò)速度計(jì)算，可能需要幾天甚至更長時(shí)間，嚴(yán)重影響整體系統(tǒng)的正常運(yùn)轉(zhuǎn)。（2）投入成本過大。由于備份往往都需要多個(gè)全備份，因此容量是元數(shù)據(jù)量的N倍，而視頻資料本身容量就很大，如果建設(shè)備份系統(tǒng)，投入成本也將非常大。

1.3.2 SnapShot

SN IA（全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會）對Sn ap Sh o t的定義是：關(guān)于指定數(shù)據(jù)集合的一個(gè)完全可用拷貝，該拷貝包括相應(yīng)數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)（拷貝開始時(shí)間點(diǎn)）的映像。SnapSho t可以是其所表示的數(shù)據(jù)的一個(gè)副本，也可以是數(shù)據(jù)的一個(gè)復(fù)制品（見圖6）。

SnapShot技術(shù)在backup時(shí)被廣泛采用。很早就應(yīng)用到陣列和主機(jī)中，主要采用Copy on W rite算法。通常都是基于卷，在b lock級別進(jìn)行處理，各種大型磁盤陣列中都有支持。

SnapSho t是指向保存在存儲設(shè)備中的數(shù)據(jù)的引用標(biāo)記或指針，就是數(shù)據(jù)在某一時(shí)刻的狀況，其工作原理核心是建立一個(gè)指針列表，指示讀取數(shù)據(jù)的地址，提供一個(gè)瞬時(shí)數(shù)據(jù)的影像，當(dāng)數(shù)據(jù)改變時(shí)，再進(jìn)行復(fù)制。

應(yīng)用SnapSho t技術(shù)可以用相對較小的空間（通常為元數(shù)據(jù)容量的20％左右）對數(shù)據(jù)卷的數(shù)據(jù)進(jìn)行邏輯保護(hù)，可以有效地防止因人為篡改及病毒侵入等導(dǎo)致的數(shù)據(jù)失效。缺點(diǎn)是由于其不對元數(shù)據(jù)進(jìn)行保存，因此當(dāng)元數(shù)據(jù)卷崩潰時(shí)，數(shù)據(jù)無法進(jìn)行恢復(fù)。

2 數(shù)據(jù)保護(hù)技術(shù)對比

數(shù)據(jù)保護(hù)技術(shù)對比見表1。

表1 數(shù)據(jù)保護(hù)技術(shù)對比鏡像技術(shù) 冗余校驗(yàn)技術(shù) 備份技術(shù)RAID1 遠(yuǎn)程卷鏡像 RAID3 RAID5 RAID6 備份系統(tǒng) SnapShot保護(hù)類型 物理故障物理故障、邏輯故障允許磁盤物理故障物理故障物理故障物理故障物理故障、邏輯故障損壞個(gè)數(shù) N/2 N 1 1 2 N 根據(jù)元數(shù)據(jù)卷的RAID而定磁盤總體利用率 1/2 1/2 （N-1）/N（N-1）/N（N-2）/N 1/（X+1） 1/1.2系統(tǒng)讀寫效率 一般 高 較高 較高 低 高 高投入成本 較高 高 低 低 較低 高 較低數(shù)據(jù)恢復(fù)效率 高 高 較低 較低 低 低 較低數(shù)據(jù)保護(hù)效率 高 高 較高 較高 較高 低 一般適用領(lǐng)域操作系統(tǒng)等關(guān)鍵數(shù)據(jù)物理保護(hù)容災(zāi)領(lǐng)域數(shù)據(jù)在線存儲數(shù)據(jù)物理保護(hù)數(shù)據(jù)在線存儲數(shù)據(jù)物理保護(hù)數(shù)據(jù)在線存儲數(shù)據(jù)物理保護(hù)數(shù)據(jù)庫以及小規(guī)模數(shù)據(jù)備份領(lǐng)域數(shù)據(jù)分析、簡易容災(zāi)領(lǐng)域注：N為RAID組中磁盤個(gè)數(shù)，X為備份系統(tǒng)中全備份的個(gè)數(shù)，至少為1。

趙慶偉：北京國鐵華晨通信信息技術(shù)有限公司，工程師，北京，100070

魏 宏：北京國鐵華晨通信信息技術(shù)有限公司，工程師，北京，100070

李濤濤：北京國鐵華晨通信信息技術(shù)有限公司，助理工程師，北京，100070