云存儲系統在高速公路視頻監控中的應用探討

魏然+葉蕾

【摘要】 隨著監控視頻質量不斷提升，監控范圍不斷擴大，在滿足監控市場實時視頻顯示的需求同時，傳統集中式的視頻存儲，主要是文件式存儲系統，將面臨著諸多的技術挑戰。而網絡分布式云存儲系統，在網絡資源共享、分級分層存儲方面具有突出特點，在高速公路視頻監控等相關行業有著很好的應用前景。

【關鍵詞】 視頻存儲 文件式存儲系統 分布式云存儲系統

伴隨著安防監控技術的不斷進步，越來越多的現代監控技術應用到高速公路的監控系統中，視頻圖像高清、IP壓縮傳輸、智能分析與視頻管理融合、存儲云化等技術得到快速發展。

一、系統的特點

高速公路監控攝像頭除了在收費站、服務區部署外，還有相當一部分部署在高速公路沿線、隧道、互通橋梁、重點觀測區等不便維護的地方。因此，監控存儲模式大多采用便于擴展、長期維護成本低的集中式網絡視頻存儲方式，如采用IP-SAN或F-SAN等連接方式。該方式讓每臺監控服務器或工控機直接接入到SAN存儲網絡中，進行集中存儲。但是，這樣會隨著監控點位的不斷增加而造成線路廣泛并相對集中，音視頻數據量大并密度高、數據保存周期長及安全性要求較高。如果采用傳統的文件存儲方式，視頻文件數據量會呈幾何級增長，數GB大小的文件非常普遍，而且后續還要和報警聯動中心、應急指揮中心等其他業務的數據進行整合，采用管理數億個KB大小的小文件的方式是一種風險。

如今Linux 操作系統中標準的ext3/4等POSIX接口的文件系統，都位于內核中VFS的下一層，在內核層實現，這種普通文件系統由于考慮磁盤空間的利用率、功能復雜性以及接口標準等，無法滿足點數日益增多的監控系統存儲的要求。同時，音視頻數據在存儲時絕大部分文件的修改是采用在文件尾部追加數據，而不是覆蓋原有數據的方式，在實際運行中傳統的對文件的隨機寫入操作幾乎不會發生。當存儲完成后，對文件的操作只有讀操作，而且是按順序讀操作，予以回放。因此存儲系統在安全、先進、實用的原則下必須考慮存儲系統的擴展性、性價比、性能、管理性、穩定性的要求。

二、系統的應用

分布式文件系統起步于20世紀70年代，從早期的 NFS到現在的 StorageTank、Lust、PanF等，在體系結構、系統規模、性能、可擴展性、可用性等方面經歷了巨大的變化。

當前分布式文件系統有大容量、高性能、高可用性、可擴展性、可管理性等特點，但是，監控行業的存儲特性決定了其分布式文件系統和已有的分布式文件系統有一定區別，除了解決物理存儲資源多樣化、海量音視頻數據存儲問題、還要解決迅速檢索查詢的難題。因此，監控行業的分布式文件系統應是以音視頻幀、圖片為存儲和管理核心（單元）的、面向大規模數據密集型應用的、可伸縮的分布式文件系統。

基于視頻監控行業的分布式文件系統是以塊存儲為實現目標，直接在塊設備文件上構建而成。

三、進一步的擴展

分布式文件系統具有高擴展性、高性能、高可用性、可橫向擴展的彈性分布式文件系統，在架構設計上非常有特點，比如無元數據服務器設計、堆棧式架構等。然而，存儲應用問題是很復雜的，也不可能滿足所有的存儲需求，設計實現上也存在考慮不足之處。

1、無元數據服務器的設計導致數據一致問題更加復雜，文件目錄遍歷操作效率低下，缺乏全局監控管理功能。同時也導致客戶端承擔了更多的職能，比如文件定位、名字空間緩存、邏輯卷視圖維護等等，這些都增加了客戶端的負載，占用相當的CPU和內存。

采用的堆棧式設計具有很強的系統擴展能力，系統的設計復雜性降低很多，基本功能模塊的堆棧式組合就可以實現強大的功能。一層一層進行調用，效率可見一斑。而非堆棧式設計可看成類似Linux的單一內核設計，系統調用通過中斷實現，簡便高效。

2、使用原始格式存儲文件或數據分片，可以直接使用各種標準的工具進行訪問，數據互操作性好，遷移和數據管理非常方便。然而，數據安全成了問題，因為數據是以平常的方式保存的，接觸數據的人可以直接復制和查看。這對很多應用顯然是不能接受的，比如云存儲系統，用戶特別關心數據安全，這也是影響公有云存儲發展的一個重要原因。我們采用私有存儲格式可以保證數據的安全性，即使泄露也是不可知的。

3、采用彈性哈希算法和Stripe數據分布策略，移除了元數據依賴，優化了數據分布，提高數據訪問并行性，能夠大幅提高大文件存儲的性能。對于小文件，無元數據服務設計解決了元數據的問題。但是還需要在I/O方面作優化，目前在存儲服務器底層文件系統上仍然是大量小文件，本地文件系統元數據訪問是一個瓶頸，數據分布和并行性也無法充分發揮作用。因此，目前僅適合存儲大文件，小文件性能較差，還存在很大優化空間。

4、使用復制技術來提供數據高可用性，復制數量沒有限制，自動修復功能基于復制來實現。可用性與存儲利用率是一個矛盾體，可用性高存儲利用率就低，反之亦然。采用復制技術，存儲利用率為1/復制數，鏡像是50%，三路復制則只有33%。其實，可以有方法來同時提高可用性和存儲利用率，比如RAID5的利用率是（n-1）/n，RAID6是（n-2）/n，而糾錯碼技術可以提供更高的存儲利用率。但是，魚和熊掌不可得兼，它們都會對性能產生較大影響。

四、結束語

盡管分布式文件系統從整體設計上看，還存在著一些不足，但是不可否認，其線性橫向擴展能力具有天生的優勢，在大數據量的監控存儲系統中，尤其是對于云存儲系統，這是一個有著先天優勢的集群文件管理系統，符合監控存儲系統發展的未來。

參 考 文 獻

[1]鄧見光等，云存儲及其分布式文件系統研究，東莞理工學院學報.2012年05期

[2]何興高等，分布式個人文件系統的設計與實現，電子科技大學學報.2005年04期