云存儲技術在公安領域的應用

文/褚蘭超

云存儲技術在公安領域的應用

文/褚蘭超

云存儲是分布式存儲技術與虛擬化技術結合的產物，是分布式存儲技術的最新發展。本文解析了鎮江公安信息化建設面臨的挑戰，并介紹了云存儲的含義和架構，并且和傳統存儲的優缺點進行了對比分析。在視頻監控和執法記錄等業務中的應用，解決容量和性能擴展困難等問題。

分布式存儲 云儲存 SAN+共享軟件

某市道路監控系統已接入千余路視頻、日過車圖片量達200萬，該系統在視頻專網所記錄的視頻及圖片是基于傳統磁盤陣列進行存儲，隨著城市規模不斷擴大和新的安全管理需要，道路監控規模逐年增大，原有系統存在諸如容量和性能擴展困難等問題。同時，公安內網中執法記錄及審訊等需要大存儲空間的應用系統也均存在著存儲空間與性能不足，急需擴容的需求。

1 原系統存在問題

1.1 缺少存儲空間

視頻專網：道路新增擴容后每日過車量將增加到600萬。按照視頻保存1個月，圖片保存2年的要求，將現有所有點位接入后共需5000TB的存儲空間與54臺視頻接入服務器。而現有存儲空間僅928TB。

公安內網：僅現采集的警情執法記錄月增長量約為8TB左右，每年產生約100TB的執法記錄數據。

1.2 設備單點故障問題

原有數據接收服務器無高可用設計、存儲也是由單臺磁盤陣列提供，系統存在很大的設備故障風險：如果數據接收服務器故障將導致整個區域數據無法接收和保存下來，ISCSI磁盤陣列故障也將導致整個區域數據無法接收和保存下來。

1.3 存儲容量和性能擴展性問題

隨著使用量規模的擴大，原有傳統磁盤陣列的存儲模式在性能和容量方面很難有效擴容以適應規模的增長。在大規模視頻、圖像接入和用戶高并發訪問時，由于存儲系統的瓶頸而導致的讀寫性能問題日益突顯出來。

2 云存儲的架構設計

鑒于現有系統對存儲系統的需求，同時考慮到未來的項目建設方向。方案設計采用分布式云存儲系統，分別在視頻專網和公安內網部署云存儲。如圖1。

2.1 各模塊設計

2.1.1 性能設計

每一個過車記錄都會產生一張過車圖片數據，很快產生的碎小文件數可達百億級，方案采用全對稱分布式架構，無獨立元數據服務器設計，避免獨立元數據服務帶來的單點故障和性能瓶頸問題，即使大量數據存儲的情況下，仍能保持良好的存儲性能，確保在海量文件中能夠快速讀取需要的文件。

2.1.2 可靠性設計

系統提供M+N節點級冗余保護級別。云存儲系統內置完整的故障恢復流程，消除了單點故障。集群中的硬件故障和人為誤操作都會以正常的恢復流程進行自動處理，整個流程對用戶完全透明。高可用機制保證了該系統能夠7×24h不間斷的提供穩定的存儲服務。

2.1.3 遠程數據同步設計

云存儲系統內置全局文件系統，具備跨廣域網的卷同步功能。全局文件系統負責統一管理分布存儲在物理上完全獨立的各個數據中心中的所有數據，智能決策數據在各個數據中心的布局以及數據在數據中心之間的自動遷移，充分發揮由各個數據中心構成的整體平臺架構的服務能力。

全局文件系統的基本目標有兩個：

（1）為在分布式環境下的應用提供簡單的訪問環境，本套系統完全可以采用本地訪問的模式使得應用在分布式環境下高效運行。

（2）為高效的存儲提供智能化的存儲及管理支撐，通過全局文件系統的功能可實現跨地域的統一管理，滿足業務未來對存儲系統的要求。

2.1.4 擴展性設計

圖1：方案設計圖

圖2：整合后用戶應用的示意圖

存儲系統具有彈性能力，意味著可以根據業務需要靈活地增加或縮減數據存儲以及增刪存儲池中的資源。考慮到系統未來系統的擴容，服務器及存儲硬件擴容要求不受品牌鎖定和限制，連接存儲的服務器客戶端要求沒有數量限制。

2.1.5 整合利舊性設計

云存儲管理平臺采用掛載IP-SANFCSANNAS等其它存儲空間的方式，整合IPSANFC-SANNAS等原有存儲資源，實現舊有設備的再次利用以及存儲資源的池化，進而實現對存儲資源統一管理、統一規劃、統一分配和資源共享。云存儲整合磁盤陣列存儲示意圖如下：原陣列存儲的卷空間分別分配到云存儲的各個節點上，實現負載的均衡。

整合后用戶應用的示意圖如圖2。

3 和傳統存儲架構的對比分析

傳統存儲架構主要包括直連存儲(DAS)、存儲區域網絡(SAN)、網絡附加存儲(NAS)以及在他們基礎上衍生的一些新技術。存儲架構最根本的區別在于：存儲格式，如塊數據或文件；存儲與應用之間的控制流和數據流方式。存儲格式定義了訪問方式，以及訪問共享數據時的機制、同步和安全。控制/數據流方式則定義了為帶寬準備的并發機制。存儲架構不同最終決定了存儲系統的性能和擴展性。

3.1 SAN+共享軟件捆綁NAS功能

SAN+共享軟件的實現方式。該架構將集群分為計算節點和I/O節點。I/O節點作為一個整體通過IP網絡為所有計算節點提供數據存儲服務，I/O節點之間采用節點間共享的SAN存儲，因此需要配置SAN共享的軟件。

采用SAN+共享軟件的實現方式，雖然可以滿足聚合存儲帶寬的目的，但是不能滿足公安行業應用系統對高擴展性、高安全性的要求。

3.2 通用NAS解決方案

通用NAS存儲實現方式。該架構實現比較簡單，部署1臺或多臺NAS磁盤陣列，作為文件服務器，連接至LAN以太網，供前端服務器共享訪問。此方式雖然可以滿足管理簡便，易于使用的目的，但由于此架構的限制只能做到RAID級別冗余，不能滿足公安行業對高可靠性、高安全性、高性能的要求。因此，此種方案同樣也不適合本項目建設需要。

4 云存儲解決方案的價值

云存儲系統主要優勢是高速，即聚合所有硬盤及網絡帶寬，提供存儲服務。還有就是安全，可實現節點級安全；除此之外，結合項目情況與云存儲系統特點，本方案的價值如下：

4.1 海量文件高速讀寫檢索

云存儲系統可支持EB級存儲空間，高效的管理上百億個文件，單目錄可以高效支持千萬級的文件數量。

4.2 擴展性價值

采用基于橫向擴展機制設計的的分布式云存儲系統，可擴大容量；同時，存儲系統處理性能呈線性增長，也可實現在不影響前端業務應用的情況，進行無縫的擴容。

4.3 對整套方案架構的價值

實現存儲層數據同步，減少網絡中數據流占用的帶寬及應用主機過多的處理數據交換問題，有效地提高網絡及應用主機的使用效率，為緊急事件爭取了寶貴的時間。

4.4 長遠角度分析對老舊設備進行整合的價值

基于云存儲技術可實現對老舊設備的整合，保護原有投資，提高資源利用率。

5 結論

面對海量數據的增長，企業如何提供足夠的空間去存儲數據？對于資源有限的單位或企業來說，云存儲是一個很好的解決方案。云存儲是一個以數據存儲和管理為核心的云計算系統。云存儲系統將多種存儲設備、多應用、多服務協調工作，不同存儲設備之間通過集群技術、分布式文件系統等，實現多個存儲設備之間的協調工作，對外提供同一種數據訪問服務，并提供更大更好的海量數據訪問性能，提高數據的安全性，整合現有計算和存儲資源，降低數據的管理成本，滿足未來的彈性部署擴展。

作者單位 鎮江市公安局 江蘇省鎮江市 212000

褚蘭超（1980-），男，江蘇省鎮江市人。大學本科學歷。研究方向為計算機。