基于城軌云的地鐵視頻存儲系統設計與應用

陳瑞軍,王曉東

(呼和浩特市城市軌道交通建設管理有限責任公司，內蒙古自治區 呼和浩特 010000)

0 引言

傳統的視頻存儲方案主要以IP-SAN、CVR等常規的網絡存儲方式為主，但隨著《中華人民共和國反恐怖主義法》的執行，地鐵視頻監控存儲90天已經成為強需求。常規存儲方案的缺點有：前端相機與后端存儲強關聯，存儲難以負載分擔，存儲設備工作強度不一；后端存儲只可采用“機頭+擴展柜”形式作縱向擴展，造成容量增大而性能下降的窘境；存儲設備相互獨立，設備管理需要逐一進行，存儲規模龐大造成運維壓力巨大；傳統的RAID5數據冗余方案只能提供硬盤級保護，會造成不可控的數據丟失風險。

基于云計算、大數據等發展而來的云存儲技術，在集群管理、容量擴展、統一運維、數據冗余等方面，相對常規存儲有了質的提升，能夠充分滿足線網級視頻存儲需求。呼和浩特市地鐵1號線、2號線在建設過程中，經過專家多輪論證和上線前的有效測試評估，最終確定視頻監控采用云存儲模式。

1 視頻存儲系統設計方案及優勢

在設計呼和浩特市地鐵1號線、2號線城軌云之初，針對視頻云存儲的設計方案就頗具爭議。經過專家多輪論證和上線前的有效測試評估，該市地鐵采用視頻云存儲的技術設計方案，即：前端攝像機產生的視頻流可直接存儲到視頻云存儲系統，不需要虛擬機參與封裝及轉發；同時，搭建統一的視頻平臺，通過云中心統一實現云存儲管理、錄像調取等應用功能。

云存儲相對常規存儲的優勢如圖1所示。

圖1 云存儲相對常規存儲的優勢

1.1 視頻云存儲系統

視頻云存儲系統是針對安防視頻監控場景定制開發的一種專用云存儲系統，天然適配視頻、圖片類等非結構化數據，通過獨特的流式數據結構設計，在存儲效率和性能上遠超文件云存儲系統。視頻云存儲系統采用視頻流直存模式，前端視頻流、圖片流在云存儲系統內直接存盤，無需任何協議轉換，符合GB/T 28181—2016要求。該系統在增強系統可靠性的同時，可大幅降低項目成本。視頻云存儲[1-5]系統依據非結構化數據存儲特點進行設計，無需邏輯卷，因此在虛擬化空間上沒有任何限制，可平滑擴展容量。

視頻云存儲系統針對安防業務定制開發，在滿足傳統視頻業務的同時，也可滿足公安新業務的應用要求。高并發低延時的即存即取，結合定向小I/O圖片優化應用，適應公安部門中長期建設需求。

1.2 與文件云存儲相比的優勢

文件云存儲系統采用數據中心通用集群網絡存儲設備(network attached storage,NAS)云存儲方式，系統邏輯架構采用虛擬機掛載卷。視頻云存儲先通過虛擬機進行封裝再轉發到云存儲，然后將封裝后的數據離散化，以文件帶的形式分布在各個卷內。

從存儲效率上講，傳統文件云存儲系統仍按結構化數據方式，對視頻、圖片等非結構化數據進行存儲，存儲效率難以滿足線網級海量前端存儲要求，且文件存儲模式極易產生文件碎片，長時間運行后存儲性能下降明顯。

從項目成本上講，文件云存儲系統需要增加大量流媒體服務器，以完成視頻流、圖片流向文件格式的轉換。因此，流媒體服務器極易成為系統瓶頸，會大幅提高項目成本。

從虛擬化能力上講，文件云存儲的虛擬化基礎依然難以擺脫邏輯卷的束縛，大容量邏輯卷穩定性存在一定的缺陷，嚴重情況下可能導致視頻數據丟失。

從安防行業的應用來看，文件云存儲無行業特色，對公安部門人臉識別等新業務的支撐力較弱，較多的中間環節致使系統反應遲鈍，無法實現人臉圖片的即存即取，不利于現有業務以及后續拓展應用的實現[6-7]。

綜上所述，視頻云存儲系統作為行業專屬定制化產品，相比文件云存儲系統優勢明顯。

2 視頻存儲系統云服務模式

呼和浩特市1號線、2號線城軌云是全國城市軌道交通系統中第一個全面上云的項目，其運用模式、運維方式都在摸索探討中創新。按照常規的建設方案，地鐵需要在控制中心或車輛段擴建機房，組建運維團隊，滿足視頻云存儲系統運行和維護要求。這種方案實施起來有一定的難度：云存儲設備對運行環境要求嚴格，現有機房難以滿足高規格的應用需求；視頻云存儲占用機房空間大，雖然當前建設僅以1號線、2號線為主，但是需要充分考慮后續線路擴容的要求，規劃較大的機房空間，勢必造成資源長期閑置；云存儲設備需要專業維護，現有運維團隊壓力較大。

考慮到上述因素，選擇了購買服務的建設模式。視頻云存儲設備由運營商負責采購、安裝、調試及運維。這種建設模式與呼和浩特市實際情況相匹配：從建設成本看，內蒙古自治區能源豐富，運營商作為用電大戶，電力使用成本更低，良好的機房網絡資源及環境能夠滿足云存儲嚴苛的使用要求；從擴容層面看，運營商機房可以滿足即用即擴的要求，接入后續線路毫無壓力；從運維層面看，運營商能夠提供專業的運維團隊，保證云存儲更加安全、穩定地運行。

視頻云存儲購買服務模式優勢如下。

①建設更加節約、高效。充分利用運營商高標準機房資源、網絡資源、供電資源，可滿足云存儲設備嚴苛的環境要求。

②擴容更加迅速、簡單。依托運營商機身充足的機柜空間，按需進行項目擴容，可適配任意時間、任意規模的擴容需求。

③運維更加便利、安全。有效利用運營商專業運維團隊，可保證云存儲系統的穩定、安全運行。

3 視頻存儲系統特點

3.1 設備級數據保護

呼和浩特市地鐵云存儲系統通過分布式糾刪碼(erasure code,EC)算法構建基礎的數據保障機制，提供N+M高可靠數據保障能力，目前可支持到N+4的高級別保障。在N+M數據保障機制設計中，一份數據被寫入時可按照一定大小劃分為N個數據塊，并以N個數據塊為基礎計算出M個校驗塊。以(N+M)個塊為一組基礎存儲單元，稱之為條帶。條帶中塊數據故障和缺失只要不超過M個，都可以依據算法將丟失的數據塊恢復出來，以此提供數據的可靠性保障。通過這種模式，視頻云存儲系統就可以實現設備級的數據保護。即使整機出現故障，也可以通過數據重構的方式實現數據的恢復，不會造成數據丟失。呼和浩特市地鐵架構如圖2所示。

圖2 呼和浩特市地鐵架構示意圖

3.2 存儲空間的高效管理

在存儲空間的管理方面，視頻云存儲系統將全域各存儲節點的資源進行虛擬化后，向用戶呈現一個持續的、超大規模的數據資源池，稱之為存儲資源池。存儲資源池的整合過程完全透明，由系統算法自行完成，將用戶從繁瑣的空間管理和配置中解脫出來，提高了管理效率。視頻云存儲系統支持存儲空間的動態擴大或縮小，可以平滑擴容接入后續線路，不會對現有業務造成任何影響。

3.3 直存技術

常規存儲方案在應用于視頻、圖片業務時，僅提供容量空間而無業務流程的優化功能，存儲路徑需經過多個設備環節而增加故障發生概率，導致成本整體上升。呼和浩特市地鐵云存儲系統將安防應用與存儲技術相結合，前端視頻和圖片數據可以直接寫入云存儲中的存儲節點，在縮短數據存儲路徑、提升數據存儲性能的同時，還節省了大量服務器投資。

3.4 兩級存儲

傳統地鐵項目中，存儲設備按照本地視頻本地存儲的模式來進行方案設計。雖然有部分項目采用設備間備份技術，但在異常情況下，數據不可查、不可用的問題仍然明顯。呼和浩特地鐵云存儲在國內首次采用站點7天短時存儲和中心90天全時存儲的雙錄模式，站點和中心視頻數據保持實時一致，即使在異常情況下也可正常進行數據訪問。在出現大面積磁盤損壞或者設備故障時，數據重構具備四級恢復模式，時刻保證業務應用無異常[8]。

4 結論

本文針對當前地鐵視頻系統中常用的IP-SAN、CVR等存儲方式存在的問題進行分析，創新性地設計了基于城軌云的視頻存儲方案。通過糾刪碼(EC)、資源虛擬化、直存技術、分級存儲等方式，有效地解決了傳統方案中視頻存儲負載難以分擔、容量難以擴展的難題。經過呼市地鐵1號線、2號線的應用實踐驗證，基于城軌云的地鐵視頻存儲系統運行穩定，有效保障了地鐵的正常運營，可為其他城市地鐵視頻系統建設提供參考。