面向監控系統的大數據云存儲系統的設計與實現

孫林林

摘要： 隨著海南自由貿易港的建立，洋浦港在“面向東南亞的航運樞紐港、石油化工、漿紙一體化和油氣儲備基地”的“一港三基地”的作用愈發重要，港區的發展，業務量的增加，急需部署一套視頻監控存儲系統。本文從項目背景、用戶需求進行分析，根據系統設計原則、建設內容，提出了規劃設計方案，完成了洋浦港區口岸服務中心的監控系統的優化。

Abstract： With the establishment of the free trade port in Hainan， the role of Yangpu Port in the "one port and three bases" for "shipping hubs， petrochemicals， pulp and paper integration， and oil and gas reserve bases for Southeast Asia" has become increasingly important. With the development of the port area and the increase of business volume， it is urgent to deploy a video surveillance storage system. This article analyzes the background of the project and the needs of the users. According to the system design principles and construction content， it proposes a planning and design plan and completes the monitoring system optimization of the port service center in Yangpu Port Area.

關鍵詞：監控系統；大數據云存儲；優化

Key words： monitoring system；big data cloud storage；optimization

中圖分類號：TN954 文獻標識碼：A 文章編號：1006-4311（2018）26-0215-03

1 項目概述

洋浦港區口岸服務中心已經分兩期建設了視頻存儲系統，已經實現了初步的視頻存儲統一管理。為了能夠承載新增的高清視頻錄像存儲業務與視頻智能應用業務，需部署一套視頻監控存儲系統，并且新增的存儲系統需要能夠整合現有的存儲系統，實現舊設備的再次利用以及存儲資源的池化，統一管理、統一規劃、統一分配和資源共享存儲資源，不僅簡化了應用緩解，也大大節約了用戶建設成本，同時提供更強的存儲和共享功能。為了實現視頻監控數據高效、穩定、快速的存取服務，并實現便捷、可靠的統一管理及運維，提高社會治安防控體系水平，加快新建擴建、視頻資源的共享和應用業務的整合。

2 用戶需求

2.1 可靠性需求 隨著容量和存儲設備的增加，視頻監控數據的來源越來越多樣化，需要保證海量監控數據存儲的安全性和可靠性是傳統視頻存儲面臨的巨大挑戰，在滿足數據可靠性的同時，還需要更高的硬盤利用率，避免犧牲大量的存儲空間（原始數據幾倍的存儲空間）來滿足數據可靠性要求。并要求存儲系統具備7×24小時的不間斷寫入的能力。在系統運行的過程中，運行壓力的持續或加大系統能夠通過集群技術、虛擬化技術動態自動調整業務壓力，將業務響應的壓力進行分散來減少單點壓力過大。

2.2 擴展性需求 能夠提供海量存儲和高速讀寫性能，以應對數十PB級的視頻存儲需求；能夠快速擴容，在動態調整具體監控區域的存儲資源時要求能夠做到良好的靈活性，不但能夠增加存儲資源的配給，也能夠減少存儲資源的配給工作，充分體現出良好的擴展性，并且擴容后性能隨容量同步提升，設備一旦融入云存儲系統后立即可用作為整體存儲資源的一部分進行調用，在擴展存儲設備時要求能夠支持對接標準第三方存儲設備；保證在線系統增加、減少設備時業務不中斷；存儲系統部署方便，無需復雜的配置，可快速支持業務運行。

2.3 可用性需求 提供海量存儲空間、提高I/O吞吐能力以及保障數據安全后，為了確保數據得到持續有效的保護并且隨時可用，存儲系統的運行維護至關重要，直接決定了業務系統的持續運行能力。良好的可用性，將復雜的應用、繁瑣的操作流程簡單化。提供相應的大容量存儲系統的集中化管理軟件，用戶在唯一的界面上就能夠準確并安全地進行配置、部署、監控整套存儲系統，簡化存儲系統的安裝、配置、監控、日常維護和故障處理，能夠為用戶對設備狀態、資源、報警、升級、擴展，維護方面提供便捷。

2.4 資源整合需求 新增存儲系統可整合原有的IP SAN存儲資源，實現舊有設備的再次利用以及存儲資源的池化，進而實現對存儲資源統一管理、統一規劃、統一分配和資源共享。整合后的云存儲資源需要具備云存儲高性能，跨節點冗余技術，橫向擴展能力，便捷維護等特性且流媒體服務器能正常訪問并進行數據讀寫磁盤空間，用戶無須關心空間是通過怎樣的方式提供的。

2.5 系統兼容性需求 由于存儲系統前端采用的視頻服務器/流媒體服務器等會存在多種可能的操作系統，也可能是不同服務器廠商的不同型號產品，因此存儲系統需要具有廣泛的操作系統兼容性和與不同型號主機的良好互操作性。不能出現對主流的服務器和操作系統的兼容性問題，因此存儲系統要能提供和支持標準的協議和接口等。此外，為了便于整體的運維系統平臺搭建，存儲系統需要按照國內外相關的技術標準與規范，提供標準的API 接口，以支持構建統一的視頻管理集成應用平臺。

2.6 大數據分析需求

①視頻存儲系統除了需要滿足基本的視頻采集、傳輸、存儲，回放等業務以外，還需要滿足智能分析、視頻轉碼、視頻摘要、全局檢索、視頻歸檔、時空重構等多種智能化的應用需求，存儲系統必須滿足 Paas 層大數據與云計算業務平臺核心性能需求。②視頻存儲系統需滿足兼容 Hadoop大數據處理標準接口與 Openstack 云計算接入標準，且能夠為其他業務應用提供不同性能資源池。③視頻存儲系統需提供海量大數據計算基礎資源池，為智能分析系統提供高性能，高可靠，統一標準接口的數據資源，保證視頻圖像資源的智能化運用。④隨著云計算發展，視頻存儲系統能夠靈活滿足不斷增長的存儲性能與計算性能的需求。結合上述需求，本次建設將采用云存儲擴容和優化管理。

3 系統設計原則

通過對用戶視頻監控存儲平臺的需求了解，結合存儲系統的應用特點，在建設過程中應當遵循如下原則：

3.1 安全可靠性原則 系統支持分布式架構；系統支持從硬件層面，數據層面到業務層面高可用，滿足可用性原則；系統支持存儲系統集群，滿足高可靠性需求；系統具備充分的數據冗余，數據容錯能力；系統具有專業的技術保障體系以及數據可靠性保證機制；系統在存儲節點損壞時（包括硬盤，機柜的故障），不會丟失數據；系統在發生數據損壞時，有數據自愈能力；對工作環境要求較低，環境適應能力強；確保系統具有高度的安全性，提供安全的登錄和訪問措施，防止系統被攻擊；異常掉電后不丟失數據，供電恢復后自動重新啟動并自動恢復正常連接；系統器件選擇要考慮能支持 7×24小時連續長時間大壓力下工作。

3.2 擴展性原則 系統易于擴展，支持 EB 級數據存儲；系統在容量擴展時，性能得到提升；系統選擇標準化的部件，利于靈活替換和容量擴展。

3.3 先進性原則 系統必須嚴格遵循國際標準、國家標準和國內通信行業的規范要求；需符合存儲技術以及 IT 行業的發展趨勢，所選用的產品型號已規模上量；所有的系統處于先進的技術水平，確保較長時間內技術上不落伍；系統的處理能力要達到業內領先，對于本次業務的使用要留有一定的余量，以滿足后續升級的需求。

3.4 開放性原則 系統必須支持國際上通用的標準網絡存儲協議、國際標準的應用開放協議；與主流服務器之間保持良好的兼容性；兼容各主流操作系統及應用程序；可以與第三方管理平臺集成，提供給客戶定制化的管理維護手段；滿足今后的發展，留有充分的擴充余地。

3.5 易維護性原則 系統支持簡體中文，通俗易懂，操作方便、簡單；系統具有充分的權限管理，日志管理、故障管理，并能夠實現故障自動報警；系統設備安裝使用簡單，無需專業人員維護；系統容量可按需要在線擴展，無需停止業務；系統功能擴充需要升級時，支持不中斷業務升級；支持圖形化界面管理方式。

4 建設內容

4.1 建設內容 ①新增5臺磁盤陣列和190塊硬盤，增加現有的存儲容量，保證擴容的存儲空間。②新增1臺40K 三項UPS主機和電池柜，以滿足現有機房斷電后的設備持續工作。③對原有的管理系統升級，升級為云存儲管理系統，以便用戶更好的服務和管理。④針對1、2期改造，及本期項目的3年運維服務，要求7*24技術支持，4 小時響應，8小時到場，24小時內解決問題。本項服務費為運維服務費，不包括設備損壞更換費用。

4.2 設計思想及目標 針對洋浦港區口岸服務中心監控的需求。本期數字監控系統增加云存儲 1 套、原有系統平臺的升級，用來擴大港區口岸監控范圍及視頻存儲。增加一臺40K UPS，以保障現有機房斷電后的持續工作。由于原有建設一期、二期的維保服務已經到期，所以在本次建設內容里增加了對原有一、二期建設的維保服務內容。本次方案，主要是針對視頻監控應用場景，根據用戶對容量和性能的需求，本次存儲系統配置5臺存儲節點，190 塊4TB SATA磁盤，并且NCS10000存儲系統通過分布式切片及負載均衡技術，充分利用硬件和網絡的性能，構造高效的數據通道，滿足用戶對存儲容量和性能的需求。通過多端口千兆網絡互連前端的應用節點和后端的集群存儲節點，可以保證存儲設備的性能輸出達到最大化。存儲節點一方面用來存放文件系統中所有的元數據信息，包括文件目錄樹組織、屬性維護、文件操作日志記錄、訪問控制信息、存儲位置等，管理整個系統的命名空間，對外提供單一的系統映像。另一方面用來存儲用戶的實體數據即視頻錄像數據等，當客戶端訪問系統時，首先訪問存儲節點中的元數據信息，獲取將要與之進行交互的存儲節點的信息，然后訪問這些節點來完成數據讀寫，用戶可以通過擴展存儲集群來獲得更多文件管理的能力以及更大的聚合帶寬與存儲容量，靈活、無縫、平滑的擴展方式讓用戶可以有效地控制成本。

5 視頻云存儲平臺規劃設計方案

為了解決傳統視頻監控系統面臨的數據量大、效率低、信息孤立、可靠性差、兼容性差等問題，為了滿足存儲管理海量視頻監控數據，保證數據安全的同時，進行簡易化合理的視頻監控數據的存儲管理以及提高存儲系統讀寫性能，提升視頻監控數據的處理效率，將存儲系統的價值發揮到最大。同有科技專門針對安防監控行業應用自主研發了一套NetStor NCS10000云存儲系統。NCS10000存儲系統為前端應用服務器端提供一個全局統一命名空間，方便用戶數據的統一管理，減少了人力管理和維護的成本，并且數據的全局共享可以加強各計算節點之間的寫作，提高了作業的運行效率。

作為海量存儲系統，NCS10000能夠組合上萬臺以上存儲節點，在線擴展至 EB 級別存儲容量，并可以同時管理上千億個文件，單個目錄可以滿足千萬級的文件數量的讀寫，NCS10000集群存儲系統通過多存儲節點集群技術和高效的海量文件檢索技術，在存儲上千億個文件的同時，能夠保持極高的文件檢索效率。NCS10000集群存儲系統通過多臺存儲設備，提供并行的數據存儲服務，在應用服務器端向存儲系統上寫文件時，文件將會根據一定大小進行分片，然后存放到多臺存儲設備上；在應用服務器端讀取文件時，則并發的從多個存儲設備上讀取數據，組合后供應用服務器端讀取，顯著提高存儲的讀寫性能。并且NCS1000O存儲系統支持動態的擴展容量，無需中斷應用的運行，而且隨著存儲設備和數據的增多，整套系統的性能也會呈現線性的增長，完全滿足用戶針對業務不斷發展所產生的容量和性能需求。

6 結語

本文首先分析了用戶需求，根據系統設計原則、建設內容，提出了基于NetStor NCS10000 云存儲系統的視頻云存儲平臺規劃設計方案，完成了洋浦港區口岸服務中心的監控系統的優化。

參考文獻：

[1]施朗，艾雄軍，馬方方.一種面向視頻監控的云存儲系統設計與實現[J].電子技術與軟件工程，2015（08）.

[2]趙鐵柱，鄧見光.面向大規模數據備份的云存儲網關研究[J].計算機光盤軟件與應用，2013（12）.

[3]于成龍，王梓涵.面向云存儲的非結構化數據存儲研究[J].計算機光盤軟件與應用，2014（19）.