冷存儲技術在鐵路視頻監控系統的應用研究

崔高峰，于格，尚云飛，石蕊

（1.中國鐵路沈陽局集團有限公司科學技術研究所，遼寧沈陽110013；2.中關村軌道交通視頻與安全產業技術聯盟，北京100142；3.北京浩瀚深度信息技術股份有限公司，北京100142）

0 引言

在鐵路大數據時代，隨著攝像頭部署數量和視頻質量不斷提高，以及公安部門對于鐵路視頻監控數據存儲時間延長至90d的要求，使視頻存儲的數據量激增。按照被訪問的頻率，數據分為“冷”“溫”“熱”三大類。在鐵路視頻監控系統實際應用中，通常7d以內的數據會被頻繁調用，被稱之為熱數據，1周以上及1個季度以上的一些數據訪問次數較少，都稱之為冷數據，這些數據占總體數據的80%以上（見圖1）。如果采用傳統的單一存儲策略進行存儲將會在功耗、空間及成本等方面面臨非常大的挑戰。如果將這些低價值密度的冷數據遷移到一個專門的低成本、低功耗、高密度的存儲層中進行存儲，將會大幅度降低總體擁有成本。

圖1 不同類別視頻監控數據占比情況

1 技術現狀

目前主流存儲方案有4種：離線類存儲、網絡云服務、IP-SAN及NAS傳統存儲、自建云存儲。

1.1 離線類存儲

主要采用磁帶庫、藍光光盤等，該方案雖然價格穩定、存放時間長、能耗較低，但因為數據查找耗時較長，因此并不適用鐵路視頻監控應用場景。

1.2 網絡云服務

主要包括 AmzonGlacier、GoogleCloudStorageNearline、MicrosoftAzure、阿里云、百度云等。AmzonGlacier、GoogleCloudStorageNearline、MicrosoftAzure 等 國 外大公司的云存儲服務經過公網傳輸，時延和帶寬都是瓶頸，對于國內企業幾乎不可用。國內阿里云等備份服務，只支持廠商自己數據的備份，不支持外部數據上傳和下載，很大程度上限制了使用場景。如果用戶數據比較敏感，或者帶寬要求較高，如網絡DPI數據、視頻監控數據、醫療數據等，基本不會考慮公有云，而會傾向于自建云。

1.3 IP-SAN、NAS傳統存儲

IP-SAN、NAS是目前很多系統已經使用的存儲方案，通常是分散部署在多個小規模存儲點，各自獨立不相關。其缺點是部署維護升級復雜、擴展性較差且受限、日常管理等成本比集中式存儲要高很多。而且，單點的傳統存儲方案很難擴容，目前行業中還沒有能夠支持PB級的系統。

1.4 自建云存儲

主要包括HDFS以及國內外各大廠商推出的私有云方案。以HDFS為例，屬于開源軟件，硬件采用通用服務器，相較于各存儲廠商的專用存儲設備，成本已降低很多。但由于系統中所有硬盤都處于工作狀態，即便沒有讀寫任務硬盤也要持續通電運轉。此外HDFS通常按照多副本形式保存數據以確保安全，存儲效率不高。

在此研究的冷儲存技術方案屬于自建云一類，相比上述幾種方案，其主要針對有海量低頻訪問的冷數據應用場景，可提供低成本、低功耗的近線存儲解決方案，將在鐵路視頻監控系統中具有良好的應用價值。

2 方案架構與技術優勢

2.1 研究目的

在滿足鐵路視頻監控系統使用要求的同時，將監控數據存儲時間由7d延長至90d，按照使用頻率的不同，以1周為時間分割點，1周以內的數據屬于熱數據，1周以外的數據屬于冷數據，通過將冷數據采用低成本存儲設備進行存儲管理，從而幫助用戶降低整體部署成本，節省運維成本，實現綠色節能降耗。

2.2 基本架構

針對大規模冷數據的應用場景，在鐵路視頻監控系統中應用冷存儲系統是一款可大規模橫向擴展的全分布式存儲方案，通過存儲系統軟件將專用硬件的本地存儲資源組織起來，構建全分布式存儲池，實現向上層應用提供對象和文件2種存儲服務，滿足結構化、非結構化和半結構化等多類型數據的存取對每秒讀寫次 數（Input/OutputOperationPerSecond，IOPS）、帶寬及海量擴展的需求，提供負載均衡及企業級數據動態分級等服務[1-3]。冷存儲系統架構見圖2。

圖2 冷儲存系統架構

2.3 技術優勢

2.3.1 計算與存儲分離的低功耗計算

（1）將計算和存儲進行分離，大負荷的運算都放在計算節點上，存儲節點上僅作少量的數據塊寫入、讀取。

（2）智能控制硬盤通斷電，僅點亮正在使用的數據所在的硬盤，系統功耗降低80%。

2.3.2 硬件加速的數據校驗與糾錯

計算節點發揮CPU硬件加速能力，快速計算糾刪碼[4]，糾刪碼可按照需求進行配置，通常用N+M來表示，也就是1份數據會被分成N+M塊，其中有N塊是真實數據，M塊是糾刪碼，當小于或等于M塊數據受損，數據依然能夠恢復。這樣既能保證高可靠性、提高存儲效率、降低成本，同時也能節約機房空間。

2.3.3 無感知的自動數據掃描和重構

（1）系統定時對全部硬盤數據進行1次掃描和監測，并上報掃描結果。

（2）自動檢測系統是否繁忙。在不影響系統正常數據業務的同時，自動定時執行重構過程，按照受損級別進行不同策略的重構，保證數據的完整性[5-6]。冷儲存系統掃描和重構過程見圖3。

圖3 冷儲存系統掃描和重構過程

2.3.4 分布式對等計算及失效備援

（1）采用多個冗余計算節點控制后面的存儲節點，一旦其中1個節點故障，其他的節點能夠快速接管其上的業務，保證業務的連續性[7]（見圖4）。

（2）計算節點通過自動檢測，均可對等調用存儲節點上的所有硬盤。

圖4 分布式系統失效備援

3 技術方案

冷存儲系統對外提供FUSE、NFS、CIFS/SMB等通用接口，與視頻監控平臺直接對接，根據新建和利舊2種工程需求，并結合鐵路實際的站點分布特點，共研究提出4種技術對接方案[8-10]。

3.1 方案1：獨立式冷存儲方案

針對新建站點，直接將冷存儲系統掛載到視頻監控平臺上使用，視頻流流向示意見圖5。

（1）寫入操作：網絡攝像機IPC通過視頻監控平臺的分轉發模塊向存儲模塊發送實時視頻流，然后再向冷存儲系統寫入數據，存儲空間按照90d設計，冷存儲會將最近7d的熱數據保存在冷存儲系統中的熱層中，剩余的83d均在冷存儲系統中的冷層（見圖6）。

（2）回放操作：搜索任意時間段錄像時，在客戶端會根據播放的時間給出提示信息，明確請求的是冷數據還是熱數據，然后冷存儲系統會按照存儲模塊的數據請求，將所需的錄像發送給客戶端，當播放熱數據時，數據在2s以內返回，客戶端不會有提示。當播放冷數據時，數據返回時間在30s以內，此時，客戶端會提示“正在回放冷數據，請等待…”（見圖7）。

圖5 視頻流流向示意圖（方案1）

圖6 冷儲存數據遷移模式（方案1）

圖7 冷、熱數據回放界面

3.2 方案2：順序共用存儲擴容方案

已建站點的存儲進行擴容時，因不同廠商的監控平臺對于同時掛載多個存儲系統的支持情況不同，采用順序共用存儲可減少二次開發工作量，快速對系統進行擴容。

具體方案是將既有存儲系統和冷存儲系統按照1個完整的存儲庫進行管理，視頻流流向示意見圖8。2個系統存儲的數據互不相關，既有系統存儲前7d的數據，冷存儲系統存儲后83d的數據，數據寫入到視頻監控平臺后，會在既有系統和冷存儲系統中進行順序寫入（見圖9），冷存儲系統會將數據按照冷、熱進行管理，保證后83d中前7d的數據能及時調用。

圖8 視頻流流向示意圖（方案2）

圖9 冷儲存數據遷移模式（方案2）

3.3 方案3：并行共用存儲擴容方案

對于順序共用存儲方案，既有存儲中的數據在1個存儲周期內，一直存儲的是開始7d的數據，從資源利用角度來說，此方案并沒有很好地利用既有存儲系統的性能優勢，而且這一部分數據的可靠性并沒有得到保證，并行共用存儲方案能很好地解決上述問題，在充分利用既有存儲性能優勢的同時，又能保障這一部分數據有足夠的可靠性。

具體方案為：數據寫入到視頻監控平臺時，會同時在既有存儲系統和冷存儲系統各存1份，視頻由同一監控平臺進行調用（見圖10）。既有存儲和冷儲存系統分別按照各自的存儲空間進行存儲和周期性的覆蓋存儲，冷儲存數據包含既有存儲數據（見圖11）。

圖10 視頻流流向示意圖（方案3）

圖11 冷儲存數據遷移模式（方案3、方案4）

3.4 方案4：集中云擴容方案

考慮到鐵路為點多線長的應用場景，對于單站點，其存儲擴容量并不是很大，為了能更好地體現冷存儲系統的方案優勢，在一定帶寬條件下，可將多個站點的擴容需求進行集中存儲。數據寫入到視頻監控平臺后，會在既有存儲系統和冷存儲系統中同時寫入，冷存儲數據通過視頻監控嵌入平臺寫入，視頻監控平臺和嵌入平臺之間通過SA互聯網關完成不同視頻平臺之間的互聯（見圖12）。

圖12 視頻流流向示意圖（方案4）

根據不同站點攝像頭路數以及存儲時間要求，在冷存儲系統中進行劃區，每個區里的數據與既有系統是同時存儲，只不過既有系統存儲時間短，冷存儲中劃分的區域存儲時間長。每個站點只能通過視頻嵌入平臺向冷存儲系統中寫入，不能直接調取，若調取需要在視頻監控嵌入平臺上調取，其數據遷移模式見圖11。

4 結束語

通過研究與試驗驗證，冷儲存技術符合Q/CR575—2017《鐵路視頻監控系統技術規范》，可實現以最優方式延長鐵路視頻監控系統視頻存儲時間[11]，降低基礎設施和系統運維的成本，并節省機房空間。

鐵路視頻監控系統作為一種直觀、實時、準確的維護管理應用系統，已在鐵路進行了全面部署應用，而視頻存儲系統作為最重要的組成部分，隨著數據量的不斷激增，其成本、運維功耗及機房空間都存在亟待解決的問題。采用冷儲存技術將會很好地解決上述問題，實現PB/EB級以上數據的高效存儲，節省采購和運維成本，并幫助數據中心實現綠色節能降耗。