Smart Cache技術在校園視頻監控系統中的應用

摘 要：隨著高校校園視頻監控系統的不斷發展，由于數據量的激增，動輒上TB的數據，甚至是幾百TB的數據，導致無論是網絡附加存儲（NAS）方式還是存儲區域網絡（SAN）方式，都存在索引時往往需要花上幾分鐘甚至于幾十分鐘的時延問題。應用Smart Cache技術于校園視頻監控系統可以極大的提高存儲系統輸出輸入（I/O）性能，較好地解決無論是視頻數據的存儲還是視頻圖像的調閱都會出現延時等系統的“瓶頸”問題，使校園監控存儲系統的應用效率得到顯著的提升和優化。

關鍵詞：視頻監控系統；存儲性能；Smart Cache技術

中圖分類號：TP277 文獻標識碼：A 文章編號：1674-7712 （2013） 18-0000-02

一、校園視頻監控存儲系統概述

隨著高校校園監控范圍的擴大、攝像頭數量不斷的增加、存儲周期的增長都對視頻監控存儲系統的容量、性能、穩定性等方面提出了更高的要求。大規模監控系統采用集中存儲模式，可以較好的解決存儲系統的大容量和擴展問題。但是隨著多核CPU技術的迅猛發展，其應用處理能力已經大大超過了硬盤的處理能力，前端應用系統與后端存儲系統的性能差距越來越大，應用系統的整體性能仍然偏低。導致無論是NAS方式還是SAN方式，由于數據量的激增，動輒上TB的數據，甚至是幾百TB的數據，在索引時往往需要花上幾分鐘甚至于幾十分鐘的時延問題。而固態硬盤的出現，不僅滿足了存儲系統對性能的需求，而且固態硬盤的容量遠大于DRAM，因此存儲系統或服務器支持SSD做Cache或分級存儲已經成為趨勢。

二、Smart Cache技術簡介

（一）Smart Cache工作原理

Smart Cache存在資源池，叫做Smart Cache池；客戶可以根據業務的需要，動態地向Smart Cache池中添加或移除SSD盤。值得注意的是，只有被添加到Smart Cache池的SSD盤，才能被用作熱點數據的緩存。Smart Cache對熱點數據性能的提升是以LUN為單位的。在建立Smart Cache池并對LUN開啟Smart Cache功能后，系統將建立LUN與Smart Cache池之間的映射關系，在確認了熱點數據后，系統開始進行后臺拷貝，將訪問頻率高的數據塊復制到Smart Cache池中（即SSD硬盤中），使得應用程序下一次訪問這些數據塊時，可以直接從SSD盤中讀取。在下一個統計周期中，系統會再次對這些數據塊的訪問頻率進行統計并排序，以更新排名表中的名次，這樣始終保證Smart Cache池中存放的是最熱點的數據，這便是Smart Cache提升讀性能的基本原理，如圖1所示。

圖1 Smart Cache工作原理

（二）Smart Cache的配置

陣列產品每控制器可配置1個Smart Cache池，在Smart Cache池中添加或刪除SSD盤片均可在線操作，不影響業務的正常運行。通常情況下，推薦配置4塊SSD，每塊SSD的容量為100GB，4塊SSD共可緩存約400GB的業務熱點數據，優化了存儲系統的性能。

（三）Smart Cache應用測試實例

1.業務模型

該實例的上層應用為Oracle數據庫查詢系統，Oracle數據庫屬于典型的OLTP應用，其基本特征是客戶的原始數據可以立即傳送到計算機中心進行處理，并在短時間內輸出處理結果，這類業務也稱為實時系統（Real time System）。

評估OLTP系統性能時的幾個重要性能指標是實時響應時間（Response Time）、每分鐘事務處理數（TPM，Transaction Per Minute）和每秒I/O數（IOPS，I/O Per Second）。

2.測試環境

本次測試使用的工具為Swingbench，基于TPC-C（TPC：Transact I On Processing Council，事務處理委員會；TPC-C：TPC Benchmark C，TPCOLTP模型）標準對OTLP業務場景模式進行性能測試，能夠方便的調整Swingbench配置文件中OLTP各項業務所在比例，使得模擬的業務場景中讀寫I/O比例大概維持在所需要的比例8：2，Swingbench的測試日志能以時間戳記錄測試過程中的各項性能指標，如TPM，Response Time等數據到日志文件中。

3.測試結果

穩定運行14小時后，測試結果如下圖2、圖3、圖4所示：

以圖2的IOPS測試結果為例：圖中的虛線為Smart Cache功能關閉與開啟的分界線。在Smart Cache功能未開啟時，IOPS值穩定在2000左右；在測試時間的第三個小時開啟Smart Cache功能，系統經過一段時間的熱點統計后，開始逐步將熱點數據遷移至Smart Cache池中，此時讀I＼O部分命中Smart Cache池，IOPS值呈上升狀態；當全部熱點數據均緩存至Smart Cache池后，讀I/O全部命中Smart Cache池，此時IOPS穩定在8000以上。

圖2 測試結果-IOPS

圖3的TPM測試結果顯示，在Smart Cache功能未開啟時，TPM值穩定在5000左右；開啟Smart Cache功能后，系統經過一段時間的熱點統計，性能逐步提升，當全部熱點數據均緩存至Smart Cache池后，讀I/O全部命中Smart Cache池，此時TPM穩定在25000以上。

圖3 測試結果-TPM

圖4的Response Time測試結果顯示，在Smart Cache功能未開啟時，響應時間為87ms左右；開啟Smart Cache功能后，系統經過一段時間的熱點統計，響應時間逐漸縮短，當全部熱點數據均緩存至Smart Cache池后，讀I/O全部命中Smart Cache池，此時響應時間為18ms左右。

圖4 測試結果-Response Time

從以上3項測試結果可以清晰的看出，在開啟Smart Cache功能后系統性能較原系統有了非常明顯的提升。現各截取原系統和開啟Smart Cache功能穩定后數據進行對比分析，各性能指標對比如下圖5、圖6、圖7所示：

各項性能指標對比圖中可以看出，開啟Smart Cache功能后IOPS和TPM（每分鐘事務處理數）均比原系統有非常明顯的提升，響應時間也較原系統降低很多。根據測試結果，計算具體數據及對系統性能提升情況的統計，如表1所示：

在本次測試的場景中開啟Smart Cache功能且穩定后，系統性能比原系統有了非常顯著的提升，IOPS為原系統的5.64倍，TPM為原系統的6.79倍，RT降低至為原系統的4.69倍，達到預期效果。

三、結束語

Smart Cache技術具有優化存儲系統性能的作用，主要體現在高效性、高可靠性、高擴展性3個方，其技術應用于校園視頻監控系統可以極大的提高存儲系統I/O性能，較好地解決無論是視頻數據的存儲還是視頻圖像的調閱都會出現延時等系統的“瓶頸”問題，使校園監控存儲系統得應用效率得到顯著的提升和優化。

參考文獻：

[1]陳海濤，盧宇彤，黃遵國.Smart Cache：基于興趣的協作式Web緩存[J].計算機科學，2008，35（12）：87-90.

[2]韓志剛，曾明，孔云峰.校園地理視頻監控Web GIS系統設計與實現[J].測繪科學，2012，1：1-5.