互聯網時代運營商三大存儲場景技術選擇解析

廣東省電信規劃設計院|李雪永 汪夢云

互聯網時代運營商三大存儲場景技術選擇解析

廣東省電信規劃設計院|李雪永 汪夢云

爆炸式增長的數據對存儲容量、訪問性能和存儲成本等提出了前所未有的挑戰。不分應用場景，單維度地選擇存儲技術已經不能滿足當下龐大的數據存儲需求。如何選擇最合適的存儲技術實現存儲資源的最大利用？本文嘗試淺析一種新的選取方法，對不同應用場景中如何選取存儲技術提出建議。

面對爆炸式增長的數據存儲需求，本文針對不同應用場景下如何選取最適合的存儲技術提出分析方法，并選取其中部分應用場景，通過分析方法，試圖找到該場景下存儲技術的最優選擇。

運營商現有存儲系統存在惟高端論、惟容量論、惟價格論等問題，未綜合考慮業務場景、性能要求、成本等因素，盲目選購高端存儲，大材小用造成資源浪費。或者單純以容量為選型標準，忽視存儲技術的多樣性，加劇每TB成本的不合理構成。以廣東某運營商為例，FC SAN存儲總容量中高端SAN存儲容量占比高達94%。隨著ICT產業演進到以云計算、大數據、移動、社交媒體為依托的第三平臺，全球數據存儲量呈爆炸式增長。

據Gartner預測，到2020年，全球數據量將達到40ZB，年復合增長率超過50%。為適應上層應用的結構性變革，對應底層存儲也經歷了直連式存儲、傳統存儲、云存儲三個階段。爆炸式增長的數據對存儲容量、訪問性能和存儲成本等提出了前所未有的挑戰。不分應用場景，單維度地選擇存儲技術已經不能滿足當下龐大的數據存儲需求。如何選擇最合適的存儲技術實現存儲資源的最大利用？本文嘗試淺析一種新的選取方法，對不同應用場景中如何選取存儲技術提出建議。

分析方法與場景分類

對于不同場景的存儲技術選擇，可以按照指標選取、基準分析、場景選取及分類、指標排序、場景分析的流程進行，如下圖1所示。

應用場景按照存儲的數據類型可分成數據庫場景和文件及對象場景兩大類場景。具體場景分類詳見下表。本文僅選取其中的內存數據庫、普通文件讀寫及歷史文件、海量大文件三種場景進行分析方法的闡述。

存儲技術選擇分析

高性能內存數據庫

1、場景描述

主機在內存中運行內存數據庫，存儲的讀寫壓力來自內存數據庫的數據定期確認，數據容量小于100G。但要求在規定的時長（如5～10分鐘）完成，單庫帶寬要求為大于300MB/s，且系統要求日志實時落盤，因此延時小于5ms。內存數據庫使用塊存儲，且數據容量極小，通常小于100G。

2、指標選取

由于該場景IO塊屬于帶寬和時延敏感性的場景，可以減少考慮IOPS指標。

3、指標分析

內存庫使用塊存儲，因此可選的只有FC SAN、IP SAN和分布式塊存儲。從性能需求來看，只能選擇FC SAN才能穩定保持5ms以內，加上帶寬需求，可選只有部分高端存儲和閃存陣列。加之使用內存庫的場景均屬于核心系統，對于安全可靠性要求比較高。高端存儲和閃存技術成熟，在安全可靠性及管理便捷性均能滿足需求。

4、結論

由于內存庫的容量比較小，且性能要求高，因此非常合適全閃存陣列，如果使用高端FC陣列，保證性能可增加SSD。因此，內存數據庫場景推薦使用FC SAN組網，配置全閃存盤陣或混合盤陣，保證高帶寬和低延時性能，如圖2所示。

圖1 分析方法流程圖

普通文件讀寫及歷史數據

1、場景描述

該場景屬于性能要求不高，IOPS級別為幾萬、低時延小于20ms、數據量適中，為幾十TB或幾百TB。

2、指標分析

該場景屬于文件存儲，容量適中，因此可選的是NAS、FC SAN（配合文件系統存放數據）、分布式文件存儲和對象存儲。

3、場景分析

NAS、FC SAN（配合文件系統存放數據）、分布式文件存儲和對象存儲的性能、容量及擴展性、安全可靠性和管理便捷性均可滿足需求。由于該場景性能要求不高，一般存儲方案均能滿足，但考慮造價因素可以排除FC SAN。分布式文件存儲和對象存儲從性價比來說優于傳統NAS存儲，且更符合未來發展趨勢。

4、結論

普通文件場景推薦使用IP組網，配置分布式文件存儲和對象存儲，減少傳統NAS的使用，嚴禁采用FC SAN存儲普通文件或歷史數據，如圖3所示。

海量大文件

1、場景描述

該場景一般為視頻的采集、處理、共享、分析等或高品質音樂文件。數據特征為順序讀、追加寫，數據量大（PB級），如互聯網電視視頻文件的存儲。

2、指標選取

IOPS對該場景的意義不大，因此性能指標僅考慮帶寬和延時。

圖2高性能內存數據庫

圖3 普通文件讀寫及歷史數據

圖4 海量大文件場景

3、指標分析

該場景屬于文件存儲，因此可選的是NAS、分布式文件存儲、對象存儲和共享式集群文件存儲（FC SAN+共享文件系統）。

4、結論

NAS、共享式集群文件存儲、分布式文件存儲和對象存儲的性能、容量及擴展性、安全可靠性和管理便捷性均可滿足需求。海量大文件通常要求低造價，分布式文件存儲和對象存儲從性價比來說優于傳統NAS存儲，且更符合未來發展趨勢。要求應用比較豐富或寫入后不再更改的場景宜采用對象存儲；如果大文件需要反復修改就不合適采用對象存儲。

海量大文件場景推薦使用IP組網，配置x86大容量存儲服務器節點，部署分布式文件系統、分布式對象系統，如圖4所示。面對爆炸式增長的數據存儲需求，本文選取幾個常用存儲場景，并針對目標場景需求按照指標模型分析，再與各種存儲技術（傳統存儲、云存儲）的典型指標逐一對比，試圖找到每種場景適用的存儲技術，并且在某運營商已經開始運用。

編輯｜王熙 wangxi@bjxintong.com.cn