面向NFVi時代存儲技術該何去何從

中國電信股份有限公司廣東研究院|吳家隱 李先緒 邱紅飛 黃春光 朱海云凱里學院大數據工程學院|莫秋燕

研究發現，采用帶有SSD（固態硬盤）緩存的磁盤陣列可以獲得更好的時延和IO性能，適用于NFV中以數據轉發為主、數據容量擴展需求不高的業務場景，如vCPE、vEPC、vBRAS、vIMS等。

NFVi（網絡功能虛擬化基礎設施）是承載VNF（網絡網元功能）的基礎，其核心在于利用標準化的虛擬化技術支持多租戶，從而為不同類型的虛擬網元按需提供資源支持。通過研究發現，采用帶有SSD（固態硬盤）緩存的磁盤陣列可以獲得更好的時延和IO性能，適用于NFV中以數據轉發為主、數據容量擴展需求不高的業務場景，如vCPE、vEPC、vBRAS、vIMS等?；贗P SAN的磁盤陣列兼容性、可維護性更高，可用于承載NFVi業務的整機框服務器。對于數據量較大、數據增長需求高的業務場景，采用Server SAN可以獲得更優的擴展性和成本。其中，對于性能要求不高，通用性需求更高的場景，Ceph非常適用。

磁盤陣列

磁盤陣列是由獨立磁盤組成的具有冗余特性的陣列，能夠提供一個獨立的大型存儲設備解決方案。磁盤陣列將多個物理磁盤合并成一個更大的虛擬設備，在提高硬盤容量的同時，還能夠充分提高硬盤的速度，使數據更加安全，更加易于磁盤的管理。SAN（存儲區域網絡）采用光纖通道技術，通過光纖通道交換機連接存儲陣列和服務器主機，建立專用于數據存儲的區域網絡。SAN經過十多年歷史的發展，已經相當成熟，成為業界的事實標準。SAN存儲采用的帶寬從100MB/s、200MB/s，發展到目前的1Gbit/s、2Gbit/s、8Gbit/s、10Gbit/s。

SA N結構

NFVi的磁盤陣列SAN結構主要包括FC SAN和IP SAN。FC SAN是磁盤陣列（RAID）通過FC通道協議與其他設備相連接。FC協議實際上解決了底層的傳輸協議，其高層協議仍然采用SCSI，數據處理是“塊級”（block level）。IP SAN利用了基于高速以太網協議（TCP/IP協議）的ISCSI（互聯網小型計算機口）技術，實現在IP網絡上運行SCSI協議，使其能夠在諸如高速千兆以太網上進行快速的數據存取備份操作。FC SAN和IP SAN的優劣勢對比如下。

1.成本方面，FC SAN需要專用的FC網卡、FC交換機等專用設備，購買成本較高；IP SAN成本較低，布置簡單，管理成本低，購買的網線和交換機都是用以太網，甚至可以利用現有網絡組建SAN。

2.傳輸距離方面，FC SAN受到光纖距離的限制，而IP SAN基于IP網絡的天生優勢使其沒有距離的限制，很容易實現異地存儲、遠程容災等穿越WAN才能實現的技術。

3.傳輸速度方面，FC SAN可以實現高性能數據存儲、帶寬利用率高、傳輸時延小、傳輸效率高，實際帶寬可達到理論帶寬的85%～90%。而IP SAN需要共享數據通道，傳輸時延較高，受網絡環境影響大，實際帶寬可達到理論帶寬的20%～30%。

4.安全性方面，FC SAN采用單獨的光纖通道獨立組網，安全性較高。IP SAN接入IP網絡，安全性相對較低。

5.兼容性方面，FC SAN雖然有相關標準的FC協議，但不同廠商的FC設備并不兼容。而IP SAN基于TCP/IP協議，兼容性較好。

基于上述對比，在性能、穩定性要求較高的企業應用如核心數據庫中，常采用FC SAN產品。而在性能要求不高，尤其是異地容災場景，則可以考慮采用IP SAN產品。對于采用整機柜服務器作為NFVi承載的場景，統一使用IP交換機進行業務和數據存儲交換則更加方便維護。

存儲 介質

隨著CPU和內存性能的發展，傳統機械硬盤（HDD）成為IT系統的主要瓶頸。SSD的出現使硬盤的IO性能提升了幾個數量級。SSD的應用使磁盤陣列有了進一步的發展。

1.傳統磁盤陣列：在傳統磁盤陣列中主要采用SAS盤作為高速存儲介質，磁盤陣列的IO性能主要依賴于SAS盤的數量、背板處理能力及緩存。大量SAS盤的并行讀寫可以提高磁盤陣列的速度。

2.混合陣列：SSD價格相對HDD較高，而采用SSD+HDD的混合陣列是一種折中的方案，可以在不需要大幅度提高成本的情況下，獲得比傳統磁盤陣列更優越的性能，同時滿足不斷增長的容量需求。根據SSD所起到的作用，混合陣列又可以分為自動分層和緩存加速兩種類型。

3.全閃存陣列：全閃存陣列中全部使用SSD作為存儲介質，適用于容量要求不高，且性能要求非常苛刻的應用。全閃存陣列根據陣列控制軟件可分為兩種，一種為AFA（All Flash Array，全閃存陣列），是在原有磁盤陣列的基礎上優化而成，例如禁止磁盤碎片整理等功能；另一種為SSA（Solid-State Array，固態陣列），則是完全根據SSD的特點重新撰寫而成。

Server SAN

Server SAN是由多個獨立服務器存儲組成的一個存儲資源池，有著良好的性價比和擴展性。傳統存儲網絡主要基于FC，傳輸帶寬和延遲遠遠優于千兆以太網，但隨著10Gbit/s、40Gbit/s以太網和Infiniband RDMA網絡技術的引入，存儲反而成了系統性能瓶頸。采用Server SAN可以實現計算和存儲網絡的統一，具有高IO性能、極低延時和高帶寬特性的SSD，使得Server SAN的性能媲美高端存儲。Server SAN存儲目前主要是互聯網公司研發使用，即Hyperscale Server SAN，現已逐漸進入通信行業的IT領域。

1.V SAN

VMware VSAN（Virtual SAN）是VMware公司基于VSphere開發的可擴展分布式存儲架構。VSAN在VSphere集群主機直連的SSD和HDD之上構建VSAN。這些存儲設備由VSAN進行統一控制和管理，使用閃存SSD加速，既能夠用普通機械硬盤提供大存儲空間，又能通過SSD獲得高性能，從而形成成本較低、性能出色的統一共享存儲層。

2.C eph

作為OpenStack社區呼聲最高的開源存儲方案，Ceph也成為最廣泛的全球開源軟件定義存儲項目。Ceph通過實現類 POSIX接口的對象存儲接口來構建底層通用的存儲系統，上層通過堆疊不同存儲標準(如POSIX，塊接口和 S3/Swift)來實現對象存儲、塊存儲和文件系統存儲等不同存儲場景的應用。這個方式也是Ceph統一存儲目標的技術基礎。Ceph先進的架構加上SSD固態盤，特別是高速PCIe SSD帶來的高性能，無疑將成為Ceph部署的典型場景。

NFV的主要目標是實現網絡設備的軟硬件分離，總體趨勢是底層硬件實現相對通用化?；贑eph開源分布式存儲的Server SAN技術得到各NFVi廠商的廣泛支持，且更加通用。而采用商用分布式存儲系統雖然能夠獲得更高的性能，但又會影響到底層硬件的通用性，受到廠商的掣肘。

3.其 他商用分布式存儲系統

主流商用分布式存儲系統包括EMC ScaleIO、華為FusionStorage、惠普StoreVirtual VSA、戴爾Fluid Cache等，這些主流商用分布式存儲系統宣稱可以獲得較Ceph更高的性能，且能提供較好的售后支持。

磁盤陣列與Server SAN的比較

在磁盤陣列與Server SAN引入SSD盤后，性能均獲得了較大提升。下面從4個方面比較磁盤和Server SAN兩者的特征。

可靠 性

可靠性是存儲首要解決的問題。傳統的磁盤陣列采用雙控制器、多路徑和磁盤冗余等方式，保證磁盤陣列不存在單點故障。磁盤陣列的磁盤冗余一般可采用Raid5、Raid10等方式，保證在有磁盤損壞的情況下，可以通過校驗數據和其他磁盤數據來恢復該磁盤的數據。而Server SAN通過軟件來保障可靠性，需要采用3副本保證在磁盤損壞的情況下不影響業務數據。磁盤陣列可以通過遠程鏡像等成熟的異地備份及雙活等技術，跨數據中心進行災備，優于Server SAN。此外，磁盤陣列在固件中針對SSD進行優化，SSD的壽命更長。而Server SAN缺乏相關的機制，長時間使用后可能影響固態盤使用壽命。

容量 及擴展性

由于SSD容量小，單盤價格貴，全閃存陣列容量較小。而采用Server SAN產品可以達到PB級的存儲空間，且隨著服務器的數量增長，其性能、容量可以線性增長，尤其適用數據量較大且不斷增長的應用場景。要達到PB級容量，需要使用昂貴的高端磁盤陣列，且只能購買該型號的磁盤柜，擴容成本高，周期較長。從容量和擴展性而言，從優到劣排序為Server SAN、高端磁盤陣列、中端磁盤陣列、全閃存陣列。因此，對于業務數據增長較快，容量要求較大的場景而言，Server SAN具有優勢。

性能

由于采用了專用的存儲硬件，并針對SSD進行優化設計，全閃存陣列性能遠高于其他類型的存儲。在大量使用SSD緩存的情況下，中端磁盤陣列性能得到大幅度提高。商用分布式存儲系統如EMC ScaleIO、華為FusionStorage性能表現接近使用SSD緩存的中端磁盤陣列。據公開的測試數據，商用Server SAN如FusionStorage的性能遠高于Ceph。此外，Ceph在不同的優化方式下性能表現差距較大。

成本

Server SAN在硬盤購置成本上高于磁盤陣列50%以上，在硬盤價格高漲的情況下，Server SAN的成本相對較高。磁盤陣列需要購置與原設備相匹配的控制柜、磁盤柜等專用設備，擴容成本高。而Server SAN可以使用通用的服務器，擴容成本低。因此，在存儲規模達到PB級以上，而且還在不斷增長的情況下，采用Server SAN成本更低。

運維 難度

磁盤陣列成熟穩定，其維護簡單，日常維護工作量小。Ceph是開源項目，其配置、性能調優復雜，運維人員需要處理系統的Bug，對技術能力要求高，且維護工作量大。商用的分布式存儲系統經過廠商打磨后，商業化程度較高，而且有廠商進行維保，其運維難度小于Ceph，但也大于磁盤陣列。

NFVi對存儲的需求

VNF率先實現的應用場景主要包括vBRAS、vCPE、vEPC、vIMS、vSR，未來可能的應用場景還包括vCDN等。根據數據類型的要求，主要分為以下三類。

1.無需存儲業務數據，如vCPE、vEPC、vBRAS、vIMS、vSR，涵蓋NFV的主要應用場景。這類場景的虛擬機主要起到數據處理和轉發等功能，數據不落盤，存儲空間的增長要求不高。使用SSD作為緩存的磁盤陣列即可滿足業務需求。這類可以采用傳統SAN存儲。

2.存儲結構化數據，如vEPC中的vHSS。主要存儲數據庫中的結構化數據，有一定的數據增長要求。這種場景采用磁盤陣列及Server SAN均可。

3.存儲非結構化數據，如vCDN。這類數據增長速度較快，對存儲空間的擴展性要求高。這種場景采用Server SAN具有成本、擴展性方面的優勢。

總體而言，對于NFVi而言，采用磁盤陣列可以獲得更好的時延性能。