NVMe over TCP：利用標(biāo)準(zhǔn)IP網(wǎng)絡(luò)增強(qiáng)SSD存儲

John Edwards 陳琳華

在存儲性能最大化方面，NVMe/TCP是SSD網(wǎng)絡(luò)的下一步發(fā)展方向。

在數(shù)據(jù)中心開始從機(jī)械硬盤向固態(tài)硬盤（SSD）轉(zhuǎn)換后不久，NVMe協(xié)議就開始支持高性能直接附加的PCIe SSD。緊隨NVMe之后的是NVMe over Fabrics（NVMe-oF），旨在高效地支持超大型遠(yuǎn)程SSD池，有效地取代直接附加存儲（DAS），進(jìn)而成為云基礎(chǔ)設(shè)施中分離式存儲的默認(rèn)協(xié)議。

最近推出的NVMe over TCP可提供更強(qiáng)大的NVMe-oF技術(shù)，能夠在降低部署成本和設(shè)計復(fù)雜度的同時提供更高的性能。本質(zhì)上，NVMe over TCP使用簡單高效的TCP/IP結(jié)構(gòu)將NVMe擴(kuò)展到了整個數(shù)據(jù)中心。

商業(yè)和技術(shù)咨詢公司Capgemini North America的IT主管Eric Killinger說：“能夠在高帶寬、低延遲的情況下進(jìn)行通信，在存儲陣列之間實(shí)現(xiàn)物理隔離，以及添加包含TCP協(xié)議的普通交換網(wǎng)絡(luò)進(jìn)行傳輸，無疑將改變游戲規(guī)則。超大型云服務(wù)提供商已經(jīng)采用這項(xiàng)技術(shù)以取代已有二三年歷史的SSD技術(shù)，從而為數(shù)據(jù)分析和物聯(lián)網(wǎng)提供了更大的查詢訪問能力。

背景：NVMe和NVMe-oF的出現(xiàn)

由NVMe SSD構(gòu)建的存儲陣列極大地提升了存儲速度，但是這些設(shè)備仍然通過基于SCSI的主機(jī)連接與服務(wù)器進(jìn)行通信。NVMe-oF的部署可以跨交換結(jié)構(gòu)支持基于NVMe的塊存儲設(shè)備遠(yuǎn)程直接內(nèi)存訪問（RDMA）。

技術(shù)研究公司IDC的基礎(chǔ)設(shè)施系統(tǒng)研究副總裁Eric Burgener說：“這是一種專門為固態(tài)存儲優(yōu)化的高性能存儲網(wǎng)絡(luò)協(xié)議，其提供了更低的延遲、更高的帶寬、并行性和更高的效率。”

NVMe-oF 適用于光纖通道（FC）、以太網(wǎng)和InfiniBand等不同類型的網(wǎng)絡(luò)傳輸。在以太網(wǎng)中，用戶還可以選擇RoCE（RDMA over Converged Ethernet）、iWARP以及TCP等不同的傳輸選項(xiàng)。

缺點(diǎn)是FC、InfiniBand、RoCE和iWARP選項(xiàng)都需要定制的主機(jī)總線適配器和驅(qū)動程序，這使得它們的部署和維護(hù)既困難又昂貴。Burgener說：“NVMe over TCP是一個真正的行業(yè)標(biāo)準(zhǔn)，可與幾乎所有的企業(yè)服務(wù)器上的標(biāo)準(zhǔn)聚合以太網(wǎng)適配器配合使用。”此外，大多數(shù)重要的Linux變體如今在其標(biāo)準(zhǔn)發(fā)行版中都含有NVMe-over-TCP驅(qū)動程序。

Burgener說：“作為一個已發(fā)布且被廣泛接受的標(biāo)準(zhǔn)，從長遠(yuǎn)來看，它們將主導(dǎo)NVMe-oF的部署。雖然部署成本也較低，不需要標(biāo)準(zhǔn)Linux或以太網(wǎng)適配器之外的升級計劃，但是它們的延遲比RoCE要高一些。迄今為止，RoCE是另一種被廣泛部署的以太網(wǎng)選項(xiàng)。”

RoCE和iWARP都支持RDMA，而FC和TCP則不支持RDMA。雖然支持RDMA可稍微降低延遲，但是所有這些方法都比基于普通SCSI的存儲網(wǎng)絡(luò)技術(shù)（如FC和iSCSI）提供了顯著的性能改進(jìn)。

NVMe/TCP的部署和應(yīng)用

用戶采用NVMe/TCP的一個主要原因是其提供一個低延遲的共享存儲解決方案。

Burgener說：“如果用戶有一個基于NVMe的全閃存陣列，但是該陣列仍然通過基于SCSI的存儲網(wǎng)絡(luò)連接到服務(wù)器上，那么用戶可能會遇到很多性能問題，并且固態(tài)存儲資源使用效率也不高。如果用戶希望讓所有的應(yīng)用程序都能夠享受到基于NVMe的全閃存陣列的性能，那么用戶這時需要用到NVMe-oF存儲網(wǎng)絡(luò)。”

對于大多數(shù)企業(yè)而言，最終的傳輸選擇將取決于已部署的技術(shù)或是規(guī)模與性能要求。

Burgener說：“FC是滿足后一種要求的最佳傳輸方式，但是隨著高帶寬以太網(wǎng)新版本的不斷推出，這種區(qū)別正在不斷縮小，因?yàn)橐蕴W(wǎng)可通過更高的帶寬處理更多的工作負(fù)載。一些對性能非常敏感的應(yīng)用程序使用FC作為NVMe-oF的傳輸層會更好，不過隨著時間的推移，這類應(yīng)用程序會越來越少。”

如果企業(yè)已經(jīng)有了FC網(wǎng)絡(luò)，那么在其上部署NVMe-oF就相對容易些，因?yàn)樵S多企業(yè)已經(jīng)在這樣做了。Burgener認(rèn)為，大多數(shù)新建企業(yè)還是會選擇部署以太網(wǎng)，而TCP最終將勝出。

Burgener說：“在應(yīng)用程序方面，我們將會看到NVMe over TCP被用于由人工智能/機(jī)器學(xué)習(xí)（AI/ML）驅(qū)動的大數(shù)據(jù)分析工作負(fù)載當(dāng)中，特別是在要求實(shí)時的情況下。另一個重要意義在于，環(huán)境已將大量工作負(fù)載整合到單個存儲陣列上，并且需要能夠在高工作負(fù)載密度下提供出色的性能。”

雖然AI/ML驅(qū)動的大數(shù)據(jù)分析應(yīng)用正在增長，但是該領(lǐng)域仍處于新興階段。更為直接的原因在于，NVMe/TCP在基于閃存的超大存儲部署環(huán)境中受到了越來越多的關(guān)注，尤其是在大量低延遲數(shù)據(jù)必須通過現(xiàn)有的高帶寬交換網(wǎng)絡(luò)被快速訪問的情況下。

Killinger說：“超大規(guī)模是這項(xiàng)技術(shù)的天然消費(fèi)者，因?yàn)樗鼈兛梢詫?shí)現(xiàn)閃電般的數(shù)據(jù)訪問，并允許數(shù)據(jù)分布在多個數(shù)據(jù)中心內(nèi)，同時它們還在電網(wǎng)、冷卻和本地化的高可用性體系結(jié)構(gòu)方面具有優(yōu)勢，不會帶來的額外成本。”

NVMe/TCP還可以允許用戶利用現(xiàn)有的交換網(wǎng)絡(luò)技術(shù)。這些技術(shù)已經(jīng)商品化并可從許多原始設(shè)備制造商處獲得。Killinger說：“與Infiniband或光纖通道相比，連接多個10G以太網(wǎng)端口的每個端口的成本使得利用NVMe的TCP堆棧成為可能。”

Burgener指出，許多高端存儲用戶已經(jīng)致力于FC存儲網(wǎng)絡(luò)，并且已經(jīng)或正在計劃升級到RoCE。不過，這種情況在未來幾年可能會發(fā)生變化。

Burgener認(rèn)為，隨著存儲基礎(chǔ)設(shè)施越來越多地轉(zhuǎn)向固態(tài)存儲，用戶也將越來越關(guān)心基礎(chǔ)設(shè)施的效率，NVMe over TCP將明顯優(yōu)于SCSI，而且成本低廉，易于部署。

NVMe-over-TCP的可用性

NVMe及其規(guī)范由NVM Express擁有和維護(hù)，NVM Express是一個由網(wǎng)絡(luò)、存儲和其他IT相關(guān)公司組成的聯(lián)盟。NVMe規(guī)范于2011年發(fā)布，其定義了主機(jī)軟件如何通過PCI-Express（PCIe）總線與非易失性內(nèi)存通信，目前已成為PCIe SSD的行業(yè)標(biāo)準(zhǔn)。NVMe/TCP于2018年獲得NVM Express的批準(zhǔn)。

從目前的情況來看，對NVMe/TCP的支持主要來自Mellanox Technologies等網(wǎng)絡(luò)供應(yīng)商，以及Lightbits Labs、Excellero、Pavilion Data和Infinidat等存儲初創(chuàng)公司。SSD芯片制造商Kioxia也支持NVMe over TCP。

NVMe/TCP可用性預(yù)計將在未來幾年快速增長。Burgener預(yù)測稱：“盡管大多數(shù)主要的企業(yè)級存儲供應(yīng)商還沒有動作，但是他們可能會在未來12～18個月內(nèi)推出相關(guān)的產(chǎn)品。”

雖然大規(guī)模的NVMe-over-TCP部署在短期內(nèi)是一個障礙，但是它們很可能轉(zhuǎn)化為一個長期的成功。

Killinger說：“大多數(shù)IT公司都在嘗試公有云服務(wù)，估計有超過90%的業(yè)務(wù)部門在使用一個或多個公有云。同時，IT更新率一直呈下降趨勢。對于用高端的NVMe技術(shù)更新老化的存儲基礎(chǔ)設(shè)施，許多公司沒有編列足夠的預(yù)算資金。盡管如此，一些公司開始嘗試用公有云服務(wù)提供商來替代自己的企業(yè)IT服務(wù)。這正是NVMe over TCP大顯身手的地方，其增長速度將是企業(yè)IT購買力的數(shù)倍。”

Burgener認(rèn)為，NVMe/TCP的未來前景光明，但是部署率可能要到2022年或2023年底才會真正開始上升。Killinger也樂觀地認(rèn)為，NVMe/TCP最終將成為主流技術(shù)。他說：“我沒有找到NVMe over TCP不會蓬勃發(fā)展的理由，甚至在未來幾年它們還會加速SSD的部署。”他預(yù)計，SSD存儲OEM廠商很快就會進(jìn)行大規(guī)模的市場推廣，并積極拓展其產(chǎn)品在NVMe over TCP上的性能。

本文作者John Edwards為資深商業(yè)技術(shù)記者，曾在《紐約時報》《華盛頓郵報》以及CIO、Computerworld、Network World、CFO Magazine、IBM Data Management Magazine、RFID Journal和Electronic Design等眾多商業(yè)和技術(shù)刊物上發(fā)表過文章。

原文網(wǎng)址

https：//www.networkworld.com/article/3609921/nvme-over-tcp-how-it-supercharges-ssd-storage-using-standard-ip-networks.html