支持RDMA的高速網(wǎng)絡(luò)對大數(shù)據(jù)與云計算平臺效率的影響

?

支持RDMA的高速網(wǎng)絡(luò)對大數(shù)據(jù)與云計算平臺效率的影響

劉通

（邁絡(luò)思中國分公司，北京 100080）

摘 要大數(shù)據(jù)逐漸成為電信業(yè)實現(xiàn)業(yè)務(wù)分析與創(chuàng)新無可替代的技術(shù)手段。云計算平臺在電信行業(yè)的實施也成為不可逆轉(zhuǎn)的事實。如何部署高效、高性價比的大數(shù)據(jù)與云計算平臺是行業(yè)用戶面臨的共同挑戰(zhàn)。本文中探討的支持RDMA技術(shù)的高性能網(wǎng)絡(luò)在性能、效率、易管理性、可擴展性等多維度為構(gòu)建高效大數(shù)據(jù)與云計算平臺提供關(guān)鍵技術(shù)支撐。

關(guān)鍵詞RDMA；InfiniBand；軟件定義；Hadoop；VXLAN

移動互聯(lián)正在持續(xù)取代傳統(tǒng)通信模式，更多的數(shù)據(jù)流量通過日益增加的智能終端、移動設(shè)備在3G/4G網(wǎng)絡(luò)上快速產(chǎn)生，移動互聯(lián)甚至正在悄悄改變著運營商的業(yè)務(wù)收入格局。通過對用戶行為的準(zhǔn)確分析來快速決策出更具價值的移動業(yè)務(wù)是運營商亟需落實的變革。隨著大數(shù)據(jù)平臺在電信業(yè)從實驗階段走向?qū)嶋H應(yīng)用，大數(shù)據(jù)分析平臺的效率成為逐漸凸顯的新挑戰(zhàn)。

云計算平臺正在逐步取代傳統(tǒng)數(shù)據(jù)中心，為企業(yè)提供更靈活、更高投資回報率的IT系統(tǒng)。云計算平臺承載的應(yīng)用類型逐漸覆蓋整個數(shù)據(jù)中心的所有業(yè)務(wù)。應(yīng)用多樣化、用戶高密度、數(shù)據(jù)量不斷攀升等特點對云計算平臺提出更多的挑戰(zhàn)。

究竟什么樣的網(wǎng)絡(luò)是構(gòu)建高效大數(shù)據(jù)與云計算的基礎(chǔ)，需要從多個方面來考慮。下文將結(jié)合技術(shù)概念、實測結(jié)果、成功案例進行具體探討。

1　高性能網(wǎng)絡(luò)核心技術(shù)

1.1 高速網(wǎng)絡(luò)評價標(biāo)準(zhǔn)

談到網(wǎng)絡(luò)的性能，通常最直觀的技術(shù)參數(shù)就是網(wǎng)絡(luò)帶寬，網(wǎng)絡(luò)帶寬固然是性能核心指標(biāo)之一，但是數(shù)據(jù)中心往往關(guān)心的是應(yīng)用程序?qū)嶋H需要的帶寬，以及如何將網(wǎng)絡(luò)的理論帶寬充分發(fā)揮出來。所以一個真正的高性能網(wǎng)絡(luò)不應(yīng)該僅僅提供理論高帶寬值，更重要的是如何讓應(yīng)用程序能夠充分利用帶寬。評價網(wǎng)絡(luò)性能的另外一個重要指標(biāo)就是網(wǎng)絡(luò)延遲。這一指標(biāo)也是很多IT人員經(jīng)常忽略的。影響到數(shù)據(jù)分析時效性與云計算應(yīng)用響應(yīng)時間的關(guān)鍵技術(shù)就是網(wǎng)絡(luò)延遲。網(wǎng)絡(luò)有效帶寬與通信低延遲的實現(xiàn)離不開先進的網(wǎng)絡(luò)芯片及其對高效網(wǎng)絡(luò)協(xié)議的支持。

1.2 支持RDMA技術(shù)的高速網(wǎng)絡(luò)

處理高速增長的數(shù)據(jù)，提供實時數(shù)據(jù)分析，為云用戶提供高速平臺等都對網(wǎng)絡(luò)的有效帶寬與延遲提出前所未有的需求。如今數(shù)據(jù)中心中的吉比特以太網(wǎng)正在迅速被10吉比特、40吉比特以太網(wǎng)、InfiniBand網(wǎng)絡(luò)所取代。其中同為工業(yè)標(biāo)準(zhǔn)的InfiniBand網(wǎng)絡(luò)以最高帶寬(100 Gbit/s)與最低延遲(小于0.7μs)一直雄踞高速網(wǎng)絡(luò)榜首。10吉比特以太網(wǎng)以及40吉比特以太網(wǎng)雖然帶寬較10吉比特以太網(wǎng)有數(shù)倍提升，但網(wǎng)絡(luò)延遲卻不是很理想。

InfiniBand以獨特的性能優(yōu)勢被高性能計算領(lǐng)域廣泛采用。其中遠(yuǎn)端內(nèi)存直接訪問技術(shù)(RDMA)為InfiniBand帶來傳統(tǒng)TCP/IP完全無法實現(xiàn)的高速數(shù)據(jù)傳輸特性。通過硬件支持RDMA技術(shù)才能將應(yīng)用程序在網(wǎng)絡(luò)上的性能瓶頸真正消除。TCP/IP由網(wǎng)絡(luò)層的IP協(xié)議和傳輸層的TCP協(xié)議組成。協(xié)議采用了4層的層級結(jié)構(gòu)（網(wǎng)絡(luò)接口層、網(wǎng)絡(luò)層、傳輸層、應(yīng)用層），每一層都呼叫它的下一層所提供的協(xié)議來完成自己的需求。如圖1所示，應(yīng)用程序需要傳輸數(shù)據(jù)時，需要經(jīng)過多次緩存拷貝，同時需要內(nèi)核介入來完成協(xié)議處理。因此傳統(tǒng)的TCP/IP技術(shù)在處理數(shù)據(jù)傳輸?shù)倪^程中需要占用大量的服務(wù)器資源，以致于TCP傳輸效率低下。

RDMA操作使應(yīng)用可以從一個遠(yuǎn)程應(yīng)用的內(nèi)存中讀數(shù)據(jù)或向這個內(nèi)存寫數(shù)據(jù)。RDMA操作用于讀寫操作的遠(yuǎn)程虛擬內(nèi)存地址包含在RDMA消息中傳送，遠(yuǎn)程應(yīng)用程序要做的只是在其本地網(wǎng)卡中注冊相應(yīng)的內(nèi)存緩沖區(qū)。遠(yuǎn)程節(jié)點的CPU在整個RDMA操作中并不提供服務(wù)，因此沒有帶來任何負(fù)載。通過類型值（鍵值）的使用，一個應(yīng)用程序能夠在遠(yuǎn)程應(yīng)用程序?qū)λM行隨機訪問的情況下保護它的內(nèi)存。

高效的RDMA特性也是如今越來越多的企業(yè)應(yīng)用開始采用InfiniBand網(wǎng)絡(luò)的原因之一。Oracle、IBM DB2、Microsoft SQL Server、Hadoop、Teradata、SAP等都宣布成功支持InfiniBand RDMA技術(shù)。在移動運營商，也有眾多采用InfiniBand網(wǎng)絡(luò)的成功案例。

值得一提的是RDMA不再是InfiniBand獨享的技術(shù)，最新的以太網(wǎng)也開始紛紛設(shè)計支持RDMA通信技術(shù)。其中iWARP (Intel為代表)與RoCE (Mellanox為代表)是最為主流的以太網(wǎng)對RDMA技術(shù)的實現(xiàn)。iWARP是軟件模擬實現(xiàn)RDMA，而RoCE是類似于InfiniBand的硬件支持RDMA技術(shù)，其對網(wǎng)卡芯片處理能力有更高要求，也因此RoCE能夠提供更高性能。雖然兩種技術(shù)都尚未達(dá)到InfiniBand的性能，但支持RDMA的以太網(wǎng)的確為數(shù)據(jù)中心提供了傳統(tǒng)以太網(wǎng)無法想象的應(yīng)用性能。

2　電信大數(shù)據(jù)平臺面臨的效率挑戰(zhàn)

Hadoop依然是當(dāng)前電信大數(shù)據(jù)應(yīng)用平臺的主流，其高可擴展性的系統(tǒng)平臺由標(biāo)準(zhǔn)X86服務(wù)器組成。如今更快的CPU、SSD閃存、更快內(nèi)存使得每臺服務(wù)器的處理能力日益增強。加之?dāng)?shù)據(jù)量的爆炸性增長、決策層對數(shù)據(jù)時效性的要求，IT管理員自然而然的想到網(wǎng)絡(luò)應(yīng)該由吉比特以太網(wǎng)提升到10吉比特以太網(wǎng)，從而實現(xiàn)高效平衡系統(tǒng)。毋庸置疑這是網(wǎng)絡(luò)升級的關(guān)鍵起因之一。然而簡單從吉比特以太網(wǎng)升級到10吉比特以太網(wǎng)并不能完全解決大數(shù)據(jù)系統(tǒng)的效率問題。

圖1　TCP/IP 與RDMA的工作原理對比

升級網(wǎng)絡(luò)的最終目的是要對Hadoop軟件平臺性能提升發(fā)揮不可替代的作用。因此分析Hadoop應(yīng)用的網(wǎng)絡(luò)通信瓶頸至關(guān)重要。Hadoop模塊中設(shè)計密集通信的包括MapReduce以及HDFS。MapReduce中的Shuffle環(huán)節(jié)有大量數(shù)據(jù)交換在數(shù)據(jù)節(jié)點間產(chǎn)生 (如圖2所示)。

Hadoop的HDFS文件系統(tǒng)是所有上層應(yīng)用的基礎(chǔ)，所有數(shù)據(jù)除了本數(shù)據(jù)源之外還要通過網(wǎng)絡(luò)復(fù)制2個備份。因此數(shù)據(jù)寫的過程涉及大量網(wǎng)絡(luò)流量。當(dāng)然分析時的數(shù)據(jù)讀取也同樣涉及網(wǎng)絡(luò)流量。Hadoop數(shù)據(jù)分析需要頻繁數(shù)據(jù)讀寫，HDFS很容易成為性能瓶頸。

為了實現(xiàn)Hadoop性能突破，不能僅僅依靠吉比特以太網(wǎng)到10吉比特以太網(wǎng)的升級，應(yīng)該同時考慮在Hadoop軟件通信層面的革新。

RDMA技術(shù)已經(jīng)被Hadoop軟件用來降低網(wǎng)絡(luò)通信的消耗，其中MapReduce與HDFS都已經(jīng)有RDMA移植的開源軟件插件。只有支持RDMA的網(wǎng)絡(luò)才能發(fā)揮Hadoop通信層的移植帶來的好處，實現(xiàn)性能進一步提升。

測試數(shù)據(jù)顯示，支持RDMA技術(shù)的10吉比特以太網(wǎng)會為Hadoop性能帶來相對于不支持RDMA的10吉比特以太網(wǎng)性能的翻倍提升。

除了Hadoop平臺，傳統(tǒng)數(shù)據(jù)庫Oracle、內(nèi)存式數(shù)據(jù)庫SAP Hana、Spark(RDMA版開發(fā)中)、MPP數(shù)據(jù)庫等都可以受益于RDMA網(wǎng)絡(luò)。

3　高性能網(wǎng)絡(luò)對云計算平臺影響

電信行業(yè)的云平臺具有規(guī)模巨大、業(yè)務(wù)復(fù)雜的特點。開放高效的云平臺組成技術(shù)是未來電信云的發(fā)展趨勢。SDN無疑是重要因素之一。除了SDN，效率與可擴展性也是云計算環(huán)境越來越無法忽視的要素。云計算中的網(wǎng)絡(luò)效率離不開網(wǎng)絡(luò)虛擬化。高效網(wǎng)絡(luò)需具備高效網(wǎng)絡(luò)虛擬化技術(shù)。通過網(wǎng)卡芯片內(nèi)嵌交換機(eSwitch)與SR-IOV的支持，虛擬網(wǎng)卡的數(shù)據(jù)流可以繞開Hypervisor從而實現(xiàn)接近于物理網(wǎng)卡的網(wǎng)絡(luò)性能，同時大幅降低虛擬網(wǎng)絡(luò)對CPU資源的消耗。

在大型云計算環(huán)境中，覆蓋型網(wǎng)絡(luò)VXLAN/NVGRE也是必不可缺的技術(shù)，傳統(tǒng)VXLAN、NVGRE通過云管理軟件實現(xiàn)該項功能，網(wǎng)絡(luò)性能相較沒有使用VXLAN時會大幅下降，然而先進的網(wǎng)卡可以將VXLAN/NVGRE功能卸載到網(wǎng)卡硬件完成，實現(xiàn)CPU資源的釋放和網(wǎng)絡(luò)性能的優(yōu)化。如圖3所示，硬件實現(xiàn)VXLAN功能的Mellanox以太網(wǎng)網(wǎng)卡為虛擬機帶來的網(wǎng)絡(luò)帶寬是軟件VXLAN的5倍。如果不具備硬件VXLAN技術(shù)，同樣是10吉比特以太網(wǎng)或40吉比特以太網(wǎng)網(wǎng)卡，其有效網(wǎng)絡(luò)資源將無法得到實際應(yīng)用。

云計算環(huán)境中的云存儲同樣可以借助RDMA技術(shù)實現(xiàn)高速存儲。現(xiàn)在越來越多的文件系統(tǒng)與存儲開始支持RDMA。Ceph的RDMA版本在開發(fā)中，

圖2　Hadoop MapReduce數(shù)據(jù)交互

圖3　VXLAN 硬件卸載對網(wǎng)絡(luò)帶寬影響

Research on big data and cloud efficiency with high performance interconnect

LIU Tong

(Beijing Mellanox Technologies Co., Ltd., Beijing 100080, China)

Abstract Big data analytic is becoming the irreplaceable technology to perform business analysis and innovation in telecom. The trend of moving from traditional data center to cloud computing in telecom industry is also becoming irreversible. How to deploy effi cient big data and cloud platform with good price/performance is a big challenge. Research in this article will demonstrate RDMA enabled high performance interconnects brings high performance, effi ciency, manageability, scalability to build effi cient big data and cloud platform.

Keywords RDMA; Infi niBand; SDN; Hadoop; VXLAN GlusterFS、GPFS、Lustre都已支持RDMA。同時重點存儲廠商也有一系列存儲產(chǎn)品支持RDMA技術(shù)如EMC、Netapp、IBM、Seagate、華為、曙光、浪潮等。通過RDMA技術(shù)可以實現(xiàn)FC與TCP無法實現(xiàn)的存儲高吞吐量與高IOPs。

由于Mellanox網(wǎng)絡(luò)對SDN、SR-IOV、VXLAN卸載、RDMA，以及完整云平臺生態(tài)鏈的支持，大型云計算中心如微軟Azure、IBM Softlayer、Salesforce等通過Mellanox InfinniBad或以太網(wǎng)構(gòu)建最高性價比的云平臺。國內(nèi)也已經(jīng)有多家電信運營商采用Mellanox網(wǎng)絡(luò)構(gòu)建大數(shù)據(jù)與云計算平臺。

4　總結(jié)

網(wǎng)絡(luò)帶寬是網(wǎng)絡(luò)性能的重要指標(biāo)，但不能僅僅依靠帶寬來評定網(wǎng)絡(luò)性能的優(yōu)劣。如何將網(wǎng)絡(luò)性能高效性映射到應(yīng)用性能，需要網(wǎng)絡(luò)芯片具備更先進的技術(shù)如高效通信協(xié)議RDMA，更多硬件卸載功能如SR-IOV與VXLAN Offload從而實現(xiàn)CPU資源的釋放、系統(tǒng)高可擴展性，以及應(yīng)用性能最大化。

收稿日期：2015-01-06

文章編號1008-5599（2015）02-0074-04

文獻(xiàn)標(biāo)識碼A

中圖分類號TN915