中興軟硬件加速技術(shù)優(yōu)化5G用戶面

褚兆象 杜鵬

3GPP R15中定義了5G應(yīng)用有三大場景：eMBB（enhanced Mobile Broadband 增強(qiáng)移動(dòng)寬帶）、URLLC（Ultra Reliable Low Latency Communications 極可靠低延遲通信）和mMTC（Massive Machine Type Communications 海量機(jī)器通信），其中eMBB場景提供大流量移動(dòng)寬帶業(yè)務(wù)，主要面向人網(wǎng)業(yè)務(wù)，如高速下載、高清視頻、VR/AR等，峰值速率超過10Gbps;URLLC場景提供超高可靠超低時(shí)延通信，如自動(dòng)駕駛和工業(yè)自動(dòng)化要求端到端99.999%高可靠和端到端小于1ms超低時(shí)延。

當(dāng)前虛擬化用戶面針對(duì)5G商用場景的不足

為滿足以上5G應(yīng)用場景大帶寬和低時(shí)延的特性要求，5G核心網(wǎng)的用戶面在部署時(shí)不僅要下沉到邊緣或區(qū)域數(shù)據(jù)中心以減少傳輸時(shí)延，而且還要大幅減少用戶面報(bào)文的轉(zhuǎn)發(fā)時(shí)延。但是5G核心網(wǎng)的設(shè)計(jì)都是基于NFV虛擬化架構(gòu)，硬件普遍采用x86通用服務(wù)器，而x86通用服務(wù)器的I/O性能如吞吐量、時(shí)延等遠(yuǎn)不如傳統(tǒng)的專用硬件 ，無法滿足5G 場景的商用部署要求。因此需要對(duì)虛擬化用戶面的I/O性能進(jìn)行優(yōu)化和加速，降低業(yè)務(wù)時(shí)延，提高系統(tǒng)帶寬，從而取得更好的業(yè)務(wù)適應(yīng)性。為了提供虛擬化用戶面的I/O性能，中興通訊在兩個(gè)方面進(jìn)行了優(yōu)化加速研究和應(yīng)用：一種是軟件加速，一種是硬件加速（主要是智能網(wǎng)卡加速），下面將分別進(jìn)行介紹。

虛擬化用戶面軟件加速技術(shù)研究與應(yīng)用

目前用戶面最常用的I/O虛擬化加速技術(shù)是SR-IOV（Single Root I/O Virtualization），但是采用SR-IOV技術(shù)只能使虛擬化用戶面的I/O性能接近基于裸金屬（Bare metal）的水平，很難再有突破。因此中興通訊在SR-IOV基礎(chǔ)之上對(duì)上層業(yè)務(wù)流的轉(zhuǎn)發(fā)流程進(jìn)行了改進(jìn)，引入了智能自學(xué)習(xí)功能，可以對(duì)業(yè)務(wù)流的規(guī)則進(jìn)行智能學(xué)習(xí)。對(duì)于絕大多數(shù)業(yè)務(wù)流，均可匹配到業(yè)務(wù)規(guī)則，且該規(guī)則可以根據(jù)后續(xù)業(yè)務(wù)流的改變而自動(dòng)修改適配，以應(yīng)對(duì)業(yè)務(wù)的變化。匹配到業(yè)務(wù)規(guī)則后，對(duì)業(yè)務(wù)流進(jìn)行矢量轉(zhuǎn)發(fā)，并將原先的單路流進(jìn)行擴(kuò)充，形成多路并發(fā)流，從而提升轉(zhuǎn)發(fā)效率和降低系統(tǒng)轉(zhuǎn)發(fā)瓶頸。

中興通訊虛擬化用戶面產(chǎn)品采用改進(jìn)的軟件加速技術(shù)與SR-IOV相結(jié)合，使得I/O性能有了很大提高，經(jīng)實(shí)驗(yàn)室測試單服務(wù)器的整體吞吐量比單純使用SR-IOV提升了一倍，達(dá)到60Gbps，幾乎達(dá)到了單服務(wù)器的性能極限。除了實(shí)驗(yàn)室測試，還在外場進(jìn)行了5G AR/VR業(yè)務(wù)的實(shí)景測試，在未開啟軟件加速之前，服務(wù)器在接近系統(tǒng)能力門限時(shí)，畫面開始有卡頓和馬賽克，15分鐘內(nèi)有三次卡頓。在開啟軟件加速后，速率大幅度提升，30分鐘內(nèi)無卡頓無馬賽克，同時(shí)畫面流暢度明顯提升，用戶的業(yè)務(wù)體驗(yàn)明顯提升。

用戶面硬件加速技術(shù)研究與應(yīng)用

目前單靠軟件加速技術(shù)還不足以滿足5G場景的商用要求，還需要引入硬件加速技術(shù)。對(duì)于5G用戶面的硬件加速，通常采用智能網(wǎng)卡（Smart NIC）進(jìn)行流量卸載，即把原先由CPU處理的數(shù)據(jù)報(bào)文卸載到智能網(wǎng)卡上進(jìn)行處理，大多數(shù)報(bào)文由智能網(wǎng)卡自行處理后直接轉(zhuǎn)發(fā)，只有少數(shù)報(bào)文（比如流初始報(bào)文，流匹配異常報(bào)文等）才需要通過CPU處理，這樣可以極大減少對(duì)CPU資源的占用，大幅提升性能并減少時(shí)延。智能網(wǎng)卡也有多種類型的：基于可編程陣門列FPGA的、基于網(wǎng)絡(luò)處理器NP的，以及基于專有器件ASIC的等，中興通訊5G用戶面產(chǎn)品采用的是目前成熟度和性價(jià)比最高的FPGA智能網(wǎng)卡方案。

FPGA智能網(wǎng)卡處理數(shù)據(jù)報(bào)文的流程：服務(wù)器的中央處理器CPU根據(jù)業(yè)務(wù)動(dòng)態(tài)務(wù)流信息創(chuàng)建業(yè)務(wù)流表下發(fā)到智能網(wǎng)卡，智能網(wǎng)卡根據(jù)CPU下發(fā)的業(yè)務(wù)流表進(jìn)行數(shù)據(jù)流的快速處理，并根據(jù)數(shù)據(jù)流進(jìn)行智能學(xué)習(xí)，與CPU協(xié)同進(jìn)行流表的實(shí)時(shí)同步。對(duì)于需要加速的數(shù)據(jù)流報(bào)文，無需上傳CPU，而在智能網(wǎng)卡本地即可處理轉(zhuǎn)發(fā)，實(shí)現(xiàn)數(shù)據(jù)報(bào)文硬件級(jí)處理和轉(zhuǎn)發(fā)，最大限度降低了業(yè)務(wù)報(bào)文的使用，并節(jié)省了大量CPU的處理資源和系統(tǒng)IO（輸入輸出）資源。

中興通訊智能網(wǎng)卡基于FPGA設(shè)計(jì)，硬件邏輯可以編程，擁有大容量的流表和AI智能算法，可智能識(shí)別需要加速的業(yè)務(wù)，如工業(yè)控制業(yè)務(wù)、車聯(lián)網(wǎng)等業(yè)務(wù)。另外，中興通訊智能網(wǎng)卡基于標(biāo)準(zhǔn)的ePCI（Enhanced Peripheral Component Interconnect）總線的接口設(shè)計(jì)，并在中興通訊開放性實(shí)驗(yàn)室（Open Lab）通過測試，兼容目前市場上主流通用服務(wù)器。在部署場景上，中興通訊智能網(wǎng)卡既可部署在中心數(shù)據(jù)機(jī)房（核心網(wǎng)），也可部署在邊緣計(jì)算節(jié)點(diǎn)MEC上，部署在邊緣節(jié)點(diǎn)上可以進(jìn)一步減少業(yè)務(wù)的轉(zhuǎn)發(fā)路徑，降低數(shù)據(jù)報(bào)文的時(shí)延。

由于在智能網(wǎng)卡上創(chuàng)建本地轉(zhuǎn)發(fā)流表，對(duì)時(shí)延敏感性的數(shù)據(jù)流量不通過CPU而直接在網(wǎng)卡上處理并轉(zhuǎn)出，從而大大降低了轉(zhuǎn)發(fā)時(shí)延，提升了轉(zhuǎn)發(fā)效率，并大幅度降低了CPU的負(fù)荷，平均報(bào)文時(shí)延從100us降低為10us，單服務(wù)器吞吐量從60Gbps提升至180Gbps。相比較軟加速方案，F(xiàn)PGA智能網(wǎng)卡加速方案的轉(zhuǎn)發(fā)時(shí)延降低了90%，吞吐量可以提高了200%，同時(shí)功耗可以減少55%，更好地滿足5G URLLC和eMBB對(duì)邊緣數(shù)據(jù)中心轉(zhuǎn)發(fā)能力的特殊要求。

實(shí)際混合業(yè)務(wù)場景測試：在服務(wù)器接近滿負(fù)荷的情況下，大量視頻背景流量中混合工業(yè)傳感控制業(yè)務(wù)流量，不啟用智能網(wǎng)卡加速時(shí)，由于流量轉(zhuǎn)發(fā)已經(jīng)到達(dá)服務(wù)器處理能力，數(shù)據(jù)包平均轉(zhuǎn)發(fā)時(shí)延高達(dá)260us，部分?jǐn)?shù)據(jù)包轉(zhuǎn)發(fā)時(shí)延超過500us，工業(yè)控制也與視頻業(yè)務(wù)無區(qū)別對(duì)待，二者報(bào)文時(shí)延一致;當(dāng)開啟智能網(wǎng)卡加速后，工業(yè)控制流量時(shí)延瞬時(shí)下降，轉(zhuǎn)發(fā)時(shí)延低于80us，降低了70%。

在2019年巴塞羅那世界通信展上，中興通訊推出了基于智能網(wǎng)卡加速的5G UPF（User Plane Function，5G用戶面網(wǎng)元）產(chǎn)品，并在現(xiàn)場進(jìn)行業(yè)務(wù)演示，采用第三方的儀表對(duì)5G UPF進(jìn)行實(shí)時(shí)測試，其高吞吐量、低時(shí)延等指標(biāo)數(shù)據(jù)獲得了業(yè)界的廣泛關(guān)注與認(rèn)可。

結(jié)論

中興通訊對(duì)兩種軟硬件加速技術(shù)的研究應(yīng)用，在5G用戶面優(yōu)化方面取得了良好的效果，大幅度提升了虛擬化用戶面的吞吐量和時(shí)延等I/O性能，使得虛擬化用戶面可以滿足5G的高帶寬低時(shí)延的要求，比如車聯(lián)網(wǎng)，AR/VR等業(yè)務(wù)場景，從而使5G網(wǎng)絡(luò)可以采用統(tǒng)一的虛擬化平臺(tái)，助力運(yùn)營商打造高帶寬低時(shí)延的綠色節(jié)能網(wǎng)絡(luò)。