自適應(yīng)計(jì)算加速提升核心基礎(chǔ)設(shè)施性能

常莽

AI無(wú)處不在、隨時(shí)在線和以數(shù)據(jù)為中心的時(shí)代，正催升對(duì)更高帶寬的需求，而這已經(jīng)超出了當(dāng)今技術(shù)和產(chǎn)品的能力范疇，世界需要一種當(dāng)前CPU和GPU技術(shù)所無(wú)法企及的更高效的、更普適的計(jì)算，自適應(yīng)計(jì)算應(yīng)運(yùn)而生。

AI無(wú)處不在、隨時(shí)在線和以數(shù)據(jù)為中心

金錢不算什么，數(shù)據(jù)才是推動(dòng)當(dāng)今世界運(yùn)轉(zhuǎn)的王者。從遠(yuǎn)程物聯(lián)網(wǎng)終端為城市規(guī)劃、健康跟蹤、環(huán)境保護(hù)和業(yè)務(wù)改進(jìn)等多樣化用途采集數(shù)據(jù)，到我們熱衷的視頻流內(nèi)容和在線分享生活，以及數(shù)據(jù)的遷移、管理和分析，正處于所有功能的核心，也促使消費(fèi)者更廣泛地使用隨時(shí)在線的個(gè)人物聯(lián)網(wǎng)設(shè)備，并讓企業(yè)和科研越來(lái)越依賴以AI為中心的應(yīng)用。

數(shù)字化的生活方式和新興的物聯(lián)網(wǎng)與云端計(jì)算及數(shù)據(jù)服務(wù)的快速增長(zhǎng)密不可分。云是全新的生活與工作方式的中心，它存儲(chǔ)著海量的內(nèi)容，供人們隨時(shí)隨地進(jìn)行訪問(wèn)；它托管點(diǎn)播音樂和視頻流服務(wù)；它采集和分析工業(yè)數(shù)據(jù)或企業(yè)數(shù)據(jù)；它將功能強(qiáng)大的軟件應(yīng)用以按次計(jì)費(fèi)的方式，低成本地提供給金融分析、數(shù)據(jù)庫(kù)搜索或基因組測(cè)序等工作使用。

此外，5G New Radio（NR）引入了對(duì)海量機(jī)器通信（MMTC）和超低時(shí)延通信（ULLC）的支持，能實(shí)現(xiàn)全新的實(shí)時(shí)蜂窩通信服務(wù)。而這將給回傳網(wǎng)、城域網(wǎng)以及核心網(wǎng)的容量和性能帶來(lái)巨大壓力。

核心基礎(chǔ)設(shè)施面臨越來(lái)越大的壓力

如今，提高數(shù)據(jù)帶寬和計(jì)算吞吐量是所有的云數(shù)據(jù)中心、電信網(wǎng)絡(luò)和蜂窩通信回程網(wǎng)共同面臨的強(qiáng)勁需求。涉及的主要基礎(chǔ)設(shè)施組成部分包括進(jìn)出數(shù)據(jù)中心的鏈路、連接地域分散型數(shù)據(jù)中心站點(diǎn)的數(shù)據(jù)中心互聯(lián)（DCI）、基礎(chǔ)設(shè)施接口卡和加速器卡。事實(shí)上，核心基礎(chǔ)設(shè)施對(duì)數(shù)據(jù)帶寬的需求名義上是以51 %的年均復(fù)合增長(zhǎng)率增長(zhǎng)，然而，單是5G的推出便可推動(dòng)區(qū)域流量容量需求增長(zhǎng)100倍。

利用協(xié)議處理芯片和接口芯片等分立組件打造新的、更高性能的設(shè)備來(lái)滿足這些需求，不僅復(fù)雜費(fèi)時(shí)，而且越來(lái)越難以按照性能需求進(jìn)行擴(kuò)展。此外，采用這種方式設(shè)計(jì)出的系統(tǒng)體積龐大、功耗驚人，無(wú)法滿足數(shù)據(jù)中心和基礎(chǔ)設(shè)施對(duì)空間占用、功耗和熱管理的限制性要求。新一代設(shè)備必須在現(xiàn)有的物理、電氣和熱約束條件范圍內(nèi)大幅提升性能。

此外，設(shè)計(jì)工作需要在最終規(guī)格商定之前采用最先進(jìn)的協(xié)議和標(biāo)準(zhǔn)，才能率先投放市場(chǎng)，盡早抓住機(jī)遇。對(duì)于想要率先將產(chǎn)品投放市場(chǎng)的設(shè)備提供商而言，等待標(biāo)準(zhǔn)成熟之后再部署肯定無(wú)法實(shí)現(xiàn)領(lǐng)先的預(yù)期，只有擁有隨著項(xiàng)目的進(jìn)展在硬件層面靈活地適應(yīng)變化的能力，才能與時(shí)俱進(jìn)領(lǐng)先同行。

具有突破性意義的可編程加速器

對(duì)于一些使用傳統(tǒng)CPU或GPU的架構(gòu)無(wú)法快速執(zhí)行或功耗約束得不到滿足的工作負(fù)載，高密度FPGA和異構(gòu)的可編程片上系統(tǒng)IC（MPSoC）等可編程邏輯器件已成為理所當(dāng)然的加速器選擇。這些器件不僅可以通過(guò)高度并行的處理模式以極為高效的方式解決特定計(jì)算難題（例如信號(hào)處理和近期的神經(jīng)網(wǎng)絡(luò)），還提供了可編程器件固有的靈活應(yīng)變能力。

現(xiàn)在，為了滿足日益嚴(yán)苛的性能、帶寬、功耗和集成目標(biāo)，被稱為自適應(yīng)計(jì)算加速平臺(tái)（ACAP）的新型可編程器件已經(jīng)問(wèn)世。賽靈思Versal ACAP內(nèi)置一系列智能AI和DSP計(jì)算引擎、等效于FPGA邏輯架構(gòu)的自適應(yīng)引擎，以及應(yīng)用處理和實(shí)時(shí)標(biāo)量引擎，并通過(guò)片上可編程網(wǎng)絡(luò)（NoC）互聯(lián)緊密耦合。它還集成了軟件控制平臺(tái)管理功能和眾多先進(jìn)的接口，包括DDR4、100G以太網(wǎng)、PCIe Gen 5和數(shù)千兆位光通信接口。

Versal DSP引擎采用經(jīng)過(guò)改進(jìn)的DSP塊，為INT8、32位浮點(diǎn)等操作數(shù)提供本機(jī)支持，從而提升了多種應(yīng)用的速度和效率，不僅包括數(shù)字信號(hào)處理，而且也包括寬動(dòng)態(tài)總線移位器、存儲(chǔ)器地址生成器、寬總線多路復(fù)用器以及存儲(chǔ)器映射I/O寄存器。標(biāo)量引擎由一個(gè)雙核Arm Cortex-A72應(yīng)用處理器和一個(gè)雙核Arm Cortex-R5F實(shí)時(shí)處理單元構(gòu)成。ACAP的異構(gòu)引擎能夠?qū)崿F(xiàn)重新編程，以適應(yīng)隨時(shí)間推移而變化的工作負(fù)載，或是隨著算法實(shí)現(xiàn)或神經(jīng)網(wǎng)絡(luò)模型演進(jìn)而變化的工作負(fù)載。

優(yōu)化ACAP連接性

依托于這種新型可編程器件助力實(shí)現(xiàn)的創(chuàng)新，Versal Premium系列現(xiàn)已能夠應(yīng)對(duì)當(dāng)今核心基礎(chǔ)設(shè)施面臨的壓力。這些高帶寬器件將高計(jì)算密度與附加的專用高速加密（HSC）引擎以及先進(jìn)的網(wǎng)絡(luò)接口相結(jié)合。

高密度網(wǎng)絡(luò)連接功能包括：提供總雙向帶寬高達(dá)9 Tb/s的可擴(kuò)展光纖收發(fā)器（支持最新的以太網(wǎng)和Interlaken速率與協(xié)議）、112 GB/s PAM4收發(fā)器、加密處理能力高達(dá)400 Gb/s的高速加密引擎，以及靈活應(yīng)變的硬件。

與現(xiàn)有的58 GB/s PAM4技術(shù)相比，在核心網(wǎng)、城域網(wǎng)和DCI基礎(chǔ)設(shè)施中采用112G PAM4收發(fā)器能夠使每端口帶寬密度翻倍，從而緩解前面板機(jī)柜空間的壓力，并為電信和數(shù)據(jù)中心應(yīng)用加倍提供單位體積帶寬。與此同時(shí)，給定的數(shù)據(jù)有效載荷的傳輸時(shí)延降低50 %，提高了應(yīng)用的響應(yīng)能力，有助于降低時(shí)延對(duì)地域分散型數(shù)據(jù)中心互聯(lián)的影響。

較之賽靈思16 nm Virtex UltraScale+ FPGA，片上集成資源提供了高達(dá)3倍的帶寬和2倍的計(jì)算密度。另一方面，與專用的特定應(yīng)用光傳輸網(wǎng)絡(luò)（OTN）處理器相比，應(yīng)用吞吐量提高了3～5倍。

提升計(jì)算密度

為了滿足超大規(guī)模云服務(wù)提供商的當(dāng)前及未來(lái)需求，Versal ACAP架構(gòu)將極高的片上存儲(chǔ)器帶寬與高性能異構(gòu)計(jì)算引擎緊密耦合，并通過(guò)動(dòng)態(tài)功能交換（DFX）實(shí)現(xiàn)靈活的工作負(fù)載配置。與之前的16 nm FPGA相比，DFX交換內(nèi)核的速度加快了8倍，支持加速器的動(dòng)態(tài)配置，從而最高效地將器件資源用于隨時(shí)間推移而變化的計(jì)算工作負(fù)載，如數(shù)據(jù)分析、機(jī)器學(xué)習(xí)視覺處理、基因組學(xué)、視頻轉(zhuǎn)碼和加密處理等。

憑借多種類型的分布式片上RAM，高達(dá)1 GB的緊密耦合存儲(chǔ)器可供使用，進(jìn)而提供了最高123 TByte/s的等效片上存儲(chǔ)器帶寬。該帶寬能實(shí)現(xiàn)各種處理引擎與存儲(chǔ)器之間的高速交互，其速度比如今最優(yōu)秀的GPU快9倍。此外，可編程N(yùn)oC互聯(lián)支持與片外DDR4存儲(chǔ)器進(jìn)行高速交互。

Versal Premium ACAP能夠滿足DCI設(shè)備的需求，兼容服務(wù)器側(cè)和傳輸側(cè)的多種光通信接口與協(xié)議，同時(shí)以安全、低成本的平臺(tái)靈活適應(yīng)新興的、且不斷演進(jìn)的標(biāo)準(zhǔn)。1RU系統(tǒng)或單卡就能提供3.2 TB/s的容量，支持多種多樣的標(biāo)準(zhǔn)化和新興協(xié)議以及光通信接口。憑借其先進(jìn)的連接和加密核心，單個(gè)Versal Premium ACAP器件就能為服務(wù)器側(cè)的光通信接口提供4×25G NRZ連接的多條100 G FlexE以太網(wǎng)通道、為線路側(cè)提供4×112 G PAM4連接的400 G以太網(wǎng)通道、線路速率為1.6 TB/s的AES256加密、控制和端口管理功能。

這些器件也非常適合用于高速客戶端接口卡，具體方式是利用Versal Premium ACAP將數(shù)據(jù)流量與服務(wù)橋接并封裝到行業(yè)標(biāo)準(zhǔn)的OTN封裝程序中。Versal Premium ACAP內(nèi)部集成通道化以太網(wǎng)、Interlaken、112 G和58 G PAM4 GTM收發(fā)器與32.75 G GTYP收發(fā)器，提供每秒多太位容量。這些資源以專用硬IP的形式集成，既能獲得ASIC級(jí)的功率效率，又能釋放ACAP邏輯架構(gòu)用于映射、開銷和SAR功能。

面向未來(lái)的AI加速

通過(guò)將異構(gòu)計(jì)算引擎與高存儲(chǔ)器帶寬相結(jié)合，Versal Premium ACAP在處理高難度工作負(fù)載（如使用神經(jīng)網(wǎng)絡(luò)開展圖像分類或?qū)ο髾z測(cè)）時(shí)，性能顯著優(yōu)于GPU。對(duì)比Versal Premium與領(lǐng)先GPU的性能，可以看到運(yùn)行在680×680 YOLOv2模型上的對(duì)象檢測(cè)速度在ACAP Premium器件上能提速高達(dá)7.7倍。

與FPGA和MPSoC架構(gòu)相比，ACAP另一個(gè)有助于簡(jiǎn)化加速器開發(fā)的引人矚目的特性是預(yù)先構(gòu)建的外殼程序，通過(guò)它能硬連接到片外接口，如以太網(wǎng)、PCIe Gen 5、DDR4和光通信接口。這種高效的云連接基礎(chǔ)設(shè)施提供了多重優(yōu)勢(shì)，包括允許在設(shè)備啟動(dòng)時(shí)進(jìn)行CPU主機(jī)和系統(tǒng)存儲(chǔ)器通信、簡(jiǎn)化內(nèi)核布局與時(shí)序收斂、簡(jiǎn)化加速器虛擬化。外殼程序便于設(shè)計(jì)人員將器件的內(nèi)部邏輯架構(gòu)更多地用于定制功能，否則就需要實(shí)現(xiàn)必要的基礎(chǔ)設(shè)施，如存儲(chǔ)器和DMA控制器。

外殼程序和角色架構(gòu)可以幫助設(shè)計(jì)人員快速高效地在Versal Premium ACAP中實(shí)現(xiàn)先進(jìn)的智能零售技術(shù)。ACAP器件支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的視頻內(nèi)容分析，有助于降低損失以及提供自動(dòng)、實(shí)時(shí)、可執(zhí)行的庫(kù)存洞察，并提供可促進(jìn)銷售最大化的客戶體驗(yàn)定制能力。借助Versal Premium ACAP能夠在單個(gè)平臺(tái)上托管視頻分析解決方案，用于視頻元數(shù)據(jù)的識(shí)別、提取和分類。

外殼程序提供了現(xiàn)成的連接與加密功能，而器件的DSP引擎和軟件可編程計(jì)算內(nèi)核則可處理對(duì)象檢測(cè)、圖像分類以及視頻編碼、解碼和縮放。而且能夠在緊鄰計(jì)算內(nèi)核的地方提供最大1 GB的片上SRAM，面向AI加速提供高達(dá)123 TB/s的存儲(chǔ)器帶寬。通過(guò)消除GPU架構(gòu)和基于GPU的架構(gòu)所特有的存儲(chǔ)器瓶頸與批次大小限制，分析加速器能夠?yàn)镽esnet50提供高達(dá)每秒13 000幅圖像的處理速度。

盡管消費(fèi)者和企業(yè)界越來(lái)越重視數(shù)據(jù)的價(jià)值，客戶也越來(lái)越依賴于即時(shí)服務(wù)交付，但復(fù)雜性、計(jì)算強(qiáng)度和帶寬耗用正成為瓶頸。ACAP將高效的分布式異構(gòu)計(jì)算引擎與高速互聯(lián)融為一體，以滿足飛速增長(zhǎng)的性能需求。通過(guò)綜合運(yùn)用硬IP、預(yù)先構(gòu)建的創(chuàng)新型連接外殼程序、可編程邏輯架構(gòu)和軟件可配置資源，ACAP器件不僅能夠助力提升性能，還能簡(jiǎn)化設(shè)計(jì)，同時(shí)提供面向未來(lái)的靈活性。