數(shù)據(jù)傳輸在異構(gòu)系統(tǒng)構(gòu)架中的研究

【摘要】 ? ?數(shù)據(jù)傳輸在異構(gòu)系統(tǒng)構(gòu)架中是一個(gè)瓶頸問題，類似在計(jì)算機(jī)系統(tǒng)中的內(nèi)存墻問題，此類問題的產(chǎn)生是因?yàn)椋嗄陙碛?jì)算機(jī)內(nèi)部存儲(chǔ)技術(shù)（主要是指內(nèi)存）一直跟不上處理器技術(shù)在延遲和功耗方面的進(jìn)步，此類問題也被稱為“內(nèi)存墻”（Memorywall）問題，體現(xiàn)近內(nèi)存計(jì)算思想的計(jì)算機(jī)系統(tǒng)的第一次出現(xiàn)可以追溯到20世紀(jì)90年代初，用于數(shù)據(jù)處理的原型機(jī)則由 Kozyrakis 等人提出，當(dāng)時(shí)被稱之為矢量 IRAM（VIRAM、）。研究人員開發(fā)了一個(gè)開發(fā)板上嵌入式DRAM（eDRAM）的矢量處理器，用來處理多媒體應(yīng)用中的數(shù)據(jù)并行性計(jì)算的部分。雖然取得了一定的成果，但這些近內(nèi)存系統(tǒng)并沒有真正滲透到市場(chǎng)，成果仍然有限。其中一個(gè)主要原因是技術(shù)限制，主要是因?yàn)橛捎谟?jì)算處理技術(shù)和內(nèi)存技術(shù)流程的差異，以及它們能夠在矢量處理器集成的芯片上內(nèi)存大小的限制。

【關(guān)鍵詞】 ? ?數(shù)據(jù)傳輸 ? ?程序 ? ?計(jì)算機(jī)加速器

經(jīng)過近20年的發(fā)展，近內(nèi)存計(jì)算系統(tǒng)的研究正在多個(gè)技術(shù)及社會(huì)需求背景下重新引起學(xué)界、廠商的關(guān)注。這種關(guān)注主要?dú)w因于以下三個(gè)原因。

1.新的內(nèi)存封裝技術(shù)的進(jìn)步，包含3D和2.5D等內(nèi)存堆疊技術(shù)的進(jìn)步，將一系列邏輯和內(nèi)存混合在同一包中，帶來了了全新的計(jì)算機(jī)存儲(chǔ)介質(zhì)。

自2011年以來，NVM技術(shù)一直非常活躍，其中NVMe協(xié)議從目前在單獨(dú)的協(xié)議規(guī)范中，出現(xiàn)了三個(gè)角度的演變。除了原有的基本NVMe規(guī)范之外，NVMe管理接口規(guī)范（NVMe-MI），該規(guī)范介紹了如何管理通信和設(shè)備（設(shè)備發(fā)現(xiàn)、監(jiān)視等）和NVMe通過結(jié)構(gòu)規(guī)范（NVMe-oF），該規(guī)范實(shí)現(xiàn)了通過網(wǎng)絡(luò)驅(qū)動(dòng)與非易失性存儲(chǔ)通信。隨著時(shí)間的推移，隨著更多不同行業(yè)的用戶開始采用NVMe，新用戶將描述他們對(duì)新功能的需求，并引入規(guī)范的新思路。NVMe協(xié)議的采用仍在增長，并且正在產(chǎn)生創(chuàng)新。硬件和軟件公司正在通過引入新的封裝外形、創(chuàng)造的新產(chǎn)品和電器結(jié)構(gòu)等來尋找新的方法來進(jìn)入傳統(tǒng)的內(nèi)存構(gòu)架及近內(nèi)存計(jì)算。可以預(yù)見NVMe生態(tài)系統(tǒng)的重點(diǎn)是為用戶提供擴(kuò)展到數(shù)據(jù)中心或超大規(guī)模基礎(chǔ)結(jié)構(gòu)中去。

2.將計(jì)算遷移到臨近到數(shù)據(jù)存儲(chǔ)的位置，可以繞過內(nèi)存包引腳計(jì)數(shù)限制，從而避免數(shù)據(jù)移動(dòng)導(dǎo)致的性能和能量瓶頸。

傳統(tǒng)的馮諾依曼體系結(jié)構(gòu)數(shù)據(jù)流向存在的問題是過分的以計(jì)算為中心導(dǎo)致的。性能、能耗，等問題一直困擾著這種二元結(jié)構(gòu)，因此新的方法將計(jì)算過程遷移到臨近到數(shù)據(jù)存儲(chǔ)的位置，也就是說在盡量靠近數(shù)據(jù)的地方來處理數(shù)據(jù)或者盡量減少數(shù)據(jù)的訪問來完成計(jì)算，從而繞過內(nèi)存包引腳計(jì)數(shù)限制，將處理推送到數(shù)據(jù)中間去或者推送到存儲(chǔ)中間去，從而提升性能降低能耗。

3.隨著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)及區(qū)塊鏈在經(jīng)濟(jì)活動(dòng)、社會(huì)活動(dòng)等領(lǐng)域中的應(yīng)用，現(xiàn)代數(shù)據(jù)密集型應(yīng)用的出現(xiàn)，需要更新的計(jì)算架構(gòu)。

研究提出了各種近內(nèi)存計(jì)算體系的設(shè)計(jì)，并證明了這些設(shè)計(jì)在提高許多應(yīng)用場(chǎng)景中的性能提升。在這些研究中，NMC已表現(xiàn)出諸如存內(nèi)計(jì)算（PIM，Processing-in-Memory，也被稱為in-memory computing）、近數(shù)據(jù)處理（NDP，Near data processing）、近內(nèi)存處理（NMP，Near memory processing）等概念。上述這些概念和計(jì)算思路都是為了平衡處理器和存儲(chǔ)之間實(shí)際上發(fā)展的是不平衡的現(xiàn)狀，其核心原則是將計(jì)算機(jī)處理數(shù)據(jù)的過程更接近內(nèi)存。這些技術(shù)研究進(jìn)一步打破了內(nèi)存的物理約束及日益限制了通用處理器性能改進(jìn)的潛力。這一趨勢(shì)在登納德縮放和摩爾定律的當(dāng)前放緩中已經(jīng)很明顯。

使用特定的應(yīng)用計(jì)算加速器來發(fā)展越來越具有廣泛的前景，以及更好的每瓦性能。與為應(yīng)用程序加速而建立的GPU相比，F(xiàn)PGA平臺(tái)可用的內(nèi)存帶寬發(fā)展迅猛，例如，Al在他們的調(diào)查論文中描述了未來利用FPGA加速內(nèi)存數(shù)據(jù)庫的方法。

典型的加速器近內(nèi)存計(jì)算體系結(jié)構(gòu)中，CPU、FPGA或ASIC用作與內(nèi)存本身分開的處理單元。主流采用近內(nèi)存計(jì)算的一個(gè)特別挑戰(zhàn)是從加速器對(duì)主機(jī)進(jìn)程的虛擬內(nèi)存進(jìn)行高效的緩存一致訪問。新興的互連標(biāo)準(zhǔn)，如CAPI/OpenCAPI 和CXL通過提供緩存一致性，促進(jìn)CPU和計(jì)算內(nèi)存之間的數(shù)據(jù)交換。

1.以傳統(tǒng)的GPU（圖形處理單元）作為加速單元的近內(nèi)存計(jì)算研究方面，以Cho等人提出了一種集成 GPU 的新 SSD 架構(gòu)XSD，XSD基于 MapReduce 框架提供的 API 集，允許用戶在應(yīng)用程序中調(diào)動(dòng)并行運(yùn)算，并利用嵌入式 GPU 提供的并行運(yùn)算算力。同時(shí)，為了更好的性能和利用率，該框架也優(yōu)化運(yùn)算策略，以克服 SSD 架構(gòu)中的缺點(diǎn)的影響。

Hsieh等人提出了通過透明的CPU運(yùn)算卸載和對(duì)應(yīng)GPU運(yùn)算映射的一種近內(nèi)存構(gòu)架，首先它根據(jù)自動(dòng)標(biāo)識(shí)代碼卸載CPU運(yùn)算到邏輯層的GPU。其次，通過軟硬協(xié)作機(jī)制，實(shí)現(xiàn)預(yù)測(cè)卸載代碼將訪問的內(nèi)存保留在內(nèi)存堆棧中，以最大限度地減少運(yùn)算帶寬消耗，從而實(shí)現(xiàn)近內(nèi)存計(jì)算。

2.通過CPU優(yōu)化/運(yùn)算構(gòu)架等實(shí)現(xiàn)對(duì)數(shù)據(jù)流控制也是近內(nèi)存計(jì)算的方向之一，在此方面學(xué)術(shù)上研究非常活躍。其中以Kang等人提出了通過隔離不同的近內(nèi)存計(jì)算設(shè)備內(nèi)的數(shù)據(jù)流來保證低能耗、高并行性、低主機(jī)內(nèi)存占用率和更好的近內(nèi)存計(jì)算性能。Seshadri等人]提出的允許程序員增強(qiáng)和擴(kuò)展 SSD 的Willow構(gòu)架，在其上運(yùn)行的 SSD 應(yīng)用程序?yàn)閼?yīng)用程序提供對(duì) SSD 內(nèi)容的低延遲、高帶寬訪問，同時(shí)減少 IO 處理在主機(jī)處理器上設(shè)置的負(fù)載。

3.在特定于應(yīng)用程序的加速器（Application specific accelerator 簡稱ACC）來實(shí)現(xiàn)近內(nèi)存計(jì)算方面，Ahn等人使用支持計(jì)算的內(nèi)存命令實(shí)現(xiàn)簡單的內(nèi)存計(jì)算，并使用專用指令來調(diào)用內(nèi)存中計(jì)算（圖3）。這些操作與現(xiàn)有編程模型、緩存一致性協(xié)議和虛擬內(nèi)存機(jī)制進(jìn)行互操作，無需修改。同時(shí)，該研究還引入了一個(gè)簡單的硬件結(jié)構(gòu)，用于監(jiān)視啟用 PIM 的指令在運(yùn)行時(shí)訪問的數(shù)據(jù)位置，以便當(dāng)指令判斷當(dāng)可以從在較大緩存中受益時(shí)，在主機(jī)處理器（而不是在內(nèi)存中）自適應(yīng)地執(zhí)行指令。Gu等人提出了Biscuit，一個(gè)新的近數(shù)據(jù)處理框架，專為現(xiàn)代固態(tài)驅(qū)動(dòng)器。t 允許程序員編寫數(shù)據(jù)密集型應(yīng)用程序，以分布式但無縫的方式在主機(jī)系統(tǒng)和存儲(chǔ)系統(tǒng)上運(yùn)行。為了提供高級(jí)編程模型，Biscuit運(yùn)算構(gòu)架，該構(gòu)架以數(shù)據(jù)流的概念為構(gòu)建，數(shù)據(jù)處理任務(wù)通過類型端口和數(shù)據(jù)排序端口進(jìn)行通信。Biscuit實(shí)際部署在后端，因此不區(qū)分在主機(jī)系統(tǒng)和存儲(chǔ)系統(tǒng)上運(yùn)行的任務(wù)，因此具有通用性等理想特征。

4.以FPGA為加速單元的近內(nèi)存計(jì)算研究，Jun等人提出了基于部署在FPGA上的持久性內(nèi)存實(shí)現(xiàn)近內(nèi)存計(jì)算的模型，Istv ?an等人提出了Caribou，一種基于TCP/IP的近內(nèi)存計(jì)算架構(gòu)。

參考文獻(xiàn)

[1] J. Ahn， S. Hong， S. Yoo， O. Mutlu， and K. Choi， “A Scalable Processing-in-Memory Accelerator for Parallel Graph Processing，” in 2015 ACM/IEEE 42nd Annual International Symposium on Computer Architecture （ISCA）， June 2015， pp. 105–117.

[2] P. C. Santos， G. F. Oliveira， D. G. Tom?e， M. A. Alves， E. C. Almeida， and L. Carro， “Operand Size Reconfiguration for Big Data Processing in Memory，” in Proceedings of the Conference on Design， Automation & Test in Europe. European Design and Automation Association， 2017， pp. 710–715.

趙曉菲（1987.10-），女，漢族，河北衡水人，研究生，高職教師，研究方向：內(nèi)存計(jì)算