《面向EB級(jí)數(shù)據(jù)并發(fā)處理的新型系統(tǒng)結(jié)構(gòu)設(shè)計(jì)及評(píng)價(jià)方法》2013年度報(bào)告

徐志偉 陳明宇 詹劍鋒 熊勁 譚光明

摘 要：（1）高通量基準(zhǔn)測(cè)試和評(píng)價(jià)：該年度我們推出了ICBbench的兩個(gè)測(cè)試集合BigDataBench和DCBench。DCbench覆蓋數(shù)據(jù)中心主要領(lǐng)域應(yīng)用，包括分析，服務(wù)，虛擬化負(fù)載，主要是以整型操作和數(shù)據(jù)移動(dòng)操作主導(dǎo)的計(jì)算應(yīng)用。DCBench可用于評(píng)測(cè)數(shù)據(jù)中心服務(wù)器系統(tǒng)、體系結(jié)構(gòu)研究。BigDataBench反映了大數(shù)據(jù)應(yīng)用的3個(gè)基本方面，負(fù)載涵蓋了典型的Internet應(yīng)用場(chǎng)景和實(shí)際應(yīng)用的算法，軟件棧包括分布式計(jì)算框架、NOSQL數(shù)據(jù)庫(kù)和SQL數(shù)據(jù)庫(kù)，數(shù)據(jù)具有多樣性、真實(shí)性和可擴(kuò)展性。（2）高通量數(shù)據(jù)通道系統(tǒng)。該年度的主要工作是圍繞消息式內(nèi)存體系結(jié)構(gòu)的原型系統(tǒng)實(shí)現(xiàn)，以及基于單一接口的一體化存儲(chǔ)體系結(jié)構(gòu)的定義展開。我們基于FPGA設(shè)計(jì)了消息式內(nèi)存原型系統(tǒng)I，包括消息式內(nèi)存控制器、緩沖調(diào)度器和細(xì)粒度內(nèi)存模組3個(gè)部分。消息式內(nèi)存控制器實(shí)現(xiàn)了將內(nèi)存訪問(wèn)轉(zhuǎn)為消息包并通過(guò)高速串行通道發(fā)送請(qǐng)求。緩沖調(diào)度器完成了解包、緩沖管理、調(diào)度、智能操作等功能。細(xì)粒度內(nèi)存模組實(shí)現(xiàn)了多路16位寬細(xì)粒度內(nèi)存訪問(wèn)。目前該原型已通過(guò)測(cè)試，并與高通量處理器的FPGA原型系統(tǒng)進(jìn)行聯(lián)調(diào)。一體化存儲(chǔ)接口基于消息式內(nèi)存的接口，統(tǒng)一內(nèi)外存的數(shù)據(jù)訪問(wèn)和數(shù)據(jù)移動(dòng)和管理，可用將內(nèi)存、PCM、Flash和磁盤統(tǒng)一到一個(gè)框架下。該年度開發(fā)了時(shí)鐘精準(zhǔn)的異構(gòu)內(nèi)存模擬器HMSim，定義了一體化存儲(chǔ)的API接口。此外還研究了應(yīng)用透明的異構(gòu)內(nèi)存數(shù)據(jù)放置策略、能耗感知、針對(duì)PCM的寫請(qǐng)求優(yōu)化等問(wèn)題。HMTT3訪存分析系統(tǒng)本年度開始對(duì)外提供trace分析數(shù)據(jù)。我們?cè)贖PCA2013上進(jìn)行了發(fā)布，并公布了400 GB左右的trace供學(xué)術(shù)界應(yīng)用。（3）高通量應(yīng)用優(yōu)化。重點(diǎn)研究以圖分析和稀疏矩陣為代表的訪存不規(guī)則應(yīng)用的特征和并行實(shí)現(xiàn)。針對(duì)在大規(guī)模圖遍歷算法中的大規(guī)模細(xì)粒度鎖更新的效率問(wèn)題，提出了虛擬化細(xì)粒度鎖，有效降低了物理鎖的數(shù)量，從而在保證低的沖突率的同時(shí)，減少了cache miss，提高了應(yīng)用的性能。針對(duì)稀疏矩陣存在多種類型和特征，導(dǎo)致需要多種不同的優(yōu)化算法的問(wèn)題，我們提出并實(shí)現(xiàn)了稀疏矩陣向量乘法的輸入自適應(yīng)的自動(dòng)調(diào)優(yōu)器SMAT，可以感知體系結(jié)構(gòu)特征和應(yīng)用特征，自動(dòng)找到合適的算法和實(shí)現(xiàn)代碼。準(zhǔn)確率達(dá)到92%。

關(guān)鍵詞：高通量 基準(zhǔn)測(cè)試 消息式內(nèi)存 一體化存儲(chǔ)

Abstract：（1）ICTbench for HTC We have release three benchmarks for high throughput computing， BigDataBench， DCbench and CloudBench. DCBench covers main data center applications such as analytic， service， virtualization workloads. BigDataBench reflects three characteristics of bigdata application， ie. Workload，software stack and data varity. CloudBench can be used to evaluate hybrid workloads on private clouds.（2）Data path architecture for HTC We have design a hardware prototype for message interfaced memory system. The elementary results show its advantage. We design a universal storage system based on MIMS， which use a single interface to access memory， NVM and disk. We have finished the design and begun developing prototype.（3）Application optimization for HTC We propose a vLock mechanism to avoid massive lock contention in graph transversal algorithm. We designed and implemented an auto-tuning framework for sparse matrix-vector multiplication applications. The framework support matching architecture feature and best data structure to applications automatically by use machine learning methods.

Key Words：High throughput；Benchmark；Message interface based memory；Universal storage

閱讀全文鏈接（需實(shí)名注冊(cè)）：http：//www.nstrs.cn/xiangxiBG.aspx？id=50752&flag=1