面向云計(jì)算的企業(yè)級(jí)硬盤基準(zhǔn)測(cè)試

郭亮 中國(guó)信息通信研究院技術(shù)與標(biāo)準(zhǔn)研究所，云計(jì)算標(biāo)準(zhǔn)與測(cè)試驗(yàn)證北京市重點(diǎn)實(shí)驗(yàn)室高級(jí)工程師

網(wǎng)絡(luò)技術(shù)——云計(jì)算專題

面向云計(jì)算的企業(yè)級(jí)硬盤基準(zhǔn)測(cè)試

郭亮 中國(guó)信息通信研究院技術(shù)與標(biāo)準(zhǔn)研究所，云計(jì)算標(biāo)準(zhǔn)與測(cè)試驗(yàn)證北京市重點(diǎn)實(shí)驗(yàn)室高級(jí)工程師

近幾年，各類云服務(wù)發(fā)展非常迅猛，對(duì)底層重要部件企業(yè)級(jí)硬盤的需求量越來(lái)越大。為了上層云服務(wù)的穩(wěn)定運(yùn)行，非常有必要對(duì)企業(yè)級(jí)硬盤進(jìn)行全面的基準(zhǔn)測(cè)試。本文就企業(yè)級(jí)硬盤的市場(chǎng)規(guī)模、技術(shù)發(fā)展、云服務(wù)流量模型做了研究，并對(duì)企業(yè)級(jí)硬盤基準(zhǔn)測(cè)試提出了具體建議。

機(jī)械硬盤；固態(tài)硬盤；基準(zhǔn)測(cè)試

1 引言

近幾年，云計(jì)算、大數(shù)據(jù)蓬勃發(fā)展，其產(chǎn)生的數(shù)據(jù)量越來(lái)越多。研究顯示，2020年一年將會(huì)產(chǎn)生數(shù)十ZB的數(shù)據(jù)，僅存儲(chǔ)這些數(shù)據(jù)就需要數(shù)百億個(gè)1T硬盤。更多的數(shù)據(jù)需要存儲(chǔ)和處理，使存儲(chǔ)系統(tǒng)的重要性得到顯著提升。人們對(duì)存儲(chǔ)系統(tǒng)的關(guān)注度日益升溫，而對(duì)存儲(chǔ)系統(tǒng)的穩(wěn)定性、安全性和可靠性起到?jīng)Q定作用的企業(yè)級(jí)硬盤卻一直隱藏在人們的視線之外。

作為服務(wù)器中的重要部件，硬盤的各項(xiàng)功能和性能對(duì)于服務(wù)器的穩(wěn)定運(yùn)行以及業(yè)務(wù)的正常使用至關(guān)重要。固態(tài)硬盤在啟動(dòng)速度、讀寫速度、質(zhì)量、抗震上相比HDD傳統(tǒng)硬盤有著絕對(duì)的優(yōu)勢(shì)，而HDD發(fā)展至今，在價(jià)格、壽命和數(shù)據(jù)恢復(fù)方面的成績(jī)也是SSD無(wú)法取代的。這兩種硬盤技術(shù)在很長(zhǎng)時(shí)間內(nèi)會(huì)同時(shí)存在，各自也在不斷演進(jìn)當(dāng)中，如HDD領(lǐng)域出現(xiàn)了氦氣密封式硬盤、SSD的3Dnano技術(shù)等。使用合適的方法對(duì)硬盤進(jìn)行基準(zhǔn)測(cè)試以獲得性能、功能相關(guān)的準(zhǔn)確結(jié)果，給系統(tǒng)部署提供參考數(shù)據(jù)，是一個(gè)迫切需要深入研究的課題。

2 市場(chǎng)規(guī)模和技術(shù)趨勢(shì)

2.1 市場(chǎng)規(guī)模

近來(lái)各類云服務(wù)層出不窮，而且云服務(wù)也成為了各大互聯(lián)網(wǎng)公司的主戰(zhàn)場(chǎng)。承載云服務(wù)的各類IT基礎(chǔ)設(shè)施，包括服務(wù)器、存儲(chǔ)、交換機(jī)等，采購(gòu)量一直穩(wěn)中有增。

在收購(gòu)HGST之后，企業(yè)級(jí)硬盤市場(chǎng)由西數(shù)、希捷和東芝三分天下。但是近幾年隨著SSD技術(shù)的日漸成熟，三星、英特爾等SSD廠商逐漸嶄露頭角而且占據(jù)主動(dòng)。傳統(tǒng)的HDD廠商也在尋求不斷的并購(gòu)和研發(fā)，三大傳統(tǒng)HDD廠商也都有了自己的SSD產(chǎn)品，以求在這個(gè)新興的領(lǐng)域分得一杯羹。

根據(jù)Gartner的分析報(bào)告，關(guān)鍵任務(wù)的企業(yè)級(jí)HDD的復(fù)合年均增長(zhǎng)率（CAGR，Compound Annual Growth Rate）為7.6%；關(guān)鍵商務(wù)的企業(yè)級(jí)HDD的CAGR為12.1%。總體來(lái)說(shuō)，HDD保持了一個(gè)穩(wěn)定增長(zhǎng)的態(tài)勢(shì)。而服務(wù)器級(jí)的企業(yè)級(jí)SSD的CAGR為15.7%，存儲(chǔ)級(jí)的企業(yè)級(jí)SSD復(fù)合年均增長(zhǎng)率更是達(dá)到了驚人的31.5%，具體參見(jiàn)圖1。

從區(qū)域來(lái)看，根據(jù)Gartner的研究報(bào)告，由于美國(guó)擁有眾多的大型互聯(lián)網(wǎng)公司，其企業(yè)級(jí)SSD的采購(gòu)量占到了全球近一半的規(guī)模；亞太地區(qū)占全球的22%，中國(guó)占其中的44%；歐盟占全球的23%。企業(yè)級(jí)SSD的采購(gòu)量也在一定程度上反映了該地區(qū)的互聯(lián)網(wǎng)發(fā)展水平。在全球的SSD市場(chǎng)（包括企業(yè)級(jí)和PC級(jí)）中，Top3的企業(yè)三星、Intel和Sandisk（已被西數(shù)收購(gòu)）總共占到市場(chǎng)份額的60%以上，可見(jiàn)大公司的產(chǎn)品受到了市場(chǎng)的重點(diǎn)青睞。

圖1 企業(yè)級(jí)硬盤發(fā)展趨勢(shì)

總體而言，由于特點(diǎn)不同，企業(yè)級(jí)HDD和SSD將長(zhǎng)時(shí)間內(nèi)同時(shí)存在，而企業(yè)級(jí)SSD的總量將逐漸超過(guò)HDD，成為服務(wù)器和存儲(chǔ)的主要硬盤部件。

2.2 技術(shù)趨勢(shì)

技術(shù)是市場(chǎng)發(fā)展的基礎(chǔ)，企業(yè)級(jí)SSD的發(fā)展勢(shì)頭如此之猛，是跟其技術(shù)發(fā)展息息相關(guān)的。當(dāng)硬盤接口從SATA到SAS，再升級(jí)到PCIe之后，速率也從SATA3.0的6Gbit/s飆升到PCIe3.0x4的32Gbit/s。對(duì)SSD的應(yīng)用開(kāi)發(fā)在不斷地創(chuàng)新中，全閃陣列和PCIe陣列是目前比較新穎的產(chǎn)品。

SSD與HDD相比，最大的優(yōu)勢(shì)在于它的IOPS，也就是隨機(jī)讀寫的能力，相對(duì)于SATA接口HDD的數(shù)百量級(jí)，PCIe接口的SSD的IOPS可以提高數(shù)千倍；即使同為SATA接口的SSD，也比相同接口的HDD的IOPS要高上百倍。不過(guò)從單盤上升到陣列，并不只是用SSD替換HDD那么簡(jiǎn)單。磁盤陣列的基礎(chǔ)是磁盤，由于磁盤存在尋道時(shí)間開(kāi)銷，所以不太擅長(zhǎng)處理隨機(jī)I/O，所以磁盤陣列設(shè)計(jì)核心是盡可能處理連續(xù)I/O。與之不同的是，SSD的優(yōu)勢(shì)是延遲低，但不耐擦寫。為了物盡其用，全閃陣列的設(shè)計(jì)要盡量避免對(duì)SSD多次擦寫，而不是讓其處理連續(xù)數(shù)據(jù)的I/O請(qǐng)求。此外，還需要考慮快照、克隆、精簡(jiǎn)配置和重復(fù)數(shù)據(jù)刪除等功能的實(shí)現(xiàn)，雖然這些在磁盤陣列中已經(jīng)非常成熟，但同樣的設(shè)計(jì)并不一定完全適用于全閃架構(gòu)。

與通過(guò)RAID組成陣列不同，PCIe陣列直接使用SSD的PCIe接口連接PCIe交換機(jī)，形成一個(gè)類似網(wǎng)絡(luò)存儲(chǔ)的結(jié)構(gòu)。這樣的話，每個(gè)主機(jī)都能高速訪問(wèn)幾十上百個(gè)SSD，相比以太網(wǎng)或者Infiniband獲得了低延時(shí)和低成本的優(yōu)勢(shì)。目前，PCIe交換技術(shù)有非透明橋NTB（Non Transparent Bridge）、動(dòng)態(tài)分區(qū)（Dynamic Partitioning）、SR-IOV（Single Root I/O Virtualization）、多主機(jī)系統(tǒng)等多種方式，這些方式各自也在不斷地演進(jìn)當(dāng)中，尚未有定論。PCIe存儲(chǔ)網(wǎng)絡(luò)不需要昂貴的交換機(jī)和HBA，成本相對(duì)Infiniband要低，性能優(yōu)異且功耗低，不過(guò)需要解決PCIe交換機(jī)的標(biāo)準(zhǔn)化問(wèn)題。

隨著超融合架構(gòu)概念的落地，存儲(chǔ)作為其中重要一部分，不管是以磁盤陣列、全閃陣列亦或是PCIe陣列，必將與計(jì)算、網(wǎng)絡(luò)和服務(wù)器虛擬化等資源一起，依靠緩存加速、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮、備份軟件、快照技術(shù)等技術(shù)，形成統(tǒng)一的資源池，實(shí)現(xiàn)模塊化的無(wú)縫橫向擴(kuò)展，為各類云服務(wù)提供穩(wěn)定、可靠且可擴(kuò)展的基礎(chǔ)設(shè)施。

3 常見(jiàn)云服務(wù)流量模型

各類服務(wù)，如搜索、游戲、電子商務(wù)，對(duì)于存儲(chǔ)系統(tǒng)來(lái)說(shuō)其流量模型是不盡相同的。把流量模型數(shù)字化到最底層，那么體現(xiàn)出來(lái)的就是字節(jié)長(zhǎng)度和對(duì)應(yīng)的百分比的各種組合。

表1是全球SSD領(lǐng)先企業(yè)三星的DSLR（Device Statistics Log Repository）工具分析出來(lái)的具體應(yīng)用及其對(duì)應(yīng)的字節(jié)大小和百分比。可以很明顯地看到，對(duì)于網(wǎng)頁(yè)服務(wù)器來(lái)說(shuō)都是隨機(jī)讀的流量，其中4KB、512KB和8KB字節(jié)的占比總計(jì)達(dá)到50%以上；對(duì)于文件服務(wù)器，讀占了80%，其中4KB占比60%；對(duì)于郵件服務(wù)器來(lái)說(shuō)，都是32KB的讀寫操作，其中讀占了80%、寫占了20%。

表1 主流業(yè)務(wù)流量模型

另外，比較常見(jiàn)的有大數(shù)據(jù)處理系統(tǒng)。大數(shù)據(jù)處理集群的數(shù)據(jù)節(jié)點(diǎn)通常由數(shù)十臺(tái)或者上百臺(tái)服務(wù)器構(gòu)成，每臺(tái)服務(wù)器上分別存儲(chǔ)分布式文件系統(tǒng)的部分?jǐn)?shù)據(jù)，需要對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行頻繁操作和處理，因此要求每臺(tái)服務(wù)器支持與CPU、網(wǎng)絡(luò)IO能力相匹配的硬盤存儲(chǔ)空間，通常集群每個(gè)服務(wù)器節(jié)點(diǎn)配置一定數(shù)量的企業(yè)級(jí)硬盤保證存儲(chǔ)容量，同時(shí)配置部分SSD硬盤作為高速緩存進(jìn)行IOPS和吞吐率性能加速。OLTP/數(shù)據(jù)庫(kù)測(cè)試代表了處理在線事務(wù)任務(wù)時(shí)帶來(lái)的大量事物負(fù)載。測(cè)試模式為8K隨機(jī)測(cè)試讀67%、寫33%。

因此，對(duì)于不同的應(yīng)用，其數(shù)字化模型是不同的，對(duì)存儲(chǔ)盤的需求和配比也是有一定差異的。作為基準(zhǔn)測(cè)試，這就要求在制定測(cè)試項(xiàng)目時(shí)能夠考慮到不同的字節(jié)、占比等，綜合各種因素，做出較全面的設(shè)計(jì)。

4 基準(zhǔn)測(cè)試項(xiàng)目設(shè)計(jì)

傳統(tǒng)而言，最受用戶關(guān)注的企業(yè)級(jí)硬盤技術(shù)指標(biāo)包括吞吐量和IOPS，這跟傳統(tǒng)的HDD有很大關(guān)系。對(duì)于HDD來(lái)說(shuō)，由于其物理結(jié)構(gòu)的原因會(huì)比較擅長(zhǎng)順序讀寫，所以一般會(huì)將對(duì)HDD的順序讀寫定義為吞吐量。此時(shí)，HDD能夠得到最快的讀寫速度，也就是每秒能夠讀或者寫的字節(jié)數(shù)。隨機(jī)讀寫被定義為IOPS，也就是每秒進(jìn)行讀寫（I/O）操作的次數(shù)，衡量硬盤的隨機(jī)訪問(wèn)性能。

在設(shè)計(jì)測(cè)試項(xiàng)目的時(shí)候，首先需要有項(xiàng)目能測(cè)量出在隨機(jī)塊大小和不同讀寫比例下的IOPS，以了解其隨機(jī)訪問(wèn)性能；其次，測(cè)量穩(wěn)態(tài)下的多種塊大小（如小塊、大塊等）在順序讀、順序?qū)懬闆r下的吞吐量，目的是測(cè)量被測(cè)設(shè)備在沒(méi)有IO總線限制的情況下能以多快的速度傳輸順序數(shù)據(jù)。此外，對(duì)于SSD來(lái)說(shuō)，還需要有項(xiàng)目能夠觀察被測(cè)設(shè)備從PURGEDFOB狀態(tài)開(kāi)始對(duì)持續(xù)的隨機(jī)小字節(jié)寫的響應(yīng)，這個(gè)項(xiàng)目可以持續(xù)24h或者4倍于被測(cè)SSD的容量，以檢查被測(cè)SSD對(duì)長(zhǎng)時(shí)間小字節(jié)隨機(jī)寫的IOPS穩(wěn)定性。由于實(shí)際的訪問(wèn)流量不都是小字節(jié)的，考慮到極限情況，還需要對(duì)被測(cè)SSD的大小字節(jié)的變化做相關(guān)測(cè)試，可以觀察被測(cè)SSD對(duì)大塊順序?qū)憽⑿K隨機(jī)寫、大塊順序?qū)懙奶幚砬闆r，目的是衡量被測(cè)SSD在不同相鄰負(fù)載下的相互作用。必須注意的是，性能測(cè)試中對(duì)相關(guān)的參數(shù)需要精確定義，以便測(cè)出并能描述被測(cè)硬盤的真實(shí)性能。

除了性能部分，被測(cè)硬盤的穩(wěn)定性和功耗也非常受關(guān)注。

穩(wěn)定性一般需要被測(cè)硬盤在一定壓力下長(zhǎng)時(shí)間運(yùn)行不出問(wèn)題。考慮到實(shí)際應(yīng)用情況，這個(gè)項(xiàng)目需要在Windows和Linux兩種OS下進(jìn)行。與長(zhǎng)時(shí)間運(yùn)行相反，重復(fù)復(fù)位測(cè)試是被測(cè)硬盤在服務(wù)器不斷重啟的狀況下進(jìn)行數(shù)據(jù)的拷貝和比較，以檢驗(yàn)被測(cè)硬盤在這種極限情況下的重復(fù)復(fù)位能力。對(duì)于穩(wěn)定性而言，環(huán)境測(cè)試也是一個(gè)重要的組成部分，很有必要對(duì)被測(cè)設(shè)備在高溫高濕和低溫環(huán)境下進(jìn)行儲(chǔ)存和運(yùn)行測(cè)試。

隨著IDC規(guī)模越來(lái)越大，其功耗也逐漸引起人們的重視。作為IDC中的基本部件，硬盤的功耗非常重要，特別是對(duì)于存儲(chǔ)類服務(wù)器，動(dòng)輒近20塊硬盤，如果是HDD的話其啟動(dòng)功耗將會(huì)非常大，這些硬盤同時(shí)開(kāi)機(jī)對(duì)IDC的用電會(huì)產(chǎn)生很大的沖擊，需要有一定的策略去解決這個(gè)問(wèn)題。IOPS/Watt指標(biāo)對(duì)于衡量SSD是否高效非常重要，一些高性能的PCIeSSD耗電比單個(gè)的HDD可能會(huì)高，但它們的性能極為出眾，使用IOPS/Watt指標(biāo)后將能更加準(zhǔn)確地反映被測(cè)設(shè)備的能耗效率比。

5 結(jié)束語(yǔ)

硬盤是云數(shù)據(jù)中心的核心部件，不僅關(guān)系到云計(jì)算與大數(shù)據(jù)的服務(wù)、計(jì)算和性能，更關(guān)系到整個(gè)云數(shù)據(jù)中心平臺(tái)的TCO。在云計(jì)算和大數(shù)據(jù)時(shí)代，爆炸式數(shù)據(jù)增長(zhǎng)對(duì)容量要求越來(lái)越大，企業(yè)級(jí)硬盤對(duì)于上層應(yīng)用穩(wěn)定、可靠運(yùn)行肩負(fù)著重要的責(zé)任。對(duì)企業(yè)級(jí)硬盤進(jìn)行全面的基準(zhǔn)測(cè)試設(shè)計(jì)，建立全面衡量企業(yè)級(jí)硬盤產(chǎn)品的標(biāo)桿方法，這樣產(chǎn)生的測(cè)試結(jié)果對(duì)各行業(yè)都將具有非常重要的參考意義。

Enterprise hard disk benchmark oriented cloud computing

GUO Liang

In recent years various types of cloud services are developing very fast. The demand for enterprise level disk as the important components of the bottom layer is more and more large. In order to stable the operation of the upper cloud services， it is necessary to conduct a comprehensive enterprise disk benchmark. This paper makes research on the market scale、technology development and the cloud service flow model of the enterprise disk， and puts forward some concrete suggestions on the enterprise disk benchmark.

hard disk drive；solid state disk；benchmark

2016-09-20）