運營商業務系統數據模型及SSD性能評估技術

吳家隱 李先緒

【摘? 要】5G時代帶來了海量的數據存儲需求，硬盤的IO（Input/Output）性能可能構成其主要瓶頸。從運營商核心系統的性能報告出發，根據業務系統的特點提取數據模型，并以PCIe SSD為例，構建了固態硬盤性能評估方案，從而得出貼近生產環境、具有實際指導意義的SSD性能參數，為IT系統設計和優化提供依據，保障核心業務系統的部署。

【關鍵詞】數據模型;固態硬盤;性能評估

The 5G era has brought the requirements of massive data storage and thus the IO （Input/Output） performance of the hard disk might become the main bottleneck. Starting from the performance report of the operator's core system， the data model is extracted according to the characteristics of service systems. Taking PCIe SSD as an example， this paper constructs the performance evaluation solution of the solid-state drive， and thus obtains the SSD performance parameters which are close to the production environment and have practical guiding significance. This paper provides the basis for the design and optimization of the IT system and ensures the deployment of the core business system

data model， solid-state drives， performance evaluation

0? ?引言

隨著5G時代的來臨，人工智能[1]、物聯網[2]、低延時高可靠應用[3]以及大規模電子商務計算等業務將得到快速發展，從而帶來了海量數據存儲與處理需求。數據的飛速增長，對存儲設備的性能要求越來越高，傳統的機械硬盤已經難以達到性能要求。

固態硬盤（SSD， Solid State Drive）的出現，使單硬盤的性能提高了幾個數量級，大大改善了CPU和IO的性能差距。隨著半導體工藝的發展，尤其是3D NAND工藝的成熟[4]，固態硬盤使用成本大幅度下降。早期的SSD采用SATA（串行ATA， Serial ATA）接口，在使用時，需要將數據從SATA SSD中讀取到主機內存，再由內存提供給CPU計算使用。在CPU計算完成后，數據又要經過內存再寫入SSD中，數據傳輸路徑較長。SATA/SAS接口協議是為傳統HDD而設計，不適合低延時的SSD，已經成為影響SSD硬盤的性能瓶頸。PCIe SSD可以直接通過總線與CPU相連，節省了內存調用的過程。同時，PCEe SSD還可以結合為SSD重新設計的NVMe傳輸協議[5]，有利于發揮SSD的性能優勢。因此，PCIe SSD擁有更高的帶寬和更高效的傳輸協議，在企業級市場中的市場份額日益增長。PCIe SSD的提供商包括英特爾（Intel）、昱科（HGST）、寶存（Shannon）、華為、憶恒創源（Memblaze）等多個品牌[6]，性能各異。

在運營商的5G建設過程，業務系統要面對高并發、大性能的需求，對于存儲的性能要求非常高。因此，在業務系統的規劃、建設及優化階段，就必須充分考慮到存儲乃至硬盤的性能對業務系統的影響，這就需要對硬盤進行詳盡的性能評估。傳統的硬盤性能評估工具包括iometer[7-8]、FIO[9-10]等，但如果不充分考慮業務系統的實際情況進行科學合理的方案設計，直接通過這些評測工具進行測試，所得到的測試結果往往與業務系統的實際情況相差甚遠，從而影響到了業務系統規劃的準確性。因此，亟需研究運營商業務系統的數據模型，并針對運營商業務系統的實際情況制定科學、合理的SSD性能評估方案，從而能夠得到對生產具有指導意義的SSD性能參數，為IT系統設計和優化提供依據。

1? ? 數據模型

1.1? 性能指標

數據庫是運營商業務系統的核心系統，其處理能力對業務系統是否能夠應對高并發訪問起到至關重要的作用。一旦數據庫遇到訪問峰值，承載數據庫的硬盤的IO可能成為系統的主要瓶頸。SSD的性能指標主要包括：

（1）IOPS

IOPS（Input/Output Operations Per Second，每秒輸入輸出操作數）是硬盤性能的重要指標，是指一秒內磁盤能夠處理的IO請求數量。對于隨機讀寫頻繁的系統，IOPS是主要性能指標。磁盤另一個重要參數是數據吞吐量，數據吞吐量為磁盤中每秒鐘IO的流量，其值等于IOPS和數據塊大小的乘積，主要用于衡量大量連續讀寫的應用。

（2）延時

延時是接收到服務請求到返回一個指令所消耗的時間，訪問延遲增大時，業務系統也會有相應的延遲。固態硬盤的延時包括讀延時和寫延時。SSD的延時又會傳導到數據庫，引起數據庫的延時，也是SSD的重要衡量指標。

（3）QoS

QoS（Quality of Service，服務質量）可以分析一段時間內的延時表現，可以用一定的數據讀寫下延遲不大于指定時間的方式來表示[9]。QoS體現的是一定數據模型下的延時要求，對數據庫有重要意義。

1.2? 數據庫報告分析

表1為某運營商實際業務系統中，核心數據庫Oracle的AWR報告（Automatic Workload Repository，自動負載信息庫）中，排名前5的前臺等待事件（Top 5 Timed Foreground Events）。AWR是Oracle提供的性能監控及分析工具，能夠生成某個時間段內系統資源使用報告，從而為系統調優提供依據。該系統為交易類型業務，采用全閃存陣列。從圖1中可以看到在應用層面調優后，整個系統最大的瓶頸一般會落到IO層面。表1中的等待事件Log file sync與日志寫相關的，Db file sequential read事件與索引相關讀相關。日志寫相關的等待時間占到DB整體等待時間的65.44%，所以寫IO的時延至關重要。

表2為上述AWR報告中，按等待時間從大到小排列的前四個后臺等待事件。從表2中可以看到，在大并發壓力下，即使用全閃存陣列寫延時也可能到達ms級別。其中，Log file parallel write即為Log file sync等待事件中和IO相關的部分。如果可以降低Log file parallel write的延時，則數據庫等待IO的時間會大大降低，CPU的IO wait會大大降低，從而提高業務性能和CPU利用率。

因此，如果在SSD上部署數據庫等應用，大并發混合讀寫壓力下，低寫延時對數據庫整體性能至關重要。

1.3? SSD延時特點

實際業務系統中，SSD讀性能一般不會成為瓶頸，這是由于SSD讀IOPS遠高于寫IOPS，其在單位時間內可以響應更多并發IO請求。而在實際應用中，SSD寫延時會影響到數據庫性能。對于數據庫、文件系統、分布式文件系統等，其日志文件寫入一般為順序寫或并發順序寫。但是，由于業務層還混合了其他讀寫操作，到SSD層面IO會變為大并發的隨機讀寫。由于數據相關性要求，一些上層應用的IO完成必須在日志文件完成寫入之后，故日志文件寫入對延時要求又比較高。因此，綜合以上情況，在大并發情況下，需要重點關注SSD寫延時。

對閃存介質來講，SSD的寫延時要普遍優于讀延時。SSD讀的過程中描述如下：數據需要從NAND里面讀出;NAND讀取過程中，需要對字線加電壓偏執，從位線通過感測放大器來讀取結果，僅這個過程一般需要約60μs。SSD寫過程描述如下：寫數據先到達DRAM（NVMe SSD）或者SRAM（Host-Based SSD），隨即返回寫完成，寫延時較短，SSD內部負責數據將寫入到NAND顆粒中。

在SSD可承受的壓力范圍內（即在一定IOPS范圍內），SSD延時比較平穩，當壓力增大到一定值后，雖然IOPS還會有增加，但是延時卻會呈指數上升。在SSD測試過程中，對延時進行合理的限定是有必要的：尤其對寫延時而言，在SSD可承受的IOPS范圍內，寫延時保持很低水平，當壓力繼續增大，延時則會大幅增加到毫秒以上。

1.4? 數據模型

數據庫的數據塊大小主要為4K或8K。在對核心長期監測中發現，數據庫的數據讀寫類型主要是70%的隨機讀和30%的隨機寫。為了貼近生產環境，運營商的核心系統數據塊設置為4K，讀寫比例為70%的隨機讀和30%的隨機寫。

考慮到SSD本身的讀寫延時情況和核心系統對SSD的延時需求，為保障核心系統性能，將SSD的QoS條件設定為：在70%隨機讀30%隨機寫的4K的條件下，SSD讀延時不超過1 000 μs，寫延時不超過200 μs。

1.5? 指標建議值

綜上所述，由于運營商核心數據庫主要為4K或8K的數據塊，且讀寫類型為隨機讀寫頻繁，因此，將IOPS定義為主要性能指標，可以使性能指標貼近生產實際需要。同時，考慮到實際生產環境的時延要求，該性能指標還必須是在滿足QoS指標的條件下測得的IOPS值。

2? ? 評估方法

2.1? 主要工具

本文通過開源軟件FIO和nmon進行SSD性能評估。

FIO是一款開源I/O性能測試工具，廣泛應用于企業級SSD、HDD以及磁盤陣列性能測試中。支持主流的操作系統平臺，如Windows Server及常用的Linux發行版，可以直接編譯或移植到各種操作系統中運行。該軟件支持多進程，隊列深度指定，磁盤塊大小指定如4 KB，存儲引擎指定如libaio，測試日志記錄等功能。如果將多組fio測試命令依次寫入測試腳本，則可先覆蓋存儲設備全部LBA 數遍，然后連續獲取高工作負載情況下存儲設備的性能指標。用戶可根據最終日志輸出結果制成可視化圖表。FIO主要參數包括：

Blocksize：數據塊大小。

rw：負載類型，主要包括raed（順序讀）、write（順序寫）、randrw（隨機讀寫）。

size：每次IO請求要讀寫的數據量。

ioengine：I/O引擎，windows下可使用windowsaio，Linux可使用libaio、sync、psync等。

iodepth：I/O深度，每次提交的I/O請求個數。iodepth開始增加時，IOPS及帶寬也相應增加。但iodepth增大到一定程度時，IOPS和帶寬增加緩慢甚至保持不變，但延時將大幅度上升，這是因為需要花費更多的時間等待請求IO數量達到iodepth數值后才發出IO請求。隊列深度的大小設置將影響IOPS、延時和QoS的測量。

numjobs：本次任務克隆的數量（線程/進程執行相同的任務）。這個參數具體要根據SSD和服務器的性能來確定，目標是使服務器能達到滿載。

nmon是一款Linux性能監測工具，可以收集CPU利用率、內存使用量、磁盤IO、網絡IO、進程信息等。mmon消耗的系統資源很少。nmon用于記錄測試過程中CPU、內存等系統資源的占用率、硬盤IOPS。

2.2? 硬件環境

測試主機配置為：

CPU：Intel XEON E7-8870v3系列18核2.1GHz主頻;

內存：512 GB;

操作系統：RedHat 6.5（X64）;

SSD為3.2T MLC PCIe2.0 SSD卡。

性能強勁的硬件平臺，可以保障性能測試過程中，系統資源產生使SSD處于極限工作下的負載。

2.3? 性能優化

要充分發揮SSD卡的性能，還需要考慮CPU進程優化、4K對齊及文件系統等影響因素。

使用單進程（單一作業）測試時，即使使用很深的隊列，仍然可能有性能瓶頸。對于高性能存儲產品，在使用較深的隊列例如32/64測試時，建議嘗試4～8個以上進程。如果使用隊列深度為1，塊大小為4 KB，則讀測試進程數量應達到256～512個，寫測試進程最高應測到128個。單CPU核心因為性能限制，按照不同的頻率，最高大約可以達到100k～200k的IOPS。只有使用合適的進程數量、隊列深度、塊大小的組合進行測試，才能達到比較理想的數值。這同樣適用于實際應用程序的調優。

由于SSD讀寫的最小單元為頁，頁大小一般為4K或8K。SSD不能像機械硬盤那樣對要寫入的單元進行覆蓋寫入，而是在寫入數據前，先擦除要寫入單元的數據再寫入。擦除時最好的單位是塊，塊可以由多個頁組成。4K對齊可以讓操作系統最小分配單元和SSD的最小單元對應，這樣可以使SSD性能的優化。

SSD上新建分區并格式化文件系統的情況下，不同的文件系統及參數設定影響到SSD性能的發揮。在生產環境下，讀寫頻繁的核心數據庫如Oracle數據庫，會直接讀寫裸設備。作為承載核心業務數據的SSD來說，裸設備能夠充分發揮SSD的性能。為了排除文件系統對測試的干擾，在測試中采用FIO對分區格式化的SSD裸盤進行讀寫。

2.4? 評估步驟

對SSD的性能評估過程主要包括清空SSD、預熱和啟動性能測試等步驟。

（1）清空SSD

使用安全擦除工具將SSD完整擦除一遍，清空測試盤，使回到全新盤的狀態，并靜置10分鐘，保證所有測試從同一個點開始，降低因為SSD上已有數據隨機度不一致引起的測試誤差。

（2）預熱使用FIO對SSD全盤順序寫滿兩遍

開啟讀寫測試，順序填充完全空白的SSD兩遍，保證全部SSD空間包括Over Provsioning超額提供的空間均填充數據。全部數據塊（LBA）都必須全盤順序填充數據兩次，如果不是順序填充，順序讀寫測試則不是真正的順序讀寫，因為連續塊有大有小。要么SSD里沒有數據，要么垃圾回收機制沒有工作在最高強度下。如果不填充，則可能導致讀寫性能非常高，得到的數據不是正常工作負載下的持續性能數值。

2）數據讀取

通過mon_analyse解析nmon輸出的文件文件，生成分析報表。

3? ?結果分析

從FIO結果中可以看到，SSD樣品在測試過程中的平均讀時延為403.89 μs，寫時延為67.67 μs，滿足測試中規定的QoS要求。通過nmon結果可知，整個測試周期中，測試主機CPU占用率約為2.8%，內存占用率約為1.94%，SSD卡對主機的資源占用率極低，主機資源不會造成測試的性能瓶頸。

從圖1中可以看到，在啟動測試到第41分鐘的第I階段內，由于前一階段的SSD在順序寫后，數據塊的空間連續，隨機讀和隨機寫的IOPS均比正常使用時偏高。從第41分鐘到2小時40分鐘的第II階段，由于SSD上的存儲空間已寫滿，垃圾回收機制啟動。SSD每次寫操作時，需要寫入的存儲空間單位為Page，而且只能寫入到空白的Page中。在存儲空間已滿的情況下，就必須先進行一次擦除操作，而擦除操作的單元為Block（1Block由256個Page組成）。SSD寫入數據的時候的步驟包括：

（1）將Block中的除要寫入page外的其他數據塊寫入SSD的預留空間（OP， Over-Provisioning）;

（2）擦除要寫入Page所在Block的全部數據;

（3）將要寫入Page的數據和OP中的數據塊寫入Block。

因此，一個寫入操作引起的是整個Block的擦除和寫入，即一次寫入請求，最終落到硬盤上是放大多倍的寫入操作。在極端情況下，甚至出現寫入4 KB的數據，實際寫入卻為512 KB，達到128倍的寫放大。垃圾回收的TRIM指令將要寫入Page的數據塊標注為無效，在寫入OP時，只將有效的Page數據塊而不將其他數據塊中無效的數據塊寫入OP。TRIM指令可以降低寫放大，使SSD具有更高的吞吐率。啟動垃圾回收時，由于持續的IO讀寫請求和垃圾回收啟動的雙重影響，產生了資源沖突，因此引起讀寫性能迅速下降。隨后，隨著垃圾回收機制的啟動進展，資源沖突逐漸緩解，IOPS性能值繼續抬升。在垃圾回收機制穩定運行后，SSD性能進入第III階段。由于SSD中的存儲空間均已寫滿，該盤的垃圾回收機制已經移動運行，并且盤上的數據隨機度足夠，SSD的IO性能進入穩態。

在實際生產環境中，運營商業務系統在部署上線后，在經歷全盤讀寫后的數小時后，也將進入第III階段的穩態。計算第III階段穩態下的IOPS值，可以得到該SSD在70%隨機讀30%隨機寫的4K的負載下的性能值為：207 977 io/s。通過本方案所評估的性能指標，其數據模型、測試過程和指標選取貼近生產需求，因此，測試中所評估的SSD性能與在實際生產環境中可能達到的IOPS一致。因此，運營商可以根據性能評估結果，選擇能達到業務系統性能規劃要求的SSD。

性能測試如圖1所示：

4? ?結束語

至此，本文根據電信運營商業務系統的實際需求，分析AWR報告，提煉了運營商業務系統數據模型。在這基礎上，構建了固態硬盤性能評估方案，以FIO和nmon為測試工具，搭建硬件環境，分析了SSD的優化因素，并對評估步驟進行了詳細描述。本文還分析了測試結果，對測試中的三個階段進行了描述。本文所提供的評估方法不僅可以用于PCIe SSD，也同樣適用于SATA/SAS/NVMe等類型SSD的性能測試。通過本文的測試方案貼近生產環境需要，所提出的SSD性能評估方法所測得的SSD性能與生產環境下相近，從而可以為5G時代的運營商業務系統規劃設計、優化提供依據，有力地保障了核心業務系統的部署。

參考文獻：

[1]? ? 張丹. 引領AI時代的監控存儲方案[J]. 中國公共安全， 2018（6）： 148-149.

[2]? ? 李鑫，孫蓉，劉景偉. 分布式存儲系統中容錯技術綜述[J]. 無線電通信技術， 2019（5）： 463-475.

[3]? ? 肖堯. 面向5G低時延高可靠車載業務的計算卸載策略研究[D]. 西安： 西安電子科技大學， 2019.

[4]? ? 張衛. 存儲器技術的新進展[J]. 集成電路應用， 2020? ? （3）：10-12.

[5]? ? ?彭振翼. 固態存儲系統PCIe接口的設計方法與實現[D].? 武漢： 華中科技大學， 2013.

[6]? ? 潤冬，劉芳，肖儂，等. PCIe SSD I/O棧設計與原型系統研究[J]. 計算機研究與發展， 2015（S2）： 124-130.

[7]? ? 馬娜，朱立谷，陳志杰，等. 磁盤陣列性能測試工具研究[J]. 計算機工程與應用， 2010（36）： 74-78.

[8]? ? 常寶升. 基于IP-SAN的存儲虛擬化系統研究[D]. 哈爾濱： 哈爾濱工程大學， 2008.

[9]? ? 趙雷. 塊設備自動化測試系統的設計及優化[D]. 北京： 中國科學院大學， 2017.

[10]? ?趙夢茹. 移動終端Linux存儲IO性能分析與優化[D]. 西安： 西安電子科技大學， 2014.