大數據存儲系統I/O性能優化技術研究進展

樓飛燕

（浙江廣廈建設職業技術學院，東陽 322100）

大數據存儲系統架構是目前大數據管理所面臨的重要問題之一，由于磁盤讀寫性能的挑戰，和主存速度差距不斷增加，傳統主存-磁盤存儲架構已無法適應大數據管理需求，無法構建有效的大數據存儲性能。新型存儲如固態盤、PCM等技術則具有價格與壽命的劣勢，目前混合利用新型存儲介質與傳統存儲介質架構存儲系統是應用廣泛的一種技術[1]，但該技術面臨的關鍵問題則在于I/O性能的不足，直接影響了大數據的存儲效率，進而影響了系統整體性能，如何提高大數據存儲系統的I/O性能是目前大數據存儲的重要研究方向之一。本研究對目前存儲系統架構優化、I/O性能優化等方面的技術進行簡要總結。

1 存儲架構優化技術

1.1 基于負載特性的存儲系統架構

負載多樣性是目前大數據存儲系統的主要負載特征之一，在并發訪問中，I/O負載性能的優化是存儲系統架構的新要求，對I/O高層庫、中間層、存儲系統層分別給予相應的優化是主要優化方法。高層庫的優化可以通過應用程序接口（API）的靈活化設計完成，可有效應對用戶在運行系統時對I/O負載特征復雜性描述的需求，如非連續內存訪問模式（NUSA）[2]，負載特征能夠直接向中間件層與存儲系統層進行傳遞，便于各層后續進行針對性優化。在中間件層中，由于大數據存在請求數據量少、非對稱性與非連續性等負載特征，可通過列表I/O、數據類型I/O、聚集I/O、MPI-I/O、遠程過程調用協議庫等優化方法，提高不同I/O訪問模式應用所需要的I/O負載性能。在存儲系統層，可采用相應的緩存替換策略或相應存儲系統優化策略的配置，動態化調整并優化存儲系統架構與存儲策略，以解決存儲系統對復雜負載特征的負載適用性。如基于對象存儲技術，是一種分布式并行存儲系統，包括客戶端、元數據服務器與存儲節點3個部分，數據通路與控制通路相分離，每個對象存儲設備對自身設備數據對象分布進行智能管理，該存儲體系架構充分實現了元數據與文件數據的并行性及文件數據在對象存儲設備中的并行性，優化了系統I/O性能[3]。

1.2 密集型元數據I/O緩存架構

緩存是元數據I/0性能優化的主要方法之一，隨著固態硬盤（SSD）在大數據存儲系統中的廣泛應用，大量緩存讀寫對于SSD壽命的影響成為一個重要問題，I/O密集型應用的不斷發展需要緩存架構的持續優化，以解決SSD壽命和元數據訪問性能問題。目前的技術中，可通過就地更新策略減輕SSD寫負載[4]。混合存儲結構或異構存儲是目前解決元數據存儲與讀寫速度的一種熟練的技術。利用f l ash作為元數據服務器（MDS）的存儲介質，提高元數據讀寫速度，Lustre、Hybrid MDSL等均是該技術的有效應用，結合日志文件，按照訪問熱度，制定元數據遷移機制，能夠有效提高SSD利用效率，優化I/O性能。SSD與DRAM協作式技術也是解決方法之一，DRAM是SSD的調整緩沖，SSD則是主存，可架設一個基于對象數據的存儲系統。為降低寫放大，還可以log結構順序塊組織SSD，在這種混合架構中融入Memcached，以提升性能[5]。

1.3 基于flash的存儲系統架構

Flash是目前隨機I/O性能良好的一種存儲介質，可廣泛應用于HDD與SSD的混合架構或閃存轉換層（FTL）是文件系統與閃存芯片之間的中間層，可掩蓋閃存特性，能夠使文件系統以訪問傳統磁盤的方法訪問閃存，能夠執行地址轉換、損耗均衡與垃圾回收等功能，設計一種基于新型FTL接口的f l ash存儲系統架構，既能發揮f l ash的隨機讀寫優勢，又能夠提升I/O性能。也可采取降低SSD垃圾回收負載的方法提高I/O性能[6]。還可通過日志文件系統的改善，根據數據塊熱度差異進行劃分，以減少SSD的隨機寫操作[7]。Facebook的Flashcache是目前混合分層存儲系統應用較為廣泛的一種塊設備緩存模塊，在使用時能夠以內核模塊形式實施動態加載，無需修改內核，能夠很好地維持磁盤原有數據布局，對于SSD讀寫性能優勢與硬盤廉價且耐久的優勢良好地結合在一起，從而構建了一個特有的存儲塊設備，SSD是硬盤的一個緩存，可提高塊設備訪存速度，虛擬塊設備一一對應磁盤邏輯地址，文件系統層對虛擬設備的訪問模式與磁盤相同[8]。

1.4 新型元數據存儲系統架構

目前PCM、STT-RAM、FRAM等新型非易失存儲介質應用范圍也在逐步擴大，這些存儲介質較f l ash更快，企業級中廣泛應用的PCIe即屬于該存儲介質的應用，在這一存儲系統中，I/O棧面臨更大的瓶頸，針對此問題，有研究提出了優化設計I/O協議棧，以構建一個高性能閃存SSD，進一步提高I/O性能，該方法主要從設備驅動層與硬件設備上入手，基于原型系統，加入了內核緩存旁路優化技術、多請求隊列與多中斷優化技術、本地命令隊列優化技術等，大幅提升了PCIe閃存SSD性能，讀寫寬帶進一步提升[9]。也可采用PCM與DRAM協作式的存儲架構，較小的DRAM可作PCM緩存使用，通過DRAM緩存延遲PCM寫操作，進而降低PCM寫次數[10]。

2 元數據I/O性能優化技術

2.1 元數據查找技術

第一，基于散列的數據查詢方法。該方法是通過散列文件訪問路徑對文件所在MDS進行定位。基于此技術，可引入分布式哈希表與Chord結構對分布式文件系統進行查詢，存儲節點和數據均采取環形分布式散列技術，數據能夠均勻地散列于各個節點中，可應用于并行性數據查詢，減少了查詢時延，同時有利于數據遷移[11]。第二，Bloom filter+k-d-tree技術，利用Bloom filter技術建立各分區目錄表，快速縮小數據查找空間，利用k-d-tree在分區內建立內在索引，為多維屬性查找提供便利[12]。

2.2 元數據搜索技術

目錄樹是目前數據存儲系統的主要顯示形式，大數據需要龐大的目錄樹支撐，嚴重降低了元數據搜索性能。目前，針對元數據搜索性能的I/O優化技術主要包括三種：第一，基于索引式的元數據搜索技術。如Compact、BitMap、C-index分布式索引等技術，其中C-index分布式索引是一種基于樹結構的索引技術，可應用于云平臺，能夠支持一維或多維范圍的查詢，能夠在合理時間內構建大數據集的索引，且索引獨立于文件系統之外[13]。第二，基于語義相似性搜索技術，該技術目前包括了M-Chord、R-Chord、MCAN、SIMIPEER、RT-CAN、DiST、DKDT、P2RP-tree、NR-tree、pSearch、SSW等技術，主要是通過聚類劃分、RPC劃分、R-tree、k-d-tree、CAN等方法進行空間劃分，基于Chord、拓撲、CAN、Super-peer、樹形、DHT、SSW等拓撲結構，可提供范圍查詢、窗口查詢、KNN查詢等方法，部分搜索技術可支持數據更新[14]。第三，基于采樣的搜索技術，該技術是對目錄樹中的各個分支給予采樣打分后，根據分值，對目錄分支進行快速剪切，不斷縮小分層目錄的搜索范圍，進而提高搜索速度。第四，基于事件通知的搜索技術。該技術可利用時間通知機制，替換不活躍的緩存文件，提高緩存利用率。

2.3 元數據創建技術

元數據存儲是大數據存儲系統中最為關鍵的一種元數據訪問操作，其I/O優化技術主要包括兩種：第一，優化文件創建交互協議。在文件創建時利用子操作合并、數據文件句柄出租、數據文件預創建等方法，確保文件創建的過程保持數據一致性，減少非必要的數據交互操作，提升元數據創建性能。第二，優化元數據存儲方法，即對元數據在MDS上的存儲方式進行優化，以提高元數據的持久存儲寫入性能，進而提升文件創建性能。

3 數據I/O優化技術

3.1 數據I/O負載均衡優化技術

I/O負載均衡是充分發揮各個數據服務器性能的重要方法，其優化方法主要包括兩種：第一，靜態負載均衡，該方法是在程序運行之間，根據負載比例對文件數據進行分塊處理，向不同I/O服務器進行映射，使各服務器實現負載均衡，如NCUC方案，對分布式NameNode集群通過Chord協議實施快速、一致性的哈希計算，該方案能夠自動向NameNode節點分配元數據。第二，動態負載均衡，即對文件負載特征信息未知的前提下，結合系統運行的動態負載信息，對數據服務器之間的負載分布進行實時調整，進而消除負載熱點，提高I/O性能。該方法對于異構性能差異存儲系統有良好的適應性，如，基于時間預測模式的優化方法，在I/O調度前，構建一個時間預測模型評估各節點性能，按照節點性能分布I/O任務，確保各節點任務完成時間的均衡性；基于主動負載復制與被動負載遷移的分布式NameNode算法動態負載均衡策略；基于模塊化結構的對象存儲系統動態負載均衡優化方法等。

3.2 數據I/O寫優化技術

寫操作是I/O負載占用比例很高的一個操作，在HDD、SSD中均會被放大，進而影響I/O性能，優化寫操作是優化I/O性能的重要途徑。目前的優化方法主要是：通過非阻塞寫操作，消除異步預取頁，增加寫操作并行化運行速率；加入一個基于Flash的寫加速層，或建立一個應用型訪問負載模型，將應用數據劃分至一個獨立的Flash存儲空間中，進而提升I/O寫操作性能；也可利用索引結構進行優化，如采用未修改過的操作系統內核架構，將寫優化的負面影響降低到最小化，或將日志延遲綁定、分區與范圍刪除等技術，同時確保寫操作性能的優化與其他操作性能的正常進行；也可通過垃圾收集機制的研究減少寫操作的干擾因素。如基于固態盤的一種非對稱I/O路徑混合緩存方法MOLAR，該方法采用內在驅逐計數篩選算法，能夠使SSD選擇緩存數據塊，設定閾值后，該緩存數據塊可緩存到SSD，既不會犧牲緩存命中率，又能夠減輕SSD寫負載壓力，優化寫性能；系統將SSD邏輯地址分為兩個獨立區域，即長活躍與短活躍數據塊區域，短活躍數據塊的被替換可能性較高，可聚合在一個集中度相對較高的地址空間內，進而減少SSD垃圾回收對寫操作的影響，優化I/O性能；該系統對于SSD寫負載壓力的降低至少達到一個數量級，提高了讀/寫性能與I/O吞吐率。又如通過靜態條帶化技術優化隨機寫操作的CD-RAIS，將SSD連續或非連續請求分配到同一個條帶中，盡量減少靜態條帶對于校驗信息的頻繁更新，通過滯后數據置無效操作與不同條帶更新合并的操作，減少了檢驗信息數據塊的更新，對于隨機小寫操作有更強的優化性。

3.3 數據I/0緩存容量擴展方法

I/O轉發架構是一種新型的基于Flash存儲介質的緩存容量擴展方法，是一種利用分層I/O架構，對計算資源中的I/O請求進行逐層規約，利用聚合、重組與緩存I/O請求等方法減少計算節點與文件系統之間的交互操作，以縮小CPU與I/O組件性能之間的差距，同時有利于并行文件系統和計算節點日益增長之間的互連提出的可擴展性需求問題。該方法可在I/O中轉節點中建立一個基于主存與SSD之間的異構緩沖區，接入一個高速存儲介質，以提高緩存容量，提升I/O性能。同時，利用主動數據處理技術，發揮I/O中轉節點中全功能多核CPU的強大計算能力，主動處理傳輸至I/O中轉節點中的各類數據，可提供加密、壓縮、數表轉換與字符統計等服務。該主動數據處理塊與多線程并發數據處理服務能夠加速處理I/O中轉節點中的數據，計算可縮小的數據大小，降低I/O中轉節點與磁盤之間的I/O路徑數據傳送量，減少磁盤訪問次數，增加帶寬，提高I/O吞吐率。

3.4 數據I/O的客戶端緩存優化技術

緩存技術對于改善數據訪問性能有廣泛的適用性，客戶端數據緩存技術能夠提高大數據存儲系統I/O性能。第一，緩存數據結構優化，該方法是基于數據塊的優化技術。第二，緩存管理方法。通過緩存管理優化緩存分配，是調節各存儲設備I/O負載分布的有效方法，可使存儲設備獲得與其自身服務能力相匹配的負載，進而消除性能瓶頸。有研究設計了一種基于負載特征識別與訪問性能預測的緩存分配技術Caper，該算法首先要建立CART模型，預測I/O請求對不同存儲設備的性能要求。該算法將應用負載劃分為隨機訪問、順序訪問與循環訪問三類負載進行分析，能夠減少異構存儲設備的性能差異；同時，該算法還改進了時鐘算法，不同I/O訪問特征對應的緩存塊有不同權值大小的設置，能夠進一步改善緩存效益。或者基于反饋結構與公平隊列建立一種緩存分配方法，如Qaca算法，主要由基于開始時間公平隊列的服務請求順序控制模塊與基于反饋結構的緩存管理模塊組成，可通過Qos控制I/O請求服務順序，通過緩存分區方法周期性調整緩存分區大小。

4 結束語

大數據存儲系統I/O性能優化在未來仍然面對更快的技術進步及相應的技術優化，存儲平臺、存儲管理、混合存儲緩存技術、I/O寬帶、快速存儲介質應用及系統優化、數據I/O寫性能優化等將成為未來大數據存儲系統性能優化的重要路徑及重要研究方向。