面向NVM的混合粒度文件系統

何耀 蔡濤 彭長生

摘要：設計面向NVM的混合粒度文件系統UFS，首先給出混合粒度文件系統的結構；設計空間管理策略，將兩類NVM存儲設備的空間劃分為字節區和塊區；然后基于多級索引表的元數據和數據管理策略，提高元數據和數據的查找性能；設計了混合式文件數據管理策略，在兩類NVM存儲設備之間合理分布數據，提高數據的訪問效率，解決單一NVM存儲設備存儲空間不足的問題；最后在fuse的基礎上實現了UFS原型系統，使用postmark和fio工具進行了測試與分析。結果表明UFS相比Ext3在I/O性能上提高了28%～166%，接近于ramfs，在保證I/O性能的同時，解決了DIMM接口NVM存儲設備空間不足問題。

關鍵詞關鍵詞：存儲級內存； SCM； 非易失存儲器；混合文件系統

DOIDOI：10.11907/rjdk.161389

中圖分類號：TP301文獻標識碼：A文章編號文章編號：16727800（2016）007001704

0引言

隨著4G、物聯網、云計算等技術的飛快發展，人類正在從IT時代走向DT時代。DT時代意味著數以億計的智能終端和傳感器設備每時每刻都在向后臺系統傳輸海量數據。數據規模呈現爆炸式增長的同時，數據的存儲性能和管理需求也面臨新的挑戰和機遇。為了解決此問題，研究開發新型存儲技術，成為未來構建高性能存儲系統的關鍵。隨著半導體技術的發展，一些具有優良特性的NVM（nonvolatile memory）為構建高性能存儲系統提供了契機，主要包括：相變存儲器（PCM）、自旋轉移力矩磁存儲器（STTRAM）、鐵電存儲器（FeRAM）等。這類NVM具有內存級存取和持久性存儲兩大特點，其主要特征表現為：訪問延遲低、字節可尋址、集成度高、內部無機械運動等。

目前主要有兩類NVM存儲設備：替換內存的DIMM接口NVM存儲設備和替換外存的PCIe接口NVM存儲設備。理想情況下，利用DIMM接口NVM存儲設備取代DRAM和硬盤，形成單層存儲結構。一方面，CPU能直接通過load/store指令訪問數據，避免已有內核IO棧的軟件開銷＼[1，2＼]。另一方面，基于DIMM接口的NVM存儲設備可以通過CPU的cache提高設備的讀寫性能。由于DIMM插口數量和NVM集成工藝等限制，難以獨立構建大容量SCM系統，因此在未來很長一段時間內，混合使用DIMM和PCIe兩類接口的NVM存儲設備是必然選擇。但是現有內外存管理算法針對單一類型的存儲設備而設計，無法有效管理由兩類NVM存儲設備構建的混合存儲系統。同時兩類NVM存儲設備在接口、性能、容量等存在差異；存儲系統中元數據和數據、文件之間的數據、單個文件的不同部分數據，都具有不同的訪問特性。這給統一管理兩類NVM存儲設備增加了難度，同時也提供了思路。

本文基于混合存儲結構，針對DIMM和PCIe接口NVM存儲設備并存的情況，設計面向NVM的混合粒度文件系統UFS，實現兩類NVM存儲設備的統一管理NVM存儲設備。

1相關研究

在針對NVM構建新型文件系統方面，文獻使用已有的OS基礎設施優化了文件系統，同時簡化了其實現，通過虛擬地址空間存儲文件數據，使用內存管理單元管理NVM空間，具有良好的性能；文獻、針對NVM設計了新型文件系統，圍繞DIMM接口NVM存儲設備的字節尋址和持久化特性，優化了文件組織結構和一致性策略，顯著提高了性能；文獻構建了針對NVM的運行時庫，提供給用戶程序使用，減少內核交互的軟件開銷，極大地發揮了NVM性能。

在利用NVM構建混合存儲系統方面，文獻使用帶后備電池的RAM構建文件的緩存，避免頻繁將數據寫入磁盤，提高文件系統的性能；文獻使用NVM存放文件系統中的元數據和小文件，設計了數據遷移算法避免NVM的空間限制；文獻分離數據和元數據，僅將元數據存放在NVM中，加速元數據的訪問性能，同時使用輕量級事務機制避免了元數據更新的寫放大問題；文獻使用NVM作為數據的緩存和持久性存儲空間，通過緩存SSD的數據并適時調整熱點數據到NVM上存儲，提高了基于Flash的SSD隨機寫性能，延長使用壽命。

綜上所述，目前針對NVM構建的新型文件系統，主要考慮的是如何避免各種軟件開銷，最大限度發揮DIMM接口NVM存儲設備的性能，但沒有考慮到現有單個NVM存儲設備容量有限的問題。針對NVM構建混合存儲系統方面，大多利用NVM作為緩存，同時研究數據的動態遷移算法，但沒有考慮到文件數據之間以及文件與文件之間訪問特性的區別。

2混合粒度文件系統結構

兩類NVM存儲設備在訪問接口、訪問性能等方面存在差異，主要表現為：①DIMM接口NVM存儲設備具有非易失性、低訪問延遲和I/O性能高等優點，同時支持字節尋址的方式能夠實現更加靈活的管理粒度；②PCIe接口NVM存儲設備基于I/O總線，具備良好的向后兼容性，同時其單個設備存儲密度更大、價格低，適用于構建基于NVM的大容量存儲系統。因此針對DIMM和PCIe兩類NVM存儲設備特性混合構建的存儲系統，本文設計了混合粒度文件系統UFS，其結構如圖1所示。

混合粒度文件系統主要包含3個功能模塊：①空間管理模塊負責存儲空間的分配與管理，以及維護文件系統的視圖；②元數據管理模塊負責兩類NVM存儲設備的元數據組織和索引；③聚合式文件管理模塊負責在兩類NVM存儲設備上合理分布數據。

3混合粒度文件系統空間管理策略

混合粒度文件系統視圖如圖2所示。將DIMM和PCIe接口NVM存儲設備空間分別劃分為字節區和塊區，不同于Ext2＼[15＼]基于整個存儲空間的塊管理。字節區能利用DIMM接口NVM存儲設備特性，能夠滿足對訪問延遲、讀寫性能有較高要求的數據請求，避免數據因為粗粒度管理方式導致存儲效率不高。因此將超級塊、索引節點和目錄樹等元數據存放在字節區，同時將剩余的字節區空間用于存放頻繁訪問的文件數據以及小文件。塊區利用PCIe接口NVM存儲設備容量上的優勢，同時在以塊整數倍訪問時也具有較高的I/O性能。因此，將大文件以及最近未訪問的文件數據存放在塊區。

由于字節區的管理粒度太小容易導致空間分配和回收的復雜性，因此混合粒度設計了一個簡單高效的freelist鏈表結構來組織空閑區。其中鏈表中每個節點通過如圖3所示的node描述符結構來表示已經申請的空閑區。

Flag占用Addr的最高位，用于指示申請的空閑區位于字節區還是塊區。Addr長度由63bit的整數表示，用于指示申請的空閑區起始地址，63bit的尋址空間足夠支持8EB的存儲空間。Len表示連續空閑區的長度。Resvrd為保留字段。混合粒度文件系統利用Len字段能夠支持連續塊分配，大大減少了空閑塊的分配次數和訪問數據塊時的查找次數，提高I/O效率。

4基于多級索引表的元數據管理策略

混合粒度文件系統中字節區主要存放元數據，包括inode、目錄、文件間接塊，由于沒有傳統磁盤尋道操作的訪問開銷，無需設計類似B+樹具有復雜分裂和合并的管理機制。

在混合粒度文件系統中采用類似Ext2中的多級索引表來組織和管理文件和inode表（視為特殊文件），保證數據靈活存儲的同時，仍具有較高搜索速度。多級索引表包含有直接尋址字段和間接尋址字段。直接尋址字段直接指向數據塊，有助于提高小文件的索引能力；間接尋址字段中每個中間節點存放指向多個子節點的指針數組，通過索引ID與數據塊地址的映射實現對文件內容的檢索。

5混合式文件數據管理策略

由于受到DIMM接口數量以及單個NVM集成度的限制，混合粒度文件系統的字節區不可能存放所有文件數據。此外，對單個文件而言、各部分數據在訪問頻率上也存在很大差異，現有通過內存統一緩存數據來減少響應時間的方法，存在管理效率不高，無法適應存儲級內存的問題。據此，混合粒度文件系統設計了聚合式文件組織結構，構建文件內緩存提高文件訪問性能。聚合式文件inode結構如圖4所示。

將文件存儲空間劃分為緩沖區和數據區兩個部分，通過預留部分的直接尋址字段構建Sizep大小的緩沖區。文件可以通過type字段來識別緩沖區存儲的數據類型，例如是小文件，還是頻繁訪問的熱數據？數據區則基于多級索引表滿足大文件的存儲和訪問需求。聚合式文件組織結構提高了文件數據的訪問性能，同時也避免了字節區空間不足的問題。

6系統原型測試與分析

在fuse用戶態文件系統的基礎上，實現了面向兩類NVM存儲設備的混合粒度文件系統UFS。由于當前沒有成熟的NVM存儲設備，基于內存模擬兩類NVM存儲設備，具體步驟如下：

（1）使用PMBD模擬器模擬PCIe接口的NVM存儲設備，設置80ns的讀延遲和1000ns的寫延遲模擬PCM類型NVM存儲設備特性。PMBD通過掛載點提供塊區存儲空間。

（2）DIMM接口NVM存儲設備的訪問特性和訪問性能與DRAM類似，因此直接通過預留內核地址空間提供字節區存儲空間。

（3）使用fuse建立用戶態文件系統，實現相應的組織結構和管理功能，構建面向NVM的混合粒度文件系統。

UFS軟硬件環境配置如表1所示，使用postmark和Time測試工具評估原型系統的性能。

首先配置UFS中Sizep的值為4100KB；然后設置postmark數據集包含30 000個大小為1 000～5 000KB的文件和1 000個目錄；同時設置讀寫塊大小為4 096KB；最后得到UFS的寫性能，如圖5所示。

從圖5可以看出，由于Ext3是基于塊的文件系統，UFS相對于Ext3在寫性能上提高了28%。因此基于兩類NVM存儲設備特性，將DIMM和PCIe接口NVM存儲設備空間分別劃分為字節區和塊區，比單純使用PCIe接口NVM存儲設備具有更高的寫性能優勢。相對于ramfs，UFS在寫性能方面降低了38%，這是由于Sizep大小的限制使得大部分數據必須存放在塊區，增加了訪問延遲。但相比僅使用DIMM接口NVM存儲設備的ramfs，UFS解決了存儲空間不足的問題。

為了測試文件緩沖區大小對UFS寫性能的影響，將Sizep的值分別設置為3700、4100、4500、4700和4900字節，然后使用上一節postmark相同配置繼續測試UFS、Ext3（Ext3 on PMBD）和ramfs。實驗結果如圖6所示。可以看出，UFS的寫性能隨著文件緩沖區Sizep的增大而上升，相對于Ext3，UFS的寫性能從1.28x增加到了1.66x，這表明不同接口的NVM存儲設備對文件系統性能有較大影響，利用字節區存儲更多的文件數據，能夠顯著提高系統的寫性能；但寫性能的提高與緩沖區大小之間并不是線性關系，UFS的緩沖區增加了32%的存儲空間，但寫性能僅提高了22%，這說明通過合理利用字節區構建文件內緩存，能夠避免過度依賴DIMM接口NVM存儲設備的問題。

6.2使用Postmar測試的讀性能

使用6.1中相同的方法，首先測試UFS中Sizep為4100Kb時的讀性能，如圖7所示。可以看出NVMCFS在讀性能方面相比Ext3提高了41%，相比ramfs僅降低30%，這表明UFS使用DIMM接口NVM存儲設備構建的文件緩沖區降低了讀延遲。相比寫性能UFS的讀性能更接近與ramfs，這是由于模擬PCIe接口的NVM存儲設備的讀延遲低于寫延遲，從而進一步體現了UFS使用DIMM接口NVM存儲設備構建文件緩沖區的優勢。

類似地，分別設置Sizep的值為3 700、4 100、4 500、4 700和4 900字節，測試緩沖區大小的變化對UFS讀性能的影響。從圖8可以看出，隨著文件緩沖區的增加，UFS的讀性能也越來越接近與ramfs，最小差距為22%，這表明通過設計的聚合式文件組織結構，在文件內緩沖文件數據，有效減少了訪問PCIe接口NVM存儲設備的次數，從而提高了文件系統的性能。同時，由于管理開銷以及fuse額外的I/O訪問路徑，給UFS帶來了額外讀寫開銷，因此進一步發揮NVM系統的性能必須考慮軟件和接口方面的優化。

6.3使用Fio的測試與分析

為進一步評估UFS的I/O性能，在Linux下使用fio工具，測試隨機讀寫的性能。配置Sizep的值為4 100KB；然后設置fio為隨機讀寫模式，包含1 000個目錄和30 000個平均文件大小為6 000KB數據集，設置讀寫比為3：7，讀寫塊大小為4 096KB，測試結果如圖9所示。UFS在隨機讀和隨機寫方面的性能均低于ramfs。一方面是因為數據集中大部分文件大于Sizep，使得聚合式文件結構使用I/O性能較差的塊區存儲數據；另一方面，也表明通過fuse構建的用戶態文件系統具有冗余的I/O訪問路徑，導致額外的內核切換開銷，從而降低了文件系統性能。但相比Ext3，UFS在隨機讀寫方面都表現出優勢，有效管理了不同特性的兩類NVM存儲設備。圖9使用fio測試隨機讀寫性能

7結語

由于DIMM插槽數量和單個NVM集成度的限制，當前構建大容量SCM通常同時使用DIMM和PCIe接口的NVM存儲設備。然而兩類NVM存儲設備在物理接口和訪問性能上存在巨大差異，同時存儲系統中文件數據之間以及文件與文件之間也存在不同的訪問特性，使得當前針對單一設備設計的內外存管理算法均難以直接應用在面向NVM的混合存儲系統中。本文針對兩類NVM存儲設備的特性，將存儲空間劃分為字節區和塊區；設計了基于多級索引表的元數據和數據管理策略，提高元數據和數據的查找性能；設計了混合式文件數據管理策略，在兩類NVM存儲設備之間合理分布數據，提高數據的訪問效率，解決單一NVM存儲設備存儲空間不足的問題；最后實現了混合粒度文件系統的原型，使用postmark和相關數據集進行了測試與分析，測試結果表明UFS的數據讀寫性能相比基于塊的Ext3文件系統提高了28%-166%。

本文主要利用DIMM接口的NVM存儲設備提高整個存儲系統的IO性能，同時利用PCIe接口NVM存儲設備提高存儲系統容量，下一步將探索如何改變PCIe接口NVM存儲設備的內部管理方式，進一步提高文件系統的性能。

參考文獻參考文獻：

Intel 64 software developers manual[Z].2013.

SWANSON S， CAULFIELD A M. Refactor， reduce， recycle： restructuring the I/O stack for the future of storage [J]. Computer， 2013 （8）： 5259.

WU X， REDDY A L. SCMFS： a file system for storage class memory.Proceedings of 2011 International Conference for High Performance Computing， Networking， Storage and Analysis.ACM，2011.

J CONDIT，E B NIGHTINGALE， C FROST，et al.Better I/O through byte addressable，persistent memory[C].In Proceedings of the ACM SIGOPS 22nd Symposium on Operating Systems Principles， SOSP 09，2009：133146.

DULLOOR S R， KUMAR S， KESHAVAMURTHY A，et al.System software for persistent memory.Proceedings of the Ninth European Conference on Computer Systems. ACM， 2014： 15.