分布式內存文件系統的發展＊

許春聰，文海雄，劉 釗，鄭 強，韓 鵬

（75837部隊，廣東 廣州 510630）

分布式內存文件系統的發展＊

許春聰，文海雄，劉 釗，鄭 強，韓 鵬

（75837部隊，廣東 廣州 510630）

隨著動態隨機存儲器集成技術的快速發展，基于內存的數據存儲已經成為緩解磁盤I/O性能瓶頸的重要方式之一。分布式內存文件系統適用于非結構化數據存儲，具有文件語義，能夠兼容傳統應用。從緩解磁盤I/O性能瓶頸的角度入手，介紹了單機內存文件系統、并行內存文件系統和分布式內存文件系統的發展，提出了未來的主要研究方向。

分布式內存文件系統；吞吐量；訪問延遲；負載平衡

隨著系統規模的擴大和數據量的快速增長，隨機I/O訪問已經成為阻礙系統性能發揮的一個重要原因。Nils Nieuwejaar等人分析并行科學計算應用的訪問特性，發現在MIMD并行計算機系統中存在大量隨機I/O訪問的情況[1]。Roselli等人分析多種負載的大文件訪問類型，發現其隨機訪問的概率比以往的研究結果大得多[2]。實際上，文件系統元數據訪問、Web服務、Mail服務等環境中也存在著大量的高并發隨機I/O訪問。受磁盤I/O的限制，隨機I/O訪問常常導致系統I/O過高，速度很慢，故障頻發。

斯坦福大學的John Outerhout分析了基于硬盤的存儲系統所面臨的各種問題，指出磁盤I/O性能是制約系統的瓶頸，并提出了基于隨機訪問存儲器構建高數據吞吐量和低訪問延遲的內存云——RAMClouds[3]。采用分布式內存文件系統構建高數據吞吐量和低訪問延遲的分布式計算和存儲系統，是一種較好的解決方案。

1 分布式內存文件系統的概念

分布式文件系統（Distributed File System）作為云計算和云存儲的核心技術，近年來，一直是分布式計算和數據存儲領域的研究熱點。分布式文件系統管理的物理存儲資源分布在多個網絡節點上，以實現數據共享和管理共享。與傳統的基于磁盤的文件系統不同，分布式內存文件系統是指以動態隨機存儲器（DRAM）作為文件和元數據的存儲介質，管理分布式環境下數據資源的文件系統。隨著DRAM價格的降低，DRAM的性價比優勢將不斷提高，未來DRAM有可能成為基本的存儲介質[4]。雖然非易失性隨機存儲器得到了長足的發展[5-8]，但易失性DRAM仍在計算機系統中占有絕對主導的地位。為了使分析更具普適性，本文中所提到的內存均指易失性DRAM。

2 傳統內存文件系統的發展

根據系統結構和工作方式的不同，傳統內存文件系統分為單機內存文件系統、并行內存文件系統兩類。單機內存文件系統只能在1臺計算機上部署和運行，提供串行的文件訪問服務。并行內存文件系統可以部署和運行于并行計算機上，提供并行的文件訪問服務。

2.1 單機內存文件系統

單機內存文件系統已經得到比較廣泛的應用，主要有RAM Disk、tmpfs[9]、Mfs[10]、Phoenix[11]、DMFS[12]、HeRMES[13]和Conquest[14]。根據其實現方式和作用，可以將單機內存文件系統分為以下3種：①直接利用易失性內存作為存儲介質，用于存放臨時文件；②采用后備電源的內存作為存儲介質；③構建盤/存混合的存儲系統[15]。

RAM Disk是將系統內存劃出一部分空間當作硬盤使用，在使用之前需要創建文件系統。它是通過驅動程序來提供磁盤的訪問接口，操作界面和使用方法與硬盤一樣。RAM Disk一般用于存儲臨時文件，以減少磁盤的訪問次數。因為RAM的易失特性，所以，如果系統掉電，其中的數據都將丟失。tmpfs和Mfs是基于虛擬內存的文件系統，它們能夠使用已有的內核接口、系統資源和系統工具，能夠根據數據量的大小動態地調整文件系統的占用空間，并能盡量減少對其他內存資源的影響。tmpfs和Mfs只需要簡單地掛載就能夠運行和使用，一般僅用于存放臨時文件。

Phoenix是將SRAM組織成內存盤，并通過后備電源保證系統的可靠性。它維護2個帶時間戳的內存文件系統，通過寫時拷貝與垃圾回收技術來實現系統的回退功能，以保證數據的安全性。

陳錫明等為了緩解服務器的I/O瓶頸，研究并設計了基于內存的分布式文件服務器DMFS，以克服分布式文件服務器輸入輸出問題。它將需要提供服務的文件直接放在內存中，供分布式系統中的客戶訪問。文章對DMFS的組成和結構及其提供的服務等做了形式化描述，設計的DMFS能夠提供文件的組織、存儲、檢索、命名、保護、對共享信息的管理、為用戶提供透明的文件訪問服務、目錄服務、事務服務等。HeRMES和Conquest均是利用非易失性內存作為持久存儲介質，研究和構建盤/存混合系統。HeRMES簡化了文件系統元數據的結構，并將其存放在MRAM中，以提高訪問性能。Conquest將文件系統元數據、小文件、可執行文件和共享庫都放在非易失性內存中，減少磁盤的訪問次數。

2.2 并行內存文件系統

并行內存文件系統的研究有2種思路和方法：①在內存中模擬現有的并行磁盤文件系統；②重新設計和構建并行內存文件系統[15]。

Network Ram Disk（NRD）[16]將Cluster中服務器節點的部分虛擬內存組成一個同構的內存空間?？蛻舳送ㄟ^NRD驅動程序所見的就是一個虛擬磁盤，其性能是磁盤的4～8倍。

楊學軍等人在專著[15]中詳細闡述了并行內存文件系統的概念、結構、組織方式和高可用技術，并設計了原型系統YH-MPFS。文中提出了并行內存文件系統的概念，并從應用需求、技術發展和解決途徑3個方面闡述了設計并行內存文件系統的必要性。從應用需求看，小粒度、隨機I/O訪問模式并不少見；從技術發展因素看，內容的容量不斷增大，價格持續下降；從解決途徑看，磁盤文件Cache難以高效利用大量內存，移動數據頻繁，需要維護數據一致性，可能導致偽共享和Cache污染問題。因此，采用內存文件系統方式來緩解I/O問題是一種比較好的方式。

文章研究了數據的物理組織方式，分析了基于復制的分布內存組織技術和類RAID的分布內存組織技術，提出了冗余內存陣列的概念。該方法是利用RAID技術將分布于各節點的可用內存組成冗余內存陣列，利用內存的分布性來提供并行I/O訪問。文章還針對內容容量的異構型，研究了多種基于冗余內存陣列的構建方案和物理組織方式。

文章指出將傳統文件系統邏輯組織技術直接用于并行內存文件系統會存在諸多不足，所以，針對內存特性提出了按數據對象組織的文件模型，并闡述了該文件模型的元數據組織、用戶訪問接口和處理流程。

文章還分析了并行內存系統的高可用問題，提出了高可用技術框架，重點研究了基于備份/回復和基于檢查點/重啟的高可用技術，最后簡要介紹了原型系統YH-MPFS。

3 分布式內存文件系統的特點

在Web 2.0飛速發展的背景下，系統必須能夠存儲海量數據，并具有低延遲和高吞吐量的性能。雖然傳統的關系型數據庫功能強大，但其可擴展性差；而現有的key-value數據庫，雖然可擴展性強，但性能仍然不能滿足要求。這主要是由于系統性能受到磁盤I/O性能的制約。

分布式內存文件系統部署和運行于分布式環境中，能夠滿足高速讀寫的訪問服務。為了解決磁盤I/O問題，John Outerhout提出了基于DRAM的云存儲——RAMClouds[3]。它將數據完全存儲于DRAM中，其目標是提供優于基于硬盤存儲100～1 000倍的數據吞吐量和100～1 000倍的訪問延遲。文章認為，以DRAM作為存儲介質后，應從根本上改進現有的數據存儲模式，必須重新考慮以下問題。

3.1 網絡延遲

目前，典型的網絡延遲為300～500 us，網絡延遲將成為制約系統性能發揮的瓶頸。因此，需要重新設計交換機，盡量減少軟件中斷和數據轉發次數，并使用UDP進行網絡通信。

3.2 數據可靠性

DRAM是易失性存儲介質，必須重新設計副本策略來保證數據的安全性，RAMClouds提出并發寫數據備份策略。

3.3 數據模型

在實際工作中，必須重新設計基本數據模型，重新設計基本數據聚合成高級數據結構的方法，并設定不同的數據模型如何定位和使用。

3.4 數據分布和系統的可擴展性

RAMClouds必須實現節點的自組織與自配置，具有高效的數據分配額算法和負載平衡技術。

3.5 并發控制與一致性

因為RAMClouds速度快，所以，沖突概率小，一致性更高。因此，可以考慮放棄比較嚴格的ACID[17]策略，以實現高可擴展和高并發。

3.6 區分服務

RAMClouds必須能夠為不同用戶提供不同等級的存儲容量、網絡帶寬和優先級服務。

3.7 客戶端/服務器的功能劃分

在設計RAMClouds時，必須劃分好客戶端和服務器各自的功能。這就需要考慮緩存、故障恢復、訪問控制等。

3.8 自管理

RAMClouds必須能夠實現自動管理，自行監控系統的運行狀態。RAMClouds基于的集群包含了40個節點，每一個數據節點均構建于常用硬件之上，配有CPU、磁盤和24～32 GB的RAM。RAMClouds的目標是提供一種持久化和高可用的存儲方案。

4 結論

分布式內存文件系統具有高數據吞吐量、低訪問延遲和文件語義等優勢，是解決磁盤I/O問題的可行方式之一。未來，分布式內存文件系統需要根據負載的類型選擇合適的數據組織結構，需要基于空間局部性和資源利用率實現負載平衡，并保證系統和數據的可用性，以適應不同應用環境的性能需求。

［1］Nieuwejaar N，Kotz D，Purakayastha A，et al.File-Access Characteristics of Parallel Scientific Workloads［J］.IEEE Transactions on Parallel and Distributed Systems，1996，7（10）：1075-1089.

［2］Roselli D，Lorch J R，Anderson T E.A Comparison of File System Workloads［C］//Proceedings of 2000 USENIХ Annual Technical Conference.Monterey，San Diego，California，2000：18-23.

［3］Outerhout J，Agrawal P，Erickson D，et al.The Case for RAMClouds：Scalable High-Performance Storage Entirely in DRAM［J］.Operating Systems Review，2009，43（4）：92-105.

［4］許春聰，黃小猛，吳諾，等.分布式存儲系統性能評測與性價比分析［J］.計算機學報，2010，33（10）：1873-1880.

［5］WANG AA，REIHER P，POPEK G J.Conquest：Better Performance Through a Disk/Persistent-RAM Hybrid File System［C］//Proceedings of 2002 USENIХ Annual Technical Conference.Monterey，2002：15-18.

［6］Daughton J.Magnetoresistive Random Access Memory（MRAM）［EB/OL］.2000.http://www.nve.com/otherbiz/mram.pdf.

［7］Micron DRAM Product Information［EB/OL］.2002.http://www.micron.com （under DRAM and data sheets）.

［8］Kryder M H，Kim C S.After Hard Drives——What Comes Next？［J］.IEEE Transactions on Magnetics， 2009，45（10）：3406-3413.

［9］Snyder P.tmpfs：A virtual memory file system［C］//Proceedings of the Autumn 1990 European UNIХ Users’Group Conference.Nice，France，1990：241-248.

［10］McKusick M K，Karels M J，Bostic K.A Pageable Memory Based Filesystem［C］//Proceedings of the Summer 1990 Usenix Technical Conference.Anaheim California：UsenixAssociation，1990.

［11］Gait J.Phoenix：A Safe In-Memory File System［J］.Communication of theACM，1990，33（1）：81-86.

［12］陳錫明，盧顯良，宋杰.分布式內存文件服務器（DMFS）的研究和設計［J］.小型微型計算機系統，2000，21（1）：60-63.

［13］Miller E L，Brandt S A，Long D D E.HeRMES：High-Performance Reliable MRAM-Enabled Storage［G］//Proceedings of the 8th IEEE Workshop on Hot Topics in Operating Systems（HOTOS-VIII）.Schloss Elmau，Germany，2001：83-87.

［14］WangAI，Reiher Peter L，Popek G J，et al.Conquest：BetterPerformance through a Disk/Persistent-RAM Hybrid File System［C］//Proceedings of the 2002 USENIХ Annual Technical Conference.Monterey，2002：15-28.

［15］楊學軍，王磊，蔣艷凰.并行內存文件系統［M］.長沙：國防科技大學出版社，2005.

［16］Flouris M，Markatos E P.The Network RamDisk：Using remote memory on heterogeneous NOWs［J］.Cluster Computing，1999，2（4）：281-293.

［17］Gilbert S，Lynch N.Brewer’s conjecture and the feasibility of consistent，available， partition-tolerant Web services［J］.ACM SIGACT News，2002，33（2）：51-59.

許春聰（1980—），男，主要研究領域為云計算、分布式文件系統。文海雄（1976—），男，主要研究領域為數據管理、信息服務。劉釗（1983—），男，主要研究領域為分布式系統、網絡安全。鄭強（1986—），男，主要研究領域為并行分布式處理、模式識別。韓鵬（1985—），男，主要研究領域為數據挖掘、算法。

〔編輯：白潔〕

TP301

A

10.15913/j.cnki.kjycx.2017.24.031

2095-6835（2017）24-0031-03

本論文受軍隊某重大科研項目支持