基于備份的RAID1在線重構框架

徐　偉

(國家安全生產監督管理總局通信信息中心　北京 100713)

0　引　言

針對RAID在線重構研究，國內外相關研究從預測失效、spare布局、數據布局和重構策略四個方面來探索如何加速RAID在線重構。

預測失效主要使用磁盤自動檢測功能，探測出即將不能正常運行的磁盤，在失效前將其復制到spare盤上，從而減少重構時間，提高磁盤陣列可靠性。在大型peer-to-peer的存儲系統Oceanstore里也采取了磁盤失效預測技術[1]。但這種方式不能完全準確預測出磁盤失效。文獻[2]指出：現有技術只能預告實際磁盤故障的50%，其效果被夸大。

Spare布局分為Dedicated sparing[3]、Parity sparing[4]和Distributed sparing[5-7]這三種方式。Dedicated sparing模式專門用一塊磁盤作為空閑盤，當磁盤陣列發生磁盤失效，將失效磁盤上數據完全重構到spare磁盤。Parity sparing將spare磁盤作為第二塊parity盤，減少parity組長度。當陣列中某塊磁盤失效，兩個parity組融合生成一個更大的單一陣列，該陣列只有一個parity組。Distributed sparing將spare空間分布在所有磁盤上，而不是專門用一個磁盤作為spare盤。當陣列中某塊磁盤失效，失效磁盤上數據會被重構，并分布于所有磁盤的空閑空間。但當用戶負載急劇增加時，磁盤陣列重構性能顯著降低，重構時間大幅增加。

通過研究RAID的數據布局來加速重構過程是常用的一種方法。Decluster parity[8-9]通過虛擬邏輯盤構成磁盤陣列，設物理磁盤個數為C，虛擬邏輯盤個數為G，將(G-1)/(C-1)定義為α，C和G確定了parity數據消耗總磁盤空間，α確定了系統的重構性能。當α值越小，重構所需時間則越小，parity數據所占比例越大；當α值越大，重構所需時間則越大，parity數據所占比例越小。可以調節α，從而在重構和parity數據所占比例間取得平衡。但是，當α值很小時，用于parity數據的存儲開銷將非常大，而且當用戶負載很大時，重構所需時間仍然相當大。文獻[10]提出了一種新型數據布局方式提高了鏡像磁盤陣列重構過程。文獻[11]在RAID結構里構建了一個子陣列從而顯著加速數據重構過程。文獻[12-15]對RAID6編碼布局進行研究以便改善RAID6重構性能。文獻[16-17]也對磁盤陣列編碼布局進行研究，從而改善磁盤陣列重構性能。

重構策略[18]主要由重構對象、重構順序、重構與服務協作這三個方面組成。

重構對象主要分為面向條帶重構、并行條帶重構和面向磁盤重構。面向條帶重構是按條帶來進行重構的，并行條帶重構采取多個并行的面向條帶重構，面向磁盤重構采取與陣列中磁盤相同個數的進程，一個進程對應一個磁盤。但是，當用戶負載較大時，重構所需時間仍然相當長，且對服務性能影響顯著。文獻[19]描述了基于磁道的重構算法，利用該算法可以重構磁道上丟失數據。

重構順序主要分為Head-following、Closet active stripe、Multiple reconstruction points和基于局部性的多線程重構。Head-following重構的主要原理：重構磁盤總是從處于低地址的尚未重構單元進行順序重構。Closest active stripe重構的主要原理：在完成用戶請求時，總是從靠近磁頭位置的尚未重構單元進行重構。Multiple reconstruction points重構的主要原理：將磁盤分為多個重構段，在完成用戶請求時，從當前最近重構點開始重構。基于局部性的多線程重構的主要原理：利用用戶負載訪問的局部性，優先重構頻繁訪問的區域[20]。

重構與服務協作方面主要分為用戶請求操作、重構速率控制兩方面。

用戶請求操作處理方式分為直讀、回寫和直寫。直讀主要原理：如果用戶對失效磁盤讀請求所涉及數據已經被重構并已經在spare盤上，則直接從spare盤上讀取該數據。回寫的主要原理：用戶對失效磁盤讀請求重構出數據，該數據不僅被發送給用戶，而且被寫到spare盤上。直寫的主要原理：用戶的寫請求直接發送到spare盤上，寫入spare盤的相應位置。基于NAND閃存的高新能和可靠的PRAID-6[21]提出一種新型的數據提交方法從而獲得與RAID6同樣的恢復能力。文獻[22-23]通過對磁盤陣列讀寫方式和數據塊聚合來優化磁盤陣列讀寫性能。

重構速率控制主要在服務性能和重構速率之間尋找平衡點，從而使得服務性能處于用戶可承受范圍，盡可能提高重構速率[24-25]。文獻[26-27]指出可以根據磁頭移動軌跡來利用空閑帶寬處理后臺應用，這也有助于提高重構性能和服務性能。

還有其他方式[28-30]來加速磁盤陣列重構過程。文獻[28]通過將熱點數據復制到固態硬盤上來加速重構過程。文獻[29]在分布式RAID上利用獨立GPU加速重構過程。文獻[30]利用節點的計算編碼能力，傳輸經過編碼的數據塊來修復校驗盤，減少修復過程中的數據傳輸量，縮短校驗盤的修復時間。

針對RAID在線重構，國內外相關研究主要從預測失效、spare分布、數據分布、重構策略四個方面來提高磁盤陣列服務性能和重構性能。

在對數據存儲可靠性有高要求時，RAID1作為一種RAID技術，會被經常采用。但國內外現有研究始終無法解決重負載持續訪問情況下，RAID1的重構性能和服務性能急劇惡化這一問題。

而企業存儲網絡系統多數由生產系統和備份系統構成。生產系統由于直接對外提供服務，因此，其可靠性和可用性非常重要。尤其是大容量磁盤越來越便宜，備份系統越來越多采用磁盤存儲備份數據。

因此，本文首次提出了“利用外部存放的備份數據來加速RAID1在線重構”的思想，構建了基于備份的RAID1在線重構框架，從而充分挖掘了閑置磁盤備份的強大IO能力，顯著提高了繁忙生產系統內RAID1在線重構的速度。

1　設計思想

基于備份的RAID1在線重構框架的核心思想：當生產系統磁盤陣列RAID1出現磁盤失效時，可以由備份系統虛擬出失效磁盤處于最近備份時間點的歷史版本。通過將歷史版本恢復至熱備盤上，從而使得熱備盤成為處于最近備份時間點的版本。最后，利用生產系統虛擬出的當前版本將失效磁盤上自最近一次備份時間點之后已修改數據重構至spare磁盤上。此框架的主要優點為：利用備份系統所提供的穩定恢復帶寬，顯著降低了應用負載對重構過程的影響。同時，顯著減少了磁盤陣列RAID1參入重構，使得磁盤陣列RAID1優先滿足用戶服務。

重構過程分為兩個階段：版本恢復階段和版本修復階段。當生產系統出現磁盤失效時，激活spare磁盤，如圖1(a)所示。首先，重構過程進入版本恢復階段；spare硬盤從生產系統中換出，完全由備份系統將失效磁盤處于最近備份時間點的歷史版本恢復至spare磁盤，從而將spare磁盤恢復成失效磁盤處于最近備份時間點的版本，如圖1(b)所示。然后重構過程進入版本修復階段；將spare磁盤重新加入到生產系統磁盤陣列中，利用與失效磁盤構成RAID1的另一塊磁盤將spare盤修復為當前版本，從而完成失效磁盤上自最近一次備份時間點之后已修改數據的重構，如圖1(c)所示。通過版本恢復階段和版本修復階段，完成spare磁盤的數據重構，從而將生產系統恢復到正常運行狀態，如圖1(d)所示。

圖1　此框架的重構過程

2　設計實現

基于備份的RAID1在線重構框架的原型系統主要由面向數據的磁盤陣列架構、映射管理、恢復管理和重構管理四部分構成，通過這四部分協作，完成磁盤陣列RAID1在線重構過程。

2.1　面向數據的磁盤陣列架構

通過對傳統磁盤陣列進行簡單改進，我們實現了面向數據的磁盤陣列架構。面向數據的磁盤陣列架構與傳統磁盤陣列架構根本差異就是：面向數據的磁盤陣列中未被使用邏輯塊上數據一定為零。我們使用一個全局位圖記錄磁盤陣列中所有邏輯塊(數據塊)的使用情況，并通過在傳統磁盤陣列轉發讀寫請求路徑上添加訪問位圖接口，從而實現了面向數據的磁盤陣列架構。面向數據磁盤陣列必須按照條帶分配和釋放邏輯單元，以避免引起附加的讀寫操作。

2.2　映射管理

映射管理主要負責以下三類映射關系的建立和維護：1) 邏輯卷邏輯塊與最新備份數據塊的映射關系；2) 失效磁盤邏輯塊與最新備份數據塊的映射關系；3) 失效磁盤上自最近備份時間點之后修改數據塊的位置標識。如圖2所示。

圖2　磁盤邏輯塊與最新備份數據塊的映射關系

圖2(a)描述了版本、邏輯卷、磁盤陣列和磁盤之間的映射關系。假設磁盤陣列RAID1由disk0、disk1兩塊磁盤構成；磁盤上邏輯塊、RAID1上chunk、邏輯卷(lv1)空間分配粒度和備份數據塊都為4 KB；一個邏輯卷lv1已被創建；邏輯卷lv1做了兩次備份，第一次備份版本為version_1，第二次備份版本為version_2；位圖lv1-bmp為自最近一次備份時間點之后的差別增量位圖，也就是第二次備份時間點之后的差別增量位圖。

如圖2(a)所示，邏輯卷lv1的第0邏輯塊和第4邏輯塊未分配實際磁盤邏輯塊，邏輯卷lv1第1塊映射到磁盤disk0和disk1的第0塊(d00和d01)，lv1其余邏輯塊與磁盤上邏輯塊的映射關系不再贅述；邏輯卷lv1的version_1上數據塊v110，根據version_1的位圖，v110對應lv1的第1塊數據(處于version_1時刻)，其余版本所保存的數據塊與邏輯卷lv1邏輯塊的映射關系不再贅述；根據位圖lv1-bmp，邏輯卷lv1的第1個邏輯塊自最近一次備份時間點之后被修改；磁盤邏輯塊d01、d11、d04、d14、d05和d15未被使用，其上數據為零。

圖2(a)的映射關系、邏輯卷與磁盤陣列邏輯塊的映射關系、以及磁盤陣列與磁盤邏輯塊的映射關系，可以計算出任一磁盤邏輯塊與最新備份數據塊的映射關系。根據圖2(a)所描述的映射關系，計算出disk0和disk1這兩塊磁盤的數據塊與備份數據塊的映射關系，如圖2(b)所示。在圖2(b)中，備份數據塊v110映射在disk0和disk1的第0塊(d00和d10)上，其余不再贅述。

圖2(c)描述了各磁盤上自最近一次備份時間點之后修改數據的位置標識(版本修復位圖)。在圖2(a)中，根據位圖lv1-bmp，可知磁盤disk0邏輯塊d00和磁盤disk1邏輯塊d01數據自最近一次備份之后已被修改。因此，生成了磁盤disk0和disk1自最近一次備份時間點之后修改數據的位置標識。

圖2(d)中描述了使用最新數據塊來生成各磁盤邏輯塊數據。如圖2(d)所示，磁盤disk0邏輯塊d02數據相同于備份數據塊v211，其他不再贅述；由于磁盤disk0邏輯塊d00和磁盤disk1邏輯塊d01自最近一次備份時間點后被修改，所以磁盤disk1邏輯塊d01等同于磁盤disk0邏輯塊d00。

2.3　恢復管理

恢復管理構件由多個讀線程和一個寫線程構成，映射管理構件由一個線程構成。當恢復管理構件進行spare磁盤的恢復操作時，映射管理構件并行生成映射關系和版本修復位圖。

恢復管理構件采取多個讀線程并發讀取備份數據。一個讀線程從映射緩沖內順序取出一個映射關系，對于數據，將相應數據(一塊備份數據)讀出，存放于數據緩沖相應位置。當某個讀線程完成數據讀取后，則順序處理還未讀取的數據。

恢復管理構件采用單個寫線程將數據順序寫入spare磁盤。恢復管理構件有兩個數據緩沖，當讀線程讀取數據并存放于一個緩沖時，寫線程將已放滿數據的另一個緩沖中數據寫入spare盤中。

2.4　重構管理

在此原型系統中，重構管理構件僅負責版本修復階段。通過版本修復位圖和輔助位圖兩者合作，重構管理構件實現了版本修復功能。版本修復位圖是自最近備份時間點之后修改數據的位置標識，輔助位圖上所有位初始為0，兩個位圖上每一位與磁盤上4 KB邏輯塊一一對應。通過版本修復位圖和輔助位圖之間合作，可以判斷邏輯塊上數據是否有效。spare磁盤邏輯塊上數據被定義了兩種狀態：

VALID——如果版本修復位圖中某位為0或者輔助位圖中某位為1，則對應邏輯塊上數據有效。

INVALID——如果版本修復位圖中某位為1，且輔助位圖中相應位為0，則對應邏輯塊上數據無效，即邏輯塊上數據自最近一次備份時間點之后已被修改。

在版本修復階段，版本修復位圖和輔助位圖協作過程如下：

1) 按照版本修復位圖和輔助位圖，順序發出對于無效數據塊的重構請求。當所計算出的數據被寫入spare磁盤對應邏輯塊之后，則將輔助位圖上相應位設為1，從而標識對應邏輯塊上數據已經有效。

2) 用戶讀請求發送給RAID1時，先直接讀取正常磁盤相應邏輯塊上數據；如果spare磁盤對應邏輯塊上數據無效，則將其寫入spare盤，同時，將輔助位圖上相應位設為1，從而標識spare盤被訪問邏輯塊上數據已經有效。

3) 用戶寫請求發送給RAID1時，當寫請求發送給正常磁盤時，同時發送給spare盤，并將版本修復位圖上相應位設為1；寫請求完成之后，則將輔助位圖上相應位設為1，標識spare盤被訪問邏輯塊上數據已經有效。

通過面向數據的磁盤陣列架構、映射管理、恢復管理和重構管理四個構件，我們實現了基于備份的RAID1在線重構框架的原型系統。

3　性能評價

本文主要使用面向磁盤重構算法DOR(Disk-Oriented Reconstruction)與基于備份的RAID1在線重構框架進行對比。因為DOR方法是現有重構方法中最有效算法之一，而且已經被實現于許多軟RAID1和硬RAID1產品中，并且在許多文獻中受到最廣泛的研究。

本節的測試配置如下設置：cello99(12-25、10-05)和F1.spc應用模式；對于cello99和F1.spc這兩種應用模式，生產系統RAID1單塊磁盤容量分別設為92 GB和31 GB；邏輯卷空間分配粒度為32 MB，完全隨機分配；生產系統RAID1中1塊磁盤失效；4 KB、8 KB和16 KB備份版本集合；每個邏輯卷對應備份版本集合包含了184個版本；備份系統RAID5由6塊磁盤構成；恢復管理模塊里讀線程數目設置為30，寫線程數目設置為1。

在本節論述中，4 KB表示為：備份版本集合的備份粒度為4 KB；8 KB、16 KB含義與4 KB類似，不再贅述。

3.1　重構性能

圖3描述了基于備份的RAID1在線重構框架的重構性能相對于DOR提高倍數。從圖3中，可以得出以下結論：基于備份的RAID1在線重構框架的重構性能相對于DOR有顯著改善。在圖3中，對于cello99-12-25應用負載(每天修改數據量較小且負載壓力較小)，此框架的重構性能比DOR提高了4.8至6.4倍；而對于cello99-10-05應用負載(每天修改數據量較小且負載壓力較大)，此框架的重構性能比DOR提高了15.1至17.8倍；對于F1.spc(每天修改數據量非常大)，此框架的重構性能也比DOR提高了3倍左右。

圖3　此框架重構性能相對于DOR提高倍數

當RAID1存儲空間遠大于邏輯卷實際分配空間時，相對于DOR，此框架對重構性能有巨大改善。

3.2　服務性能

圖4描述了基于備份的RAID1在線重構框架的總體平均響應時間相對于DOR降低百分比。從圖4中，可以得出以下結論：基于備份的RAID1在線重構框架的總體平均響應時間相對于DOR有顯著改善。如圖4所示，對于cello99-12-25應用負載，此框架的總體平均響應時間比DOR降低28%左右；而對于cello99-10-05應用負載，此框架的總體平均響應時間比DOR降低38%左右；對于F1.spc應用模式，此框架的總體平均響應時間比DOR降低了20%左右。

圖4　此框架平均響應時間相對于DOR降低百分比

4　代價分析

4.1　磁盤陣列備份映射關系的維護開銷

為了在發生磁盤失效時能夠盡快建立起所需映射關系，必須維護最新備份數據塊與磁盤陣列上邏輯塊的映射關系(磁盤陣列備份映射關系)。維護此類映射關系的空間開銷和時間開銷如表1所示。

表1　磁盤陣列備份映射關系的維護開銷

其中，磁盤容量表示為D，單位為TB；磁盤陣列容量表示為R，單位為TB，R與D相等；備份數據塊粒度表示為A，單位為KB；映射關系單元占用8個字節；順序讀寫性能表示為P，單位為MB/s；映射關系所占空間為(8×R)/A，單位為GB。

1) 空間開銷。假設磁盤容量為8 TB，備份數據塊為4 KB，生產系統上磁盤陣列存儲容量為8 TB；由于備份系統上存儲容量一般大于生產系統，假設備份系統上存儲容量為8 TB；如表1所示，該映射關系占用16 GB空間，僅占備份系統上存儲容量的0.2%；假如備份數據塊粒度為64 KB時，僅占備份系統上存儲容量的0.012 5%。因此，日常所需維護的映射關系所產生的空間開銷可以忽略不計。

2) 時間開銷。在備份系統上進行日常維護，日常維護映射關系的算法如下：首先從生產系統里讀取邏輯卷和磁盤陣列邏輯塊映射關系；讀取邏輯卷最新備份版本位圖；然后在內存中更新磁盤陣列備份映射關系(順序排列)，每500 MB寫回一次；每個邏輯卷依次進行。

測試配置如下設置：生產系統上磁盤陣列RAID1由2塊磁盤構成，單塊磁盤容量為8 TB；空間分配粒度為32 MB，完全隨機分配；4 KB備份版本集合；生產系統RAID1分配了64個128 GB邏輯卷；備份系統為單塊磁盤,磁盤容量為8 TB，存放了64個邏輯卷全量備份的備份版本位圖，也即每個備份版本位圖所有bit位為1，每個備份版本位圖為4 MB。最新備份數據塊與磁盤陣列邏輯塊的映射關系文件為16 GB，也存放在備份系統單塊8 TB磁盤上。測試結果顯示更新磁盤陣列備份映射關系只需要14.6分鐘。而且，在備份系統上通常采用磁盤陣列，則讀寫性能會更高，磁盤陣列備份映射關系維護時間開銷將更少。

4.2　失效磁盤備份映射關系的建立開銷

當磁盤陣列發生磁盤失效時，需要建立失效磁盤邏輯塊與最新備份數據塊的映射關系(失效磁盤備份映射關系)，本節主要考察了建立失效磁盤備份映射關系的開銷。

測試配置如下設置：生產系統上磁盤陣列RAID1由2塊磁盤構成，單塊磁盤容量為8 TB；其中，1塊磁盤失效；空間分配粒度為32 MB，完全隨機分配；4 KB備份版本集合；生產系統RAID1分配了64個128 GB邏輯卷；1個16 GB磁盤陣列備份映射關系文件存放在單塊磁盤上。測試結果顯示，失效磁盤備份映射關系的建立速度與磁盤陣列備份映射關系讀取速度相同，接近單塊磁盤順序讀寫性能(60 MB/s)。

4.3　相關位圖的開銷

相對于傳統RAID重構方法，該框架增加了全局位圖、版本修復位圖和輔助位圖，所引起的開銷如表2所示。在表2中，磁盤容量表示為D，單位為TB；磁盤數為2個；備份數據塊粒度表示為A，單位為KB；輔助位圖和版本修復位圖大小則為D×1 024/(A×8)，單位為MB。

表2　位圖規模

1) 訪問開銷。由于全局位圖、版本修復位圖和輔助位圖都存放于內存中，因此，訪問這三個位圖所產生的開銷可以忽略不計。

2) 空間開銷。1 TB存儲容量一般配置3 GB內存，假設D為1 TB，磁盤數為2，磁盤陣列為RAID1，備份數據塊粒度為4 KB；如表2所示，版本修復位圖和輔助位圖都為32 MB，全局位圖為32 MB，僅為系統內存總量3 GB的3.1%。因此，三個位圖的空間開銷幾乎可以忽略不計。

5　結　語

對于RAID1在線重構的研究，國內外現有研究一直解決不了重負載持續訪問下磁盤陣列RAID1重構性能急劇惡化的問題。應用負載所訪問的磁盤陣列RAID1歸于生產系統，日常備份已經成為保證數據可靠性的一種常用手段。

因此，本文提出了“利用外部存放的備份數據來加速RAID1在線重構”的思想，并對此進行了深入研究，構建了基于備份的RAID1在線重構框架。此框架利用備份系統所提供的恢復帶寬將處于最近一次備份時間點的版本數據整合至spare盤。然后利用磁盤陣列RAID1所提供的重構帶寬將自最近一次備份時間點之后已修改數據重構至spare盤。此框架相對于現有重構方法顯著改善了RAID1的重構性能和服務性能。

我們下一步工作將根據RAID6工作原理，構建基于備份的RAID6在線重構框架。

[1] Rhea S, Wells C, Eaton P, et al. Maintenance-free global data storage[J]. IEEE Internet Computing, 2001, 5(5):40-49.

[2] Pinheiro E, Weber W D, Barroso L A. Failure Trends in a Large Disk Drive Population[C]//The Proceedings of the 5th USENIX Conference on File and Storage Technologies (FAST’07), 2007:33-48.

[3] Menon J, Mattson D. Comparison of Sparing Alternative for Disk Arrays[C]//Proceedings of the 19th International Symposium on Computer Architecture, 1992, 11: 318-329.

[4] Reddy A L N, Chandy J, Banerjee P. Design and Evaluation of Gracefully Degradable Disk Arrays[J]. Journal of Parallel & Distributed Computing, 1993, 17(1-2):28-40.

[5] Rigby N M, Macdougall A J, Needs P W, et al. Performance analysis of RAIDS disk arrays with a vacationing server model for rebuild mode operation[C]//Tenth International Conference on Data Engineering. IEEE Computer Society, 1994:111-119.

[6] Qin X, Miller E L, Schwarz S J T J E. Evaluation of distributed recovery in large-scale storage systems[C]//IEEE International Symposium on High PERFORMANCE Distributed Computing, 2004. Proceedings. IEEE, 2004:172-181.

[7] Thomasian A. Comment on “RAID5 performance with distributed sparing”[J]. Parallel & Distributed Systems IEEE Transactions on, 2006, 17(4):399-400.

[8] Muntz R, Lui J. Performance Analysis of Disk Arrays Under Failure[C]//Proceedings of the 16th International Conference on Very Large Data Bases, 1990, 3: 162-173.

[9] Watanabe A, Yokota H. Adaptive Overlapped Declustering: A Highly Available Data-Placement Method Balancing Access Load and Space Utilization[C]//International Conference on Data Engineering, 2005. ICDE 2005. Proceedings. IEEE, 2005:828-839.

[10] Luo X, Shu J, Zhao Y. Shifted Element Arrangement in Mirror Disk Arrays for High Data Availability during Reconstruction[C]//International Conference on Parallel Processing. IEEE, 2012:178-188.

[11] Wan J, Wang J, Xie C, et al. S2-RAID: Parallel RAID Architecture for Fast Data Recovery[J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(6):1638-1647.

[12] Xie P, Huang J Z, Cao Q, et al. V2-Code: A new non-MDS array code with optimal reconstruction performance for RAID-6[C]//Proceedings of IEEE International Conference on Cluster Computing, 2013,1-8.

[13] Xie P, Huang J Z, Dai E W, et al. An efficient data layout scheme for better I/O balancing in RAID-6 storage systems [J]. Frontiers of Information Technology & Electronic Engineering, 2015 , 16 (5) :335-345.

[14] Fu Y, Shu J, Luo X, et al. Short Code: An Efficient RAID-6 MDS Code for Optimizing Degraded Reads and Partial Stripe Writes[J]. IEEE Transactions on Computers, 2016, 66(1):127-137.

[15] 謝平. RAID-6編碼布局及重構優化研究[D].武漢：華中科技大學,2015.

[16] 羅象宏. 磁盤陣列的編碼與容錯技術研究[D].北京：清華大學，2014.

[17] 萬武南 , 楊威. 一種基于雙容錯RDP碼的擴展RAID碼[J]. 小型微型計算機系統, 2014 , 35 (11) :2477-2481.

[18] Fu G, Thomasian A, Han C, et al. Rebuild Strategies for Redundant Disk Arrays[C]//Symposium on Mass Storage Systems. 2004:223-226.

[19] Lee J Y B, Lui J C S. Automatic recovery from disk failure in continuous-media servers[J]. Parallel & Distributed Systems IEEE Transactions on, 2002, 13(5):499-515.

[20] Tian L, Feng D, Jiang H, et al. PRO: A Popularity-based Multi-threaded Reconstruction Optimization for RAID-Structured Storage Systems[C]//Usenix Conference on File and Storage Technologies, FAST 2007, February 13-16, 2007, San Jose, Ca, Usa. DBLP, 2007:277-290.

[21] 陳金忠, 姚念民, 蔡紹濱. 基于NAND閃存的高性能和可靠的PRAID-6[J]. 電子學報，2015, 43 (6): 1211-1217.

[22] 王俊杰. 通用磁盤陣列RAID性能分析及優化[D].西安工程大學,2015.

[23] 劉靖宇,譚毓安,薛靜鋒,等. S-RAID中基于連續數據特征的寫優化策略[J]. 計算機學報, 2014 , 37 (3) :721-734.

[24] Bachmat E, Schindler J. Analysis of methods for scheduling low priority disk drive tasks[J]. Acm Sigmetrics Performance Evaluation Review, 2002, 30(1):55-65.

[25] Tian Lei, Jiang Hong, Feng Dan, et al. Implementation and Evaluation of a Popularity-Based Reconstruction Optimization Algorithm in Availability-Oriented Disk Arrays[C]//IEEE Conference on MASS Storage Systems and Technologies. IEEE Computer Society, 2007:233-238.

[26] Lumb C R, Schindler J, Ganger G R, et al. Towards higher disk head utilization:extracting free bandwidth from busy disk drives[C]//4th Symposium on Operating System Design & Implementation, 2000,3:7.

[27] Thereska E, Schindler J, Bucy J, et al. A framework for building unobtrusive disk maintenance applications[C]//Usenix Conference on File and Storage Technologies. USENIX Association, 2004:16-16.

[28] Liu F, Pan W, Xie T, et al. PDB: A Reliability-Driven Data Reconstruction Strategy Based on Popular Data Backup for RAID4 SSD Arrays[M]//Algorithms and Architectures for Parallel Processing. 2013:87-100.

[29] Khasymski A, Rafique M M, Butt A R, et al. On the Use of GPUs in Realizing Cost-Effective Distributed RAID[C]//IEEE, International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. IEEE Computer Society, 2012:469-478.

[30] 高玲玲，許胤龍，王英子，等. 基于RAID6編碼的校驗盤故障修復算法[J]. 計算機應用與軟件，2014, 31(6)：248-251,302.