超低功耗云存儲系統
——cStor

南京云創大數據科技股份有限公司 袁高峰 吳亞洲

?

超低功耗云存儲系統
——cStor

南京云創大數據科技股份有限公司 袁高峰 吳亞洲

【摘要】文章針對超低功耗云存儲系統cStor的外部架構、軟件架構進行了分析，探析了cStor低功耗儲存節點，并對cStor云存儲系統性能進行了測試研究，以供參考。

【關鍵詞】云儲存；超低功耗；PB級

課題項目：本研究得到了國家科技支撐計劃課題任務“基于云計算平臺的OTT智能終端應用示范”（項目編號：2012BAH57F00，課題編號：2012BAH57F01）的資助。

1 cStor的架構分析

1.1 cStor的外部架構

超低功耗云儲存系統的組成部分包括：機架套件、1臺主交換機和1臺備用交換機、1臺主元服務器和1臺備用元服務器、18臺2U尺寸超低功耗儲存服務器節點。通常在機柜的一面可以用來部署硬盤。cStor采用了低功耗的ARM架構設計，散熱量相對較小，并且能夠進行雙面插盤，并且最大插盤容量多達384塊。由于cStor通常采用3TB/4TB硬盤，因此其總儲存容量為1.125PB/1.5PB。cStor整個系統結構主要包括32個機箱，每一個機箱設有4個3W的風扇；2個200W的Master節點；2個150W的交換機；24個15W的主板；384塊5W平均功耗的硬盤。cStor超低功耗云儲存系統具有吞吐量高、容量超高、價格超低以及功耗超低等眾多優點，同時還可以利用軟件虛擬化整合ARM超低功耗云儲存服務器儲存空間中儲存的所有資源，能夠顯著地提高超低功耗云儲存系統的容錯率。并且Master服務器、交換機、電源、主板以及硬盤等相互之間冗余，當單個節點出現異?；蛘吖收现?，并不會對其他節點以及整個系統的運行產生影響。

1.2 cStor的軟件架構

cStor超低功耗云儲存系統通常采用分布式的儲存機制，能夠將系統中的數據分散在多臺獨立的儲存服務器上，并且采用包括了客戶端節點、數據儲存節點服務器以及元數據管理服務器的虛擬海量儲存卷，其軟件架構圖由元數據管理服務器進行所有元數據的保存，同時對整個文件系統的數據進行管理，采用主備雙機鏡像的元數據管理服務器，這樣當主元數據管理服務器出現故障之后，備用元數據管理服務器運作，以此保證整個系統能夠連續的服務，避免出現元數據管理服務器故障導致服務中斷的現象?？蛻舳耸菍ν馓峁祿L問與儲存的窗口，在數據儲存節點服務器上安裝客戶端。通過利用該種軟件架構能夠為實現超低功耗云儲存系統的設計和實現提供便利。數據儲存節點服務器的主要任務是采用文件的形式對cStor系統中的數據進行儲存，但是由于cStor系統中數據儲存節點服務器的數量不固定，其數量的多少則會影響cStor系統的規模。同時，為了實現cStor軟件架構的設計還需要利用以下技術：

1.2.1 高可用技術

因為超低功耗云儲存系統采用低耦合分布式架構，通過網絡進行所有服務節點的連接，在不停止服務的前提下能夠進行系統節點的增加和刪除，通過注冊管理機制對元數據管理服務節點與儲存節點進行自適應管理。

1.2.2 高可靠保障技術

元數據的容錯功能由cStor操作日志實現，采用這種操作方式當管理節點發生異常或者故障時，只要磁盤數據沒有收到損壞，就能夠快速的恢復上述已發生故障的元數據。同時，為了避免管理節點在運行的過程中出現異?；蛘邌栴}導致的死機故障，cStor還應該采用高可靠保證技術對管理節點進行遠程控制和實時備份，這樣即使管理節點在運行的過程中出現故障或者問題沒有辦法工作，備用管理節點動作，以此保證元數據處理工作的連續性。

1.2.3 高速并發訪問技術

基于客戶端的實際需求在進行cStor的訪問時，通常并不是直接訪問cStor，而是先進行管理節點的訪問，這樣能夠獲得和客戶端交互的儲存節點中儲存的信息，然后客戶端對這些儲存節點中存在的信息進行直接訪問并完成相應數據信息的的儲存和提取，采用這種設計方式能夠實現cStor系統對數據流與控制流的分離和控制。為了能夠降低管理節點的負載，通常在管理節點和客戶端之間并不會通過數據流，而只會通過管理流，采用這種方式能夠實現存儲節點和客戶端之間數據流的直接傳輸。此外，因為系統中的文件會被分成不同的數據塊，因此通常采用分布式的方式進行相應數據的儲存，因此客戶端能夠同時進行多個儲存節點的訪問，進而實現整個系統的高度并行。

1.2.4 負載自動均衡技術

cStor云儲存文件系統的管理由中心服務器執行，管理節點上保存所有的元數據，文件則劃分為多個模塊分別儲存在相應的儲存節點上，管理節點對整個系統內存儲節點的使用狀況進行掌控，同時維護一個統一的命名空間，客戶端可以向元數據服務器發生指令，例如數據讀寫指令，元數據服務器根據儲存節點的網絡負擔狀況和磁盤使用狀況，對負載負擔進行自動局呢航，并選擇負擔最輕的儲存節點為客戶端提供相應的服務。同時，一個儲存節點發生故障之后不能正常運行，此時管理節點會自動將發生故障的儲存節點屏蔽掉，同時該儲存節點處于離線狀態不再對客戶端提供服務，并且該儲存節點的數據也會自動備份至其他儲存節點，并由其他儲存節點向客戶端提供相應的服務，以此保證為客戶端提供不間斷的服務。

2 低功耗儲存節點

根據cStor超低功耗云儲存系統的實際要求應該采用低功耗主板，該主板采用《MV78460四核CPU，并且該CPU的主頻為1.6GHz，DDR3內存為1GB，組件主要包括：1個2GBNAND FLASH、4個miniSAS接口、2個10M/100M/1000M自適應網口?；贛arvell的MV78460研發了高端和低能耗的嵌入式處理器的CPU的儲存節點的主板MS316。MV78460屬于工業級四核ARM CPU，采用了超低功耗架構和1.6GHz主頻的ARM7核CPU，由于應用了高級的制造工藝和實際技術，能夠將高性能網絡服務滲透至高容量服務中，例如媒體服務器、網絡連接式儲存器。

3 cStor性能測試

3.1 系統測試

cStor系統測試主要針對MS316性能進行測試，系統測試結果表明，當客戶端數據條件相同時，當節點數量增加時系統的讀寫性能也隨之在不斷的升高；當儲存節點相同時，當客戶端訪問數量在增加時客戶端的讀寫性能也隨之在不斷的升高。當儲存節點數量為18時，寫性能能夠達到500MB/s，讀性能能夠達到400MB/s。

3.2 硬件測試

硬件測試主要包括兩個方面：一方面，云儲存節點規格配置測試，測試采用cServerA2020（根據云服務器的應用要求而專門開發的一種功耗相對較低的儲存服務器），單個節點包括12個3TB的硬盤，因此單個節點的儲存容量為36TB；另一方面，節點性能測試，測試采用cServerA2020，測試結果表明：1MB、64kB、32kB文件在不同讀寫比例的IOPS分別超過500次/s、2000次/s、2200次/s。

4 結束語

綜上所述，文章所述的PB級超低功耗云儲存系統是一種結合了硬件和軟件的綜合系統，在cStor系統中存儲節點設備主板的功耗小于15W，單節點可以支持16塊磁盤，單節點的平均運行功率只有不到100W，當儲存節點數量為18時，寫性能能夠達到500MB/s，讀性能能夠達到400MB/s，1MB、64kB、32kB文件在不同讀寫比例的IOPS分別超過500次/s、2000次/s、2200次/s。

參考文獻

［1］袁高峰，吳亞洲，薛妍妍.超低功耗云存儲系統——cStor［J］.中興通訊技術，2013，19（4）﹕22-23.

［2］丁高，田敬，陳東，等.UpStor﹕一個開放的P2P存儲平臺［J］.計算機研究與發展，2009，46（S）﹕250-257.

［3］SHVACHKO K，，KUANG H，RADIA S.The hadoop distributed file system［C］//Proceedings of the IEEE 26th Symposium on Mass Storage Systems and Technologies（MSST 10），May 3-7，2010，Incline Village，，NV，USA. Piscataway，NJ，USA.IEEE，2010﹕10p.