磁盤陣列,再攀新枝

隨著近兩年云計算概念被炒得熱火朝天，存儲也被戴了頂“云”帽子。不但EMC、HDS、IBM、NetApp這些存儲巨頭們帶頭搖旗吶喊，推出了各自的云存儲解決方案，其他很多互聯網公司、軟件企業、電信設備供應商等大型企業也紛紛加入，推出自己的云戰略。一時間，公有云、私有云等各種云產品、云方案，連篇累牘地刺激著觀眾的眼球。在這股“云”浪潮的推動下，涌現出一批具有獨特商業模式的公司，如國內的金山推出了快盤服務，華為也宣布組建云計算產品線。國內一些在存儲領域默默耕耘的技術型公司逐漸暫露頭角，如中科藍鯨的藍鯨集群文件系統就贏得了同行的認可，獲得了多個OEM訂單，正在一步步從幕后走向前臺。

然而，云存儲一般作為存儲服務而存在，而那些在底層支撐的傳統的存儲技術如磁盤、磁盤陣列技術也在悄然的進化中，不但繼續服務于傳統數據存儲應用，瓜分仍在以兩位數增長的外部存儲市場，也為云計算和云存儲提供了物質保證和最基礎的支撐，本文將對此就做一個簡單的介紹。

一、硬盤技術

自從1956年被IBM發明至今，傳統的機械硬盤（又稱溫徹斯特硬盤、溫盤）技術的發展從沒有間斷過——磁盤面密度不斷加大、性能不斷提高、體積不斷縮小，但其結構上并沒有發生本質的變化。但這種情況在SSD的出現后發生了轉機。

SSD，又稱為固態硬盤。由于沒有了傳統硬盤的機械讀寫裝置，固態硬盤的隨機讀寫性能大幅度改善，一塊普通SSD的小粒度IOPS可以輕松達到上萬，對比機械硬盤的幾乎是成數量級的提升，一塊磁盤的IOPS甚至可達到過去一個磁盤陣列的，在大量讀操作的場景下SSD磁盤體現得更為明顯。SSD磁盤和傳統HDD磁盤相比還具有性能、環保、防振等優勢。

但SSD也有它的問題，和機械硬盤相比其故障模型上存在很大的不同。機械硬盤故障有兩種：一種是突然失效，這和使用時間有關，具有較大的時間離散性；另一種是出現壞扇區，也稱壞塊，這種故障具有時間和空間的雙重局部性，而且和讀寫次數幾乎不相關。而SSD的失效模型則根本不同，幾乎只和寫入的數據量相關。由于其存儲單元的擦寫壽命只有1萬次（MLC）～10萬次（SLC），SSD硬盤開發商們開發了如“磨損平衡”、“失效空間預留”等各種技術來盡可能延長SSD的使用壽命，雖然效果很明顯，但仍然無法避免理論上的失效問題，尤其是采用多塊相同型號SSD硬盤組成的磁盤陣列在寫入一定量的數據后會存在固態盤集體失效的風險，這一點對于很多關鍵應用來講是致命的。

從長遠來講，SSD磁盤乃是大勢所趨，各家存儲系統供應商也都有固態磁盤陣列提供，在一些對隨機性能要求苛刻的應用當中的確發揮得很出色。但就目前來說基于SSD的磁盤陣列仍然處于起步階段，并沒有經過長時間的實際應用的考驗，對于那些對業務連續性要求遠高于性能要求的業務，在磁盤陣列中使用SSD硬盤還須多分謹慎。

二、存儲接口技術

IDE接口和SCSI接口分別誕生于1986年和1987年，分別定位于桌面和服務器市場， 在SATA接口和SAS接口出現之前各自統治桌面和服務器硬盤市場20年。1997年出現的光纖通道（Fibre Channel，FC）技術則第一次把存儲推上了一個新的高度，存儲系統成為獨立的系統而不再是服務器系統的“附件”。

FC一面世便帶著其貴族般的特征：雙端口硬盤支持高可用，串行通訊接口支持數據包交換，光纖傳輸提供高帶寬傳輸，并支持磁盤熱插拔、連接設備數量大、遠程連接且連接可靠等先進功能，一經推出便牢牢占據了高端磁盤陣列的市場。曾經廣泛應用于中、高端磁盤陣列當中，但這種情況在SAS接口出現后逐漸發生了轉變。

SAS接口規范具備FC規范的雙端口、串行數據通訊、多設備支持等優秀特性，迅速獲得了廣泛采用，發展非常迅速，接口速度方面迅速進化到6Gbps，已經超過其前輩FC的4Gb，并且很快向下一代12Gbps邁進。值得注意的是，似乎硬盤廠商已經逐漸放棄了FC接口磁盤的升級，盡管市場上8Gb的FC接口的磁盤陣列已經大面積普及，但其內部FC磁盤接口的速度仍然停留在4Gbps，并沒有跟隨新的標準進步，各硬盤廠商更沒有明確的路線圖。

一般來講，目前大于等于10000轉以上的磁盤多采用6Gb SAS（Serial Attached SCSI）或4Gb FC（Fibre Channel）接口。低于10000轉的磁盤一般采用SATA接口。而最近出現的一個新接口磁盤——NL-SAS，NL-SAS是在原有的企業級SATA硬盤的盤體上裝備了標準的SAS接口，使其不但具備了SAS硬盤的所有功能，提高了磁盤陣列的可靠性，而且容量更大，功耗也更低，適用于在一個此盤陣列系統中實現分級存儲，并簡化了磁盤陣列系統的設計。

一般來講，從性能角度來區分，SSD由于其革命性的技術提供了最優的性能，而FC和SAS硬盤擁有同樣高的旋轉速度也有不錯的性能表現，NL-SAS盤和SATA盤則為了兼顧成本、容量和功耗等因素在性能方面做了較大的妥協。

在磁盤接口方面，由于技術更新較快，新一代的SAS甚至SATA都可以提供6Gb/s的帶寬，而FC仍固守4Gb/s，已經感到明顯落后。而磁盤陣列的外部接口則仍然以FC為主，雖然SAS接口的高性能令人矚目，但其外部電纜最大長度只能達到8米遠，無法進行遠距離傳輸，也就無法滿足異地容災的需求，在中高端此盤陣列當中很少被采用。另外新近流行起來的兩個接口都是基于以太網為載體的，一個是iSCSI接口，另一個是FCoE，兩者各有優缺點。一般認為，FCoE比較適合于已經有了FC基礎設施和對任務關鍵型有要求的場合，更加符合FC當前所處的生態環境中；而iSCSI則適用于對性能不敏感的應用，更像是網絡環境中的一個分子。

三、RAID及磁盤陣列體系架構

最初的磁盤都是單體使用，為了獲得大的容量必須把磁盤體積做得很大，比如1956年IBM發明的第一個硬盤RAMAC雖然只有5MB，但體積有兩個冰箱大，1973年的IBM 3340硬盤由于技術進步使容量達到60MB，體積卻縮小到家用洗衣機大小。以后的趨勢也是沿著容量增大、體積縮小發展，但問題仍然很明顯：想獲得更大的容量非常困難，或者造價高昂；硬盤故障造成業務停頓甚至是數據丟失。1987年，美國加州大學伯克利分校提出了RAID（Redundant Array of Inexpensive Disk）技術，有了RAID技術，許多小容量磁盤，通過采用不同級別的RAID就可以實現更高的可靠性及讀寫性能，于是現代概念的磁盤陣列就誕生了。

在《光纖磁盤陣列技術簡析》一文中把磁盤陣列劃分為JBOD、雙控制器、多控制器三種。如今JBOD已基本不見蹤跡，取而代之的是單控制器架構。而隨著技術的不斷進步和市場的進一步拉動，今天磁盤陣列在現有的單控制器架構、雙控制器架構及多控制器架構基礎上又演化出三類新型多控制器磁盤陣列，分別為單控松耦合集群架構、雙控松耦合集群架構及多控緊耦合集群架構。

單控制器架構就是通過將服務器與JBOD相結合，整體作為一個存儲系統提供存儲服務。比如，NETAPP單控的 Filer、一些國內廠家的單控盤陣等。單控制器架構因為結構簡單、成本低廉而廣泛應用于對業務連續性要求不高的低端應用，或者作為單控松耦合集群架構的基本單元而發揮作用，比如IBM的XIV、被EMC收購的ISILON等系統，就是由這種基本單元構成新型單控松耦合集群架構。

雙控制器架構的兩個控制器之間冗余設計，消除了單點故障。市場上大部分中低端磁盤陣列都是這樣的體系架構。由于面向中低端市場，同時支持FC-SAN、IP-SAN及NAS訪問協議的一體化磁盤陣列，因為功能多樣、成本較低、簡單易用而較受歡迎，NETAPP、EMC等專業存儲廠商都推出了這樣一體化存儲系統。

多控制器架構不再局限于兩個控制器，可以根據業務需求配置更多控制器協同工作，實現容量擴充的同時性能也得以同步擴充。傳統多控制器架構是三層架構，即在前端控制器、后端控制器、中間CACHE緩存之間實現分工協作。EMC的SYMMETRIX DMX系列產品、HDS的USP系列產品都屬于典型的傳統多控制器架構。

新型多控制器磁盤陣列是近年存儲市場出現的新動向，從體系架構角度看，新型多控制器架構均由上述三種基本架構演化而來，這也符合技術發展的持續性和繼承性。

首先，單控制器架構處理能力有限，同時單一節點又缺乏可靠性設計，人們難以接受單一單控制器架構磁盤陣列。因此一般都是將單控制器架構作為基本單元，再通過以太網、IB（InfiniBand）等外部通用標準通信協議，實現多個單控制器架構之間的松散互連，形成一個整體的數據存儲系統，姑且稱之為單控松耦合集群架構。這類架構典型產品包括塊級接口的XIV、文件級接口的Panasas、Isilon、IBRIX等，這些存儲系統一般面向相對獨特的非結構化類應用需求。

雙控制器架構也走向了集群化，既所謂的雙控松耦合集群架構。這類雙控松耦合集群架構的各個雙控節點之間一般都采用非全交換式的專網實現連接。EMC的VMAX通過RapidIO技術互連；HP的3PAR系列通過專用背板互連； FUJISU的8000系列通過PCI-E路由互連。這些系統共同問題是，首先整個系統架構存在互連帶寬瓶頸；其次跨節點訪問存在延遲不一致性。第三由于體系結構改動較大，某些應用在實際生產環境中的性能表現和基準測試的標稱值會存在較大差異。

最后，傳統多控制器架構也開始了橫向擴展，這便是新型多控緊耦合集群架構。由于傳統多控制器架構單一節點非常龐大，實現這些大節點的通信必須采用高帶寬、緊耦合的互連為基礎。目前新型多控緊耦合集群架構只有HDS的VSP一個產品，HP公司的P9500作為VSP的OEM產品，也是這樣的體系架構。EMC的SYMMTRIX 在DMX-4之后似乎停止了傳統三層多控制器架構的探索。EMC的新型多控制器架構產品轉向了前文提及的VMAX，它和傳統的三層架構的多控制器產品SYMMTRIX在體系架構上大相徑庭。

體系架構

特性傳統多控制器

三層架構多控緊耦合

集群架構雙控松耦合

集群架構單控松耦合

集群架構

典型產品DMX-4、USP-VVSP、P9500VMAX、3PAR、FUJITSU8000XIV、ISILON、PANASYS、IBRIX

內部互連交互式 直連式全交換式（CROSSBAR） 環、路由及其他專用鏈路普通的網絡或IB

互連帶寬較高帶寬最高帶寬較低帶寬普通網絡帶寬

緩存共享全局共享緩存全局共享緩存全局共享緩存節點間不共享

訪存延遲全局一致全局一致節點間不一致節點間不可訪

成本評估高成本高成本較低成本低成本

VSP的一個基本單元就是一個傳統多控制器架構，繼續保持前端控制器、后端控制器及中間高速緩存這樣的三層架構，單一節點的規模和上代產品不相上下，因此單一節點具備傳統多控制器架構的性能及可靠性。在此基礎上，VSP上還增加了一新的VSD核心處理器單元，負責跨節點通信及功能軟件。由于VSP繼續采用了基于CROSSBAR的全交換架構，在多個節點之間，通過系統內部交換架構實現集群，集群后的存儲仍是一個整體，即存儲跨節點之間的訪問延遲是一致的，這確保了實際使用環境中的穩定性能，避免松散耦合架構導致的性能不確定性。

筆者認為，對于性能和可靠性要求較高的應用來說，多控制器緊耦合集群架構的磁盤陣列訪存很直接不需要某些轉發，從理論上講應該占些優勢。這類磁盤陣列在可靠性和性能方面繼承了傳統多控制器架構。

而采用松散耦合的單控或雙控集群架構，雖然提供優秀的多方面擴展能力和極低的成本，但在訪問延遲等性能方面以及系統部件可靠性上均差距較大，并不適合于延遲敏感的事務密集型應用。

當然多控制器緊耦合集群架構的最大劣勢在于其成本相對較高，如何應對眾多新型多控制器架構的價格戰，成為該類存儲系統生存發展的關鍵。

隨著技術的不斷發展和應用模式的不斷演化，一些破壞性的創新技術也會不斷涌現和完善，說不定未來有一天，松耦合的集群架構將逐漸占據更大存儲市場份額，就像今天的集群服務器一樣占領部分高端服務器市場。但即便如此，大型機及小型機仍然有其生存和發展空間，起著不可替代的作用，仍然是喜歡它們的老客戶之最愛。