傳統外置存儲系統或將迎來冬天(下)

今生 遭遇挑戰

固態存儲介質終將一統天下

(續上期)

1 歷史“輪回”

外置存儲控制器的前世形態其實是插在服務器里的RAID卡，那么，之后為何會發展成為獨立的“存儲系統”呢?其中有多種因素，性能和空間為主要因素。另外，用于多主機共享存儲也是因素之一，不過，這個因素目前看來有點“雞肋”，到底有多少主機需要與其他主機共享空間呢?它們只是在“共享同一個設備”。真正需要共享空間的有兩種情況，一種是特殊應用，比如視頻領域、Web Server集群、HPC集群等，而這些場景畢竟有限；其次則是最近幾年熱起來的精簡配置(Thin Provision)概念，確實可以做到全局空間動態分配回收，但又有多少人能真正用到它?從這一點上看，“多主機共享存儲”這個因素不會阻止底層技術發展所導致的上層形態的變革。所以，共享同一個設備或同一個空間，只是為技術的發展所創造的一個噱頭。而筆者相信，當存儲形態重新輪回后，又會有新的噱頭被創造出來。

所謂“輪回”，具體是指由于固態存儲介質成本的不斷下降、性能和容量的不斷提升，以及體積的不斷減小，在一臺服務器中集成高密度、大容量、超高性能的Flash介質無疑還是最方便的存儲形態。

想想看，你不再需要購買什么FC HBA、SAS HBA、Infiniband HBA，也不需要理會什么iSCSI、FC、SAS協議，部署時不需要連接一大堆線纜，更不需要購置什么所謂的“存儲交換機”。而導致當年RAID卡進化為外置控制器的第一個問題，也就是服務器空間、容量和性能的問題，就這么輕易地被Flash固態介質解決了，而且解決得非常徹底。

至于第二個問題，也就是數據共享訪問，上文已經說明了，其應用環境有限，有點雞肋。但是，如果確實需要共享訪問怎么辦?也好辦，外部網絡帶寬正飛速發展，多個獨立服務器節點完全可以通過外部網絡，將各自的存儲介質通過某種分布式卷管理系統或分布式文件系統聯合起來，形成一個大的共享存儲池，這些技術已經比較成熟，尤其是云架構熱起來之后，這些問題在技術上根本不是問題。

這就是“輪回”，外置存儲控制器在出來“溜達”了一圈之后，最終遇上了Flash擋道，不得不乖乖地又“投胎”于前世的RAID卡，重回服務器機箱中，這是歷史發展的規律。

2 為什么要用SAN?

最近與企業IT管理員交流時，有人提出了類似“我為什么要使用SAN?”等問題，如果在幾年前，我或許會直接回答“SAN可以消除孤島，使數據共享”，等等。但今天，我不會再拿著這些當初被忽悠的詞句去誤導別人了，至少回答之前要問清楚其目前的業務類型、數據量以及后續需求等。

有人會問，數據如果不集中存放的話，備份怎么辦呢?還可以集中備份和LAN-Free嗎?其實，如果搞清楚備份數據流就無需擔心這一問題。當前，就算是所謂“LAN-Free”也一樣需要數據先從SAN陣列中讀數據到主機，然后再從主機寫到備份介質。筆者在另一篇文章《亂七八糟的“Free”》中對這些名詞有詳細的解釋。而對于DAS模式下的備份，數據只是從每個服務器本地盤讀出來，然后寫到備份介質中，與SAN備份沒有本質區別，甚至速度可以比SAN備份更快。至于所謂“集中備份”，除非使用NDMP設備到設備直接備份模式，那么這個“集中備份”也沒有意義，現在數據先從主機讀出再寫到備份介質，依然是主流的備份方式，這與DAS下的備份數據流沒有區別。

再來看看DAS模式下的容災。在SAN模式下，直接通過兩地的陣列做集中的數據遠程復制與接收，確實比DAS模式下每個節點單獨做復制要方便得多。但回頭想想，如果這些節點是處于云中的，由兩個云之間來做容災，那么又會被統一起來。而且目前仍有非常多的系統采用的是基于應用層的數據復制，而不是底層存儲層，比如Oracle DataGuard、DB2的HADR等。這類復制能夠保證數據的一致性且可回放，底層存儲有時并不能完全信任，10次中有2次會產生應用無法啟動的數據不一致問題。

另外，SAN的另一個噱頭，即“集中管理”。如果整個數據中心只有少數幾臺集中存儲設備，那管理起來確實比較方便，尤其是對一個尚沒有完善的自動化運維體系的數據中心來講。在配置存儲空間時，如果有一套比較好的管理軟件，那么在一個全DAS環境中配置起來也不見得比配置集中存儲來得復雜。但對于后期的維護操作，全DAS存儲環境確實會增加不少復雜度，這就需要一套完善的自動化運維工具和體系來應對這個問題。

至于各種外置存儲所提供的快照、重復數據刪除(簡稱刪重)、精簡配置等數據管理特性，隨著芯片性能的不斷提升，在RAID卡上直接集成這些功能，將不再是難事。

總之，基于上述種種原因，最終會將目前的傳統外置存儲系統逼上絕路。

3 VTL成備份軟件廠商的傀儡

VTL作為一種外置存儲系統，已經存在很長時間了。其幕后始作俑者其實是一些主流的備份軟件廠商。這些廠商在操控各種物理帶庫、磁帶機和機械手方面擁有大量技術積累，一般廠商較難掌握，因此，他們要保留這套接口，哪怕介質從磁帶換成了硬盤。對物理帶庫體系的操控、對上層應用的數據接口以及備份之后數據生命周期管理，這三大“法寶”就是這些廠商的生存根基，他們不想失去任何一個。

而少數創新型的備份軟件廠商或初創不久的廠商則熱衷于推廣純D2D備份，更專注上層的數據備份與恢復管理。這些廠商在物理帶庫、機械手等方面基本沒有積累，因此，他們努力要使VTL徹底退位。

而后續低規格大容量的Flash作為備份介質是必然結果，如果那時候的數據和操控接口依然沿用傳統物理帶庫的SCSI流式指令以及機械手控制指令，就說不過去了。由于Flash可以隨機尋址，控制Flash選擇和讀寫的是片選器(Chip Enabler)以及ASIC芯片，這些都是電子器件，何來機械手?

VTL接口被替代之后，下一步就需要數據記錄格式的替代，讓備份之后的數據直接可以看到，直接可以從備份介質中恢復到源端，而不是使用物理磁帶的格式去讀寫和存放。

所以，傳統物理磁帶以及VTL備份介質體系也即將走向終結。

云計算架構終將“埋沒”存儲

既然傳統的存儲外置盒子或將枯萎，那么是否可以尋找其他出路，比如虛擬化、數據遷移等數據管理方面的“智能一些的盒子”或者方案呢?很不幸的是，這條路可能也將會被堵住了。

1 陣列能做的，云幾乎都能做

什么是云存儲或者存儲云?筆者認為，傳統外置存儲就是用幾個控制器掛上后端的磁盤擴展柜，然后對外提供存儲空間；而存儲云就是用一堆服務器上面跑的軟件當做控制器，掛上后端一堆異構廠商的各種存儲介質，包括JOBD、雙控或者多控陣列、NAS、VTL、帶庫等，并向外提供各種不同訪問方式的存儲空間。服務器集群上跑的是某種分布式卷和／或分布式文件系統，這種系統具有原生的異構支持，不管底層使用哪家的陣列，都可以被收納為存儲資源。存儲云還需要做各種數據管理功能，比如容錯、快照、精簡配置、刪重、動態分級、克隆、遷移、遠程復制、容災等。這些特性，在一個分布式文件系統或者卷管理系統上是完全可以做的，但是一些比較耗費計算資源的，比如刪重，則可以下放給底層設備來做。

云為何不信任，或者說不能夠信任底層設備上原配的這些功能呢?答案很簡單，就是對異構的支持。存儲云中不可能只有一家設備廠商的設備，而不同廠商設備之問的這些特性又是不兼容的，所以只有在上面的虛擬化層，也就是分布式數據管理層來處理這些特性，此時，外置存儲系統就是徹徹底底的一塊大硬盤，不管你是EMC Symmetrix還是HDs VSP／USP，還是JOBD，甚至是服務器本地磁盤，是否是Scale-Out架構甚至都已經沒有意義，因為上層的虛擬化層自己可以Scale-Out。對于云來講，或許只有磁盤有意義，其他比如JBOD、控制器、Scale-Out架構之類，云統統不在乎。

2 觀VMware動作，體會后續趨勢

如今VMware已經是云架構中的核心角色。既然成為核心，那么，它就有權利發布一系列接口讓別人來適配它，從第一個比較系統的VAAI，到第二個VASA，再到將來會發布的第三代API。

在第一代VAAI中，VMware只是將一些原本由Hypervisor做的數據操作工作下放給了外部存儲系統來做，以提高效率。從其全名vStorage APIs for Array Integration就可以隱隱領會出vMware還是比較看重外置存儲的，能夠將重要任務交給它們。

而在第二代VASA(vStorage APIs for Storage Awareness)中，顯然可以看出VMware進一步控制外部存儲的欲望，VMware需要了解到更多的外部存儲的信息。做過底層存儲開發的人都知道，硬盤驅動程序會探知控制器后面所掛的硬盤的各種信息，包括容量、是否支持WriteBack模式緩存及具體類型、是否支持隊列、最大傳輸單元等。而VMware這套VASA接口分明就是做了硬盤驅動的工作，以便后續更好地對外置存儲進行控制。顯然，外置存儲對于VMware來說，就相當于一塊大硬盤。

在今年的VMworld大會上，VMware的動作則已經顯露無疑，VMware計劃將vSphere環境中的存儲管理和精簡配置進行“根本性的”改變，無需再設置LUN、RAID組合NAS掛載點，VMware工程師SatyamVaghani稱新版API將使用工具，如I／O Demultiplexer、Capacity Pool以及VM Volume。對于第三代存儲API的細節目前尚不知，但從字面上來看，第三代API將會對外部存儲實現徹底的大統一，任何存儲廠商在VSphere下都會被同質化，誰也別想冒出來，那些傳統的特性對于VMware存儲虛擬層來講，都是“小兒科”。

各廠商在新產品的宣傳噱頭上，除了硬件規格之外(其實硬件規格大家都差不多)，就是對固態存儲介質的應用方案，再就是與云搭上邊，也就是Thin以及VMware API支持。

因此，外置存儲系統在經歷了從服務器內置到外部獨立控制器的進化過程之后，在虛擬服務器的召喚之下，其地位又回到了原點。

未來 前途渺茫?

這場殘酷的嚴冬，對于國內外置存儲廠商來講，將會是一個異常難熬的過程。而那些專注于硬件上層功能、方案的存儲廠商不會受到太大影響。比如備份容災等，不管底層采用什么介質、什么架構，用戶對備份和容災的投入將是持續的。而且當機械操控協議徹底被廢止，也就是VTL真正被淘汰之后，備份軟件廠商就會更加專注于對數據的管理，且門檻會降低很多，從而催生更多的競爭者進入，而不再是幾家在機械操控協議和兼容性方面有多年積累的廠商壟斷市場。當然，這些廠商不能只在備份容災方面發展，“存儲”這個詞不僅僅是硬件盒子+備份容災，還有數據管理、應用存儲優化等。

那些做盒子的傳統外置存儲廠商怎么辦?這類廠商生存在IT生態鏈最底層，鋪開大攤子，拼規格、拼價格、拼量，備貨、物流、維護，好不熱鬧，可是這一層卻是利潤最低的。而現在其死敵——固態存儲介質正在茁壯成長，IT大架構也在向著云方面發展，對此，它們只能望洋興嘆了。

因此，傳統存儲廠商轉型迫在眉睫，尤其是那些專注于生產存儲產品的廠商，要么做成全球最大的存儲盒子加工廠，以量取勝，要么就往上走，讓存儲設備直接體現業務價值。而要往生態鏈高層遷徙的話，就必須脫離做盒子的老思想，盒子里面的東西能解決用戶的問題，才是最重要的。

而如果想“傍”著云來做些東西的話，存儲+云就是所謂的“云存儲”嗎?“云存儲”其實并不存在，任何形式的存儲都是云存儲，包括單塊硬盤。存在的只有存儲云。前者是依然想以存儲為中心，而這可以說是逆勢而為。而存儲云則是以云為中心，也就是以將任何形式的異構存儲空間整合利用的云虛擬化層為中心。如果對這一點理解存在偏差，認為做云存儲就是去做一款新形態的分布式存儲硬件，那基本上還是走老路。

但是如果去做存儲云，也就是專注于虛擬化整合，那么這與存儲硬件就基本脫離關系了，而完全轉向了數據中心管理軟件，也就是網管領域，或者說自動化運維領域。

最后，不得不說一下賽門鐵克的Storage Foundation(SF)產品，它可以適配任何異構存儲，將底層存儲空間虛擬化成大的統一存儲池。但之前SF貌似生錯了年代，太超前了。而今天，當云架構有這個訴求的時候，機會就擺在眼前了。賽門鐵克已經擁有了多廠商支持的平臺，那么對于它來講，開發一個用于云底層的大統一的存儲基礎架構，從而為各種虛擬機Hypervisor提供底層資源是水到渠成的事情，我們靜觀其變吧。

后方被固態存儲介質追殺，前方則遭遇云架構的圍堵，傳統外置存儲，將會走進一條窄巷子，需要外置存儲的場景將會僅限在少數行業的少數系統中，僅有少數廠商在這一市場掙扎存活，并等待著新技術革命時代的到來，甚至單純的存儲廠商或被IT巨鱷們收購也不是沒可能。而我們這些所謂“做存儲的”，出路又在何方?

面對Flash，存儲廠商眾生相

既然Flash被看做是傳統存儲的死敵，那么，目前一些存儲廠商對Flash是什么態度呢?

最早痛恨Flash的專業存儲廠商是NetApp。筆者曾在文章《引領潮流、隨波逐流、最后追趕潮流——在荊棘中掙扎前進的NetApp》中就WAFL與Flash之間的恩怨做過分析。但是不知道當初NetApp反對Flash是不是也有更深一層的擔憂，即Flash或將革掉自己的命。但是大勢不可擋，如今所有主流存儲廠商都針對固態介質推出了產品，比如各種動態分級或緩存技術。NetApp的PAM加速卡就是一張插在其FAS陣列中的PCIe Flash卡，其被用做WAFL文件系統的緩存，而不是直接承載WAFL主體數據。NetApp也曾經說過，將來存儲系統中只有兩種介質：SSD+SATA，但至少目前看來，NetApp最新的FAS陣列依然是支持SAS與FC磁盤。

EMC對待固態介質的態度一向都是積極的，它知道固態介質勢不可擋，逃避是沒有用的，也曾經大有信心地說SSD將取代FC盤，并且從FAST 1.0到FAST 2.0再到FAST VP，一直不遺余力地讓SSD在陣列上發揮著最大價值。其他廠商則基本都是追隨者、支持SSD，包括開發動態數據分級／緩存方案，以及在內核中針對Flash介質特有的10特性做各方面的優化。

Fusion－io是一家專做PCIeFlash卡的尖兵廠商，在互聯網后端這個細分市場占據了不少市場份額?；ヂ摼W企業IT系統的前端和后端是當今最流行的IT技術的發源地，從這里也可以對后續IT領域的發展趨勢窺探一二。Fusion－io的卡，說白了就是一種DAS(Direct Attached Storage)方式，但你能說它相對于SAN方式是一種倒退么?肯定不是，與其說是倒退，不如說是輪回。能在服務器本地滿足10性能，又何必去花大價錢買個高端存儲且性能還不夠?

面對Fusion－io，EMC能不有所動嗎?這不，EMC今年5月發布了所謂“閃電計劃”，也開始搞插在服務器上的PCIe Flash卡，作為陣列的前置緩存，然而EMC真正想銷售的還是其陣列。所以“閃電計劃”的最終目的其實是EMC想通過服務器主機端的PCIe卡產生一個鏈帶，后端還是要購買EMC的存儲陣列，這樣看來，在互聯網后端，“閃電計劃”肯定不被看好，而又不能眼看“金子”被別人挖走，于是收購GreenPlum就是一步棋。

PCIe Flash是所有傳統存儲廠商的對手，雖然有廠商，如NetApp，將PCIe Flash卡用到自己陣列里給自己加速，但是敵人永遠是敵人。

固態存儲介質讓傳統外置存儲難受其實還有另外一個原因。傳統外置存儲控制器一般為每臺設備雙控制器，這臺設備后端如果掛太多的SSD，由于固態介質響應時間和IOPS“過高”，則會無法發揮出這些SSD的性能，可能在20塊左右就可以飽和一臺中端存儲的性能。如果后續SSD真的全面取代旋轉硬盤，那么，外置存儲控制器就會成為大瓶頸，陷入不利環境。從這一點上來看，傳統外置存儲走向Scale－Out分布式，增加CPU／RAM與盤數的比例，是支撐全SSD的一個必要條件。

張冬