虛擬化環境下高端SAN Switch的研究

摘 要：虛擬化技術得到了空前的發展，基于主機虛擬化在工業界成功商用，本論文提出了在虛擬化環境下高端SAN Switch。重點剖析了虛擬化、SAN、SAN Switch、Gen 5 Fibre Channel，及應用SAN Switch需要注意的問題。最終闡述了為什么虛擬化環境下應用SAN Switch是發展的趨勢。

關鍵詞：虛擬化；SAN；SAN Switch；Gen 5 Fibre Channel

中圖分類號：TP319 文獻標識碼：A

Research on high-end SAN Switch in Virtual Environment

LI XiaoKun 1

（Heilongjiang Hengxun Technology Co.Ltd. ，Harbin 150090，China）

Abstract：Virtualization technology has been an unprecedented development， virtual hosts in the industry based on the successful business， this thesis presents high-end SAN Switchin the virtual environment. After that， the paper focuses on the analysis of virtualization， SAN， SAN Switch， Gen 5 Fibre Channel， and the problems which could be paid attention to about the application of SAN Switch. Finally the paper explains why using SAN Switch is development trend in virtual environment.

Key words：Virtualization； AN； SAN Switch； Gen 5 Fibre Channel

0 引 言

云計算概念的兩種核心技術就是虛擬化和大數據。主機虛擬化、網絡虛擬化、存儲虛擬化技術在工業界的成功商用，虛擬化技術需要高運算性能，高帶寬，高I/O，高可用，如何解決虛擬化應用的這些問題呢？答案就是在虛擬化環境下應用高端SAN Switch。

1 虛擬化、SAN、SAN Switch、Gen 5 Fibre Channel技術

1.1 虛擬化

虛擬化是以某種用戶和應用程序都可以很容易從中獲益的方式來表示計算機資源的過程，而不是根據這些資源的實現、地理位置或物理包裝的專有方式來對其進行表示和呈現。換句話說，虛擬化為數據、計算能力、存儲資源以及其他資源提供了一個邏輯視圖，而不是物理視圖。云計算環境下的互聯網應用在數據存儲位置，數據存儲容量以及應用規模等方面均區別于傳統模式[1]。虛擬化是表示計算機資源的邏輯組（或子集）的過程，這樣就可以利用從原始配置中獲益的方式來實施訪問。這種資源的新虛擬視圖并不受實現、地理位置或底層資源的物理配置的限制。虛擬化對一組類似資源提供一個通用的抽象接口集，從而隱藏屬性和操作之間的差異，并允許通過一種通用的方式來查看并維護資源。作為一項有望大幅降低成本的新興技術，虛擬化得到了眾多信息業巨頭的關注與重視[2]。

虛擬化，是指通過虛擬化技術將一臺計算機虛擬為多臺邏輯計算機。在一臺計算機上同時運行多個邏輯計算機，每個邏輯計算機可運行不同的操作系統，并且應用程序都可以在相互獨立的空間內運行而互不影響，從而顯著提高計算機的工作效率。

虛擬化使用軟件的方法重新定義劃分IT資源，可以實現IT資源的動態分配、靈活調度、跨域共享，提高IT資源利用率，使IT資源能夠真正成為社會基礎設施，服務于各行各業中靈活多變的應用需求。

虛擬化技術可以擴大硬件的容量，簡化軟件的重新配置過程。CPU的虛擬化技術可通過單CPU而模擬多CPU并行，允許一個平臺同時運行多個操作系統，并且應用程序還可以在相互獨立的空間內運行而互不影響，從而大幅提高計算機的運行運轉效率。

1.2 SAN

存儲區域網絡（Storage Area Network，簡稱SAN）采用光纖通道（Fibre Channel ，簡稱FC）技術，通過SAN Switch連接存儲和主機，建立專用于數據存儲的區域網絡。SAN經過多年歷史的發展，已經相當成熟，而且成為工業界的事實標準（但各個廠商的光纖交換技術并不完全相同，其主機和SAN存儲仍有兼容性的要求）。目前，SAN的一個研究熱點就是SAN的存儲虛擬化技術，通過SAN的存儲虛擬化而實現按需分配存儲資源，整合不同設備商提供的存儲產品，提供可選擇性的配置功能來獲得更高的可用性和減少用戶總成本[3]。

SAN專注于企業級存儲的特有問題。當前企業存儲方案所遇到問題的兩個根源是：數據與應用系統緊密結合所產生的結構性限制，以及大型、中型、小型計算機系統接口標準的限制。大多數分析都認為SAN是未來企業級的存儲方案，這是因為SAN便于集成，能改善數據可用性及網絡性能，而且還可以減輕管理作業。

實際上，SAN是一種專門為存儲建立的獨立于TCP/IP網絡之外的專用網絡。通過利用可擴展的網絡拓撲結構，在相對獨立的專用網絡中為各種應用提供數據存儲服務[4]。目前，一般的SAN提供8～16Gb/S的傳輸數率，同時SAN網絡獨立于數據網絡存在，因此存取速度很快。另外，SAN一般采用高端的RAID陣列，使SAN的性能在幾種專業存儲方案中傲視群雄。

SAN是基于一個專用網絡，因此擴展性很強，不管是在一個SAN系統中增加一定的存儲空間還是增加幾臺使用存儲空間的主機都非常方便。通過SAN接口的磁帶庫或虛擬帶庫，SAN系統可以方便高效地實現數據的集中備份及雙活。

目前常見的SAN有FC SAN和IP SAN，其中FC SAN為通過光纖通道協議轉發，而IP SAN則通過TCP協議轉發。

SAN采用光纖技術，因而性能優異，但在其應用中需要FC交換機連接服務器和存儲設備[5]。SAN主要用于數據大集中的環境，如電信、金融等，只是成本高、標準尚未確定等問題卻影響了SAN的市場拓展，不過，隨著這些用戶業務量的增大，SAN必然具有廣泛的應用前景。

1.3 SAN Switch

光纖通道交換機在邏輯上是SAN的核心，主要連接著主機、存儲、備份設備。光纖通道交換機有著許多不同的功能，包括支持GBIC、冗余風扇、冗余電源、分區（Zone）、環操作和多管理接口等。每一項功能都可以增加整個交換網絡的可操作性。具體來說，光纖交換機的主要功能，自配置端口、環路設備支持、交換機級聯、自適應速度檢測、可配置的幀緩沖、分區（基于WWN的分區）、IP over Fiber Channel（IPFC）廣播、遠程登錄、Web管理、簡單網絡管理協議（SNMP）等。目前，國內外互聯網絡廣泛采用基于消息頭尋徑的通信技術，由于消息頭和消息體共存于同一幀中，因此其通信一般采用“存儲-轉發”方式，每條信道均需緩沖區來暫存消息體，控制邏輯復雜，價格昂貴[6]。

光纖交換機往往根據其功能和特點可分為不同的類別。通常，硬件可能都是基于相同的基本架構或者相同的ASIC芯片，只是軟件的功能不同，光纖交換機的價格則主要是依據其所能滿足的需求來制定的。高端SAN Switch的核心級交換機是個例外，即在多數情況下是根據自己的硬件容錯平臺開發設計的。

高端SAN Switch（又稱架構中樞或導向器）一般位于大型SAN的中心，使若干邊緣交換機相互連接，形成一個具有上萬個端口的SAN網絡。高端SAN Switch也可以用作單獨的交換機或者邊緣交換機，但是具體增強的功能和內部結構卻使其在核心存儲環境下工作得更好。高端SAN Switch其他功能還包括支持光纖以外的協議（如FICON、InfiniBand）、支持16Gbps光纖通道、高級光纖服務（如：安全性、中繼線和幀過濾等）。

高端SAN Switch交換機通常提供更多端口，高于384端口的SAN Switch才能稱之為高端SAN Switch。其中使用非常寬的內部連接，并以最大的帶寬路由數據幀。使用這些SAN Switch的目的是為了建立覆蓋范圍更大的網絡和提供更大的帶寬，因而將其設計成為在多端口間以盡可能快的速度用最短的延遲路由幀信號。另外，高端SAN Switch往往采用基于“刀片式”的熱插拔電路板：只要在機箱內插入交換機插板就可以添加需要的新功能，也可以進行在線檢修，還可以做到在線的分階段按需擴展。SAN Switch 交換機，高性能存儲均價格不菲，對網絡管理員的技術也是一種挑戰[7]。高端SAN Switch可支持高度可擴展的核心-邊緣（core-edge）拓補，如圖1所示。

圖 1 高端SAN Switch核心-邊緣拓補

Fig.1The high-end SAN Switch core-edge topology

1.4 Gen 5 Fibre Channel

第五代光纖通道技術是存儲區域網絡（SAN）的最新演進成果。針對第五代光纖通道技術，即借由T11技術委員會曾負責制定了光纖通道接口標準開發的技術，可將8 Gbps鏈路的數據吞吐量增加一倍，從每秒800兆（MB/sec）提高到1600 MB/sec。數據傳輸速率更快，完成相同任務需要的鏈路和需要管理的設備更少，而且使用Gen 5 Fibre Channel時功耗也更低。最近的幾大服務器和存儲技術進步成果增加了對更高SAN帶寬的需求，包括應用和存儲容量增加、高密度服務器虛擬化、全新Gen 5 Fibre Channel存儲和固態硬盤（SSD）存儲。第五代光纖通道技術使企業數據中心可以充分發掘這些進步成果相關先進技術的全部潛力。然而，Gen 5 Fibre Channel的優勢不僅限于性能和更高的吞吐量。Gen 5 Fibre Channel還可以提供幾種重要功能，使SAN可靠性、可用性和管理簡便性上升到一個新高度，同時大幅度降低運營成本。正是這些優勢使Gen 5 Fibre Channel正以前所未有的速度實現了大范圍的廣泛普及。

光纖通道（FC）被部署在數據中心內，是數據中心內存儲網絡連接領域的事實標準。光纖通道，以其低延時，帶寬高，可靠性等特點，而成為下一代航空電子統一網絡的一種主要聯網標準，現已應用于美國航空電子系統的升級換代中。[8]Gen 5 Fibre Channel是一種經過廣泛實踐驗證的專用網絡基礎架構，用于滿足數據中心存儲需求，可提供無與倫比的可靠性、可擴展性和16 Gbps的出色性能。Gen 5 Fibre Channel提升到了一個新高度，可利用獨特的技術創新成果提供全面的SAN支持，Gen 5 Fibre Channel提供關鍵應用和虛擬化應用所需的無與倫比的出色性能，硬件和軟件可靠性，連續提供99.9999%的可用性，通過機箱連接，提供64 Gbps并行Gen 5 Fibre Channel，幫助實現大規模基礎架構整合和簡化，一種先進的硬件和軟件架構，可通過創新的診斷、監控和管理技術最大限度地延長運行時間，優化應用性能，簡化SAN管理。SAN的光纖通道拓撲結構分為三種：點到點、環形和交換式[9]。

光纖通道包括 14 個 ANSI T11X3 協議，按其功能結構，可以劃分為從 FC-0～FC-4 的 5 層結構[10]。Fibre Channel（光纖通道）面世伊始，一臺服務器專用于某一種應用，導致服務器資源利用率很低。服務器虛擬化技術的出現改變了這一局面，允許多種應用共享同一臺物理服務器，由此即提高了效率和服務器資源利用率。不斷演進的關鍵工作負載和Tier 1應用正被托管到虛擬機（VM）上。除了服務器虛擬化的日漸廣泛普及外，虛擬機密度（每臺物理服務器上托管的虛擬機數量）也穩步增長，達到了每物理服務器100、200甚至更多虛擬機，而且都從SAN Boot啟動并接入SAN資源。VM的使用范圍和重要性正在不斷增加，密度更在加速提升，日益要求存儲計算基礎架構提供更高的性能（帶寬和I/O）、可靠性和可用性。在高度虛擬化環境中，存儲網絡中的任何擁塞、低劣的I/O性能或故障都會影響到大量應用。Gen 5 Fibre Channel可有效解決帶寬和I/O問題。

2 虛擬化環境下應用高端SAN Switch

2.1 高端SAN Switch

高端SAN Switch同時滿足：16G的Gen 5 Fibre Channel；架構中樞或導向器架構；單機箱支持至少384個16 Gbs光纖通道端口；冗余控制處理器模塊；高時支持16G 、FICON、InfiniBand、FCoE接口；同時兼容大型機、中型機、小型機、工業標準PC Server。

目前具有新特性的一批功能硬件開始進入SAN市場，由此即可看出未來SAN的雛形[11]。更高吞吐量的優勢盡顯，而高端SAN Switch則可帶來更多優勢，幫助滿足更新的及不斷變化的要求。低延時和出色的IOPS（每秒I/O操作數）性能可最大限度地增加每物理服務器支持的虛擬主機數；在數據中心經過實踐驗證的定制架構可最大限度地降低高密度服務器虛擬化的風險及故障率；不停機網絡和自動化管理功能可最大限度地降低運營成本和復雜性；集成式高級診斷、監控和RAS（可靠性、可用性和可維護性）功能可簡化管理并增強彈性；集成式ISL數據壓縮和加密可優化帶寬，保護數據；向后兼容現有基礎架構，最大限度地減少徹底淘汰和更換設備的需求；很低的開銷和延時可避免I/O瓶頸，釋放Flash、SSD及16 Gbps高端存儲產品的全部性能潛力。高端SAN Switch還采用了多種突破性技術，來大大簡化SAN部署和管理并降低運營成本。以下各部分更詳細地介紹了這些獨特功能；UltraScale機箱連接，實現更高的密度和更簡單的Fabric架構，進而降低網絡復雜性和成本；借助創新的診斷、監控和管理功能，Fabric Vision技術可最大限度地延長運行時間，優化應用性能，簡化SAN管理。

2.2 Brocade DCX 8510-8 Backbone

Brocade DCX 8510-8 Backbone充分釋放私有云存儲的全部潛力，同時確保無與倫比的可擴展性、性能和可靠性、實現更簡單、更扁平的低延時機箱連接，降低網絡復雜性、管理復雜性和成本利用集成的高性能城域和全球連接，優化遠距離數據中心連接借助全面的診斷、監控和自動化功能，簡化并集中完成端到端 SAN 管理，最大限度地提高 I/O 和帶寬密集型應用的，保護對現有 SAN 架構和自動化工具的投資，同時降低運營成本，最大限度地減少業務中斷。

Brocade DCX 8510-8 Backbone是業內最強大的光纖通道交換基礎架構之一，可為關鍵任務存儲環境奠定最可靠、可擴展的高性能基礎。旨在提高業務靈活性，同時提供對信息的不間斷訪問，降低基礎架構和管理成本。網絡需要不斷演進，來滿足高度虛擬化環境和私有云架構不斷增長的需求。光纖通道已成為存儲網絡的事實標準，正與數據中心一同演進。支持Gen 5 Fibre Channe（16Gbps）的Brocade DCX 8510 Backbone強大、可靠的高性能技術帶來更高的可擴展性和高級功能。在企業擴展業務的過程中，則可以繼續利用現有的IT投資。還可以整合存儲區域網絡（SAN）基礎架構，來簡化管理并降低運營成本。

Brocade DCX 8510-8 Backbone單機支持384個16 Gbs（E、F、D、M、EX）光纖通道端口，使用 48 端口16 Gbps 光纖通道刀片。最多512個（Brocade DCX 8510-8）8 Gb 通用（E、F、D、M、EX）光纖通道端口，使用64端口8 Gbps光纖通道刀片，帶ICL端口的多機箱最多 3456個16 Gbps光纖通道端口（使用16 Gbps 48端口刀片），最多4608個8 Gbps通用光纖通道端口（使用 8 Gbps 64 端口刀片）；采用冗余（主/備）控制處理器模塊；全面的 Fabric 架構，最多可有 239 臺交換機；支持 DWDM、CWDM 和 FC-SONET 設備；光纖通道，Inflight 壓縮（Brocade LZO）和加密（AES-GCM-256）BB Credit 恢復；FCIP、自適應速率限制（ARL）、數據壓縮、Fast Write、讀/寫 Tape Pipelining、QoS；FICON 堆疊支持無損 DLS；FICON CUP；Advanced Accelerator for FICON（FICON Global Mirror、XRC 仿真和讀/寫；采用無源背板，冗余主動/被動控制處理器架構，冗余主動/主動核心交換刀片，冗余 WWN 卡；冗余電源設計。

2.3 Cisco MDS 9710 Multilayer Director

Cisco MDS 9710 Multilayer Director是業界唯一能與Brocade DCX 8510-8 Backbone競爭的產品， Cisco MDS 9710 Multilayer Director交換機的整合可為下一代存儲區域網絡（SANs）提供靈活的、高性能的構建模塊。9710 Multilayer Director可以為FC、FICON、IP光纖通道（FCIP）、iSCSI和FCoE融合網絡提供靈活的、多協議的解決方案。16Gb FC Cisco MDS 9710 Multilayer Director每秒可提供24TB的總交換容量。減少了備份和恢復窗口，并且為跨網絡的大數據集遷移提供了高性能的連接性，Cisco MDS 9710 Multilayer Director是一個高可靠性的存儲導向器，采用了N+1結構、全冗余組件和一個容錯架構設計， Cisco MDS 9710 Multilayer Director統一架構解決方案，只需一個平臺即可同時控制FC和FCoE，滿足新客戶SANs環境的需求。隨著數據的持續增長，加之虛擬化、云計算、閃存和SSD技術的使用，這些都推高了企業對高帶寬、“零”停機、多協議存儲網絡解決方案的需求。Cisco MDS 9710 Multilayer Director解決了這些困擾，并且能夠為當前任務關鍵型應用如Oracle、SAP和SQL提供所需的可靠性、性能、可用性和可擴展性。

Cisco MDS 9710 Multilayer Director單機支持384個16G FC光纖通道端口；支持模塊化多協議多層次，6個交換矩陣，雙監控模塊，8個交換插槽；適用于虛擬化數據中心SAN整合，業務連續性，集中SAN管理；支持FC、FICON、IP光纖通道（FCIP）、FCoE冗；冗余電源設計。

2.4 虛擬化環境下應用高端SAN Switch的優勢

高端SAN Switch使用獨立于LAN的SAN架構，不爭用LAN的帶寬，虛擬化環境下應用高端SAN Switch可以提供超高帶寬，高I/O，高可用，采用基于虛擬化的高端SAN Switch高可靠“主動-主動（active-active）”網狀拓撲的大規模部署，如圖2所示。

圖 2 高端SAN Switch網狀拓撲

Fig.2 The high-end SAN Switch mesh topology

虛擬化環境下應用高端SAN Switch提供高可用性；提高了數據的可靠性和安全性；易擴展性和兼容性；集中管理、共享存儲；提高數據訪問速度；異地容災得以實現；虛擬化環境下應用高端SAN Switch是解決數據大集中的主要技術之一。

3 虛擬化環境下高端SAN Switch需要注意的問題

任何技術從萌芽到成型，再到成熟，都需要經歷一個過程。部署高端SAN Switch技術相對復雜，成本很高。要求使用方充分了解存儲區域網（SAN）的相關知識和各平臺虛擬化相關知識，而且SAN Switch與各種系統硬件則存在密切聯系。存儲設備性能問題，所有主機均連接高端存儲設備，對存儲設備的性能要求很高。存儲設備高可用問題，一旦存儲出現故障，所有數據都將面臨災害，建議使用高端存儲解決存儲性能問題。建立基于存儲的容災、備份、雙活系統，提高業務支撐系統的高可靠性。基于交換機的虛擬化方式將虛擬化層直接做到交換機上，可用同一個設備完成交換功能和虛擬化功能[12]。目前，國內品牌尚無高端SAN Switch設備和配套軟件，希望國內具有強大研發實力的Huawei、Zte加大高端SAN Switch的研發投入，使國內品牌高端SAN Switch系統早日進入成功商用。高端SAN Switch設備中Brocade占據統治地位，Cisco 高端SAN Switch設備核心商用仍有待時間考驗，IBM、Sun、EMC、HP、DELL、Huawei等廠商大多OEM Brocade產品，希望國內具有高研發實力廠商早日研發出自主知識產權的SAN Switch設備或配套軟件。

4 結束語

虛擬化、大數據是實現云計算的主要技術，目前除電信、金融行業外其它領域虛擬化環境下應用高端SAN Switch尚在探索測試的階段，但相信隨著云計算的發展以及應用虛擬化的日趨成熟，該技術必會給云計算的發展帶來偉大的變革。本文圍繞虛擬化環境下應用高端SAN Switch，總結了應用虛擬化；SAN；SAN Switch；Gen 5 Fibre Channel原理、優勢，應用，趨勢；為構建虛擬化環境下應用高端SAN Switch提供了實踐經驗支持。虛擬化；SAN；SAN Switch；Gen 5 Fibre Channel為高性能云計算提供澎湃動力。

參考文獻：

[1]朱夏，宋愛波，東方，等. 云計算環境下基于協同過濾的個性化推薦機制[J].計算機研究與發展，2014，51（10）：2255-2269.

[2]史英杰，孟小峰. 云數據管理系統中查詢技術研究綜述[J].計算機學報，2013（2）：209-211.

[3]謝長生，高巍. 存儲區域網（SAN）中存儲虛擬化的研究與實現[J]. 計算機應用研究，2003（8）：130-132.

[4]羅斌，李樹友，宋斌恒. 一種SAN存儲虛擬化的實現方案[J]. 計算機應用研究，2006（3）：214-232.

[5]田磊，馮丹. 存儲區域網中磁盤陣列光纖通道接口的設計與實現[J]. 計算機工程與科學， 2005，27（7）：106-108.

[6]徐代陽，馮萍，陳艷平，等. 基于信令降頻碼方法的信令尋徑式光纖交換機的研究[J]. 計算機測量與控制，2009（12）：2488-2511.

[7]李曉坤，邵娜. 云計算虛擬化與SAN存儲大集中集成研究[J]. 軟件，2014（1）：113-114.

[8]霍衛濤，田澤，李攀，等. 基于FPGA的光纖通道網絡監控卡設計與實現[J]. 計算機技術與發展，2014（5）：199-201.

[9]Marc Farley.孫功星，譯.SAN存儲區域網絡[M].北京：機械工業出版社，2002：345-356.

[10]高昆，凡叔軍，徐海錚，等. 光纖通道應用系統的設計方法[J]. 光電工程，2004（11）：31-33.

[11]張志剛. 下一代SAN是軟硬結合[J]. 中國計算機報，2003（20）：11-12.

[12]謝長生，金偉. SAN網絡級存儲虛擬化實現方式的研究與設計[J]. 計算機應用研究，2004（4）：192-198.