聚合增強型以太網環境下的數據中心建設

黃志宏，巫莉莉，鐘焯榮，張 波

(華南農業大學現代教育技術中心，廣州 510642)

近年來，隨著數據中心的應用越來越廣泛，數據中心內部使用的網絡技術也得到了迅猛發展［1－2］。目前，數據中心的網絡主要分為前端網絡和后端網絡。前端網絡使用以太網來實現聯網;后端網絡使用光纖通道(fibre channel，FC)來實現存儲。不同的網絡需要不同的協議、接口、設備以及管理工具，從而增加了系統的整體復雜性和成本。

聚合增強型以太網(convergence enhanced ethernet，CEE)是一種擁有阻塞管理和流量控制功能的低延遲、不丟棄數據包的傳輸技術，它和以太網光纖通道(fibre channel over ethernet，FCoE)技術的出現，將數據中心局域網和存儲局域網融合為單一的以太網互聯結構，實現了I/O的整合。融合后的數據中心網絡不僅具有以太網低成本、可擴展的特點，還擁有FC高可靠性的優點。

本文通過搭建測試環境，對傳統數據中心網絡和CEE的傳輸性能進行比較。基于FCoE標準和CEE對學校數據中心的局域網(LAN)和存儲網(SAN)進行整合，有效地利用了數據中心前期的基礎設施建設，并在維持原有服務的基礎上，大幅減少服務器上的網絡接口數量，降低了功耗，提高了系統可用性，對今后高校數據中心網絡的改造具有一定的參考價值。

1 關鍵技術

1.1 FCoE 標準

FCoE是一種可以將光纖通道映射到以太網，從而能在以太網上傳輸SAN數據的技術標準。它通過以太網直接傳輸光纖協議，讓存儲網絡中的數據可輕易跨越光纖和以太網的界限，從而降低用戶在存儲網絡構建和管理方面的成本和復雜性［3］，同時能利用用戶對數據中心的前期投資，提供一種以FC存儲協議為核心的I/O整合方案。

1.1.1 I/O 整合

FCoE通過以太網技術承載了LAN和SAN數據的傳輸，整合了分散的兩張網絡，減少了服務器I/O適配器的數量和接入線纜數量，提高了鏈路I/O的利用率。

1.1.2 FCoE 封裝

如圖1所示，FC網絡協議棧有5層，其中:FC-0定義為承載介質類型;FC-1定義為幀編解碼方式;FC-2定義為分幀協議和流控機制;FC-3定義為通用服務;FC-4定義為上層協議到FC的映射。FCoE協議棧有6層，其中:第1、2層為符合IEEE 802.3標準的層;FCoE Mapping是FCoE映射和發現層;FC-2至FC-4層與FC協議棧的FC-2至FC-4層有相同的定義。通過FCoE映射把FC-2層以上的內容封裝到以太網報文中進行承載［4］。

FCoE以幀結構的模式將光纖通道映射到以太網上［5］。它把FC幀封裝在以太網幀中，允許LAN和SAN的業務流量在同一個以太網中傳送，并保證SAN流量的無損傳輸。FCoE幀格式如圖2所示。由幀格式可知:第1個48位和第2個48位分別為目的MAC地址和源MAC地址;接著為32位IEEE 802.1Q VLAN標記;然后是16位的類型(類型值為0x8906)，表明FCoE幀可以被以太網承載;接著是4位的版本號(目前為0);之后是100位保留位，使幀長度符合以太標準;然后是8位SOF(start of frame)、實際被封裝的FC幀和8位EOF(end of frame);接著是24位保留位;最后32位是幀校驗序列，用于對以太網錯誤幀的檢測。

圖1 FCoE和FC協議棧層次

圖2 FCoE幀格式

1.2 聚合增強型以太網

為了實現數據中心以太網和光纖存儲網的融合，在以太網上傳輸SAN數據需要2種關聯協議的支持:一個是FCoE，它是一個傳輸標準，讓光纖通道幀可以在以太網上進行傳輸;另一個是CEE，FCoE需要它在以太網上進行光纖傳輸。傳統的以太網經常發生網絡堵塞、延遲和幀損失，而FC的SAN數據需要無丟幀傳輸，因此傳統以太網不適合FC傳輸。為了滿足FCoE網絡融合技術的需要，IEEE 802.1和IETF標準組織制定了一些新的標準，創建了無損(Lossless)的聚合增強型以太網，實現了以太網的無丟包服務［6］。

1)優先級流量控制。目前，以太網通過Pause機制實現不丟幀的要求，但它同時也阻止了整個鏈路上的所有流量。優先級流量控制(priority-based flow control，PFC)作為增強的Pause機制，可以在一條以太物理鏈路上最多創建8個獨立的虛擬鏈路，并允許單獨暫停和重啟其中任意一條虛擬鏈路。該方法使網絡能為單個虛擬鏈路創建無丟幀類別的服務，使其能與同一接口上的其他類型的流量共存。在支持FCoE的交換機上，通過以太網幀的CoS值區分不同類型的流量，在擁塞嚴重時暫停指定虛擬通道上的數據流量。

2)增強傳輸選擇。增強傳輸選擇(enhanced transmission selection，ETS)通過為指定服務類或虛擬通道提供保障帶寬來提高整體性能。ETS可為不同的業務流量設定優先級和保障帶寬，并允許低優先級的流量使用高優先級隊列閑置的帶寬，使網絡帶寬得到最大化的利用。

3)數據中心橋接交換協議。數據中心橋接交換協議(data center bridging exchange，DCBX)的作用是為具備數據中心橋(data center bridging，DCB)特性的網絡設備提供參數協商和遠程配置功能，包括發現對端設備的DCB能力(如是否支持PFC等)、發現鏈路兩端設備DCB參數的配置錯誤、遠程配置對端設備的DCB參數。DCBX通過在802.1AB鏈路層發現協議(LLDP)上定義新的TLV(type length values)來實現其參數交互機制。DCBX技術確保了網絡設備間DCB參數的一致性，為不丟幀的以太網幀傳輸創造了條件。

4)擁塞通告。當網絡中發生擁塞時，由擁塞點向數據源發送指示來限制引起擁塞的流量，并在擁塞消失時通知其取消限制。這樣可以把擁塞限制在網絡的邊緣，減少了擁塞對網絡其他部分造成的影響。擁塞通告(congestion notification，CN)提供了一種在2層網絡對持續擁塞流量的端到端管理方法。例如，當服務器CNA卡發送FCoE幀時，常會出現大塊的持續傳輸的數據流，若傳輸路徑的某交換機出現擁塞，該交換機會在2層網絡內通過發送幀來通知服務器的CNA卡進行限速，以緩解擁塞［7］。

5)多鏈路透明互聯。多鏈路透明互聯(transparent interconnect of lots of links，TRILL)是一種在2層網絡中提供多路徑的技術。它使用IS-IS協議來學習交換機網絡的拓撲，計算以太網連接各端點之間的最短路徑和等價路徑，支持多條并行路徑，流量可以在多條并行路徑中均衡負載，從而提高網絡的擴展性和可靠性［8］。

2 FCoE與傳統數據中心技術的對比

本文從管理情況、傳輸效率、應用模式等方面對FCoE技術與傳統數據中心的FC和iSCSI(internet small computer systems interface)技術進行對比。

2.1 數據幀格式對比

如圖3所示，iSCSI的基本原理是使用TCP/IP協議封裝的SCSI(small computer system interface)命令和數據，使其可以在IP網絡中進行傳輸。iSCSI幀是將 SCSI命令和數據先封裝在 iSCSI PDU(protocol data units)中，再將iSCSI PDU依次經過TCP層封裝、IP層封裝和數據鏈路層封裝，最后由 IP網絡進行傳輸［9］。封裝 SCSI數據包使iSCSI消耗了大量的處理器資源。FCoE是將Fibre Channel協議繞過TCP/IP協議棧直接封到IP報頭里，并使SAN通信通過本地標準LAN網絡進行傳輸。FCoE在以太網傳輸下最高可獲得10 Gbps的傳輸速度，能在高吞吐量和低延遲情況下更好地滿足需求，保證SAN流量的無損傳輸。同時，由于其無需封裝SCSI數據包，協議開銷小，因此在傳輸性能上比iSCSI優勢明顯。

2.2 傳輸速率、帶寬的對比

FCoE利用了以太網作為底層傳輸協議，并保留了FC在可靠性和速度方面的優勢，在10 G以太網上有較好的體現。

FCoE和iSCSI的理論傳輸帶寬為100 G，而FC數據傳輸的理論帶寬僅有16 G。與此同時，FCoE的傳輸開銷比iSCSI小，有效數據傳輸的速率也比iSCSI高。

圖3 iSCSI和FCoE傳輸幀結構

2.3 傳輸效率對比

通過數據格式對iSCSI、FC和FCoE的最大理論傳輸效率進行計算。iSCSI的傳輸效率為

因此，在數據傳輸效率上FC＞FCoE＞iSCSI。

2.4 應用對比

對于中小企業或者擁有遠程分支站點的企業或者機構來說，iSCSI應該是不錯的選擇。iSCSI的成本相對較低，部署管理更為方便。

對于大型數據中心而言，若已經采用FC建設好的數據中心，可以平滑過渡到FCoE。而新建設或者規劃的數據中心可以考慮直接使用FCoE的技術進行建設，這樣能享有FCoE在融合、節能、易管理、高可靠性、QoS好方面的優勢。

2.5 技術對比

本文對FCoE、FC和iSCSI三種技術進行對比分析，結果如表1所示。

表1 技術對比分析結果

表1表明:與FC和iSCSI技術相比，FCoE的傳輸速度優于iSCSI，與FC基本持平;FCoE的傳輸效率略優于iSCSI，略低于FC，但三者差距很小。因此，從傳輸速度與效率來看，FCoE能滿足FC和iSCSI技術的各種應用場合。同時，由于FCoE拋棄了TCP/IP棧，無需封裝SCSI數據包，因此性能和可靠性均優于iSCSI。此外，FCoE相比FC可大幅減少服務器上的網絡接口數量，具有簡化布線和接口、減低前期設備投資和后期管理成本的優勢。

3 網絡結構

3.1 傳統數據中心網絡結構

由于傳統以太網不能保證傳輸的可靠性，因此當出現擁塞和沖突時容易出現丟包。而光纖存儲網由于涉及到I/O同步問題，因此要求高速、低延遲與無丟包。傳統數據中心網絡分為前端網絡和后端網絡2部分［10］:前端為以太網(LAN)，是業務服務器之間以及服務器與核心網絡之間的接入網絡;后端為存儲區域網(SAN)，是業務服務器與存儲設備之間的網絡。傳統數據中心網絡結構如圖4所示，這種網絡結構使數據中心網絡變得分散，增加了服務器和交換機的連接端口以及連接線纜數量，提高了布線難度、機房能耗和管理復雜度。

3.2 融合后的數據中心網絡結構

融合后的數據中心網絡結構如圖5所示，融合后的網絡通過增加了FCoE的交換機和配置在服務器端的CNA卡將傳統數據中心的LAN和SAN融合在一起。它允許數據中心的管理員在一個單一的10 Gb以太網鏈路上傳輸以太網數據和在光纖通道存儲通信，從而簡化數據中心的網絡拓撲結構，極大地減少電纜和端口數量，提高鏈路I/O的利用率，使高密度和高能效系統成為可能，有效地節省基礎設施的開銷。

圖4 傳統數據中心網絡結構

圖5 融合后的數據中心網絡結構

4 測試

為降低成本、利用前期數據中心硬件資源的投資、增加設備和鏈路I/O的使用效率、減少線纜使用量、降低能耗，須搭建合適的測試環境。將傳統的數據中心網絡和融合后的CEE數據的傳輸性能進行比較。測試結果驗證了CEE的性能優勢，為數據中心改造提供參考依據。

4.1 測試環境

FCoE在傳輸速度和效率上都不亞于FC SAN，而在數據傳輸的總帶寬方面，FCOE和iSCSI明顯優于FC。因此，本文只對FCoE和iSCSI的數據傳輸性能進行測試比較。測試環境:2臺Intel架構服務器(1臺安裝支持FCoE標準的CNA卡，1臺只安裝以太網卡);1臺支持FCoE和iSCSI的存儲器;1臺FCoE數據中心光纖交換機;1臺以太網交換機。測試環境的網絡拓撲如圖6所示。1臺服務器基于FCoE標準通過FCoE交換機連接存儲，1臺服務器基于iSCSI協議通過以太網交換機連接存儲。

圖6 測試環境的網絡拓撲

4.2 測試結果

本文分別在單個LUN和8個LUN配置下，通過設置不同大小的區塊，分別記錄讀取(read)、寫入(write)和隨機讀取(random read)的吞吐量。根據測試結果對iSCSI和FCoE的傳輸性能進行對比。測試對比情況如圖7、8所示。

圖7 FCoE測試結果

圖8 iSCSI測試結果

圖7、8中，橫坐標指區塊大小，單位為Byte;縱坐標是對應的吞葉量，單位為MBps。從圖中的對比數據可看出:傳統的iSCSI整體性能偏低，在多個LUN環境下可以達到線速，而在單個LUN環境下無法達到線速。總體而言，iSCSI的吞吐傳輸性能較FCoE有明顯差距。而產生性能傳輸差異的關鍵因素在于:①FCoE與iSCSI相比具有更加可靠的傳輸技術(CEE)，它能確保數據零丟失;② FCoE與iSCSI相比具有更高效的協議尋址和數據傳輸機制，因此兩者在單個LUN的吞吐量方面的差距較明顯。

5 結束語

FCoE網絡融合技術和CEE技術實現了傳統數據中心的LAN和SAN的融合。融合后的網絡實現了以太網對SAN數據流量的承載，能對數據鏈路的I/O進行有效整合，并提供10 GB的高速帶寬，簡化了機房網絡環境，降低了網絡管理復雜度，同時有效利用了前期的基礎設施建設，從而構建起高密度和高效能的數據中心系統。

［1］韓存鴿.聚類挖掘在高校圖書館管理系統中的應用［J］.重慶理工大學學報:自然科學版，2012，26(11):83－87.

［2］王越，袁桂義.基于關聯分析的數據挖掘在體檢CRM中的應用［J］.重慶理工大學學報:自然科學版，2010，24(3):36－42.

［3］馬錚.光纖通道技術的研究［J］.科技信息，2011(8):647，649.

［4］Zhao D.FCoE Application on Network Service of Geographic Information.Semiconductor Photonics and Technology［J］.2008(1):37 －41.

［5］程逸云.部署FCoE實現數據中心網絡融合［J］.信息通信，2012(1):87－88.

［6］周航.分布式FCoE交換機鏈路模塊的設計與實現［D］.北京:北京郵電大學，2011.

［7］FCoE－數據中心網絡融合技術［EB/OL］.［2012－09－30］.http://wenku.baidu.com/view/0b6171dfce2f00 66f533226f.html.

［8］以太網光纖通道(FCoE)技術綜述［EB/OL］.［2010－12 － 23］.http://www.h3c.com.cn/About_H3C/Company_Publication/IP_Lh/2010/13/Home/Catalog/201012/705332_30008_0.htm.

［9］張震，郭肇嫻.基于iSCSI的網絡存儲協議研究及實現［J］.中國新通信，2009(7):15 －18.

［10］武靜悅.淺析數據中心網絡技術的現狀及發展趨勢［J］.信息技術與信息化，2011(6):30 －33，37.