云數據中心大二層網絡技術研究

文/宋文文 李莉

新一代數據中心內部的網絡邏輯結構的特點是“大二層結構”。所謂“大二層”是指所有VLAN都可以延展到所有匯聚層、接入層交換機的VLAN結構，這與傳統(tǒng)數據中心VLAN往往終結在接入層交換機的做法不同。大二層網絡結構的需求是由如下原因決定的：

1.服務器虛擬化的要求：所有主流服務器虛擬化技術都能夠實現不同程度的虛機在線遷移，而虛機遷移前后其MAC/IP地址等不變，決定了其遷移的源和目的應在同一個VLAN；

2.網絡業(yè)務整合的需要：新一代數據中心網絡要求比傳統(tǒng)網絡更高的業(yè)務承載能力，各種應用（比如Oracle RAC等）等都需要純二層網絡來提供其業(yè)務所需的低延遲、高吞吐、MAC層直接交換的網絡環(huán)境；

3.智能業(yè)務整合、集中部署的需求：為面向范圍更廣的接入層提供智能服務資源池，智能服務被要求集中化部署，這就需要有智能服務要求的VLAN都能延展到智能服務設施所在的匯聚層。

隨著應用的數量迅猛增加，二層網絡的擴展造成傳統(tǒng)二層技術在鏈路冗余能力、負載均衡能力、可擴展性和網絡穩(wěn)定性上面的諸多問題，下面以某高校為例討論如何構造一個可擴展的大二層網絡。

大二層網絡設計技術

跨機箱的端口捆綁（VPC）

由于傳統(tǒng)二層網絡依靠生成樹（或生成樹的改進協(xié)議，如快速生成樹、MSTP等）來實現冗余鏈路的負載均衡和故障切換，不僅設計復雜、建設維護管理難度大，而且鏈路負載不均、故障收斂慢且穩(wěn)定性差。一種摒棄生成樹的設計就是跨機箱實現以太網端口捆綁，如圖1所示：

這樣設計之后，向任何一對冗余的物理機箱的連接都可看成是連向一個邏輯設備，多條冗余的鏈路可被捆綁為一條邏輯鏈路，邏輯鏈路內各物理鏈路可負載均衡和高效能故障切換。進行跨機箱的端口捆綁要注意如下設計：

雙活故障逃生：跨機箱端口捆綁機制的潛在風險是一旦核心機箱間通信故障或軟件Bug，則會造成控制平面雙活，對不同跨機箱端口捆綁機制，雙活造成的影響不同，對于控制平面合并類型的機制，雙活會造成所有端口停止轉發(fā)的崩潰性后果；而對于雙機箱控制平面獨立的機制，則雙活只會造成配置同步的暫時中斷，不影響當前的數據轉發(fā)。因此核心主干和接入交換機都應當選擇雙控制平面獨立的機制。

對外端口捆綁協(xié)議兼容性：跨機箱的端口捆綁，捆綁協(xié)議本身應采用開放的IEEE 802.3ad，這樣使被上連的設備感覺不到正在上連雙設備，而是感覺與一個設備進行多鏈路捆綁連接一樣。這樣的設計可提供更開放的互連擴展性。

跨機箱數量：跨機箱端口捆綁一般是在兩個機箱實現，當對超過兩個的多機箱進行端口捆綁時，由于雙活甚至多活的幾率大增、多機箱間的協(xié)議和配置同步難度加大，系統(tǒng)會變得非常不穩(wěn)定，不適于在數據中心核心主干使用。如果要通過兩個以上的機箱的平行擴展提高主干的容量，應采用其他高擴展性技術。

圖1 跨機箱的端口捆綁

二層多路徑（L2MP）

二層多路徑（L2MP）技術是將網絡層路由技術的高擴展性、冗余性、負載均衡能力和策略性等優(yōu)勢移植到以太網MAC層實現的技術，好比是為鏈路層提供了與網絡層一樣的高級路由能力。由于L2MP技術基于已經成熟的路由協(xié)議技術，具備更強的拓撲適應性、更簡單的設置和管理（幾乎即插即用）、更開放架構（IETF TRILL標準化），因此正在成為跨機箱捆綁機制的替代技術。

表1 跨機箱的端口捆綁技術和二層多路徑技術對比

交換機虛擬集群技術

經過柜頂交換機連接的服務器連同機柜已經形成一個完整的接入模塊，若干模塊可形成一個接入群組“POD”，這種接入方式易于升級、擴展，便于排錯管理

部分高端數據中心廠商已經推出了數據中心核心/匯聚交換機與柜頂接入交換機虛擬化集群的技術，通過這種集群技術，所有柜頂交換機完全成為核心/匯聚交換機的遠端板卡，整體將被看成一個完整的、高端口密度的交換機。整個數據中心工作起來象一個交換機一樣，因此不失為一種精簡架構的大二層解決方案。但這種解決方案也有其一些問題，如：

接入層平面化：所有接入完全平面化，沒有層次化過載比設計，因而除非整個數據中心POD內和POD之間的交換吞吐量基本沒有差異，否則就會導致有的部分效率低、有的部分性能不足的問題；

專有技術擴展受限：交換矩陣擴展是專有技術，在POD內使用不會影響擴展性，而全數據中心用一種專有技術，其擴展性和擴展規(guī)模將受限；

存儲網絡方案無平滑過渡：不僅數據部分平面化，而且存儲的設計也隨之平面化，現有的矩陣擴展技術還不能解決在柜頂端提供傳統(tǒng)SAN接入交換的技術，必須采用FCoE Multi-hop或者另起單獨的存儲網絡來實現存儲互連。如果全數據中心都采用這種技術，則存儲的設計將只能在最新的FCoE Multi-hop和最傳統(tǒng)的單獨SAN網絡之間選擇，沒有二者共存、平滑過渡的選擇。

因此虛擬集群的模式雖然好，但存在實際部署的問題，因此它可用來在局部POD內部署，或解決數據中心少數規(guī)模限度可預測、需極度精簡化的POD部署需求。

圖2 某高校數據中心大二層設計圖

某高校數據中心大二層設計

根據以上分析，各類解決方案都有其適用的范圍和獨特優(yōu)勢，一個大型的數據中心不可能只使用一種方法完成大二層部署，下面以某高校為例來說明技術選型原則：

網絡架構設計

數據中心網絡采用核心+接入兩層網絡架構，核心采用兩臺高性能交換機，接入層采用支持L2MP數據中心交換機構建的虛擬交換集群作為虛擬化數據中心接入網絡。

數據中心網絡核心的兩臺交換機通過兩條或多條萬兆互聯(lián)，提高核心網絡的可用性；網絡核心與以太網通過4條萬兆鏈路進行全網狀互聯(lián)，并利用鏈路聚合技術將與虛擬交換集群互聯(lián)的4條萬兆鏈路進行匯聚；將4條萬兆鏈路匯聚后上聯(lián)至校園網核心，此時4條萬兆鏈路轉化成為邏輯上的一條40G的互聯(lián)鏈路。

網絡拓撲設計

不同的拓撲結構針對不同的應用場景有其特殊的意義。雖然兩級網絡架構在物理上看是由匯聚層和接入層兩級設備構成的，但是在邏輯上卻是一張扁平化的大二層網絡，在這個扁平化的大二層網絡中不會再出現傳統(tǒng)以太網中遇到的環(huán)路產生的各種問題。

具體部署兩臺三層交換機構建第一級網絡，兩臺交換機之間通過四條或者八條萬兆鏈路形成橫向互聯(lián)，增強匯聚層網絡的可用性。

其重要功能包括：

1. 用于匯聚來自第二級交換機；

2.用于通過多條萬兆鏈路與網絡核心設備互聯(lián)；

3.用于將數據中心虛擬化網絡擴展至異地數據中心；

4.用于在一級部署使用萬兆接口的服務器及FCoE存儲設備；

5.用于將原有光纖通道鏈路將原有的SAN存儲整合進虛擬化網絡平臺。

第二級網絡支持L2MP的接入交換機成，按照架頂式部署，其主要功能為向PC 服務器提供千兆接入或萬兆以太網端口接入，每臺交換機通過兩條萬兆鏈路分別連至兩臺一級交換機，提高網絡的冗余和可用性；其中每臺接入交換機可以支持48個線速千兆以太網端口及4個線速萬兆以太網端口，主要負責為中低端PC服務器提供接入。

存儲網絡的設計

通過將現有的FCoE存儲接入數據中心，利用多跳的FCoE技術，使FCoE很容易的延伸到校園網的任何地點。傳統(tǒng)的FC交換機可以轉換成FCoE以滿足這種可擴展性，從而可以根據實際的情況靈活部署。

擴展性考慮

數據中心的設計可以支持即插即用的擴展能力，在未來服務器增加的情況下，很容易的做到多設備的接入。

虛擬化環(huán)境下，虛機的自動漂移極大的提高了IT資源的動態(tài)分配與應用服務的高可用性，當虛機漂移時，虛擬交換集群能夠自動感知虛機，并將于該虛機關聯(lián)的各種屬性自動應用到交換機新的物理端口上。

虛擬集群交換技術在滿足各項豐富應用特性的同時，邏輯機箱特性大大簡化了IT基礎設施的管理難度，當應用規(guī)模變得越來越大，虛擬交換集群也隨之擴大的同時，整個存儲網絡仍然是作為一臺交換機來管理，大大降低了管理成本。

大二層技術應用總結

1.在核心/匯聚到個接入層設備之間采用L2MP：由于L2MP具備極強的擴展性和拓撲適應性，管理又相對簡單、即插即用，路由協(xié)議為基礎的冗余和負載均衡方法是經過考驗的穩(wěn)定方式，因此是用于網絡主干技術的最佳選擇；

2.邊緣采用跨機箱端口捆綁：由于服務器端、外接智能服務設備（防火墻、負載均衡設備等）大部分支持標準化的IEEE 802.3ad端口捆綁，因此對這些設備的接入適于使用跨機箱端口捆綁技術；

3.在POD內使用交換機集群：交換機集群技術缺乏層次化、技術專有性強，不適于全數據中心部署，但其精簡化為單一管理節(jié)點的方式對層次化要求單一的POD內部署則具備極大的優(yōu)勢，因此在POD內進行集群化部署。該技術也可對需極度精簡化、又不需層次化設計的多個POD進行部署，將這些POD的所有交換機集群為單一邏輯交換機。

隨著數據中心內虛擬化應用的不斷擴張，底層的數據行為也在悄然發(fā)生改變，帶動了基礎架構的演進。云數據中心不僅需要高密度、大容量網絡設備，還需要合適的技術才能夠滿足大數據量行為的變化，并反過來提供經過優(yōu)化的網絡平臺，這種從量到質的變化將深刻影響數據中心技術的發(fā)展。

數據中心不再需要運行生成樹協(xié)議（STP），不會阻斷鏈路，從而大大提升了數據中心的橫向網絡帶寬，很好地支持了服務器之間迅猛增加的橫向流量，使得二層網絡得到平滑擴展。