基于支撐網雙活數據中心 大二層網絡架構的研究與實踐

鄧偉偉 潘家宏 楊陽

摘要：隨著BOSS/CRM業務的快速發展以及虛擬化技術的成熟，服務器虛擬化、虛擬機動態遷移、數據庫遠程RAC等需求也隨之誕生，相同業務的不同物理機/虛擬機在不同網絡中的部署、遷移以及跨數據中心的數據庫集群建設，都使得傳統的網絡架構已無法滿足現有業務需求，新的大二層網絡由此應運而生。本文對現有大二層網絡的主要技術進行了分析，并結合現網及業務需求的實際情況，將優化后的方案部署到支撐網數據中心的網絡中。

關鍵詞：數據中心 ;網絡;大二層;OTV;Overlay

一、背景介紹

隨著時代不斷發展，新技術的不斷革新，當前大數據、云計算、分布式集群已經成為運營商和諸多互聯網公司建設IT的一個新趨勢，而分布式、虛擬化技術在各應用系統中得到了廣泛的應用，然而應用需要分部式的部署在不同的網絡環境上，使得虛擬機和物理機可以在網絡中的任何節點進行隨意的遷移，并且要求在遷移前后IP、網關等信息保持不改變，以保障業務的繼續性。這就要求虛擬機在遷移的前后必需處在同一個網段，這給傳統的數據中心網絡架構帶來了新的挑戰。

本文總結和分析了目前大二層網絡涉及的技術和設計方案，并結合現網及業務需求的實際情況，將優化后的方案部署到支撐網數據中心的網絡中。

二、傳統數據中心網絡架構

傳統的數據中心網絡架構分為三層，第一層為接入層，負責主機、服務器的網絡接入;第二層為匯聚層，負責接入層網絡的匯聚，它可以實現安全接入、策略管理、地址過濾等功能;第三層為核心層，負責整個骨干網絡的路由轉發，實現數據交互等功能。

三、新數據中心的網絡架構

由于服務器虛擬化之后，隨之產生的動態遷移技術給傳統的三層網絡架構帶來了很大的麻煩和挑戰，虛擬機的動態遷移，物理機的跨機房搬遷、數據庫遠程RAC的部署都有分布在不同數據中心的網絡需要處于一個二層網絡的需求，使得原有的網絡架構必須做出改變。

為了滿足服務器虛擬化、搬遷和數據庫遠程RAC等業務的部署要求，數據中心的L2/L3層網絡分界應該從匯聚層上移至核心層，核心路由器以下都是L2層網絡，這個L2層網絡可以包含多個VLAN，跨越多個數據中心。之間的通信通過L3層進行封裝和路由。使分散在不同物理位置的設備通過虛擬化或RAC技術實現二層網絡的互聯，在建立和遷移時不需要對IP地址或者網關進行修改。

四、實現的主要技術和方式

（一）堆疊技術

通過堆疊技術，把不同數據中心里的交換機堆疊成單臺邏輯設備，把網絡設備虛擬化的范圍擴大到所有數據中心。這要求所有涉及的設備都必須通過堆疊線纜和光纖直連，而且受延時影響距離不能太遠，最好在15公里內。

（二）L2 over L3（OTV）

L2 over L3，指在三層的路由網絡上，通過隧道的方式，將二層數據報文封裝在三層報文中，再把不同數據中心內的多個二層網絡串聯起來，構建一個全局范圍的大二層，實現不同數據中心的二層網絡互通。OTV是思科私有的一種跨數據中心的二層網絡技術。

（三）TRILL技術

TRILL技術是把三層路由的控制算法引入到二層網絡中，解決了STP/MSTP存在的缺陷，消除環路，并提多路徑的等價特性。

五、大二層網絡在支撐網中的應用

現網網絡架構為三層架構，接入層負責提供業務服務器的接入服務，采用的設備為華為的C12800系列和CISCO的N7K系列。匯聚層負責數據中心機房所有接入層設備和路由的匯聚，采用的設備為華為的NE40E系列。核心層負責多個數據中心及地市出口的設備互聯及路由轉發，采用的設備為華為的NE40E系列。

由于現網中，608、五象兩個數據中心BOSS/CRM核心業務的接入層設備均有CISCO N7K系列承載，而數據中心間核心層設備由華為NE40E系列組成，在不改變現網主要物理網絡架構的前提下，在三層IP網絡中實現虛擬大二層的同時，保持原有二層網絡域的獨立性和容錯性，采用了Cisco OTV作為主要技術。

首先，OTV技術與傳統的VLPS和GRE Tunnel等技術相比，不需要建立并持續維持終節點間點對點連接，使用MAC路由技術，只需要初始化完成MAC表構建過程后，保證IP可達即可完成大二層的通信。其次，OTV技術提供多宿主支持和內建防環機制，能夠良好隔離打通后的二層網絡廣播域，抑制整合后的跨區及本地環路廣播風暴，使管理更加便捷。最后，OTV的網絡擴展性更強，收斂速度更快，降低了現網的部署和維護難度。支撐網大二層網絡架構如圖1所示。

（一）方案采用的主要技術

1.VDC（Virtual Device Context）：設備一虛多技術， 能在一臺物理設備上實現多個虛擬化設備的劃分，并且實現控制、轉發、環境的完全分離。每一個VDC是一個分離的故障域，之間不會相互影響。

2.OTV（Overlay Transport Virtualization）：Cisco OTV是一項"MAC in IP"技術。通過使用MAC地址路由規則，它可以不需要建立和持續維持節點之間的點對點連接，只需要初始化完成MAC表構建過程后，在確保IP路由可達的情況下，即可完成大二層的通信。

（二）建設方案

1.VDC的劃分及互連

我們在每個數據中心的N7K交換機上，通過VDC技術，將一臺物理N7K交換機虛擬出兩臺N7K交換機，分別是VDC-1和VDC-2。VDC-1作為傳統網絡業務接入的核心交換機，上行與匯聚路由器NE40互連走三層協議，下行與服務器互連走二層協議，與另一臺N7K虛出的VDC-1通過TRUNK互聯，兩臺VDC之間通過VRRP協議虛擬出服務器的業務網關。VDC-2作為OTV的Edge Device，OTV設備（VDC-2）采用旁掛部署，與VDC-1使用兩個聚合口進行互連，其中聚合口AG4使用二層協議與VDC-1互連，透傳需要進行大二層擴展的業務VLAN，另外聚合口AG5使用三層協議與VDC-1互連，實現三層路由轉發。

2.數據規劃

（1）VDC數據規劃

在大類相同但子類不相同的業務上（如計費系統、酬金系統、營業系統、CRM系統等都屬于BOSS系統），通過在相同的VDC上劃分不同的VLAN進行子類業務劃分，業務在進行跨中心網絡遷移時，無需變更原有IP地址和修改相應的應用程序，只需要把所在接入設備的端口劃入之前的同一個VLAN。打破了網絡的遷移需要修改IP和修改其它關聯業務相應配置的約束，實現了跨地域的動態遷移。在不同大類的業務上，如數據庫遠程RAC、存儲雙中心等基礎平臺業務?？梢酝ㄟ^不同的VDC進行劃分，與業務的VDC進行區分。防止在同一個VDC下因二層VLAN太多，因某個VLAN產生的廣播風暴直接影響到該VDC設備上的性能，導致連帶影響其他不同的大類業務。

（2）VRRP規劃

在支撐網中由于每個數據中心的網絡設備為了確保業務的穩定性和繼續性，所有層面的節點均由主備兩臺以上的設備組成，當大二層網絡跨越兩個數據中心時，同一個業務VLAN網段則由4臺設備組成。由4臺設備通過VRRP虛擬出來的VIP網關，在Master狀態發生變化時，則可能會發生數據中心之間流量橫穿疊加的情況。

當Master狀態從一個數據中心飄到另一個數據中心時，原屬同一個數據中心的服務器雖然訪問VIP不變，但數據流量先通過三層網絡繞到另一個數據中心，再通過二層網絡返回到原來的數據中心。這樣兩個數據中心之間會存在不必要的流量橫穿疊加的情況，會占兩個數據中心之間的帶寬，造成帶寬浪費。

為了避免這類情況，我們在規劃大二層網絡的VRRP時，通過兩個VIP+負載均衡的方式解決。即同個數據中心的兩臺主備設備虛擬出一個VIP，另一個數據中心的兩臺主備設備虛擬出另一個同網段的VIP，兩個VIP同時對外提供服務。通過負載均衡進行兩個中心的統一入口和負載分擔，再通過負載均衡設備上的策略路由實現同一個數據中心的IP網段，優先訪問所在中心的VIP。這樣即使在VRRP的Master狀態發生變化時，也不會發生兩個中心的狀態飄移，解決了數據中心之間流量橫穿疊加的問題。

（3）數據庫遠程RAC規劃

數據庫遠程RAC這種技術的機制是通過在兩個數據中心機房搭建一套邏輯上屬于同一個數據庫的RAC，兩邊可以同時運行業務。實現在兩個數據中心之間的雙活，并達到最高容災等級。遠程RAC方案網絡總體架構需要SAN及IP網絡，在兩個數據中心間進行可靠的同IP段的內網通信。SAN網絡通過增加設備和傳輸延伸來實現，IP網絡通過VDC和OTV技術實現。在N7K設備上虛出的專門用于數據庫遠程RAC的VDC（不同的業務的不同數據庫通過不同的VLAN劃分二層網段），再通過運行OTV的VDC-2實現大二層封裝，在兩個數據中心三層IP網絡上虛擬出專屬RAC的二層網絡，實現跨機房的同IP段內二層通信。

3.OTV的配置過程

由于OTV不需要改變現網結構和重新配置現有網絡，在三層IP路由可達的前提下，只需要在的運行OTV的VDC-2設備上配置即可。

4.大二層通信過程

首先確保兩個數據中心的三層IP網絡路由可達以及OTV鄰居關系正常。

（1）同一個數據中心同一個站點內通信數據流：

相同網段的兩臺Server通信時：服務器直接通過所在交換機的Mac進行二層查找轉發，不進行路由。

（2）不同數據中心間不同站點內通信數據流：

不同數據中心但相同網段的兩臺Server進行通信時：1）Server1把數據送至上連的交換機，上連的交換機通過Mac表尋址，把數據送至本端的OTV設備上。2）本端OTV設備收到報文后，會進行大二層封裝，并通過查找路由的方式轉發到對端數據中心的OTV設備上。3）對端數據中心OTV設備收到報文后，將報文進行解封裝，通過Mac表尋址送至Server3服務器上連的交換機。4）Server3服務器上連的交換機通過查找本地Mac地址表，將報文送到Server3服務器上。大二層通信數據流如圖2所示。

六、結束語

綜上所述，通過在現有支撐網網絡架構的基礎上，利用OTV/VDC等技術的特性，結合現網中的業務需求和環境進行規劃和部署，實現了支撐網異地雙活數據中心的大二層網絡。為服務器的虛擬化、動態遷移、數據庫遠程RAC等業務實現跨數據中心集群部署提供了網絡解決方案。通過VRRP、負載均衡數據劃規和路由分發策略的應用，解決了數據中心之間流量橫穿疊加和資源占用的問題，提升了整體網絡的穩定性和可靠性，為后繼業務的連續性，提供保障。

作者單位：鄧偉偉? ? 潘家宏? ? 楊陽? ? 中國移動通信集團廣西有限公司

鄧偉偉（1983.11-），男，壯族，廣西武鳴，本科，工程師，研究方向：網絡通信、信息安全。

參? 考? 文? 獻

[1]李彬，陳雪蓮，胡玲.大二層技術在電力數據中心網絡的研究與應用探析[J].信息系統工程， 2019（02）：78，81.

[2]陶凱.大二層網絡結構的實踐與思考[J].中國金融電腦， 2017（08）：66-68.

[3]韓溥.數據中心大二層扁平化網絡架構研究[J]. 中國新通信，2020（06）：63.

[4]劉芹，索鳳蓮.跨數據中心大二層組網技術探討與分析[J].互聯網天地， 2016（11）：27-32.

[5]姚金玲.企業數據中心二層網絡互聯技術研究[J].網絡安全技術與應用， 2015（5）：86.

[6]祁杰.應用OTV技術實現云計算跨二層網絡融合方案淺析[J].移動通信， 2014（9）：52-54，59.