中國移動數據中心SDN網絡架構及關鍵技術

王瑞雪 熊學濤 翁思俊

摘要：提出了一種適用于大規模數據中心的SDN組網方案及其對應的網絡架構和關鍵技術。在該組網方案下，引入多POD組網結構，每個POD內部署獨立的SDN控制器及轉發設備，通過統一的云管理平臺集中管理多個POD。基于SDN的大規模數據中心組網方案旨在打破傳統云平臺和SDN控制器管理規模性能的限制，滿足數十萬臺服務器的數據中心建設需求。該方案已成為通信行業SDN大規模網絡的標桿方案，目前已在中國移動私有云數據中心規模商用。

關鍵詞：軟件定義網絡;大規模數據中心;底層網絡;路由規劃

1? ?引言

為滿足通信4.0時代敏捷化、開放化、軟件化和虛擬化的網絡需求，中國移動提出以NovoNet為愿景的下一代網絡構想，旨在通過網絡革新構建一張資源可全局調度、能力可全面開放、容量可彈性伸縮、架構可靈活調整的新一代網絡架構[1-4]，以適應中國移動數字化服務轉型發展需要，為“互聯網”+發展奠定良好的網絡基礎。

SDN（Software Defined Network，軟件定義網絡）作為下一代網絡關鍵技術之一，提供了全新的網絡架構[5-7]。基于編排層、控制層和轉發層三層架構，網絡資源可實現按需分配、靈活調度，網絡能力可實現全面開放、定制開發。中國移動多年來積極探索并推動基于SDN的新型網絡發展，分領域分階段在數據中心、傳輸網、承載網等各類場景進行網絡演進，其中數據中心場景因為殺手級業務VPC（Virtual Private Cloud，虛擬專用云），成為SDN商用部署最成熟最主要的場景之一。

中國移動公有云和私有云目前已全面引入SDN技術，通過部署云管平臺、商用SDN控制器及轉發設備，面向實際業務提供數據中心網絡自動開通、靈活部署、自助管理等云服務。在建設過程中，為滿足區域資源池集中建設以及多節點資源池融合等實際需求，數據中心SDN網絡存在規模性、互通性和定制化三大挑戰。

（1）規模性，實現上萬臺服務器規模的大型數據中心網絡部署。SDN網絡的規模受限于云管平臺納管計算節點的數量、控制器納管轉發節點的數量和轉發設備的性能等多個瓶頸，組網規模存在限制，無法滿足上萬臺服務器規模的大型數據中心網絡部署需求。此外，集中控制的短板在于規模性，受限于算法健壯性、邏輯嚴密性和處理并發性，集中控制的網絡不具備大規模承載能力。

（2）互通性，實現異構異廠家方案的互聯互通。SDN技術給網絡帶來靈活性的同時也引入了方案的多樣性，各廠家SDN方案在設備形態、通信協議、配置模型等方面都存在較大差異，不具備互通性。長期以來，受限于私有實現方案，資源池網絡依舊為煙囪式建設方式，不利于網絡能力的開放和生態的發展。同時，SDN控制層和轉發層之間接口標準化程度較低，相關網元（控制器、交換機、防火墻、負載均衡器等）均由單一廠商提供或由某廠商集成后提供，設備選擇受限于廠商合作模式，功能受限于廠家私有實現，方案靈活性較差。

（3）定制化，SDN網絡功能需結合實際業務需求進行有效裁剪和增加。由于承載業務的差異性，面向公有云和私有云的SDN網絡功能需求不同，隨之而來的安全域要求、流量模型不盡相同，因此SDN網絡功能需要結合實際業務需求進行有效的裁剪和增加，此時需要SDN網絡在普適性的基礎上可靈活增加定制化功能。

2? ?大規模SDN數據中心組網架構

大規模的SDN數據中心組網需實現幾萬臺服務器作為一個資源池來承載和編排調度，受限于Underlay組網規模及SDN方案管理規模，現有網絡架構無法滿足大規模數據中心的部署需求。

（1）底層Underlay組網能力受限。雖然隨著芯片不斷的升級換代，數據中心交換機處理轉發能力極大提升，但是基于目前的數據中心交換機端口能力，同時考慮到每個機房實際機柜的數目，以及機房間跨機房布線的難易程度，傳統單一的Spine-leaf組網架構無法滿足上萬服務器的承載需求。

（2）SDN控制器及OpenStack管理規模受限。首先，SDN控制器管理VSW或者硬件交換機會啟用TCP長連接，從占用CPU內存資源，數量過多的被納管設備將極大地消耗SDN控制器的資源，進而降低控制器的性能，這是SDN控制器管理規模主要限制因素。SDN控制器的管理范圍主要受控制器和被納管設備間的網絡時延限制，因此SDN控制器建議本地部署而不建議長距離異地遠程管理。目前主流設備廠家在SDN控制器3機集群的情況下，可以管理2 000個VSW或者1 000個硬件SDN交換機。其次，OpenStack采用集中式消息處理機制，所有交互操作會到指令層面進行拆分，而指令并發處理能力低，主要以單進程隊列方式進行，如同時對資源池內100臺虛擬機進行操作，因指令并發處理能力差，拆解出的大量指令不得不排隊等待執行，響應效率和及時性都會惡化，影響用戶的實際感知。

在此背景下，為推動中國移動集中化數據中心建設方案落地，滿足后續數據中心SDN網絡大規模部署需求，中國移動創新性提出POD（Point of Delivery，最小交付單元）概念，將超大規模資源池劃分為多個獨立的POD模塊，每個POD內采用經典SDN數據中心三層架構，部署獨立OpenStack管理模塊、SDN控制器及對應網絡轉發設備。綜合考慮物理組網規模及SDN方案管理能力，建議裸金屬服務器場景下POD內服務器數量不超過3 000臺，虛擬化服務器場景下POD內服務器數量不超過1 500臺。各POD內所有計算、存儲和網絡資源受上層云管理平臺統一納管和集中編排，并根據業務需求實現POD間互聯網絡按需開通，打破組網架構及設備性能對于資源池規模的限制，實現統一的資源池化服務。

中國移動大規模數據中心組網架構如圖1所示，其中，縱向分為網絡出口層、POD互聯層、核心層以及接入層，相比于傳統數據中心資源池網絡架構，新增POD互聯層，包括南北匯接交換機和東西向POD互聯C-Spine交換機。其中南北匯接交換機對各POD訪問外部網絡的流量進行匯聚，然后統一出口送往出口層，有效節省外部接入路由器端口數量。東西向POD互聯C-Spine負責跨POD流量訪問，南北向匯聚交換機及C-Spine交換機的數量可以根據實際的POD規模、POD數量和網絡收斂比要求靈活設置。組網架構橫向按照功能區域劃分為管理網絡、存儲網絡及業務網絡，其中存儲和管理各自采用獨立POD組網，考慮其配置相對穩定，沿用傳統組網，不引入SDN，管理網絡中部署統一云管理平臺及各POD所對應的OpenStack管理模塊和SDN控制器，由于SDN控制器與轉發設備通過管理網交互，SDN的引入對管理網提出更高的可靠性要求。業務網絡根據機房規模或用戶需求劃分為多個POD，POD內采用經典三層組網架構并引入SDN，包括計算節點服務器、SDN轉發設備（包括SDN TOR、SDN網關、vSwitch等Overlay設備）、傳統轉發設備（Underlay設備）以及增值業務設備（包括防火墻和負載均衡器）。跨POD業務網絡互訪及業務網絡與存儲網絡互訪均通過POD互聯層實現。

3? ?組網關鍵技術

（1）關鍵技術一：底層網絡與路由規劃

多POD的大規模數據中心的Underlay組網，網絡內網絡設備數量眾多，按每POD內500臺網絡設備數量計算，10個POD組網網絡設備將超過5 000臺，因此如何規劃好Underlay層面的路由配置，對大規模數據中心網絡的高性能轉發非常重要。

普通數據中心場景IGP（Interior Gateway Protocol，內部網關協議）路由主要是以OSPF（Open Shortest Path First，開放式最短路徑優先）路由為主，OSPF路由技術成熟，網絡建設運維人員使用經驗豐富。使用OSPF作為大規模數據中心組網的IGP路由協議，各POD應劃分為不同的Area區域，東西匯聚交換機作為骨干區域Area0，以減少LSA（Link-State Advertisement，鏈路狀態廣播）的傳播區域和傳播數量。各POD內SDN-GW作為OSPF區域邊界網絡設備，將不同接口劃入不同的區域，上連東西匯聚交換機接口劃入Area0，下連POD內Spine接口劃入各POD單獨Area。南北匯聚交換機一般工作在二層透傳模式，三層終結在外網防火墻，因此南北匯聚交換機可不運行路由協議。

相比較OSPF，ISIS（Intermediate System to Intermediate System，中間系統到中間系統）支持ISPF（Incremental SPF），對大規模網絡的支持能力和收斂性能更好。ISIS支持靈活的TLV編碼方式，協議擴展性更好。ISIS因其收斂速度快、結構清晰、適用于較大規模網絡，一直比較多應用于城域網場景或者IP專網場景作為IGP路由協議。隨著數據中心規模越來越大、設備數量越來越多，ISIS也更多地應用于數據中心場景。ISIS的區域邊界在鏈路，每臺網絡設備只能屬于一個ISIS區域。為減少LSP的傳播區域和傳播數量，在大規模數據中心場景ISIS分層次進行規劃，骨干區域包括POD間東西匯聚交換機和每個POD內的SDN-GW。POD間東西匯聚交換機運行ISIS level2，POD內的SDN-GW運行ISIS的level-1-2。每個POD內Spine和Leaf運行ISIS level1。

RFC7938提出了將EBGP路由協議應用于大規模數據中心的建議，而且目前也有少量將EBGP應用于數據中心內作為底層路由協議的實例。有別于OSPF、ISIS等鏈路狀態協議，BGP是一種距離矢量路由協議，因此BGP的擴展性更好。在中小型的數據中心組網時，使用BGP和使用ISIS、OSPF等鏈路狀態協議性能區別不大，但是在超大型數據中心的網絡中，應用BGP的性能會更優。OSPF、ISIS等鏈路狀態協議需要在網絡內傳遞大量的LSA，路由信息生成過程是先完成LSA信息同步，再計算生成路由信息。在網絡部分節點發生變動或者網絡割接升級時，會引起大量LSA的傳遞。而距離矢量路由協議BGP不存在這樣的問題，BGP節點間直接通告路由，在網絡擴展和割接升級時的網絡穩定性更好。

目前關于OSPF和ISIS路由協議的LSA優化在IETF已經有相應的draft，目的都是減少LSA的傳播數量和傳播范圍，已使OSPF和ISIS在超大規模數據中心組網中的性能更優，但是目前并沒有非常有效的并被實際應用的方案。雖然目前將EBGP用于數據中心的應用并不廣泛，但是未來超大規模數據中心的底層路由協議選擇中，距離矢量路由協議BGP很可能會得到更廣泛的應用。

（2）關鍵技術二：異廠商異構數據中心互聯技術

大規模的SDN數據中心劃POD部署后，必然存在業務跨POD部署及互訪需求，POD間網絡應具備需動態開通，靈活變更的自動化配置能力[8-10]。中國移動研究院基于私有云、公有云數據中心實際業務跨POD間二層、三層互訪需求、防火墻負載均衡器等業務鏈需求、安全域需求等場景，定義并發布業界首個POD互聯場景下控制器北向接口規范，接口覆蓋POD間二層互通、POD三層互通等全業務場景，其中對于三層互通，可根據實際業務需求定義POD互訪流量是否經過防火墻、是否需要對部分網段互通進行抑制等。通過對接口規范內參數的定義和統一，保證了多廠家SDN控制器北向接口規范化，也屏蔽異廠家SDN解決方案差異性，保證云管理平臺編排層邏輯的統一化，最終實現對數據中心內部多POD互聯統一編排和多廠家SDN方案的兼容性。目前該接口已得到國內主流SDN廠商的廣泛支持，并在中國移動BC-EPC產品、中國電信SDN-HUB產品中實現，并納入ONAP（Network Automation & Orchestration Platform，自動化管理與編排開源平臺）支持計劃。同時，單資源池內多POD間業務互訪主要通過交互各POD內部私網路由，以裸IP方式互訪，為保證異廠家POD的互聯互通，采用標準EVPN（Ethernet Virtual Private Network，以太虛擬私有網絡）作為控制面協議，結合轉發面的VXLAN（Virtual eXtend Local Access Network，虛擬局域網）實現跨POD互通，其中各POD內SDN網關設備不僅作為POD內出口網關，也作為POD互聯的互通點設備。不同POD內SDN網關之間通過EBGP（External Border Gateway Protocol，外部邊界網關協議）建立EVPN鄰居關系，控制器通過北向接口接收云管平臺跨POD編排信息，對下完成對于本POD內SDN網關設備對應EVPN協議、靜態路由等策略配置，SDN網關間通過EVPN協議交換對租戶內的MAC、ARP以及IP等信息的傳遞，最終實現控制面和轉發面跨POD互聯互通，互聯部署架構如圖4所示。

受限于EVPN協議及部分交換機轉發實現機制，異廠家異構資源池在進行跨POD互通時，存在業務跨POD互訪流量無法實現安全隔離、各POD內業務地址及對應VNI（Virtual Network Identifier，虛擬網絡標識符）標示無法獨立規劃、資源池的網關與防火墻到業務VPC（Virtual Private Cloud，虛擬私有云）流量分流與隔離復雜等問題。為解決上訴問題，中國移動創新性提出L2/L3 VNI Mapping功能，在POD間引入L2/L3 VXLAN隧道，通過在各POD內SDN網關設備上實現VxLAN Mapping，解決現有EVPN協議實現存在的單資源池節點內多POD獨立編排管理后VNI資源沖突及不一致問題，保證了每個POD規劃建設獨立性和POD間的互通性，滿足業務互訪的同時解決流量隔離問題，實現業務跨POD互訪的可控和可信，相比傳統互聯方案無論是效率還是安全性都有極大的提升。