浙江電信“玩轉”SDN技術創(chuàng)新成就運營商首個“內外一朵云”

中國電信浙江分公司網絡發(fā)展部 | 顧炯

浙江電信“玩轉”SDN技術創(chuàng)新成就運營商首個“內外一朵云”

中國電信浙江分公司網絡發(fā)展部 | 顧炯

2014年底，中國電信浙江公司云計算資源池成為了業(yè)界首個商用的基于SRVSAN的軟件定義存儲（SDS），再加上前期已經實現的計算虛擬化和軟件定義網絡（SDN），在業(yè)界率先構建了一個軟件定義、遠距離“雙活”、安全的“內外一朵云”的私有云計算資源池體系。

“內外一朵云”是指將中國電信自有的業(yè)務系統和外部政企的系統都運行在同一個資源池內，即內部系統和外部系統同時運行在同一個物理機的不同虛擬機上，通過安全手段進行安全隔離，讓外部政企客戶也能享受電信級的安全性、穩(wěn)定性和可靠性，這些服務都是通過軟件定義技術來實現的。

截至2015年7月，資源池內共有4路8核256G內存物理服務器600多臺，這些服務器承載在80臺物理網絡設備上，共運行了6400多個虛擬機，有近400個浙江電信內部的業(yè)務系統、IT系統和外部政企行業(yè)應用平臺。其中有600多臺虛擬機通過SDN來實現內部網絡組網，目前中國電信閱讀基地的300多臺虛擬機和近20個電信內部、政企類的平臺也運行在上面。包括FCSAN和SRVSAN的“塊存儲”裸容量5.5P。浙江電信95%以上的業(yè)務平臺都已遷移運行在資源池內，甚至包括業(yè)界認為很難“被云化”的語音類業(yè)務也成功云化，并穩(wěn)定運行了10個月。

浙江電信資源池從“雙活”走向“云化”

從電信業(yè)務的穩(wěn)定性、可靠性和連續(xù)性的角度考慮，浙江電信在2013年就完成了“最遠距離雙活”的云計算資源池體系：將物理服務器和相關的網絡、存儲設備部署在傳輸距離1600公里的紹興和金華兩個物理節(jié)點上，形成一個“大二層”的網絡。

雖然建成了“雙活”的資源池體系，解決了資源池的穩(wěn)定性、可靠性和連續(xù)性，但還是存在一些問題，影響和阻礙了資源池的快速部署、靈活調配。于是從2013年開始，浙江電信著手研究、探索和現場試驗SDN。

應該說，傳統的網絡架構是影響云計算資源池快速部署、靈活調配的主要因素，這已經成為資源池的主要瓶頸。

從網絡配置上看，私有云相較于公有云而言，各種平臺的網絡需求可謂是五花八門，網絡結構更加復雜，個性化需求多。原來這些業(yè)務平臺的網絡需求都要抽象出來，配置在核心交換機、防火墻和負載均衡上。傳統網絡設備的配置往往需要通過命令行或者簡單的圖形界面完成，需要很高的專業(yè)水平，門檻高、難度大；同時這些成千上萬的配置都是集中在某幾個網絡設備上，配置缺乏隔離手段。隨著平臺的增加，配置越來越復雜，稍不謹慎就會相互影響，導致幾個平臺故障，甚至整個資源池網絡也會出現故障。所以傳統資源池網絡的配置只能集中在1或2名網絡管理員上，不僅工作壓力大，而且管理員生病、休假都會直接影響資源池的正常運行。

同時，大二層網絡的IP地址管理和規(guī)劃也是一件很復雜的事情，每個平臺的地址必須嚴格遵守配置規(guī)劃要求，并且不能重復，從資源池管理角度是沒有辦法確保地址的惟一性，因為業(yè)務平臺的管理員可以任意修改虛擬機的IP地址。曾經一名平臺管理員因分配地址不夠用，在沒有申請的情況下擅自用了一個地址，但其實這個地址已經分配給其他平臺使用，最后導致整個平臺出現故障，技術人員僅是在找出原因的環(huán)節(jié)上就花費了近一周時間。

網絡運維與業(yè)務平臺之間的“真空地帶”

原來的業(yè)務平臺都是“煙囪式”的建設模式，平臺管理員能看到物理設備，很容易了解和掌握網絡的拓撲，但是遷移到資源池內后，服務器是虛擬機，網絡設置是共享的，沒有辦法呈現出和原來一樣的網絡拓撲。業(yè)務平臺的管理員雖然了解業(yè)務平臺的本身，但卻不太了解網絡結構；而資源池的網絡管理員日常管理著成百上千個平臺網絡，并且對業(yè)務平臺的本身也不了解；由此形成了維護的“真空地帶”，這對平臺的維護和管理帶來了新的困難。

傳統的物理設備擴展性差，功能不靈活、配置資源有限，無法靈活實現多租戶環(huán)境和靈活調度。以替換核心交換機為例，隨著業(yè)務不斷膨脹，核心交換機原本就有上萬條的配置記錄，如果將原來的盒式防火墻替換成核心交換機上的板卡式防火墻，原來的路由發(fā)生了改變，不能簡單地導入原來的配置。雖然機房人員已經進行了充分準備，但替換割接還是耗費了近20個小時，且由于網絡過于復雜，導致割接失敗。后再次割接時，在原有的基礎上又花了20多個小時才完成替換工作。配置都集中在某些網絡設備上，導致網絡設備的某一資源耗盡，比如交換機的ACL資源等。

雖然資源池可以快速提供計算資源，但在一般情況下，1臺虛擬機可以在幾分鐘內準備完成，但是網絡資源往往要花很長時間。資源池的網絡管理員不了解業(yè)務平臺的網絡需求，而業(yè)務平臺管理員的網絡知識又匱乏，不能很好都地一次性將網絡抽象出來，網絡配置的過程其實類似于“擠牙膏”——需要不斷地調整、測試、再調整，甚至還有可能發(fā)生最后配置全部推倒重來的案例。如此看來，平均一個業(yè)務平臺網絡配置就需要花費2周的時間。

SDN為軟件定義提供3種途徑

所以，云計算需要一個低成本、高擴展、易配置、高隔離性、快速交付的網絡架構，減輕網絡管理員的工作難度和工作壓力；提供業(yè)務平臺管理員簡單的配置手段和網絡拓撲，便于維護；縮短資源池網絡資源供給的時間；提高網絡的擴展性和隔離性。

SDN能夠解決這一難題，軟件定義網絡現在主要有3種方法：

1. 基于專用的接口：該類方案的實現思路是在不改變傳統網絡的實現機制和工作方式上，通過對現有網絡設備的操作系統進行升級改造，使之能夠支持專用的可編程接口供網絡管理系統調用，實現網絡設備的統一配置管理和策略下發(fā)，改變原先需要逐臺設備進行登錄配置的手工操作方式；同時，這些接口也可用于開發(fā)網絡應用，實現網絡設備的軟件編程。

2. 基于開放協議的方案：它引入了開放的網絡協議標準如OpenFlow，強調網絡中控制與轉發(fā)的分離，支持“南向”網絡設備的集中控制，并提供豐富的“北向”應用編程接口，能夠有效地降低網絡架構復雜度，支持業(yè)務驅動的網絡資源靈活調配。

3. 基于疊加網絡的方案：該類方案的實現思路是以現行的IP網絡為基礎，在其上建立疊加的邏輯網絡（Overlay Logical Network）用于屏蔽掉底層物理網絡的差異，實現網絡資源的虛擬化，使得多個邏輯上彼此隔離的網絡分區(qū)以及多種異構的虛擬網絡可以在同一共享網絡基礎設施上共存，支持網絡資源的多租戶共享并突破傳統網絡技術對租戶網絡的限制。

疊加網絡勝在“對現網影響最小”

基于自身云資源池的現狀和需求，浙江電信最終選擇了對現網影響最小、基于疊加網絡的方案，同時以隧道技術VxLAN 作為核心技術，其好處在于：

1. 屏蔽了運營商傳統建設采購模式造成的底層物理設備差異性，對現網影響小。

2. 所需要的計算資源開銷小，SDN的網絡組件完全融入到虛擬化層。

3. 網絡和計算虛擬化完全融合，天然感知計算資源的變化，有效協同。比如其中較為重要的虛機遷移功能。

4. 部署無需改變現網架構，可使傳統網絡和SDN網絡共存。原有的業(yè)務平臺可以運行在非SDN網絡中，有需求的平臺可以運行在SDN網絡中，實現了網絡的“按需分配”。

該解決方案的物理設計總體上將環(huán)境分為不同的功能域：計算（Computing）、管理（Management）、邊界（Edge）、橋接（Bridge），采用扁平化的設計原則。

將原本只是做純粹L2通道交換的接入交換機改造為架頂式TOR（top-of-rack）交換設計，在此為各個VxLAN 的VTEP配置網關地址，并開啟三層路由功能。TOR 核心路由器為三層路由OSPF（Open Shortest Path First）交換, 資源可平行擴展, 能支持大量機架及TOR 建設。同時縮小了TOR及核心交換機管理MAC地址的數量，縮小了二層網絡范圍。

邊界域（Edge）部署在VxLAN 和VLAN網關之間，其數量等于外聯 VLAN 的數量。該設計使得每個Edge虛擬網關負載較小，但數量變多，可以選擇用戶集群中的服務器進行負載均衡，且Edge虛擬網關與服務VLAN 1:1 對應, 有利于問題查找。

計算域（Computing）內的VNI建立以每個業(yè)務的各種服務形態(tài)為單位, 如典型業(yè)務有Web/ APP/DB3種服務形態(tài)，即開設3個VNI給該業(yè)務，這樣更便于實現服務的“東-西向”傳輸效率及提高安全性。

虛擬網絡組網邏輯架構。通過VxLAN和分布式交換機、分布式路由器和EDGE提供的NFV功能的租戶獨享，讓每個租戶的網絡運行在一個包廂里，它有獨立交換機、獨立路由器、獨立負載均衡、獨立“南-北向”防火墻、獨立“東-西向”防火墻、獨立VPN、獨立DHCP、獨立DNS等。用戶可以任意配置IP地址而不擔心和別人重疊，可以獨立地配置各種網絡設備，即使配置錯誤，也不用擔心影響別的系統和整個網路，所有的配置只能在本租戶網絡內生效。

“傻瓜式”管理平臺實現真正的“內外一朵云”

通過開發(fā)“傻瓜式”的管理平臺，管理人員將計算、網絡和存儲，利用計算虛擬化、SDN、SDS技術封裝，成為用戶獨立使用、簡單配置、安全隔離的包廂，實現了真正意義上的“內外一朵云”。

筆者認為，“內外一朵云”是混合云的另外一種表現形式，是更高級的私有云。它可以利用VxLAN實現不改變原有物理網絡基礎的共享、隔離的虛擬網絡架構；通過邏輯交換機使網絡抽象化；通過邏輯路由器優(yōu)化網絡性能；通過EDGE邊界網關提供NFV功能，提高網絡服務的靈活性；通過vCenter+網絡統一管理組件實現計算和網絡的集中管理；通過“東-西”、“南-北”分布式防火墻提供安全和監(jiān)控；通過網元的HA提供高可用性和容錯性。