CORD應用與發展

周偉，唐雄燕

（中國聯合網絡通信有限公司網絡技術研究院，北京 100048）

CORD應用與發展

周偉，唐雄燕

（中國聯合網絡通信有限公司網絡技術研究院，北京 100048）

CORD開源項目提供了面向未來網絡演進的一種基于SDN/NFV技術的綜合接入邊緣云的參考實現。在分析CORD項目對現有CO和DC的影響的基礎上，研究了CORD核心架構和協議棧。分析了如何在面向5G的移動應用場景（M-CORD）中應用CORD架構并實現自動性能監測和系統調整的參考解決方案。最后給出了CORD與其他開源軟件之間潛在的集成應用解決方案。

開源；CORD；SDN；NFV

1 產生背景和目標

傳統通信機房（central office，CO）面臨著高額的部署和運維成本開銷。如何在面向未來網絡的轉型架構下改造傳統通信機房，成為運營商面臨的迫切問題。因此，CORD（central office re-architected as a datacenter）應運而生。CORD最早是ONOS（open network operating system）的一個用例場景，該場景由AT&T提出，其核心背景是AT&T的Domain2.0的需求。AT&T在2013年11月發布了Domain2.0白皮書，其目標是使AT&T網絡業務和基礎設施能夠像數據中心內的云服務一樣被使用、配置和調度。特點是用一套 API（application programming interface，應用程序編程接口）按需并接近實時地管理、操縱和消費信息服務。此外，這些網絡業務將被實體化，使其在通用的基礎設施上實現。屆時整個AT&T的公共基礎設施將以類似于Pod被用來支持云數據中心業務的方式被購買和配置。

CORD正是一種嘗試實現這種新型基礎設施的解決方案，從而實現服務敏捷地從云端擴展到接入網側。CORD項目的背后邏輯是：將目前高度依賴部署和運維的電信傳統設備網絡轉為完全基于開放硬件和開放軟件的搭建模式。屆時把信息網絡業務遷移至多業務、多租戶平臺，意味著替換或擴充現有網元（一般是被集成去完成某一單向功能）。這種替換技術包括底層連網能力（通常稱為“網絡功能虛擬化基礎設施”（network functions virtualization infrastructure，NFVI））或只是接收軟件和軟件定義網絡（software defined networking，SDN）協議指令去完成多種網絡功能和業務的基礎設施。這種基礎設施最典型的是支持NFV的服務器，其次是基于商業芯片的分組數據轉發能力（通常被稱為白盒設備）。通過SDN、NFV（network function virtualization）以及商業硬件、開源軟件、白盒技術，將為未來的通信機房提供數據中心化的經濟性和云計算的敏捷性。

CORD項目的目標是提供一個網絡運營商的支持多業務場景的服務交付平臺的參考實現。其核心輸出包括一個軟件平臺、系列硬件規范（如基于OCP（open compute project）規范）和業務模型等。其中的軟件平臺架構，是由模型驅動的可擴展架構。相關的模型定義了 CORD架構內的對象和對象之間的關系，并提供參考設計語言實現。該架構是一個面向實際運營的可執行系統，能夠自動生成所有南向API并后向兼容現有數據面設備。

作為一個集成系統，CORD并不是共同的旗幟下的相關項目的松散集合，而是要從開源組件出發構建一個完全集成的系統來支持現場測試。CORD目前提供了用來部署實現應用場景的CORD Pod設備以及用來收集數據和分析性能的CORD應用商店，包括用來方便開發者將 VNF（virtual network function）轉換成實際業務的SDK等。CORD模式如圖1所示。

圖1 CORD模式

如圖1所示，傳統模式下系統的軟件、硬件由供應商提供，相關的開發和知識產權均屬于供應商；而在CORD模式下，由于CORD提供了全套開放和開源的集成參考實現，運營商可在其基礎上進行二次開發或組織供應商進行二次開發。如運營商可在控制器和協同器、系統集成平臺管理和基于OCP規劃的硬件等方面進行二次開發，形成自有知識產權方案來實現差異化網絡優勢。

CORD的業務場景主要分為家庭接入業務（R-CORD）、企業業務（E-CORD）和移動業務（M-CORD）。R-CORD是發展最早的，目前已具備了商用的基礎。2017年3月，AT&T完成了業界首個來自多個供應商的開源白盒交換現網試驗。

CORD項目受到業界的強烈關注，其董事單位包括ON.Lab（開放網絡實驗室）、AT&T、中國聯合網絡通信集團有限公司（以下簡稱中國聯通）、Verizon、Comcast（康卡斯特）、Google（谷歌）、SKT、NTT、Radisys（銳德世）、Nokia（諾基亞）、Cisco（思科）、Intel（英特爾）、Ericsson（愛立信）、NEC等，全面涵蓋了互聯網企業、電信運營商、有線電視運營商和設備商等。在國內，中國聯通牽頭在2016年12月成立了中國CORD產業聯盟，推進CORD技術在中國的應用。在2017年巴塞羅那的MWC展會上，中國聯通、Radisys、AT&T、Verizon、Google等也共同展示了CORD的研究成果。

2 對現有CO和DC的影響

在我國的運營商網絡中，CO主要放置專有網絡設備和系統（軟硬件一體、垂直專業化設備），因為不同專業化設備和系統間的差異性，目前形成了大量專有封閉的電信機房。每個 CO根據與承載網絡的連接關系，可分為多級。其中在核心機樓中的CO一般承載CR路由器、核心網設備及省集中的CDN（content delivery network，內容分發網絡）設備以及少量的BRAS/MSE；在一般機樓的CO主要部署絕大部分BRAS/MSE以及少量OLT（optical line terminal，光線路終端）；接入端局的CO主要放置大量OLT和BBU。DC（data center，數據中心）則包括以提供物理資源和虛擬資源出租服務為主的提供互聯網應用訪問的數據中心；承載云資源池，面向大規模數據匯聚、存儲、處理和管理需要的數據中心機房。DC也涉及運營商的云和OTT（over the top）企業的第三方云。

在未來網絡的演進中，中國聯通的CUBE-Net2.0、中國移動的 NovaNet、中國電信的 CTNet2025都提出了未來網絡的分級 DC架構。以中國聯通CUBE-Net2.0架構為例，分為綜合接入DC、區域DC和基地DC。而隨著光進銅退，大量原有的CO面臨退出，以PSTN CO為例，中國聯通有超過2 000個PSTN CO要退出，如何利用這部分資源來適應未來的演進，成為急迫的課題。

目前CORD項目定位為面向固定、移動融合的邊緣云，與未來網絡整體架構的一種集成參考關系如圖2所示。

圖2 CORD與未來網絡參考關系

CORD可在未來網絡架構中提供面向移動接入、企業寬帶接入、家庭寬帶接入的綜合接入邊緣云解決方案。

3 核心架構和協議棧

CORD的核心是CORD Pod平臺。CORD Pod包括白盒設備、通用服務器、通用存儲、交換機和接入設備。其核心是利用數據中心中的“leaf-spine架構”和白盒設備來重構運營商的端局。其中 leaf-spine架構即分布式核心網絡，核心節點包括兩種：leaf（葉）節點負責連接服務器和網絡設備；spine（針）節點連接交換機，保證節點內的任意兩個端口之間提供時延非常低的無阻塞性能。通過一定的端口收斂比/超配比可以滿足數萬臺服務器的線速轉發。一種典型的架構如圖3所示。

圖4給出了CORD系統的軟件協議棧。這里，通過 ONOS實現對應用的控制，通過運行在OpenStack虛擬機和Docker容器（如Kubernetes）上的可擴展服務和XOS等協同器來實現多租戶服務等。

典型的可用于實驗室測試的CORD Pod（如支持M-CORD場景）可包含以下硬件：電信級別支持 OCP（oracle certified professional）規范的硬件（包括交換機等）、商用服務器、eNode B、RRU等。

在SDN實際部署中，對新建網絡可以采用underlay方案實現網絡SDN服務。但對于原有網絡，由于設備功能的局限，更多是通過overlay方案實現網絡 SDN服務。事實上，很多廣域的業務都會跨新建網絡和原有網絡。Trellis項目就是通過統一運行在 underlay網絡和overlay網絡的SDN控制器，將基于leaf-spine光纖連接的 underlay方案同基于虛擬網絡的overlay方案整合成一個方案。Trellis架構如圖5所示。

圖3 CORD中的leaf-spine架構

圖4 CORD Pod軟件協議棧

圖5 Trellis架構

CORD項目是一個模型驅動，其業務抽象模型建模涉及用來組合業務的實例、網絡、切片、控制器等基礎模型。建模包括3個層次：實例到實例、實例到網絡、網絡到網絡。在業務抽象建模過程中，目前已有大量業務建模成果被采用，包括OPNFV的應用模型、OpenConfig的服務配置模型和ONF（開放網絡基金會）的信息模型。目前以 TOSCA模型為主，也在逐步支持 Yang模型。

CORD項目是以圖3架構為核心，結合不同的接入場景，從而實現從接入到云平臺的敏捷服務。以R-CORD為例，圖6為傳統的家庭寬帶接入架構，由于CPE（customer premise equipment ）等設備均是專用設備，相關業務修改、發放和配置管理都需要很長的周期。

圖6 基于傳統網絡的家庭寬帶接入架構

基于CORD的家庭寬帶接入架構如圖7所示。

圖7 基于CORD的家庭寬帶接入架構

如圖7所示，由于接入側的CPE和ONU只保留了簡單的數據處理，復雜的業務邏輯處理都放在了局端。而在局端，通過vOLT、vSG、vRouter、vCDN等虛擬化技術，一方面實現了控制與轉發分離，另一方面實現了控制面集中管理，從而可實現整網業務策略的統一部署，提高業務上線速率，增強市場競爭力。用戶可以通過用戶訂閱門戶來訂閱相關業務，由CORD平臺完成網絡的相關配置，由于CORD平臺實現了設備資源虛擬化和集中控制，因此可根據業務的具體需求，動態地擴容或縮減資源。一種典型流程如圖8所示：根據業務需求自動形成相關業務模型驅動CORD Pod控制單元；CORD Pod控制單元調度Pod內的本地計算、存儲、網絡單元（vOLT、vSG、vRouter、vCDN等）資源并根據需求縮容或擴容來實現相關業務。

圖8 CORD Pod系統業務示意

4 典型應用

以移動場景為例，當前各國運營商都在積極發展5G，5G的標準仍然在制定中。無論是eMBB場景、mMTC場景還是URLLC場景，都需要允許網絡運營商定制和優化基礎設施和服務，并大幅降低了資本支出和運營成本。M-CORD希望在基于共同的CORD Pod平臺上建立面向5G的開放和可編程的平臺解決方案。其中利用設備解耦和白盒技術，提供基于虛擬化技術的端到端移動解決方案，并提供持續的定制和優化。M-CORD的關鍵屬性包括：

· 基于開源RAN和EPC的開源移動基礎設施架構可實現快速創新；

· 開源軟件定義的管理和控制器可通過端到端的可編程性提供最大的靈活性；

· 開放的計算機運營商級硬件支持運行OCP等規范的開放硬件，并基于此建立可運行的下一代移動業務的邊緣接入云。

圖9為M-CORD可編程網絡切片實現架構。由于M-CORD整體架構中的“leaf-spine架構”和虛擬網絡的隔離特性，M-CORD在創建、修改或終止切片時，其他切片不會受到影響。M-CORD對切片定義進行編程，并對RAN和CORE切片編號。同時M-CORD允許支持按時間、地點和業務類型的切片，如對具有特定開始和結束日期/時間的網絡切片進行編程和/或僅對特定地理/位置有效的網絡切片進行編程，通過CORD開放軟件平臺執行相關可編程服務，實現通過CORD切片的動態可編程性。以視頻業務為例，首先由CORD開發軟件平臺對切片資源進行編號、控制、管理和預編程，然后在RAN側，對無線資源進行切片操作，包括資源塊的虛擬化，并將這些資源塊的子集分配到不同的切片片段上，并制定相應的控制功能，如調度、切換、準入控制等。在核心網側，切片包括將分解的虛擬化EPC組件與每個切片相關聯。最后在CORD開發軟件平臺形成端到端切片協同管理。

圖9 M-CORD網絡切片實現示意

5G服務可以在 M-CORD上啟動，并根據M-CORD提供的靈活軟件定義架構來實現對網絡資源的動態編程。因此對于運營商，基于M-CORD可以快速推出新服務，同時在運營過程中，也需要能夠快速地監測、識別和解決服務障礙，以盡量減少對用戶和應用程序的影響。這種服務保證需要相關自動化監測技術，因此CORD也同時基于CORD Pod開發了A-CORD參考實現。A-CORD的目標包括：建立一個通用的監控框架，對CORD中的物理設備和軟件模塊進行性能探測和度量，并完成收集、存檔和傳遞；同時該框架能夠在感知工作負載和異常事件的基礎上動態地適應CORD的分析應用。相關A-CORD監測系統可以與CORD Pod（如M-CORD）一同部署，并實現實時監測和網絡的閉環自動控制，從而有助于可靠地提供新的電信級5G服務。

圖10給出了部署在M-CORD中的用于監測鏈路負荷情況的A-CORD方案。該方案為主動式性能監測方案，是由一個模型驅動的主動測試框架來執行主動性能監控測試。首先通過虛擬化探針監測特定的用戶平面流量，并將服務質量指標發送到 A-CORD 中的 Analytics組件進行可視化和跟蹤，并對服務質量度水平持續進行跟蹤監測，當它們低于可接受的閾值時，觸發一個主動的性能監控測試，獲得流量路徑中的相關服務問題的更多細節，如分組丟失情況或時延，幫助分析可能影響服務性能的擁塞是否發生。最后，當服務質量恢復時，性能監控測試停止。

圖10 A-CORD示意

5 與ONF、OPNFV、ONAP以及其他開源社區和標準的關系

CORD項目和ONOS項目都是由ON.Lab發起并管理的SDN領域開源項目，2016年10月ON.Lab宣布計劃同SDN標準組織ONF合并。新的ONF目標是幫助擁有大型網絡的運營商降低其資本開支和運營成本，并且更容易創建和部署新服務。新的ONF將開源社區軟件開發和標準制定結合起來，形成“Software Defined Standards（軟件定義的標準）”。在這個軟件定義標準的流程中，首先是運營商作為需求方，提出用例場景，推動ONF開展開源軟件用例和平臺的研發，實現相關PoC（proof of concept，概念驗證）；然后ONF根據PoC的反饋情況，確定關鍵API和數據模型；再后ONF形成具體文檔；最后完成軟件定義標準。在這個過程中，軟件開發人員和標準制定人員需要在典型場景產生、接口需求、標準文檔等環節通力合作，同步形成標準文檔、PoC、實驗室和外場測試、產品，縮短從標準到產品的現有周期和減少由于對標準理解不一致帶來的互通等問題，加快新業務和新功能上線。

新的ONF也跟相關開源社區和其他標準組織開展了深入合作，如圖 11所示，包括開源組織OPNFV、ONAP、OCP、OVS以及標準組織MEF、BBF等。

圖11 CORD與其他開源和標準組織關系

以ONAP為例，當CORD的服務上線時，可以將CORD集成到ONAP的Design Studio中，CORD 控制單元（controller）可同ONAP的MSO、A&AI、DCAE等建立接口。CORD與ONAP集成示意如圖12所示。

圖12 CORD與ONAP集成示意

6 結束語

開源社區是支撐當前技術發展的重要創新體系，開源社區同傳統標準組織的結合也越來越緊密。我國在“十三五”國家信息規劃中明確指出：支持開源社區創新發展。鼓勵我國企業積極加入國際重大核心技術的開源組織，從參與者發展為重要貢獻者，在優勢技術領域爭當發起者，積極維護我國相關標準專利在國際開源組織中的權益。

在未來網絡轉型中，開源社區是產業生態中的重要組成部分。開源社區聚焦在產業基礎框架參考實現和接口的標準化。而一個健康的產業生態需要開源社區、運營商和供應商合作協同。一方面運營商能把真實的、能夠帶來商業價值的案例輸入開源社區，另一方面供應商能夠基于開源的參考實現，交付高質量的產品和整體解決方案。未來需要運營商、供應商、開源社區共同合作，跨越裂谷，實現“open source，open standard，open operation（開源，開放標準，開放操作）”。

[1] AT&T Domian2.0 vision white paper[EB/OL]. (2013?11?13) [2017?02?28].https://www.att.com/Common/about_us/pdf/AT &T%20Domain%202.0%20Vision%20White%20Paper.pdf.

[2] 周偉, 唐雄燕. CORD重構邊緣DC 開源社區推動多項研究將落地[EB/OL]. (2017?02?23)[2017?02?28]. http://www.c114. net/tech/175/a998578.html. ZHOU W, TANG X Y. CORD re-architeture edge DC and multi solution will be applied by open source[EB/OL]. (2017?02?23)[2017?02?28].http://www.c114.net/tech/175/a99 8578.html.

[3] 史凡, 熊小明. CORD助力運營商網絡重構的冷思考[EB/OL]. (2017?02?23)[2017?02?28].http://www.c114.net/tech/175/a998639. html. SHI F, XIONG X M. CORD Facilitate network transformation of operators [EB/OL]. (2017?02?23)[2017?02?28]. http://www. c114.net/tech/175/a998639.html.

[6] 周偉, 唐雄燕, 楊劍鍵. ONOS應用和部署[J]. 郵電設計技術, 2016(11): 25-29. ZHOU W, TANG X Y, YANG J J. Application and deployment of ONOS[J]. Designing Techniques of Posts and Telecommunications, 2016(11): 25-29.

[7] 尹博南, 艾元, 彭木根. 霧無線接入網:架構、原理和挑戰[J].電信科學, 2016, 32(6): 20-27. YIN B N, AI Y, PENG M G. Fog computing based radio access networks: architecture, principles and challenges[J]. Telecommunications Science, 2016, 32(6): 20-27.

[8] 李丹, 劉方明, 郭得科, 等. 軟件定義的云數據中心網絡基礎理論與關鍵技術[J]. 電信科學, 2014, 30(6): 48-59. LI D, LIU F M, GUO D K, et al. Fundamental theory and key technology of software defined cloud data center network[J]. Telecommunications Science, 2014, 30(6): 48-59.

[9] 趙輝, 丁鳴, 程青松, 等. SDN與NFV技術在云數據中心的規模應用[J]. 電信科學, 2016, 32(1):144-151. ZHAO H, DING M, CHENG Q S, et al. Application of SDN and NFV technology in the cloud data center [J]. Telecommunications Science, 2016, 32(1):144-151.

[10] 國務院. 關于印發“十三五”國家信息化規劃的通知[EB/OL]. (2017?02?23) [2017?02?28]. http://www.gov.cn/zhengce/content/ 2016-12/27/content_5153411.htm. The State Council of the People. Notice on printing and distributing the national informatization planning of the 13th five-year plan[EB/OL]. (2017?02?23)[2017?02?28]. http://www.gov.cn/ zhengce/content/2016?12/27/content_5153411.htm

周偉（1979?），男，博士，中國聯合網絡通信有限公司網絡技術研究院教授級高級工程師，ONOS/CORD開源社區用例委員會委員，主要研究方向為移動網絡和移動互聯網國際標準、SDN/NFV開源軟件。

唐雄燕（1967?），男，博士，中國聯合網絡通信有限公司網絡技術研究院教授級高級工程師，ONOS/CORD開源社區副董事，主要研究方向為未來網絡研究和網絡演進規劃。

Application and development of CORD

ZHOU Wei, TANG Xiongyan
Network Technology Research Institute, China United Network Communications Co., Ltd., Beijing 100048, China

CORD open source project provides one implementation reference of unified access edge cloud. On the basis of analysis of influence of CORD project on the existing CO and DC, the core architecture and software stack of CORD were studied. Meanwhile, the integrated reference solution of 5G-oriented mobile scenario and performance analysis was also analyzed. Finally, the reference solution to integrate CORD with other open source was given.

open source, central office re-architected as a datacenter, software defined networking, network function virtulization

TP393

A

10.11959/j.issn.1000?0801.2017110

2017?02?28；

2017?04?12