持續集成持續交付的NFV/SDN網絡新型集成體系

付喬 張昊

摘要：基于NFV/SDN等云化新技術的下一代網絡在分層解耦的同時，給運營商帶來了巨大的集成挑戰，運營商下一代網絡的集成交付效率和交付質量有待提升。重點闡釋NFV/SDN網絡集成的痛點，分析下一代網絡集成的關鍵要素，借鑒云計算領域逐漸興起的持續集成持續交付模式，提出針對NFV/SDN的新型集成體系，并進一步闡釋中國移動自主研發的AUTO自動化集成工具及其在中國移動NFV/SDN網絡建設中發揮的重要作用。

關鍵詞：NFV;下一代網絡;持續集成持續交付

1? ?引言

傳統的運營商網元是基于專有硬件、軟硬一體實現的，不同廠家、不同產品線的設備都是一個獨立的煙囪，單獨地進行升級、擴容等，各個網元功能無法實現資源共享。隨著互聯網技術的發展，傳統電信網絡的架構很難滿足互聯網時代業務快速上線、靈活調整的需求，給運營商帶來了巨大的用戶體驗挑戰和成本壓力。

網絡功能虛擬化（NFV）借鑒IT界的云化技術，將網元功能以軟件化的形式部署在通用的硬件資源池上，做到通用硬件層、虛擬層、虛擬網元功能層間的三層解耦，實現資源共享。這樣的架構使得網絡的基礎設施（包括硬件和虛擬層）可以保持相對的穩定，而虛擬化軟件化的網絡可以根據需求快速調整、靈活變化，提高了網絡的靈活性，降低了網絡頻繁變化帶來的成本壓力。NFV給未來網絡帶來了無限的想象空間，下一代5G網絡、切片技術、邊緣計算業務等新興技術方向和業務實踐應運而生[1]。

然而分層解耦的虛擬化的網絡也帶來了集成運維的復雜性。傳統一體化設備硬件軟件緊密耦合，在設備廠商出廠前已經做好了軟硬件部署和聯調，通信機房現場的集成通常僅包括上電上架和與周邊設備的聯調工作。網絡功能虛擬化后，硬件與軟件解耦、軟硬件的部署和適配需要在通信機房完成。同時傳統一體機設備板卡內部的網絡連接變成了通用設備和交換機之間復雜的網絡連接關系。此外，NFV后各類組件均是相對獨立的軟件，大量軟件需要互相適配調試。這些變化都使得網絡功能虛擬化后的集成工作變得尤為復雜，傳統的集成流程、集成方式和集成工具已無法滿足下一代網絡集成要求[2]。

下一代網絡端到端的集成工作是網絡轉型的“最后一公里”，對網絡可靠、有效、靈活、快速和頻繁構建具有重要意義。本文將分析下一代網絡集成的痛點，分析當前產業界和標準化組織在集成方面的相關進展，提出下一代網絡集成需要解決的幾個關鍵問題，并進一步闡釋持續集成持續交付的下一代網絡新型集成體系。

2? ?下一代網絡集成痛點分析

基于云計算技術的下一代電信網絡可有效提高運營商網絡靈活性，降低網絡成本。然而運營商針對下一代網絡的集成卻仍停留在傳統模式，從體系到工具都缺乏有效的創新。而互聯網、云計算服務商經過多年大規模系統集成運營的實踐積累，已逐漸形成了較為完善的集成模式。與之相比，當前運營商的集成成本和集成效率均存在較大問題，下一代網絡的集成成為下一代網絡落地的關鍵問題。根據分析，以下幾點為制約運營商集成的主要痛點。

2.1? 傳統集成模式難以適應新型云化網絡

運營商傳統網絡由大量軟硬一體化設備構成，集成模式采用“交鑰匙”的方式，也即設備廠商、集成商、施工隊完成設備的集成工作后，將文檔和已經調試完成的設備交給運營商即可，由運營商開展后續的運營運維，運營運維與集成關系不密切。

網絡轉型后，下一代網絡可能是由來自不同廠商的硬件和軟件組成，這些異廠商的組件都要在運營商的機房進行集成，集成接口眾多，廠商參差不齊，集成工作量大。因此，下一代網絡的集成工作變得異常復雜，采用傳統交鑰匙的模式，可能導致集成效率低、質量差。此外，新型網絡采用分層運營運維的模式，運營商在運營過程中需要對網絡內部細節充分了解，才能細粒度地管理網絡，發揮網絡的效率優勢。而傳統交鑰匙的集成模式中，運營商對集成過程參與較少，使得后續的運營運維操作難以精細化[3]。

2.2? 跨廠商集成壁壘高難度大

與互聯網產業不同，電信產業的傳統廠商技術能力強，也存在著較高的技術壁壘。網絡轉型后，雖然在逐步推進資源共享和互操作，但跨廠商集成的壁壘仍然存在。引入NFV后，運營商面臨的將是來自十數個廠商的硬件、虛擬化層和虛擬化網元。通過嚴謹的設備標準和接口定義，可以規定各個組件的主要功能和接口，然而不同廠商設備對規范的實現具體流程步驟實現仍存在差異，導致跨廠商互操作困難。根據筆者在多個試驗試點的統計，跨廠商互操作問題約占整個集成過程中出現問題的60%左右，而且這些問題定位困難，解決耗時耗力。

2.3? 云化網絡集成測試工具匱乏

互聯網產業使用云計算技術已有較長時間，也積累了大量的自動化集成工具，其中不乏開源工具。然而，基于電信云的可靠性、穩定性要求，針對虛擬化電信網元的自動化集成測試工具卻非常匱乏。近年來，隨著電信云集成需求的增大，各個廠商也紛紛投入資源開發針對電信云化網絡的集成測試工具，可以對本廠商的軟硬件組件進行自動化的集成測試。然而這些工具對異廠商產品卻往往束手無策。多個開源組織也逐漸關注電信網絡的集成測試，然而開源工具良莠不齊，很難全面地滿足運營商的集成要求。

3? ?下一代網絡集成的產業和標準化情況

隨著NFV技術逐漸成熟和走向落地，目前主流運營商、集成商和標準化開源組織越來越關注降低集成復雜度、提高集成效率等建設落地問題。

運營商方面，2018年到2019年期間AT&T、Orange等紛紛組建集成認證團隊和集成實驗室。其中AT&T目前集成團隊已超過500人，在NFV自研投入中占比超過50%，實驗室業務測試已實現完全自動化。此外其他運營商，包括Docomo、Telefonica等也紛紛委托主流集成商為其定制化研發自動化集成工具和集成實驗室系統。

集成商方面，主流集成廠商紛紛意識到下一代網絡集成任務重、工作量大，在集成工具、集成實驗室等反面開展充分儲備，應對下一代網絡的集成任務。據統計，目前主流集成廠商集成工具可覆蓋80%的自有產品的集成，然而對跨廠商集成的場景，集成廠商的工具往往乏力。

標準化和開源組織方面，近幾年對集成的關注度也逐漸提高，主流開源組織，包括LFN、OpenStack、CNCF等自2018年起紛紛增加了CI/CD相關議題或工作組。2018年5月，AT&T發起Airship開源項目，重點完成電信云資源池的部署和生命周期管理，是運營商集成工具開源的第一個項目。2019年3月，LF新成立“傘項目”CDF（Continuous Delivery Foundation），覆蓋包括Jenkins、Tekton等多個開源集成工具。2018年底，NFV電信云參考平臺開源項目OPNFV也宣布進行戰略轉型，關注電信云的集成工作。

在新型“集成生態”中，標準化和開源組織也起著關鍵的作用，為下一代網絡集成提供規范化指導、事實標準和最佳實踐，成為跨廠商互操作和集成的參考范例和中間件。當前標準化和開源組織對集成已有較大的關注度，然而尚未形成完整的端到端的規范和事實標準，標準化和開源社區對運營商的集成需求的理解仍存在較大偏差，有待參與集成各方積極推進集成的標準化和開源進程。

4? ?下一代網絡集成關鍵問題

總結下一代網絡集成的痛點，運營商需要探索總結新的集成體系和集成方法，以適配基于云化新技術的下一代網絡。同時，僅依靠集成商完成集成的傳統方式已不適用于下一代網絡，為了解決跨廠商的集成問題，為了確保集成運營運維有序結合，運營商需要更大程度地參與集成，做好準備逐步承擔起“集成商”的角色。下一代網絡的集成過程中，以下幾個問題至關重要：

（1）規范化流程

運營商建立符合自己下一代網絡設計的規范化流程是集成的基礎。

傳統運營商網絡的集成流程是粗放式的，運營商明確集成的起止時間和交付物，具體的流程則由集成商根據經驗自行定義。這樣的集成流程難以精細化管理，面對跨廠商集成也難以統一各個廠商具體實施步驟，造成集成效率低、多組件配合差等問題。

針對下一代網絡，運營商需要開展精細化的過程控制，對集成的具體流程進行把控，詳細分析集成各步驟的前置條件和輸出物，建立高效的集成流水線。對部分統一的基礎配置，可以考慮由設備廠商在出廠前即做好配置打包，減少現場操作。對互操作的內容，提前做好相關約定，便于現場操作和問題定界定位。對耗時較多的工作，分析與之可并行展開不干擾的其他工作，確保工作有序并行。

（2）自動化工具

豐富的自動化集成測試工具是下一代網絡集成的關鍵抓手。

下一代網絡的集成工作接口多工作量大，且對集成系統質量要求高。傳統的網絡設備集成往往采用手工測試和目測抽測的方式，難以保證復雜的網絡質量和準確性。參考互聯網云化系統的集成運營經驗，大量的自動化工具可以有效地提高集成的效率和質量。

（3）標準化數據

標準化的數據是下一代網絡集成的通用語言。

跨廠商的集成的最大難點在于不同廠商的接口、操作、命名習慣均有差異，導致跨廠商的集成難以溝通。定義一套標準化的集成數據作為多廠商集成的通用語言，可以幫助集成商、廠商、運營商彼此更好地理解集成需求和集成詳細設計（LLD），并據此開展集成。此外，標準化的數據也是后續網絡運營運維的關鍵基礎，是運營商了解集成設計和集成細節的途徑。

5? ?持續集成持續交付（CI/CD）的下一代網絡集成體系

持續集成和持續交付是近年來軟件開發領域比較流行的概念。所謂持續集成，指的是開發者在開發過程中頻繁地代碼與已開發代碼進行集成整合和驗證測試，確保新開發的代碼可以融合進原系統中正常運行。持續集成可有效地避免代碼開發出現較大的偏差，及時發現代碼問題。持續交付指開發系統以頻繁的增量更新替代傳統的版本更新，在交付過程中，每次代碼完成集成通過測試即可直接交付給用戶。持續交付可提高交付系統的用戶體驗，確保用戶的需求能夠通過頻繁的更新快速滿足[4]。

借鑒軟件開發的思想，我們進一步提出下一代網絡的持續集成持續交付的集成體系。依托豐富的持續集成持續交付工具鏈，通過規范化下一代網絡的集成流水線、統一下一代網絡集成數據，實現廠商開發到運營商集成的完整閉環，提高下一代網絡交付的效率和質量。持續集成持續交付的下一代集成系統包括以下幾個關鍵因素。

5.1? 自動化集成交付系統

軟件化的下一代網絡需要有與之匹配的自動化集成交付系統。當前雖然針對IT系統已經存在一些自動化的集成和測試工具，但這些工具并非為NFV系統集成設計，集成工具尚未覆蓋集成全流程，且良莠不齊、成熟度不高，導致下一代網絡集成整體自動化程度較低。面向下一代網絡，運營商應逐漸具備覆蓋集成全流程的自動化集成交付系統。該系統的主要作用包括：

（1）解決跨廠商的集成對接問題，作為中間件簡化異廠商適配

目前大部分廠商的自動化工具僅具有理論上與異廠商對接的可行性，缺乏開放的通用標準和接口，跨廠商對接不現實。已有的異廠商對接案例通常為CT廠商對接IT廠商，由于沒有業務競爭相對易于推動。因此在跨廠商集成對接方面，運營商定義的自動化集成交付系統可作為標準化的API和框架，提供中間件，協調異廠商對接。

（2）滿足運營商定制化需求

目前廠商儲備的自動化工具大部分是針對使用需求量較大的場景開發的。針對運營商的定制化需求，比如資源池的網絡設計，在運營商工程建設要求尚未確定之前，廠商自動化產品存在不滿足規范要求的風險。而且這類工具定制化開發工作量較大，部分廠商開發動力不足。在這類定制化工具方面運營商需要加強自研和自主開發能力。

（3）保持驗收測試中立性，為運營商的集成驗收提供自動化的工具保障

下一代網絡的集成驗收是集成交維的關鍵環節。傳統驗收方式無法對龐大的資源池的各個服務器節點、網絡連接、內部配置進行全面的驗收，往往導致驗收通過后很多隱患沒有及時發現，后患無窮。集成廠商可以提供部分自動化驗收的工具，然而廠商工具良莠不齊，無法保證測試觀察點完全滿足運營商的要求。因此運營商應具備自主開發的、中立的、自動化的集成驗收工具，從硬件、網絡、軟件等多個層面開展完善且高效的集成驗收。

（4）構建跨廠商的持續集成持續交付系統

下一代網絡的集成只是下一代網絡建設和運維中的一個環節，為了確保下一代網絡的靈活性、敏捷性，網絡的規劃、建設、運維監控應該構成有效閉環，形成正反饋，確保網絡可管可控可維護。自動化集成交付平臺是下一代網絡持續集成持續交付的基礎。

5.2? 運營商集成驗證能力

傳統網絡的集成工作僅發生在運營商機房的集成現場，網絡轉型后涉及跨廠商的集成操作，全部在機房完成，效率低，可重復性差。為了應對下一代網絡的集成，運營商應逐步形成集成驗證能力，在進入集成機房現場之前，將大量集成的互操作問題、預配置問題發現并解決，提高集成現場的集成效率。目前多個主流運營商均在籌備下一代網絡的集成驗證實驗室，提供NFV的集成驗證能力。運營商的集成驗證能力基于其自動化集成交付系統，可以提供可重復、可復現的小規模多組件部署集成，通過快速靈活的自動化集成操作實現多組件的集成互操作驗證。

5.3? 持續集成持續交付閉環

基于自動化集成交付系統和運營商集成驗證實驗室，應進一步構建持續集成持續交付兩個閉環。如圖1所示。

一個閉環是持續集成閉環，覆蓋廠商產品和運營商的集成驗證實驗室。這一閉環主要目的是對廠商的產品組件進行持續集成驗證，確保廠商的每一次更新操作都能與運營商網絡內部已存在的其他組件版本集成互操作。這一閉環要求廠商的CI/CD交付流程與運營商的集成驗證實驗室CI/CD交付流程能夠彼此打通，通過廠商交付流程的產品更新可以直接驅動在運營商集成驗證實驗室進行快速的部署和互操作驗證。

另一個閉環是持續交付閉環，覆蓋從運營商的集成交付實驗室到運營商的機房集成現場。這一閉環主要目的是對多個已在運營商集成驗證實驗室通過互操作集成驗證的組件，通過持續交付的遠程操作模式在現網進行部署集成操作，完成集成系統的交付。理想狀態的持續交付只需要依靠自動化集成交付平臺遠程操作和現場施工隊根據設計圖紙簡單地人工操作即可完成。這一閉環要求集成驗證實驗室的集成流程和現場集成流程打通，集成驗證實驗室的集成模式、腳本、配置文件，通過合理的規模化可直接在現網復制使用?，F網發現的集成問題，可快速在集成驗證實驗室復現。

6? ?中國移動下一代網絡新型集成實踐

6.1? 下一代網絡自動化集成交付平臺AUTO

面向下一代網絡的集成痛點，中國移動自2017年起逐步構建新型集成能力。中國移動于2018年12月發布起自動化集成交付平臺AUTO系統1.0版本，重點關注集成過程中運營商定制化需求和跨廠商集成痛點。圖2為AUTO工具主界面。AUTO平臺包含自動規劃（AUTO-Design）、自動配置（AUTO-Config）、自動部署（AUTO-Deploy）和自動測試（AUTO-Test）四大功能組件，所有功能統一由AUTO-GUI界面呈現，并通過自動化流程管理平臺（AUTO-Pipeline）實現集成任務流水線。

6.2? AUTO平臺的應用實踐

AUTO系統已在中國移動多個試點試驗網環境得到驗證。在2018年的NFV試點中，AUTO系統在8小時內完成了82個虛擬層功能測試用例測試，22小時內完成了19個性能測試用例。在2019年5G規模試驗中，使用AUTO一鍵式完成450臺服務器15項BIOS配置，極大地提高了硬件集成的效率。目前，AUTO工具也在中國移動的大區資源池建設中推廣使用，提高中國移動電信云的集成質量和效率。此外，中國移動于2018年底發布OPEN-AUTO合作伙伴計劃，基于AUTO平臺，與多廠商開展集成合作，共同在集成流程定義、集成數據統一、集成實驗室建設等方面開展合作，構建集成生態。

7? ?結束語

集成問題是下一代網絡落地的“最后一公里”問題，關系著下一代網絡的效率和質量。網絡轉型后，運營商應首先從流程、工具、數據三方面審視當前的集成方法，逐步優化集成的關鍵要素，從而實現從粗放式的“交鑰匙”集成變成精細化的集成過程管理?；诖?，運營商應逐步構建持續集成持續交付的集成能力，從而實現下一代網絡的快速靈活上線。

在構建下一代網絡新型集成體系的過程中，新型“集成生態”尤為重要。傳統網絡的集成存在著較高的廠商壁壘，導致下一代網絡的集成缺乏完整的生態。面向跨廠商的未來網絡，廠商壁壘給運營商、設備廠商、集成商帶來了極大的資源損耗和技術挑戰，因此運營商有必要主動承擔責任，推動各方打破技術壁壘，構建跨廠商的持續集成持續交付模式。

參考文獻：

[1] 周偉林. 網絡功能虛擬化技術研究綜述[J]. 計算機研究與發展， 2018，55（4）： 675-688.

[2] Ericsson. The Telco Report–Insight into Telco cloud transformation[Z]. 2019.

[3] AT&T. Building the Network of the Future[Z]. 2017.

[4] 張文林. 持續交付及其在大型項目中的應用[J]. 軟件導刊， 2017，16（10）： 159-161.