基于自主安全的云數據中心網絡技術探索與解決方案研究

張華洪

(邁普通信技術股份有限公司，四川 成都 610094)

0 引言

基于中國互聯網的發展以及國家新基建的政策導向，數據中心正在蓬勃發展，數據中心網絡也在從10G、40G 網絡向25G、100G 網絡過渡，甚至一些頭部企業已經在嘗試100G、400G 網絡。同時，隨著中美貿易摩擦日漸升級，卡脖子的現象日趨嚴重，能否基于全自主元器件、網絡設備和技術構建云數據中心網絡是一個重要課題。云數據中心網絡通常包括SDN 控制器、交換機、安全設備、網絡分流設備、虛擬交換機vSwitch、智能網卡等相關組件，這些組件的硬件和軟件都需要是國產自主的，才能擺脫對國外技術的依賴。本文重點論述自主云數據中心的技術特點、相關組件自主化布局的可行性以及自主化的方法和方案選擇。

1 云數據中心網絡架構

自主云數據中心網絡架構如圖1 所示。以自主研發的全新架構網絡控制器為核心，向上聯動云平臺，提供網絡業務的統一編排和呈現；向下管理網絡設備、虛擬交換機(vSwitch)、安全設備、網絡分流器、智能網卡，自動根據云平臺的指令打通網絡連接，構建基于VXLAN的overlay 網絡基礎設施；同時，網絡控制器整合人工智能技術和網絡流量分析技術可以更為智能地管理網絡以及呈現網絡流量的實時情況。該系統包含以下幾個關鍵層次。

圖1 云數據中心網絡架構圖

業務呈現層：主要指云平臺，包括第三方云平臺和OpenStack 等開源云平臺，負責計算資源管理和網絡業務的統一編排。其不屬于云數據中心網絡，只和網絡有對接和互通關系。

網絡控制層：包括SDN 網絡控制器等控制節點，主要管理網絡設備、vSwitch、安全設備、網絡分流器等網絡設備，并和云平臺形成聯動，接收云平臺的編排指令，向下配置網絡設備和vSwitch。

網絡服務層：基于交換機、安全設備、網絡分流器等網絡設備，underlay、overlay 等技術構建的網絡服務層，負責網絡業務轉發等。

計算接入層：基于服務器、智能網卡等產品構建的技術接入層，可以運行虛擬機、容器、裸金屬服務等用戶業務。其中智能網卡能夠協助卸載運行vSwitch 等軟件功能，以增強處理性能以及降低服務器開銷。

2 云數據中心網絡關鍵技術特征

自主云數據中心網絡需要具備智能網卡技術(Virtio、OVS 卸載、安全業務卸載、SR-IOV、裸金屬服務器支撐)、設備三平面安全可信技術、云計算中心網絡技術(網絡虛擬化、大二層網絡、M-LAG)、SDN 技術、云網一體化技術、智能網絡技術、RoCE 及無損以太網技術、網絡流量透視和安全監管技術等信創新一代網絡關鍵技術。通過有效地將傳統網絡設備、網絡控制器、智能網卡、網絡分流器等資產和組件有機整合，為客戶應用需求提供安全可控的新一代網絡技術整體方案，從而在芯片、軟件、技術、網絡、應用等方面打造創新生態系統，形成可持續的競爭力。

2.1 智能網卡技術

伴隨著云計算、大數據、AI 及機器學習的發展，云數據中心中服務器性能壓力越來越大，而基于智能網卡來完成裸金屬服務器的部署、網絡卸載、特定業務卸載的訴求越來越強烈。智能網卡技術主要涉及Virtio 模擬技術、OVS-DPDK 技術、VXLAN/Geneve 隧道卸載技術、存儲設備模擬技術、GPU 設備模擬技術、國密加解密卸載技術、SR-IOV 技術、CT(Connection Tracking)硬件卸載技術等。圍繞裸金屬服務部署解決方案、解決國產服務器性能不足問題以及各種業務功能卸載等應用，需要在體系結構上與服務器操作系統、服務器虛擬化、容器等技術結合，以及和交換機等外部硬件設備聯動，形成端到端的整網網絡優化能力，提高云數據中心整體效能，如圖2所示。

圖2 端到端的整網網絡優化能力架構

從硬件架構上講，智能網卡主要基于國產CPU和FPGA 構建。其中CPU 用于運行智能網卡管理、控制及核心業務軟件系統，稱之為CCP(Card-Carried Processor)。FPGA 系統作為多業務卸載引擎(Multi-Service Offload Engine，MSOE)為智能網卡提供內、外部通信接口以及業務卸載、網絡卸載、存儲卸載等功能。另外，由于當前國產CPU 的發展水平要遠高于國產FPGA 的發展水平，這里需要有一個精巧的設計，就是需要在FPGA 中實現FerryMan 模塊，用于搬移那些由于FPGA 資源或性能限制，暫時無法卸載到MSOE 中的業務，暫時用CPU 實現。等后續FPGA 的能力上來了，可以逐步再往FPGA 中做，但是對外的業務呈現是完全一致的，不會讓用戶在功能上有感知，只是在升級特定版本后性能等方面有較大提升。

采用國產和自主元器件可以解決供應鏈安全，但是不代表應用安全，所以需要添加國密加解密算法以及對應的安全機制，使得無論是網絡數據還是存儲數據都能夠進行國密加解密。另外基于國標的TPCM 可實現智能網卡的可信度量，還可以度量服務器系統的BIOS、BMC、操作系統組件。

2.2 SDN 及云網一體化技術研究

隨著SDN 技術的持續發展，SDN 網絡控制器已經不僅僅限于流表的學習下發，而是整個網絡的調度中心，其向上對接聯動云平臺，向下管理物理交換機、虛擬交換機、網絡防火墻、負載均衡器、網絡分流器等各種網絡部件，完成云網一體化聯動，使得整個云數據中心網絡能夠根據用戶意圖自動完成部署和交付。SDN 控制器需要支持云平臺聯動對接、整網安全策略管控、網絡拓撲三網互視、一網多云技術(一套SDN 網絡對接多套云平臺)等關鍵難點技術，達到網絡高度自動化的效果。同時全套SDN 組件需要支持安裝在國產服務器上以及支持國產操作系統(比如麒麟操作系統)的適配。

2.3 云數據中心網絡技術研究

云數據中心當前主要涉及網絡虛擬化、大規模二層網絡技術、M-LAG 雙規接入技術、服務鏈技術、微分段技術、虛擬機流量導出技術等。網絡虛擬化包括1：N 虛擬化、N:1 虛擬化、縱向虛擬化三種網絡虛擬化功能，大規模二層網絡技術主要包括TRILL 技術、VXLAN 技術、BGP-EVPN 技術以及分流網絡技術。這些技術當前業界基本都是成熟的，但是這里需要強調的是自研和自主，不使用國外知識產權的軟件，避免國外關閉支撐帶來的技術風險。

另外，基于國產交換芯片以及國產智能網卡可以構建屬于國產自主的端到端網絡應用，比如基于交換機和智能網絡共同配合的端到端INT(Inband Telemetry)可視化功能，端到端X-PIPE(硬管道確定性網絡保障技術)，使得用戶數據能夠得到服務器到服務器的端到端可視以及傳輸保障，如圖3 所示。

圖3 端到端業務保障

X-PIPE 技術是一種借鑒于時間敏感網絡(TimeSensitive Network，TSN)的硬管道技術，其將以太網絡中的數據區分為高優先級報文和低優先級報文，并且能夠保證高優先級報文低延遲、低抖動、零丟包，使得高優先級業務得到絕對的網絡傳輸保障。而端到端X-PIPE 可以實現從網卡側就區分優先級并修改幀前導以標記報文優先級，后續所有經過的交換機都基于此優先級進行轉發保障，以此達到端到端業務保障效果。這里區別于傳統的QoS 保障技術，X-PIPE 從最原始的幀前導入手，在報文最底層進行優先級標記，不像QoS 技術只依賴于交換芯片buffer 在存儲轉發的時候做優先級調度，如果接收側或者發送側本身就已經丟包QoS 技術無法保障。

2.4 智能網絡技術研究

隨著網絡技術的發展，云數據中心中underlay、overlay網絡越來越普遍，虛擬機、容器、裸金屬服務器、分布式存儲等對于網絡設備提出了新的要求。需要網絡更具備智能，能夠智能地聯動云平臺管理網絡業務、智能地調節網絡PFC、ECN 水線，使得網絡零丟包低延遲、智能地進行網絡維護管理，使得網絡故障診斷和恢復無須人工干預。網絡高效運維管理是新一代云數據中心網絡面臨的技術難題，引入機器學習和最新的AI 算法，賦能數據中心網絡，可以使得新一代云數據中心網絡維護管理變得自動而高效。

2.5 網絡流量透視和安全監管技術研究

新一代云數據中心中，對于網絡流量的透視作為網絡運維管理、智能網絡管理的基礎數據來源以及安全監管的要求，成為云數據中心的標準配置。利用端口鏡像、流鏡像、Sflow、IPFIX、網絡分流(TAP)、網絡性能分析、虛擬機流量導出、DPI 等技術，將云數據中心中整網流量導出并進行分析透視，形成圖形化呈現，可以讓用戶能夠直觀感知網絡流量情況，讓網絡從用戶很難理解和感知的黑盒變成可以直觀呈現的白盒狀態。需要針對云數據中心網絡和流量特征，針對性優化了overlay 流量導出分析、虛擬機流量導出分析、TAP 數據預處理、網絡性能分析和呈現等方面進行重點優化和突破創新，滿足了用戶流量透視和安全監管的應用需求。

2.6 RoCE 及無損以太網技術研究

隨著云計算的蓬勃發展，物美價廉的分布式存儲由于其只需要通用服務器而非專業存儲設備，受到了云數據中心的青睞。但是由于SSD 等存儲技術的高速發展，分布式存儲環境中，網絡成了影響存儲性能的最大瓶頸，需要網絡具備零丟包、低延遲的能力。另外，高性能計算、分布式AI 訓練等新興業務應用，也對網絡丟包和延遲提出了高要求。要提升網絡性能，需要通過多種技術組合實現，包括RDMA 及RoCE 技術、PFC 技術、ECN技術、DC-QCN技術、ETS技術、X-PINE 確定性延遲技術，可以使得云數據中心網絡達到零丟包以及不受報文大小影響的10 μs 以內的確定性延遲效果。需要通過對以太網存儲交換機的優化設計，并聯動智能網卡，形成了整網零丟包、低延遲、高穩定性的能力，能夠支撐云數據中心分布式存儲、高性能計算、分布式AI訓練的應用。并且網絡丟包、延遲、穩定性等效果達到業界領先水平。

2.7 安全可信技術研究

網絡安全主要包括以下4 個方面：信息設備安全、數據安全、內容安全和行為安全。信息系統硬件結構的安全和操作系統的安全是信息系統安全的基礎，密碼、網絡安全等技術是關鍵技術。只有從信息系統的硬件和軟件的底層采取安全措施，從整體上采取措施，才能比較有效地確保信息系統的安全。所有設備都需要基于國產芯片和國產操作系統，并且實現可信計算技術與網絡通信設備的有機融合，解決網絡設備身份識別、網絡系統可控接入，網絡設備軟件系統身份合法性、數據完整性認證，網絡設備加載流程可信控制等，從設備、網絡系統不同層次解決安全可信需求。

3 關鍵組件國產自主化可行性論證

國產網絡設備主要依賴于CPU、交換芯片、安全加密芯片、FPGA、可信計算芯片、操作系統等，當前國內已經形成了相應的產業鏈，如表1 所示。

表1 國產關鍵組件

只要是自研即可，同時需要注意和國產操作系統(如麒麟操作系統、UOS 操作系統)進行適配對接。

防火墻等安全產品，由于其主要依賴的是CPU，飛騰CPU 的性能已經能夠滿足大多數情況應用，如果需要非常高性能處理能力，可以考慮海光CPU，其X86 架構和Intel 公司CPU 差距不大。同時如果是一些強安全行業，還依賴于安全加密芯片和可信計算芯片，當前沐創、可信華泰等國內廠商已經有成熟產品。

交換機、分流器等產品對于CPU 依賴不強，飛騰CPU已經足夠滿足要求。但是其對于交換芯片的依賴較高，盛科交換芯片當前能夠滿足25G、100G 網絡，適應大多數云數據中心建設要求。

操作系統層面，當前麒麟操作系統、UOS 等都是基于Linux 進行安全強化而來的，也能夠滿足應用要求以及安全性述求。

上層應用軟件，需要各廠商進行自主研發，這部分也是核心競爭力。

4 結論

基于國內CPU、交換芯片、安全加密芯片等硬件技術以及操作系統、上層應用軟件等軟件技術的發展，基于國產自主創新的云數據中心生態已經基本成型，雖然在最高端的互聯網數據中心還無法對國外產品進行替代，但是大多數云數據中心已經能夠完全替代國外芯片及技術產品。