高速可編程網絡創新實驗設備設計與實現

崔 波，劉中金，李 勇，蘇 厲，金德鵬，曾烈光

(清華大學電子工程系，北京 1 00084)

高速可編程網絡創新實驗設備設計與實現

崔 波，劉中金，李 勇，蘇 厲，金德鵬，曾烈光

(清華大學電子工程系，北京 1 00084)

面向下一代網絡的新協議和體系架構研究是當前網絡研究的重要組成部分，而基于實際設備的實驗驗證是證明研究結果正確性的主要途徑。針對基于軟件或傳統網絡設備的驗證方式在有效性、靈活性等方面的不足，提出一種支持網絡創新實驗驗證的高速網絡硬件設備解決方案。該方案基于現場可編程門陣列設計，將控制平面與數據平面解耦合，同時采用高性能的網絡與存儲模塊，滿足網絡創新實驗對設備可編程、高性能、靈活管理控制等方面的需求。基于此方案設計并實現TNIP網絡處理板卡。實驗結果證明，該板卡支持高達16 Gb/s的網絡通信，可以應用于復雜的網絡創新實驗。

網絡設備；網絡創新；實驗平臺；可編程硬件；現場可編程門陣列設計；虛擬化

1 概述

針對當前互聯網諸如地址少、移動性差、服務質量無法保障、安全性差等問題，提出了眾多演進和變革的技術，如MobileIP[1]、網絡虛擬化[2]、內容命名網絡(Named D ata Network, NDN)[3]、軟件定義網絡(Software Defined Network, SDN)網絡[4]和OpenFlow[5-6]等。由于網絡基本理論的缺乏，這些網絡創新研究都需要通過實驗的手段對其提出的體系結構、關鍵算法、協議及技術等進行驗證[7]。傳統的網絡實驗驗證解決方案是軟件仿真[8]或者在傳統的網絡設備(路由器、交換機、網絡處理器等)上進行測試。軟件仿真具有編程方便、配置靈活等優點，但是難以反映網絡真正的行為特征，如流量負載、各種網絡突發事件等。使用傳統的網絡硬件設備(交換機、路由器、網絡處理器等)的實驗驗證保證了實驗結果的有效性，然而由于傳統網絡硬件設備均基于IP結構，不能進行新型算法、協議或者新型網絡架構的部署，這種功能固化的特征使得其不能勝任網絡實驗中對設備靈活性和擴展性的需求。

針對傳統解決方案在網絡性能、靈活性等方面的缺點，本文介紹一種新的網絡創新實驗設備解決方案。基于硬件的設計可以提供實際的網絡環境，從而保證實驗結果的真實性，而基于可編程的設計可以提供靈活的配置方式，方便各種不同網絡算法或結構的部署。該方案采用現場可編程門陣列(File Programmable Gate Array, FPGA)為網絡處理芯片，從而保證了設備良好的可編程可重用特性。在網絡支持方面，方案中包含高速以太網接口以及相應的網絡處理系統，以提供大規模的網絡處理能力。解決方案中的控制平面可以有多樣的選擇，增強設備管理控制的靈活性。基于該解決方案，設計基于FPGA的高性能網絡處理板卡：清華網絡創新實驗平臺(Tsinghua Network Innovation Platform, TNIP)。該板卡搭載賽靈思Virtex FPGA，支持高達16 Gb/s的網絡通信速率，ARM與PC雙路控制增加了設備使用的靈活性。

2 網絡創新實驗設備解決方案

2.1 設計目標

軟件仿真與傳統硬件設備都不能很好地支持網絡創新實驗，這使得創新網絡研究需要新的硬件設備。根據網絡創新研究的性質以及其對網絡測試環境的要求，該設備應該具有如下特性：

(1)設備需要有強大的網絡處理性能。現實的互聯網面臨網絡環境復雜、網絡流量負載大、網絡結構復雜等問題。硬件實驗設備必須要能實現大流量的網絡傳輸與處理，并有強大的組網能力來支持各種復雜網絡結構的搭建，才可能為網絡實驗提供真實可靠的驗證結果。

(2)要有可編程可重用功能。新型的網絡研究設計了很多的網絡算法、協議甚至網絡體系結構，任一種都需要不同結構不同功能的網絡設備來支撐，而功能單一、結構固定的傳統網絡設備顯然不能滿足所有的需求，最根本的解決辦法是為設備提供可編程的功能，讓研究人員定制自己需要的功能。

(3)設備要有足夠的靈活性和可擴展性。隨著技術的發展，網絡早已不僅僅是電腦與服務器之間的通信了，網絡設備有可能應用在智能手機、嵌入式電子系統、移動傳感網絡等各種領域，而網絡創新實驗的研究跟這些應用息息相關，也存在大量的不同環境下的網絡實驗需求。為此，用于網絡實驗的硬件設備也需要有足夠的靈活性和可擴展性以適應不同情形下使用網絡設備的需求。

2.2 解決方案的總體結構

本文提出一種基于可編程硬件的網絡創新實驗設備解決方案，該方案整體結構如圖1所示。

圖1 解決方案總體結構

方案中包含處理核心及其外圍電路、網絡模塊、控制系統、存儲系統、電源系統等5個部分。其中，處理核心器件為FPGA芯片，用于搭建網絡設備的數據平面，實現數據處理與轉發；外圍電路保證FPGA的正常工作，提供必要的配置以及監測等功能；網絡系統負責將接收到的網絡數據進行初步的處理后送入FPGA進行進一步處理；控制芯片與控制平面共同組成該方案的控制系統；存儲系統為方案提供了數據存儲緩沖的空間。

選擇FPGA作為設備的核心處理器件。FPGA的可配置邏輯塊陣列包含大量的可配置邏輯，可以滿足網絡創新實驗對設備可編程可重用的功能。盡管ASIC結構同樣可以實現可編程的功能，但是ASIC芯片不可重復設計且設計周期長，相比之下，FPGA可重復配置、設計流程簡單、開發周期短、成本低，更能勝任實驗驗證等任務。

網絡模塊負責網絡數據的收發處理。該模塊將從外部網絡接收到的數據進行解碼、校驗等操作后發送到FPGA進行進一步處理。在相反方向，網絡模塊將設備要發送到網絡的數據進行校驗、編碼等操作后通過網絡接口發送到網絡上。網絡模塊應能提供足夠的數據吞吐量以滿足那些對大數據速率的網絡創新研究實驗的需求。另外，一個好的網絡實驗設備需要支持構建盡量復雜的網絡拓撲結構。

控制系統的設計采用了ForCES(Forwarding and Control Element Se paration)[9]框架的思想，將控制平面與數據平面相互分離，通過控制芯片進行橋接。這樣的設計將數據平面的硬件設計與控制平面的軟件設計解耦合，2個平面可以獨立進行設計開發，提升了網絡研究的效率。通過控制芯片的橋接，設備的控制平面可以在不同的平臺上實現，只需要遵循既定的與數據平面的接口即可，大大增加了設備使用的靈活性以及可擴展性。例如，用PC實現控制平面可以將設備作為PC的擴展設備使用，例如可以用作PC網卡、硬件防火墻等；用ARM實現控制平面，則可以將設備用于嵌入式的環境中。

綜上所述，通過采用可編程硬件的整體思路，對滿足高性能網絡處理與控制數據相分離所要求的系統結構相對應模塊進行合理設計，該設備解決方案可以滿足上文提到的可編程可重用、高性能、靈活控制等設計目標。因此，該設計方案能有效支持網絡創新中的各種網絡實驗與測試的需求。

3 網絡創新實驗設備TNIP

基于以上解決方案，設計了TNIP板卡，如圖2所示。該板卡采用賽靈思Virtex系列FPGA作為處理核心，可以實現大規模的網絡系統。網絡模塊提供了8個千兆以太網接口，可以實現16 Gb/s的高性能網絡數據傳輸。在控制平面的實現上，板卡采用了ARM與PC雙路控制的機制，用戶可以靈活選擇PC或ARM作為控制端。下文介紹TNIP板卡的詳細實現方案。

圖2 T NIP板卡

3.1 F PGA

作為系統的核心器件，FPGA用于部署系統的數據平面。FPGA中可編程邏輯資源的數量直接決定了該芯片可實現的系統的復雜程度。為保證該板卡能支持復雜系統的實現，FPGA需要有足夠多的可編程邏輯資源。同時FPGA選型還考慮了其內部存儲空間及相應功能模塊(如MAC核、DSP單元等)的集成度。TNIP板卡的FPGA采用賽靈思公司Virtex-5系列FPGA芯片XC5VLX110T。該芯片包含豐富的邏輯資源與存儲資源，可以滿足較為復雜的網絡系統設計，片上集成的DSP模塊可以滿足復雜的數據運算，而4個IEEE 802.3標準的以太網MAC硬核也可用于實現網絡系統中MAC層的處理，提升網絡系統的設計效率。

3.2 控制系統

控制系統由控制芯片與相應的控制平面共同組成。控制芯片作為橋接控制平面與數據平面的樞紐，定義了2個平面的通信接口。數據平面在FPGA上實現，用于處理網絡數據的接收、包頭處理、查找、轉發等操作，而控制平面在相應的控制平臺中實現，用于實現網絡系統控制相關的所有功能。

TNIP板卡的控制芯片使用賽靈思公司的SPARTAN FPGA實現。板卡采用了ARM與PC雙路平臺控制的設計方案。用戶可以利用PC開發功能完善的控制平面，也可以使用ARM芯片來開發嵌入式環境下的網絡處理板卡。

3.3 網絡模塊

網絡模塊是網絡設備中的基本單元。該模塊包含了網絡接口、物理層模塊(PHY)、MAC層模塊等。PHY實現網絡物理層的編解碼，MAC模塊進行MAC幀的封包解包以及錯誤檢測等操作。TNIP板卡提供了8個千兆以太網接口(RJ45)。物理層采用2個四路的PHY芯片實現。MAC模塊可以使用FPGA芯片內部集成的MAC硬核實現，也可以使用FPGA通用邏輯編程實現，這樣的設計允許用戶自定義MAC功能，增強了板卡使用的靈活性。

4 板卡功能與性能評估

4.1 組網能力

TNIP板卡組網實驗在TUNIE實驗平臺[10]中實現。TUNIE是一個開放性的用于網絡創新研究的網絡實驗環境。在此平臺中，使用2個TNIP板卡配合軟件虛擬化路由器搭建了2張網。每個網絡擁有不同IP地址段。其中一張網絡運行RIP協議，其上運行視頻點播業務。另一張網運行OSPF協議，其上運行VOIP業務。2張網的拓撲結構如圖3所示。H1_A/H1_B為在板卡1上實現的2個虛擬路由器，H2_A/H2_B則在板卡2上，S1～S5為軟件虛擬路由器。

圖3 網絡拓撲示意圖

實驗結果顯示，2張網絡都可以正常生成各自的路由表，并正常轉發數據，視頻點播業務和VoIP業務都可以實時流暢運行，而且網絡之間有良好的隔離性，一張網出現故障導致宕機，另一張網也可以正常運行。組網運行正常證明了TNIP板卡基本的網絡功能正常。

4.2 虛擬路由器部署及性能

網絡虛擬化是搭建網絡實驗平臺的關鍵技術[2]。虛擬路由器作為虛擬網絡載體需要著重研究。使用TNIP板卡可以很容易地實現高性能高可靠性的硬件虛擬化路由器。

使用該板卡設計實現了硬件虛擬化路由器，路由器結構如圖4所示。圖4中每條處理流水線都是一個虛擬路由器，獨立維護各自的路由表項，獨立進行路由操作。經過處理后的網絡數據進入到輸出仲裁模塊進行仲裁并通過相關隊列輸出。

圖4 硬件虛擬路由器結構

在實際部署中，針對不同數量的虛擬路由平面個數，進行了資源利用率統計，結果如表1所示。由于存在資源共用(輸入輸出FIFO、調度算法等)以及FPGA對不同復雜度系統的綜合程度不同，資源利用率并非完全線性。可以看出，當虛擬10個路由平面時，資源利用率依然在70%以下，實際測試中這種情況下各路由平面均可以穩定工作。可見，TNIP板卡對網絡創新實驗的部署有很強的承載能力。

表1 不同數量虛擬路由器資源占用率比較 %

為了測試該硬件虛擬路由器的轉發速率，在板卡上搭建了3個虛擬路由器，即3個數據平面，1個是以太網格式，另外2個是VLAN格式。由于板卡可以工作在線速，軟件發包工具很難產生線速的數據包，為保證測量的準確性，實驗中選擇硬件發包工具[11]生成數據包。圖 5為實際測得的轉發速率。可以看出，每一個路由器都可以在趨近于1 G b/s的速率下正常處理網絡數據包，該結果證明了板卡具有高速穩定的網絡處理轉發性能。

圖5 轉發速率測試結果

5 結束語

本文提出一種適應網絡創新實驗需求的硬件設備解決方案，采用FPGA與高性能的網絡與存儲模塊實現了可編程重用、可靈活管理控制的網絡處理板卡TNIP。實際組網與流量測試表明該板卡具有高速穩定的網絡處理能力，并且可以承載復雜的網絡功能，如虛擬路由器等的實現，也可以滿足復雜網絡環境的部署需求。16 Gb/s的網絡通信帶寬以及豐富的可編程邏輯資源使得該板卡可以勝任大部分網絡創新實現的硬件驗證需求。

隨著網絡容量的快速擴展以及業務流量的急速增加，核心網的端口速率已經達到了10 Gb/s甚至更高，今后的工作需要順應這一趨勢的發展，在該板卡的基礎上設計更快更靈活的網絡數據處理系統。

[1] Perkins C E. Mobile IP[J]. IEEE Communications Magazine, 1997, 35(5): 84-99.

[2] Carapinha J, Jiménez J. Network Virtualization: A View from the Bottom[C]//Proc. of the 1st ACM Workshop on Virtualized Infrastructure Systems and Arch itectures. Barcelo na, Spain: ACM Press, 2009: 73-80.

[3] Zhang Lixia, Estrin D. Na med Data Networking Project[R]. University of California, Technical Report: NDN- 0001, 2010. [4] Open Networking Foundation. Software-defined Networking: The New Norm for Networks[EB/OL]. (2012-04-13). https:// www.opennetworking.org/images/stories/downloads/sdn-resou rces/white-papers/wp-sdn-newnorm.pdf.

[5] McKeown N, Anderson T, Balakrishnan H, et al. OpenFlow: Enabling Innovation in Campus Networks[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2): 69-74.

[6] Curtis A R, Mogul J C. DevoFlow: Scaling Flow Management for High-performance Networks[J]. ACM SIGCOMM Computer Communication Review, 2011, 41(4): 254-265.

[7] Bavier A, Feamster N, Huang M, et al. In VI NI Veritas: Realistic and Co ntrolled Network Experimentation[C]//Proc. of Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications. Ne w York, USA: ACM Press, 2006: 3-14.

[8] 張曉平. Cl ick軟件路由器MPLS協議模塊研究與實現[D].北京: 北京郵電大學, 2010.

[9] Yang L, Dantu R, Anderson T, et al. Forwarding and Control Element Separation(ForCES) Framework[S]. RFC 3746, 2004.

[10] Li Yong, Su Li. TUN IE: A Virtualized Platform for N etwork Experiment on Programmable Inf rastructure[C]//Proc. of the 19th IE EE Inter national Confere nce o n Net work Protocols. [S. l.]: IEEE Press, 2011: 125-126.

[11] Covington G A, Gibb G, Lock wood J W, et al. A Packet Generator on the N et FPG A Platform[C]//Proc. of the 17th IEEE Symposium on Field Programmable Custom Computing Machines. [S. l.]: IEEE Press, 2009: 235-238.

編輯 顧逸斐

Design and Implementation of Innovation Experiment Equipment for High Speed Programmable Network

CUI Bo, LIU Zhong-jin, LI Yong, SU Li, JIN De-peng, ZENG Lie-guang

(Department of Electronic Engineering, Tsinghua University, Beijing 100084, China)

New protocols and architectures for next ge neration Internet is an important part of current network research. Experimental verification based on physical equipment is the m ain approach to examine the feasibility and performance of the new technologies. With concerns of that software and traditional network facility based verification methods have some disadvantages. This paper proposes a device design solution to support net work innovation experiment. Based on Field Programmable Gate Array(FPGA), decoupling the data pla ne, control plane and using high performance network and storage modules, this paper can achieve the goals required by network innovation studies such as reprogrammability, high performance, flexibility of control and management, implements the design on TNIP network processing card. Experimental results show that T NIP can handle up to 1 6 Gb/s n etwork traffic an d ca n be used to de ploy network innovation experiments.

network equipment; network innovation; experiment platfo rm; programmable hardware; Field Programmable Gate Array (FPGA) design; virtualization

10.3969/j.issn.1000-3428.2014.05.065

國家“973”計劃基金資助項目(2013CB3291005)；國家自然科學基金資助項目(61171065, 61021001, 61133015)；國家“863”計劃基金資助項目(2013AA010601, 2013AA010605)。

崔 波(1990－)，男，碩士研究生，主研方向：網絡虛擬化技術；劉中金，博士研究生；李 勇，博士；蘇 厲，講師；金德鵬、曾烈光，教授。

2013-03-06

2013-05-03E-mail：thucuibo@163.com

1000-3428(2014)05-0313-04

A

TP393