網絡創新試驗床關鍵技術綜述

王 陽 曾榮飛 李振宇 謝高崗

1(中國科學院計算技術研究所 北京 100190)2 (中國科學院大學 北京 100049)(wangyang2013@ict.ac.cn)

網絡創新試驗床關鍵技術綜述

王 陽1,2曾榮飛1李振宇1謝高崗1

1(中國科學院計算技術研究所 北京 100190)2(中國科學院大學 北京 100049)(wangyang2013@ict.ac.cn)

為解決TCPIP面臨的可擴展性、動態性和安全可控性等問題，研究人員提出了大量的新型網絡體系架構、協議和算法等，而這些研究在部署與應用前需要在一定規模的、逼近于真實網絡的試驗床上進行長時間的測試、評估和優化.近年來,國內外興起了網絡創新試驗床的研究和建設.然而,網絡創新試驗床在設計與實現中面臨一系列挑戰.以實驗所面臨的成本、可行性、可信性和可控性4個問題為出發點，總結了網絡創新試驗床的需求及特性要求,歸納分析了其在虛擬化、網絡可編程性、聯邦管控、實驗控制、測量與監測等方面存在的技術挑戰,并對關鍵技術、架構和研究進展進行介紹與論述.最后分析了國內外網絡創新試驗床的建設與發展現狀,并討論了網絡試驗床未來的發展趨勢和需要進一步解決的問題.

未來互聯網；網絡試驗床；聯邦；虛擬化；可編程性；管控；測量與監測

現有的TCPIP網絡體系結構在可擴展性、動態性和安全可控性等方面存在諸多問題[1]，為此研究人員提出了大量的新型網絡體系架構[2-3]、協議和機制[4]，這些研究迫切需要大規模的部署、測試與驗證.由于網絡體系結構和物理設施的緊耦合，這些研究在實際網絡中進行驗證需要研發和部署新網絡物理設備，不僅周期長、投資大，而且影響現有網絡運行[5].試驗床作為一種折中方案，可有效緩解在實際網絡中部署周期長和成本高等問題，為新型網絡體系架構、協議和算法的演進式驗證和部署提供了有效途徑[6].

早期試驗床對多個實驗的并發以及多層次協議實驗支持不夠、使用率低、運維和研發成本高、實驗實現復雜[7].網絡虛擬化技術和軟件定義網絡(software defined networking, SDN)思想為網絡創新試驗床的構建提供了新的方法.Peterson等人[8]提出利用虛擬化技術將物理網絡映射為多個虛擬網絡，在每個虛擬網絡上運行不同協議和網絡體系結構，以“虛擬化”來支持多種網絡架構并行.McKeown[9]提出的SDN,將數據平面與控制平面分離，使二者能夠獨立進化，使得網絡的可編程更為簡單和靈活.眾多的研究機構采用虛擬化與SDN機制，構建了靈活性更高的試驗床.

目前，網絡創新試驗床已經進入了全球化聯邦的發展階段，目標是為各種實驗提供一個覆蓋范圍廣、資源種類多的網絡基礎設施平臺，并將管理、控制和測量等平面與物理平面分離，實現對整個網絡的靈活管理和集中控制，使試驗床成為互聯網架構演進式驗證和部署的承載平臺.

本文著重論述了網絡試驗床在設計與構建中需要重點關注的問題與共性技術.首先分析和總結了網絡創新試驗床的需求與特性、面臨的問題挑戰，并詳細論述了試驗床的組網技術和控制平面的聯邦機制；在此基礎上，論述了實驗支撐系統的關鍵架構及技術；最后，介紹了國內外代表性網絡創新試驗床(如GENI(global environment for networking innovations)[10]，FIRE(future Internet research and experimentation)①等)的研究進展，并展望了試驗床發展趨勢和需要進一步解決的問題.

1 需求與挑戰

試驗床種類繁多，但其根本目的是承載實驗，實現未來網絡體系結構、新型應用的驗證與部署.如圖1所示，以目前網絡實驗面臨的成本、可行性、可信性和可控性4個問題[11-12]為出發點，分析了網絡試驗床應具備如下4個特性：

1) 支持實驗的并發與隔離.并發性是指不同的實驗可以共享相同的物理資源，如計算資源、存儲資源和網絡資源等；隔離性是指以相同的物理資源為宿主的不同實驗相互隔離、互不干擾，即計算、存儲和數據流隔離.實驗的并發與隔離可提高物理資源的使用率、降低實驗成本，更重要的是支持實驗網絡和生產網絡的共存，使得試驗床可以逐步地演進成為未來互聯網絡的承載平臺.

2) 支持多類型的實驗.網絡創新試驗床需要具備驗證各種新型網絡體系架構的實驗能力，這就要求未來網絡試驗床可以承載多層次、多領域的實驗，為此要求試驗床具有深層的可編程能力.可編程是指通過軟件方式控制計算和存儲的行為以及路由選擇和轉發策略等，使節點和網絡能夠部署標準或者非標準的網絡協議、用戶自定義軟件等.某些實驗不僅要求在邊緣網絡具有可編程性，同時要求核心網絡也具有可編程性.

3) 大規模與異構性.未來網絡試驗床與模擬、仿真等方法相比，其優勢是更逼近于真實網絡的實驗環境，這就要求能夠為實驗者提供數量多、覆蓋廣、異構的節點資源和網路資源，滿足大規模和異構的實驗需求.然而軟硬件資源、運維成本、地理位置、專業領域特性等因素都極大地限制了試驗床的規模和多樣性，試驗床的聯邦可以克服這些制約因素，將小規模的、獨立的、功能單一的試驗床聯邦成為一個大規模的和異構的試驗床.聯邦已成為網絡創新試驗床管理架構的核心與關鍵技術之一.

4) 支持實驗的整個生命周期.實驗生命期包括實驗資源的獲取和配置、部署與執行、監測與測量3個部分.網絡創新試驗床核心價值是為實驗生命周期的各階段提供完善的服務，通過智能化和自動化的功能縮短實驗周期、提高實驗準確性，作為試驗床即服務(testbed as a service, TaaS)[13]提供給實驗用戶.

Fig. 1 Analyzing requirements and challenges of testbeds based on problems of network experiments圖1 實驗面臨問題及網絡創新試驗床的需求和挑戰

然而，試驗床在實現上述需求和特性時仍面臨著諸多問題與挑戰：一方面是因為試驗床種類眾多，承載的實驗類型和本身的定位不同；另一方面是因為試驗床是一個完整的網絡生態環境、架構復雜.如圖2所示，試驗床的整體架構包括“四橫三縱”，根據試驗床設施的部署層次可以分為四橫：由下到上包括資源層、管控層、聯邦層和實驗層，根據對實驗不同階段的支撐可以分為三縱，包括管理切面、實驗控制切面、測量與監測切面.

Fig. 2 Network Innovation testbed architecture圖2 網絡創新試驗床整體架構

為滿足圖1中試驗床的需求和特性，架構中(如圖2所示)各部分所面臨的挑戰包括：

1) 試驗床組網.多類型實驗的隔離并發需要可編程與虛擬化技術的支持，然而這些技術在不同組網模式(IP網絡或軟件定義網絡)下存在隔離性、可編程性、可擴展性和性能等問題，如何根據試驗床的定位和各組網技術的優缺點選擇合適的組網模式是試驗床組網所面臨的第1個挑戰；可編程轉發設備構建的網絡具有深層可編程能力，在應用虛擬化技術時需要對不同實驗的轉發行為和使用的資源進行隔離，避免實驗網絡間功能和性能的干擾，同時，虛擬化技術和數據包查找匹配操作限制了可編程設備的轉發性能，使其在構建大型的試驗床網絡時具有局限性，可編程網絡的虛擬化和性能優化是試驗床組網面臨的第2個挑戰.

2) 聯邦機制.聯邦機制可滿足試驗床大規模與資源異構的需求.試驗床管理平臺通常采用資源描述文件來描述和調度物理資源，然而設備多樣性導致描述文件的定義各不相同，使得試驗床之間無法對資源進行互操作，如何設計與定義資源的描述方式使其具備通用性和高可擴展性，是聯邦機制面臨的首個挑戰；不同試驗床管理平臺的軟件架構、組件間的通信機制與接口、管理認證機制等都存在較大差異，阻礙了試驗床間的資源調度和授權與認證，如何屏蔽各平臺功能的差異性，根據聯邦所要求的最小功能集合定義通用、強可擴展性的軟件架構、接口、通信與認證機制是聯邦機制面臨的第2個挑戰；試驗床聯邦需要根據聯邦機制定義的資源描述、架構和接口等規范進行管理平臺的二次開發，如何降低二次開發的難度與周期實現各試驗床平臺的快速聯邦，是聯邦機制面臨的第3個挑戰.

3) 實驗支撐.用戶可手動或使用工具部署與控制實驗，工具對實驗的控制粒度和所提供的功能決定了該試驗床復現實驗的能力，如何支持細粒度的實驗流程的描述并設計基于描述的實驗控制架構是實驗控制系統面臨的挑戰；試驗床對測量系統提出了新的需要，如分布性、時序性和多工具兼容性等，如何根據新的需求設計測量系統架構并實現兼容性和時序性等功能是測量系統面臨的挑戰.

2 試驗床組網

網絡創新試驗床的組網直接決定其構建成本、提供實驗的能力和網絡擴展性.試驗床網絡需要支持不同層次的網絡實驗并行于同一物理資源之上，且相互隔離、互不影響.一方面需要可編程技術實現軟件定義網絡轉發等行為，不再依賴于試驗床的物理設備；另一方面需要虛擬化技術對物理資源從邏輯上進行抽象與隔離.

目前主流的試驗床網絡包括基于三層互聯的IP網絡及覆蓋網絡、基于二層互聯的OpenFlow[14]網絡和協議無關轉發網絡，它們在支持的實驗類型及可編程性、虛擬化與隔離性和可擴展性等方面存在著較大差異，如表1所示：

Table 1 Comparison of Testbed Networking

① eXtensible Open Router Platform(XORP). http:www.xorp.org

2.1 三層組網

三層組網使用IP網絡，可以重新組網或使用基于現網的覆蓋網絡，具有成本低、技術成熟、高可靠性和高性能等優勢，適用于三層之上的大規模和分布式的實驗.然而傳統IP網絡的可編程性較差，難以對三層實驗進行有效的驗證，PlanetLab VINI[17]支持將Click[18]，XORP①等組件部署到終端服務器或虛擬機中，實現軟件方式的可編程轉發設備，并由實驗提供IP地址空間到新型地址空間的映射，以Overlay方式運行在IP網絡之上從而實現對三層相關實驗的驗證，但這種方式增大了實驗部署難度，更重要的是影響了實驗的真實性，如地址映射和不可控的IP路由帶來的額外延遲與性能的下降.

試驗床通常采用基于標簽的虛擬局域網(virtual local area network, VLAN)技術(802.1Q協議)、VXLAN[19]和NVGRE[20]等技術對局域網絡進行切片和隔離,但傳統路由器無法做到設備級別的資源隔離[21]；采用虛擬專用網絡(virtual private network, VPN)技術連接跨地域的試驗床網絡，擴大網絡規模和聯邦試驗床，如GEYSERS[22]使用的Q-in-Q和GpENI[23]使用的L2TPv3等.

IP網絡可以作為試驗床的骨干網絡構建大規模的實驗環境，常用方式是使用二層VPN技術聯通各孤島，使其構成一個大二層網絡，但這種方式可擴展性較差，會造成核心交換機MAC表項過載和收斂速度下降；另一種方式是基于Internet的覆蓋網絡，如PlanetLab[24]具有良好的可擴展性，但是鏈路帶寬、延遲等QoS難以保證，且和互聯網真實流量隔離性差.

2.2 二層組網

二層組網通常使用以太互聯SDN設備的方式進行組網，基于VLAN和其他字段隔離流量，三層轉發邏輯可預設IP或部署實驗定義的其他網絡創新體系架構.目前主要采用OpenFlow以及基于軟硬件的可編程和協議無關設備[25]進行二層組網.

1) OpenFlow技術目前已受到學術界和工業界的普遍關注和廣泛研究，GENI基于二層互聯構建了OpenFlow實驗網絡，通過在集中控制器上實現

③ GéANT FP7 Project, 2012. http:www.geant.net

協議邏輯可以支持三層及以上的網絡創新，但無法支持分布式協議的準確驗證.OpenFlow在試驗床中還面臨著虛擬化、性能和擴展性的問題[26-27].

為解決虛擬化問題，GENI在控制平面和數據平面之間引入了虛擬化平面FlowVisor[28]，可以將OpenFlow交換機組成的網絡在邏輯上切分為多個虛擬網絡，每個虛擬網絡由一個控制器進行管控，并通過Flowspace實現各個虛擬網絡流表的隔離，結合VLAN技術實現OpenFlow網絡的切片化.OpenFlow交換機性能受到CPU等硬件的限制[26]，其流表一般只支持約1 500條.為避免OpenFlow在試驗床中的這一性能瓶頸問題，一方面可以通過流表聚合技術、提高流表緩存容量、拆分大型OpenFlow網絡等方法予以緩解；另一方面需要對每個切片在交換機上占用的資源進行充分地隔離與限制，以免一個實驗占用過多資源而影響其他實驗和生產網絡的正常運行.然而目前OpenFlow還無法對帶寬和CPU做到設備級別的有效隔離.

當網絡規模或實驗規模較大時，OpenFlow存在著可擴展性的問題[29].一方面是數據平面的性能受限，另一方面集中控制導致的控制消息傳遞延遲，可以通過多個控制器分域控制來解決，但引入了東西向接口的實現和協同機制等問題[30-32].

2) 由可編程和協議無關轉發設備基于二層以太網互聯構建的實驗網絡，支持生成基于物理鏈路直連的虛擬網絡，即虛擬轉發節點間具有真實單跳路由的鏈路屬性，網絡具有QoS自定義的能力，可滿足三層實驗在性能方面高精度驗證的需求.但其同樣面臨著虛擬化和性能問題.

為解決虛擬化問題，vRouter[33]等采用通用虛擬化技術實現在同一宿主機上生成多個虛擬轉發器實例，并實現實例間在CPU、帶寬、轉發表、協議棧和緩存等方面的設備級的隔離性.

為解決性能問題，PEARL[15]和Supercharged PlanetLab Platform[34]使用FPGA，TCAM等專用硬件在數據平面上獲取更高的轉發性能，但專用硬件的多樣性導致編程接口的不統一，使得設備的可用性較差，可使用OpenDataPlane①等技術解決.

3 聯邦機制

聯邦的目標是從數據平面和管控平面上聯通獨立的試驗設施，從而提供大規模、異構的分布式實驗環境.

數據平面的聯邦最常用的方式是使用運營商提供的基于公網的VPN服務，具有成本低、部署周期短、方便靈活等優勢，但是缺乏良好的性能保障.第2種方式是購買、租用或搭建專有線路，如GLIF[7]使用光纖互聯，具有良好的帶寬和性能保障，但是這種方式成本過高.第3種方式是前2種方式的折中，使用第三方的高性能網絡提供的服務，其骨干網絡通常使用光纖互聯，覆蓋范圍廣，能夠提供具有QoS保證的高性能鏈路資源，被眾多試驗床所青睞，如GENI使用的Internet2②、OFELIA[35]使用的GéANT③、GLIF使用的GOLEs等.

管理平面的聯邦可分為平臺平行互聯和頂層封裝互聯，平臺平行互聯方式是針對個體平臺進行的，可擴展性比較差，沒有統一的標準和規范；頂層互聯的方式通過定義頂層的互聯標準形成聯邦層，將單個試驗床平臺向上抽象并與聯邦層對接.如圖3所示，聯邦層可以屏蔽底層試驗床的差異，向上提供統一的實驗服務接口，類似OSI網絡體系結構中的IP層，成為網絡創新試驗床的“瘦腰”.這種架構實現了頂層的統一設計和多平臺的協同工作，使得實驗層向下看到的是具有統一標準、統一接口的聯邦層，聯邦層下方的資源層和本地管控層的異構性完全是透明的.

Fig. 3 Federation-based architecture of testbeds圖3 以聯邦為“細腰”的試驗床管控架構

Peterson等人[36]提出基于切片的聯邦架構(slice-based federation architecture, SFA)進行頂層互聯，作為PlanetLab同其他試驗床互聯的主要

方式.2009年，PlanetLab和GENI正式公布SFA技術標準，拉開了網絡試驗床國際化聯邦的序幕.目前SFA由OneLab和INRIA負責技術實現與部署，GENI負責定義規范.SFA已在GENI，PlanetLab，FIRE中部署，逐步成為國際網絡試驗平臺聯邦的標準.

3.1 聯邦架構

SFA作為整個試驗床管理切面的“細腰”，可以將異構的試驗床加入到基于SFA的聯邦體系中，實驗者通過基于SFA的實驗工具可以瀏覽、預訂整個聯邦系統內的資源.由于試驗床的數量巨大，任何聯邦技術都面臨著可擴展性的問題，為了解決這個問題，SFA引入了分布式的分層架構，如圖4所示.每個試驗床均需部署SFA組件，包含3個主要模塊,每個組模塊都提供基于Web服務的XML遠程方法調用(XML remote procedure call, XML-RPC)接口.

Fig. 4 Slice-based federation architecture (SFA)圖4 基于切片的聯邦架構

1) 集群管理器(aggregate manager, AM).向切片管理器(slice manager, SM)提供集群管理接口，負責本地試驗床的切片管理和資源的管理與控制，直接與物理資源進行交互.更多的情況是試驗床已經開發了本地管理系統，那么需要在本地管理系統頂層封裝一層SFA AM API作為SFA架構中的AM.

2) 實體管理器(registry manager, RM).存儲切片、用戶、資源等不同實體的信息，RM接口包括實體的創建、修改和刪除等功能.此外，RM還負責認證和授權證書的生成與分發.

3) 切片管理器(SM).包含2類接口:①向實驗層工具提供切片管理接口，將接收到的實驗切片請求分發到本地或聯邦的試驗床中；②聯邦接口，與其他試驗床的AM進行交互，用戶只需要接入到一個試驗床的SM中就可以使用整個聯邦系統的資源.

為了使不同的AM之間、AM與SM之間能夠進行交互，SFA定義了基于可擴展標準語言(extensible markup language, XML)的資源描述規范(RSpec)作為交互過程中的數據結構.從交互的行為來講，RSpec可以分為資源聲明、資源請求和資源預訂清單3種；1)資源聲明規范用于AM向外通知自己擁有資源的詳細信息；2)資源請求規范用于切片和用戶向AM描述自己想要獲得的資源需求；3)資源預訂清單規范用于AM告知切片和用戶已獲得資源清單.從資源的類別來講，RSpec[36]可以分為GENI v3，OpenFlow，PlanetLab等類型.RSpec的作用是定義標準的框架和擴展規范，不同資源依照自有的特點規范進行擴展，從而保證聯邦各組件對RSpec處理過程的一致性.

試驗床之間的聯邦認證是通過交換認證機構頒發的權威認證證書(certification authority certificate, CAC)實現的.SFA還支持域的聯邦方式，如FIRE和GENI的頂級域進行證書交換即可實現各自低級域試驗床的互聯.

3.2 聯邦部署

SFA只定義了聯邦架構的標準規范，而不是架構的具體實現，由于缺乏通用的部署方案，不同機構的試驗床很難使用SFA進行聯邦.為了解決這個問題，OneLab和INRIA基于SFA 2.0[37]提出了一種可部署的聯邦組件SFAWrap[38]，可封裝在本地管理平臺上，降低SFA在異構試驗床上的部署難度，實現試驗床的快速接入.

SFAWrap整體架構可以分為通用部分和可擴展部分：1)通用部分實現了SFA定義的關鍵組件和標準接口，包括實體管理、認證授權和資源描述等，并通過AM代理屏蔽下層差異，實現通用部署；2)可擴展部分為試驗床驅動，需要開發人員根據本地資源特點進行二次開發，從而實現本地資源描述和SFA-RSpec的格式轉換.這種通用和可擴展的模塊化設計使開發人員只需要對少量驅動和接口進行開發，而不去關注SFA其他的實現細節.

SFAWrap已成為FIRE的主要聯邦方式，對已有的管理平臺進行SFA封裝，但是仍需要進行二次開發，為了解決這個問題，GENI提出了GENI Aggregate Manager API①，為管理平臺制定了支持標準化架構與接口，使管控平臺無需二次開發就可以支持SFA.

3.3 基于聯邦的試驗床管控平臺架構

聯邦已成為試驗床發展的主流趨勢，為了避免試驗床管理平臺的二次開發以及減小底層平臺差異性對聯邦的阻礙，管理架構需要盡早地支持聯邦.根據國際眾多主流的試驗床管理架構進行抽象和總結，并結合GENI Aggregate Manager API和SFAWrap得出一般化的基于聯邦的架構模型，如圖5所示，整個架構分為物理層和管理層，其中管理層包含3個組件：

1) 資源管理器(resource manager).與管理服務器進行交互，更新切片信息并對節點進行配置，如生成虛擬機、接入網絡配置、交換機下發配置與策略和傳感器節點管理等.

2) 管理服務器(AM server).是核心管理組件，由4個模塊組成：基于聯邦標準的集群管理接口，作為Web服務接受聯邦層和前端試驗床入口的調用；資源描述庫和相關驅動接口，定義各類型實驗資源的描述規范；注冊信息數據庫，定義用戶、切片、節點等信息的屬性和存儲模式；認證和授權模塊，定義認證與授權分離模式.

3) 基于Web的試驗床入口.為用戶和管理員提供可視化的操作界面，后端調用核心管理組件的集群管理接口.

Fig. 5 Federation-based management architecture圖5 基于聯邦的通用管理架構

通用架構提出的目標是要把管理平臺建成一個可聯邦的開源軟件供試驗床直接使用，基于模塊化和資源描述的設計方案提供了良好的可擴展性，便于開發人員對其進行功能擴展和重構.還有一些商業化的開源軟件如Openstack①和OpenNebula②等，有強大的虛擬機和虛擬網絡的管理能力，由于具有成熟的部署方案、大量的社區代碼貢獻、專業的技術團隊支持和廣泛的商業應用，越來越多的試驗床將其作為本地管理平臺.BonFire[39]和ExoGENI③的管理架構都是基于Openstack的，OneLab也正在進行Openstack的部署并已經完成SFAWrap對其的聯邦支持.

4 實驗支撐系統

網絡創新試驗床核心價值是為實驗生命周期中的各階段提供完善的服務，不僅需要底層采用多樣的虛擬化技術和網絡可編程技術支持不同層次和不同類型的實驗，還需要基于聯邦技術完善軟件的架構和功能以便更好地支撐實驗環境配置、實驗過程控制和監測3個階段.

4.1 實驗環境配置

試驗床通常采用基于切片的管理方式作為管理平面的虛擬化手段，簡化了用戶、實驗和資源之間的權限關系.然而，網絡創新試驗床應具有支持多類型實驗并發、聯邦和與真實網絡共存等新特性，這對實驗管理提出了3個新的功能需求：

1) 動態調整節點屬性.通常節點的用途、可編程性和使用的虛擬化技術較為固定，這些屬性無法動態調整.當實驗需求無法滿足時，一種方式是手動地重新部署節點來修改節點屬性或者增加物理節點以滿足實驗需求；另一種是使用基于軟件的集中控制方式，G-Lab[40]使用啟動鏡像管理系統實現遠程動態調節獨占設備和不同層次虛擬化節點的比例，并預裝不同的操作系統和軟件套件，從而最大程度地滿足并發實驗對于可編程性和性能等不同的需求.

2) 自動化和智能化的資源分配.對于規模較大的實驗，創建與配置切片是一件非常繁瑣的工作，還會造成負載不均衡和碎片化等資源分配不合理的問題.為此，需要實現自動化和智能化的資源分配功能，如GENI的Flack④和OMNI⑤，OFELIA的VeRTIGO[35]等工具可以根據用戶對資源需求的描

述(如CPU、內存、帶寬、可編程性等屬性)按照預定優化策略和基于線性規劃的資源調度算法實現實驗網絡到物理網絡自動化和最優化的映射.

3) 引入真實用戶流量.某些實驗需要引入真實用戶和流量來進行更充分的驗證.一種是基于流量描述(如IP網段)，通過路由策略把外部網絡流量可控地導入到實驗中，如GENI的OPT-IN功能；另一種是直接為實驗節點分配一個公網IP，如PlanetLab的節點大部分都暴露在公網中，但是這種不可控的導入方式會造成很大的安全隱患.

4.2 實驗過程控制

實驗部署和控制最常用的方式是使用SSH(secure shell)接入到終端節點，手動地部署和執行實驗，這種方式的優點是靈活，缺點是在實驗規模較大時十分繁瑣.為了減輕大規模實驗部署的工作量和減少人工干預對實驗可復現性的影響，許多有效的實驗控制工具和控制架構被提出.實驗自動部署和控制的關鍵在于實驗流程描述粒度和功能編程接口的定義，表2對比了目前比較主流的實驗控制工具和架構.

Table 2 Comparison of Experiment Control Tools

基于描述的實驗工具最早由PlanetLab提出，在Myplc中實現了初始化腳本的功能，每當節點資源加入到切片后會自動執行指定的腳本，實現實驗的自動部署與執行，但這種方式的功能性與可用性較差.NEPI①(network experiment programming interface)是一個輕量級的基于編程接口的客戶端工具，它基于自定義的Python庫向用戶提供了編程接口，通過SSH的方式實現實驗自動部署和交互式控制，并能夠自動回收實驗結果，但其本質是基于SSH的工具，編程接口和支持功能都較為單一.

2007年WinLab為ORBIT無線試驗床設計了實驗控制和管理架構[41](control and management framework, OMF)，為用戶提供了代碼級的實驗描述功能，并能根據測量信息反饋調整實驗的部署和控制實驗的行為.圖6描述了OMF的架構和使用OMF進行實驗的流程，其核心為實驗描述語言和實驗控制器：1)實驗描述(experiment description, ED)，OMF提供了一種實驗描述語言(OMF experiment description language, OEDL)，OEDL基于Ruby語言，利用其元編程能力提供了一組實驗控制和狀態描述命令，用戶使用這些命令可以自由地定義實驗部署與控制的狀態機模型，形成實驗描述文件；2)資源控制器(resource controller, RC)，在實驗資源端為實驗描述提供豐富的功能庫接口.

Fig. 6 OMF architecture and experiment process圖6 OMF架構及實驗流程

目前OMF已經部署在GENI，FIRE等項目下的各種試驗床中， OMF6②已經應用到FlowVisor和Open vSwitch[29](OVS)，向上可以兼容NEPI和OMF EC等實驗控制工具，向下可以支持Linux服務器、無線節點和OpenFlow資源.GENI正在研究虛擬網絡自動映射功能對OMF的支持，即實驗層的配置工具可以支持OEDL描述的資源請求，自動將其映射到物理資源上，這將實現平臺無關的實驗方式，實驗者不用關心使用的平臺和資源，只需根據資源屬性(如資源類型、分布特點、配置信息等)、實驗的流程、測量數據和結果進行描述，生成描述文件，

轉交給實驗工具，最后獲取實驗和測量結果即可，實驗工具在實驗結束后會立刻釋放資源，提高資源的使用效率.

4.3 實驗測量和監測

建立試驗床和網絡實驗的目標之一是追蹤、理解和評價他們在網絡中的各種行為，監測和測量系統對試驗床至關重要.試驗床網絡中包含大量的分布在各個節點上的多種網絡特征的測量數據，數據的搜集是一項十分繁雜并且容易出錯的工作，而且分布式的數據和測量工具的差異性會造成測量數據格式不統一或者引入不相關的數據.關于網絡測量和監測的相關技術研究已進行了很多年，但在試驗床的應用中都存在著局限性，試驗床需要一個實時的、易用的搜集分布式環境中的實驗數據的測量和監測框架.

4.3.1 測量和監測系統需求

試驗床的測量與監測系統主要有2個功能：1)試驗床監測功能，監測系統提供節點相關(如節點運行狀態、可用CPU和內存資源等)和網絡相關(如帶寬、延遲)的監測信息，協助快速的錯誤定位與資源的優化分配.2)實驗測量功能，一方面需要支持在實驗的執行過程中通過簡單的查詢接口提供實時的切片信息和網絡信息(如路由跟蹤、AS線路等)；另一方面需要支持用戶在實驗代碼中自定義測量點，并將測量數據進行收集與分析.PlanetLab使用的TopHat[42]，PlanetFlow①，CoMon②和GENI的GEMINI③等系統主要負責試驗床節點和網絡的監測，并包含簡單的實驗切片相關的測量功能，但并不支持基于實驗程序和用戶自定義的測量；NICTA的OML[43]和GENI的INSTOOLS[44]則更偏重于基于實驗切片和實驗本身的測量.根據對試驗床和現有的測量監測系統的分析，Paxson等人[45-47]基于軟件定義測量(software defined measurement, SDM)的思想對試驗床監測和測量系統提出如下需求：分布式處理系統、兼容傳統的測量工具和格式、支持豐富的測量功能、測量參數的實時配置、通用的存儲格式和數據可共享、系統消耗最小化和測量數據時序性.

4.3.2 測量和監測架構

1) OML(ORBIT measurements library)是WinLab為ORBIT[48]平臺開發的測量框架，與OMF架構一起支持實驗的控制與測量周期.OML可在實驗代碼中插入測量點并定義測量參數，實驗過程中產生的測量數據經過濾器上傳到服務器，并通過Matlab等軟件對數據進行處理和分析.NICTA的Mehani等人[45]基于SDM對OML進行擴展形成OML2，采用分布式的架構對數據進行并行地測量、收集、處理和存儲，橫向可以與實驗控制的關鍵架構OMF進行聯動，實現測量對實驗的反饋控制.目前OML已經作為主要的測量架構部署于GENI和FIRE等大部分試驗床中.

2) GENI的INSTOOLS是一個與測量技術無關的測量架構，即INSTOOLS可以快速地支持底層的測量工具和探針，不需要考慮其實現細節，目前已整合了眾多GENI測量相關技術，如測量捕獲、可擴展數據交換和存儲以及按需測量等技術，INSTOOLS本身并不去實現和改善底層的探針和測量工具，而是基于SDM的思想實現了一種分層架構，使得控制平面和測量平面分離，通過集中控制的方式提供各類探針和測量工具的自動化的部署、配置、數據收集等功能.

5 代表性項目研究進展

許多國家都十分重視未來網絡創新環境的研究和建設.從20世紀90年代開始，美國、歐盟、澳大利亞以及日韓等國家和地區都在研究未來互聯網架構，相繼展開了大規模網絡創新試驗床的研究和部署，如美國的PlanetLab、GENI、歐盟FIRE[49]，日本的JGN2plus④、韓國的FIRST[50]和K-GENI[51]等.

5.1 PlanetLab

PlanetLab是由美國國家科學基金(National Science Foundation, NSF)資助的全球化的試驗床項目，由惠普、英特爾、普林斯頓、加州大學伯克利分校等機構于2002年聯合發起.PlanetLab是一個開放的、針對未來互聯網及其應用和服務進行研究、開發和測試的全球性試驗平臺，其核心思想是資源虛擬化和分布式重疊網絡，它是目前運行的分布最廣(40多個國家的654個站點)、規模最大(1 341個

Linux服務器)的未來互聯網試驗平臺.但是PlanetLab的實驗網絡是基于TCPIP的覆蓋網絡，網絡層協議以及更底層的網絡技術難以在該試驗床上進行部署和驗證.為了解決這個問題，PlanetLab實現將Click，XROP，OVS①等組件部署到虛擬節點中，以軟件的方式實現可編程虛擬化路由器和OpenFlow交換機，構建可編程的實驗網絡[17]；但鏈路帶寬、延遲等QoS和鏈路屬性仍不可控.

5.2 GENI

GENI是美國NSF于2005年啟動的一個促進未來互聯網革命性創新的計劃，其目的是為各種未來互聯網實驗項目建設一個開放的、真實的、可編程的、支持虛擬化的、可聯邦的大規模實驗基礎設施，支持互聯網前沿科學與工程問題的研究.GENI的目標不僅僅在于驗證和測試，更重要的是使用真實的網絡基礎設施去支持體系結構、應用等未來網絡關鍵技術的部署，作為一個傳統網絡向未來網絡轉換的演進式平臺.GENI已經進入到基于標準組件的大規模部署階段，目前已覆蓋50多所高校、研究機構和企業.標準化的部署由服務器試驗床GENI Racks[52-53]、軟件定義網絡試驗床SDNs[26]和無線試驗床WiMAX[54]三個項目支撐，三者基于GENI制定的標準獨立設計和開發自己的硬件設施、管控架構、測量框架和實驗工具，并通過聯邦技術實現3套資源的整合.為了解決PlanetLab基于因特網的重疊網絡的不可控性，同時也為了向實驗提供一個大規模的、可編程的網絡環境，GENI資助斯坦福大學和HP等供應商發起了Enterprise-GENI(SDNs)項目，目標是在校內建立用于承載現網業務和實驗的、基于可編程和虛擬化技術的SDN網絡.經過4個階段的發展，GENI已基于Internet2建立了覆蓋全美的OpenFlow骨干網絡，承載著各個高校和企業的現網業務流量和實驗流量，這也是未來網絡演進式部署的一個典型范例.

5.3 FIRE

FIRE作為FP7項目的一部分于2007年初啟動，目標是通過逐步將現有的和未來的互聯網技術試驗平臺進行聯合，建設一個動態的、可持續的、大規模的實驗基礎設施平臺.FIRE包含2個關鍵的聯邦性項目：OneLab②，Fed4Fire③.OneLab在2007年與PlanetLab合作在歐洲搭建了試驗床PlanetLab Europe，并作為FIRE主要的通用試驗床，OneLab目前已與NitLab的無線網絡試驗床NITOS④、IoTlab⑤的物聯網試驗床聯邦互聯，使用統一的工具向實驗者開放.Fed4FIRE是2012年成立的聯邦性項目，目標是將FIRE下的不同領域的各類試驗床進行聯邦，本身不進行試驗床的開發，而是與其他試驗床研發機構共同協商制定聯邦標準架構和相關的實現方案，最終向用戶提供單一的入口和實驗工具，支持建立大規模和異構的實驗網絡.目前已聯邦的試驗床包括OneLab下的3個試驗床、云計算試驗床BonFire、OpenFlow試驗床OFELIA和物聯網試驗床SMART SANTANDER[55]等10多種試驗床.

5.4 其他試驗床

GEYSERS[22]試驗床由歐洲7個國家的10家單位的本地試驗床構成，包括光傳輸與交換設備和計算存儲資源等，目標是驗證云試驗床架構的合理性和實用性，并成為云服務軟件的測試平臺；G-Lab[40]試驗床包括分布在德國6所高校中的有線節點、無線節點和傳感器節點等，部分站點使用OpenVSwitch和OpenFlow混合交換機實現網絡的可編程性，支持網絡層到應用層的實驗；JGN2plus是日本最大的網絡試驗床項目，它是在JGN2試驗床基礎上的拓展實現，JGN2plus集成了虛擬化技術，能夠提供各種服務用于網絡技術的研發和網絡應用的實驗；FIRST是韓國于2009年啟動的一個設計和部署未來互聯網試驗床的項目，包括基于服務器的小規模試驗平臺和基于ATCA的中大規模試驗平臺，與GENI聯邦，并重點關注流媒體傳輸實驗.

5.5 我國網絡試驗設施

我國對網絡試驗床的研究起步較晚，和國外相比還有一定差距，網絡試驗設施仍沒有完全具備未來網絡試驗床的主要特性，特別是對聯邦的支持.

目前我國在未來網絡試驗平臺建設方面取得的主要成果包括：CNGI(China next generation Internet)①，搭建了以IPv6為核心的新一代互聯網試驗平臺CERNET2；DragonLab②，采用了基于聯邦架構的資源開發模型，重點集中于對流量研究、主動測量和BGP路由研究的支持；FINE(future network innovating environment)基于SDN構建了未來網絡創新實驗環境，支持未來網絡的技術創新和體系演進，已在轉發抽象技術和網域操作系統等方面取得研究進展；未來網絡小規模試驗設施③：基于網絡虛擬化、可編程和聯邦等關鍵技術建設了一個開放的、小規模的、真實的未來網絡創新基礎設施，支持網絡基礎理論研究和實驗、網絡關鍵技術創新和驗證以及未來網絡基礎設施發展和演進.

5.6 網絡創新試驗床的綜合比較

本節介紹了各個國家和我國的創新型網絡試驗床的研究和部署進展.表3對PlanetLab，GENI，FIRE目前3個具有代表性的網絡創新試驗床進行了綜合比較.

PlanetLab是基于普通服務器和覆蓋網絡建立的，部分服務器以軟件的方式實現了可編程路由器和OpenFlow交換機；PlanetLab適合大規模、分布式的四層及以上的實驗驗證，同時也可支持三層協議的功能驗證，但由于需要新地址空間到IP地址的映射和包封裝，使得其性能驗證存在誤差.GENI基于OpenFlow骨干網和標準架構建立了覆蓋全美的聯邦性試驗床網絡，聯邦實驗入口與實驗工具支持三層及上層實驗調用全網資源進行快速部署.與GENI和PlanetLab不同，FIRE各類試驗床的開發并沒有遵循統一的標準，導致其缺乏統一的實驗入口和實驗工具，2個聯邦性項目正在解決這個問題，但大量異構資源的聯邦互聯仍面臨挑戰；FIRE可支持的實驗種類最為豐富，但構建異構的實驗網絡較為困難.

③ 未來網絡小規模試驗設施(Small-scale CENI). http:www.fnii.cn

Table 3 Comparison of Network Innovation Testbeds

6 未來研究方向

試驗床的目標是向未來網絡研究提供更逼近于真實網絡的實驗環境，在這個過程中各類技術線路需要把握兩大問題：1)怎樣使得實驗網絡更逼近真實網絡；2)如何更好地向實驗提供實驗環境.根據上述的2個問題，本文認為在建設我國的未來網絡試驗床的過程中仍然有5個問題值得進一步研究：

1) 協議無關轉發.協議無關的轉發設備、軟件和相關協議可實現對新型網絡體系架構和相關算法的有效驗證，是構建未來網絡創新試驗床的核心.但其基于多元組的轉發和多表查詢帶來了巨大的性能挑戰，可使用FPGA和TCAM等專用硬件提高轉發性能，但基于專用硬件的設備一方面無法進行數據平面的虛擬化和隔離來保證多層次實驗無干擾并發；另一方面硬件的多樣性導致編程接口的不統一，使得其可用性較差.因此，協議無關轉發的相關研究包括轉發模式和相關協議的優化與創新、低開銷的虛擬化和隔離技術、專有硬件虛擬化和編程接口的友好化與通用化等.

2) 異構資源抽象.一方面將小規模的、獨立的、功能單一的試驗床進行聯邦成為了必然趨勢；另一方面試驗床需要具有開放的資源接入能力，兼容不同類型的硬件設備.因此,需要在異構資源之上研究資源抽象的方法,包括具有統一標準的、強擴展性的資源描述以及南向管理調度接口和功能編程接口.

3) 資源的優化調度.隨著試驗床網絡和相關實驗的規模化和復雜化，傳統的手動選取資源和以資源容量為約束條件的映射方式已經遠遠無法滿足需求.資源調度要從2個方面考慮：首先是用戶需求，包括實驗周期、節點類型與性能、網絡拓撲、鏈路QoS等；其次是試驗床可持續服務能力，包括資源碎片、鏈路帶寬和節點負載、拓撲和轉發代價、能耗、地理位置和預置策略等資源的優化.

4) 與真實網絡的可控式融合.網絡虛擬化技術使得實驗網絡和真實網絡共存與融合成為了可能.融合的實驗網絡隨著真實網絡的部署可擴大自身的規模，不需要額外硬件的支持降低成本，更重要的是可以引入真實用戶和真實流量，更有效地驗證實驗.然而，真實流量和用戶的引入對試驗床的可靠性、性能和安全性等方面提出新的挑戰，要求試驗床具有更高性能的底層設備、更有效的流量控制和導入機制、更完善的監測功能.

5) 基于描述的實驗支持.試驗平臺的差異性和不完善的實驗支持系統造成了實驗部署和運行的不可控性.一方面，部署的不可控使得大量的資源空轉，無法快速釋放；另一方面，運行的不可控使得實驗無法在試驗平臺間和平臺內復現.因此，需要能夠基于實驗流程描述(如ODEL,NS3等)實現實驗自動化的資源獲取、實驗部署、運行、測量和回收等功能，有效地降低實驗難度和人工干預對實驗結果的影響.

7 總 結

試驗床給未來互聯網架構的演進式驗證和部署提供了一條有效的途徑,目前已有相當多的國家和地區正在部署未來網絡試驗床，而且越來越多的國家和地區將會開始啟動未來互聯網研究計劃.本文以網絡實驗面臨的成本、可行性、可信性和可控性4個問題為出發點，分析了網絡創新試驗床的應用背景、特性需求和相關挑戰，并詳細介紹了組網、聯邦和實驗支撐系統等關鍵技術和系統架構.最后,對國內外主流試驗設施進行了對比與總結，并展望了未來研究方向.網絡創新試驗床作為未來網絡的驗證與演進平臺應是一個完整的網絡生態系統，而未來網絡的不確定性和試驗床本身完備的生態系統導致其在組網、聯邦、管控架構、實驗支撐等諸多方面仍面臨著問題和挑戰.

[1]Xie Gaogang, Zhang Yujun, Li Zhenyu, et al. A survey on future Internet architecture[J]. Chinese Journal of Computers, 2012, 35(6): 1109-1119 (in Chinese)(謝高崗, 張玉軍, 李振宇, 等. 未來互聯網體系結構研究綜述[J]. 計算機學報, 2012, 35(6): 1109-1119)

[2]Wu Q, Li Z, Zhou J, et al. SOFIA: Toward service-oriented information centric networking[J]. IEEE Network, 2014, 28(3): 12-18

[3]Wu Chao, Zhang Yaoxue, Zhou Yuezhi, et al. A survey for the development of information-centric networking[J]. Chinese Journal of Computers, 2014, 37(13): 1-18 (in Chinese)(吳超, 張堯學, 周悅芝, 等. 信息中心網絡發展研究綜述[J]. 計算機學報, 2014, 37(13): 1-18)

[4]Cao Jian, Wang Xingwei, Zhang Jinhong, et al. A data driven cognitive routing protocol for information-centric networking[J]. Journal of Computer Research and Development, 2015, 52(4): 798-805 (in Chinese) (曹健, 王興偉, 張金宏, 等. 數據驅動的信息中心網絡認知路由協議[J]. 計算機研究與發展, 2015, 52(4): 798-805)

[5]Géktürk E. A stance on emulation and testbeds, and a survey of network emulators and testbeds[C]Proc of European Conf on Modeling and Simulation. Berlin: Springer, 2007: 26-31

[6]Liang Junxue, Lin Zhaowen, Ma Yan. Future Internet experiment platform[J]. Chinese Journal of Computers, 2013, 36(7): 1364-1374 (in Chinese)(梁軍學, 林昭文, 馬嚴. 未來互聯網試驗平臺[J]. 計算機學報, 2013, 36(7): 1364-1374)

[7]Mambretti J, Chen J, Yeh F. Creating environments for innovation: Designing and implementing advanced experimental network research testbeds based on the global lambda integrated facility and the StarLight exchange[J]. Computer Networks, 2014(61): 118-131

[8]Anderson T, Peterson L, Shenker S, et al. Overcoming the Internet impasse through virtualization[J]. Computer, 2005, 38(4): 34-41

[9]McKeown N. Keynote talk: Software-defined networking[R]. Piscataway, NJ: IEEE, 2009

[10]Berman M, Chase J, Landweber L, et al. GENI: A federated testbed for innovative network experiments[J]. Computer Networks, 2014, 61: 5-23

[11]Imran M, Said A M, Hasbullah H. A survey of simulators, emulators and testbeds for wireless sensor networks[C]Proc of Int Symp on Information Technology. Piscataway, NJ: IEEE, 2010: 897-902

[12]Gluhak A, Krco S, Nati M, et al. A survey on facilities for experimental Internet of things research[J]. Communications Magazine, 2011, 49(11): 58-67

[13]Campanella M, Farina F. The FEDERICA infrastructure and experience[J]. Computer Networks, 2014, 61: 176-183

[14]McKeown N, Anderson T, Balakrishnan H, et al. OpenFlow: Enabling innovation in campus networks[J]. ACM SIGCOMM Computer Communication Review, 2008, 38 (2): 69-74

[15]Xie G, He P, Guan H, et al. PEARL: A programmable virtual router platform[J]. IEEE Communications Magazine, 2011, 49(7): 71-77

[16]Zhang Yuanyuan, Xu Mingwei, Li Qi. VegaNet virtual router[J]. Chinese Journal of Computers, 2014, 37(11): 2342-2352 (in Chinese)(張媛媛, 徐明偉, 李琦. VegaNet網絡虛擬路由器[J]. 計算機學報, 2014, 37(11): 2342-2352)

[17]Bavier A, Feamster N, Huang M, et al. In VINI veritas: Realistic and controlled network experimentation[J]. ACM SIGCOMM Computer Communication Review, 2006, 36(4): 3-14

[18]Kohler E, Morris R, Chen B, et al. The click modular router[J]. ACM Trans on Computer Systems, 2000, 18(3): 263-297

[19]Mahalingam M, Dutt D, Duda K, et al. Virtual extensible local area network (VXLAN): A framework for overlaying virtualized layer 2 networks over layer 3 networks[S]. Fremont, CA: The Internet Engineering Task Force(IETF), 2014

[20]Sridharan M, Greenberg A, Venkataramiah N, et al. NVGRE: Network virtualization using generic routing encapsulation[S]. Fremont, CA: The Internet Engineering Task Force(IETF), 2011

[21]Chowdhury K, Boutaba R. A survey of network virtualization[J]. Computer Networks, 2010, 54(5): 862-876

[22]Belter B, Martinez J R, Aznar J I, et al. The GEYSERS optical testbed: A platform for the integration, validation and demonstration of cloud-based infrastructure services[J]. Computer Networks, 2014(61): 197-216

[23]Medhi D, Ramamurthy B, Scoglio C, et al. The GpENI testbed: Network infrastructure, implementation experience, and experimentation[J]. Computer Networks, 2014, 61: 51-74

[24]Brent C, David C, Timothy R, et al. PlanetLab: An overlay testbed for broad-coverage services[J]. ACM SIGCOMM Computer Communication Review, 2003, 33(3): 3-12

[25]Luo Layong, He Peng, Guan Hongtao, et al. Key technologies and prototype systems of programmable virtual routers[J]. Chinese Journal of Computers, 2013, 36(7): 1349-1363 (in Chinese)(羅臘詠, 賀鵬, 關洪濤, 等. 可編程虛擬路由器關鍵技術與原型系統[J]. 計算機學報, 2013, 36(7): 1349-1363)

[26]Kobayashi M, Seetharaman S, Parulkar G, et al. Maturing of OpenFlow and software-defined networking through deployments[J]. Computer Networks, 2014, 61: 151-175

[27]Yu Tao, Bi Jun, Wu Jianping. Research on the virtualization of future Internet[J]. Journal of Computer Research and Development, 2015, 52(9): 2069-2082 (in Chinese)(余濤, 畢軍, 吳建平. 未來互聯網虛擬化研究[J]. 計算機研究與發展, 2015, 52(9): 2069-2082)

[28]Sherwood R, Gibb G, Yap K K, et al. Can the production network be the testbed?[C]Proc of USENIX Symp on Operating Systems Design and Implementation. Berkeley: USENIX Association, 2010: 1-6

[29]Pfaff B, Pettit J, Koponen T, et al. The design and implementation of open vSwitch[C]Proc of USENIX Symp on Networked Systems Design and Implementation. Berkeley: USENIX Association, 2015: 117-130

[30]Dixit A, Hao F, Mukherjee S, et al. Towards an elastic distributed SDN controller[J]. ACM SIGCOMM Computer Communication Review, 2013, 43(4): 7-12

[31]Wickboldt J, De Jesus W, Isolani P, et al. Software-defined networking: Management requirements and challenges[J]. Communications Magazine, 2015, 53(1): 278-285

[32]Huang Tao, Liu Jiang, Huo Ru, et al. Survey of research on future network architectures[J]. Journal on Communications, 2014, 35(8): 184-197 (in Chinese) (黃韜, 劉江, 霍如, 等. 未來網絡體系架構研究綜述[J]. 通信學報, 2014, 35(8): 184-197)

[33]Egi N, Greenhalgh A, Handley M, et al. Towards high performance virtual routers on commodity hardware[C]Proc of the ACM CoNEXT Conf. New York: ACM, 2008: 20-31

[34]Elliott C, Falk A. An update on the geni project[J]. ACM SIGCOMM Computer Communication Review, 2009, 39(3): 28-34

[36]Peterson L, Ricci R, Falk A, et al. Slice-based federation architecture[R]. New York: Global Environment for Network Innovations, 2008

[37]Peterson L, Ricci R, Falk A, et al. Slice-based federation architecture V2[R]. New York: Global Environment for Network Innovations, 2010

[38]Auge J, Parmentelat T, Turro N, et al. Tools to foster a global federation of testbeds[J]. Computer Networks, 2014, 63: 205-220

[39]Jofre J, Velayos C, Landi G, et al. Federation of the BonFIRE multi-cloud infrastructure with networking facilities[J]. Computer Networks, 2014(61): 184-196

[40]Schwerdel D, Reuther B, Zinner T, et al. Future Internet research and experimentation: The G-Lab approach[J]. Computer Networks, 2014(61): 102-117

[41]Rakotoarivelo T, Ott M, Jourjon G, et al. OMF: A control and management framework for networking testbeds[J]. ACM SIGOPS Operating Systems Review, 2010, 43(4): 54-59

[42]Bourgeau T, Augé J, Friedman T. TopHat: Supporting experiments through measurement infrastructure federation[C]Proc of Int Conf on Testbeds and Research Infrastructures. Berlin: Springer, 2011: 542-557

[43]Singh M, Ott M, Seskar I, et al. ORBIT measurements framework and library (OML): Motivations, implementation and features[C]Proc of Testbeds and Research Infrastructures for the Development of Networks and Communities. Piscataway, NJ: IEEE, 2005: 146-152

[44]Griffioen J, Fei Z, Nasir H, et al. Measuring experiments in GENI[J]. Computer Networks, 2014, 63: 17-32

[45]Mehani O, Jourjon G, Rakotoarivelo T, et al. An instrumentation framework for the critical task of measurement collection in the future Internet[J]. Computer Networks, 2014, 63: 68-83

[46]Monteiro J A S. Measurement infrastructures for future Internet testbeds[COL]. 2010[2016-03-11]. http:webscience.org.br20100625.pdf

[47]Paxson V. Strategies for sound Internet measurement[C]Proc of the 4th ACM SIGCOMM Conf on Internet Measurement. New York: ACM, 2004: 263-271

[48]Raychaudhuri D, Seskar I, Ott M, et al. Overview of the ORBIT radio grid testbed for evaluation of next-generation wireless network protocols[C]Proc of Wireless Communications and Networking Conf. Piscataway, NJ: IEEE, 2005: 1664-1669

[49]Gavras A, Karila A, Fdida S, et al. Future Internet research and experimentation: The FIRE initiative[J]. ACM SIGCOMM Computer Communication Review, 2007, 37(3): 89-92

[50]Park M K, Lee J Y, Kim B C, et al. Implementation of a future Internet testbed on KOREN based on NetFPGAOpenFlow switches[COL]. 2009[2016-03-11]. http:fif.krAsiaNetFPGAwspaper1-1.pdf

[51]Kim D, Kim J, Wang G, et al. K-GENI testbed deployment and federated meta operations experiment over GENI and KREONET[J]. Computer Networks, 2014, 61: 39-50

[52]Bastin N, Bavier A, Blaine J, et al. The InstaGENI initiative: An architecture for distributed systems and advanced programmable networks[J]. Computer Networks, 2014, 61: 24-38

[53]Baldine I, Xin Y, Mandal A, et al. Exogeni: A multi-domain infrastructure-as-a-service testbed[C]Proc of Int Conf on Testbeds and Research Infrastructures. Berlin: Springer, 2012: 97-113

[54]Bhanage G, Seskar I, Raychaudhuri D. A service oriented experimentation framework for virtualized WiMAX systems[C]Proc of Int Conf on Testbeds and Research Infrastructures. Berlin: Springer, 2011: 152-161

[55]Sanchez L, Muoz L, Galache J A, et al. SmartSantander: IoT experimentation over a smart city testbed[J]. Computer Networks, 2014, 61: 217-238

Wang Yang, born in 1987. PhD candidate. His main research interests include federation of testbeds and network function virtualization (NFV).

Zeng Rongfei, born in 1983. PhD, assistant professor. His main research interests include the security and economics of networks (zengrf@ict.ac.cn).

Li Zhenyu, born in 1980. PhD, associate professor. His main research interests include future Internet architecture and P2P computing (zyli@ict.ac.cn).

Xie Gaogang, born in 1974. Professor, PhD supervisor. His main research interests include future Internet architecture, programmable virtual routers, network measurement and NFV (xie@ict.ac.cn).

A Survey on Key Technologies of Network Innovation Testbeds

Wang Yang1,2, Zeng Rongfei1, Li Zhenyu1, and Xie Gaogang1

1(InstituteofComputingTechnology,ChineseAcademyofSciences,Beijing100190)2(UniversityofChineseAcademyofSciences,Beijing100049)

The current Internet architecture based on TCPIP is facing with many unprecedented challenges, including scalability, security, mobility and controllability. New clean-slate architecture designs are expected to address these challenges and provide better evolvability. As such, they have been attracting great attention in recent years. Before deployment in production networks, the future Internet architectures, protocols and algorithms should be comprehensively validated, evaluated and optimized in large-scale and realistic testbeds. The testbeds for network innovation should closely simulate the real network, and provide more flexibility. These requirements make it critical to study architectures and key technologies of testbeds. Although there have been long-term interests in network testbeds, a comprehensive survey is still missing. In this paper, we first analyze the requirements of network innovation testbeds based on four common problems of network experiments, namely cost, feasibility, credibility and controllability. We then summarize technical challenges of testbeds design and development from the perspectives of virtualization and programmability of network, federate managementcontrol of resources, as well as monitormeasurement of infrastructures and experiments. In particular, we summarize the state-of-the-art technologies and architectures that aim at addressing the aforementioned challenges. Finally, we present some representative testbeds, and discuss the future trends and open questions.

future Internet; network testbed; federation; virtualization; programmability; management; measurement and monitor

2016-04-28；

2016-08-18

國家自然科學基金項目(61572475,61502460)；國家自然科學基金重點項目(61133015)；國家“八六三”高技術研究發展計劃基金項目(2015AA010201) This work is supported by the National Natural Science Foundation of China (61572475, 61502460), the Key Program of National Natural Science Foundation of China (61133015), and the National High Technology Research and Development Program of China (863 Program) (2015AA010201).

TP393