面向邊緣計算的CORD平臺虛擬仿真研究

張盛天 張杰

（山西大同大學計算機與網絡工程學院 山西省大同市 037009）

1 引言

隨著物聯網相關技術的飛速發展，智能終端設備和網絡數據流量呈指數式增長[1]。思科推算，截止到2020年，有超過500億臺設備連接到網絡中[2]。此外，物聯網應用場景也越來越多樣化，諸如自動駕駛、智慧交通、增強現實(Augmented Reality, AR)、虛擬現實（Virtual Reality, VR）等應用對網絡計算的移動性、時延性要求也日益增高。在此背景下，以云計算為主的集中式數據處理模式的高時延、高能耗、低安全可靠、差移動性等缺點被不斷擴大，其已無法滿足目前新興網絡應用的需求[3]。萬物互聯的新時代所帶來的挑戰，催生了新的計算模型—邊緣計算。邊緣計算旨在將計算、存儲等資源布置于更接近用戶的地理位置，即網絡邊緣，從而減少了部分數據傳輸的開銷，卸載了云數據中心的計算壓力，增強了用戶數據的安全性。

目前，針對邊緣計算的成熟實踐應用較少，為了將邊緣計算的諸多優勢盡早應用到網絡環境建設中，對搭建低成本、高可用的邊緣計算平臺的方案研究變的十分重要。文獻[4]提出了一種共享云中心資源的邊緣計算平臺構建方法。該方法依托云中心強大的資源，為邊緣計算平臺提供了可彈性擴容的計算存儲能力，同時借助Overlay等技術，實現了軟硬件解耦，間接降低了邊緣計算平臺設備成本。但該方法對云中心能力依賴較高，沒有有效地卸載云中心壓力。文獻[5]提出了一種基于微服務的邊緣計算平臺架構。該架構可柔性化定制，適用于多個應用場景，但組件設計不夠輕量級，整個架構比較復雜。文獻[6]列舉了卡耐基梅隆大學主導的的Cloudlet平臺。該平臺設計理念上與邊緣計算相契合，但其主要針對移動計算，應用場景存在局限性。

針對上述文獻方法中存在的問題，本文采用了開放網絡基金會(OpenNetworkingFoundation, ONF)推動的CORD(Central Office Rearchitected as a Datacenter)平臺技術，來尋求一種低成本、架構簡單、應用場景廣泛的邊緣計算平臺構建方案。因此，本文在虛擬仿真環境下，搭建了CORD平臺和驗證了其相關功能的可行性，并在平臺上模擬了面對住宅用戶接入場景的示例服務，為邊緣計算平臺發展提供了參考。

2 邊緣計算及CORD平臺介紹

2.1 邊緣計算

邊緣計算作為新型的計算模式，其核心理念是“網絡計算應更接近用戶”，即在網絡邊緣執行計算，而這個邊緣可以是云數據中心到用戶路徑之間的任意計算與存儲資源[7]。邊緣計算旨在對云計算進行補充，其中的智能節點類似于“微云”，具有一定的計算存儲能力，能夠處理輕量級的任務[8]。通過這種方式來進行計算卸載，解放了云數據中心的資源，使其能更好的對全局數據進行分析和計算。同時，邊緣計算減少了用戶向云端數據的傳輸，緩解了網絡帶寬壓力，降低了數據傳輸中產生的能耗，保證了更低時延的服務。

2.2 CORD平臺

根據不同的應用領域以及技術架構，有關邊緣計算的平臺研究也不斷增加，出現了ParaDrop、Cloudlet、PCloud、CORD等項目。本節以CORD平臺為例，詳細介紹其架構及相關技術。

2.2.1 CORD平臺概述

CORD平臺建立的初衷是借助低成本的開放化標準化硬件如：x86服務器、白盒交換機和軟件定義網絡(Software Defined Network, SDN)、網絡功能虛擬化(Network Functions Virtualization, NFV)、OpenStack、Docker等開放軟件技術來為網絡邊緣搭建敏捷高效的網絡中心，以此重構現有網絡架構，從而達到降本增效的結果[9]。其整合了多個開源項目如ONOS(Open Network Operating System)、XOS等，力求提供開放的、可編程的、可擴展的網絡服務。

2.2.2 CORD平臺架構

一個標準的物理CORD平臺由四臺白盒SDN交換機、三臺標準x86服務器、一臺開發者工作站電腦組成，基本架構如圖1所示。

四臺白盒交換機以葉脊架構(leaf-spine)相連，三臺服務器接入到兩臺葉交換機之中，以此實現設備連接互通。這種葉脊架構增強了CORD平臺的擴展性，同時也降低了硬件之間的依賴性。三臺服務器在架構中扮演著不同的角色，其中一臺服務器被稱為頭節點(Head node),其上安裝有相關管理服務及功能業務模型，主要負責管理、監控、維護整個CORD平臺的運行。當然，Head node不僅僅是一個管理節點，它也可放置虛擬網絡功能及業務處理組件，使得管理、計算、存儲等功能并存。另外兩臺服務器被稱作計算節點(Compute node)，其上運行著功能業務模型的實例，是業務組件的主要載體，承擔著平臺的主要計算存儲業務。三臺服務器互相協同工作，將計算壓力進行了合理地分配，提高了平臺的處理能力。除此之外，多臺服務器協同工作的模式間接地降低了設備性能要求，從而減少了平臺硬件成本。開發者工作站電腦可以是服務器也可以是普通的個人電腦，其與Head node相連，用于開發人員驅動、調試、部署Head node服務器，它不是CORD平臺的必要組件，因此在圖1中沒有體現。整個CORD平臺串聯好后便可放置于網絡邊緣，作為邊緣計算平臺為用戶提供低時延、高安全可靠的網絡服務。圖1中帶箭頭虛線表示了從用戶接入設備到CORD平臺再到核心網絡的數據流。

圖1：CORD平臺架構

圖2：CORD平臺軟件關系

圖3：相關虛擬設備

2.2.3 CORD平臺相關技術

CORD平臺整合了許多先進的技術，比如：SDN，NFV，ONOS，XOS，Docker，Openstack等。借助SDN，技術人員可以在Head node上以代碼指令的方式來控制安裝有SDN應用程序的白盒交換機，以此集中管理配置網絡，實現平臺資源之間的溝通。ONOS便是應用于Head node上的開源分布式SDN控制平臺，它提供了API等操作方式，讓操作者能快速的通過軟件平臺來管理配置平臺中的交換機、數據鏈路等網絡組成部分，使得網絡配置轉變為事件處理[10]。NFV技術將原有網路原件虛擬化，以虛擬網絡功能(VNF)形式部署于服務器上的虛擬機中，使CORD平臺具備了豐富的網絡軟件服務，如：虛擬路由(vRouter)等。XOS是CORD平臺中的最核心組件，它是一個置于Head node上的對服務進行管理部署的操作平臺，可以通過API、GUI等方式組裝、控制、整合CORD平臺中的服務如VNF服務、ONOS服務、特定業務服務等。OpenStack是一個開源的云計算管理平臺，在CORD平臺中用于創建和配置虛擬機，來存儲VNF等資源。Docker作為容器引擎，被用來封裝和實例化提供給用戶的業務服務。涉及資源分配和服務載體的OpenStack、Docker組件被應用于每臺x86服務器中。以上軟件組件的關系如圖2所示。

2.2.4 M-CORD、R-CORD、E-CORD

CORD平臺可支持應用場景較廣，根據業務需求，其可被具體實現為面向無線網絡的M-CORD平臺、面向住宅用戶的R-CORD平臺和面向企業用戶的E-CORD平臺。三種平臺的基礎架構相同，但是擁有各自特有的業務組件，比如M-CORD平臺會在CORD通用平臺基礎上集成移動邊緣服務、解聚/虛擬化無線接入網(RAN)、解聚/虛擬化分組核心演進(EPC)等；R-CORD平臺更側重有線網絡環境，集成了vRouter等網絡轉發服務；而E-CORD平臺會加入更多企業連接服務和企業業務服務。

3 CORD平臺仿真搭建及功能研究與應用

根據實際應用需求，在CORD平臺的基礎上，合理部署網絡服務，加入特定的業務功能模型，便可構建成功能強大的邊緣計算平臺。為了驗證基于CORD平臺來構建邊緣計算平臺方案的可行性，需要對CORD平臺相關功能進行研究與實施。根據現有的實驗條件，本文在虛擬環境下搭建了CORD平臺。

3.1 實驗環境

如果在虛擬環境下構建CORD平臺，用于提供虛擬環境的x86服務器必須滿足不低于48GB的內存、不低于200GB的硬盤容量以及不少于12的CPU核心數。除此之外，服務器還需要能夠支持CPU虛擬化技術。基于以上要求，本次實驗采用了一臺Dell PowerEdge R730系列服務器，滿足了搭建虛擬CORD平臺的硬件要求。由于部分品牌服務器默認關閉了CPU虛擬化功能，所以在實驗前，需要打開服務器BIOS系統配置列表來檢查CPU虛擬化功能是否開啟。為了方便操作，服務器安裝了Ubuntu14.04.5 LTS操作系統，同時開啟了用戶執行sudo命令時的免除密碼權限。此外，為了從網絡中下載相關軟件資源和驗證網絡環境下的CORD平臺功能，服務器需要接入到網絡環境中。在國內網絡環境下安裝部署虛擬CORD平臺涉及到鏡像路徑修改等諸多問題，為了簡化搭建過程，本次實驗的服務器被置于境外網絡環境中。

3.2 虛擬仿真搭建

CORD平臺項目團隊已經在github上提供了多個不同版本的虛擬CORD平臺代碼，本次實驗選用了其中較為簡單且穩定的虛擬CORD-4.1平臺來進行仿真搭建。該版本平臺基于R-CORD架構，主要用來模擬有線網絡環境下的CORD平臺工作原理。在服務器上部署虛擬CORD平臺，需要先安裝相關支撐軟件如：Ansible、Repo、Vagrant等及建立CORD源碼存放位置，然后將CORD源碼下載到指定位置中。在源碼文件中存在一個名為rcord-virtual.yml的配置文件，可參考其內容完成平臺相關虛擬設備生成、虛擬交換機配置及OpenStack、ONOS等組件自動配置等過程。完成虛擬環境搭建后，服務器中會出現多個虛擬機，以此來模擬CORD平臺中的相關物理設備，如圖3所示。

在圖3中，corddev模擬開發者工作站電腦，用來下載構建相關軟件資源，并將資源推送到Head node上。虛擬機head1用來模擬Head node，其上安裝有XOS、ONOS和OpenStack等管理服務。虛擬機compute1-3模擬平臺中的計算節點，可為其部署虛擬網絡功能和業務組件。默認情況下，虛擬平臺中只開啟了一臺虛擬compute node，這是因為同時開啟多個計算節點會占用服務器較多資源，影響服務器運行速率。當然可手動喚醒其他虛擬compute node。平臺中任何虛擬服務器都可以通過ssh命令進行接入訪問，以此來觀察和部署相應組件。

3.3 功能研究

搭建好虛擬CORD平臺后，便可在其上完成功能的研究和對節點功能進行擴展。首先以GUI的方式訪問Head1上的XOS管理平臺，平臺中呈現了默認的服務流圖，如圖4所示。

在圖4中可以看出，一些虛擬網絡功能服務如vSG、vRouter等已被安裝于平臺之中，服務以齒輪形狀圖標呈現，服務間的關聯關系也通過線條表示。服務的部署節點位置由XOS中的一種叫切片的機制來管理控制。切片代表了服務對應的分布式計算和網絡資源。CORD平臺中內嵌了一些虛擬網絡功能、ONOS應用、示例業務組件等服務，這些服務以及其關聯關系和切片可通過操作XOS GUI界面上相應的配置列表來部署和管理，也可通過XOS REST API和一種描述服務的拓撲、組件及關系的語言TOSCA來完成相應操作。一些常用的CORD平臺服務如圖5所示。

圖4：XOS中默認服務流圖

圖5：常用的CORD平臺服務

圖6：XOS中服務實例

在CORD平臺中，要想使用部署好的服務，需要先將服務實例化。未實例的服務被稱作模型，同時，平臺引入了服務實例的概念。服務實例是根據用戶的特定需求，對服務模型的具體化、隔離化，其明確了用戶接入服務的準則和控制了服務的虛擬化安裝。服務模型與服務實例的關系類似面向對象思想中類與對象的關系,因此，一個服務模型可以擁有多個服務實例。此外，CORD平臺沿襲了云計算技術的用戶租賃思想，將功能虛擬化，以服務租賃的方式為用戶提供服務[11]。基于上述思想，相同服務模型下的多個服務實例也可以屬于不同的租賃用戶。一個租賃用戶所擁有的服務實例資源最終組成了該用戶的服務鏈。CORD平臺具備很強的靈活性，它通過服務實例之間的連接配置，來支持用戶的服務鏈與服務流圖結構不同，也允許用戶間的服務鏈存在差異。服務實例及連接的生成、部署和管理可以由XOS GUI的對應配置列表控制。在XOS GUI界面中，服務實例以位于齒輪圖標之上的盒子圖標呈現，如圖6所示。

圖7：服務的串行與并行部署

圖8：XOS中新服務TESTEXAMPLE創建

圖9：exampleservice服務回傳信息

在本次實驗中，針對CORD平臺可能面對的應用需求，還重點研究了服務間的連接形式。如圖7所示，通過仿真研究，服務間可以根據實際需求以串行或并行方式連接部署。

一個邊緣計算平臺不應只含有CORD平臺默認的服務功能，針對不同業務場景，往往需要引入特定服務。本次實驗在平臺中模擬創建了如圖8所示的新服務TESTEXAMPLE。

該TESTEXAMPLE服務是參考CORD平臺中已擁有EXAMPLESERVICE示例業務服務基礎上生成的，主要實現了向使用該服務的用戶發送特定字符串消息的功能。在平臺新服務的安裝過程中，涉及到了服務鏡像生成、服務模型、切片以及同步器編寫、平臺配置文件修改、GUI配置文件修改等過程。針對集成CORD平臺中不存在的服務，比如：智慧交通車流量分析軟件，也可借助上述機制來完成安裝，從而擴展CORD平臺功能。

3.4 面對住宅用戶接入場景的示例服務模擬

在本次實驗中，為了模擬真實環境下的CORD平臺工作狀態，基于平臺test exampleservice測試案例，模擬了住宅用戶接入到平臺中的業務場景。

首先在虛擬環境中創建一個住宅接入用戶，然后在CORD平臺部署虛擬SG功能和基于Apache服務的exampleservice功能，最后將用戶與CORD平臺相連接。通過從用戶端發送curl命令請求Apache服務器，來讓網絡數據流從接入用戶流入到CORD平臺，經過VSG服務實例后到達Apache服務器，來執行exampleservice服務實例。實驗最終得到了exampleservice服務傳回的字符串信息，證明CORD平臺實現了相應的業務處理。傳回的信息如圖9所示

3.5 小結

本次實驗針對有線網絡環境，在虛擬CORD平臺的基礎上，研究部署管理了相關服務功能，并添加了新的服務TESTEXAMPLE，完成了簡易CORD平臺的構建。此外，模擬了面對住宅用戶接入場景的示例服務，驗證了基于CORD平臺來構建邊緣計算平臺方案的可行性。

4 結束語

邊緣計算技術的出現為物聯網時代發展提供了強有力的計算支持，合理地構建邊緣計算平臺能有效的將邊緣計算相關優勢應用到生產生活中。針對邊緣計算平臺建設不成熟等問題，本文研究了CORD平臺的相關技術和功能，在平臺上模擬了面對實際業務的工作場景，為邊緣計算平臺構建提供了參考。隨著近期CORD平臺的發展，平臺架構趨向于更輕量級，功能更加豐富，運用其構建的邊緣計算平臺將會有更低的成本、更好的擴展性和實用性。