多接入邊緣計算平臺測試評估指標體系的設計

付韜 孟慶宇

（中國電子科技集團公司第四十一研究所 山東省青島市 266555）

1 概述

多接入邊緣計算（Multi-Access Edge Computing，以下簡稱MEC）是一種在接入網邊緣側靠近用戶、通過至少一種接入網絡類型提供信息服務環境和云計算能力的系統[1]，是運營商提供邊緣云服務的重要手段。ETSI 最早提出移動邊緣計算的概念，后考慮到兼容多種接入網絡改名多接入邊緣計算，其核心思想是在移動端用戶和云數據中心之間提供更加實時、更高帶寬、靈活擴展的資源支撐。

鑒于該模式在交通、工業、智慧城市、智能家居等場景下的性能優勢，MEC 在產業界的發展勢頭良好。圍繞MEC 產品研發、標準制訂、產業推廣的工作都在順利進行，MEC 內部網絡一般采用SDN 技術進行集中式管控，從而實現計算、存儲、網絡資源的跨基站協調，克服移動端在動態運動過程中的各類需求。目前針對MEC 的研究工作主要集中于計算遷移（卸載）、基站資源分配、移動性管理、隱私保護、系統能耗等方面，僅針對部分資源及其指標進行討論，很少從測試評估的角度給出整個MEC 服務評估指標體系和測試方法，給系統評估和選型帶來困難。本文的工作集中于以下幾個方面：

（1）被測系統架構特征是建立測試評估框架的基礎，目前MEC 框架之下存在多種技術的融合，與5G、WIFI6、SDN、流式計算等技術均存在交集，需要結合各種技術在MEC 基站的應用模式設計相應的測試方法。本文提出一種以MEC 服務、SDN 網絡、流式計算為核心的MEC 架構，圍繞該架構設計通用效能評估指標，由于各廠商實現方式可能存在差別，替換部分模塊不影響測評結果。

（2）測試輸入特征是用于檢測被測MEC 平臺處理不同服務請求能力的仿真業務，需要從請求服務類型、請求服務內容、測試數據、SLA 協商等方面構造具有代表性的一系列請求，從而觸發被測MEC 平臺的各種事件，進而影響資源重分配和業務功能的執行。

（3）關鍵指標集合是針對MEC 各模塊功能和性能給出具有重要影響的指標，根據對國內外工作的整理，目前包含MEC 模式、云邊協同指標、計算指標、存儲指標、SDN 網絡指標、安全指標、能耗指標。

（4）監測分析手段是針對關鍵指標的監測和獲取方法，采用網絡數據流統計監測和軟件探針相結合的方法，測量網絡時延、流有效帶寬、協同開銷等。采用Sketch 統計方法針對不同的數據流進行統計，獲得MEC 平臺內部各模塊、基站間的通信測量數據，進而結合計算存儲開銷進行分析。

2 基于MEC架構的測評方法分析

MEC 架構的創新必然催生原生技術的出現和應用，進而需要針對特殊的技術實現進行效能測評。圖1 給出了MEC 架構視圖、技術視圖和測評視圖在各層次上的對應關系。MEC 與5G、車聯網、算力網絡、虛擬現實等新技術息息相關，它重點實現用戶移動終端泛在化后的計算服務動態開放。實時根據用戶應用任務需求的服務參數調配各基站參與的網絡帶寬、計算單元、存儲空間資源，在需要授權、管理、云端資源與服務等方面則需要與云平臺協同。因此在架構視圖中，MEC 平臺位于運營商云平臺和用戶移動設備之間，平臺由臨近的一組基站組成服務集群，用戶具有隨機接入、移動性強，相互競爭資源的特點，需要針對不同用戶提供差異化資源分配。在協商服務參數后，需要分配足夠的無線通信帶寬，讀取邊緣存儲數據或針對一次性通過請求進行流式計算處理。在應用管理方面，平臺則根據預存的若干種服務模型進行基于流的調度，鑒于目前國內安卓體系下存在大量各類應用，無法針對每一種進行服務模型設計，因此需要將應用使用到的資源進行分類抽象，再根據請求信息進行按需分配。MEC 的原則是在邊緣側解決用戶的需求，但涉及到全局信息或者基站滿載時，需要與運營商云數據中心協同處理各類服務。

圖1：MEC 架構、技術與測評關聯

在MEC 系統架構基礎上，將針對MEC 基站模塊的具體技術設計測評內容分類。按照終端獲取邊緣服務的流程，首先是在移動端本地進行遷移（卸載）決策，這個過程中需要評估本地處理的時延、存儲開銷，可以用若干典型測試例在測試系統（儀器）本地進行測量，獲得測試例運行的實驗數值。在MEC 基站端，則需要針對基站天線資源劃分、軟件定義網絡控制進行相關測試，這部分采用終端和基站的節點間通信性能指標進行測量。流式計算、邊緣存儲等模塊性能變化可以通過平臺插件采集，云服務協商部分則主要測試服務時延，運營商云數據中心的其他指標超出MEC 測評的范圍。

MEC 平臺評估過程是采用測試儀構建測試例，測試例是能夠測試MEC 平臺的典型業務請求序列。評價某個特定平臺時，針對多組測試例測評。評價某個模塊的功能或算法時，可以在多個測試例基礎上根據每個被測功能或算法測試一組結果，再比較不同負載下的分值分布。

請求MEC 平臺服務的終端集合存在頻繁handover 終端集合和穩定終端集合2 種情況。

（1）頻繁handover 移動終端的MEC 場景具有接入設備隨機性和移動性的特征，大量具有移動性的終端用戶獲取MEC 服務的模型符合非完全信息動態博弈的特征。存在動態變化的競爭者集合，在現有工作中的算法很難在用戶集合不變的短暫時期尋找納什均衡解，因此采用拍賣算法在有限時間內競爭出最優調度結果。采用預留資源的策略會導致大量資源浪費。

（2）穩定移動終端的MEC 場景如工廠場景、智能家居等具有設備工作在固定區域的特征，終端集合在升級或維護之外的時間基本穩定，獲取MEC 服務的模型符合非完全信息靜態博弈的特征。在資源充足的情況下MEC 平臺的資源分配能夠達到納什均衡。

3 MEC業務請求類型及其仿真

MEC 業務請求是將部分任務提交給MEC 平臺，從而借用各種資源和獲取數據。可以從任務遷移（卸載）模式、業務請求類型、負載模型來進行分別分析，再將任意MEC 業務請求構建成一個由上述維度元素集合表述的實例。

3.1 遷移模式

Pavel Mach 等[2]將遷移（卸載）模式分為本地處理、完整遷移和部分遷移，該分類方法只考慮MEC 基站處理的情況。在考慮運營商云數據中心和臨近基站參與處理部分請求后，MEC 遷移（卸載）模式存在本地處理、單基站完整遷移、單基站部分遷移、多基站完整遷移、多基站部分遷移、云邊協同部分遷移、云邊協同完整遷移的情況。本文認為只有在本地資源不足的情況下才會遷移任務，所以至少會使用部分終端資源，不考慮任務完整提交云數據中心的情況，各模式下服務提供者如表1所示。

表1：遷移模式與參與設備關系表

3.2 業務請求類型

本文將MEC 平臺接受的業務請求類型分為三類：實第一類是與終端當前行為直接相關、處理截止時間有明確邊界的即時請求，需要在本地基站上實現，由于響應超時會錯過關鍵用戶交互行為，需要重點保障相關資源；第二類是與終端保持訂閱模式、對處理截止時間相對寬容的異步請求，只要最終在本地處理完畢的結果能夠在失效前抵達終端即可；與前兩種能夠在本地基站處理的請求不同，第三種是需要MEC平臺和運營商云數據中心共同分工處理的任務，在任務執行DAG圖中最長鏈的執行時間就是整個任務的處理時延。

3.3 負載模型

一個針對MEC 平臺的測試例主要通過請求業務和排序分布描述，采用測試儀提交多個MEC 請求，按照特定的順序和分布發向被測MEC 平臺。假設代表一個移動中斷請求，則至少由以下幾個參數構成MEC 業務請求參數如表2。

表2：MEC 業務請求參數

4 MEC平臺關鍵指標體系設計

4.1 關鍵指標分類

本文采用層次分析法理論來量化MEC 關鍵指標的相對權重，該方法采用樹形結構確立關鍵指標模型，按照MEC 架構的模塊分析各指標的計算方法。構建關鍵指標體系首先對基站要求進行分類，再給出各類中具體指標的構成，需要根據指標精簡化、全局替代局部、關聯性強優先的原則篩選出關鍵指標，評估更細粒度的對象時在該體系基礎上將指標向下細分。

MEC 測試評估指標體系具體的指標體系如圖2所示，本文只針對MEC 平臺整體性能測評，如涉及具體模塊或算法評估可以將指標針對各模塊進行拆分。下面給出各類指標的含義：

圖2：MEC 測試評估指標圖

（1）功能正確性指標：MEC 平臺具備的核心功能，測試是否存在相應能力，給出布爾型分值。

（2）關鍵性能指標：針對各部分可量化的性能指標進行測量，通過實測值和平臺相應指標最大值求比值進行歸一化處理，再根據正向指標和負向指標的特點進行調整。

（3）協議正確性指標：每一個協議參照協議設計文檔劃分多個協議要求，在百分制下按所有要求等分進行設置。采用測試腳本驗證協議各要求是否正確實現并累加分值，協議分值與100 分比值作為該協議的分值。

（4）安全性指標：將MEC 平臺具備的所有安全措施等分進行設置，通過網絡滲透攻擊驗證。

（5）可靠性指標：構造基站或鏈路故障、關閉軟件模塊等驗證MEC 平臺是否存在故障恢復能力。

各指標在評估過程中的權重如表3所示，未來會隨著產業和產品不斷成熟，調整參數和權重。

表3：：MEC 測評指標權重表

4.2 指標分析

功能可以采用軟件測試方法設計具體的測試例進行驗證。在性能指標方面，國內外研究在綜述、計算遷移、資源調度等工作中給出相關計算公式，下面結合架構視圖給出涵蓋端邊云的指標分析。

（1）時延是從提交MEC 業務請求到終端收到服務結果的時間，在本文的架構中包含數據上傳時延、MEC 基站處理時延、基站間遷移時延、云協同時延、回傳時延等，在不考慮基站間遷移的情況下時延模型可以參考吳學文[2]等的時延公式。在考慮遷移的情況加需要額外加上遷移延遲；

（2）功耗各基站在計算任務時產生，一般與CPU 利用率正相關；

（3）時延抖動遵循RFC1889 中的定義是首先計算相鄰任務時延的差值，再用加權累加方法獲得整個系統的時延抖動；

（4）帶寬占用是終端、MEC 系統、云數據中心之間實時流量按照端到端歸一化后的結果的均值；

（5）CPU 占用率是實際占用所有基站CPU 處理能力的平均值；

（6）存儲是實際占用存儲空間在所有基站存儲空間占比的平均值；

（7）基站間遷移次數是在一個測試例下所有業務請求發生基站間遷移的平均次數。

5 指標測試測量方法

（1）基于Sketch 的網絡流統計。Sketch 是一種存儲節約型統計數據結構，MEC 網關需要處理來自于大量移動設備的請求，需要統計和分析大量一次通過性數據，再加上邊緣基站資源受限，將Sketch 應用于業務統計具有眾多優點，需要統計不同的終端流量、服務流量、地址流量、特定操作流量。可采用UnivMon[4]中的并聯Sketch 架構，每個Sketch 針對不同類型的5 元組數據進行統計，根據Sketch 基數統計、熱點分析、性能測量的結果計算網絡指標。

（2）資源占用情況監測。采用向MEC 基站安裝資源監控插件的方式獲取CPU、存儲等資源的實時測量值。

（3）基于滲透測試例的安全驗證。采用Metasploit 等工具驗證安全性指標。

（4）基于時間戳的任務處理時間測量。測量時間相關的指標時，采用測試儀硬件發送帶有時間戳的測試數據，待MEC 平臺反饋結果后比較時間戳。

6 總結

本文針對MEC 平臺提出關鍵指標體系和評估方法，由于被測對象有限，未來還需要針對成熟產品進行大量測評，依據測評結果調整指標體系和指標權重。