邊緣計算可信協同服務策略建模

樂光學 戴亞盛 楊曉慧 劉建華 游真旭 朱友康

(嘉興學院數理與信息工程學院 浙江嘉興 314001)

隨著云計算、大數據、物聯網等技術的迅速發展和智能移動設備的普及應用，開啟了以邊緣計算為基礎的萬物互聯時代，網絡邊緣設備量及其產生的數據均在快速增長.高清視頻、直播、物聯網、虛擬現實和增強現實等大流量、大連接等應用已成為通信網絡流量的主要業務[1].文獻[2-4]指出到2020年全球數據總量將超過40 ZB，邊緣計算將處理其中45%的物聯網數據.據思科視覺網絡指數(Cisco visual networking index, VNI)，從2016年開始更多的流量從蜂窩網絡卸載到WiFi，到2021年時全球移動數據流量中僅視頻流量將達到78%以上，全網流量中IP視頻流量將達到82%，85%的流量為視頻、游戲和多媒體數據流，其中內容分發網絡(content delivery network, CDN)流量將占據全網流量的71%[5].據中國互聯網絡信息中心(China Internet Network Infor-mation Center, CNNIC)第42次《中國互聯網絡發展狀況統計報告》，我國網絡用戶數已達到8.02億，其中手機網民規模達7.88億，74.1%的網民使用短視頻，僅網絡直播用戶規模達到4.25億[6].由于受數據處理的實時性、帶寬、能耗、安全等約束，以集中式處理為核心的云計算模式將不能滿足高效處理邊緣設備產生的數據需求[2-4].研究表明以云計算為核心的邊緣計算是解決該問題的有效方法之一[7-8].文獻[2]指出由于邊緣計算是移動設備位于無線接入網內，通過邊緣服務器或移動設備提供信息和云計算服務的一種新的網絡結構，具有高帶寬、低延遲和安全性強的特點.由于邊緣計算將計算任務下推至靠近數據源的位置，甚至遷移至數據源到云計算中心的鏈路節點上，邊緣計算面臨三大挑戰：

1) 服務發現.由于計算服務請求者具有動態性，相對靜態的域名服務協議(domain name system, DNS)服務發現機制不能滿足大規模動態邊緣計算需求[9].如何準確發現周邊服務是邊緣計算面臨的關鍵問題之一.

2) 快速配置.用戶和計算設備的動態無約束性，計算設備的隨意上下線導致大量服務遷移，引起浪涌式網絡流量[10].如何快速自適應服務快速配置是邊緣計算面臨的關鍵問題之二.

3) 負載均衡.邊緣服務器提供服務時，其邊緣設備同時產生大量數據[2].如何動態有效地調度這些數據實現高效邊緣計算服務是邊緣計算面臨的關鍵問題之三.

1 相關研究

萬物互聯與云計算和大數據技術相融合產生了邊緣計算新技術.其核心思想是賦予邊緣設備執行計算任務和數據分析處理使命，為實現負載均衡、低延遲和低開銷的目的，構建以云計算為中心、邊緣計算為輔的輕耦合混合計算模式，將云計算中心的計算任務適當遷移至邊緣設備，以解決云計算集中式服務日漸形成的瓶頸問題，提高計算任務數據處理效率，有效保護用戶數據安全及隱私.文獻[11]指出當邊緣計算特別是移動邊緣計算在處理大吞吐量數據和數據頻繁交互、位置和延遲敏感的實時業務服務請求時明顯力不從心，如何進行邊緣計算服務資源動態調度，實現協同服務、負載均衡和低延遲開銷是邊緣計算的關鍵問題；文獻[12]提出一種無線通信資源與邊緣計算資源協同調度算法，在移動邊緣計算場景下通過優化頻譜分配，提高頻譜利用率，同時節能效果顯著；文獻[13]采用博弈論的方法以分布式方式實現高效的卸載計算，并應用于多徑無線競爭信道的多用戶計算遷移場景；文獻[14]提出融合移動邊緣計算的5G移動通信網絡架構，自適應支持多通信模式，基于虛擬化技術實現資源高效共享；文獻[15]以服務重要性指標分級，基于時空約束和虛擬機調度策略，研究邊緣計算任務調度方法，保證服務提供的公平性，并利用Lyapunov框架求解最大時間約束的優化問題，均衡多運營商和設備所有者的收益.

文獻[16]綜述了移動邊緣計算的演化和發展，對比分析了基于能耗優化管理的移動邊緣計算模型;文獻[17]以計算時間和能耗為目標，將計算遷移建模為凸優問題，提出了一種基于拉格朗日的計算遷移能耗優化策略;文獻[18]將任務遷移權重引入協同盟員調度和構建負載均衡適應函數，提出一種在多約束條件下邊緣計算可信協同任務遷移策略.

文獻[19]針對關聯性任務數據引起大量遷移的問題，從日志信息入手，挖掘任務數據的依賴關系，通過優化數據存儲、遷移調度盡可能減少了系統開銷；文獻[20]針對邊緣設備與基站關聯及基站睡眠優化問題，提出一種基于超密集網絡的移動邊緣計算框架(computing offloading framework based on mobile edge computing and ultra dense network, COMED)，基于聯合計算卸載、基站睡眠和用戶-基站關聯(joint computing offloading base station sleeping and user-base-station association, JOSA)的任務調度方法實現能耗優化；文獻[21]研究移動邊緣編排優化協同緩存處理，在多場景下應用證明了該方法能夠有效地將移動邊緣計算應用于5G網絡；文獻[22]針對移動邊緣計算中高頻內容刷新導致能耗高、計算服務效率低的問題，提出基于Markov的能耗優化模型，提高內容刷新效率以降低計算能耗；文獻[23]根據用戶請求的地理分布，用整數線性規劃對時變的業務需求進行建模，優化分布式緩存部署策略；文獻[24]設計實現了一種移動云計算模型的卸載和委托框架，進行計算卸載和數據綁定，在資源一定的條件下提高了系統性能；文獻[25]提出了一種移動邊緣計算最優資源分配策略，將資源分配轉化為一個凸優化問題求解，以計算延遲為約束實現能耗最小化，通過設置任務遷移閾值實現多用戶任務遷移資源優化分配，有效降低系統整體能耗；文獻[26]提出一種基于近鄰傳播的遷移聚類(transfer affinity propagation, TAP)算法，基于源域與目標域的相似性，通過近鄰特征學習改進消息傳遞機制，實現在特征數據稀疏時具有較好的遷移性能；文獻[27-29]分別研究了Web服務CDN網絡、蜂窩移動網絡、流視頻網絡下，通過云端卸載至邊緣，優化用戶體驗的問題.

文獻[30]針對集群服務器中負載均衡問題，提出基于集群架構的邊緣流媒體服務器，構建了緩存替換算法(multilevel cache and load balance supported, MCLBS)，有效提高緩存命中率和降低服務帶寬消耗；文獻[31]提出了最小化終端的傳輸延遲和最大化其滿意度的分布式算法，優化緩存文件分配，提高分發性能；文獻[32]針對分布式并行處理架構中數據分布不均、數據流實時動態變化且不可預知等導致負載不均衡的問題，提出通過Key粒度遷移和元組粒度拆分進行輕量級均衡調整以保證系統負載均衡.

文獻[33]指出惡意用戶、誤操作、漏洞、不安全資源等是彈性移動云計算面臨的主要安全威脅，針對該問題提出了相應的防御措施；文獻[11]從邊緣計算隱私與安全保障角度出發，聚焦信任度構建、資源調度和協同問題，構建綜合信任評估體系，保障邊緣計算資源管理與協同優化，構建多層自適應統一計算模型，實現對應用場景動態匹配；文獻[34]基于用戶群體感知機制，利用布隆過濾和二元內積運算估計用戶間相似度，形成匹配用戶聯盟保護個人隱私；文獻[35-38]分別研究了在Web服務網絡、P2P網絡、機會網絡和無線Mesh網絡場景下的節點信譽度的建模方法，構建基于信譽評價的節點協同機制，通過信譽獎懲監測和管理節點行為，有效保障了協同服務的安全性.

本文基于“負載平衡”理論，融入節點特征屬性構建邊緣計算協同服務池，為邊緣計算中服務快速發現和計算遷移提供一個解決方案.當邊緣服務器(本文稱為盟主)負載達到設定閾值時，啟動網絡資源聚合機制，將鄰近節點擴展為協同服務節點，構建一個動態虛擬邊緣計算協同服務池，實現計算遷移，服務完成后系統釋放資源，自行解散.這樣不僅可解決擁塞、延遲和抖動的問題，而且可大幅提高邊緣計算服務效率和服務質量，其中協同服務盟員節點的選取策略是關鍵.

2 邊緣計算協同服務盟員節點組織策略

2.1 協同服務盟員節點選擇策略

為保障邊緣計算服務效用，構建自適應協同服務系統是一種有效方法.其核心是當邊緣計算服務負載達到設定的閾值時，根據自愿、公平的原則和激勵策略，啟動資源聚合機制，將邊緣資源有機整合，動態自適應構建可信協同服務系統[39-40].為用戶提供安全可信、靈活魯棒的邊緣計算服務.協同盟員節點具有2個主要特點[41-45]：

1) 自主性.盟員節點對其提供的共享資源和協同服務具有完全控制決定權.

2) 任務驅動性.基于任務遷移需求，盟主根據策略選取滿足需求的節點為盟員，確定邊界和約束條件，自主融合構建邊緣計算協同服務系統.協同任務完成，釋放資源，解除協同關系.

分析發現任務驅動性與自主性實際上是互斥的.完全自主性，有可能導致協同服務質量和效率不高的問題，甚至無法實現協同融合.

在實際構建邊緣協同服務時，一般通過折中策略兼顧其目標驅動性和自主性特征，使構建的協同服務系統達到預期的效率.啟動協同服務時，盟主節點在保持盟員節點自主性的基礎上，根據任務需求啟動網絡資源聚合機制動態選取協同盟員節點，定義約束條件、控制策略，確定邊界、盟主與協同服務盟員間的主從關系，盟主節點對協同服務系統實施管理、監控和動態調整，保障協同服務系統的正常運行[46].

設邊緣計算協同服務系統有n個節點和m條連接邊，其連接矩陣E=(eij)，eij=1表示節點i和節點j相連，連接關系強度矩陣A=(ρij)，ρij表示節點i和節點j的連接關系強度:

(1)

其中，Rtt(i，j)為節點i到節點j的網絡延遲.

設觀察周期為T，在第k個觀察期節點i向節點j提供協同服務成功和失敗的次數分別為Sij，Fij；構造節點j對節點i在第k個觀察期的局部信任度函數Trust(i)：

Trust(i)=(1-μ)Sij(Sij+εFij),

(2)

ε=ε+Fij(Sij+εFij),
s.t.ε|t=0=0, 0<μ<1,Trust(i)|Sij+εFij=0=0,

其中，ε為節點不誠信任務遷移處罰因子；μ為局部信任度控制因子.

根據節點的協同交互操作，構建節點i對節點j的吸引力函數F(i)：

F(i)=ρijf(i)Q(i)Trust(i)edmin,ij+1,

(3)

構建盟主節點影響力G(i)模型：

(4)

其中，αi為離散化因子.

算法1.協同服務集構建算法.

Step1. 設初始邊緣計算網絡節點均為協同服務盟員，盟主對候選盟員分辨閾值系數λ，λmin≤λ≤λmax，令λ=λmax，0<λ≤1.

Step2.

① 如果Gi≥λ(i≠j，i，j≤n)，標記節點i和節點j彼此為盟友，將節點j劃入節點i的備選盟員集中.

② 否則，轉Step3.

Step3.λ=λ-，為系數.

① 轉Step2，將邊緣計算節點劃分為m個不相交的協同服務盟員集.

② 如果某個節點j不屬于任何協同服務盟員集，則加入相鄰節點中影響力Gi最大的節點i所在的協同服務盟員集中.

③ 調整.在劃分的協同服務盟員集中，將影響力小的節點加入到相鄰節點對其影響力Gi最大的節點i協同服務盟員集中.

Step4.

① 邊緣計算網絡節點集無劃分操作，轉Step3.

② 邊緣計算網絡節點集被劃分為2個以上協同盟員服務子集，則停止分解，令λ=λmin.

③ 將劃分的協同盟員服務子集視為1個新邊緣計算網絡，令λ=λmax，轉Step2.

④ 直到所有的協同盟員服務子集不能被再劃分為止.

Step5. 構建協同盟員服務子集間的關系映射圖，標識各協同盟員服務子集分辨系數閾值λ的界.

2.2 協同服務機制分析與建模研究

邊緣計算協同服務的工作原理為：當盟主節點發起協同任務時，依據任務需求定義協同服務內容、協同服務目標、控制策略、協同邊界和約束條件等參量，遴選適宜、有效的協同服務盟員節點，定義協同服務模式和協議，建立其特征、順序、從屬等相互間的映射關系，啟動網絡資源聚合機制，快速完成盟員節點間的聚合，構建邊緣計算協同服務系統.

利用狀態機描述邊緣計算協同服務模型TCSEC為DTCSEC：

DTCSEC=(Q，Γ，δ，q0，F).

(5)

其中：

1)Q是有窮狀態集，Q={邊緣計算協同服務的狀態集合}；

2)Γ是狀態轉移條件產生式；

3)δ是狀態轉移函數，Q×?！鶴；

4)q0∈Q，是起始狀態，由盟主產生；

5)F?Q，是結束狀態集，F={結束}.

DTCSEC狀態轉換如圖1所示：

Fig. 1 Trust cooperative service model for edge computing圖1 邊緣計算可信協同服務模型

Fig. 2 State transition model for cooperative service event圖2 一次協同服務狀態轉移模型

協同服務的業務事件狀態以Ti表示，利用狀態機描述其業務事件處理機制CSE(cooperation service event)為DCSE：

DCSE=(Q，Γ，δ，q0，F).

(6)

其中：

1)Q是有窮狀態集，Q={T0，T1，T2，T3，T4，T5，T6，T7}；

2)Γ是狀態轉移條件產生式；

3)δ是狀態轉移函數，Q×Γ→Q；

4)q0∈Q，是起始狀態，由盟主產生；

5)F?Q，是結束狀態集，F={T7}.

一次協同操作過程：

Step1. 發布協同服務需求，選取滿足需求的候選協同服務節點.

Step2. 確定協同服務目標、邊界、約束條件和策略.

Step3. 定義協同服務協議和建立角色映射關系.

Step4. 啟動聚合機制構建協同服務系統.

Step5. 返回協同服務結果，更新特征屬性數據庫.

協同服務的業務事件處理機制[36]如圖2所示.

由于目標計算任務分布不均，引起邊緣計算協同服務請求分布不均，邊緣計算協同服務節點可能會出現服務瓶頸，導致協同服務質量下降，若計算任務遷移和邊緣節點調度策略不完善、節點抖動等引起邊緣計算服務不穩定甚至終止服務，則進一步加劇計算任務分布的不合理，導致網絡的抖動，造成協同服務性能下降.

當節點狀態和性質發生改變，無法滿足協同服務需求時，通過服務遷移動態調整節點承載的計算任務，可有效加強系統服務性能.在構建的邊緣計算協同服務中，當邊緣計算協同服務需要執行任務遷移時，根據相關需求及約束策略啟動任務遷移機制，將計算任務遷移至目標盟員，協同完成計算任務，這一過程對用戶而言是透明無隙的.

協同服務遷移的業務事件狀態以Ti表示，利用狀態機描述其協同服務任務遷移狀態為

Dtask-offloading=(Q，Γ，δ，q0，F).

(7)

其中：

1)Q是有窮狀態集，Q={邊緣計算任務遷移狀態集合}；

2)Γ是狀態轉移條件產生式；

3)δ是狀態轉移函數，Q×?！鶴；

4)q0∈Q，是起始狀態，由盟主產生；

5)F?Q，是結束狀態集，F={T5}.

邊緣計算協同服務任務遷移過程如圖3所示：

Fig. 3 State transition model for offloading task圖3 任務遷移狀態轉移模型

3 邊緣計算協同服務系統建模與性能分析

構建邊緣計算協同服務需遵循6條規則[47-51]：

規則1.構建的邊緣計算協同服務系統是完備的，當且僅當協同服務盟員節點集不為空.

規則2.以協同盟員節點間特征屬性為約束條件，按影響力擇優原則在候選協同服務盟員節點集中選擇協同服務盟員節點.

規則3.定義盟主節點、協同盟員節點間的邏輯約束、主從關系和職責.

規則4.盟主節點負責對邊緣計算協同服務中的協同資源、狀態進行監管和調度，定義協同服務盟員節點間的協同服務協議和約束條件，依據策略動態調整協同盟員角色，過濾性能差的協同盟員節點.

規則5.協同服務任務完成后，盟主節點對該盟員節點的協同服務質量和信任度做出公正的評價，更新特征屬性數據庫；釋放資源，解除盟主節點和協同盟員節點間的協同服務關系.

Fig. 4 System model of TCSEC圖4 邊緣計算協同服務執行模型

根據策略規則，構建基于邊緣計算可信協同服務系統模型TCSEC如圖4所示.其中，為聚合、判斷、狀態轉移機等，為策略、映射機制.

TCSEC共享流服務系統狀態表征：

MTCSEC-streaming-service=(Q,Γ,δ,qstart,qaccept).

(8)

其中：

1)Q是有窮狀態集，Q={加入，就緒，在線，協同，離線}，其中，在線狀態∈{邊緣計算協同服務，計算任務遷移}；

2)Γ是狀態轉移條件產生式；

3)δ是轉移函數，δ=(Q×Γ)→；

4)qstart是起始狀態，qstart={加入狀態}，qstart∈Q；

5)qaccept是接受狀態，qaccept?Q.

在線邊緣計算協同服務系統為服務請求節點提供服務策略：

1) 當節點獲得服務后，節點以概率P選擇離開邊緣計算協同服務系統，進入離線階段，或以1-P的概率選擇留在TCSEC，進入就緒階段.

2) 因異常原因，節點直接進入離線階段.如果節點在系統允許的會話時間段τ內恢復正常則節點直接進入到異常斷點，繼續相應服務操作.

3) 當服務請求端異常或中斷服務請求時，TCSEC提供端撤銷提供的任務遷移服務隊列，節點進入就緒狀態.

協同服務質量評價策略.在時間窗τ系統接收用戶對服務質量的評價：

1) 接收用戶對服務質量的正常評價.

2) 拒絕同一用戶在時間周期τ內對同一服務質量進行多次評價，并標記該用戶，系統以1-Trust(i)的概率對用戶信任做負面評價.

3) 以Trust(i)的概率接收同一用戶對協同服務質量評價，并標記該用戶.

由上可知，系統具有很強的抗攻擊和抑制協同作弊的能力.

以近海港口為例構建一個邊緣計算服務系統，如圖5所示.

用戶節點以輕量級泛洪在網絡中搜索目標流數據，按就近服務的策略返回搜索結果，用戶節點依據搜索結果與合適的鄰居節點建立連接，鄰居節點將自己緩存的計算任務轉發給用戶節點，用戶端對獲得的流數據進行可用性檢測，TCSEC系統通過聯合協同方式為用戶節點提供流數據實現流式服務，用戶節點同時接受來自網絡其他節點的流服務請求，并將自己緩存的流數據共享給相應的鄰居節點.其中，為聚合、判斷、狀態轉移機等.

Fig. 5 State transition model of TCSEC offloading task stream圖5 邊緣計算協同任務遷移流數據狀態轉移模型

TCSEC服務系統中節點獲取服務狀態表征：

MTCSEC-request=(Q,Γ,δ,qstart,qaccept).

(9)

其中：

1)Q是有窮狀態集，Q={服務請求，數據包有效性檢測，數據包聚集與分配，進入緩存區，編碼與調度，播放超時重傳請求，內容轉發，服務質量評價等}；

2)Γ是狀態轉移條件產生式；

3)δ是轉移函數，δ=(Q×Γ)→；

4)qstart是起始狀態，qstart={服務請求}，qstart∈Q；

5)qaccept是接受狀態，qaccept={計算任務}，qaccept?Q.

由式(9)可得，節點進入TCSEC系統獲得服務的過程描述為：

Step1. 以輕量級泛洪方式搜索目標計算任務數據.

Step2. 系統返回搜索結果列表，通過服務協商，用戶節點選擇合適鄰居節點建立連接關系，構成協同服務聯盟.

Step3. 系統聯合協同節點為用戶節點提供自己緩存的任務數據.

Step4. 用戶節點實施數據包匯聚、可用性檢測和分配到相應的緩沖區隊列.重新請求不可用的流數據，發表緩沖區狀態.

Step5. 數據編碼和調度，實施計算服務.如果出現任務缺失、計算異常等，則發起緊急調度請求，等待任務流數據.

Step6. 服務質量評價，請求流數據；接受鄰居節點服務請求，轉發本地緩沖的流數據.

4 實驗與分析

由分析可知：邊緣計算協同服務盟主以節點的信任度、影響力、可用帶寬、鏈路質量等特征指標作為選擇盟員的約束條件，以最小開銷構建邊緣計算協同服務池.對于小規模邊緣計算協同服務，其構建開銷可以忽略；一旦邊緣計算協同服務節點達到一定規模，其開銷必增，占用網絡資源，降低服務質量.因此，在構建協同服務池生成規則中設定規模上下界，當其規模不滿足設定域時，啟動邊緣計算協同服務簇分裂或合并機制，形成新的協同服務池.

近海港口構建的通信網絡是一個典型的邊緣計算服務應用場景，本文仿真實驗場景如圖5所示.

實驗中假設3個條件成立：

1) 每個服務節點周圍可能存在一個小規模的亞可信邊緣計算協同服務節點集，其信任初始值均設為0.5，這些亞信任節點曾經與盟主服務節點構成協同服務，以形成一定的信任協同關系，這種原始的亞可信邊緣計算協同節點其信譽度隨服務節點在網絡中存活的時間、協同服務質量等而動態變化.

2) 盟主節點按相關策略從其候選協同服務盟員集中選取，以構建邊緣計算協同服務.

3) 通信網絡以岸基數據中心、岸基站為中心，由島礁中繼站、智能浮臺中繼站、船艦節點、智能移動節點等構成.

網絡仿真環境：

1) 基于Router View公開數據集，構建邊緣計算系統服務簇；Router View公開數據集節點數為6 474，連接邊數為13 895，平均度為4.292 6，基尼系數為0.608，相對邊緣分布熵為0.854，聚類系數為0.959%；

2) 岸基站為根節點，與7個中繼基站組建骨干網絡，1個岸基網絡數據中心服務器為源服務發起節點，節點間自由交互；

3) 以每個基站為初始簇頭，構建可信協同服務集.當邊緣計算協同服務簇節點規模小于設定的下界時進行合并操作，原盟主節點降為盟員節點；當簇節點規模大于上界時，按策略選擇盟員成為新的盟主節點，進行分裂操作；

4) 邊緣計算可信協同服務系統由岸基數據中心服務器集群(edge server， ES)、岸基站(router center， RC)、中繼基站(router node， RN)、盟主節點(leader node， LN)、盟員節點(edge node， EN)等組成；

5) 節點通信制式符合IEEE 802.11協議簇標準.

系統仿真環境：

服務器為Intel Xeon E5，4核16線程、2.5 GHz，RAM為4 GB，WinServer2010，虛擬機帶寬1 MBps；

客戶機為Intel Core i5，2核4線程、2.7 GHz，RAM為8 GB，Win7系統；

服務端為JDK1.8+Apache Tomcat 8.0，Mysql 5.7；

客戶端為Chrome瀏覽器；

編程語言為Java，JavaScript；

開發工具為Eclipse Oxygen 3a；

后端框架為JSP，JavaBean，JDBC；

前端可視為SVG繪圖庫，Ajax異步前后端交互.

4.1 TCSEC骨干網絡系統性能測試分析

Fig. 7 Topology of static edge computing cooperative service圖7 靜態邊緣計算協同服務拓撲結構

為保證骨干網絡的魯棒性，對骨干網絡實施負載壓力測試.測試時間為120 min，觀察周期為30 min.設定岸基數據中心服務器集群的負載率達到60%啟動邊緣協同服務負載均衡機制；在30 min時對岸基數據中心服務器集群實施突發浪涌式服務請求，60 min時服務請求達到其負載率60%，系統啟動邊緣協同服務負載均衡機制，按策略將相應計算任務卸載至其協同盟員邊緣服務盟主節點執行，系統基本穩定在其負載率的63%.如圖6所示.實驗表明，TCSEC模型的骨干網絡具有很好地魯棒性和負載均衡能力.

Fig. 6 Load rate of edge server圖6 數據源服務器負載率

4.2 TCSEC模型系統聚類性能測試分析

為分析邊緣計算協同服務性能，以聚類效率、服務流量、響應延遲、服務效率等為評價指標.從靜態和動態2種網絡拓撲狀態將本文提出的協同服務池算法TCSEC與K-means[52]，KNN[53]對比分析.

4.2.1 靜態協同服務

協同服務池一旦構建完成并穩定后，不再進行合并和分裂操作.其中節點顏色表示節點參與構建邊緣計算協同服務系統的意向，節點大小表示節點的服務能力，其邊緣計算協同服務拓撲如圖7所示，聚類算法評價參數如表1所示，邊緣計算協同服務池性能評價參數如表2所示，協同服務簇、中繼基站、盟主節點平均流量如圖8～10所示，協同服務帶寬如圖11所示，任務接受率如圖12所示，協同服務成功率如圖13所示，協同服務響應延遲如圖14所示.

Table 1 Performance Parameters of Static Edge Computing Cooperative Service Clustering Algorithm表1 靜態邊緣計算協同服務聚類算法性能參數

Note: Std means standard deviation.

Table 2 Performance Parameters of Static Edge Computing Cooperative Service Pool表2 靜態邊緣計算協同服務池性能參數

Fig. 8 Cooperative service cluster traffic for static edge computing圖8 靜態邊緣計算協同服務簇平均流量

Fig. 9 Relay node traffic for static edge computing圖9 靜態邊緣計算協同服務中繼基站流量

Fig. 10 Leader node traffic for static edge computing圖10 靜態邊緣計算協同服務盟主節點流量

Fig. 11 Bandwidth of static edge computing service 圖11 靜態邊緣計算協同服務帶寬

Fig. 12 Task receiving rate of static edge computing service圖12 靜態邊緣計算協同服務任務接收率

Fig. 13 Task success rate of static edge computing service圖13 靜態邊緣計算協同服務成功率

Fig. 14 Response delay of static edge computing service圖14 靜態邊緣計算協同服務響應延遲

靜態邊緣計算協同服務具有5個特征：

1) 超級節點聚類具有相似趨同性和馬太效應，能力和性能相當的節點會聚在一起；為了保證系統服務提供的服務能力基本一致，能力相對弱的熱心節點所構建的協同服務簇的簇內節點數相對較多.

2)KNN，K-means算法形成13個超級節點，構成20個邊緣計算服務池，分別耗時3.29 s和7.84 s；TCSEC算法形成15個超級節點，構成22個邊緣計算服務池，耗時10.37 s；所構建邊緣計算服務池平均規模在46.00～56.69之間，網絡平均延遲分別為43 ms，30 ms，19 ms，池內交互平均延遲41 ms，39 ms，7 ms.

3)KNN，K-means算法構建邊緣計算服務池時分裂13次，沒有合并.聚合度分別為0.44和0.57，協同效率分別0.45和0.58.

4) TCSEC算法構建邊緣計算服務池時執行20次分裂，合并5次，聚合度0.83，協同效率0.80.

5) 執行協同服務，60 min邊緣計算協同服務池趨于穩態，TCSEC，KNN，K-means算法平均并發數分別達53，41，39，平均服務流量分別為20 973.83 MB/min，10 254.34 MB/min，9 770.61 MB/min.

實驗結果表明：

1) 盟主節點均由熱心邊緣服務器節點形成，協同服務池構建具有馬太效應.

2) TCSEC算法構建的邊緣計算協同服務池能有效均衡基站和盟主節點的負載，能有效平滑浪涌效應.

3) TCSEC算法構建的邊緣計算協同服務池網絡平均延遲分別比KNN，K-means算法減少55.81%和36.67%；邊緣計算協同服務池內平均延遲TCSEC算法分別比KNN，K-means算法減少82.93%和82.05%.

4) TCSEC算法的協同效率分別比KNN，K-means算法的提高77.78%和37.93%.

5) TCSEC算法基站、盟主節點服務帶寬分別比KNN，K-means算法提高3%，21.30%和32.25%,45.50%，系統平均并發數提高35.90%和29.27%，平均服務流量提高1.15倍和1.05倍.

4.2.2 動態構建協同服務

協同服務池構建完成后，系統根據虛擬服務池的協同工作狀態進行動態合并和分裂操作.其邊緣計算協同服務拓撲如圖15所示，聚類算法評價參數如表3所示，邊緣計算協同服務池性能評價參數如表4所示，協同服務簇平均流量如圖16所示，盟主節點數如圖17所示，協同服務池分裂、聚合次數如圖18～19所示，任務接受率如圖20所示，協同服務成功率如圖21所示，協同服務響應延遲如圖22所示.

Fig. 15 Topology of dynamic edge computing cooperative service圖15 動態邊緣計算協同服務拓撲結構

Table 3 Performance Parameters of Dynamic Edge Computing Cooperative Service Clustering Algorithm表3 動態邊緣計算協同服務算法性能參數表

Note: Std means standard deviation.

Fig. 16 Cooperative service cluster traffic for dynamic edge computing圖16 動態邊緣計算協同服務簇平均流量

Fig. 17 Number of leader nodes in dynamic edge computing圖17 動態邊緣計算協同服務盟主節點數

Fig. 18 Total divided times of dynamic edge computing圖18 動態邊緣計算協同服務總分裂次數

Fig. 19 Total aggregation times of dynamic edge computing圖19 動態邊緣計算協同服務總聚合次數

Fig. 20 Task receiving rate of dynamic edge computing圖20 動態邊緣計算協同服務任務接收率

Fig. 21 Task success rate of dynamic edge computing圖21 動態邊緣計算協同服務成功率

Fig. 22 Response delay of dynamic edge computing圖22 動態邊緣計算協同服務響應延遲

動態邊緣計算協同服務具有3個特征：

1)KNN，K-means算法在70 min達到穩定狀態，分別形成20和15個盟主節點，構成27和23個虛擬服務池，平均規模分別為44.53和48.27.TCSEC算法在60 min達到穩定狀態，形成23個超級節點，構成30個虛擬服務池，平均規模為36.25.

2)KNN，K-means，TCSEC算法聚合度和協同效率基本一致，但其分裂數分別為110，103，77次，合并數分別為103，99，69次；中繼基站平均服務帶寬為3 549.61 MB/min，3 587.86 MB/min，4 016.54 MB/min，盟主節點平均服務帶寬為2 593.29 MB/min，2 610.50 MB/min，2 909.53 MB/min，網絡平均延遲分別為63 ms，61 ms，20 ms，協同服務池內交互平均延遲為19 ms，21 ms，20 ms.

3) 邊緣計算協同服務池進入穩態工作后，TCSEC，KNN，K-means算法平均服務流量分別為38 900.53 MB/min，21 196.40 MB/min，20 900.53 MB/min.

實驗結果表明：

1) TCSEC，KNN，K-means算法在達到相同聚合度和協同效率狀態下，TCSEC算法收斂時間比KNN，K-means快14.29%，TCSEC算法分裂合并總次數比KNN，K-means算法分別減少31.46%和27.72%；

2) TCSEC算法超級節點服務帶寬分別比KNN，K-means算法提高12.19%和11.46%，協同服務池平均服務流量提高83.52%和86.12%；

3) TCSEC算法構建邊緣計算協同服務的網絡平均響應速度分別比KNN，K-means算法快68.25%和67.21%.

小結：

1) 動態與靜態構建邊緣計算協同服務系統相比，TCSEC算法聚合度達到0.97，協同服務系統總平均服務流量提高41.53%，協同效率提高18.98%，協同服務成功率提高28.17%；

2) TCSEC算法綜合性能明顯優于KNN，K-means算法.

4.3 TCSEC模型系統仿真分析

為分析邊緣計算協同服務系統交互特征，以訪問量、流量、負載、信譽度、任務接收率、協同成功率等為評價指標，基于TCSEC動態聚類對邊緣計算協同服務系統進行仿真.

設數據源邊緣服務器(edge service, ES)集群存在100個待遷移計算任務，每個遷移計算任務量500≤M≤1 024，對目標計算任務所在邊緣服務器ES進行浪涌式服務請求測試.用戶請求頻率f≤4次/s，每次請求5個連續的計算任務，實驗測試時間6 h，訪問量、流量采樣周期為30 s，信譽度、任務接收率、協同成功率采樣周期為5 s.

4.3.1 TCSEC模型系統訪問量分析

為分析浪涌訪問下，邊緣計算協同服務訪問量變化特征，數據源邊緣服務器ES，中繼基站RN和盟主節點LN的訪問量變化如圖23所示：

Fig. 23 Visits of cooperation service for edge computing圖23 邊緣計算協同服務訪問量

由圖23可知，邊緣計算協同服務訪問量具有2個特征：

1) 34 min系統出現第1次浪涌請求，ES與RN，LN的訪問量峰值分別達到9 919和9 920，平均訪問量為7 745和7 673；71 min系統出現第2次浪涌請求，ES與RN，LN的訪問量峰值分別達到14 567和15 353，平均訪問量為9 498和11 433；106.6 min系統出現第3次浪涌請求，ES與RN，LN的訪問量峰值分別達到12 994和22 671，平均訪問量為9 441和15 791；124 min達到系統設定的訪問量上限，觸發協同服務池分裂和聚合，135 min結束第1階段浪涌訪問測試.

2) 180 min時開始實施與第1階段相同的浪涌訪問.在185.0 min時，出現第1次浪涌請求，ES與RN，LN的訪問量快速上升，系統啟動邊緣計算協同服務機制，實施浪涌訪問均衡，ES與RN，LN的訪問量峰值分別為6 982和7 734，平均訪問量為3 111和3 814；230 min時，出現第2次浪涌請求，ES與RN，LN的訪問量峰值分別為6 982和11 765，平均訪問量為4 265和7262；280 min時，出現第3次浪涌請求，ES與RN，LN的訪問量峰值分別為6 477和16 475，平均訪問量為3 704和10 913；340 min結束浪涌訪問測試.

TCSEC模型系統訪問量實驗結果表明：

1) 第1階段測試時，第1次浪涌請求，ES與RN，LN的訪問量在可承受范圍內，訪問量差異不大.第2次浪涌請求，數據源邊緣服務器訪問量超過了閾值12 000次，任務遷移觸發，ES與RN，LN構建邊緣計算協同服務系統，并將大量任務遷移分發至中繼基站和盟主節點，訪問量逐漸表現出差異.第3次浪涌請求，RN，LN的訪問量超過了閾值18 000次，ES的訪問量超過了閾值12 000次，系統觸發分裂聚合協同操作，進行協同服務資源再度融合和邊緣計算協同服務系統重構，18 min后達到穩定.

2) 第2階段測試時，實施浪涌訪問均衡，再次面臨相同的浪涌請求時，ES的訪問量將維持穩定，RN，LN的峰值訪問量比第1階段平均下降21.31%,平均訪問量下降30.89%.

3) 計算任務服務節點提供的計算任務因“新鮮”被訪問節點傳播吸引更多的節點訪問，使計算任務服務節點的訪問量隨著訪問節點的增加而增加，當訪問量達一個極大值時，由于目標計算任務的“新鮮”度開始下降，訪問節點隨之減少，訪問量下降.

4) ES與RN，LN構建協同服務后，其訪問量變化具有聯動放大效應.通過訪問請求遷移分發和構建邊緣計算協同服務，能夠有效抑制訪問擁塞.

4.3.2 TCSEC模型系統性能分析

為分析浪涌訪問下，邊緣計算協同服務系統的服務能力及均衡性，ES，RN，LN節點的負載率如圖24所示，實時流量如圖25所示.

Fig. 25 Traffic of node in TCSEC圖25 TCSEC模型系統節點實時流量

由圖24、圖25可知TCSEC模型系統節點流量具有3個特征：

1) 第1次浪涌請求，ES峰值帶寬峰值流量達到15 554.17 MB/min，平均流量為7 642.50 MB/min；RN節點和LN節點的峰值流量分別為1 373.71 MB/min和797.81 MB/min，平均流量為525.04 MB/min和521.01 MB/min.第2次浪涌請求，ES帶寬峰值流量達到20 919.72 MB/min，平均流量為11 746.31 MB/min；RN節點和LN節點的峰值流量分別為1 970.95 MB/min和1 368.94 MB/min，平均流量為660.36 MB/min和651.31 MB/min.第3次浪涌請求，ES峰值流量達到26 926.74 MB/min，平均流量為14 416.21 MB/min；RN節點和LN節點的峰值流量分別為1 670.90 MB/min和1 307.68 MB/min，平均流量為810.70 MB/min和699.44 MB/min.

2) 構建邊緣計算協同服務系統，啟動邊緣計算協同服務后，ES峰值流量為3 070 MB/min，平均流量為1 758.08 MB/min；RN節點和LN節點峰值流量為1 045.81 MB/min和924.62 MB/min，平均流量為307.66 MB/min和302.78 MB/min.

3) ES，RN，LN流量分別于41 min，52 min，62 min達到任務遷移閾值，啟用請求服務轉發遷移.65 min時，ES流量超過額定閾值，ES與RN，LN構建骨干網絡邊緣計算協同服務系統.124 min，RN，LN在自治域內構建網絡邊緣計算協同服務系統.

TCSEC模型系統節點負載和流量實驗結果表明：

1) 第1階段浪涌訪問測試，ES，RN，LN是系統服務的主要提供者，第2階段浪涌訪問測試，以RN和LN為盟主構建的邊緣計算協同服務是系統服務的主要提供者.

2) ES負載達到設定閾值時，啟用構建邊緣計算協同服務，將任務遷移至盟員RN和LN，其流量增速降低69%，當RN和LN觸發構建邊緣計算協同服務后，ES負載率降低51%并趨于穩定.

3) 邊緣計算協同服務盟主節點的流量波動，將直接帶動其從屬節點產生相同的流量波動，所構建的邊緣計算協同服務具有馬氏效應.

4) 所有節點均具有優先與綜合性能優的節點連接趨勢，盟員節點因綜合性能差異而聚集到不同的邊緣計算協同服務中，形成邊緣計算協同服務的綜合性能參數和服務質量也不盡相同.

5) 普通盟主節點聚類構建的邊緣計算協同服務，由于其節點綜合性能較弱，因此其邊緣計算協同服務的服務能力也相對較弱.這類邊緣計算協同服務在系統中主要承擔保障網絡連通性和為局域提供服務的作用.

4.3.3 TCSEC模型系統信譽度驗證

為驗證邊緣計算協同服務系統信譽度的有效性，RN節點、LN節點、EN節點信譽度如圖26所示.協同服務系統節點信譽度具有3個特征：

1) RN節點和LN節點信譽度分別在8.6 min和8.7 min達到0.8，此時RN節點和LN節點間信任關系初步建立，在22.0 min和20.8 min時達到0.9，此時RN節點和LN節點間的主從關系得到確立.

2) 在60～120 min和180～240 min，浪涌請求訪問量達到極大值時，RN節點和LN節點信任關系穩定于0.92～0.94.

3) 第1階段浪涌訪問測試，邊緣服務器協同節點于50 min信譽度開始逐步上升，在130 min時達到穩定.第2階段浪涌訪問測試，邊緣服務器節點于190 min信譽度開始逐步上升，于300 min穩定于0.94.

Fig. 26 Trust of node in TCSEC圖26 TCSEC模型系統節點信譽度

TCSEC模型系統節點信譽度實驗結果表明：

1) 節點的平均在線時長、服務能力、可用帶寬、信譽度和鏈路延遲對邊緣計算協同服務的綜合性能產生重要影響.

2) RN節點和LN節點平均信譽度相對穩定，有效激勵了協同服務盟員參與協同的熱情，高效完成協同任務.

4.3.4 TCSEC模型系統用戶服務質量評價

為分析浪涌訪問下，用戶服務質量服務參數，通過任務接收率、協同服務成功率、鏈路重尋次數、用戶服務帶寬、協同服務響應延遲和協同傳輸丟包率進行評價，如圖27～31所示.

由圖27～31可知，邊緣計算協同服務參數具有2個特征：

Fig. 27 Task receiving rate圖27 任務接收率

Fig. 28 Task success rate圖28 交付成功率

Fig. 29 Frequency of link retrievals of EN圖29 盟員鏈路平均重尋次數

Fig. 30 Average service bandwidth of EN圖30 盟員平均服務帶寬

Fig. 31 Average packet loss rate圖31 平均丟包率

1) 邊緣計算協同服務任務接收率在第8 min穩定于0.99，協同成功率在第10 min穩定于0.97，丟包率在第4 min穩定于0.3.

Fig. 32 Load rate of ES in edge computing cooperative service圖32 邊緣計算協同服務數據源服務器負載率

2) 第1階段浪涌訪問測試，節點獲得服務速率由0.29 MBps提高至0.58 MBps，鏈路平均重尋次數為0.啟動協同服務機制，RN節點和LN節點構建邊緣計算協同服務系統，節點獲得服務速率由0.56 MBps提高至0.68 MBps，鏈路平均重尋次數0.02.

節點信譽度實驗結果表明：

1) 當信譽體系建立完成后，在浪涌訪問下，邊緣計算協同服務系統任務接收率穩定于0.99，協同成功率穩定于0.97.

2) 隨著邊緣計算協同服務系統協同規模擴大，鏈路重尋率上升2%，系統的服務效率提升1.95倍.

通過服務遷移和構建邊緣計算協同服務系統，能夠有效解決無線網絡中存在高擁塞、單點失效、低數據分發效率問題，提高服務質量，實現負載均衡，為大規?？尚胚吘売嬎惴仗峁┍Ｕ?

4.4 TCSEC模型系統性能對比

為對比邊緣計算協同服務系統性能，以流量、負載、信譽度、任務接收率、協同成功率等為評價指標，基于TCSEC動態聚類，將本文提出的TCSEC與隨機游牧(stochastic routing, SR)[54]、按需協同路由(ad hoc on-demand distance vector routing, AODV)[55]進行對比分析.

設ES集群存在100個待遷移計算任務，每個遷移計算任務量500≤M≤1 024，對目標計算任務所在ES進行浪涌式服務請求測試.用戶請求頻率f≤6次/s，鏈路重尋次數≤3，每次請求5個連續的流數據文件，實驗測試時間10 h，采樣時間設定與4.3節實驗一致.

TCSEC與隨機游牧、AODV協作的ES的負載和流量如圖32,33所示，中繼基站RN、盟主節點LN平均流量如圖34所示，信譽度實驗結果如圖35所示，訪問高峰段系統服務參數如表5～表6，協同服務響應延遲如圖36所示，協同服務任務遷移丟包率如圖37所示.

邊緣計算協同服務系統具有5個特征：

1) 第1階段浪涌訪問測試訪問高峰時段60～120 min，TCSEC，SR，AODV算法ES峰值流量分別為28 201 MB/min，13 182 MB/min，15 754 MB/min，峰值負載分別為0.65，0.97，0.97，平均流量16 891 MB/min，6 491 MB/min，7 746 MB/min，平均負載分別為0.66，0.96，0.95，基站、盟主節點峰值流量分別為15 286 MB/min，19 454 MB/min，19 438 MB/min，峰值負載分別為0.74，0.97，0.97，平均流量分別為6 589 MB/min，6 579 MB/min，7 824 MB/min，平均負載分別為0.68，0.93，0.92.TCSEC，SR，AODV算法鏈路平均重尋次數分別為2.18，2.25，0.01，協同服務接收率和成功率均分別為0.83，0.50，0.47，丟包率分別為0.21，0.39，0.30.

2) 第2階段浪涌訪問測試訪問高峰段210～270 min，TCSEC，SR，AODV算法ES峰值流量分別為10 230 MB/min，6 574 MB/min，9 633 MB/min，峰值負載分別為0.70，0.97，0.97，平均流量分別為5 179 MB/min，4 586 MB/min，5 171 MB/min，平均負載分別為0.49，0.95，0.94，基站、盟主節點峰值流量分別為7 854 MB/min，10 604 MB/min，16 890 MB/min，峰值負載分別為0.67，0.97，0.97，平均流量分別為2 020 MB/min，4 607 MB/min，5 108 MB/min，平均負載分別為0.58，0.93，0.92.TCSEC，SR，AODV算法平均鏈路重尋次數分別為2.23，2.20，0.01，協同服務接收率和成功率均分別為0.74，0.70，0.45，丟包率分別為0.21，0.39，0.31.

3) 第3階段浪涌訪問測試訪問高峰段360～420 min，TCSEC，SR，AODV算法ES峰值流量分別為12 700 MB/min，4 258 MB/min，2 961 MB/min，峰值負載分別為0.70，0.97，0.97，平均流量分別為6 714 MB/min，795 MB/min，870 MB/min，平均負載分別為0.48，0.94，0.94，基站、盟主節點峰值流量分別為9 752 MB/min，10 546 MB/min，15 459 MB/min，峰值負載分別為0.65，0.97，0.97，平均流量分別為1 610 MB/min，3 962 MB/min，3 899 MB/min，平均負載分別為0.61，0.93，0.92；TCSEC，SR，AODV算法平均鏈路重尋次數分別為2.18，2.25，0.01，協同服務接收率和成功率均分別為0.89，0.39，0.45，丟包率分別為0.21,0.40，0.30.

4) 實驗測試20 min，TCSEC，SR，AODV算法信譽度均為0.92.訪問高峰時段，TCSEC 算法RN，LN的信譽度穩定于0.97～0.98，而SR，AODV算法RN，LN的信譽度趨于0.

5) 系統邊緣計算協同服務達到穩定后，TCSEC，SR，AODV算法已獲得服務的盟員平均帶寬分別為2.5 MBps，2.5 MBps，2.41 MBps，平均訪問延遲分別為24 ms，37 ms，29 ms.

Fig. 33 Traffic of ES in edge computing cooperative service圖33 邊緣計算協同服務數據源服務器流量

Fig. 34 Average traffic of RN and LN in TCSEC，AODV and SR algorithms圖34 TCSEC，AODV，SR算法中繼基站和盟主節點平均流量

Fig. 35 Average trust of RN and LN in TCSEC，AODV and SR algorithms圖35 TCSEC，AODV，SR算法中繼基站和盟主節點平均信任度

Table 5 Performance Parameters of Cooperation Service for Edge Computing During Peak Access Time

Table 6 Performance Parameters of Cooperation Service for Edge Computing During Peak Access Time

Fig. 36 Access delay in edge computing cooperative service圖36 邊緣計算協同服務訪問延遲

Fig. 37 Packet loss rate in edge computing cooperative service圖37 邊緣計算協同服務平均丟包率

實驗結果表明：

1) 信譽評價與節點的負載、協同成功率相一致，能夠有效反映協同節點實時狀態.信譽度迅速下降直接反映了系統出現高擁塞、訪問過載等現象.

2) TCSEC能夠在浪涌式訪問請求測試實現負載均衡，有效地完成協同任務，SR，AODV算法則因負載過大發生雪崩效應.

3) 在訪問高峰時段，TCSEC與SR，AODV算法相比，ES峰值負載平均降低31.0%，平均負載平均降低40.6%，基站、盟主節點峰值負載降低27.7%，平均負載平均降低27.3%.

4) TCSEC與SR，AODV算法相比，協同任務接收率分別提高29.1%，36.4%，協同成功率分別提高29.0%，36.3%，協同傳輸丟包率分別降低18.3%，9.3%.

5) TCSEC與SR，AODV算法相比，平均服務帶寬基本一致，請求接收率分別提高29.1%，36.4%，任務成功率分別提高29.1%，36.4%，接收延遲分別降低35.1%，17.2%.

小結：TCSEC與SR，AODV算法相比，在負載均衡能力上提高29%，系統服務能力分別提高29%和36%，服務質量分別提高35%，17%.TCSEC算法能夠在浪涌式訪問請求下有效地完成協同任務.

5 總 結

以數據源邊緣服務器、岸基中心基站、島礁/智能浮臺中繼基站、盟主節點、船艦、智能移動節點等構建的近海港口邊緣計算協同服務面臨網絡拓撲動態、資源受限、抖動、搭便車、盲區效應、策略和惡意節點等諸多挑戰，導致網絡服務質量、容量和帶寬的不穩定性，使網絡效用下降.為保障網絡服務效用，構建自適應協同服務系統是一種有效方法.從負載平衡的角度出發，根據邊緣計算協同服務的負載情況，動態構造由協同服務盟員組成的邊緣計算協同服務來解決目前近海港口邊緣計算協同服務中存在擁塞、單點失效、盲區、效率和服務質量不高的問題.提出了一種基于盟主的邊緣計算協同服務組織模型TCSEC，模型運用節點的信任度、貢獻度、容量和帶寬、鏈路質量等作為表征節點的特征屬性，以任務驅動方式，由盟主節點基于節點的服務能力和相似性來選擇協同服務的節點，構建邊緣計算協同服務.給出了構建邊緣計算協同服務的數學模型、約束條件和構造規則，并進行了較為詳細的分析.仿真實驗表明，通過構建邊緣計算協同服務，能有效解決邊緣計算服務提供節點過載的問題，實現了協同服務、資源共享、負載均衡的目的，提高了近海港口環境下邊緣計算協同服務的服務質量.