面向霧計算的嵌入式異構計算服務放置策略

劉錦輝，易必杰，張 昊

(西安電子科技大學 計算機科學與技術學院，陜西 西安 710071)

霧計算[1]是從云計算演化來的一種計算范式。作為云計算的延伸，霧計算的算力由云端下沉至靠近物聯網設備的邊緣側，從而有效降低服務的傳輸延遲，保障服務質量。霧計算環境通常是由高性能嵌入式板卡組成的異構計算集群。一方面，由于底層硬件架構的差異性，霧計算環境中的資源很難像云計算那樣進行統一管理。另一方面，由于嵌入式計算資源算力受限，服務在霧計算層不同的映射放置策略，對霧計算層設備的資源利用率影響巨大。因此，研究在霧計算環境中如何合理部署服務，高效利用嵌入式設備上有限的異構資源，已成為學術界與產業界的研究熱點。

針對分布式計算協作問題，文獻[2]采用基于動態規劃的策略不僅可以有效降低系統服務延遲，同時還可以提高資源利用率。為保證訪問頻繁的服務盡可能靠近用戶，文獻[3]提出一種分布式服務放置策略，有效改善了服務的網絡使用和延遲。文獻[4]將應用請求建模為有向無環圖(Directed Acycline Graph，DAG)，分別設計在線和離線兩種策略，期望在截止期限內完成更多的任務請求。文獻[5]提出的服務管理策略在滿足了不同服務交付延遲的同時顯著提高了系統性能。現有研究主要考慮服務質量(Quality of Service，QoS)，較少涉及嵌入式資源異構性及資源利用率[6]。然而在資源受限環境下，有效提高異構計算資源利用率是提升霧環境服務承載能力的關鍵。因此在霧環境中，有必要研究一種基于嵌入式異構資源利用率的服務放置策略。

筆者提出了一種面向霧計算應用的服務放置策略，在確保服務質量的同時，充分考慮異構資源利用率。實驗結果表明，與基于請求率策略和iFogSim默認策略相比，筆者提出的策略在系統異構資源利用率方面分別提高了約10.7%和28.7%。

1 基于嵌入式異構資源利用率的放置策略

如圖1所示，采用一種通用系統架構描述霧計算環境，整體分為3層：云層、霧層和用戶層。云層是由大型服務器構成的計算集群，位于整個架構的最上層。

圖1 霧計算系統架構

霧層主要由各種嵌入式計算設備組成，位于用戶和云之間，主要為延遲敏感的應用提供部署環境，對用戶請求做出快速響應。根據霧層設備與用戶間的物理距離不同，將霧層設備細分為多個子層，越靠近用戶側的子層網絡延遲越小，同一子層內的設備間網絡通信開銷明顯低于跨層網絡通信開銷。用戶層與用戶直接交互，向上層發送收集到的數據，同時接收上層處理后的返回結果。

針對霧層中微服務的放置問題，如果在建模過程中僅考慮服務質量指標，就無法充分利用霧層設備上的資源，造成霧層設備資源利用率下降。因此，考慮資源約束條件下的任務分配問題是更符合霧計算環境的[7]。

1.1 系統模型

基于微服務的設計思想，將應用程序建模為一組服務集合，服務間的調用關系以有向無環圖的形式表示。霧層設備資源利用率模型構建如下。

(1)

其中，d(k)表示用戶k訪問的設備到云層的路徑上的設備集合。

(2)

(3)

假定霧層中的設備集合為F，設備數量為|F|，則系統X類型的資源利用率ηX為所有設備利用率的算術平均值：

(4)

在考慮多種資源的情況下，無法保證n種資源利用率均最大化[8]。因此，通過一種加權平均方法綜合考慮各種資源的利用率。按上述模型計算系統每種類型資源的利用率，為每種資源設置權重，且權重之和為1：

wcpu+wmem+wbw+wgpu+wfpga=1 。

(5)

(6)

(7)

(8)

(9)

(10)

(11)

基于以上分析，定義系統平均異構資源利用率ηavg為所有類型資源利用率的加權平均，服務放置策略的求解目標即為最大化系統平均資源利用率：

(12)

1.2 放置策略算法

為了同時保證服務質量指標與霧層設備的資源利用率，服務放置時首選霧層中最靠近用戶側的子層[9]。圖2展示了服務放置位置的決策流程。

圖2 算法流程圖

在設備Di資源充足時，則直接在其上放置服務Mx，否則需要比較直接在新的設備放置服務與遷移設備Di上已有服務來滿足服務Mx放置需求這兩種策略的資源利用率，確定放置決策。具體地，算法1描述了基于系統異構資源利用率設計服務放置策略。

算法1基于嵌入式異構資源的服務放置策略。

輸入：微服務服務Mx，嵌入式設備Di。

輸出：服務Mx放置操作a。

① ifMx?Ms

③a(Mx，Di)；

⑤a(Mx，f(Di))；

⑥ else

⑦ forM∈Ms

⑧ 計算CsubDi，M并加入到o(Di)；

⑨ forCsubDi，Mino(Di)

⑩ 計算Ravg，M；

算法1的整體過程是確定一個服務Mx是否放置在設備Di上。當設備Di上剩余的可用資源已不能滿足服務Mx的資源請求時，則考慮重新放置設備Di上已部署的其他服務，從而使得Di上的資源可用量達到服務Mx的要求。算法1以最大化霧層設備資源利用率為目標，不斷衡量通過重新放置其他服務來保證Mx放置到設備Di上的策略與直接將服務Mx放置到上層設備的策略的優劣關系，確定最佳服務放置策略。

具體地，算法1的輸入為當前待放置的服務Mx和放置目標設備Di。算法1第1行到第5行中，嘗試將Mx放置到Di上。當且僅當Di上已經放置的服務列表Ms中不包含Mx時，策略才會考慮服務放置請求。如果Di是云層的設備，或者Di當前資源可用量可以滿足Mx請求資源量時，則直接將Mx放置到Di上。如果Mx請求資源量大于Di資源總量，則直接將服務Mx放置在Di的上層設備f(Di)，并開始新一輪的策略循環。

若上述決策均未執行，則執行算法1的第6行到第12行，對Ms中的所有服務計算傳遞閉包，并對傳遞閉包與Ms交集計算平均資源利用率。需要考慮選擇當前設備Di上合適的服務集合進行重新放置，以釋放足夠的資源空間放置Mx。如上文所述，首先需要計算Di上的每個服務對應的傳遞閉包T(M)。由于此時T(M)中的服務不一定都在Di上，因此還需要和Ms求交集，得到CsubDi，M集合；該集合表示當需要遷移某個服務M時需要一起進行遷移的服務集合。對每個CsubDi，M進行判斷，是否真正需要遷移以釋放資源，取決于CsubDi，M中服務的平均資源請求量。具體而言，需要先計算當前集合CsubDi，M的平均資源占用量Ravg，M，該值用于表示根據服務請求率和資源請求量綜合之后得到的對比指標；最后按照Ravg，M對所有集合排序得到o(Di)。

2 實驗結果及分析

2.1 軟硬件環境及參數介紹

使用Xilinx的ZCU102嵌入式平臺作為硬件測試環境，通過Petalinux2018.3編譯生成系統啟動文件[10]。然后通過Kuberbetes設備插件設計實現在ZCU102上容器化環境中的資源發現，為服務在嵌入式設備上的放置與執行提供容器化執行環境[11]。

使用iFogSim框架構建霧計算環境[12]。該框架支持創建分層的體系結構、分布式應用程序的建模以及基于性能指標評估調度策略。實驗中使用的環境參數參考文獻[3]，如表1所示。

表1 環境參數對照表

2.2 實驗設計與結果分析

本節通過改變環境參數構建不同場景，并針對應用程序數量、網絡層數等對比指標設計實驗[13]。筆者提出的基于異構資源利用率的服務放置策略，在結果中表示為Resource，以下簡稱R策略。實驗中與之對比的另外兩種策略如下：

Popularity：以下簡稱P策略，文獻[3]中提出的基于請求率的服務放置策略，核心思想是將請求率較高的服務盡可能放置在靠近用戶層的設備上。

Edgewards：以下簡稱E策略，或iFogSim默認策略[14]。該策略盡量將服務放置在靠近用戶層的設備上，與P策略的不同在于僅通過CPU的資源消耗量決定服務的放置。

2.2.1 異構資源利用率對比

本小節分別對比不同參數下3種策略的異構資源利用率的實驗情況，并給出簡要分析。

應用程序數量：參數A表示應用程序的數量，這一參數在實驗環境中表示為連接到某一網關上的傳感器數量。實驗結果如圖3所示。

圖3 資源利用率隨應用程序數量變化情況

由于設備資源有限，過多請求會導致霧層設備資源消耗接近飽和狀態，無法處理新到來的放置請求，此時請求將直接被發送到云層處理。因此隨著A數量不斷增加，霧層設備整體資源利用率會趨于穩定[15]。實驗結果表明，筆者提出的R策略的霧層設備資源利用率明顯高于另外兩種策略。原因在于P策略將請求率較低的服務放置在距離云層更近的霧層設備上，服務分布較為分散，從而導致資源利用率較低；E策略將服務更多地放置在距離用戶層更近的霧層設備上以滿足服務靠近用戶的要求，因此資源利用率隨著A增加而上升。

網絡層數：霧層設備資源利用率隨網絡層數的變化如圖4所示。由于傳入的A數量保持不變，所以對于霧層設備資源利用率的影響較小。R策略在保障請求率的基礎上考慮了資源利用率，因此整體利用率略高于P策略；由于P策略和R策略使用類似于廣度優先遍歷的策略搜索設備，盡量將服務放置到同層的其他設備上，因此激活的設備數量受層數變化影響較小；而E策略采用類似深度優先策略，服務被放置到多層設備上，從而導致霧層的資源利用率較低。

圖4 資源利用率隨網絡層數變化情況

路由節點數量：霧層設備資源利用率隨路由節點數量變化如圖5所示。路由節點數量參數Lchildrendevices增加會導致A數量增加。R策略隨路由節點數量增加，霧層設備資源利用率上升，在路由節點數量為8時趨于穩定。相較之下，另外兩種策略利用率變化不明顯，路由節點數量為3時就已經趨向穩定，原因在于E策略是一種縱向放置決策，受橫向擴展的參數變化影響不明顯；而P策略將服務分為高低兩種請求率，服務放置較為分散，因此橫向擴展后，雖然A數量增加，但是對應同一層的設備數量也隨之增加，因此P策略的資源利用率略高于E策略，但低于將服務放置更緊密的R策略。

圖5 資源利用率隨路由節點數變化情況

2.2.2 網絡帶寬占用對比

根據文獻[3]，定義網絡帶寬占用為每個請求大小與設備間網絡延遲乘積之和，單位為字節。網絡帶寬占用隨網絡層數變化情況如圖6所示。實驗結果中，3種策略表現出來的整體變化趨勢一致，即隨著網絡層數增加，設備之間網絡帶寬占用也隨之增加。然而，筆者提出的R策略在同樣的實驗環境下，霧層設備網絡帶寬占用明顯較低，原因在于R策略較于另外兩種策略，會將服務更緊密放置在同一層，避免不同層間頻繁通信。因此，設備之間延遲受網絡層數變化影響相對較小，網絡帶寬占用更低。

圖6 網絡帶寬占用隨網絡層數量變化情況

2.3 實驗總結

對3種服務放置策略進行實驗對比，實驗結果說明筆者提出放置策略在降低網絡帶寬占用的同時提高了霧層設備資源利用率。如表2所示，筆者提出的R策略在不同場景均表現出較高的資源利用率，相比其他兩種策略分別平均提高約 10.7% 和28.7%。在網絡帶寬占用對比實驗中，隨著網絡層數不斷增加，R策略相比其他策略在網絡帶寬占用上大幅度降低。

表2 實驗結果匯總

3 結束語

通過設計針對異構資源利用率的服務放置策略，在保證服務質量的前提下，有效地提高了嵌入式資源的利用率。通過與基于請求率的策略和iFogSim默認策略進行對比，筆者提出的策略在同樣的霧計算環境下，在提高霧層設備資源利用率的同時有效地降低了網絡帶寬占用。