移動邊緣計算中融合注意力機制的DRL工作流任務卸載算法

摘 要： 移動邊緣計算的計算密集型任務多為工作流任務，傳統方法在解決工作流任務卸載問題時很難充分考慮子任務之間的依賴關系，并且計算卸載算法性能不佳。為了解決以上問題，將工作流任務卸載問題建模為馬爾可夫決策過程下的最優策略問題，構建問題的狀態空間、動作空間和獎勵函數。以最小化工作流任務的任務完成時間和系統能耗為目標，提出一種融合注意力機制的基于深度強化學習（DRL）的工作流任務卸載算法（DWTOAA）。該方法使用分段式獎勵函數來提高模型訓練速度，并結合注意力機制提高算法對工作流任務終止執行狀態的識別能力。實驗結果表明，DWTOAA方法相較于DRL算法具有更快的訓練速度，同時在求解不同子任務數的工作流任務時，DWTOAA得到的卸載決策均具有更少的任務完成時間和系統能耗。

關鍵詞： 移動邊緣計算； 注意力機制； 工作流任務； 任務卸載； 深度強化學習； 馬爾可夫決策過程； 系統能耗

中圖分類號： TN929.5?34" " " " " " " " " " " " " 文獻標識碼： A" " " " " " " " " " " "文章編號： 1004?373X（2025）06?0045?07

DRL workflow task offloading algorithm with attention mechanism in MEC

LEI Xuemei1， ZHANG Hetong2

（1. Office of Information Technology， University of Science and Technology Beijing， Beijing 100083， China;

2. School of Automation and Electrical Engineering， University of Science and Technology Beijing， Beijing 100083， China）

Abstract： Most of the computing intensive tasks of mobile edge computing （MEC） are workflow tasks. It is difficult for traditional methods to fully consider the dependency between sub tasks when solving the workflow task offloading， and the performance of computing offloading algorithm is poor. In order to solve above problems， the problem of workflow task offloading is modeled as the problem of the optimal strategy under the Markov decision process， and the state space， action space， and reward function of problems are constructed. In order to minimize the task completion time and system energy consumption of the workflow tasks， a deep reinforcement learning （DRL） based workflow task offloading algorithm integrating attention mechanism （DWTOAA） is proposed. In this method， the segmented reward function is used to increase the training speed of the model， and the attention mechanism is combined to improve the algorithm's ability to recognize the termination status of workflow tasks. The experimental results show that the DWTOAA has a faster training speed compared with the DRL algorithm， and the offloading decisions obtained by DWTOAA have smaller task completion time and system energy consumption when solving workflow tasks with different numbers of subtasks.

Keywords： mobile edge computing; attention mechanism; workflow task; task offloading; deep reinforcement learning; Markov decision process; system energy consumption

0" 引" 言

隨著智能移動終端飛速發展，大數據時代的來臨，移動設備承載了越來越多的計算密集型實時應用[1?2]，而這些應用對移動設備的計算能力和實時性也提出了更高的要求。為解決這一問題，移動邊緣計算（Mobile Edge Computing， MEC）技術得到了學界的廣泛關注[3]。

MEC技術中計算卸載問題是關鍵，一直以來都有學者采用啟發式方法研究這一問題。文獻[4]改進了遺傳算法中選擇、交叉和變異操作，提高了算法求解最優卸載策略的效率。……