天地融合網絡中基于深度強化學習的計算卸載算法研究

摘 要：隨著近地軌道（Ｌｏｗ Ｅａｒｔｈ Ｏｒｂｉｔ，ＬＥＯ）衛星網絡和移動邊緣計算（Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ，ＭＥＣ）技術的發展，通過在ＬＥＯ 衛星上部署ＭＥＣ 服務器，可以為缺乏計算資源的偏遠地區提供計算卸載服務。然而，隨著地面用戶數量的不斷增加，天地融合網絡中的計算卸載場景變得越發復雜。現有研究難以應對任務復雜、到達率較高的場景，針對上述問題，在現有算法的基礎上，提出了一種基于深度強化學習（Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＲＬ）的并行計算卸載（ＤＲＬ-ｂａｓｅｄ Ｐａｒａｌｌｅｌ Ｃｏｍｐｕｔａｔｉｏｎ Ｏｆｆｌｏａｄｉｎｇ，ＤＰＣＯ）算法。該算法以最小化計算卸載平均時延為優化目標進行建模，考慮了阿姆達爾定律對計算性能的影響，并對星上服務器的計算資源進行劃分，以實現多任務并行處理的功能。此外，ＤＰＣＯ 算法將模型轉換為馬爾可夫決策過程（Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ，ＭＤＰ），并使用Ａ２Ｃ（Ａｄｖａｎｔａｇｅ Ａｃｔｏｒ-Ｃｒｉｔｉｃ）算法對其進行求解。通過仿真實驗驗證了ＤＰＣＯ 算法性能，結果表明該算法有效地解決了現有算法的缺陷，可為天地融合網絡中的計算卸載算法設計提供參考和幫助。

關鍵詞：計算卸載；移動邊緣計算；天地融合網絡；深度強化學習

中圖分類號：ＴＮ９２７ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０６－１１７７－０７

０ 引言

隨著通信技術的不斷發展，各種終端設備之間的頻繁交互顯著增加了對計算資源的需求［１］。然而，由于終端設備的計算能力有限，用戶難以快速完成海量數據的計算任務。因此，近年來移動計算范式從集中式的云計算［２］向移動邊緣計算（ＭｏｂｉｌｅＥｄｇｅ Ｃｏｍｐｕｔｉｎｇ，ＭＥＣ）［３－５］轉變。ＭＥＣ 在傳統云計算的基礎上，將計算能力下沉至邊緣，使其更接近用戶的無線接入網絡。這種方法使得計算密集型和時延敏感型應用能夠在資源有限的設備上得以執行。與傳統云計算相比，ＭＥＣ 具備了更好的可擴展性、可靠性和時延性能［６］。

隨著天地融合網絡的發展，越來越多的學者開始關注如何利用衛星網絡中的資源［７－８］。通過利用近地軌道（Ｌｏｗ Ｅａｒｔｈ Ｏｒｂｉｔ，ＬＥＯ）衛星網絡的全覆蓋能力，在ＬＥＯ 衛星節點上部署計算服務器，可以將計算任務卸載到衛星節點上。這種方法可以為偏遠地區的用戶提供計算卸載服務，并顯著減少了任務處理的時延。

然而，有限的衛星資源和地面用戶日益增長的需求使卸載場景變得越發復雜，如何設計出高效可靠的計算卸載算法成為了研究的重點。為充分利用ＬＥＯ 衛星網絡中的通信和計算資源，Ｚｈａｎｇ 等［９］提出了一種動態網絡功能虛擬化技術來整合衛星網絡的資源。在衛星編排器中增加動態資源監視器，以實現對網絡資源信息的實時監控。這些信息隨后被傳送給用戶和ＭＥＣ 服務器，用于調整它們的運行策略。

Ｈａｏ 等［１０］研究了ＬＥＯ 衛星ＭＥＣ 網絡中計算卸載、無線資源分配和緩存設置的聯合優化問題，其目標是最小化所有地面物聯網設備的總時延，同時確保滿足能量、計算和緩存約束。為解決這個混合整數和非凸問題，提出了一種基于拉格朗日對偶分解的算法來獲得閉式最優解；然后提出了一種啟發式算法以降低計算復雜度。然而，該算法沒有考慮任務排隊時延，不能準確表示處于繁忙狀態下的衛星計算卸載場景。

Ｌｉｎ 等［１１］將ＭＥＣ 服務器上多優先級任務的排隊時延納入了考慮，其算法優化目標是在能耗約束下最小化任務端到端總時延，將其建模為一個混合整數非線性規劃問題，并設計了基于深度強化學習（Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＲＬ）的動態任務卸載（ＤＲＬｂａｓｅｄ Ｄｙｎａｍｉｃ Ｔａｓｋ Ｏｆｆｌｏａｄｉｎｇ，ＤＤＴＯ）算法，可以有效減小任務處理的總時延。然而，ＤＤＴＯ算法在單個ＭＥＣ 服務器上只能同時計算一個任務，無法實現多任務并行計算。此外，它并未考慮阿姆達爾定律［１２］對計算速率的約束，可能導致衛星服務器的計算資源無法得到充分利用。

為解決上述問題，本文提出了一種基于ＤＲＬ 的并行計算卸載（ＤＲＬｂａｓｅｄ Ｐａｒａｌｌｅｌ Ｃｏｍｐｕｔａｔｉｏｎ Ｏｆｆｌｏａｄｉｎｇ，ＤＰＣＯ）算法。首先，在天地融合網絡場景中對計算卸載問題進行了建模，并將優化目標設置為最小化任務計算卸載平均時延。然后，在建模過程中，考慮了阿姆達爾定律對計算性能的影響，并對ＭＥＣ 服務器的計算資源進行劃分，以實現多任務的并行處理。在將模型轉換為馬爾可夫決策過程（Ｍａｒｋｏｖ ＤｅｃｉｓｉｏｎＰｒｏｃｅｓｓ，ＭＤＰ）時，將動作空間設置為離散形式，提升了算法的收斂速度。最后，使用Ａ２Ｃ（ＡｄｖａｎｔａｇｅＡｃｔｏｒＣｒｉｔｉｃ）算法求解計算卸載策略和資源分配策略的優化問題。通過仿真測試評估了ＤＰＣＯ 算法的性能，與現有算法相比，ＤＰＣＯ 顯著減少了任務的計算卸載平均時延，并在特定場景中展示出更加顯著的優化效果。

１ 天地融合網絡計算卸載模型

本文提出了一個天地融合網絡計算卸載場景的系統模型，如圖１ 所示。該模型由搭載ＭＥＣ 服務器的ＬＥＯ 衛星組成，可以為地面用戶提供計算卸載服務。在天地融合網絡中設有Ｍ 顆衛星，每顆衛星攜帶一個ＭＥＣ 服務器，記作集合Ｓ＝｛ｓ１，ｓ２，…，ｓＭ｝，可為覆蓋區域內的Ｎ 個地面用戶提供服務，用戶集合記作Ｕ＝｛ｕ１，ｕ２，…，ｕＮ｝。在時隙ｔ 開始時，每個用戶ｕｎ 生成待處理的任務集合Ｍｎ（ｔ）＝ ｛ωｎ（ｔ），ｚｎ（ｔ），ｐｒｉｎ（ｔ）｝，其中ωｎ（ｔ）表示任務計算量；ｚｎ（ｔ）表示任務數據量；ｐｒｉｎ （ｔ ）表示任務優先級，且定義ｐｒｉｎ（ｔ）∈［１，２，…，ＰＲＩＮ］。

綜上所述，當任務被卸載到衛星ＭＥＣ 服務器時，總的計算時延可以表示為：

ｄＣｎ，ｍ（ｔ）＝ ｄＰｎ，ｍ（ｔ）＋ｄＱｎ，ｍ（ｔ）。（１３）

１． ３ 計算卸載問題建模

本文的優化目標是在一定的能耗約束下，最小化任務的平均計算卸載平均時延。基于前文構建的模型，該優化問題可表示為：

式中：Ｅｉ 表示用戶ｕｉ 的電池容量，ｓｉ（ｔ）∈｛０，１｝定義為一個二元變量。具體來說，當任務被卸載到衛星ＭＥＣ 服務器時，ｓｉ（ｔ）＝ １；當任務執行本地計算時，ｓｉ（ｔ）＝ ０。

優化函數的含義為：在時間周期Ｔ 內，最小化任務的計算卸載平均時延。約束條件規定了用戶的本地計算能耗和總傳輸能耗在周期Ｔ 內不得超過電池容量。該優化目標是一個ＮＰｈａｒｄ 問題，可通過將其建模為一個ＭＤＰ 來進行求解。

２ ＤＰＣＯ 算法介紹

２． １ 基于ＭＤＰ 的任務卸載問題設計

ＭＤＰ 是序列隨機決策問題的模型，因此被廣泛用于自主代理通過動作影響其周圍環境的應用［１７］。

本文將ＭＤＰ 定義為一個四元組opy＝｛Ｓ，Ａ，Ｐ，Ｒ｝，其中Ｓ 和Ａ 分別表示狀態空間和動作空間，Ｐ 表示狀態轉移函數，Ｒ 表示獎勵函數。基于上節所描述的優化問題，可構建ＭＤＰ 模型如下：

① 狀態空間。記為ｓ（ｔ），表示智能體（ａｇｅｎｔ）在每個時隙ｔ 可以觀測到的狀態信息的集合。在本文的模型中是指任務和ＭＥＣ 服務器的參數信息：

ｓ（ｔ）＝ ｛ｚ（ｔ），ｗ（ｔ），ｆ Ｓ（ｔ），ｐｒｉｎ（ｔ）｝。（１６）

② 動作空間。記為ａ（ｔ），表示智能體基于觀測到的狀態信息ｓ（ｔ）可能采取的動作集合：

ａ（ｔ）＝ ｛［ａｎ（ｔ）］１×Ｎ，［ｋｍ（ｔ）］１×Ｍ｝１×（Ｎ＋Ｍ）。（１７）

③ 獎勵函數。獎勵函數ｒ（ｔ）表示在狀態ｓ（ｔ）下采取動作ａ（ｔ）所獲得的獎勵。

在ＭＤＰ 問題中，設置合理的獎勵函數是解決問題的基礎。獎勵函數通常設定為在不滿足約束時取極小值，而本文的優化目標是最小化計算卸載平均時延。因此，當約束滿足時，將平均時延取負值作為獎勵函數。相反，如果約束未滿足，則取一個極小值作為獎勵函數，以保持模型的科學嚴謹性。獎勵函數ｒ（ｔ）定義為：

２． ２ ＤＰＣＯ 算法設計

為解決上述ＭＤＰ 問題，設計了一種ＤＰＣＯ 算法。在多種經典的ＤＲＬ 方法中，選擇使用Ａ２Ｃ 算法［１８］。這是因為Ａ２Ｃ 算法對計算能力需求較低，并且在處理較大狀態空間時有著優秀的性能，特別適用于計算資源有限且復雜的天地融合網絡計算卸載場景。

ＤＰＣＯ 算法的狀態空間、動作空間和獎勵函數的建模方法已在前文進行了詳細介紹。將動作空間策略性地建模為離散形式，可以加快ＤＰＣＯ 算法的收斂速度，使其更好地適配ＬＥＯ 衛星高動態性的特點。

將當前狀態和動作分別表示為向量形式ｓｔ，ａｔ，并將策略網絡記其為πθ，其以當前狀態ｓｔ 作為輸入，輸出策略π（ａｔ ｓｔ；θ）。將價值網絡記為Ｖω，以當前狀態ｓｔ 和策略作為輸入，輸出預期獎勵Ｖπ（ｓｔ）。在訓練過程中，通過網絡的輸出迭代更新策略網絡和價值網絡的參數θ 和ω。

動作－價值函數表示為Ｑπ（ｓｔ，ａｔ）＝ Ｅπ ［Ｒｔ ｜ ｓｔ ＝ｓ，ａｔ ＝ａ］，其含義為在狀態ｓｔ 下采取動作ａｔ 獲得的預期累計收益。狀態－價值函數表示為Ｖπ（ｓｔ）＝Ｅπ［Ｒｔ ｜ ｓｔ ＝ ｓ，πｔ ＝ π］，其含義為在狀態ｓｔ 下遵循策略πｔ 獲得的預期累計收益。Ａ２Ｃ 算法的優勢函數定義為：

Ａπ（ｓｔ，ａｔ）Ｑπ（ｓｔ，ａｔ）－Ｖπ（ｓｔ）＝ ｒ＋γＶπ（ｓｔ＋１）－Ｖπ（ｓｔ）。（２０）

由于狀態－價值函數無法直接觀測，必須通過一個參數化網絡進行估計，記為Ｖω。該網絡通過時序差分（Ｔｅｍｐｏｒａｌ Ｄｉｆｆｅｒｅｎｃｅ，ＴＤ）算法進行更新。計算出ＴＤ 誤差后，使用均方誤差（Ｍｅａｎ ＳｑｕａｒｅｄＥｒｒｏｒ，ＭＳＥ）準則最小化ＴＤ 誤差，從而實現網絡參數的更新。

ＤＰＣＯ 算法的偽代碼如算法１ 所示。

３ 仿真結果分析

３． １ 仿真實驗設置

本次仿真在Ｐｙｔｈｏｎ ３． ９ 環境下進行。ＤＰＣＯ 算法的系統模型已在前文中進行了詳細介紹。在ＤＰＣＯ 算法中，策略網絡和價值網絡均設置為４ 層，包括一個輸入層、一個輸出層和兩個隱藏層。策略網絡隱藏層中的神經元數量分別為２ ０４８ 和１ ０２４，而價值網絡隱藏層中的神經元數量分別為１ ０２４ 和５１２。使用Ｇｉｇａｃｙｃｌｅ（ＧＣ）作為任務計算量的單位。仿真實驗中的其他參數如表１ 所示。

３． ２ 算法收斂性分析

對Ａ２Ｃ 算法和近端策略優化（Ｐｒｏｘｉｍａｌ ＰｏｌｉｃｙＯｐｔｉｍｉｚａｔｉｏｎ，ＰＰＯ）［１９］兩種算法常用的強化學習算法的收斂速度進行分析，如圖２ 所示。當二者收斂到相同的平均時延時，Ａ２Ｃ 算法僅需要２ ０００ 個Ｅｐｉｓｏｄｅ，而ＰＰＯ 算法則需要２０ ０００ 個Ｅｐｉｓｏｄｅ，因此，基于Ａ２Ｃ 的ＤＰＣＯ 算法可以大大提高計算卸載的效率。

學習率對ＤＰＣＯ 算法收斂性的影響如圖３ 所示，當學習率為０． ０１ 時，平均時延曲線收斂到２． １ ｓ；當學習率為０． ００１ 時，平均時延曲線在２ ０００ 個Ｅｐｉｓｏｄｅ后收斂到０． ５ ｓ。當學習率為０． ０００ １ 時，平均時延曲線在２０ ０００ 個Ｅｐｉｓｏｄｅ 后收斂到０． ５ ｓ。結果表明，過高的學習率雖然可以加快收斂速度，但可能導致算法陷入局部最優而無法達到全局最優。反之，如果學習率過低，收斂速度將過于緩慢，從而降低算法的效率。

３． ３ 算法性能對比測試

本節從任務計算量、數據量和到達率３ 個方面對算法平均時延進行評估，并將ＤＰＣＯ 算法與３ 種不同計算卸載算法進行比較。① ＤＤＴＯ 算法：一種基于ＤＲＬ 的彈性衛星網絡邊緣卸載策略。② 隨機卸載算法：將任務隨機卸載到衛星服務器。③ 本地卸載算法：任務在本地設備上進行處理。

３． ３． １ 任務計算量對計算卸載性能的影響

任務到達率設定為每分鐘１０８ 個，任務數據量遵循均值為４ Ｍｂｉｔ 的正態分布。仿真結果如圖４ 所示，ＤＰＣＯ 算法相比于ＤＤＴＯ、隨機卸載和本地卸載算法，分別減少了２５％ 、５９％ 和８１％ 的平均時延。此外，當任務計算量較小時，ＤＰＣＯ 算法相較于ＤＤＴＯ 算法的時延性能優勢更加明顯，最高可減少４８％ 。而在任務計算量較大時，ＤＰＣＯ 算法也能保證與ＤＤＴＯ 算法相當的性能。

上述結果表明，ＤＰＣＯ 算法在處理低計算需求任務時，能夠有效克服現有計算卸載算法的性能限制。同時，ＤＰＣＯ 算法在其他場景中也能保證出色的性能。

３． ３． ２ 任務數據量對計算卸載性能的影響

任務到達率設定為每分鐘１０８ 個，任務計算量遵循均值為３． ５ ＧＣ 的正態分布。仿真結果如圖５所示，與ＤＤＴＯ 算法、隨機卸載和本地卸載算法相比，ＤＰＣＯ 算法的平均時延分別降低了４１％ 、５８％和８０％ 。

３． ３． ３ 任務到達率對計算卸載性能的影響

任務數據量設置為遵循均值為４ Ｍｂｉｔ 的正態分布，任務計算量遵循均值為３． ５ ＧＣ 的正態分布，仿真結果如圖６ 所示。隨著到達率的增加，ＤＤＴＯ算法的平均時延迅速上升，而ＤＰＣＯ 算法的時延保持相對穩定。這種穩定性得益于ＤＰＣＯ 算法能夠動態地將ＭＥＣ 服務器的計算資源劃分為多個邏輯子服務器，從而實現單個ＭＥＣ 服務器上的并行計算，減少了任務排隊時延。

４ 結束語

本文提出了一種ＤＰＣＯ 算法，對天地融合網絡中的計算卸載問題進行建模，優化目標為最小化計算卸載平均時延。考慮了阿姆達爾定律對計算性能的影響，并將服務器劃分為多個邏輯子服務器，以實現多任務并行處理；將問題轉化為ＭＤＰ，并將動作空間設計為離散形式，以提高模型的收斂速度；使用Ａ２Ｃ 算法解決計算卸載和資源分配策略的優化問題。仿真結果表明，ＤＰＣＯ 算法在任務計算卸載平均時延方面的性能顯著優于ＤＤＴＯ、隨機卸載和本地卸載算法。總而言之，ＤＰＣＯ 算法有效地解決了現有算法中的性能缺陷，尤其是在任務到達率高且計算要求較低的場景中有著不錯的表現，可以為天地融合網絡中的計算卸載算法設計提供參考和幫助。

參考文獻

［１］ 施巍松，孫輝，曹杰，等． 邊緣計算：萬物互聯時代新型計算模型［Ｊ］． 計算機研究與發展，２０１７，５４ （５）：９０７－９２４．

［２］ 陳全，鄧倩妮． 云計算及其關鍵技術［Ｊ］． 計算機應用，２００９，２９（９）：２５６２－２５６７．

［３］ 謝人超，廉曉飛，賈慶民，等． 移動邊緣計算卸載技術綜述［Ｊ］． 通信學報，２０１８，３９（１１）：１３８－１５５．

［４］ 李子姝，謝人超，孫禮，等． 移動邊緣計算綜述［Ｊ］． 電信科學，２０１８，３４（１）：８７－１０１．

［５］ ＭＡＯ Ｙ Ｙ，ＹＯＵ Ｃ Ｓ，ＺＨＡＮＧ Ｊ，ｅｔ ａｌ． Ａ Ｓｕｒｖｅｙ ｏｎ ＭｏｂｉｌｅＥｄｇｅ Ｃｏｍｐｕｔｉｎｇ：Ｔｈｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｐｅｒｓｐｅｃｔｉｖｅ ［Ｊ］．ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ ＆ Ｔｕｔｏｒｉａｌｓ，２０１７，１９（４）：２３２２－２３５８．

［６］ ＭＥＨＲＡＢＩ Ｍ，ＹＯＵ Ｄ Ｈ，ＬＡＴＺＫＯ Ｖ，ｅｔ ａｌ． Ｄｅｖｉｃｅｅｎｈａｎｃｅｄ ＭＥＣ：Ｍｕｌｔｉａｃｃｅｓｓ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ （ＭＥＣ）Ａｉｄｅｄ ｂｙ Ｅｎｄ Ｄｅｖｉｃｅ Ｃｏｍｐｕｔａｔｉｏｎ ａｎｄ Ｃａｃｈｉｎｇ：Ａ Ｓｕｒｖｅｙ［Ｊ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０１９，７：１６６０７９－１６６１０８．

［７］ 唐琴琴，謝人超，劉旭，等． 融合ＭＥＣ 的星地協同網絡：架構、關鍵技術與挑戰［Ｊ］． 通信學報，２０２０，４１（４）：１６２－１８１．

［８］ 唐清清，李斌． 面向空天地一體化網絡的移動邊緣計算技術［Ｊ］． 無線電通信技術，２０２１，４７（１）：２７－３５．

［９］ ＺＨＡＮＧ Ｚ Ｊ，ＺＨＡＮＧ Ｗ Ｙ，ＴＳＥＮＧ Ｆ Ｈ． Ｓａｔｅｌｌｉｔｅ ＭｏｂｉｌｅＥｄｇｅ Ｃｏｍｐｕｔｉｎｇ：Ｉｍｐｒｏｖｉｎｇ ＱｏＳ ｏｆ Ｈｉｇｈｓｐｅｅｄ ＳａｔｅｌｌｉｔｅＴｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋｓ Ｕｓｉｎｇ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ［Ｊ］． ＩＥＥＥ Ｎｅｔｗｏｒｋ，２０１９，３３（１）：７０－７６．

［１０］ＨＡＯ Ｙ Ｙ，ＳＯＮＧ Ｚ Ｙ，ＺＨＥＮＧ Ｚ，ｅｔ ａｌ． Ｊｏｉｎｔ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｃｏｍｐｕｔｉｎｇ，ａｎｄ Ｃａｃｈｉｎｇ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ ｉｎ ＬＥＯＳａｔｅｌｌｉｔｅ ＭＥＣ Ｎｅｔｗｏｒｋｓ ［Ｊ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０２３，１１：６７０８－６７１６．

［１１］ＬＩＮ Ｔ Ｈ，ＬＵＯ Ｚ Ｙ． Ａ Ｈｉｇｈｐｅｒｆｏｒｍａｎｃｅ ＤＲＬｂａｓｅｄ Ｍｏｂｉｌｅ Ｅｄｇｅ Ｏｆｆｌｏａｄｉｎｇ ｆｏｒ Ｅｌａｓｔｉｃ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋ［Ｃ］∥２０２２ Ｗｏｒｋｓｈｏｐ ｏｎ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ．Ｂｅｌｌｉｎｇｈａｍ：ＳＰＩＥ，２０２３，１２７２０：５５－６９．

［１２］ＡＭＤＡＨＬ Ｇ Ｍ． Ｖａｌｉｄｉｔｙ ｏｆ ｔｈｅ Ｓｉｎｇｌｅ Ｐｒｏｃｅｓｓｏｒ Ａｐｐｒｏａｃｈｔｏ Ａｃｈｉｅｖｉｎｇ Ｌａｒｇｅ Ｓｃａｌｅ Ｃｏｍｐｕｔｉｎｇ Ｃａｐａｂｉｌｉｔｉｅｓ［Ｃ］∥ＡＦＩＰＳ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ． Ｒｅｓｔｏｎ：ＡＦＩＰＳ Ｐｒｅｓｓ，１９６７：４８３－４８５．

［１３］ＭＵＮＯＺ Ｏ，ＰＡＳＣＵＡＬＩＳＥＲＴＥ Ａ，ＶＩＤＡＬ Ｊ． Ｏｐｔｉｍｉｚａｔｉｏｎｏｆ Ｒａｄｉｏ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｒｅｓｏｕｒｃｅｓ ｆｏｒ Ｅｎｅｒｇｙ Ｅｆｆｉｃｉｅｎｃｙ ｉｎ Ｌａｔｅｎｃｙｃｏｎｓｔｒａｉｎｅｄ Ａｐｐｌｉｃａｔｉｏｎ Ｏｆｆｌｏａｄｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０１４，６４（１０）：４７３８－４７５５．

［１４］ＰＩＮＥＬＬ Ｃ，ＰＲＯＬ Ｆ Ｓ，ＢＨＵＩＹＡＮ Ｍ Ｚ Ｈ，ｅｔ ａｌ． ＲｅｃｅｉｖｅｒＡｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ ｗｉｔｈ Ｌｏｗ Ｅａｒｔｈ ＯｒｂｉｔＳａｔｅｌｌｉｔｅ Ｓｉｇｎａｌｓ：Ａ Ｓｕｒｖｅｙ［Ｊ］． ＥＵＲＡＳＩＰ Ｊｏｕｒｎａｌ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２０２３，２０２３（１）：６０．

［１５］ ＹＵＥ Ｐ Ｙ，ＡＮ Ｊ Ｐ，ＺＨＡＮＧ Ｊ Ｋ，ｅｔ ａｌ． Ｌｏｗ Ｅａｒｔｈ ＯｒｂｉｔＳａｔｅｌｌｉｔｅ Ｓｅｃｕｒｉｔｙ ａｎｄ Ｒｅｌｉａｂｉｌｉｔｙ：Ｉｓｓｕｅｓ，Ｓｏｌｕｔｉｏｎｓ，ａｎｄ ｔｈｅＲｏａｄ Ａｈｅａｄ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ ＆ Ｔｕｔｏｒｉａｌｓ，２０２３，２５（３）：１６０４－１６５２．

［１６］ＭＩＳＨＲＡ Ｍ Ｒ，ＤＡＳＨ Ｂ Ｂ，ＧＯＳＷＡＭＩ Ｖ，ｅｔ ａｌ． Ａ ＮｅｗＴａｓｋ Ｏｆｆｌｏａｄｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ Ｇｅｏｓｐａｔｉａｌ Ｆｏｇ ＣｏｍｐｕｔｉｎｇＥｎｖｉｒｏｎｍｅｎｔ Ｕｓｉｎｇ Ｍ／ Ｍ／ Ｃ Ｑｕｅｕｅｉｎｇ Ａｐｐｒｏａｃｈ［Ｃ］∥Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆＡｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｓｉｎｇａｐｏｒｅ：Ｓｐｒｉｎｇｅｒ Ｎａｔｕｒｅ Ｓｉｎｇａｐｏｒｅ，２０２２：１０５－１１３．

［１７］ＳＨＡＮＩ Ｇ，ＨＥＣＫＥＲＭＡＮ Ｄ，ＢＲＡＦＭＡＮ Ｒ Ｉ，ｅｔ ａｌ． ＡｎＭＤＰｂａｓｅｄ Ｒｅｃｏｍｍｅｎｄｅｒ Ｓｙｓｔｅｍ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２００５，６（９）：１２６５－１２９５．

［１８］ＭＮＩＨ Ｖ，ＢＡＤＩＡ Ａ Ｐ，ＭＩＲＺＡ Ｍ，ｅｔ ａｌ． ＡｓｙｎｃｈｒｏｎｏｕｓＭｅｔｈｏｄｓ ｆｏｒ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｃ］∥Ｔｈｅ ３３ｒｄＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ：ＰＭＬＲ，２０１６：１９２８－１９３７．

［１９］ＳＣＨＵＬＭＡＮ Ｊ，ＷＯＬＳＫＩ Ｆ，ＤＨＡＲＩＷＡＬ Ｐ，ｅｔ ａｌ． ＰｒｏｘｉｍａｌＰｏｌｉｃｙ Ｏｐｔｉｍｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ［ＥＢ／ ＯＬ］． （２０１７－０７－２０）［２０２４－０７－２８］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ／ ａｂｓ／１７０７． ０６３４７．

作者簡介：

王從羽 男，（２０００—），碩士研究生。主要研究方向：邊緣計算卸載。

（*通信作者）羅志勇 男，（１９７３—），博士，教授，博士生導師。主要研究方向：衛星互聯網一體化融合、無線通感算融合賦能技術、通信人工智能應用。

基金項目：國家重點研發計劃（２０２３ＹＦＢ２９０４７０１ ）；廣東省基礎與應用基礎研究基金（２０２３Ｂ１５１５１２００９３ ）；廣東省重點研發計劃（２０２４Ｂ０１０１０２０００６）；深圳市重點項目（ＫＪＺＤ２０２３０９２８１１２７５９００２）