車聯網中基于聯邦和強化學習的邊緣緩存策略

【摘要】為解決車聯網中傳統內容流行度預測方法無法準確捕獲車輛請求特性，導致緩存命中率較低的問題，提出了一種基于聯邦學習和強化學習的邊緣協同緩存策略。該策略將車輛請求概率更高的內容預緩存在其他車輛或路側單元中，以提高緩存命中率和降低平均內容獲取延時。采用聯邦學習方法利用分布在多個車輛上的私有數據進行訓練并預測內容流行度，然后使用強化學習算法求解目標函數，獲得流行內容的最佳緩存位置。結果表明，所提出的策略在緩存命中率和平均內容獲取延時方面均優于其他對比緩存策略，有效提升了車聯網邊緣緩存性能。

主題詞：智能交通 邊緣緩存 車聯網 聯邦學習 強化學習

中圖分類號：U463.6；TP181" "文獻標志碼：A" "DOI： 10.19620/j.cnki.1000-3703.20230389

Edge Caching Strategy of Internet of Vehicles Based on Federated

and Reinforcement Learning

Zhang Liang， Zhang Guodong， Lu Jianwei， Lei Xiayang， Cheng Hao

（Hefei University of Technology， Hefei 230009）

【Abstract】In order to solve the problem that the traditional content popularity prediction method in the Internet of Vehicles cannot accurately capture the vehicle request characteristics and leads to the low cache hit rate， an edge collaborative caching strategy based on federated learning and reinforcement learning is proposed. This strategy pre-caches content with a higher probability of vehicle requests in other vehicles or roadside units to improve the cache hit ratio and reduce the average content acquisition delay. The federated learning method is used to train and predict the content popularity using private data distributed across multiple vehicles， and then the reinforcement learning algorithm is used to solve the objective function to obtain the best cache location for the popular content. The results show that the proposed strategy is better than other caching strategies in terms of cache hit ratio and average content acquisition delay， which effectively improves the performance of the edge cache of the Internet of Vehicles.

Key words： Intelligent transportation， Edge caching， Internet of Vehicles， Federated learning， Reinforcement learning

【引用格式】 張良， 張國棟， 盧劍偉， 等. 車聯網中基于聯邦和強化學習的邊緣緩存策略[J]. 汽車技術， 2024（10）： 49-55.

ZHANG L， ZHANG G D， LU J W， et al. Edge Caching Strategy of Internet of Vehicles Based on Federated and Reinforcement Learning[J]. Automobile Technology， 2024（10）： 49-55.

1 前言

為了解決車聯網（Internet of Vehicles，IoV）遠程云服務器的訪問延時較高，難以滿足低延時和多樣化應用需求的問題，研究人員提出了內容緩存技術，通過將內容預先緩存到邊緣節點上，以減少回程鏈路上的數據流量并降低服務延時[1]。然而，邊緣節點的存儲容量有限，因此緩存策略必須優先緩存最受車輛用戶關注的流行內容。緩存策略主要分為反應式緩存和主動式緩存兩類[2]。反應式緩存依賴于用戶請求后再進行緩存操作，如先進先出和最近最少使用策略。但這種方式僅在內容被請求后才會緩存，無法提前緩存未請求過的內容。主動式緩存通過預測內容流行度，在用戶請求到達之前預先緩存流行內容，更適用于車聯網場景。

在主動式緩存中，機器學習廣泛應用于預測內容流行度，以提高緩存效率。文獻[3]提出了基于聯邦學習的上下文感知主動緩存策略，通過對抗性自動編碼器預測內容流行度。文獻[4]利用齊夫（Zipf）模型計算內容流行度，并根據車輛和路側單元（Road Side Unit，RSU）的內容獲取延時決定內容的獲取位置。然而，Zipf模型基于歷史請求數據進行計算，難以準確捕捉內容流行度的時變特性[5]。為了解決這一問題，文獻[6]采用長短期記憶網絡預測時間序列中的內容請求，并將其結果作為Zipf模型的輸入，以利于更準確地預測未來的內容請求。然而，識別不流行的內容仍然具有挑戰性，因為未知和未請求的內容常常混淆在一起[7]。基于上述內容緩存策略的不足，本文構建一種城市交通邊緣緩存場景，并對邊緣節點的緩存決策以及網聯車輛通信場景進行了建模與假設，在此基礎上提出了一種基于聯邦和強化學習的協同緩存策略（Edge Cooperative Caching based on Federated and Reinforcement learning，ECCFR）。然后以緩存命中率和內容傳輸延時為評價指標，通過Python平臺進行仿真，系統地測試分析緩存總容量、緩存方式對所提出的協同緩存策略的影響。

2 城市交通邊緣緩存場景構建

本文構建的城市邊緣緩存場景為三層式架構，底層是網聯車輛，中間層包含多個RSU，用于緩存附近車輛可能請求的內容，頂層是多個具有緩存能力的基站（Base Station，BS），用于存儲其覆蓋范圍內所有RSU的緩存內容列表并管理其緩存資源，如圖1所示。

在BS的覆蓋區域內，RSU rs （s=1，2，3，...，S）以距離Dr等距放置在道路一側，任意兩個RSU之間沒有重疊的覆蓋區域。車輛vi （i=1，2，3，...，I）會穿過多個RSU的覆蓋區域[8]，假設所有車輛沿同一方向行駛，車輛的速度ui （i=1，2，3，...，I）是獨立同分布的，并且在每次通信過程中保持其指定速度不變，在t時間內進入每個RSU范圍內的車輛數量為V（t），遵循參數為λ的泊松過程[3]。因此，在時間t內進入RSU范圍內的車輛數量g的概率可以表示為：

[P（V（t）=g）=λtgg！e-λt] （1）

當車輛經過某個RSU覆蓋區域時，移動車輛可以連接到RSU并向其發送內容請求。如果請求的內容已緩存，即緩存命中。否則，請求車輛必須從互聯網獲取所請求的內容，即緩存未命中[9-10]。

3 緩存決策與通信時延模型構建

3.1 緩存決策模型

本文將RSU和用戶車輛進行協作緩存，以便更準確地滿足車輛用戶的內容請求[11-14]。RSU會在每一時間段內根據車輛速度和位置選擇多個連接車輛協作訓練共享的全局模型，并在車群中選取一個車輛vcv作為輔助緩存車輛，且輔助緩存車輛與車群中其他車輛僅存在一跳信號傳輸。

假設每個RSU rs的緩存容量大小為Crsu，輔助緩存車輛vcv的緩存容量大小為Ccv，通常Ccvlt;Crsult;N，其中N為預測的前N個流行度較高的內容。為了表示每輪的請求內容q（q=1，2，3，...，Q）是否緩存在RSU和vcv中，定義一個二進制矩陣YQ表示緩存決策：

[YQ=yr，qycv，q] （2）

[yr，q，ycv，q∈{0，1}] （3）

式中：yr，q=1表示將內容q緩存在RSU rs中，yr，q=0表示不緩存，ycv，q=1表示將內容緩存在輔助緩存車輛vcv中，ycv，q=0表示不緩存。

3.2 通信時延模型

每輛車在每一輪通信中保持相同的通信模型，并在不同輪中更改其通信模型[15]。當通信輪次為d時，第i輛車[vdi]的信道增益建模為：

[hdi（dis（x，vdi））=ldi（dis（x，vdi））gdi（dis（x，vdi））] （4）

式中：x為與車輛[v di]進行通信的邊緣節點，當x=rs時表示RSU rs，當x=vcv時表示輔助緩存車輛vcv；dis（x，[vdi]）為輔助緩存車輛vcv和車輛[vdi]之間的距離；[ldi（dis（x，vdi））]為輔助緩存車輛vcv和車輛[vdi]之間的路徑損耗；[gdi（dis（x，vdi））]為輔助緩存車輛vcv和車輛[vdi]之間的陰影衰落，它們都遵循對數正態分布。

每個RSU通過車對路側單元（Vehicle to RSU，V2R）鏈路與其覆蓋區域內的車輛進行通信，而同一個車群中車輛通過車對車（Vehicle to Vehicle，V2V）鏈路進行通信[16]。RSU rs和輔助緩存車輛vcv在不同的通信輪次中與車輛[vdi]之間的距離不同，因此在不同通信輪次中以不同的速率進行傳輸，V2R鏈路的傳輸速率為[17]：

[Rdrs，i=Blog21+Prshdi（dis（rs，vdi））σ2c] （5）

式中：B為可用帶寬，[Prs]為RSU rs的發射功率，[σ2c]為噪聲功率。

類似的，V2V鏈路的傳輸速率計算如下：

[Rdvcv，i=Blog21+Pvcvhdi（dis（vcv，vdi））σ2c] （6）

式中：[Pvcv]為vcv的發射功率。

基于上述分析，可以建立內容傳輸時延模型，當內容被緩存在不同位置時，獲取所請求內容q的內容傳輸延時是不同的。如果內容q緩存在本地RSU rs中，車輛[vdi]通過V2R鏈路從RSU rs處獲取內容的延時可以定義為：

[Tdrs，i，q=sqRdrs，i] （7）

式中：sq為內容q的大小。

通過V2V鏈路從輔助緩存車輛vcv處獲取內容的延時為：

[Tdvcv，i，q=sqRdvcv，i] （8）

4 基于聯邦和強化學習的協同緩存策略

該策略主要包含2個部分，即基于聯邦學習的內容流行度預測和基于強化學習的協作式緩存算法，如圖2所示。

4.1 基于聯邦學習的內容流行度預測

4.1.1 聯邦學習

聯邦學習（Federated Learning，FL）模型訓練會執行多輪通信，每輪通信分為5步，如圖3所示。

a. 車輛選擇。車輛選擇過程將考慮車輛在RSU區域內的停留時間，這主要取決于聯網車輛的位置和速度。假設第d輪通信第i個連接車輛的速度為[udi]，（umin≤[udi]≤umax），且[udi]遵循截斷高斯分布[3]，則[udi]的概率密度函數表示為：

[f（udi）=e-12σ2（udi-μ）22πσ2（erf（umax-μσ2）-erf（umin-μσ2））， umin≤udi≤umax0，" " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " 其他]

（9）

式中：erf （）為[udi]在均值μ和方差σ2下的高斯誤差函數；umin和umax分別為聯網車輛的最小車速和最大車速，則每輛車[vdi]在當前RSU覆蓋區域內停留的時間為：

[Ti，dstd=（Dr-Pdi）udi] （10）

式中：Dr為RSU覆蓋區域的直徑，[Pdi]為[vdi]在RSU覆蓋范圍內經過的距離。

假設每一輪通信的平均訓練時間為Ttrn并且推理時間為Tinf，若[Ti，dstd]gt;Ttrn+Tinf，則表示車輛滿足停留時間的要求，并被選擇參與FL訓練，反之忽略[3]。

b. 模型下載。在第d輪通信中，RSU基于條件過濾變分自動編碼器（Conditional Filtering based Variational AutoEncoder，CF-VAE）初始化全局模型ωd。在之后每一輪中，RSU都更新全局模型，并將更新后的全局模型發送給所有選定車輛。

c. 模型訓練。每個車輛將從RSU處下載的全局模型ωd設置為初始本地模型，并利用車輛的本地數據進行訓練迭代該模型。設第k輪迭代的本地模型為[ωdi，k]，則車輛[vdi]在本地模型[ωdi，k]下的局部損失函數為：

[l（ωd i，k）=1Qdi，kj∈Qdi，klj（ ωd i，k）] （11）

式中：[Qdi，k]為車輛[vdi]從訓練集中隨機選取的數據，lj（[ωdi，k]）為第[k]輪迭代時選取的數據中第j個數據的預測損失。

第k輪迭代結束后，車輛[vdi]再次隨機采樣一些訓練數據并開始第（k+1）次迭代。在（k+1）次迭代中的本地模型為：

[ωdi，k+1←ωd-η?lωdi，k] （12）

式中：η為固定學習率，[?lωdi，k]為[lωdi，k]的梯度。

重復以上過程，當迭代次數達到設定的最大值時，車輛[vdi]完成本地訓練。

d. 模型上傳。將更新后的本地模型[ωd+1i]從車輛上傳到RSU服務器。

e. 模型聚合。車輛上傳模型后，RSU將所有本地模型進行加權和計算，生成新的全局模型[ωd+1]，下一輪通信訓練的全局模型更新為：

[ωd+1=i=1Iqdiqdγiωd+1i] （13）

式中：[qdi]為車輛[vdi]中的本地數據量，qd為選定車輛的總本地數據量，[ωd+1i]為車輛[vdi更新后的本地模型]，γi=[Pdi]/Dr為車輛[vdi]的聚合權重。

4.1.2 流行內容預測

用于聯邦訓練的模型是CF-VAE，主要由推理神經網絡和生成神經網絡組成。分別將矩陣X和矩陣[c]輸入推理神經網絡以學習潛在表征z，然后將這些獲得的表征組合重構后輸出矩陣[X]。用作輸入數據的X是車輛用戶的內容檢索歷史，若用戶之前請求過某個內容，則將這個內容標記1，反之則標記為0。但將所有未請求的內容都標記0是不合理的，因為不感興趣的內容中包含了未知內容和未被請求的內容。因此，為了區別未知內容，使用隨機抽樣標記未知內容，對應于矩陣中空白的位置。[c]為車輛用戶上下文信息矩陣，[X]為內容流行度矩陣。將輸出值進行排序后，輸出中得分最高的N個內容將被選作流行內容，如圖4所示。

通常，CF-VAE假設對于每個x∈X，會對應1組或多組z～p（z），其中p（z）是潛在變量z的概率分布。目標是最大化生成每個輸入數據x的概率，它可以定義成：

[p（x）=p（x|z）p（z）dz] （14）

雖然先驗分布p（z）和似然估計p（x|z）都可以精確表示，但后驗分布p（z|x）需要在潛在空間上進行難以處理的積分。因此，CF-VAE選擇利用推理神經網絡q（z|x）來近似真實的后驗分布p（z|x），從而提供更可能產生輸入數據x的潛在變量的分布，且近似后驗分布q（z|x）遵循高斯分布[N（μ，σ2）]，[μ]為均值，[σ2]為方差。這是通過最小化q（z|x）和p（z|x）之間的散度（Kullback-Leibler，KL）來實現的，將其表示為：

[D[q（z|x）||p（z|x）]=Ez～qz|x[logqz|x-logp（z|x）]]" "（15）

應用貝葉斯推理，可以得到：

[D[q（z|x）||p（z|x）]=Ez～qz|xlogqz|x-logpz|x+logp（x）] （16）

為了最小化D[q（z|x）||p（z|x）]，將式（16）簡化為：

[logp（x）≥Ez～qz|xlogpx|z-D[q（z|x）||p（z）]] （17）

公式（17）右側為CF-VAE的變分下界，生成網絡p（x|z）和推理網絡q（z|x）通過最大化其變分下界來進行訓練。

最后，通過訓練好的模型來預測內容的流行度。完整的內容流行度預測算法在算法1中進行概述，如圖5所示。

4.2 基于強化學習的協同緩存

強化學習（Reinforcement Learning，RL）是一種自適應算法，對于主動式緩存，RL是一種較好的求解方法，故本文提出了一種基于Q-learning[18]的協作式內容緩存算法。Q-learning會將狀態與動作對應的獎勵值記錄在Q矩陣中，在強化學習每次迭代的過程中，Q矩陣會不斷更新其中的元素，迭代一定的次數后，Q矩陣將趨于穩定。最后，在測試階段，智能體將選擇最高的獎勵及其相應的動作來執行給定系統狀態的緩存決策。完整的協同緩存算法在算法2中進行了概述，如圖6所示。

對強化學習在ECCFR中的作用，作如下解釋：

a. 狀態。將RSU rs和輔助緩存車輛vcv的總緩存容量視為系統狀態。

b. 動作。為了獲得相應的獎勵，智能體首先需要基于觀測到的系統狀態執行動作，即緩存決策。因此，本文將緩存決策矩陣YQ視為強化學習中的動作集。

c. 獎勵。在根據系統狀態執行動作后，將生成相應的獎勵，用于在訓練Q矩陣的過程中更新元素值，在測試階段將直接執行最大獎勵值對應的動作。因此，本文將最大化緩存命中率設計為獎勵函數，緩存命中率表示為：

[Hr=Prζ×αr+Prζ×αcv] （18）

式中：Prζ=[p1，p2，p3，...，pN]為下一時間段內請求的每個內容的概率向量，αr為RSU相應的緩存決策向量，αcv為輔助緩存車輛的緩存決策向量。

每一狀態動作組合對應一個獎勵值R（s，a），即緩存命中率值，智能體會根據該獎勵值通過更新公式對Q矩陣中第s行、第a列的元素值進行更新。Q（s，a）的更新公式如下所示：

[Q（s，a）=Q（s，a）+α[R（s，a）+λmaxQ（s'，a'）-Q（s，a）]] （19）

式中：s′和a′為下一時刻的狀態和動作；α為學習率，是小于1的常數；λ為折扣因子，表示對未來獎勵的衰減值，若λ值接近0，表示智能體更關注直接的獎勵，λ值接近1，則表示智能體更注重未來的獎勵。

5 仿真試驗與分析

5.1 仿真環境設置與數據集

本文模擬了一個城市區域中的車輛邊緣緩存場景，包括1個BS，2個RSU和15臺仿真車輛。車輛和RSU、MBS之間的通信采用第三代合作伙伴計劃（3rd Generation Partnership Project，3GPP）蜂窩V2X（Cellular Vehicle to Everything，C-V2X）架構，其中參數設置參考3GPP標準[19]。仿真環境為Python3.6，深度學習框架為Pytorch。在試驗中使用的數據來自MovieLens網站收集的真實數據集Movielen 1M。該數據集包含了來自3 884部電影的6 041個匿名用戶的1 000 210個評分，以及評分用戶的上下文信息，例如性別、年齡、職業、郵編地址。每輛車從本地數據中隨機選擇80%的數據作為訓練集，20%的數據作為測試集。為了模擬車輛請求內容的過程，假設用戶對一部電影進行１次評分算為１次內容請求過程。

5.2 評價指標與試驗對比

本文選擇緩存命中率和內容傳輸延時作為性能指標來評估ECCFR策略，并使用3種傳統緩存策略與ECCFR進行比較，3種比較策略為：隨機緩存（Random），即隨機緩存內容在RSU和輔助緩存車輛中；最近最少使用（Least Recently Used，LRU），即當達到緩存容量限制時，它首先刪除緩存中最近使用次數最少的內容。最不常使用（Least Frequently Used，LFU），即只要緩存容量已滿，緩存中最不常用的內容就會被刪除。

5.3 試驗結果與分析

圖7為不同緩存總容量下不同緩存策略性能對比。如圖7a所示，各種緩存策略的緩存命中率隨總緩存容量的增加而呈現上升趨勢。這是因為更大的緩存容量意味著可以緩存更多的內容，輔助緩存車輛和RSU可以滿足來自車輛用戶的更多請求。此外，隨機緩存策略Random的緩存命中率最低，因為該策略僅隨機選擇內容，而不考慮內容流行度。在緩存容量為350 Mb時，Random、LRU、LFU和ECCFR的緩存命中率分別為8.32%、44.32%、47.33%和55.18%。與其他緩存策略相比，ECCFR的緩存命中率分別超過了46.86%、10.86%和7.85%。ECCFR緩存命中率更高的原因是因為采用了基于CF-VAE的內容請求預測，使得內容流行度更加準確，緩存了車輛用戶在下一個時間段請求的可能性更大的內容。如圖7b所示，在不同緩存容量下，所有緩存策略的平均內容傳輸延時隨著緩存容量的增加而減小。這是因為，隨著緩存容量的增加，緩存命中率將提高，較高緩存命中率使得車輛用戶可以直接從邊緣節點獲取請求內容，從而避免通過延時更高的回程鏈路從遠程內容提供商處獲取請求的內容。在緩存容量為350 Mb時，Random、LRU、LFU和ECCFR的內容獲取平均延時分別為58.78 ms、45.50 ms、42.10 ms和36.41 ms，這意味著與其他策略相比，ECCFR的平均內容獲取延時分別節省了22.37 ms、9.09 ms和5.69 ms。

圖8為當緩存總容量為100時，ECCFR中RL的迭代次數和緩存命中率及內容傳輸延時的關系。隨著迭代次數的增加，緩存命中率逐漸增加，內容傳輸延時逐漸降低，這是因為輔助緩存車輛和RSU在前10次迭代中逐漸緩存了適當的流行內容。當迭代次數達到10次左右時，緩存命中率和內容傳輸延時開始收斂，這是因為智能體在第10次迭代時開始學習執行最佳協作緩存的策略。

圖9為在不同緩存容量下，使用了RL的ECCFR緩存策略與沒有使用RL的基于聯邦學習的協同緩存策略（Edge Cooperative Caching based on Federated learning，ECCF）的緩存命中率和平均內容獲取時延。如圖9a所示，ECCFR的緩存命中率優于無強化學習的ECCF，這是因為ECCFR可以通過強化學習自適應地根據預測的流行內容來確定最佳協作緩存，從而可以在邊緣節點中緩存更合適的流行內容。如圖9b所示，ECCFR的平均內容獲取延時小于沒有強化學習的ECCF，這是因為ECCFR的緩存命中率優于沒有強化學習的ECCF，從而車輛用戶能夠以相對較低的延時從輔助緩存車輛和RSU處獲取所請求的內容。

6 結束語

為了進一步提高IoV中的內容緩存命中率，減少內容獲取延時，本文提出了一種基于聯邦和強化學習的協作緩存策略ECCFR。該策略基于條件過濾變分自動編碼器來估計內容流行度，并使用強化學習來最大化緩存命中率。仿真結果表明，相比于其他緩存策略，ECCFR在緩存命中率和平均內容傳輸延時方面表現更優。考慮到車輛高速移動時會導致頻繁的網絡拓撲結構變化，下一步將詳細分析車輛的移動性對緩存決策的影響，研究具有自主緩存決策能力的邊緣節點之間的協作緩存決策，提高方法的可用性。

參 考 文 獻

[1] YU Z X， HU J， MIN G Y， et al. Proactive Content Caching for Internet-of-Vehicles Based on Peer-to-Peer Federated Learning[C]// 2020 IEEE 26th International Conference on Parallel and Distributed Systems （ICPADS）. Hong Kong， China： IEEE， 2020.

[2] YU Z X， HU J， MIN G Y， et al. Privacy-Preserving Federated Deep Learning for Cooperative Hierarchical Caching in Fog Computing[J]. IEEE Internet of Things Journal， 2021， 9（22）： 22246-22255.

[3] YU Z X， HU J， MIN G Y， et al. Mobility-Aware Proactive Edge Caching for Connected Vehicles Using Federated Learning[J]. IEEE Transactions on Intelligent Transportation Systems， 2020， 22（8）： 5341-5351.

[4] YE H， LI G Y， JUANG B H F. Deep Reinforcement Learning Based Resource Allocation for V2V Communications[J]. IEEE Transactions on Vehicular Technology， 2019， 68（4）： 3163-3173.

[5] SU Z， HUI Y L， XU Q C， et al. An Edge Caching Scheme to Distribute Content in Vehicular Networks[J]. IEEE Transactions on Vehicular Technology， 2018， 67（6）： 5346-5356.

[6] WANG R Y， KAN Z W， CUI Y P， et al. Cooperative Caching Strategy with Content Request Prediction in Internet of Vehicles[J]. IEEE Internet of Things Journal， 2021， 8（11）： 8964-8975.

[7] MANIAS D M， SHAMI A. Making A Case for Federated Learning in the Internet of Vehicles and Intelligent Transportation Systems[J]. IEEE Network， 2021， 35（3）： 88-94.

[8] CUI Y P， DU L J， WANG H G， et al. Reinforcement Learning for Joint Optimization of Communication and Computation in Vehicular Networks[J]. IEEE Transactions on Vehicular Technology， 2021， 70（12）： 13062-13072.

[9] ZHAO L， LI H X， LIN M W， et al. Intelligent Content Caching Strategy in Autonomous Driving Toward 6G[J]. IEEE Transactions on Intelligent Transportation Systems， 2021， 23（7）： 9786-9796.

[10] ZHANG M， WANG S， GAO Q. A Joint Optimization Scheme of Content Caching and Resource Allocation for Internet of Vehicles in Mobile Edge Computing[J]. Journal of Cloud Computing， 2020， 9（1）： 1-12.

[11] ZHANG K， CAO J， MAHARJAN S， et al. Digital Twin Empowered Content Caching in Social-Aware Vehicular Edge Networks[J]. IEEE Transactions on Computational Social Systems， 2021， 9（1）： 239-251.

[12] ZHANG Y， WANG R， HOSSAIN M S， et al. Heterogeneous Information Network-Based Content Caching in The Internet of Vehicles[J]. IEEE Transactions on Vehicular Technology， 2019， 68（10）： 10216-10226.

[13] ZHANG K， LENG S P， HE Y J， et al. Cooperative Content Caching in 5G Networks with Mobile Edge Computing[J]. IEEE Wireless Communications， 2018， 25（3）： 80-87.

[14] CUI Y P， DU L J， HE P， et al. Multi-Vehicle Intelligent Collaborative Computing Strategy for Internet of Vehicles[C]//2022 IEEE Wireless Communications and Networking Conference （WCNC）. Austin， TX， USA ： IEEE， 2022： 1647-1652.

[15] CHEN S Z， HU J L， SHI Y， et al. Vehicle-to-Everything （V2X） Services Supported by LTE-Based Systems and 5G[J]. IEEE Communications Standards Magazine， 2017， 1（2）： 70-76.

[16] LIANG L， YE H， LI G Y. Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning[J]. IEEE Journal on Selected Areas in Communications， 2019， 37（10）： 2282-2292.

[17] CHEN J Y， WU H Q， YANG P， et al. Cooperative Edge Caching with Location-Based and Popular Contents For Vehicular Networks[J]. IEEE Transactions on Vehicular Technology， 2020， 69（9）： 10291-10305.

[18] WATKINS C J C H. Learning from Delayed Rewards[J]. Robotics amp; Autonomous Systems， 1989， 15（4）： 233-235.

[19] CHEN S Z， HU J L， SHI Y， et al. Vehicle-to-Everything （V2X） Services Supported by LTE-based Systems and 5G[J]. IEEE Communications Standards Magazine， 2017， 1（2）： 70-76.

（責任編輯 王 一）

修改稿收到日期為2023年6月12日。