車聯(lián)網(wǎng)中基于聯(lián)邦和強化學習的邊緣緩存策略

【摘要】為解決車聯(lián)網(wǎng)中傳統(tǒng)內(nèi)容流行度預(yù)測方法無法準確捕獲車輛請求特性，導(dǎo)致緩存命中率較低的問題，提出了一種基于聯(lián)邦學習和強化學習的邊緣協(xié)同緩存策略。該策略將車輛請求概率更高的內(nèi)容預(yù)緩存在其他車輛或路側(cè)單元中，以提高緩存命中率和降低平均內(nèi)容獲取延時。采用聯(lián)邦學習方法利用分布在多個車輛上的私有數(shù)據(jù)進行訓練并預(yù)測內(nèi)容流行度，然后使用強化學習算法求解目標函數(shù)，獲得流行內(nèi)容的最佳緩存位置。結(jié)果表明，所提出的策略在緩存命中率和平均內(nèi)容獲取延時方面均優(yōu)于其他對比緩存策略，有效提升了車聯(lián)網(wǎng)邊緣緩存性能。

主題詞：智能交通 邊緣緩存 車聯(lián)網(wǎng) 聯(lián)邦學習 強化學習

中圖分類號：U463.6；TP181" "文獻標志碼：A" "DOI： 10.19620/j.cnki.1000-3703.20230389

Edge Caching Strategy of Internet of Vehicles Based on Federated

and Reinforcement Learning

Zhang Liang， Zhang Guodong， Lu Jianwei， Lei Xiayang， Cheng Hao

（Hefei University of Technology， Hefei 230009）

【Abstract】In order to solve the problem that the traditional content popularity prediction method in the Internet of Vehicles cannot accurately capture the vehicle request characteristics and leads to the low cache hit rate， an edge collaborative caching strategy based on federated learning and reinforcement learning is proposed. This strategy pre-caches content with a higher probability of vehicle requests in other vehicles or roadside units to improve the cache hit ratio and reduce the average content acquisition delay. The federated learning method is used to train and predict the content popularity using private data distributed across multiple vehicles， and then the reinforcement learning algorithm is used to solve the objective function to obtain the best cache location for the popular content. The results show that the proposed strategy is better than other caching strategies in terms of cache hit ratio and average content acquisition delay， which effectively improves the performance of the edge cache of the Internet of Vehicles.

Key words： Intelligent transportation， Edge caching， Internet of Vehicles， Federated learning， Reinforcement learning

【引用格式】 張良， 張國棟， 盧劍偉， 等. 車聯(lián)網(wǎng)中基于聯(lián)邦和強化學習的邊緣緩存策略[J]. 汽車技術(shù)， 2024（10）： 49-55.

ZHANG L， ZHANG G D， LU J W， et al. Edge Caching Strategy of Internet of Vehicles Based on Federated and Reinforcement Learning[J]. Automobile Technology， 2024（10）： 49-55.

1 前言

為了解決車聯(lián)網(wǎng)（Internet of Vehicles，IoV）遠程云服務(wù)器的訪問延時較高，難以滿足低延時和多樣化應(yīng)用需求的問題，研究人員提出了內(nèi)容緩存技術(shù)，通過將內(nèi)容預(yù)先緩存到邊緣節(jié)點上，以減少回程鏈路上的數(shù)據(jù)流量并降低服務(wù)延時[1]。然而，邊緣節(jié)點的存儲容量有限，因此緩存策略必須優(yōu)先緩存最受車輛用戶關(guān)注的流行內(nèi)容。緩存策略主要分為反應(yīng)式緩存和主動式緩存兩類[2]。反應(yīng)式緩存依賴于用戶請求后再進行緩存操作，如先進先出和最近最少使用策略。但這種方式僅在內(nèi)容被請求后才會緩存，無法提前緩存未請求過的內(nèi)容。……