車(chē)聯(lián)網(wǎng)中基于聯(lián)邦和強(qiáng)化學(xué)習(xí)的邊緣緩存策略

【摘要】為解決車(chē)聯(lián)網(wǎng)中傳統(tǒng)內(nèi)容流行度預(yù)測(cè)方法無(wú)法準(zhǔn)確捕獲車(chē)輛請(qǐng)求特性，導(dǎo)致緩存命中率較低的問(wèn)題，提出了一種基于聯(lián)邦學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的邊緣協(xié)同緩存策略。該策略將車(chē)輛請(qǐng)求概率更高的內(nèi)容預(yù)緩存在其他車(chē)輛或路側(cè)單元中，以提高緩存命中率和降低平均內(nèi)容獲取延時(shí)。采用聯(lián)邦學(xué)習(xí)方法利用分布在多個(gè)車(chē)輛上的私有數(shù)據(jù)進(jìn)行訓(xùn)練并預(yù)測(cè)內(nèi)容流行度，然后使用強(qiáng)化學(xué)習(xí)算法求解目標(biāo)函數(shù)，獲得流行內(nèi)容的最佳緩存位置。結(jié)果表明，所提出的策略在緩存命中率和平均內(nèi)容獲取延時(shí)方面均優(yōu)于其他對(duì)比緩存策略，有效提升了車(chē)聯(lián)網(wǎng)邊緣緩存性能。

主題詞：智能交通 邊緣緩存 車(chē)聯(lián)網(wǎng) 聯(lián)邦學(xué)習(xí) 強(qiáng)化學(xué)習(xí)

中圖分類(lèi)號(hào)：U463.6；TP181" "文獻(xiàn)標(biāo)志碼：A" "DOI： 10.19620/j.cnki.1000-3703.20230389

Edge Caching Strategy of Internet of Vehicles Based on Federated

and Reinforcement Learning

Zhang Liang， Zhang Guodong， Lu Jianwei， Lei Xiayang， Cheng Hao

（Hefei University of Technology， Hefei 230009）

【Abstract】In order to solve the problem that the traditional content popularity prediction method in the Internet of Vehicles cannot accurately capture the vehicle request characteristics and leads to the low cache hit rate， an edge collaborative caching strategy based on federated learning and reinforcement learning is proposed. This strategy pre-caches content with a higher probability of vehicle requests in other vehicles or roadside units to improve the cache hit ratio and reduce the average content acquisition delay. The federated learning method is used to train and predict the content popularity using private data distributed across multiple vehicles， and then the reinforcement learning algorithm is used to solve the objective function to obtain the best cache location for the popular content. The results show that the proposed strategy is better than other caching strategies in terms of cache hit ratio and average content acquisition delay， which effectively improves the performance of the edge cache of the Internet of Vehicles.

Key words： Intelligent transportation， Edge caching， Internet of Vehicles， Federated learning， Reinforcement learning

【引用格式】 張良， 張國(guó)棟， 盧劍偉， 等. 車(chē)聯(lián)網(wǎng)中基于聯(lián)邦和強(qiáng)化學(xué)習(xí)的邊緣緩存策略[J]. 汽車(chē)技術(shù)， 2024（10）： 49-55.

ZHANG L， ZHANG G D， LU J W， et al. Edge Caching Strategy of Internet of Vehicles Based on Federated and Reinforcement Learning[J]. Automobile Technology， 2024（10）： 49-55.

1 前言

為了解決車(chē)聯(lián)網(wǎng)（Internet of Vehicles，IoV）遠(yuǎn)程云服務(wù)器的訪問(wèn)延時(shí)較高，難以滿(mǎn)足低延時(shí)和多樣化應(yīng)用需求的問(wèn)題，研究人員提出了內(nèi)容緩存技術(shù)，通過(guò)將內(nèi)容預(yù)先緩存到邊緣節(jié)點(diǎn)上，以減少回程鏈路上的數(shù)據(jù)流量并降低服務(wù)延時(shí)[1]。然而，邊緣節(jié)點(diǎn)的存儲(chǔ)容量有限，因此緩存策略必須優(yōu)先緩存最受車(chē)輛用戶(hù)關(guān)注的流行內(nèi)容。緩存策略主要分為反應(yīng)式緩存和主動(dòng)式緩存兩類(lèi)[2]。反應(yīng)式緩存依賴(lài)于用戶(hù)請(qǐng)求后再進(jìn)行緩存操作，如先進(jìn)先出和最近最少使用策略。但這種方式僅在內(nèi)容被請(qǐng)求后才會(huì)緩存，無(wú)法提前緩存未請(qǐng)求過(guò)的內(nèi)容?！?br>