基于部分可觀測馬爾科夫決策過程的C-V2V頻譜接入算法

摘要：文章基于部分可觀測馬爾科夫決策過程，提出一種C-V2V（Cellular Vehicle-to-Vehicle）頻譜接入算法，并在既定的網絡模型下，通過仿真過程驗證了本算法可有效提高車輛用戶接入頻譜后的吞吐量，從而改善C-V2V通信網絡服務質量，可應用于交通事故、車輛監督管理等領域。

關鍵詞：C-V2V；部分可觀測馬爾科夫決策過程；頻譜接入

doi：10.3969/J.ISSN.1672-7274.2023.03.011

中圖分類號：TN 929.5" " " " " " " "文獻標示碼：A" " " " " " " "文章編碼：1672-7274（2023）03-00-03

C-V2V Spectrum Access Algorithm Based on Partially Observable Markov Decision Process

ZHANG Xuefei

（Zhongbo Information Technology Research Institute Co.， Ltd.， Nanjing 210000， China）

Abstract： Based on the partially observable Markov decision process， this paper proposes a C-V2V （Cellular Vehicle to Vehicle） spectrum access algorithm. Under the given network model， the simulation process verifies that this algorithm can effectively improve the throughput of vehicle users after accessing the spectrum， thereby improving the quality of service of the C-V2V communication network， and better applied to reduce the traffic accident rate， vehicle supervision and management and other fields.

Key words： C-V2V; partially observable Markov decision process; spectrum access

隨著車聯網的不斷發展，網聯化和智能化成為了研究的重點方向。汽車電子、V2V無線通信、多接入邊緣計算、云平臺以及安全等，為車聯網的網聯化、智能化、協同化發展提供了堅實的技術基礎[1]。V2V網絡通過車載終端進行車輛間的通信，車載終端可以實時獲取周圍車輛的車速、位置、行車情況等信息，在C-V2V場景中，由于無法高效復用網絡資源，在高密度V2V情況下，服務質量可能會有所下降。

在這樣的背景下，C-V2V網絡中的頻譜資源有效接入和利用便成為優化網絡性能的一個重要內容，本文基于部分可觀測馬爾科夫決策過程，提出了一種C-V2V頻譜接入算法，并在既定的網絡模型下，通過仿真過程驗證了本算法可有效提高車輛用戶接入頻譜后的吞吐量，從而改善C-V2V通信網絡服務質量，可更好地應用于降低交通事故率、車輛監督管理等領域。

1" C-V2V網絡模型

在既定的C-V2V網絡中，假設網絡系統的信道以正交頻分復用的方式工作，且可做到時刻都與頻分復用時鐘同步，N個獨立同分布的子信道共同組成車輛用戶的可接入頻段。根據C-V2V網絡的特性，可將每個信道分成若干個時隙，設時隙時長為t0，第i個子信道的帶寬為Bi，其中i=0，1，…，N。

在每個時隙內的初始階段車輛用戶首先對該信道進行頻譜感知，之后可選擇是否接入該信道并進行數據傳輸。車輛用戶為了避免誤檢導致主從車輛用戶發生碰撞，會充分利用頻譜感知情況信息及車輛用戶占用信道的統計信息，最大化自身的吞吐量。當車輛用戶進行數據傳輸時，如果接收端返回給發射端一個ACK信號作為確認信息，則表示數據傳輸成功。

在上述的網絡模型下，可以將每個信道的工作過程看作一個離散的馬爾科夫過程，圖1為其狀態轉移模型示意圖。

工作狀態0表示占用，工作狀態1則表示空閑。信道狀態的轉移概率用p01、p10表示。設p1為本信道某個時隙內空閑的概率，根據信道狀態的轉移模型可知：

繼續簡化后可得

同理，設p0為本信道某個時隙內忙碌的概率，根據信道狀態轉移模型可推導出：

車輛用戶信道的使用狀態模型中假設有N條信道可以為車輛用戶提供接入，車輛用戶會在每一個時隙感知信道狀態，共觀測T個時隙。假設車輛用戶在每個時隙選擇進行頻譜感知的信道數為N1（N1lt;N），然后根據感知結果選擇相應合理的信道進行頻譜接入，假設最終選擇進行頻譜接入的信道數為N2（N2≤N1）。

2" 頻譜接入算法

在真實的C-V2V網絡中，由于N條信道的狀態對于車輛用戶而言并不是完全可知的，所以使用部分可觀測馬爾科夫決策過程作為基礎具備合理性。在C-V2V網絡中引入置信向量，以便更加靈敏地獲取車輛用戶的頻譜接入情況。置信向量中的表示車輛用戶在C-V2V網絡中，在部分可觀測里前提下，根據觀測結果得到的在時隙t內信道狀態處于i的條件概率，i的取值范圍為1～M，其中M=2N。

用表示車輛用戶在經過時隙內的頻譜感知階段后確定的最優接入方案，其中為車輛用戶所選擇的進行觀測的信道集合，表示車輛用戶觀測后所選擇頻譜接入的信道集合。在C-V2V網絡中，基于部分可觀測馬爾科夫決策過程，置信向量是在每一個時隙t內的完全統計量。如果感知到有可接入的信道（存在較高的空閑概率的信道），車輛用戶根據其空閑狀態決定是否進行頻譜接入。

設用戶u在信道n上的發射功率為，車輛用戶u在信道n上的信道增益為，單位帶寬上的噪聲功率為，那么依照香農定理，車輛用戶u接入信道n的收益為

在C-V2V網絡中時隙t內，設時隙t內信道n的狀態為且。車輛用戶接入空閑信道時的吞吐量為

式中，是一個常數，表示車輛用戶u對誤比特率的要求。若車輛用戶u的誤比特率為，那么瑞利信道下：

由式（5）可知車輛用戶時隙t內接入空閑信道時的吞吐量。而最優接入決策的依據取決于每個時隙的置信向量的更新。用π-?--*表示最優信道接入策略，用表示初始置信向量，則

設車輛用戶從時隙t接入信道后獲得的累積最大吞吐量期望為，則可表示為

由式（8）可知，累積最大吞吐量期望可分解為兩方面，一方面由時隙t的瞬時吞吐量承擔，另一方面由之后所有時隙的累積最大吞吐量承擔。由貝葉斯與全概率定理可持續進行置信向量的更新，表示為

設信道n在時隙t的可用概率為，車輛用戶u通過頻譜感知后，可在信道n獲得的香農容量C為

進而可推導出最優的信道選擇策略為

在C-V2V網絡中，對車輛用戶充分感知的信道，會優先依據信道感知策略和與之相對應獲得的感知結果進行置信向量的更新，而車輛用戶沒有感知到的信道，會依據一般馬爾科夫過程進行置信向量的更新。所以置信向量的更新可表示為

3" 仿真及結果分析

具體仿真可分為如下幾個環節。

（1）對N、bn、p01、p10進行初始化，同時初始化置信向量，置信向量初始值。

（2）根據本文算法選擇可進行頻譜接入的最優化信道。

①根據式產生隨機值，該隨機值主要是提供信道狀態的更新。

②初始置信向量與隨機值相比得出當前的信道狀態：。

③根據式（11）得到最優的信道選擇策略進行信道接入。

④根據式（13）進行置信向量的更新。

⑤根據式（14）進行下一個時隙的信道狀態更新。

（3）計算車輛用戶在C-V2V網絡中可獲得的每秒吞吐量。

信道的狀態轉移概率較低時車輛用戶在網絡中的接入吞吐量情況如圖2所示，信道的狀態轉移概率較高時車輛用戶在網絡中的接入吞吐量情況如圖3所示。

從圖2和圖3的整體吞吐量比較結果看，確實是在狀態轉移概率較小的情況下，車輛用戶接入吞吐量較大。但即便是在如圖3所示的具備較高信道轉移概率的情況下，車輛用戶通過采用本接入算法同樣可以獲得相對可觀的歸一化接入吞吐量。

為體現本文算法相較于傳統隨機接入算法的優勢，在信道數保持一致（信道數=3）的情況下，給予兩種既定條件，分別比較兩種條件下接入算法所能獲得的吞吐量。令條件1的，在該情況下，各信道的轉移概率較低，說明網絡較為空閑。令條件2的，在該情況下，各信道的轉移概率較高，說明網絡較為繁忙。由仿真結果示意圖4可知，無論在那種條件下，車輛用戶通過采用本算法接入C-V2V網絡均可獲得更高的接入吞吐量。

4" 結束語

本文基于部分可觀測馬爾科夫決策過程，提出了一種C-V2V（Cellular Vehicle-to-Vehicle）頻譜接入算法，并在既定的網絡模型下，通過仿真過程驗證出本算法可有效提高車輛用戶接入頻譜后的吞吐量，從而改善C-V2V通信網絡服務質量，可更好地應用于降低交通事故率、車輛監督管理等領域?！?/p>

參考文獻

[1] 張家波，吳昌玉，袁凱．V2V通信中基于超圖理論的資源分配算法[J]．計算機工程與設計，2020，41（9）：2408-2414.