基于多智能體深度強化學習的車聯網資源分配方法

摘 要：在車聯網中，合理分配頻譜資源對滿足不同車輛鏈路業務的服務質量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ） 需求具有重要意義。為解決車輛高速移動性和全局狀態信息獲取困難等問題，提出了一種基于完全分布式多智能體深度強化學習（Ｍｕｌｔｉ-Ａｇｅｎｔ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＭＡＤＲＬ） 的資源分配算法。該算法在考慮車輛通信延遲和可靠性的情況下，通過優化頻譜選擇和功率分配策略來實現最大化網絡吞吐量。引入共享經驗池機制來解決多智能體并發學習導致的非平穩性問題。該算法基于深度Ｑ 網絡（Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ，ＤＱＮ），利用長短期記憶（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ，ＬＳＴＭ） 網絡來捕捉和利用動態環境信息，以解決智能體的部分可觀測性問題。將卷積神經網絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ） 和殘差網絡（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ，ＲｅｓＮｅｔ） 結合增強算法訓練的準確性和預測能力。實驗結果表明，所提出的算法能夠滿足車對基礎設施（Ｖｅｈｉｃｌｅ-ｔｏ-Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ，Ｖ２Ｉ） 鏈路的高吞吐量以及車對車（Ｖｅｈｉｃｌｅ-ｔｏ-Ｖｅｈｉｃｌｅ，Ｖ２Ｖ） 鏈路的低延遲要求，并且對環境變化表現出良好的適應性。

關鍵詞：車聯網；資源分配；多智能體深度強化學習；深度Ｑ 網絡

中圖分類號：ＴＮ９２９． ５ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３０１６（２０２４）０６－１３８８－１０

０ 引言

隨著通信技術的飛速發展，車聯網作為物聯網中車輛通信網絡的新范式，對提升交通服務的安全性和舒適性起著日益重要的作用［１］。其中，蜂窩車聯網（Ｃｅｌｌｕｌａｒ Ｖｅｈｉｃｌｅ-ｔｏ-Ｅｖｅｒｙｔｈｉｎｇ，Ｃ-Ｖ２Ｘ）通信技術實現了車輛與車輛、車輛與基礎設施、車輛與行人以及車輛與互聯網之間通信的無縫連接，為車聯網提供了全方位的通信技術支持［２］。Ｃ-Ｖ２Ｘ 通信技術主要通過支持車對基礎設施（Ｖｅｈｉｃｌｅ-ｔｏ-Ｉｎｆｒａ-ｓｔｒｕｃｔｕｒｅ，Ｖ２Ｉ）和車對車（Ｖｅｈｉｃｌｅ-ｔｏ-Ｖｅｈｉｃｌｅ，Ｖ２Ｖ）２ 種通信模式為不同服務質量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ）需求提供不同的應用服務［３］。其中，Ｖ２Ｉ 通信主要應用于提供高數據傳輸速率的非安全相關的應用服務，而Ｖ２Ｖ 通信則專注于實現低延遲和高可靠性的實時信息傳輸［４－５］。然而，面對網絡資源的稀缺性以及車聯網中服務類別的多元化，如何實現Ｖ２Ｉ 和Ｖ２Ｖ 鏈路之間的協同資源共享以保證ＣＶ２Ｘ 網絡資源的有效利用是車聯網資源分配時面臨的巨大挑戰。

目前，車聯網中的資源分配問題已得到廣泛研究，文獻［６－８］采用傳統優化算法來解決這一問題。然而，隨著無線網絡多樣性和復雜性的增加，這些傳統算法面臨著嚴峻的挑戰，例如，車聯網環境的動態不確定性使得實時獲取信道狀態信息變得困難。同時，由于車聯網用戶具有不同的服務需求，構建的優化問題和約束條件通常是非凸的，這使得優化算法在求解時容易陷入局部最優解［９］。因此，如何設計一個更智能、更靈活的資源分配算法成為車聯網中的一個重要問題。

隨著人工智能技術的不斷進步，深度強化學習（Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＲＬ）在無線通信領域得到了廣泛應用。與傳統的優化算法相比，ＤＲＬ展現出更強大的解決復雜問題的能力。通過與未知環境的交互，ＤＲＬ 能夠學習如何做出最優決策，以最大化長期累積回報。此外，針對一些難以通過傳統算法優化的目標，ＤＲＬ 可以通過設計相應的訓練獎勵來解決。因此，ＤＲＬ 為解決車聯網中資源分配問題帶來了全新思路。文獻［１０］研究了設備到設備（Ｄｅｖｉｃｅ-ｔｏ-Ｄｅｖｉｃｅ，Ｄ２Ｄ）網絡的聯合信道選擇和功率控制問題，以最大化Ｄ２Ｄ 網絡的加權和速率為目標，提出了一種基于分布式ＤＲＬ 的算法，并通過仿真結果證明了即使沒有全局瞬時信道狀態信息，該算法也能有良好的性能表現。文獻［３］在包含Ｖ２Ｖ 鏈路和Ｖ２Ｉ 鏈路的認知車輛網絡中應用了一種改進的深度Ｑ 網絡（Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ，ＤＱＮ）算法來提高頻譜利用率。上述算法在靜態環境模型上表現良好，但并不適用于動態變化的車聯網環境。文獻［１１］針對Ｖ２Ｘ 通信資源分配問題，提出了一種使用ＤＱＮ 進行子頻帶選擇和使用深度確定性策略梯度（Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ，ＤＤＰＧ）進行發射功率分配的ＤＲＬ 算法，在此基礎上，加入元強化學習來提高算法對動態環境的適應性。但在該算法中，同時訓練２ 種不同的ＤＲＬ 算法會增加模型訓練的難度，使算法變得更復雜。文獻［１２］針對不同的ＱｏＳ 需求，提出了一種基于鏈路優先級集中式的強化學習頻譜資源分配算法，該算法實現了在對一般鏈路無干擾的情況下，為高優先級鏈路提供了高質量的通信支持，并且在實際場景中展現了出色的抗噪聲性能。但該算法采用的是集中式控制方案，每條鏈路都需要與基站進行信息交互，增加了通信開銷和傳輸時延。文獻［１３ －１５］都采用基于ＤＱＮ的多智能體深度強化學習（Ｍｕｌｔｉ-Ａｇｅｎｔ Ｄｅｅｐ Ｒｅｉｎ-ｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＭＡＤＲＬ）算法來解決車聯網環境中的資源分配問題，然而，這些算法均未考慮多個智能體同時探索學習所引發的非平穩性問題，而這一問題將直接影響算法的收斂速度，從而降低算法的性能。

為解決上述問題，本文提出了一種完全獨立的分布式ＭＡＤＲＬ 的資源分配算法，以進一步提升動態車聯網環境下資源共享效率。在該算法中，經過訓練和學習的Ｖ２Ｖ 用戶僅依賴局部環境觀測值就可以學到最佳資源分配策略，即最優的子信道選擇和功率分配策略。為解決多智能體并發學習帶來的非平穩性問題，本文引入共享經驗池機制，以促進智能體之間更好地合作和學習。為解決每個智能體對環境的部分可觀測問題，采用長短期記憶（ＬｏｎｇＳｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ，ＬＳＴＭ）和卷積神經網絡（Ｃｏｎｖｏ-ｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）結合的殘差網絡（Ｒｅ-ｓｉｄｕａｌ Ｎｅｔｗｏｒｋ，ＲｅｓＮｅｔ）跳躍連接結構，這種結構使得智能體能夠捕捉和利用環境狀態信息的時間序列關系，從而提高了算法處理序列數據的能力，同時也增強了算法的泛化能力。最后，通過仿真實驗驗證了該算法的有效性，確保了在滿足Ｖ２Ｖ 鏈路延遲約束條件的同時減少了Ｖ２Ｖ 鏈路對Ｖ２Ｉ 鏈路的干擾。

１ 系統模型

本文考慮擁有一個基站和多輛車構成的城市道路交通的Ｃ-Ｖ２Ｘ 通信場景。在該場景中，具有Ｍ 輛車的Ｖ２Ｉ 鏈路完成高吞吐量的數據傳輸任務，而具有Ｎ 輛車的Ｖ２Ｖ 鏈路實現低延遲、高可靠的實時信息傳輸任務。本文只考慮Ｖ２Ｉ 通信的上行鏈路，并假設所有車輛用戶的收發機都采用單天線，此外，假設Ｍ 條Ｖ２Ｉ 鏈路被預先分配了Ｍ 個具有固定發射功率的正交子信道，即第ｍ 條Ｖ２Ｉ 鏈路占用第ｍ 個子信道并且這些子信道之間無干擾。為提高頻譜利用率，這些子信道可以被Ｖ２Ｖ 鏈路重用。考慮到實際情況，Ｖ２Ｖ 鏈路的數量往往遠大于Ｖ２Ｉ 鏈路的數量，為更有效地利用有限的頻譜資源，將Ｖ２Ｖ 鏈路重用Ｖ２Ｉ 鏈路的頻譜資源是必要且合理的。因此，本文主要目標是為這些Ｖ２Ｖ 鏈路設計一種有效的頻譜共享方案，以使這２ 種類型的車輛鏈路以最小的信令開銷到達各自的目標。圖１ 顯示了Ｖ２Ｖ 共享Ｖ２Ｉ 鏈路時的通信鏈路和干擾鏈路的復雜關系。

當第ｎ 條Ｖ２Ｖ 鏈路共享第ｍ 條Ｖ２Ｉ 鏈路的子信道時，這條Ｖ２Ｖ 鏈路的接收端可能受到來自其他Ｖ２Ｖ 鏈路以及Ｖ２Ｉ 鏈路的發射端的干擾，而第ｍ 條Ｖ２Ｉ 鏈路的接收端會受到來自Ｖ２Ｖ 鏈路的干擾，則第ｍ 條Ｖ２Ｉ 鏈路與第ｎ 條Ｖ２Ｖ 鏈路的信干噪比（Ｓｉｇｎａｌｔｏ Ｉｎｔｅｒｆｅｒｅｎｃｅ ｐｌｕｓ Ｎｏｉｓｅ Ｒａｔｉｏ，ＳＩＮＲ）分別表示為：

式中：ＰＩｍ 、ＰＶｎ［ｍ］和ＰＶｎ′［ｍ］分別表示第ｍ 條Ｖ２Ｉ 鏈路、第ｎ 條Ｖ２Ｖ 鏈路和除ｎ 以外的其他Ｖ２Ｖ 鏈路（如ｎ′）的發射功率，σ２ 表示噪聲功率，ρｎ ［ｍ］、ρｎ′［ｍ］表示第ｎ 和ｎ′條Ｖ２Ｖ 鏈路是否重用第ｍ 條Ｖ２Ｉ 鏈路，如果重用，其值為１，否則值為０；ｇｍ，Ｂ 表示第ｍ 條Ｖ２Ｉ 鏈路的信道功率增益，ｇｎ，Ｂ ［ｍ］表示Ｖ２Ｖ 鏈路ｎ 對Ｖ２Ｉ 鏈路ｍ 的干擾信道增益，ｇｎ ［ｍ］表示第ｎ 條Ｖ２Ｖ 鏈路的信道增益，ｇｍ，ｎ 表示Ｖ２Ｉ 鏈路ｍ 對Ｖ２Ｖ 鏈路ｎ 的干擾信道增益，ｇｎ′，ｎ ［ｍ］表示其他Ｖ２Ｖ 鏈路ｎ′對Ｖ２Ｖ 鏈路ｎ 的干擾信道增益。發射功率計算公式為：

ｇ ＝ αｈ， （３）

式中：α 表示與頻率無關的大尺度衰落，即陰影衰落和路徑損耗；ｈ 表示與頻率相關的小尺度衰落信道增益。對于信道衰落，本文同時考慮大尺度和小尺度衰落，并假設信道衰落在一個子信道內大致相同并且在不同子信道之間相互獨立。由此，第ｍ 條Ｖ２Ｉ 鏈路和第ｎ 條Ｖ２Ｖ 鏈路的信道總吞吐量分別為：

ＣＩｍ ＝ Ｗ ｌｂ（１ ＋ γＩｍ ）， （４）

ＣＶｎ［ｍ］ ＝ Ｗ Ｉｂ（１ ＋ γＶｎ［ｍ］）， （５）

式中：Ｗ 為信道帶寬。

如上所述，本文的目標是在提高Ｖ２Ｉ 鏈路的總吞吐量的同時，滿足Ｖ２Ｖ 鏈路低延遲、高可靠的實時數據傳輸的要求。為此本文定義在一定時間限度內，成功傳輸有效載荷的概率為：

式中：Ｂ 表示在每個周期Ｔ 內生成的Ｖ２Ｖ 鏈路傳輸載荷的大小，單位為ｂｉｔ；ΔＴ 表示信道相干時間。

綜上所述，本文研究的車聯網中資源分配問題可以描述為：在Ｖ２Ｖ 鏈路中，如何智能地重用Ｖ２Ｉ 的子信道，并選擇適當的發射功率進行數據傳輸，以減少Ｖ２Ｖ 鏈路的傳輸時延，同時減少其對Ｖ２Ｉ 鏈路的干擾，即在追求最大化Ｖ２Ｉ 鏈路總吞吐量的同時提高Ｖ２Ｖ 鏈路的單位時間內載荷成功傳輸率。

２ 算法方案設計

ＭＡＤＲＬ 是應對車聯網中動態不確定性以及全局信道狀態信息獲取困難的有效方法。在ＭＡＤＲＬ模型中，多個智能體采取試錯的方式不斷與環境交互，以獲得最大化累積獎勵來優化信道選擇與功率控制策略。由于Ｖ２Ｖ 鏈路中每個用戶作為獨立智能體無法完全獲取信道狀態的完整信息，因此采用部分可觀察馬爾科夫決策過程（Ｐａｒｔｉａｌｌｙ ＯｂｓｅｒｖａｂｌｅＭａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ，ＰＯＭＤＰ）對動態頻譜分配和功率選擇過程進行建模，該過程由動作、狀態和獎勵描述。如圖２ 所示，在ｔ 時刻，獲得環境狀態ｓｎｔ的Ｖ２Ｖ 鏈路ｎ，根據策略做出動作ａｎｔ，所有Ｖ２Ｖ 鏈路的動作同時被執行后，環境狀態依據狀態轉移概率轉移到下一時刻的狀態ｓｎｔ＋１ ，并且每條Ｖ２Ｖ 鏈路得到執行各自動作后的獎勵ｒｎｔ。

２． １ 狀態空間

Ｖ２Ｖ 鏈路用戶不能在ｔ 時刻觀測到全局環境狀態Ｓｔ，而只能獲得和自己相關的環境狀態ｓｎｔ，并且其他Ｖ２Ｖ 鏈路的動作也是未知的。Ｖ２Ｖ 鏈路ｎ 占用第ｍ 條Ｖ２Ｉ 鏈路傳輸數據時，該Ｖ２Ｖ 鏈路可獲得的狀態包括Ｖ２Ｖ 鏈路ｎ 的信道增益ｇｎ［ｍ］、受到其他Ｖ２Ｖ 鏈路的干擾ｇｎ′，ｎ［ｍ］、對Ｖ２Ｉ 鏈路的干擾ｇｎ，Ｂ ［ｍ］以及受到Ｖ２Ｉ 鏈路ｍ 的干擾ｇｍ，ｎ。則Ｖ２Ｖ 鏈路ｎ占用Ｖ２Ｉ 鏈路ｍ 傳輸數據時的關聯信道增益表示為：

Ｇｎ ［ｍ］ ＝ ｛ｇｎ ［ｍ］，ｇｎ′，ｎ ［ｍ］，ｇｎ，Ｂ ［ｍ］，ｇｍ，ｎ ｝。（７）

將Ｖ２Ｖ 鏈路ｎ 在第ｍ 條Ｖ２Ｉ 鏈路傳輸數據時受到的所有干擾表示為：

此外，為了保證每條Ｖ２Ｖ 鏈路在一定的時間限度內完成數據傳輸任務，將剩余的傳輸載荷數Ｂｎ 和剩余的可傳輸載荷時間Ｔｎ 也考慮進可獲得的環境狀態內。因此，Ｖ２Ｖ 鏈路ｎ 的狀態空間表示為：

ｓｎｔ＝ ｛Ｂｎ ，Ｔｎ ，｛Ｉｎ ［ｍ］｝ｍ∈Ｍ ，｛Ｇｎ ［ｍ］｝ｍ∈Ｍ ｝。（９）

２． ２ 動作空間

車聯網的資源分配問題可歸結為Ｖ２Ｖ 鏈路的子信道選擇和傳輸功率控制問題。每條Ｖ２Ｉ 鏈路占據被自然分成的Ｍ 條不相交的子信道中的一條，Ｎ 條Ｖ２Ｖ 鏈路可以從這Ｍ 個頻譜子信道中選擇一條鏈路進行重用并控制發射功率以便進行數據傳輸。考慮實際電路的限制，本文將功率控制分為４ 個級別的離散值，即［２３，１０，５，－１００］ｄＢｍ。因此，每條Ｖ２Ｖ 鏈路的動作空間維度為４×Ｍ。

２． ３ 獎勵函數

在強化學習中，獎勵函數起到驅動智能體學習策略的關鍵作用，通過對智能體采取的策略進行評估，提供相應的獎勵或懲罰，幫助智能體在復雜的環境中學會有效決策。本文研究目標是使Ｖ２Ｉ 鏈路的總吞吐量最大化和提高Ｖ２Ｖ 鏈路的載荷成功傳輸概率。本質上，這是一個多目標優化問題，本文通過權重系數法將其轉化成單目標優化問題。分別將２ 個目標函數設置成２ 個獎勵函數，即在ｔ 時刻，Ｖ２Ｉ鏈路吞吐量的獎勵函數即為該鏈路獲得的總吞吐量；將ｔ 時刻未完成傳輸的Ｖ２Ｖ 用戶獎勵函數設置為載荷傳輸速率，對于已完成傳輸的Ｖ２Ｖ 用戶獎勵函數設置為比載荷傳輸速率更大的常數β，以鼓勵Ｖ２Ｖ 用戶提高傳輸速率。因此對第二個目標的獎勵函數設置為：

式中：λ 為權重系數。

強化學習的目標是找到最佳策略π* ，任何狀態Ｓｔ 下的智能體都能根據π 做出最優決策，從而最大化期望獎勵，即：

式中：γ 是折扣因子，表示未來獎勵對當前狀態的重要程度。

２． ４ ＭＡＤＲＬ 法

雖然將ＭＡＤＲＬ 引入車聯網環境來解決資源分配問題的方案優于傳統算法，但是仍然面臨以下挑戰：① 動態變化的車聯網環境和環境狀態信息部分可觀測；② 分布式的多智能體訓練方案會影響環境的平穩性從而影響訓練過程并削弱算法的性能。為此，本文提出基于ＭＡＤＲＬ 的完全分布式的多智能體深度循環殘差Ｑ 網絡（Ｍｕｌｔｉ-Ａｇｅｎｔ Ｄｅｅｐ ＲｅｃｕｒｒｅｎｔＲｅｓｉｄｕａｌ Ｑ Ｎｅｔｗｏｒｋ，ＭＡＤＲＲＱＮ）算法，該算法整體框架如圖３ 所示。

每條Ｖ２Ｖ 鏈路作為智能體擁有自己的ＤＱＮ 并獨立訓練。智能體從與環境交互到學習過程主要分為動作選擇、經驗存儲和學習３ 個階段。首先，將當前環境狀態ｓｎｔ輸入到ＤＱＮ 中的估計網絡中，智能體ｎ 根據εｇｒｅｅｄｙ 策略選擇動作，即以概率ε 隨機采取動作，或以概率１－ε 從估計網絡中選擇使輸出Ｑ 值最大的動作。智能體ｎ 做出動作ａｎｔ后得到獎勵ｒｎｔ，環境狀態變為ｓｎｔ＋１ 。此時，智能體獲得了一條經驗（ｓｎｔ，ａｎｔ，ｒｎｔ，ｓｎｔ＋１ ）并將該經驗放入經驗池中。為解決多智能體分布式訓練帶來的非平穩性的問題，本文所有智能體共享經驗池中的經驗。經驗池根據容量采用先進先出的存儲方式。最后，在學習階段，從經驗池中抽取小批量經驗分別輸入到估計網絡和目標網絡中，然后從這２ 個網絡中輸出Ｑ１ｅ（ｓ１ｔ，ａ１ｔ；θ）和ｍａｘａ′１ｔＱｉｔ（ｓ１ｔ＋１ ，ａ′１ｔ；θ′）并計算損失值：

ｌｏｓｓ ＝ ［ｒｎｔ＋ γ ｍａｘａ′１ｔＱｉｔ（ｓｎｔ＋１ ，ａ′ｎｔ；θ′）－ Ｑｎｅ（ｓｎｔ，ａｎｔ；θ）］ ２ 。（１３）

利用反向傳播計算的損失值更新估計網絡的參數θ，每隔一定時間將估計網絡的參數拷貝給目標網絡，更新其參數θ′。該過程重復進行并不斷優化智能體的行為策略，從而實現最優的動作選擇。具體如算法１ 所示。

為了避免與環境交互時積累的經驗不足導致智能體做出的動作策略陷入局部最優解，有必要權衡利用（使用已知的動作）和探索（學習新的、可能更好的動作）的關系。因此，本文采用自適應的ε-ｇｒｅｅｄｙ 探索算法，即在算法實現的初始階段，面對大的狀態和動作空間，智能體主要進行新動作和新狀態的探索。然后，隨著迭代次數的增加，逐漸增加利用概率讓智能體根據以往經驗做出最佳決策。

ε ＝ εｍｉｎ ＋ （εｍａｘ － εｍｉｎ ）ｅ－ζｔ， （１４）

式中：εｍａｘ 和εｍｉｎ 分別為ε 的最大值和最小值，ζ 為衰減因子。

在強化學習中引入深度神經網絡的目的是為了有效處理高維度復雜的狀態和動作空間。通過深度神經網絡的強大學習能力，智能體能夠更準確地表示和近似復雜的狀態－動作映射關系，從而提高對大量和多樣化狀態信息的處理能力，進而增強訓練和決策的性能。本文提出的深度神經網絡結構如圖４ 所示。

采用ＬＳＴＭ 網絡作為深度神經網絡的輸入層來解決ＭＡＤＲＬ 的部分可觀測問題、提高對序列數據的處理能力以及捕捉長期依賴關系，從而提高模型對動態環境的自適應能力。為了提高模型特征提取能力和預測能力，采用了ＣＮＮ 的跳躍連接的ＲｅｓＮｅｔ結構。

３ 仿真結果分析

本文車聯網仿真場景遵循３ＧＰＰ ＴＲ３６． ８８５［１６］中的城市交通道路場景，并遵循設置車聯網環境的仿真參數［１７－１８］。為了便于仿真，將交通場景面積等比例縮小一半。表１ 給出了主要仿真參數，表２ 給出了Ｖ２Ｖ 鏈路和Ｖ２Ｉ 鏈路的信道模型。

每個智能體的深度神經網絡由一層ＬＳＴＭ 作為輸入層和２ 個ＲｅｓＮｅｔ 連接的３ 層ＣＮＮ 構成，各層神經元都是１２０ 個。使用修正線性單元（ＲｅｃｔｉｆｉｅｄＬｉｎｅａｒ Ｕｎｉｔ，ＲｅＬＵ）作為激活函數，并使用ＲＭＳＰｒｏｐ優化器更新網絡參數，學習率為０． ００１。采用的自適應εｇｒｅｅｄｙ 算法中，ε 最大值為１，最小值為０． ０２，衰減因子為０． ００５，經驗池大小為２０ ０００，每次訓練抽取的小批次樣本數為２ ０００，折扣因子為０． ９９，總共進行１ ０００ 個訓練回合，訓練過程的每個訓練集的時間都是１００ ｍｓ。測試階段共進行１００ 個回合。在訓練階段，載荷大小固定為２×１ ０６０ ｂｙｔｅ，車速固定為１０ ～ １５ ｍ ／ ｓ，在測試階段，分別改變其大小以驗證所提算法的魯棒性。

為了驗證所提ＭＡＤＲＲＱＮ 算法的有效性，本文在Ｐｙｔｈｏｎ 平臺上使用ＰｙＴｏｒｃｈ 框架對提出的算法進行仿真，并在算法Ｖ２Ｉ 鏈路吞吐量、Ｖ２Ｉ 鏈路信道利用率以及Ｖ２Ｖ 鏈路有效傳輸等方面與其他算法的性能進行比較。其他算法包括：① 隨機算法，子信道和功率隨機選擇；② 多智能體深度Ｑ 網絡（Ｍｕｌｔｉ-Ａｇｅｎｔ Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ，ＭＡＤＱＮ）算法，由每層包含１２０ 個神經元的４ 層全連接結構的ＤＱＮ 構成，訓練智能體時，每個智能體分配相同的獎勵值；③ 單智能體深度Ｑ 網絡（Ｓｉｎｇｌｅ-Ａｇｅｎｔ Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ，ＳＡＤＱＮ）算法，所有智能體共享一個ＤＱＮ，在每個時隙，只有一個智能體根據訓練的ＤＱＮ 更新其動作選擇的策略，而其他智能體動作的選擇策略保持不變。

圖５ 和圖６ 分別顯示了車輛數為４ 時，訓練階段所有智能體的總和累積獎勵和每個智能體獎勵與訓練回合數的關系。從圖中可以看出，獎勵值隨著訓練回合數的增加而增加，最后趨于收斂。從圖６可以看到，每條Ｖ２Ｖ 鏈路的獎勵值隨著訓練回合數的增加也趨于平穩。由此證明了所提ＭＡＤＲＲＱＮ算法的有效性。收斂的獎勵值存在波動的原因在于車輛的快速移動，導致車聯網的拓撲結構不斷變化，同時也受到信道衰落的影響。

本文通過Ｖ２Ｉ 鏈路總吞吐量和Ｖ２Ｉ 鏈路利用率（實際獲得的Ｖ２Ｉ 鏈路總吞吐量與禁用所有Ｖ２Ｖ 鏈路獲得的Ｖ２Ｉ 鏈路總吞吐量的比值）來評估該算法在Ｖ２Ｉ 鏈路上的性能。圖７ 和圖８ 分別展示了不同載荷大小對不同算法在Ｖ２Ｉ 鏈路總吞吐量和利用率方面的性能影響。從圖中可以看出，隨著Ｖ２Ｖ 載荷大小的增加，所有算法的性能都有所下降。這是因為成功傳輸更多的載荷需要更長的傳輸時間和更高的Ｖ２Ｖ 鏈路發射功率，加劇了對Ｖ２Ｉ 鏈路的干擾，從而減小了Ｖ２Ｉ 鏈路的總吞吐量。但是，相同載荷大小的條件下，ＭＡＤＲＲＱＮ 算法具有更大的Ｖ２Ｉ 鏈路總吞吐量和更高的Ｖ２Ｉ 鏈路利用率。

圖９ 顯示了不同載荷大小，不同算法在Ｖ２Ｖ 鏈路載荷傳輸成功率方面的性能表現。所有算法的載荷傳輸成功率都隨著載荷大小的增加而降低了，但其他算法的性能表現都比ＭＡＤＲＲＱＮ 算法差，雖然ＭＡＤＱＮ 算法在載荷小于等于４ ×１ ０６０ ｂｙｔｅ 時傳輸成功率達到了１００％ ，但是隨著載荷的增加，成功率顯著下降，而ＭＡＤＲＲＱＮ 算法的載荷傳輸成功率下降緩慢，即使載荷達到８×１ ０６０ ｂｙｔｅ，其載荷傳輸成功率仍然在９０％ 以上。

為了驗證ＭＡＤＲＲＱＮ 算法對環境變化的適應性，本文從車速和車輛數量兩方面驗證其對算法性能的影響。圖１０ 顯示了車輛數固定為４ 時的車速對具有不同載荷大小的Ｖ２Ｉ 鏈路利用率的影響。僅使用鏈路利用率來評估Ｖ２Ｉ 鏈路總吞吐量的變化的原因在于，車速的改變同樣會影響沒有Ｖ２Ｖ 鏈路傳輸時的Ｖ２Ｉ 鏈路吞吐量。因此，采用Ｖ２Ｉ 鏈路利用率這一相對比值更能客觀地反映吞吐量的變化情況。從圖中可以看出，車速對于２×１ ０６０ ｂｙｔｅ 和４×１ ０６０ ｂｙｔｅ 載荷的Ｖ２Ｉ 鏈路利用率影響較小，其鏈路利用率都高于８０％ 。對于大載荷，高車速對其影響較大，這是因為隨著車速的增加，車聯網拓撲結構變化更快，而需要傳輸的載荷數量更多，這對Ｖ２Ｖ 鏈路的子信道選擇和功率分配提出了更高的要求。圖１１ 顯示了車輛數固定為４ 時的車速與Ｖ２Ｖ 鏈路載荷傳輸成功率的關系圖。對于相同的載荷大小，所提出的ＭＡＤＲＲＱＮ 算法的性能隨著車速的增加而改變。這是因為車聯網環境隨著車速的增加變化地更加顯著，增加了環境的不確定性和獲取信道狀態信息的難度。然而，所提出的算法仍然可以保持高Ｖ２Ｉ 鏈路總吞吐量和Ｖ２Ｖ 鏈路成功傳輸的概率，這說明車速變化對所提ＭＡＤＲＲＱＮ 算法的性能影響較小，因此該算法能夠適應車聯網環境中的車速變動。

當增加車輛，即子信道的數量增加時，意味著智能體的動作空間維度也增加了，對算法性能提出了更高要求。圖１２ 和圖１３ 分別展示了車輛數對具有不同載荷大小的Ｖ２Ｉ 鏈路利用率和Ｖ２Ｖ 鏈路載荷傳輸成功率的影響。從圖中可以看出，車輛數對于所提算法的性能影響較小，甚至隨著車輛數的增加，在大載荷的情況下，Ｖ２Ｉ 鏈路利用率反而提高了。由此說明算法能夠適應不同數量車輛的環境，具備擴展到更多車輛情況的能力，并且對于傳輸載荷大小的變化具有魯棒性。

４ 結束語

針對車聯網中的資源分配問題，本文采用了Ｖ２Ｖ 鏈路共享Ｖ２Ｉ 鏈路頻譜資源的策略，并基于ＭＡＤＲＬ 算法提出了ＭＡＤＲＲＱＮ 算法。在該算法中，每條Ｖ２Ｖ 鏈路都被視為一個獨立的智能體，每個智能體進行獨立的訓練和決策，顯著降低了決策過程中的信息傳輸開銷，增強了算法的可擴展性。通過充分的仿真實驗，本文驗證了所提算法的有效性，展示了其在最大化Ｖ２Ｉ 鏈路總吞吐量、提高Ｖ２Ｉ鏈路頻譜利用率以及提升Ｖ２Ｖ 鏈路載荷成功傳輸概率等性能方面的優越性。此外，該算法還表現出在不斷變化的車聯網環境中的魯棒性和適應性。未來研究將繼續優化該算法，以適應更為復雜的實際應用場景。

參考文獻

［１］ ＹＡＤＡＶ Ｓ，ＰＡＮＤＥＹ Ａ，ＤＯ Ｄ Ｔ，ｅｔ ａｌ． Ｓｅｃｕｒｅ ＣｏｇｎｉｔｉｖｅＲａｄｉｏｅｎａｂｌｅｄ Ｖｅｈｉｃｕｌａｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｄｅｒ ＳｐｅｃｔｒｕｍＳｈａｒｉｎｇ Ｃｏｎｓｔｒａｉｎｔｓ［Ｊ］． Ｓｅｎｓｏｒｓ，２０２１，２１（２１）：７１６０．

［２］ ＱＩ Ｗ Ｊ，ＳＯＮＧ Ｑ Ｙ，ＧＵＯ Ｌ，ｅｔ ａｌ． Ｅｎｅｒｇｙｅｆｆｉｃｉｅｎｔ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ ＵＡＶａｓｓｉｓｔｅｄ Ｖｅｈｉｃｕｌａｒ Ｎｅｔｗｏｒｋｓｗｉｔｈ Ｓｐｅｃｔｒｕｍ Ｓｈａｒｉｎｇ ［Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＶｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０２２，７１（７）：７６９１－７７０２．

［３］ ＣＨＥＮ Ｌ Ｌ，ＺＨＡＯ Ｑ Ｊ，ＦＵ Ｋ，ｅｔ ａｌ． Ｍｕｌｔｉｕｓｅｒ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｍｕｌｔｉｒｅｗａｒｄ ｆｏｒ Ｓｐｅｃｔｒｕｍ Ａｃｃｅｓｓ ｉｎＣｏｇｎｉｔｉｖｅ Ｖｅｈｉｃｕｌａｒ Ｎｅｔｗｏｒｋｓ ［Ｊ ］． ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍｓ，２０２３，８３（１）：５１－６５．

［４］ 方維維，王云鵬，張昊，等． 基于多智能體深度強化學習的車聯網通信資源分配優化［Ｊ］． 北京交通大學學報，２０２２，４６（２）：６４－７２．

［５］ ＸＩＡＮＧ Ｐ，ＳＨＡＮ Ｈ Ｇ，ＷＡＮＧ Ｍ，ｅｔ ａｌ． Ｍｕｌｔｉａｇｅｎｔ ＲＬＥｎａｂｌｅｓ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｓｐｅｃｔｒｕｍ Ａｃｃｅｓｓ ｉｎ Ｖｅｈｉｃｕｌａｒ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０２１，７０（１０）：１０７５０－１０７６２．

［６］ ＺＨＡＮＧ Ｍ Ｌ，ＤＯＵ Ｙ，ＣＨＯＮＧ Ｐ Ｈ Ｊ，ｅｔ ａｌ． Ｆｕｚｚｙ Ｌｏｇｉｃｂａｓｅｄ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖ２Ｘ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｉｎ ５Ｇ Ｃｅｌｌｕｌａｒ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２１，３９（８）：２５０１－２５１３．

［７］ ＸＩＥ Ｙ Ｃ，ＹＵ Ｋ，ＴＡＮＧ Ｚ Ｘ，ｅｔ ａｌ． Ａｎ Ｅｆｆｅｃｔｉｖｅ ＣａｐａｃｉｔｙＥｍｐｏｗｅｒｅｄ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ Ａｐｐｒｏａｃｈ ｉｎ ＬｏｗｌａｔｅｎｃｙＣＶ２Ｘ［Ｃ］∥２０２２ １４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＷＣＳＰ ）．Ｎａｎｊｉｎｇ：ＩＥＥＥ，２０２２：７９４－７９９．

［８］ 趙莎莎． 基于ＰＳＯ 的Ｄ２Ｄ 蜂窩網絡聯合信道分配和功率控制［Ｊ］． 無線電工程，２０２３，５３（７）：１６６０－１６６９．

［９］ ＬＩＡＮＧ Ｌ，ＹＥ Ｈ，ＹＵ Ｇ Ｄ，ｅｔ ａｌ． ＤｅｅｐｌｅａｒｎｉｎｇｂａｓｅｄＷｉｒｅｌｅｓｓ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏＶｅｈｉｃｕｌａｒ Ｎｅｔｗｏｒｋｓ［Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，２０２０，１０８（２）：３４１－３５６．

［１０］ ＴＡＮ Ｊ Ｊ，ＬＩＡＮＧ Ｙ Ｃ，ＺＨＡＮＧ Ｌ，ｅｔ ａｌ． ＤｅｅｐＲｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｊｏｉｎｔ Ｃｈａｎｎｅｌ Ｓｅｌｅｃｔｉｏｎ ａｎｄＰｏｗｅｒ Ｃｏｎｔｒｏｌ ｉｎ Ｄ２Ｄ Ｎｅｔｗｏｒｋｓ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２０，２０（２）：１３６３－１３７８．

［１１］ ＹＵＡＮ Ｙ，ＺＨＥＮＧ Ｇ，ＷＯＮＧ Ｋ Ｋ，ｅｔ ａｌ． Ｍｅｔａｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ Ｄｙｎａｍｉｃ Ｖ２Ｘ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＶｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０２１，７０（９）：８９６４－８９７７．

［１２］ ＧＵＡＮ Ｚ，ＷＡＮＧ Ｙ Ｙ，ＨＥ Ｍ． Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇｂａｓｅｄ Ｓｐｅｃｔｒｕｍ Ａｌｌｏｃａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｉｎ Ｉｎｔｅｒｎｅｔ ｏｆＶｅｈｉｃｌｅｓ Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｓｅｒｖｉｃｅｓ ［Ｊ］． Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ，２０２２，１２（３）：１７６４．

［１３］ ＨＡＮ Ｄ，ＳＯ Ｊ． Ｅｎｅｒｇｙｅｆｆｉｃｉｅｎｔ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ Ｂａｓｅｄｏｎ Ｄｅｅｐ Ｑｎｅｔｗｏｒｋ ｉｎ Ｖ２Ｖ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ［Ｊ］． Ｓｅｎｓｏｒｓ，２０２３，２３（３）：１２９５．

［１４］ ＴＩＡＮ Ｊ，ＳＨＩ Ｙ，ＴＯＮＧ Ｘ Ｌ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ Ｂａｓｅｄ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ ｗｉｔｈ ＨｅｔｅｒｏｇｅｎｅｏｕｓＱｏＳ ｆｏｒ Ｃｅｌｌｕｌａｒ Ｖ２Ｘ［Ｃ］∥２０２３ ＩＥＥＥ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｎｅｔｗｏｒｋｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ （ＷＣＮＣ）． Ｇｌａｓｇｏｗ：ＩＥＥＥ，２０２３：１－６．

［１５］ ＶＵ Ｈ Ｖ，ＦＡＲＺＡＮＵＬＬＡＨ Ｍ，ＬＩＵ Ｚ Ｙ，ｅｔ ａｌ． ＭｕｌｔｉａｇｅｎｔＲｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｃｈａｎｎｅｌ Ａｓｓｉｇｎｍｅｎｔ ａｎｄＰｏｗｅｒ Ａｌｌｏｃａｔｉｏｎ ｉｎ Ｐｌａｔｏｏｎｂａｓｅｄ ＣＶ２Ｘ Ｓｙｓｔｅｍｓ［Ｃ］∥２０２２ ＩＥＥＥ ９５ｔｈ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ（ＶＴＣ２０２２Ｓｐｒｉｎｇ）． Ｈｅｌｓｉｎｋｉ：ＩＥＥＥ，２０２２：１－５．

［１６］３ＧＰＰ． Ｓｔｕｄｙ ＬＴＥｂａｓｅｄ Ｖ２Ｘ Ｓｅｒｖｉｃｅｓ （Ｒｅｌｅａｓｅ １４ ）［Ｒ］． Ｖａｌｂｏｎｎｅ：３ＧＰＰ Ｓｕｐｐｏｒｔ Ｏｆｆｉｃｅ，２０１６．

［１７］ ＫＹ？ＳＴＩ Ｐ，ＭＥＩＮＩＬ？ Ｊ，ＨＥＮＴＩＬＡ Ｌ，ｅｔ ａｌ． ＷＩＮＮＥＲ ＩＩＣｈａｎｎｅｌ Ｍｏｄｅｌｓ［Ｍ］． Ｈｏｂｏｋｅｎ：Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ，２００８．

［１８］ ＬＩＡＮＧ Ｌ，ＹＥ Ｈ，ＬＩ Ｇ Ｙ． Ｓｐｅｃｔｒｕｍ Ｓｈａｒｉｎｇ ｉｎ ＶｅｈｉｃｕｌａｒＮｅｔｗｏｒｋｓ Ｂａｓｅｄ ｏｎ Ｍｕｌｔｉａｇｅｎｔ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｊ］． ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１９，３７（１０）：２２８２－２２９２．

作者簡介

孟水仙 女，（１９８４—），碩士，高級工程師。主要研究方向：無線電監測、電磁兼容。

劉艷超 女，（１９９６—），碩士研究生。主要研究方向：認知無線傳感器網絡、強化學習。

（*通信作者）王樹彬 男，（１９７１—），博士，教授。主要研究方向：認知無線傳感器網絡、機器視覺。

基金項目：國家自然科學基金（６２３６１０４８）