高速鐵路場景中基于MAB模型的多信道選擇算法

朱 豪,彭 藝,張 申,李啟騫

(昆明理工大學 信息工程與自動化學院,昆明 650500)

在高速列車跨越小區時,為保證列車通信的連續性與高質量性,越區切換技術至關重要[1]. 本文主要研究在列車進行越區切換時,若切換區域是多基站覆蓋的情形,列車應選擇哪個基站進行接入通信,即在多信道存在的情形下,選擇哪個信道進行接入可保證列車在具有高質量通信的同時又能有較長的接入時間,以保證乘客具有更好的通信體驗.

目前,多臂老虎機(multi-armed bandit,MAB)模型被廣泛應用于認知無線電的信道選擇與接入領域. 文獻[2]介紹了MAB模型及其實際應用,并對該模型進行了求解；文獻[3]基于Q-learning討論了雙用戶場景下雙信道的選擇接入問題；文獻[4]討論了基于bandit問題下的信道模型,提出了一種基于次用戶與空閑信道利用的匹配算法,該算法雖可用對數函數的方式增長選擇代價,但其需通過多個次用戶之間進行信息的交互；文獻[5-6]使用MAB模型進行分布式信道的隨機選擇與接入,其選擇代價也是基于對數模式增長的; 文獻[7]基于隨機游戲競價模型,對集中式信道的選擇與接入問題進行了研究,通過競價的方式能獲得一定的頻譜資源,但也會對資源分配有一定影響,進而影響回報值和選擇策略；文獻[8-9]提出了一種基于TDFS(time division fair share)的信道接入策略,通過將時間正交給認知用戶分配信道,可使認知用戶間在接入時間上達到公平；文獻[10-11]建立了滿意通信概率(satisfactory communication probability,SCP)模型,以解決列車高速移動過程中所產生的Doppler效應問題; 文獻[12]討論了在高速鐵路環境下利用SCP使列車在越區切換過程中具有較低的平均切換次數,以保證較高的服務質量(QoS). 由于基站發射信號頻率的不同,會產生多條不同頻率的信道,因此,盡管相關文獻都能在某種程度上實現信道的選擇問題[13],但在高速鐵路多變復雜的運行環境中,由于切換帶的多基站分布而產生的多信道問題文獻報道較少[14-15]. 基于此,本文提出一種基于MAB模型的多信道選擇算法. 首先,以置信區間上界(upper-confidence bound,UCB)算法為基礎,通過設置信道空閑差異因子,使算法能快速收斂于最優信道; 其次,由于列車移動過程中存在Doppler效應,因此引入SCP衡量移動列車的通信質量,并分析其與切換過程中誤碼率之間的關系；最后,利用一系列評判標準分析該算法的性能.

1 系統模型

1.1 場景介紹

圖1為高速鐵路場景下的多信道模型示意圖. 當列車行駛至A點時,選擇最優信道接入以觸發越區切換. 在列車運行環境中,將列車視為一個認知用戶,于是場景即等效為在一個CRN(city radio network)網絡的高速鐵路環境中,擁有n條信道,但只有一個認知用戶的場景,其中n條信道之間互相獨立,本文中假設其都服從Bernoulli分布,若信道處于忙碌狀態,則不接入信道.

圖1 多信道選擇模型Fig.1 Multi-channel selection model

圖2 信道模型Fig.2 Channel model

1.2 信道模型

在高速鐵路場景中,切換帶共被M個基站覆蓋,表示M條信道,編號為N∈{N1,N2,…,NM},N(M)∈{0,1}. 當N(M)=0時,表示信道是空閑狀態,空閑概率為Pi；當N(M)=1時,表示信道是忙碌狀態. 信道模型如圖2所示. 在每個時隙,認知用戶伺機接入M個信道中的一個,且信道在每個時隙中狀態保持不變. 認知用戶在每個時隙的末尾,無論數據傳輸是否成功,都將進行數據更新. 定義fi(n)為到當前時隙為止,認知用戶對信道M感知的次數；Ii(n)為感知總次數中信道空閑的次數. 則認知用戶感知信道M的平均空閑概率可表示為

(1)

1.3 問題建模

在高速鐵路環境中,由于列車的高速移動,在信號接收與發送過程中,將會產生Doppler頻移,從而產生誤碼率. Doppler頻移fD表示為

(2)

其中θ表示基站信號傳輸方向與列車移動方向的夾角,v表示列車的實際運行速度,c表示光速,f表示載波頻率,dx和dt分別表示列車沿鐵軌方向的水平距離和距離基站的垂直距離. 當列車沿鐵軌方向不斷前進時,由于dx變大,cosθ逐漸接近于1,故本文忽略距離對Doppler頻移的影響,只考慮速度變化對其的影響,則Doppler頻移可簡化為

(3)

本文采用GMSK(Gaussian filtered minimum shift keying)調制技術,該調制模型下的誤碼率可表示為

(4)

式中:ρ為信噪比,取值為15；r=J0(2πfDTb)為相關系數,J0為第一類零階Bessel函數.

將高速鐵路場景下列車越區切換過程中多信道選擇與接入問題建模為MAB模型,即每條授權信道等效為一個獨立的臂. 在高速列車運行環境中,經過n個時隙后,列車成功選擇與接入信道的時間期望值T(n)可表示為

(5)

其中Pi表示信道空閑概率,Ii(n)為感知總次數中信道空閑的次數. 在MAB模型中,定義累積接入損失R(n)衡量MAB模型中算法的可靠性,表示為

(6)

其中n為時隙數,Pmax表示所有授權信道中空閑概率的最大值.

在MAB模型中,累積接入損失一定程度上決定了算法性能的優劣,R(n)越小,算法的性能越好,故在該模型中應盡量使累積接入損失最小. 由于nPmax的值保持不變,要使累積接入損失最小,則T(n)需最大,故該模型的目標函數變為

(7)

2 基于MAB模型的信道選擇機制

2.1 算法設計

本文采用UCB算法進行高速鐵路場景越區切換中單用戶多信道的選擇問題. 該算法是一種基于索引的算法,索引策略中索引的計算由當前信道的平均空閑概率和置信因子決定,使用戶在探索當前可用信道的同時預測下一個空閑信道. 索引值計算公式為

(8)

由于在信道探索過程中,無論信道空閑概率大小,都將對其進行探索,所以增加了算法的計算復雜度. 為使算法快速收斂于最優信道,故定義信道空閑差異因子βt反映信道質量的差異情況,表示為

(9)

(10)

為反映列車移動過程中接收到來自基站之間信號質量的優劣程度,本文提出滿意通信概率模型,進一步研究列車的選擇與接入算法. 定義列車在運行過程中由于速度變化而產生的通信失敗現象為速度-不滿意通信事件. 由于該事件出現的方式是隨機且獨立分布的,且列車速度引起的Doppler頻移是導致誤碼率的主要因素,故該事件在單位時間內的出現次數近似于服從Poisson分布,表示為

(11)

其中:K為出現誤碼的次數;λ為Poisson分布的均值和方差;λ=a(Pb-Pstd),a為待定系數,經過相關數據測試分析可知,a的取值一般為106. 定義通信失敗次數小于臨界速度-不滿意通信事件次數的概率為速度-滿意通信概率,可表示為

(12)

其中NPstd表示單位時間內發生誤碼的次數,由于誤碼是導致通信失敗的最重要原因,所以NPstd也稱為不滿意通信事件的次數. 在GSM-R(global system for mobile communications-railway)要求中,通常Pstd的下限取為0.008. 本文算法流程如圖3所示.

圖3 基于UCB算法的信道選擇流程Fig.3 Channel selection flowchart based on UCB algorithm

2.2 性能指標分析

本文將最優信道(空閑概率最大)選擇比率作為算法的性能評價標準之一：

(13)

由于最優信道選擇比率只能評價當前時刻選擇的信道是否是最優信道,而無法評判所選信道在當前時刻是否是空閑信道,故此時需用成功傳輸率Psuc進行評判分析：

Psuc=T(n)/t,

(14)

其中T(n)為認知用戶進行信道選擇后接入的累積收益,即列車成功選擇與接入信道的時間期望值.

根據式(13),用戶總是選擇最優信道進行接入通信,而非最優信道在未被占用時也可進行通信,故其累計接入損失在時間t足夠長的情形下可調整為

其中Sm為邏輯表達式,信道被占用時取值為1,信道空閑時取值為0.

3 仿真結果與分析

3.1 仿真參數

仿真場景為：在高速鐵路場景中,將列車定義為一個認知用戶,假設多信道切換帶中有9條待選信道,空閑概率分別為{0.1,0.2,…,0.9},各條信道服從Bernoulli分布,仿真總時隙為10 000,每個時隙的時長為0.01 s.

待選信道在有限時隙內被選擇接入次數列于表1. 由表1可見,如果仿真時隙足夠多,則信道空閑概率越大的信道被選擇的次數越多,由于本文定義的最大信道空閑概率為0.9的信道9,故無論在原始UCB算法中還是在改進UCB算法中,信道9被選擇接入的次數都最多,約占90%.

表1 待選信道在有限時隙內被選擇接入次數

3.2 結果分析

圖4 誤碼率與列車速度的關系Fig.4 Relationship between bit error rate and train speed

圖4和圖5分別為高速鐵路場景下列車速度與誤碼率和滿意通信概率間的變化關系. 由圖4和圖5可見,列車運行過程中的Doppler頻移隨著列車運行速度的不斷提高而增大,從而導致誤碼率也越來越高,但總體上還是維持在一個較低水平1%～3%；同時導致列車高速移動時速度-滿意通信概率降低,但當列車速度達到500 km/h時也基本維持在97%以上. 因此,在信噪比恒定時,列車運行速度越低,列車的滿意通信概率越高,低速列車能更好地滿足信道的有效接入.

圖6為不同算法最優信道選擇比率的對比結果. 由圖6可見,由于隨機選擇算法選擇的盲目性,在算法開始時就會直接選擇第一條信道,故開始會出現選擇比率達到1的情形,但隨著時隙數的增加,選擇比率急劇下降,其性能最差,最終約為11.7%；原始UCB算法的最優信道選擇比率隨著時隙數的增加而不斷增大,在時隙數t達到約5 300時,選擇比率可達80%,最終逐漸趨于穩定,維持在約86.5%[16]；而改進UCB算法,由于本文設置了信道質量差異因子,縮減了探索信道的數量,故在時隙t僅約為770時,便能很快達到90%以上的最優選擇比率,并隨著時隙數的增加而不斷增長,最終逐漸趨于1.

圖5 速度-滿意通信概率的關系Fig.5 Relationship between speed and satisfactory communication probability

圖6 不同算法最優信道選擇比率的對比結果Fig.6 Comparison results of optimal channel selection rate by different algorithms

3種算法的成功傳輸率如圖8所示. 由圖8可見：隨機選擇算法的成功傳輸率最低，約為49.8%；原始UCB算法的成功傳輸率隨時隙t的增加而不斷增大，當時隙t≈1 400時，成功傳輸率增加至80%，然后逐漸趨于平緩，最終維持在約86.7%[17]; 而改進UCB算法在時隙t≈1 000時，便能很快達到約90%，由于仿真環境中設置的最大信道空閑概率為0.9,故隨著時隙數的不斷增大,始終維持在90%. 由于本文設置了信道質量差異因子,縮減了探索信道的數量,因此,在較小的時隙t內便能達到較高的成功傳輸率.

圖8 成功傳輸率Fig.8 Successful transmission rate

綜上所述,本文主要研究了高速鐵路場景下越區切換過程中的多信道選擇問題,分析了基于MAB模型下的多信道選擇算法,以UCB算法為基礎,設置信道空閑差異因子,算法能快速收斂于最優信道,通過引入SCP衡量移動列車與傳輸誤碼率之間的關系；最后分析了本文算法在最優信道選擇比率、成功傳輸率和累積接入損失方面與其他算法的性能關系. 仿真結果表明,本文算法在上述3個評價標準中都有較大的提高,性能更優.