Femtocell雙層網絡中基于Q-learning的子信道分配方案

楊秀清 陳 禹 李正富

?

Femtocell雙層網絡中基于Q-learning的子信道分配方案

楊秀清*①陳 禹①李正富②

①(北京電子科技職業學院電信工程學院 北京 100176)②(北京郵電大學信息與通信工程學院 北京 100876)

在Femtocell家庭基站(Femtocell Base Station, FBS)組成的異構網絡中，為提升網絡的頻譜效率，FBS與Macrocell宏基站(Macrocell Base Station, MBS)一般要求是同頻部署，然而同頻部署會產生同信道干擾。為了實現FBS的大規模部署，降低網絡同信道干擾影響變得尤為重要。該文提出一種基于Q-learning的子信道分配方案，既保證大量部署的FBS不會對MBS帶來過高的跨層干擾，同時也降低了FBS之間的同層干擾。同時針對FBS稀疏部署和密集部署的場景，分別進行了算法的仿真驗證，其仿真結果表明該算法降低了干擾，驗證了理論的正確性。

Femtocell；雙層網絡；Q-learning；子信道分配

1 引言

由于FBS與MBS形成的異構網絡遭受的干擾復雜多變，用戶對網絡的QoS(Quality of Service)要求也越來越高，因此，抑制FBS網絡帶來的干擾，保證用戶時延、最低數據速率要求等QoS指標是亟需解決的重要問題。目前在Femtocell異構雙層網絡中的干擾管理和抑制的具體策略可以分為干擾消除、干擾避免以及小區間干擾協調3大類。

干擾消除是一種基于物理層的處理技術，通過接收機的處理增益從而消除干擾[1]。文獻[2]設計FBS之間的頻率復用機制來降低FBS之間的同層同頻干擾。文獻[3]考慮引入疊加編碼技術，并設計合理的功率控制方式實現干擾消除。由于干擾消除技術要求小區間嚴格同步、信令開銷大、算法復雜，因此在目前FBS網絡中并沒有得到廣泛采用。

Vikram等人[4]提出了異構雙層網絡中的頻譜分割，不同類型的用戶接入不同的頻段以實現干擾避免。文獻[5]分析了基于CDMA的FBS網絡中的網絡容量與干擾避免問題。杜曉玉等人[6]提出了一種動態調整異構雙層網絡中頻率劃分的方式。文獻[7]提出了一種基于圖論聚合的干擾避免策略。文獻[8]提出一種基于干擾余量的干擾避免策略。文獻[9]提出了一種基于混合頻率指定的干擾避免策略。文獻[10]中提出了基于信道分配的干擾避免方式?？紤]到未來具大移動數據流量需求，在FBS中引入多天線技術將成為必然，因此，對具有多天線FBS通過波束選擇與波束賦形進行干擾避免也得到了廣泛的關注，但頻率利用率相對較低的缺陷成為干擾避免不得不解決的問題。

在FBS異構雙層網絡中，FBS可以將小區間干擾協調與自組織技術結合，自適應地調整其對信道的使用和發射功率，優化室內覆蓋，降低同層和跨層干擾，提升網絡容量和頻譜效率。文獻[14]提出了基于斯塔克伯格博弈的分布式功率控制算法，減小了雙層網絡中的跨層干擾問題。文獻[15]引入了超模博弈模型，并考慮了Femtocell的公平性，設計了Femtocell網絡的干擾抑制算法。文獻[16-19]研究了軟頻率復用技術在FBS異構雙層網絡中的應用，雖然復用度有所提高，但是由于在密集部署的FBS執行軟頻率復用而進行頻率規劃、基站間的大量協調或者集中式的節點等，與FBS自組織的特征不符。

為保障FBS與MBS形成的異構雙層網絡中不同基站的和諧共存和正常運行，本文對降低網絡同信道干擾進行了研究，提出了在優先保證宏用戶的效用，不對其造成干擾的情況下來進行FBS的最優子信道分配方案?？紤]到不同業務對網絡性能參數的要求不同，及針對抑制業務的需求不同，在子信道充足的情況下應分配相應數量的子信道，以滿足業務的吞吐量需求。因此，本文將把有效容量引入到效用函數中，保證用戶對多媒體業務的時延QoS要求，并提出根據抑制用戶的吞吐量需求自適應分配子信道的算法。

同時，考慮到FBS是由用戶隨機部署，FBS會隨時接入或離開網絡， FBS需要有自組織能力，而Q-learning強化學習算法可以根據環境狀態的變化優化自身的參數、性能指標等，因此，本文將采用Q-learning機制設計分布式的子信道分配算法，其中，各個FBS都被設計成智能體，通過學習選擇最優的子信道分配方案。采用Q算法的優越性主要有：(1)收斂速度快；(2)把有效容量用Q學習實現；(3)考慮了同層跨層干擾。因此基于該學習理論可以大大增強FBS基站的自組織，自我學習的能力。

本文所提出的一種基于Q-learning的子信道分配方案，既保證大量部署的FBS不會對MBS帶來過高的跨層干擾，同時也降低了FBS之間的同層干擾。在仿真中，本文針對FBS稀疏部署和密集部署的場景分別進行了算法的仿真驗證。

2 Femtocell雙層網絡建模

2.1 建立Femtocell雙層網絡模型

本節提出FBS異構雙層網絡下行鏈路場景，如圖1所示。一個代表性的MBS下面覆蓋了若干個FBS，每個FBS服務于它的家庭用戶(Femtocell User, FUE)，并且一個FUE只受控于一個FBS。FBS與MBS采用共信道的方式公用所有頻譜。

為了方便理解，現做下述定義：設所有基站(包括MBS和FBS)集合為,,表示MBS,表示FBS。設表示全部用戶集合，表示基站中的用戶集合，由于每個用戶僅由其中一個基站服務，因此，有如下等式成立,;。設所有子信道集合為,表示子信道，若表示基站分配給用戶的子信道集合，為了避免小區內部用戶間的干擾，同一時刻每個小區中的某個子信道只能分配給其中一個用戶，即，,。用表示在子信道上基站到用戶的增益，用表示信道的高斯白噪聲，用表示在子信道上基站向用戶發射的功率，基站向用戶發射的功率的集合應滿足：

圖1 Femtocell雙層網絡場景圖

由于無線網絡的時變特性，保障時延敏感業務(如視頻電話，視頻會議，在線視頻，游戲等)的QoS要求是當前無線網絡面臨的非常重要且具有很大挑戰的問題，尤其是為移動業務提供確定的時延保障。為了解決這個問題，一些學者提出了有效容量的概念，文獻[20]引入了超模博弈模型，并考慮了Femtocell的公平性，設計了Femtocell網絡的干擾抑制算法。有效容量被定義為在時變信道中有統計時延QoS指數約束下能達到的最大持續到達率。有效容量可以表示為

(4)

2.3 問題建模

除了不同業務對時延QoS要求不同外，有些用戶的業務對網絡最低吞吐量也有一定的要求，例如視頻會議、在線游戲、視頻直播等。因此，保證用戶最低吞吐量的要求是實現視頻會議、在線游戲、視頻直播等業務的前提。本文中基于Q-learning的子信道分配的目標即為

(7)

3 基于Q-learning的子信道分配算法

由于無線頻譜資源的有限性，Femtocell異構網絡可分配的子信道數量是有限的，這和Q-learning強化學習算法中有限的可執行動作非常匹配，因此，將Q-learning理論應用于Femtocell異構網絡中實現FBS的子信道分配具有先天優勢。

(10)

下面分析非確定環境下Q-learning算法學習規則。在非確定性環境下，Q值和值可以定義為折算累積回報的期望值，則可定義Q值的表達式為

(12)

為了消除FBS對MBS造成的跨層干擾，宏蜂窩用戶MUE和MBS以及FBS和MBS之間存在如下信息交互，MUE將檢測的FBS信息周期性的傳遞給MBS，然后MBS向FBS發送自組織信號，即MUE周圍的干擾基站信息，MBS分配給MUE子信道信息(可以通過X2接口，或空中接口實現)，如圖1所示，一個MBS覆蓋3個FBS，每個FBS采用封閉式接入，MBS控制其覆蓋下的FBS不對MUE產生干擾。

3.1 基于Q-learning的子信道分配架構

為了利用Q-learning理論實現Femtocell異構網絡中的子信道分配，需首先設計智能體，環境狀態，動作，以及立即回報：

環境狀態：由于MBS已將MUE的位置信息以及已占用的子信道信息發送給各個FBS，時刻的狀態為，其中表示時刻FBS是否將對MUE產生干擾，若對MUE產生干擾，則表示為1，否則為0;表示時刻FBS將會干擾到的MUE數目，，MBS用戶所占用的子信道集合用表示；表示時刻在當前Femtocell中FBS分配給其他用戶的子信道集合。前兩個參量和可通過MUE上傳給MBS的檢測信息得到。

(15)

Q-learning相對于其他強化學習算法的一個明顯優勢就是在狀態轉移概率未知的情況下更新Q值，具體迭代更新公式如式(16)：

另外，FBS在更新策略時根據玻爾茲曼探索的方式更新策略空間，具體地，時刻的策略根據式(17)更新：

3.2 基于Q-learning的子信道分配算法

考慮不同業務對網絡吞吐量的需求差異，不同用戶需要的最低數據速率差異很大，基于以上Q-learning框架，本節提出具有數據速率QoS保障的基于Q-learning的子信道分配算法，具體算法步驟為：

4.3.2 物鏡頭污染 解決辦法：（1）標本加樣不可太多，否則堆積在一起厚度較大，可以攤開平鋪，擴大面積，也易于尋找，避免目標重疊；（2）在不違反規則的情況下用低倍鏡觀察，因為使用低倍鏡時，物鏡頭距離觀察目標尚有一段安全距離，可以避免標本接觸物鏡頭；（3）加蓋蓋玻片，并且保持蓋玻片上方面的干燥；（4）油浸鏡頭使用后應用擦鏡紙蘸二甲苯及時擦拭，如果干結，清潔難度較大，應用擦鏡紙沾濕清潔液浸潤，擦拭時要用力。

開始學習

學習結束。

4 仿真配置與分析

在仿真中，本文基于Matlab建立Femtocell異構雙層網絡靜態仿真系統，為了驗證本文所提保證用戶數據速率的基于Q-learning的子信道分配算法(QSA)的可行性，本文對FBS稀疏部署場景與FBS密集部署場景分別進行了仿真驗證。

(1)FBS稀疏部署場景如圖2所示，MBS基站位于網絡中心，覆蓋半徑為500 m, 3個(以3個為例進行說明)FBS部署距離大于100 m，信道是符合獨立同分布的瑞利衰落信道，宏用戶MUE和家庭用戶FUE的路徑損耗分別是和，其中，是收發信機之間的距離，，其他仿真參數如表1所示，仿真結果以FBS 1為例進行說明，FBS周圍有兩個MUE，在FBS 1中有兩個FUE, FUE1的最低數據速率要求是100 kbit/s, FUE2的最低數據速率要求是300 kbit/s。根據所提算法進行子信道分配后的情況如表2所示。其中“0”表示該子信道未分配給該用戶，“1”表示子信道已經分配給該用戶。MUE的子信道是已經分配好的，基于Q-learning的子信道分配算法完成后，FBS 1將第7個子信道分配給FUE 1，將第2,3,6個子信道分配給FUE 2。該算法將除了分配給宏用戶以外的其他信道{2,3,6,7}都分配給了FBS1，這是因為在FBS稀疏部署場景中，例如在偏遠鄉村中，FBS之間距離遠，并且其發射功率較小，因此FBS之間的干擾可以忽略；即，FBS在進行子信道分配時，不需要考慮其他FBS的影響，只需考慮是否對周圍宏用戶造成干擾。FBS1將1個子信道分配給了FUE1，3個子信道分配給FUE2，是由于兩個用戶的最低數據速率要求不同，FUE2要求的最低數據速率較高因此分配的子信道數較多。

(2)FBS密集部署場景如圖3所示，與FBS稀疏部署不同之處在于FBS彼此相鄰部署，FBS之間的相互干擾不可忽略。在仿真中以FBS1和FBS2為例，FBS1和FBS2周邊有1個宏用戶受到干擾，即MUE2，另外，FBS1中有兩個家庭用戶(FUE 1和FUE 2)，它們的最低數據速率要求分別是和, FBS2中也有兩個家庭用戶，分別是FUE A和FUE B，它們的最低數據速率要求分別是和，其他仿真參數同樣參見表1。經過子信道分配得出結果如表3所示。分配給FBS1中兩用戶的子信道分別是,；分配給FBS2中兩用戶的子信道分別是，。兩個FBS在進行子信道分配時不僅要考慮是否對宏用戶產生干擾，同時也需要考慮FBS之間的相互干擾，所以FBS2沒有將分配給FUE2的子信道分配給他所控制的家庭用戶。仿真結果與理論分析相一致，證實了所提算法的可行性。

圖2 FBS稀疏部署場景圖

表1 仿真相關參數

表2 FBS稀疏部署場景下子信道分配結果

圖3 Femtocell密集部署場景

圖4顯示的是宏用戶單個子信道上的平均有效容量隨家庭小區數的變化趨勢。從圖中可以看出所提算法有效地保障了宏用戶的吞吐量，隨著家庭小區數目的增加，宏用戶單個子信道上的平均有效容量略有減少，但宏用戶的吞吐量不低于250 kbit/s，這是因為FBS在分配子信道時與MBS有信息交互，可以保障家庭基站不對附近宏用戶產生干擾，宏用戶有效容量略微下降是因為，隨著家庭基站數目的增多，家庭基站有可能會對遠處宏用戶產生輕微干擾。另外，從圖4中也可以看到所提算法(QSA)的宏用戶有效容量遠遠大于隨機分配子信道(RSA)宏用戶的有效容量，因為所提算法有效地避免了家庭基站對附近宏用戶的干擾。

表3 FBS密集部署子信道分配結果

圖5顯示了家庭用戶單個子信道的平均有效容量隨統計時延指數的變化趨勢，從圖5中可以看出，家庭用戶單個子信道的平均有效容量隨統計時延指數的增加而降低，但是當時延指數較小時，即, FUE有效容量變化不大，這是由于當時延指數很小時，對有效容量的影響很小，用戶可獲得的有效容量接近于香農容量，時，FUE有效容量變化明顯，因此，時延指數的有效設定可以保證不同用戶對時延QoS指標的要求。另外，可以發現所提算法獲得的平均有效容量遠遠大于隨機分配子信道獲得的有效容量，并且隨著家庭小區數的增多，所提算法家庭用戶單個子信道上的平均有效容量略有下降，而隨機分配子信道算法的家庭用戶單個子信道上的平均有效容量迅速下降，這是由于所提子信道分配算法有效地降低了家庭用戶之間的同層干擾，從而獲得更大的有效容量。

5 結束語

本文研究了在保障用戶時延QoS和抑制用戶對網絡吞吐量不同要求指標的基礎上研究了Femtocell異構雙層網絡中基于Q-learning的子信道分配策略。為了保障用戶時延QoS，本文首先基于有效容量的概念建立了Femtocell異構雙層網絡模型。再者考慮到家庭基站是隨機接入網絡，需要有自配置網絡參數，自我優化的能力，因此，本文基于Q-learning理論建立Q-學習框架，設計了基于Q-learning的子信道分配算法，在該算法中，每個家庭基站都是一個智能體，在分配子信道時既避免了FBS與MBS之間的跨層干擾，又降低了FBS之間的同層干擾，并且各家庭基站可根據用戶對網絡吞吐量不同需求自適應地分配子信道數目。最后，本文分別針對FBS稀疏部署與密集部署場景對所提算法進行了仿真驗證，并與隨機分配子信道算法進行對比，證實了所提算法的有效性、優越性。但本研究還有待完善的地方，例如子信道分配證明收斂性的問題，這也是下一步的研究方向。

圖4 宏用戶單個子信道的平均有效容量與家庭小區數的關系

圖5 家庭用戶單個子信道的平均有效容量與統計時延指數的關系

[1] CHEN W T. Analytic estimation for uplink capacity reduction due to co-channel interference in LTE networks[J]., 2014, 21(6): 1775-1782. doi:10.1007/s11276-014-0883-y.

[2] ALADE T, ZHU H, and WANG J. Uplink co-channel interference analysis and cancellation in femtocell based distributed antenna system[C]. IEEE International Conference on Communication (ICC) 2010, Cape Town, South Africa, 2010: 1-5.doi:10.1109/ICC.2010.5501848.

[3] MOHSEN M and MAJID G. Uplink scheduling in wireless networks with successive interference cancellation[J]., 2014, 13(5): 1132-1144. doi:10.1109/TMC.2013.56.

[4] VIKRAM C and JEFFREY J A. Spectrum allocation in tiered cellular networks[J]., 2009, 57(10): 3059-3068. doi:10.1109/TCOMM.2009.10.080529.

[5] TSIROPOU E E, VAMVAKAS P, PAPAVASSILIOU S,Combined power and rate allocation in self-optimized multi-service two-tier femtocell networks[J]., 2015, 72(12): 38-48. doi:10.1016/j.comcom.2015.05.012.

[6] 杜曉玉, 孫力娟, 郭劍,等. 異構無線傳感器網絡覆蓋優化算法[J]. 電子與信息學報, 2014, 36(3): 696-702. doi:10.3724/SP.J.1146.2013.00730.

DU Xiaoyu, SUN Lijuan,GUO Jian,. Coverage optimization algorithm for heterogeneous WSNs[J].&, 2014, 36(3): 696-702. doi:10.3724/SP.J.1146.2013.00730.

[7] LI Hongjia, XU Xiaodong, HU Dan,. Clustering strategy based on graph method and power control for frequency resource management in femtocell and MBS overlaid system[J]., 2011, 13(6): 664-677. doi:10.1109/JCN.2011.6157483.

[8] HAN Bin, WANG Wenbo,LI Yong,. Investigation of interference margin for the co-existence of MBS and femtocell in orthogonal frequency division multiple access systems[J]., 2013, 7(1):59-67. doi:10.1109/JSYST.2012.2223536.

[9] GUVENC I, JEONG M R, WATANABE F J,A hybrid frequency assignment for femtocells and coverage area analysis for co-channel operation[J]., 2008, 12(12): 880-882. doi:10.1109/LCOMM.2008.081273.

[10] ZHENG K, WANG Y, LIN C,.Graph-based interference coordination scheme in orthogonal frequency-division multiplexing access femtocell networks[J]., 2011, 5(17): 2533-2541. doi:10.1049/iet-com.2011.0134.

[11] PARK S S, SEO W H, KIM Y J,. Beam subset selection strategy for interference reduction in two-tier femtocell networks[J]., 2010, 9(11): 3440-3449. doi:10.1109/TWC.2010.092410.091171.

[12] 張海波, 穆立雄, 陳善學, 等. OFDMA毫微微小區雙層網絡中基于分組的資源分配[J]. 電子與信息學報，2016，38(2): 262-268. doi:10.11999/JEIT150699.

ZHANG Haibo, MU Lixiong, CHEN Shanxue,. A cluster-based resource allocation in a two-tier OFDMA femtocell networks[J].&, 2016, 38(2): 262-268. doi:10.11999/JEIT150699.

[13] CHANG Chihwen. An interference-avoidance code assignment strategy for the hierarchical two-dimensional-spread MC-DS-CDMA system: aprototype of cognitive radio femtocell system[J]., 2012, 61(1): 166-184. doi:10.1109/TVT.2011.2173808.

[14] KANG Xin, LIANG Yingchang, and GARG H K. Distributed power control for spectrum-sharing femtocell networks using stackelberg game[C]. 2011 IEEE International Conference on Communications (ICC), Kyoto, Japan, 2011: 1-5. doi:10.1109/icc.2011.5962650.

[15] AHMED M and YOON S G. Dynamic access and power control scheme for interference mitigation in femtocell networks[J].(TIIS), 2015, 9(11): 4331-4346. dio: 10.3837/tiis. 2015.11.004.

[16] JIN Fan, ZHANG Rong, and HANZO L. Fractional frequency reuse aided twin-layer femtocell networks: Analysis, aesign and optimization[J]., 2013, 61(5): 2074-2085. doi:10.1109/TCOMM.2013.022713.120340.

[17] JIN Fan, ZHANG Rong, and HANZO L. Frequency-swapping aided femtocells in twin-layer cellular networks relying on fractional frequency reuse[C]. 2012 IEEE Wireless Communications and Networking Conference (WCNC), Paris, France, 2012: 3097-3101. doi:10.1109/WCNC.2012.6214337.

[18] SALATI A H, NASIRI-KENARI M, and SADEGHI P. Distributed subband, rate and power allocation in OFDMA based two-tier femtocell networks using fractional frequency reuse[C]. 2012 IEEE Wireless Communications and Networking Conference (WCNC), Paris, France, 2012: 2626-2630. doi:10.1109/WCNC.2012.6214243.

[19] VALCARCE A, LUCAS M, and LOPEZ-PEREZ D. In-cabin downlink cell planning with fractional frequency reuse[C]. 18th European Wireless Conference European Wireless, Poznan, Poland, 2012: 1-5.

[20] WU Dapeng and NEGI R. Effective capacity: A wireless link model for support of quality of service[J]., 2003, 2(4): 630-643. doi: 11.1109/TWC.2003.814353.

[21] WATKINS C and DAYANP. Technical note: Q-Learning[J]., 1992, 8(3/4): 279-292. dio: 10.1023/A:1022676722315.

Subchannel Allocation Scheme for Two-tire Femtocell Networks Based on Q-learning

YANG Xiuqing①CHEN Yu①LI Zhengfu②

①(,,100176,)②(,,100876,)

In order to improve the spectrum efficiency in the Femtocell home Base Station (FBS) heterogeneous network, FBS and Macrocell Base Station (MBS) are usually deployed with the same frequency. However, the same frequency deployment will inevitably lead to larger co-channel interference. In order to achieve the large-scale deployment of FBS, reducing the interference of the network with the channel is particularly important.In this paper, a sub channel allocation scheme is propsed based on Q-learning. It can ensure that FBS will not bring high cross-layer interference of MBS, while it reduces the same layer interference between two FBS. The simulation of the algorithm of FBS sparse deployment and dense deployment situation are performed, respectively. Simulation results show that this algorithm reduces the same layer interference and verifies the correctness of the theory.

Femtocell; Two-tire networks; Q-learning; Subchannel allocation

TN929.5

A

1009-5896(2017)03-0598-07

10.11999/JEIT160453

2016-05-03；改回日期：2016-11-15；

2016-12-29

楊秀清 yangxql@163.com

北京市教育委員會科技計劃一般項目(KM201710858003)

The Science and Technology Projects of Beijing Municipal Education Commission(KM201710858003)

楊秀清： 女，1967年生，副教授，研究方向為無線通信技術.

陳 禹： 男，1977年生，講師，研究方向為移動通信技術與理論.

李正富： 男，1991年生，碩士生，研究方向為未來移動通信網絡.