未來6G網絡內生智能的探討與分析

索士強　王映民

【摘? 要】將機器學習技術應用到未來6G網絡使其具備內生智能，是未來移動通信系統發展的重要趨勢之一。對將機器學習技術引入到6G網絡的必要性、可行性進行分析，并給出了一種網絡內生智能的方式。同時對網絡內生智能所引發的機器學習建模問題、模型部署/更新問題、如何應用強化學習的問題、以及標準化問題進行了探討。這些問題需要在無線網絡內生智能化進程中被關注和進一步研究。

【關鍵詞】人工智能;機器學習;6G;神經網絡

0? ?引言

作為人工智能的關鍵方法之一，機器學習技術在上個世紀50年代被提出，到目前為止經歷了早期發展階段和以數據挖掘為代表的中期發展階段，目前處于以深度機器學習為代表的第三個發展階段。機器學習技術影響的行業范圍廣，涉及金融、家居、教育、交通、醫療、物流、安防、客服、制造等行業，特別是在語音識別、圖像識別等領域取得突破。機器學習技術平臺開源化，使得開發者可以直接使用已經研發成功的深度學習工具，也加速了機器學習技術的發展與應用。

近年來，如何將機器學習技術應用到無線移動通信系統在學術界、產業界被廣泛研究與探討。3GPP SA2于2017年啟動了面向5G網絡的自動化使能技術研究工作，其對核心網中的NWDAF（Network Data Analytics Function，網絡數據分析功能）進行了增強[1-2];3GPP SA5于2019年啟動了面向MDAS（Management Data Analytics Service，管理數據分析服務）增強的研究工作[3]。對網絡數據分析功能和管理數據分析服務的增強，使其可應用人工智能和機器學習技術進行數據分析，可形成影響核心網和接入網的智能化決策。在接入網部分，3GPP RAN3于2018年啟動了以RAN為中心的面向NR的數據收集與應用研究工作，為在接入網中應用人工智能和機器學習技術提供數據層面的支撐[4]。基本上與3GPP同期，ITU-T SG13于2017年成立面向5G的機器學習焦點小組FG-ML5G，給出了一種在5G以及未來網絡中應用機器學習的統一邏輯架構，其需要對現有域之間的接口（比如核心網和接入網之間的接口）進行增強，以便于機器學習使用[5]。CCSA的TC1WG1、TC5WG6以及TC5WG10均開展了面向人工智能的研究工作，涉及移動通信網絡智能化能力分級研究、人工智能和大數據在無線通信中的應用研究等諸多課題[6-7]。2018年成立的O-RAN聯盟將RAN智能化作為其主要的研究目標之一，其通過在RAN側引入RAN智能控制器（RIC， RAN Intelligent Controller）來增強RAN的智能化[8]。上述這些組織所討論的機器學習在無線移動通信系統中的應用，主要面向解決無線移動通信網絡中的業務及應用的部署、運行、拓展、安全等問題，解決網絡及平臺的規劃、優化、維護、節能等問題，以及解決無線資源管理層面的問題，較少涉及解決信號處理層面的問題。在無線移動通信系統中如何利用機器學習技術解決信號處理層面的問題，目前在學術界被廣泛關注，并有進一步被應用到實際系統中的趨勢[9-12]。

當前無線網絡智能化主要考慮的是對包括5G在內的現存網絡的智能化，滯后于對應無線移動系統的標準化階段，所以主要采用的是擴展其對外的數據接口，以便被機器學習所使用的方式。這種方式由于其可擴展的數據接口有限、數據傳輸時延大，限制了機器學習的應用場景，同時還可能引發數據安全問題。因此，在面向6G的無線移動通信網絡研究的初期，將機器學習技術與未來6G網絡深度融合，形成內生智能的新一代移動通信系統的期望很高。本文也將對無線移動通信網絡內生智能的相關問題進行探討與分析。

1? ? 無線網絡智能化的必要性與可行性

在無線移動通信技術發展的歷史中，為了解決其所面臨的問題和挑戰，已經積累了大量的經典的模型和解決方法，這些經典的模型的構成是清晰可見、可解釋的。這種解決問題的方法被稱為模型驅動的方法。隨著無線移動通信系統的發展，其網絡變得越來越復雜：比如存在3G、4G、5G等多網共存的情況，存在eMBB、URLLC、eMTC等多種差異性業務共存的情況，存在基站-終端、基站-中繼-終端、終端-終端等多種無線連接共存的情況，這導致無論在業務層面、無線資源管理層面，還是信號處理層面，都面臨著越來越大的挑戰。引入機器學習的初衷，就是借鑒深度學習可以解決大型、復雜的非線性系統問題的能力，來應對未來這些挑戰。

簡單地說，機器學習主要用來解決模型驅動的方法中模型無法獲得或者不精確的問題。與模型驅動的方法相對應，應用機器學習來解決問題的方法，通常稱為數據驅動的方法。

在傳統的模型驅動方法中，模型的建立主要經歷了三個階段：理論推導、仿真驗證以及實際應用。采用數據驅動的方法時，模型的建立也經歷了類似的三個階段：模型訓練、仿真驗證以及實際應用。可以看出兩種方法的主要差別在于第一個階段。假設為了解決同一個問題，其所采用的仿真驗證方法及其假設都是一致，如果數據驅動方法所獲得效果與模型驅動方法所獲得的效果相當或更好，那么應該可以說明數據驅動方法所獲得的模型及其對應的方法是有效的。在文獻[9-10]中指出，即使通過仿真數據來進行DNN模型的訓練，其在實際應用時所獲得的信號檢測性能下降都不明顯。而數據驅動方法所獲得的模型，受益于深度神經網絡所包含的海量參數，相對于人工理論推導所獲得的模型，有更為精確的可能，從而最終提高其效果，這也是引入機器學習的必要性之一。

機器學習模型的訓練包括離線訓練和在線訓練兩種模式。離線訓練階段的數據可以通過實際系統采集獲得，也可以通過仿真建模獲得。而對于待研究的新系統（比如6G）來說，因無實際可提供數據采集的新系統，利用仿真平臺提供的數據進行訓練更為可行。

在線訓練包括兩種情況：直接利用系統實時獲得的數據進行訓練;或者在離線訓練所獲得的模型基礎上，利用系統運行中所獲得的新數據對模型的參數進行調整。在線訓練會額外增加系統的計算復雜度，但可以通過控制其訓練周期來平衡性能與復雜度之間的關系。特別地，基于導頻設計的無線通信系統天然具備可以應用強化學習的基礎，其在發射端、接收端已知的導頻信號，可以看作系統實時提供的訓練數據，可以用于對現有機器學習模型進行在線訓練。

在應用階段，由于深度學習可以采用通用的深度神經網絡，在其具體應用時可以獲得較低的計算復雜度，這是因為通用的神經網絡僅僅涉及一些簡單的矩陣乘法操作。進一步，借助GPU或更專用的機器學習芯片可以獲得更高效率或更低的成本。

因此，從可行性角度來看，引入機器學習在其工作原理上、訓練數據可獲得上、以及計算復雜度方面均具有可行性。從必要性來看，其可以解決復雜問題、提高性能和降低成本。

2? ?未來無線網絡需要內生智能

當前，將機器學習應用到無線移動通信網絡中主要采用：固化推演方式和系統外推演方式。固化推演方式即通過離線訓練獲得推演階段所使用的機器學習模型后，將其固化到系統中，系統在運行時，應用固化在系統中的機器學習模型進行推演，獲得相應的功能。系統外推演方式即機器學習的訓練和推演均在無線移動通信系統之外進行，機器學習推演機構利用系統提供的數據進行推演，并將推演的結果應用到目標系統之中，如圖1所示。目前在業務層面、網絡與平臺管理、無線資源管理等層面的機器學習研究主要考慮是這種方式，其對當前標準架構影響較小，僅涉及測量、統計量層面的豐富化。

采用系統外推演的方式，需要無線移動通信系統向機器學習訓練機構提供大量用于訓練和推演的數據，隨著所需要解決的問題復雜化，特別是將機器學習用于無線信號處理時，大量的訓練和推演數據向系統外提供將成為一種負擔。同時，系統內外的數據交互會增加處理問題的時延，限制了機器學習技術的應用場景。將無線移動通信系統內部的數據提供給系統外的機器學習機構使用，還可能引發數據安全的問題。因此，有必要將機器學習的訓練和推演引入到無線網絡內部，構造具備內生智能的新一代無線移動通信系統。

具體地，本文給出一種系統內與系統外推演相結合的方式，如圖2所示。其中，離線訓練以及所需數據量較少的在線訓練和推演在系統外進行，所需要數據量較大的在線訓練和推演在系統內進行。特別地，系統內的機器學習推演模型可以由系統外的機器學習訓練機構提供，也可以由系統內的機器學習在線訓練機構提供。

這種網絡內生智的推演的方式，可以更有利于采用機器學習技術解決無線移動通信系統自身的問題，比如應用深度神經網絡模型提升信道估計和信號檢測的性能、應用深度強化學習提升鏈路自適應的準確性等。目前，正處于6G無線移動網絡研究的起始階段，也正是研究網絡內生智能的關鍵階段，因此有必要對網絡內生智能所引發的相關問題進行討論，并作為無線網絡智能化進程中的關鍵問題持續展開研究。

3? ?網絡內生智能所引發的關鍵問題

3.1? 機器學習模型建模問題

機器學習的發展主要體現在語音識別、圖像識別等領域，在其中沉淀了大量經典的模型與算法。將機器學習引入到無線移動通信系統中，用來解決無線移動通信系統的問題，在最近幾年才凸顯出來。這其中包括兩類機器學習模型建設方法：黑盒方法和展開方法。黑盒方法可以理解為將現存的、其他非通信領域使用的經典機器學習模型直接應用到無線移動通信系統的方法，由于機器學習模型中參數眾多、具體物理意義不清晰，故稱為黑盒方法。展開方法則是依據對無線移動通信系統的理解，針對現存的無線移動通信系統經典模型進行展開，重新構建出機器學習模型的方法。

下面以經典的ZF和MMSE檢測方法為例，對展開方法進行簡單的說明。ZF和MMSE其檢測矩陣分別表述為：

ZF：（HHH）-1HH ? （1）

MMSE：（HHH+βI ）-1HH? （2）

從經典的模型驅動方法的角度來看，β是噪聲方差與信號方差的比值，在應用時需要分別估計噪聲方差和信號方差，或者等效為信噪比估計。而從基于模型展開的數據驅動方法的角度來看，β是一個將ZF和MMSE算法綜合到一起的參數。ZF和MMSE檢測算法在不同信道環境以及信噪比情況，其性能表現也不盡相同，通過實際系統所提供的數據訓練生成該系數β，可以使得檢測算法更好地匹配無線信道環境。文獻[12]給出了一種采用展開方法、構建基于深度神經網絡的MIMO檢測器的方法，其將經典的迭代檢測方法，通過深度神經網絡進行展開，其中每一次迭代對應神經網絡中的一層，由于在每一層中引入了待訓練的參數，其獲得的模型更精確。

通過展開的方法，獲得新的機器學習模型是目前學術界進行研究的趨勢之一，但需要注意的是，這種展開方法導致機器學習模型的結構會千變萬化，而且依舊存在大量的矩陣求逆的操作，雖然性能獲得了提升，但相對于通用的神經網絡模型，其較高的實現復雜度將限制其應用場景。

3.2? 機器學習模型部署/更新問題

當機器學習推演機構在無線移動通信系統內部時，如何進行機器學習模型的部署/更新是一個待研究的問題。

依托深度神經網絡的廣泛應用，其發展出多種經典的神經網絡模型，比如DNN、RNN、CNN等。神經網絡主要由神經元以及描述神經元之間的關系的參數構成，這為采用參數傳遞的方式進行機器學習模型部署/更新提供了可能。以DNN為例，描述其模型的主要參數包括：層數、每層（包括隱藏層）的神經元個數以及每一個神經元的權重、偏差、激活函數。

另外一種部署/更新機器學習模型的方法是采用內生業務部署的方式。簡單地說，可以把機器學習推演模型看作一種應用（APP），其模型的部署/更新即APP的下載、安裝過程。相對于前述參數傳遞方式，采用系統內生業務的方式可以部署/更新更復雜的模型，并且也有利于模型本身的內部結構的保護。

3.3? 如何應用強化學習

強化學習是利用與環境的交互提升決策準確度的方法。在無線移動通信系統中，不同網元（基站、終端等）因其所處的位置不同，從而導致其所面對的環境千差萬別，并且其所處的環境也會因為信道的變化、用戶的移動等因素而實時變化。因此，有必要將強化學習引入到無線移動通信系統中，使其更智能、更精確地匹配環境的變化。

當所要決策的問題是系統中某一局部的問題時，可以直接將強化學習構建在其內部的解決方案中，但是當所要決策的問題是系統性的問題時，需要系統中的不同網元提供有關環境狀態、回報的信息。具體地，針對某一個系統性的問題，在應用強化學習時，至少需要考慮下述相關內容：

◆代理：即決策的主體，它可能位于系統環境中某一網元。

◆狀態：系統環境中所有相關網元需要向代理提供的用于計算環境狀態的信息集合。

◆回報：系統環境中所有相關網元需要向代理提供的用于計算回報的信息集合。

◆行動：針對系統環境中的目標網元或其某具體功能單元，代理可能做出的行動集合。

進一步，借助強化學習的決策機制可以對離線訓練獲得的模型進行在線訓練的控制和更新。

3.4? 網絡內生智能相關的標準化問題

在采用系統外推演方式時，僅僅要求無線移動通信系統提供可以被機器學習相關機構調用的接口。而采用系統內推演時，結合前述問題的探討，需要考慮系統內不同網元、層之間的標準化問題。比如，當機器學習在線訓練機構部署在基站側，機器學習模型推演單元部署在終端側時，經過空口至少需要傳輸如下信息：

◆機器學習模型描述信息：可以采用參數傳遞或內生業務的方式進行傳輸。

◆強化學習相關的狀態、回報、行動信息：可以依托現有標準化接口所能提供的信息，但必要時需要進行增加或優化。

◆訓練/推演數據：應盡量使用目前空口所能提供的數據進行訓練/推演，但必要時需要進行增加或優化。

4? ?結論

本文針對將機器學習技術應用到無線移動通信系統的必要性與可行性進行了分析。從可行性角度來看，引入機器學習在其工作原理上、訓練數據可獲得上以及計算復雜度方面均具有可行性。從必要性來看，其可以解決復雜問題、提高性能和降低成本。進一步，由于采用系統內推演的方式，可以降低系統內外傳遞的數據需求，降低處理時延，從而更有利于采用機器學習技術解決無線移動通信系統內部的問題，因此建議在未來的6G網絡中構建內生的智能。

本文對內生智能所引發的關鍵問題進行了探討，包括機器學習模型建模問題、機器學習模型部署/更新問題、如何應用強化學習問題以及標準化問題等。這些問題需要在無線網絡智能化進程中被持續關注和研究。特別地，在標準化方面，由于網絡內生智能將影響不同網元、單元的功能與接口的變化，這將導致無線網絡架構的變革，需重點研究。

參考文獻：

[1] 3GPP. 3GPP TR23.791 V16.2.0： Study of Enablers for Network Automation for 5G （Release 16）[R]. 2019.

[2] 3GPP. 3GPP TS23.288 V16.3.0： Architecture enhancements for 5G System （5GS） to support network data analytics services （Release 16）[S]. 2020.

[3] 3GPP. 3GPP TR28.809 V0.3.0： Study on enhancement of Management Data Analytics （MDA） （Release 17）[R]. 2020.

[4] 3GPP. 3GPP TR37.816. V16.0.0： Study on RAN-centric data collection and utilization for LTE and NR （Release 16）[R]. 2019.

[5] ITU. ITU-T FG-ML5G-ARC5G： Unified architecture for machine learning in 5G and future networks[S]. 2019.

[6] CCSA. CCSA TC5-WG6-2019-045： 人工智能和大數據在無線通信中的應用研究報告[R]. 2019.

[7] CCSA. CCSA TC5-WG6-2019-025： 移動通信網絡智能化能力分級研究（送審稿）[R]. 2019.

[8] O-RAN Alliance White Paper. O-RAN Use Cases and Deployment Scenarios towards Open and Smart RAN[R]. 2020.

[9] Y H P， J C X， Q Y. Developing Networks using Artificial Intelligence[M]. Switzerland： Springer Nature Switzerland AG， 2019.

[10] L F L. Machine Learning for Future Wireless Communications[M]. New Jersey： John Wiley & Sons Ltd， 2020.

[11] H R S， D Z G. Applications of Machine Learning?in Wireless Communications （IET TELECOMMUNI?CATIONS SERIES 81）[M]. London： The Institution of Engineering and Technology， 2019.

[12] H H T， W C K， J S. Model-Driven Deep Learning for Joint MIMO Channel Estimation and Signal Detection[EB/OL]. （2019-07-22）[2020-04-18]. https：//arxiv.org/abs/1907.09439v1.

作者簡介

索士強（orcid.org/0000-0002-9869-5466）：高級工程師，碩士畢業于電信科學技術研究院，現任職于大唐移動通信設備有限公司，長期從事無線移動通信系統的新技術研究、驗證與標準化工作，研究方向為6G及未來新技術。

王映民：教授級高級工程師，北京郵電大學博士生導師，博士畢業于西安電子科技大學，現任職于大唐移動通信設備有限公司，研究方向為移動通信信號處理與無線組網、車聯網等。