智簡語義通信的鏈路設計及關鍵技術研究

孫夢穎/SUN Mengying，熊華超/XIONG Huachao，王怡寧/WANG Yining，韓書君/HAN Shujun，許曉東/XU Xiaodong

（ 北京郵電大學，中國 北京 100876 ）

隨著傳輸能力的不斷增強，移動通信系統以系統復雜度換取性能增益的堆疊式發展將無法滿足日益增長的網絡智能化和服務多樣化的業務需求[1]。因此，6G亟需發展面向未來多類型應用的移動通信新范式。

語義通信是一種全新的通信范式，通過將任務和需求與信息傳輸有機融合，大幅度提升通信效率，改善用戶的業務體驗。依托智能與通信技術、網絡技術等的深度融合，通過語義特征提取、語義信息傳輸以及語義信息恢復，語義通信可實現信息的高效準確傳達和精準控制[2]。語義通信以節點智能為基礎，賦予節點類人感知能力，實現達意傳輸，滿足人-機-物之間的敏捷交互。同時，語義通信也將賦能智慧車聯網、元宇宙、智能制造、多維感官互聯、新興多媒體、智慧城市等新場景、新業態[3-4]，如圖1所示。

▲圖1 語義通信賦能新場景、新業態

1 智簡語義通信系統

1953年，W. WEAVER[5]提出了通信傳輸的3個層次，即語法層、語義層和語用層。其中，語法層解決的是符號級通信中信息如何精準傳輸的問題，語義層關注的是所傳遞的符號信息如何準確地傳達所需的含義，語用層針對的是所接收的語義信息是否能夠以最佳的方式被利用。這3個層次之間相互重疊又相互關聯。從1G到5G，學術界和工業界聚焦于語法信息層次，以期增強通信系統的傳輸性能。近年來，面向語義層的語義通信成為學術界關注的焦點，也成為6G 極具競爭力的關鍵技術[6]。

1.1 智簡語義通信系統的概念

基于上文所提的通信三大層次，智簡語義通信系統著眼于語義傳輸，以人工智能和信息論等多學科的科學理論為指導，實現面向需求和任務的通信。智簡語義通信系統深挖語法、語義與語用之間的轉換關系，將需求信息進行特征提取后轉化為語義信息，通過編碼，再轉化成語法信息。借助深度神經網絡的刻畫能力，智簡語義通信系統對信源信息的需求及任務進行準確地識別和特征提取，并在接收端進行原始信息重建，實現精準高效的傳輸。同時，智簡語義通信也進行了基礎理論的創新：以香農信息論為基礎，拓展了語義熵和系統熵[7]的概念，從理論上度量語義信息量。在網絡傳輸層面上，“節點極智、鏈路極柔、網絡極簡”將是智簡通信的主要特征，這有助于網絡性能的全面提升。通過柔性簡約的通信鏈路和按需編排的資源配置，網絡中的智能節點將自主執行數據感知、處理、應用和傳輸等功能，實現網絡由繁變簡、多維資源的高效利用。智簡語義通信系統將顛覆原有的通信模式，賦予信源到信宿包括感知能力、通信能力和理解能力在內的更多新能力。

1.2 智簡語義通信系統的需求和挑戰

智簡語義通信系統旨在建立一套全新的通信體系，通過海量的語義模型和語義知識圖譜對智能性進行支撐，實現人-機-物及智能體之間的智能交互。語義模型訓練及語義知識圖譜的構建將消耗巨大的時間與計算資源，因此，提升模型的訓練效率，降低模型的訓練成本，實現模型在網絡中高效的傳輸和部署，將是智簡語義通信的重要基礎，也是所面臨的關鍵挑戰之一。

未來6G 網絡的信息多樣性將得到進一步拓展，存在文本、語音、圖像、觸覺等多模態的信息形式，這給語義特征提取與建模帶來巨大挑戰。在面向需求和任務的通信中，發送端需要對接收端的需求或任務進行精準預測，以保障對重要信息的準確表達，而這進一步增加了語義信息的提取難度。多類型的信息具有不同的數據格式，如何對語義信息進行一致化建模，實現不同模態間的語義信息的高效轉換，也將是一大挑戰。

語義信息的傳輸與準確恢復是智簡語義通信系統的重要過程。原始信息的準確傳達，不僅需要語義信息的可靠傳輸，也需要語義解碼模型的準確適配。在這種雙重的語義信息恢復條件制約下，如何實現語義信息及語義模型的高效準確的傳輸也是智簡語義通信系統的一大挑戰。

智簡語義通信是建立在節點智能性的基礎上的。在當前階段，模型的體量無法適配于節點受限的處理能力和網絡資源。在保障模型性能的前提下，如何將大型模型轉換為輕量級的小型模型是語義通信的迫切需求。不同節點的能力也存在不均衡性，因此如何根據不同節點的需求和能力部署相應的模型，以提升語義恢復準確度，并降低服務響應時延，也是智簡語義通信的一個關鍵挑戰。

1.3 智簡語義通信系統的鏈路結構

利用深度神經網絡技術，人們對文字、圖像、視頻以及多模態業務的語義通信技術進行了探索[8-11]。在此基礎上，業界提出了基于人工智能模型的以網絡智能決策和模型傳輸為特征的智簡語義通信系統，如圖2所示。在智簡語義通信系統中，收發端分別部署語義編碼模塊和譯碼模塊，模塊對應的語義模型分別用于提取和恢復語義信息。邊緣或云端生成語義模型，并根據收發端的請求，部署適配的語義模型。同時，收發端將語義模型存儲在各自的語義模型庫中。發送端將原始信息輸入到語義提取與表征模塊，得到語義信息，并通過聯合的語義編碼和信道編碼將語義信息轉化為比特數據，再進行傳輸。接收端對接收到的比特數據進行聯合信道譯碼、語義譯碼，以及語義信息恢復重建，恢復出原始信息。由于上下文、通信環境等背景因素會影響語義信息的恢復，語義譯碼模塊對背景因素帶來的誤差可進行補償。

▲圖2 智簡語義通信系統鏈路結構

為了保障模型的適配性，需要不斷對模型進行優化和更新。遷移學習是一種高效的方式，只需要對部分語義編碼器和譯碼器的神經網絡層進行重新設計和訓練，重用預訓練模型中某些網絡層的權值，就可以減少模型再訓練的時間、資源等消耗。智簡通信系統結合“殘差傳播”理念，對智簡模型進行切分傳輸，即信源端根據模型切分技術將智簡模型分為多個切片。這些切片在多路進行傳輸，并于信宿端重新組建。模型切分傳輸的方式一方面平衡無線通信網絡負載，減少網絡擁塞，提升模型并行傳播速率；另一方面促進不同節點進行模型共享，利于后續模型的傳輸。模型壓縮技術在保障信息恢復準確性的前提下，可有效地提升網絡傳輸效率。

2 知識庫增強的智簡語義通信系統設計

知識圖譜是一種語義表示，可以對現實世界中的實體、概念、屬性以及它們之間的關系進行建模，具有極強的靈活性和表達能力。語義知識庫是由諸多的語義知識圖譜組成的。在上一節所提的智簡語義通信鏈路架構的基礎上，利用知識圖譜的靈活精簡表征的功能來部署語義知識庫可有效地增強語義通信性能[12]。

2.1 知識庫增強的智簡語義通信關鍵技術

當前，針對文本、語音、圖像等多種信息類型的語義通信的研究工作已取得諸多進展，如基于深度學習的語義通信（Deep-SC）[8-9]和基于深度學習的信源信道聯合編碼（Deep-JSCC）[10-11]等。大部分的語義編譯碼是基于Transformer模型來實現計的。以Transformer模型為基礎，智簡語義通信系統引入了語義知識圖譜以增強語義通信的性能，構建出如圖3所示的基于知識增強的智簡語義通信系統鏈路結構。

▲圖3 知識庫增強的智簡語義通信鏈路

語義知識是從原始信息的語義知識中提取得到的。語義提取和表征編碼器將語義知識和原始信息進行聯合語義提取。所提取出來的語義信息將會根據重要性進行排序，重要性程度較高的語義信息將會以更可靠的方式進行聯合語義信道編碼。接收端利用相匹配的語義知識圖譜來增強語義譯碼，輔助恢復信息。語義知識圖譜需進行云-邊-端同步，以保障收發端能夠基于相匹配的語義知識圖譜來增強語義提取與恢復。為了使接收端能夠從語義知識庫中快速查找到相應的語義知識圖譜，我們在發送端的信道導頻之前增加了語義導頻，以使接收端基于語義導頻快速查找到相應的語義知識圖譜，增強語義恢復效率和準確性。從語義提取模塊輸出的數據格式為浮點型，我們需對浮點型數據進行量化和數學變換以降低編碼冗余。根據信道狀態及語義信息重要程度，我們對提取的語義數據進行可變碼長的方式進行編碼，在保障語義傳輸準確度的前提下，提升傳輸效率。

性能評估也是語義通信系統設計中的重要一環。在面向文本的語義通信中，誤字率（WER）[13]和雙語替換評價（BLEU）[14]是兩種經典的文本語義信息恢復準確度的評估指標。基于語義知識增強的智簡語義通信系統已被驗證能夠有效地提升語義信息恢復準確性能和效率。此外，針對圖像傳輸，峰值信噪比（PSNR）和結構相似指數（SSIM）是常用的信息相似度評估的方法[15]。針對語音傳輸，音頻信號轉為文本過程采用WER 來評估，轉成的文本之間采用Trans‐former模型的雙向編碼器（BERT）方法[16]來評估。如何高效地構建多種模態信源信息的知識圖譜，提升語義知識圖譜的更新效率，降低傳輸冗余，仍然是智簡語義通信設計中亟待解決的問題。

2.2 智簡語義通信中基于緩存增強的語義知識庫構建方法

如2.1節所述，智簡語義通信系統需在云-邊-端協同部署語義知識庫，以提升接收端的語義信息恢復準確度。語義知識圖譜的生成往往需要大量的計算和存儲資源，在云端生成知識圖譜是一種行之有效的方式。然而，受到多維資源的制約，云與用戶之間的多跳傳輸，會給語義知識庫的傳輸時延、傳輸成功率和語義恢復準確度帶來較大的影響。每個用戶所需的語義知識圖譜繁雜且具有時變性，因此邊緣服務器或用戶進行語義知識庫預緩存是一種必然趨勢，可有效降低語義知識庫獲取時延，具體的云-邊-端協同語義知識圖譜的預緩存機制如圖4 所示。基于大數據分析和人工智能技術，根據用戶側的歷史請求構建知識圖譜的預測模型，動態調整和定期更新語義知識庫，是語義知識圖譜高效譜緩存和快速獲取的關鍵[17]。采用數學擬合的方式，得出針對特定應用場景的語義知識圖譜的恢復準確度與知識圖譜大小之間的數學表達，這對定量地緩存語義知識圖譜來說具有重要意義。如何利用用戶偏好和能力，實現語義知識圖譜的分布式協同存儲，也是進一步改善智簡語義通信系統性能的有效方式之一。

▲圖4 云-邊-端協同語義知識圖譜緩存機制

3 智簡語義通信中的模型傳輸關鍵技術

面向人-機-物智聯化應用，節點極智是必然的發展趨勢。節點利用其智能性進行網絡感知與推理。智簡語義通信需要通信對象配置相同的語義知識庫和語義模型。語義模型的訓練和傳輸部署也是未來網絡的一項基本業務。模型的訓練精度和更新頻率將影響智能節點語義感知性能，輕量化且適配的語義模型部署是智簡語義通信系統的基石。

3.1 語義模型處理方法

當前比較成熟的語義模型往往體量巨大，以谷歌推出的Transformer 模型為例，其參數高達1.6 萬億個，訓練時間和成本以及模型運行所耗費的計算資源都是終端設備所無法承受的。因此，需要針對特定的應用和業務，并考慮終端設備的處理能力，對模型進行壓縮、剪枝[18]、量化、蒸餾[19]、切片等處理。處理后的輕量級模型將被分發至邊緣服務器及終端設備進行存儲。終端設備利用部署的模型，處理感知數據，執行推理應用。

接下來，我們會對這幾種模型處理技術進行簡要介紹。

1）模型剪枝是通過去除兩個神經元之間多余的或不重要的連接，或直接去除不需要的神經元及其相關分支，減小模型規模。

2）模型量化主要是通過減小權重參數，在服務質量（QoS）容忍范圍內降低模型的精度。這種方式也是通過減小模型規模以節省緩存空間，加速模型訓練，并減少傳輸的比特數據量。

3）模型蒸餾是基于大規模的教師模型，在滿足QoS 的情況下，訓練一個輕量級的學生模型。該方法可以將預先訓練的復雜模型的知識和泛化能力轉移到一個結構更簡單的網絡上。具體來說，該方法利用教師模型的輸出作為監督信號來訓練學生模型，實現一個具有相似知識的簡單網絡。

4）模型選擇是根據終端的QoS 要求選擇合適的模型，進一步優化整個系統的延遲、能效、能耗和決策精度。該方法是將相同功能的不同尺寸和準確度的模型全部存儲下來，以按需分配，但難免造成緩存冗余。

5）語義切片技術是將模型進行分層化設計（包括基礎模型和增強切片），基礎模型以較低的通信和計算開銷獨立完成語義通信，也可以根據QoS要求、信道條件和傳輸目標選擇合適的模型切片來增強基礎模型的性能。

6）模型處理是智簡語義通信系統實現模型有效傳輸及部署的關鍵，值得我們進行深入探索。

3.2 語義模型傳輸方法

面向智簡語義通信的模型傳輸方案旨在將面向數據認知的智能能力引入數據生成節點和服務生成節點，對模型和網絡資源進行端到端編排，并充分利用網絡中的分布式計算資源和數據，在架構層面實現通信連接和智能能力的融合。語義模型的訓練過程是網絡中的單個設備無法承擔的，往往需要特定的訓練中心來執行。網絡針對特定的任務進行模型的定制化處理，并基于用戶的請求，將語義模型傳輸給各個終端設備。基于云-邊-端3層網絡架構，語義模型可實現多級分布式的緩存和管理，邊緣及終端也可基于本地信息進行模型的微調，并將微調信息反饋到網絡，實現全局的更新。邊緣和設備根據模型流行度及用戶偏好提前緩存部分語義模型，終端設備之間也可以共享語義模型，這將實現模型及時獲取和緩存效率提升。聯邦學習是進行模型分布式訓練及更新的有效方式之一，設備之間通過參數交互進行共同的模型優化，保障了數據的隱私和安全。

模型選擇是適配網絡通信能力和節點算力的重要方式，即對相同功能且不同大小和精度的模型進行選擇并傳輸。為了驗證模型選擇及模型傳輸在語義通信中的優勢，我們構建了一個模型選擇與通信資源配置的聯合優化方案。該方案提出了一個新的評估指標，即模型有效性，其定義為模型傳輸成功率與語義恢復準確率的乘積。其中，傳輸成功率被定義為模型在容忍時延內傳輸至接收端的概率。在仿真驗證中，主要參數設置為：對于相同功能的模型集合，對應的恢復錯誤率為{0.125, 0.150, 0.175, 0.100, 0.250, 0.300}，相應的模型大小分別為{82.274 6, 46.671 9, 28.899 3, 19.079 4, 9.532 9,5.407 8} Mbit，上述參數由針對圖像傳輸的語義模型訓練所得。如圖5所示，在給定通信資源的情況下，與固定模型大小和準確度的方案對比，模型選擇和通信資源聯合配置可有效地提升語義模型的有效性。隨著用戶數增多，單用戶獲取的資源減少，所提方案可有效平衡模型大小與準確度。上述研究的論文將于后續發表。為了實現模型驅動的智簡語義通信系統設計，一方面需要模型預處理，使其適配于終端設備；另一方面也需要針對模型傳輸進行模型選擇和資源配置的聯合優化，以增強總體網絡性能。

▲圖5 語義模型有效性隨用戶數的變化曲線

4 結束語

隨著元宇宙、智慧車聯網、新媒體等新場景和新業務的出現，智簡語義通信對6G 關鍵服務起到重要的支撐作用。業界也正從不同的角度探索語義通信基礎理論及關鍵技術，并設計原型系統，以實現多類型信息的高效語義傳輸。依托人工智能與模型傳輸技術，智簡語義通信將實現網元之間高效敏捷交互，有望成為6G的顛覆性技術之一。