一種支持語義解析的智能通信服務網絡架構

陳曙東，李偉煒，杜 蓉，高昊君，張雪婷，董奕辰

(1．中國科學院微電子研究所，北京 100029;2．中國科學院大學 集成電路學院，北京 100049)

0 引言

隨著5G和人工智能技術的融合發展，工業互聯網、自動駕駛等物聯網應用快速發展。這些新興應用對通信網絡服務的智能化和多樣性的需求越來越迫切[1]，未來通信網絡將開始更加注重提供更貼近用戶需求和體驗的智能化服務[2]。

實現面向萬物互聯的智能化通信服務，當前的通信網絡面臨以下主要挑戰：

① 現有基于標識的通信網絡內沒有語義信息，無法支持基于網絡語義的路由、緩存等智能服務；

② 物聯網應用需要實時感知環境語義，進行快速檢索和內容獲取，支持分布式的高并發請求，現有通信網絡需要提升分布式查詢效率。

用戶訪問網絡的主要行為之一是對海量內容的獲取，因此未來網絡應該從當前以“位置”為中心的體系架構，演進到以“信息”為中心的體系架構[3]。2006 年施樂帕克研究中心(Xerox PARC)提出內容中心網絡 ( Content Centric Network,CCN)[4],以數據為導向，根據內容訪問數據，放棄了傳統IP網絡架構，不再包含顯式的主機或接口地址等位置信息，從根本上改變了IP包的封裝結構和尋址方式，具有短時延、低功耗、高可靠等特點。2010年FIA的命名數據網絡(Named Data Networking，NDN)[5]項目也采用類似的架構，使用沙漏模型結構，采用類似 URL 的層次化內容命名。由于CCN/NDN構建的新型移動通信架構是一種革命性的解決方案，顛覆了傳統的IP技術架構，路由策略、轉發策略、緩存機制和安全性尚需進一步研究，當前難以部署和實施。

目前網絡層地址統一標識體系的方案主要有HIP(Host Identifier Protocol)[6]、Shim6[7]、MobilityFirst[8]、XIA(eXpressive Internet Architecture)[9]等。HIP在網絡層和傳輸層之間插入主機標識層，為上層應用提供固定不變的主機標識，屏蔽了IP地址變化，同時維護主機標識與IP地址的綁定關系；HIP報文格式采用IPin IP方式，外層為用于路由尋址的IP地址，內層為用于標識身份的128位主機標識。Shim6協議修改終端網絡協議棧，在IP路由子層和終端子層之間插入Shim 層，使標識符( Identifier ) 和定位符(Locator)分離。MobilityFirst的體系架構使用ID與Locator分離的機制、扁平地址結構、利用公鑰基礎設施實現標識的驗證，支持快速的全局名稱解析、存儲轉發的路由方式、緩存和逐跳的分段數據傳輸等。XIA使用標識和地址分離的設計，引入NID代表網絡域或子網，路由時用來定位網絡地址。這些工作研究將網絡標識作為現有網絡的補充，將標識和地址分離，但是都沒有關注標識的語義信息，難以支持基于語義的路由、緩存等智能網絡服務。

其他一些工作研究構建高效的網絡資源調度[10]和內容分發[11]，雖然實現了通信感知一體化[12]的體系，但在應對不同場景下智能化網絡服務供給方面仍然面臨挑戰。

為滿足更貼近應用需求網絡服務，本文提出一種面向萬物互聯的支持語義解析的智能通信服務網絡架構，基于報文相關語義信息構建語義標識，提供可感知場景語義的智能化通信服務。本文提出的新型網絡架構沿用現有的IP技術體系，無需協議轉換即可實現與網絡層IP承載的無縫連接，支持簡單便捷的端到端業務部署和管理，便于基于TCP/IP協議棧開發的相關應用快速移植。

本文詳細論述所設計的智能通信服務網絡的整體架構和支持語義解析的網絡報文構建方法；闡述如何利用深度學習模型實現語義信息的編碼和解碼，構建通信場景的語義知識庫；設計如何構建語義標識倒排索引，以實現快速語義檢索，賦能智能化應用場景；搭建了視頻會議測試場景，對語義編解碼的精度和語義查詢速度的實驗結果進行了分析和總結。

1 智能通信服務網絡架構

1.1 支持語義解析的通信網絡架構

依據5G的愿景與需求并結合基于語義網絡數據與位置解耦、強制簽名以及網內緩存等特點，構建一個支持語義解析、標識與地址分離機制的新型網絡架構，如圖1所示。

圖1 支持語義解析的通信網絡架構

在現有底層通信和上層應用之間增加了一個基礎語義服務層，首先對上層應用中的圖像、文本等信息進行語義編碼，并作為唯一且不變的語義編碼標識SID，生成支持語義解析的網絡報文；然后在底層通信設施中構建語義標識的倒排索引，以支持語義標識的快速檢索，進而實現基于語義的智能網絡路由、緩存等服務。

在語義解析通信服務網絡中，語義解析服務維護語義標識SID 與它們的網絡地址 NA 之間的映射關系。IP 是互聯網的基本路由協議，可作為語義解析通信服務網絡的網絡地址，語義解析服務維護 SID 和 IP 地址之間的映射關系，用戶面可以通過 IP 進行轉發。網絡層報文的NA 地址字段包括語義標識 SID 對應語義內容的多個候選存儲地址集合或其他引用信息。SID為語義標識，由語義編碼器輸出的語義標識編碼、位置編碼、實體關聯編碼等構建而成。SID根據語義解析通信服務網絡所支持的智能化應用的不同需要具有不同的類別與形式，通常包含圖像類數據索引、文本關鍵詞類索引等內容。語義解析通信服務網絡基于語義標識SID和IP之間的映射關系進行路由和轉發，實現對數據語義內容的查找和定位，加快路由、轉發和查找的速度，縮短響應時間。

語義解析通信服務網絡的報文組成方式如圖2所示。首先根據入網實體的入網信息和相關場景語義信息生成語義標識SID，然后與報文Header、網絡地址NA、數據Payload拼接生成網絡報文。

圖2 語義解析通信服務網絡報文結構

入網信息生成將數據包入網的時空信息以及其他狀態信息編碼成入網信息，作為網絡ID的字段。其中空間信息可使用將經度、緯度等信息作為輸入，同時可以加入其他狀態信息映射成入網信息，能夠提升ID標識自驗證的安全特性。

語義編碼生成融合語義知識庫的語義標識元素編目以及語義標識屬性(包括入網實體的位置信息、邏輯及推理關系等)，通過語義編碼器處理，截取形成語義編碼字段，能夠體現語義標識的編碼、位置信息、不同實體間邏輯關系和其他相關屬性特征。

語義標識SID生成將語義編碼和入網信息字段拼接，同時保留一定的預留位形成網絡ID，與Header和網絡地址NA、Payload共同組成最終的網絡報文。

為智能化地支持萬物互聯場景，所設計的語義解析通信服務網絡主要包括支持語義的控制面、面向現場的用戶面和語義解析服務，如圖3所示。

圖3 支持語義解析的5G通信服務

支持語義的控制面提供語義智能網絡控制服務，包括基于語義的路由選擇、具有彈性的資源控制和計算能力；面向現場的用戶面主要考慮邊緣端現場計算和現場存儲的能力，負責執行一些面向用戶應用場景的動作和處理邏輯，可以滿足不同應用現場的處理需求，支持時間敏感型的服務；語義解析服務對文本和視頻進行編碼，構建支持語義解析的語義網絡標識和基于語義的倒排索引，支持快速的語義匹配和搜索。

新型通信網絡架構在當前底層通信與上層應用中間增加了一層基礎語義服務層，通過對入網實體的標簽、網絡位置等屬性構建語義檢索，建模語義關系，提供以內容為中心的智能化通信服務。支持執行分布式的快速并發查詢，提升網絡數據查詢以及獲取效率和速度，支持快速的內容檢索和分發，從而提升網絡服務質量。

移動性方面構建基于語義標識的網絡服務，使標識與位置解耦，不會因用戶地址的改變而降低網絡傳輸效率。由于基于語義標識的網絡服務內生支持多徑路由與網內緩存，可大大減輕因數據產生者移動而對通信過程產生的影響。因此，在基于語義網絡移動通信架構中，不同接口可采用統一的語義標識來支持移動性，提高傳輸效率。

數據路由方面能夠支撐基于語義的轉發與路由操作，提供快速的語義查詢檢索服務，通過語義標識對數據包進行檢索，并依據檢索結果對存儲在轉發平面中的記錄進行更新、插入和刪除。

網絡緩存方面使用語義知識庫將數據緩存在路由節點中方便后續用戶使用，為實現網絡資源利用率的最大化，基于語義標識信息可以構建智能的緩存替換策略，適應不同應用場景的數據緩存需求。當前網絡中適用于單個節點的緩存替換策略為最近最少和最近最多使用策略、最少頻繁使用策略。在加入語義信息后，基于語義特征來支持智能的網絡數據緩存，提升整體網絡性能。

1.2 視頻會議場景下的智能通信服務

本節以視頻會議為例，詳細介紹語義解析服務的工作原理。如圖4所示，在視頻場景中，語義編碼模塊接收視頻會議應用的相關圖像和文本標簽，結合應用時間地點形成語義編碼，構建支持語義檢索的網絡報文，以支持視頻應用場景下的智能緩存和路由網絡服務。例如：需要檢索前一段視頻流中特定會議參與者發言數據，語義解析接口接收請求，語義檢索語義標識SID中匹配到對應會議參與方發言的時空標簽和圖像語義標識，將對應數據結果實時反饋。當一個用戶加入會議時，可以基于語義查詢解析相應屬性語義信息，獲取會議場景下實體的網絡位置，包括攝像頭、麥克風等設備信息，語義檢索匹配到相應列表，然后進行支持語義的相關操作，例如對特定攝像頭的控制操作、基于語義的圖像數據網絡緩存策略等。

圖4 視頻會議場景下的智能通信服務工作流程

語義可能受不同主客觀環境因素影響，如視頻會議應用標簽、圖像特征等信息均可能對語義產生影響。單純依靠單個或者一類傳感器(如攝像頭)采集的信息難以全面識別應用感興趣的語義信息。因此，將視頻會議應用屬性、圖像特征，以及時間、地點標簽等多信息融合編碼，構建語義標識，適用于不同的智能應用場景。

視頻應用中有著大量數據和請求，網絡中的冗余流量占據大量資源，而且在不同場景之間的內容請求差異較大，造成不同語義內容的緩存需求差異較大。面對這種情況，現有的緩存放置算法無法很好地應對。構建基于語義標識的網絡報文，使網絡具備支持語義的路由、網絡內置緩存以及請求聚合等特點，能夠有效地減少網絡冗余、降低網絡開銷、緩解網絡壓力。因此，在視頻會議場景中，適合采用支持語義解析的通信網絡進行視頻的內容分發。利用語義編碼信息，能夠快速捕捉網絡流量的變化；采用沿路徑緩存放置算法，能夠在內容經過某節點時，智能地根據網絡中快速變化的流量，實時調整緩存放置。

2 語義解析通信服務

語義解析通信服務網絡在構建數據源的語義標簽并形成相應的語義索引時，需要解決如何進行知識和語義表征的問題，即如何從傳輸的數據源中提取出所支持的語義解析服務需要的語義內容并將之轉化為可路由、可轉發的語義編碼。語義解析通信服務網絡支持計算和搜索基于文本、圖像、語音等多種數據源生成的語義編碼，且能對語義編碼所指代的語義實體間的邏輯關系予以表征。

2.1 邊緣計算與數據訓練存儲服務

基于數據源中的語義信息形成語義標識需要消耗大量的運算和儲存資源，完成語義分析的計算任務無法僅僅分攤到通信發送方和接收方的終端，往往需要利用外部的運算與儲存資源，從而實現數據和信息的融合、共享。一種較有效的處理方法是在整個語義解析通信服務網絡中，注冊認證大量邊緣計算服務器和存儲設備，分布式地部署在用戶側形成資源集群，以供輔助完成智能化通信服務所需要的各種語義解析任務。用戶側可以將需要密集計算的語義提取和語義接收對應的編碼、解碼任務實時加載到最近的資源集群服務器上，并僅在本地執行輕量級的語義標識生成。邊緣計算服務器即時地響應用戶側的語義解析算法需求，迅速進行語義編碼器、解碼器的模型訓練和數據傳輸、存儲等任務。為了實現數據和信息的融合共享，支持語義解析整體運行效率的提升，各邊緣計算服務器可以通過聯邦學習、分布式計算等方式，在數據預處理、訓練編碼解碼模型、知識共享時相互協作，以實現資源集群中的計算資源和負載的最優分配。

2.2 知識庫與模型庫

語義知識庫是構建文本、圖像或其他源數據的語義標識的基礎，其中包括語義標識庫和實體之間的邏輯及推理關系。語義解析服務一般需要依賴于公共的語義知識庫對知識表征進行協議化、統一化的規范與管理。語義模型庫則根據語義知識庫定義的不同編碼組成方案的要求，儲存面向各種智能化應用場景及圖像、文本等常用的源數據中識別和提取語義的主流AI模型和技術流程。

語義知識庫的另一個作用是依照語義解析通信服務網絡所支持的不同類別的語義解析服務，定義每種服務所需要的語義標識類型、邏輯關系、實體位置、屬性等信息，以及相應的編碼組成方案。語義知識庫中的實體概念和邏輯關系，在語義知識庫中被協議化地定義與規范，并作為通信發送與接收方使用語義解析服務的基礎協議。

語義隨著應用場景的變化而變化，這就要求語義知識庫必須具有自學習和自更新的功能：當有新實體出現時，知識庫需要識別、分析該實體可能的含義和適用場景，然后將該實體概念和由推理得出的與已有實體間的邏輯關系等信息添加到語義知識庫中[13]；同時，知識庫還應當能夠對新實體的使用熱度進行實時的冷熱分析與實時更新。這部分工作可基于眾包、爬取、多模態感知融合等多種技術來完成，將用戶群體在不同背景、語言和場景下積累的普適性知識和語義信息傳輸給就近的資源集群，識別、分析完成后，再更新至語義知識庫中。

2.3 語義編碼器和解碼器

在一般的通信系統中，對源端數據編碼主要為了方便信息的存儲和傳輸，并盡可能地保留源數據的所有信息。其結果只含有輸出符號序列的標識，并不包含輸出符號序列的語義含義。而在本文提出的語義解析通信服務網絡中，語義編碼提取源端數據中用戶側需要的語義內容，并進行智能化任務導向式編碼。此過程的主要目的是對源端數據中與特定智能化應用任務相關的語義信息通過稠密向量進行表示，丟掉與任務無關的信息，在知識庫與模型庫的協同下，遵照特定智能化應用對應的語義編碼方案對源端信息中隱含的語義信息進行提取與映射獲得語義編碼。因此，語義編碼需要根據語義解析通信服務網絡所支持的智能化應用，具有不同的類別與形式。

語義編碼器檢測與抽取源端信息中所涉及的具體語義特征，并同時壓縮和刪除與語義無關的信息。語義編碼器通常根據不同的智能化處理任務具有不同的模型框架與參數，并支持處理各種形式的源端信息。例如當傳輸內容為圖像或文本時，編碼器借助語義知識庫在模型庫中匹配相應預訓練好特征提取模型作為編碼器，進而提取傳輸內容中的語義實體特征、實體間關系特征、實體位置及其他屬性特征形成高維特征編碼序列，以此作為構建語義標識SID的基礎。

當傳輸內容為文本時，語義編碼器采用語義模型庫中的面向文本類任務的主要模型(例如LSTM、Transformer模型等)理解與提取語義信息。在預處理階段，每段待傳輸的文本為W=[w1,w2,w3,…,wi]，其中，wi為待傳輸的文本中的第i個詞。編碼器的作用相當于函數f,待傳輸的文本W經編碼器編碼后得到序列B=f(w)。編碼器先將輸入文本序列t以句子為單位進行拆分，并在每個句子前后添加起始、結束分隔符，再將每個句子s的所有詞進行高維度的詞嵌入映射，生成高維的表示向量，映射后形成的文本高維嵌入表示序列E=[e1,e2,e3,…,ek],ek指代輸入文本序列中第k個詞的高維嵌入表示向量，分別包含向量嵌入、關系嵌入與位置嵌入三部分：向量嵌入是將詞高維映射后得到的詞特征；關系嵌入是第k個詞與文本序列的其他詞的關系表征；位置嵌入用來表征詞的位置編碼，以便表征順序信息。

傳輸內容中的文本常用基于Transformer及其衍生出的其他語言模型的編碼塊進行編碼，將E通過編碼映射為經過Transformer模型提取語義信息后隱含了上下文關系的抽象語義，再經過編碼匹配、哈希映射形成不同語義解析服務所需要的語義標識SID。Transformer類模型的編碼塊由多頭注意力層(multi-head attention layer)和位置感知的前饋層組成，對于一組查詢向量、鍵值和值，多頭注意力模塊執行次注意力計算：

MultiHead(Q,K,V)=Concat(head1,head2,…,headh)WO，

對于源數據中的圖像類內容，語義編碼器采用語義模型庫中的面向圖像類任務的主要模型(例如CNN、Transformer模型等)理解與提取語義信息。本文不再展開詳細論述。

源數據經過語義編碼器后形成包含傳輸的源數據全部語義信息的語義編碼，為得到語義標識SID還需要根據語義知識庫定義的不同語義解析服務所需的語義標識類型、語義標識的邏輯關系以及實體位置、屬性等其他信息，對語義編碼進行語義編碼匹配與哈希映射，語義編碼匹配模型與哈希映射規則來自在邊緣計算服務器和存儲服務單元內的知識庫。

語義解碼器將語義編碼中隱含的語義信息還原為按照接收端的需求，或智能化任務的期望展現的具體形式。例如可以將語義信息解碼為從傳輸文本中提取的關鍵詞、從2D圖像中重建的三維結構、甚至從多模態源數據中生成的AR全息投影并呈現給接收端用戶。相關解碼的模型與還原規則存儲在邊緣計算服務器的語義知識庫。例如，當進行從傳輸源數據的文本中提取作者信息的任務時，解碼器由雙向LSTM模塊拼接CRF(條件隨機場)模塊組成。其中，雙向LSTM模塊的輸入來自語義編碼器的輸出，用來獲取傳輸文本中的句子表示；CRF模塊接收上層雙向LSTM模塊的輸出，并對傳輸文本中的命名實體進行序列標注。

3 語義查詢通信服務

3.1 分布式語義索引

由于網絡服務需要處理大量數據和請求，語義查詢服務需要滿足高并發與可靠性。針對這一需求，支持語義的通信服務網絡構建了語義倒排索引來實現分布式語義查詢。倒排索引作為典型且高效的信息數據檢索結構，對各條記錄中所有字段或部分語義編碼字段分析處理，各個索引項將排列出一系列帶有該索引項的標識，利用查找索引項，能檢索出相應的索引結果。基于倒排索引的分布式語義查詢架構如圖5所示，包括分布式倒排索引構建和在線語義查詢處理兩個部分。

圖5 基于倒排索引的分布式語義查詢架構

① 分布式倒排索引構建：根據時間、空間、關聯關系等約束條件查詢標識，構建分布式倒排索引，支持網絡海量數據的語義搜索。

② 在線語義查詢：構建支持語義關聯的分布式語義查詢處理和相關性評分模型，支持網絡海量數據的分布式查詢標識和快速多級標識解析；支持讀寫權限分離，保障數據安全性，支持節點自動同步更新，保證數據一致性。

構建屬性數據語義知識融合的倒排索引結構，將語義信息封裝到倒排索引中，減少查詢前處理和后處理，提高語義查詢速度和準確率，分布式倒排索引結構如圖6所示。

圖6 分布式倒排索引構建

構建支持語義關聯的分布式語義查詢處理和相關性評分模型，輸出比傳統的倒排索引更具語義相關性的結果。支持讀寫權限分離，保障數據安全性，節點自動同步更新，保證數據一致性。在查詢處理中，可以引入分布式查詢處理算法，加上在查詢評估過程中檢索和排序相關查詢答案所需的專用相關性評分措施。此外，可以對索引構建和查詢算法的詳細復雜性、有效性和效率分析進行查詢優化。

3.2 分布式語義查詢

將應用場景語義信息直接封裝到倒排索引中，根據時間、空間、關聯關系等約束條件查詢標識，構建離線分布式倒排索引，并支持在線快速解析查詢。通信服務網絡語義查詢服務如圖7所示。

圖7 通信服務網絡語義查詢服務

索引模塊按照數據信息產生索引文件，并將其存放到索引庫中以實現檢索功能，數據信息的搜索流程一般包括以下幾點：

數據讀取數據采集模塊中所得到的文本和圖像被存放在分布式數據庫的各個數據節點中，并使用分布式處理引擎對文本和圖像進行預處理，完成數據的格式化。

數據分析對文本數據以塊或標簽分類，過濾部分非關鍵字，降低存儲和搜索信息功耗。對于圖像視頻，基于應用編碼方式進行單幀或多幀采樣，以匹配對應的語義匹配模塊輸入。然后，根據不同的應用需求，選擇相應的處理模塊進行處理。

搜索與存儲基于Lucene實現索引的創建操作，生成倒排索引文件保存于分布式索引庫中，并定時對增量數據進行匯總。

4 實驗

基于語義編碼對網絡位置的查詢速度，是支撐快速實時應用的基礎。以視頻會議場景為例，對視頻會議相關圖像和文本標簽，結合應用時間地點形成語義編碼，每個語義編碼為一個查詢實體。系統在5G模擬環境中運行，使用6臺服務器在一個子網中構建分布式集群，包括數據和網絡節點。

在構建的模擬環境中驗證了系統語義編碼功能，支持文本和圖片的語義提取，使語義標識與位置解耦，可以支持高移動性應用；測試驗證了語義索引構建功能，語義標識分布式倒排索引，支撐快速的語義查詢。同時，測試了不同編碼實體量下語義檢索的性能，語義查詢的測試流程如圖8所示。在測試用例中，使用目標語義查詢匹配的報文網絡位置，通過倒排索引從海量的實體中進行語義匹配，從緩存和磁盤中獲取目標實體內容，返回結果，測試所用時間。測試結果顯示，語義查詢耗時隨著實體增加而增加，在10萬、20萬和30萬實體下，查詢耗時分別達到了12.5 ms、14.5 ms和17.2 ms，能夠實現快速的語義檢索，提升內容查詢和獲取效率。

圖8 測試用例流程

5 結束語

本文提出一種支持語義解析的智能通信服務網絡架構，在現有底層通信和上層應用之間增加基礎語義服務層，利用深度學習模型實現語義信息的編碼和解碼，構建通信場景的語義知識庫，設計語義標識倒排索引。網絡在服務質量方面，支持執行分布式的快速并發查詢，提升網絡數據查詢以及獲取效率和速度，支持快速的內容檢索和分發，提升網絡服務質量；在移動性方面，將語義標識與位置解耦，支撐高移動性應用；數據路由方面，通過語義標識對數據包進行檢索，提供語義查詢檢索服務；在網絡緩存方面，基于語義標識信息可以構建智能的緩存替換策略，適應不同應用場景的數據緩存需求。測試結果表明提出的智能通信服務網絡架構實現了語義編碼和解碼，能夠提供語義解析服務，支持快速語義檢索和內容獲取，有效支撐面向萬物互聯場景的通信智能化。