基于CSI反饋的語義圖像傳輸

姜培文/JIANG Peiwen，韓瑜/HAN Yu，金石/JIN Shi，李瀟/LI Xiao

（ 東南大學移動通信國家重點實驗室，中國 南京 210096 ）

智能通信系統在提升用戶體驗的同時，也服務于大量的終端。由于新冠疫情大流行，移動工作和在線會議成為人類生活中必不可少的一部分。據相關機構統計，移動網絡傳輸流量與大流行爆發前相比增加了60%以上。為了應對難以承受的負載，一些服務提供商（如YouTube 等），只能選擇在高峰時間降低視頻質量。此外，自動駕駛汽車依賴于數千個傳感器，同時又與其他車輛通信，從而產生大量的數據。這些傳輸服務于特定的任務。因此，在智能化進程中通信系統往往需要通過對文本、語音、圖像、視頻等多模態數據的理解和傳輸，來完成遠程操控、輔助駕駛等特定任務[1?3]。基于經典的香農編碼范式[4]，信源編碼壓縮傳輸內容并對內容進行解耦，以生成獨立分布的碼字。信道編碼通過對碼字增加冗余來對抗無線信道帶來的傳輸差錯。因此，傳統的編解碼模塊通常遵循分而治之的設計原則。但是這種設計方式在全新的應用場景下仍然存在問題：一方面，諸如在線會議、自動駕駛等低延遲場景的碼長受限，最優編碼方式難以獲得；另一方面，特定任務下的傳輸特征具有較強的內容相關性，新的深度學習方法（如人臉重構[5]）無須使用額外碼字即可完成錯誤修復。語義通信作為智能通信的關鍵技術之一，通過構建傳輸背景知識庫[6]、感知傳輸內容,極大地節省傳輸帶寬,提升傳輸質量,成為極具潛力的研究方向。

傳統的物理模塊都是獨立優化的，不適用于基于語義的通信系統。例如，調制和信號檢測被設計為最小化誤碼率（BER）。信道估計是最小化估計信道與真實信道之間的均方誤差。事實上，對于語義通信，不同傳輸比特具有不同的重要性，并且這些傳輸比特也呈現出一定的語義相關性。文獻[7]利用句子相似度形成一種新的調制方法，這種方法的符號在星座圖上的位置并不是等間隔分布的。在實際應用中，峰均功率比也是一大挑戰，這是因為高峰均功率比對硬件設備要求很高。在文獻[8]中，峰均功率比被認為是一個額外的損失函數，語義網絡被訓練后能同時實現最小化語義損失和峰均功率比。這意味著峰均功率比的降低應該與語義指標相匹配。在不同的信道環境下，混合重傳請求（HARQ）是保證傳輸成功的關鍵。傳統的HARQ主要基于用于前向糾錯的信道編碼和用于錯誤檢測的循環冗余校驗碼。文獻[9-10]引入基于語義的聯合信源信道編碼設計HARQ，大幅提高了傳輸性能。信道狀態信息（CSI）反饋中的數據隱藏方法[11]也是一種潛在的深度學習方法，用于消除CSI反饋中的傳輸負載。

上述語義方案引入基于知識庫的編解碼網絡、任務導向的語義損失函數等，大幅提升了系統的性能。但這些方案需要借助端到端的訓練，才能實現發射端和接收端對知識庫的共享，以及發射端對任務需求的感知。因此，語義通信方法通常訓練在可導的高斯白噪聲信道或者比特翻轉信道上等，無法充分利用實際的信道特征，難以實現對語義碼字靈活的保護。本文討論了語義通信方法在無線通信系統中的應用，提出了基于語義分割方法的圖像傳輸系統，并利用反饋的無線信道特征來指導編碼網絡對傳輸內容的保護。通過比較不同方法在分類準確率和均方誤差上的性能，所提系統可以靈活適應變化的信道，在低信噪比下優先保護影響分類準確率的物體，在高信噪比下進一步保護背景信息，從而實現在不同的信噪比上都能取得比其他方法更好的分類準確率和均方誤差性能。

1 系統模型

為了傳輸信源信息，假設存在一張圖片p，傳統發射機首先對其進行信源編碼S(?)和信道編碼C(?)，從而減少傳輸冗余，對抗變化的無線信道。經過編碼后的碼字表示為：

對于傳統的正交頻分復用（OFDM）系統來說，編碼碼字s會被調制到K個子載波上，即s =[s1,s2,…,sK]。在通過無線信道后，接收到的信號可以表示為：

其中，h是信道的頻率響應，?是哈達瑪積，z是均值為0、方差為σ2的加性高斯白噪聲。對于頻率選擇性信道來說，h可以被看作K個平坦的子信道，每個子信道具有不同幅度的信道頻率響應，即h =[h1,h2,…,hK]。考慮到不同子信道的頻率響應，接收的碼字可以表示為：

因此，整體的信噪比（SNR）可以表示為：

在接收端恢復的圖片為：

其中，S?1(?)和C?1(?)分別代表信源譯碼和信道解碼。

傳統OFDM 系統的傳輸目標是使傳輸BER 達到最小，但在復雜的信道環境和海量的移動設備等情況下，無線通信帶寬是有限的。語義通信方法能夠感知傳輸內容，分割提取語義特征，基于任務需求進行端到端訓練，從而大幅度降低傳輸帶寬，提升傳輸質量。現有的語義方法大多是在可導的高斯白噪聲信道上訓練獲得的，而實際OFDM系統下的信道是乘性的、不可導的，因此端到端訓練的語義通信方法無法充分利用信道特征，傳輸性能受限。對此，我們利用CSI反饋，靈活調整編碼方法。

2 網絡結構和傳輸方案

本節中，我們提出基于語義分割的圖像傳輸方法。首先，根據語義分割內容實現對信源信息的編碼和解碼，以及對傳輸噪聲的對抗；接著，考慮無線信道和CSI反饋對網絡設計的影響，并根據不同子載波上的SNR，實現對語義分割后的特征保護。

區別于傳統的信源編碼，語義信源編碼語義分割將源數據劃分為不同的語義部分，每個語義部分通常具有不同的重要程度。在特定的場景中，分割依賴于一個訓練好的網絡[12]，其蘊含著在這個訓練場景下的語義知識庫。比如：一幅圖像可以分為背景和物體，其中背景通常較少受到用戶關注且對物體分類識別性能影響不大。語義分割后，信道編碼可以保護信源的不同部分，并在不同信道條件下保護最重要的語義部分。

針對圖片傳輸的問題，本文采用基于UNet[13]的語義分割方法。如圖1所示，圖片被分割為背景和物體兩類，分別表示為pB和pO。對于分割后的兩部分待傳圖片信息，分別采用卷積編碼網絡，將其編碼為碼字s，即：

▲圖1 基于語義分割的圖片傳輸系統

其中，語義分割網絡表示為fUNet(?)，pB和pO分別為分割后的背景信息和物體圖片信息，sB和sO分別為背景信息和圖片信息被卷積網絡fCNN(?)編碼后得到的碼字。卷積網絡輸入維度為（160,160,3），輸出維度為（1,1,16），輸出激活函數為Tanh，即sB、sO分別編碼出16 個-1～1 的實數。該網絡包含兩個中間層，中間層均由卷積和下采樣組成，其中第1個中間層輸出維度為（40,40,64），第2個中間層輸出維度為（10,10,128），激活函數為Relu。在該碼字通過上述OFDM 傳輸系統后，碼字的估計，該碼字的估計可以通過反卷積網絡fDeCNN(?)恢復成原圖片，即：

其中，反卷積網絡輸入為（1,1,32），其中間層尺寸與卷積編碼網絡一一對應。

在進行端到端訓練時，由于實際信道影響不可導，假設從s 到s?的變化符合高斯白噪聲。圖像訓練通常采用均方誤差（MSE）損失函數來恢復每個像素點的信息，但在訓練時為了引導網絡去保護對任務更重要的信息，會引入基于分類識別任務的損失函數。此損失函數依賴預訓練好的視覺幾何組（VGG）分類網絡fVGG(?)，并計算接收圖像分類結果和發送圖像分類結果的交叉熵（CE）損失LCE(?)。訓練的損失函數可以寫為：

在獲得CSI 反饋后，計算出K 個子信道上的傳輸SNR值，即可獲得每個子信道的傳輸質量。因此，我們把語義分割和信道編碼與CSI反饋相結合，以更加有效地保護傳輸特征。對于上述訓練好的編碼方式，可采用一層全連接網絡將其分配在不同的子信道上，并且通過端到端訓練得到合理的分配方式。具體方法如下：

其中，W為學習到的乘性可訓練參數分配方式。由于每個信道的SNR 值已知，可以按照從高到低的順序依次將[s1,s2,…,sK]放置在不同的子信道上，即：

因此，s1總是傳輸在SNR最高的子載波上，sK則傳輸在SNR最差的子載波上。基于2.1節中已經訓練好的模型參數，保持其他參數不變，只訓練W，則訓練損失與2.1 一致。以上網絡訓練均采用Adam優化器，學習率設置為0.002，訓練1 000輪。

由于采用不同子信道上的傳輸SNR來訓練參數W，并且考慮實際信道模型和信道估計方法對不同子載波上SNR 的影響，待傳輸的語義特征可以更加有效地適應信道環境的變化。網絡更傾向于將分割后的語義特征[sB,sO]中的重要信息放置在較高SNR 的子信道上，從而在低SNR 下優先保護分類準確率。

3 仿真與測試

3.1 系統參數

傳輸一張圖片會占用兩個OFDM符號，每個OFDM符號占用32個子載波。其中，第1個OFDM符號為已知導頻，用于信道估計并反饋各子載波上的信道響應；第2個OFDM符號攜帶圖片信息。32 個子載波上的復數由64 個實數組成，即發送信號s為64個實數。在語義分割下，sB、sO各占用一半子載波數信道模型采用多徑信道，在[0,4,10]采樣點處有3條延時擴展路徑，功率分布[0,-5,-10] dB。測試數據采用視覺對象類別（VOC）中的動物分類數據集。我們使用物種識別準確率來衡量物體傳輸的質量，并采用MSE 衡量整體圖片像素信息傳輸的質量。

4種比較方法為：只傳輸物體部分的圖像語義分割編碼方案（SS-O）、基于信道狀態信息反饋的圖像語義分割編碼（SS-CSI）、傳輸全部內容的圖像語義分割編碼（SC），以及傳統的JPEG 信源編碼加上低密度奇偶校驗碼（LDPC）傳輸，其中低密度奇偶校驗碼碼率為64/255。

3.2 測試結果

如圖2所示，我們比較了不同方法下的圖片傳輸分類準確率和MSE 性能。分類準確率反映了圖片中物體特征的還原度，MSE 性能反映了圖片的像素信息在傳輸中的損失程度。

▲圖2 基于語義分割的圖片傳輸系統性能比較

在分類準確率性能方面，SS-O的所有32子載波均用于傳輸語義分割后的物體部分，因此它在較低SNR（例如-5～5 dB）下也擁有很好的分類準確率。但是過低的SNR會使得SS-O的傳輸差錯增大，例如：在-10～-5 dB下，SS-O的分類準確率反而不如SS-CSI。SS-CSI 根據反饋的每個子載波上的SNR 來分配不同的語義特征。實際上，由于在訓練時考慮了分類準確率，SS-CSI 通常把代表物體的語義特征sO分配到SNR更高的子載波上，因此在SNR為-10～-5 dB時，部分較差信道帶來的差錯對SS-CSI 影響更小，分類準確率更高。當SNR 為0～10 dB 時，由于大部分子信道條件都較好，而SS-O 用于傳輸物體的子載波數大于SS-CSI，此時SS-O的分類準確率性能要略好于SS-CSI。SC中物體和背景占用的子載波數目相同且不用CSI反饋來輔助分配這些待傳輸的碼字，因此在SNR 較差的情況下，SC 的分類準確率不如SS-O和SS-CSI。在SNR較高時，JPEG-LDPC的分類準確率達到分類網絡的上限。但隨著SNR 的降低，傳輸差錯超出LDPC編碼的糾錯能力，JPEG-LDPC分類準確率性能快速下降。

在MSE 性能方面，SS-O 完全舍棄了背景部分的傳輸方法，以便于在SNR 很低時可以更好地保護物體部分的MSE性能。然而，在信道條件較好的情況下，SS-O 也無法恢復背景部分，使得MSE 幾乎不會隨著SNR 的上升而降低。在SNR 較低的情況下，SS-CSI 和SC 的MSE 性能相當。CSI 反饋會使得SS-CSI 總傾向于將更好的子信道用于物體部分的傳輸，但在SNR 較高的情況下，增加占比較大的背景部分會進一步降低MSE，導致SS-CSI 在SNR 較高的情況下略差于SC。傳統的JPEG-LDPC方法在SNR較高時，使傳輸錯誤均被糾出，此時MSE幾乎為0。同樣地，當SNR降低導致傳輸錯誤超出其糾錯能力后，MSE性能也會迅速降低。

在SNR=0 dB 時，不同傳輸方法對圖像的恢復結果如圖3所示。其中，SS-O可將所有傳輸帶寬用于恢復無圖部分的像素信息。雖然物體部分恢復得最清晰，但背景卻被完全舍棄。與SS-O不同，本文提出的方法SS-CSI在盡可能恢復物體信息的同時，利用SNR 較低的信道，傳輸一部分背景信息。傳統的語義傳輸方法SC 不考慮信道條件，物體和背景均有不同程度的損失。從圖3 可以看出，SS-CSI 能夠根據CSI反饋的信息對不同傳輸部分進行靈活保護，即在MSE性能和分類準確率兩種損失函數的指導下，網絡學習到優先降低物體部分的MSE，在提高分類性能的同時對背景進行保護。通過這樣的方法，網絡既可以在高SNR 下取得很好的MSE性能，又可以在低SNR下取得很好的分類性能。

▲圖3 信噪比為0 dB時3種方法的實例圖

4 結束語

本文中，我們介紹了語義通信系統在提升傳輸質量、節省傳輸帶寬方面的優勢；考慮到典型的OFDM無線通信系統以及無線信道的特性，闡述了語義信源信道編碼在無線通信中的融合應用；設計了基于語義分割的無線圖片傳輸方案，即通過對不同重要性的傳輸部分進行分割（如背景和物體信息），實現對重要語義特征的保護。考慮到CSI 反饋在無線通信中的重要性，SS-CSI方法使用反饋的CSI信息指導網絡對不同傳輸部分進行保護，并使用具體的任務指導網絡訓練。此外，我們比較了SS-CSI 和CSI 反饋對分類準確率和MSE的影響，并通過具體實例證明了分割和CSI反饋可以對接收圖片的重要部分進行更好地保護。