人工智能物聯(lián)網(wǎng)中面向智能任務(wù)的語(yǔ)義通信方法

劉傳宏，郭彩麗,，楊洋，馮春燕，孫啟政，陳九九

（1.北京郵電大學(xué)先進(jìn)信息網(wǎng)絡(luò)北京實(shí)驗(yàn)室，北京 100876；2.北京郵電大學(xué)網(wǎng)絡(luò)體系構(gòu)建與融合北京市重點(diǎn)實(shí)驗(yàn)室，北京 100876）

1 引言

隨著物聯(lián)網(wǎng)（IoT,Internet of things）和人工智能（AI,artificial intelligence）技術(shù)的融合發(fā)展，萬(wàn)物智能互聯(lián)成為時(shí)代所趨，大大激發(fā)了人工智能物聯(lián)網(wǎng)（AIoT,artificial intelligence of things）的繁榮發(fā)展[1-4]。在人工智能物聯(lián)網(wǎng)中，先傳輸原始數(shù)據(jù)而后執(zhí)行智能任務(wù)的傳統(tǒng)通信方式如圖1 所示，智能設(shè)備依靠大量的傳感設(shè)備（如攝像頭等）對(duì)外部感知并采集大量數(shù)據(jù)（如文本、圖片等）后，采用傳統(tǒng)的信源/信道編碼方案，經(jīng)過(guò)調(diào)制后將數(shù)據(jù)集中發(fā)送到邊/云服務(wù)器上；邊/云服務(wù)器對(duì)接收到的信號(hào)進(jìn)行解調(diào)和信道/信源解碼，得到恢復(fù)的原始數(shù)據(jù)，接著以恢復(fù)的數(shù)據(jù)為輸入，利用以深度學(xué)習(xí)為代表的人工智能技術(shù)對(duì)數(shù)據(jù)（如文本、圖片等）進(jìn)行理解和分析，從而完成一系列智能任務(wù)[5-7]，如圖像分類、目標(biāo)識(shí)別等。在AIoT 場(chǎng)景中，通信與智能計(jì)算深度融合，通信場(chǎng)景從傳統(tǒng)的人與人、人與物通信轉(zhuǎn)換為智能體間的通信。通信的目標(biāo)也不再是準(zhǔn)確傳輸比特?cái)?shù)據(jù)或者精確傳遞信號(hào)波形，而是準(zhǔn)確理解傳遞的語(yǔ)義信息。這里的語(yǔ)義是指接收者正確理解發(fā)送者的信息內(nèi)容，即對(duì)原始數(shù)據(jù)更精煉的一種“達(dá)意”表示[8-9]。因此，傳輸語(yǔ)義信息的語(yǔ)義通信方法是一種新穎的通信范式，可將原始數(shù)據(jù)提取出智能計(jì)算所需的語(yǔ)義進(jìn)行傳輸，有效壓縮數(shù)據(jù)冗余，減少網(wǎng)絡(luò)傳輸?shù)膲毫Γ档椭悄苋蝿?wù)的處理時(shí)延。

目前已經(jīng)有一些初步的基于深度學(xué)習(xí)的語(yǔ)義通信方法研究[10-13]。針對(duì)文本數(shù)據(jù)，Xie 等[10]提出了基于Transformer 的語(yǔ)義通信系統(tǒng)，首次在句子層面明確了語(yǔ)義信息的概念，通過(guò)準(zhǔn)確恢復(fù)句子的語(yǔ)義信息來(lái)最大化系統(tǒng)容量和最小化語(yǔ)義誤差。在文獻(xiàn)[10]的基礎(chǔ)上，Xie 等[11]進(jìn)一步針對(duì)物聯(lián)網(wǎng)場(chǎng)景和無(wú)線衰落信道，同時(shí)考慮了星座圖的設(shè)計(jì)，提出了輕量化的深度學(xué)習(xí)語(yǔ)義通信系統(tǒng)，使模型更易于部署在IoT 設(shè)備上。針對(duì)圖像數(shù)據(jù)，Bourtsoulatze等[12]針對(duì)無(wú)線信道中的圖像傳輸任務(wù)，提出了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）的聯(lián)合信源信道編碼方法，實(shí)現(xiàn)通信系統(tǒng)各編解碼模塊間的聯(lián)合優(yōu)化。Lee 等[13]提出了圖像傳輸和識(shí)別聯(lián)合考慮的通信系統(tǒng)，相較于將通信傳輸和識(shí)別任務(wù)分開(kāi)的傳統(tǒng)方法，所提方法可以獲得更高的識(shí)別精度。總而言之，相較于傳統(tǒng)通信方式，語(yǔ)義通信系統(tǒng)可以有效提取并傳輸數(shù)據(jù)的語(yǔ)義信息，降低實(shí)際傳輸?shù)臄?shù)據(jù)量，提升通信效率，同時(shí)對(duì)信道變化具有更強(qiáng)的穩(wěn)健性[10]。

基于語(yǔ)義通信的方式，將神經(jīng)網(wǎng)絡(luò)分開(kāi)在設(shè)備和邊/云服務(wù)器上聯(lián)合處理不僅可以充分利用AIoT設(shè)備端的計(jì)算資源，而且可以大大降低待傳輸?shù)臄?shù)據(jù)量，同時(shí)將部分神經(jīng)網(wǎng)絡(luò)的參數(shù)存儲(chǔ)卸載到邊/云服務(wù)器上，緩解了設(shè)備的存儲(chǔ)壓力。例如，VGG16 網(wǎng)絡(luò)的參數(shù)量約528 MB，其中全連接層占75%以上[14]，將全連接層處理放到邊/云服務(wù)器上，可以降低設(shè)備端的存儲(chǔ)需求。此外，近些年來(lái)人們對(duì)用戶隱私和數(shù)據(jù)安全的重視度越來(lái)越高，將數(shù)據(jù)在發(fā)送端進(jìn)行初步特征提取，從而避免了數(shù)據(jù)的直接傳輸也可以很好地保護(hù)用戶隱私和數(shù)據(jù)安全。

然而，深度神經(jīng)網(wǎng)絡(luò)模型復(fù)雜，輸出的特征數(shù)據(jù)量較大，在時(shí)延敏感的任務(wù)中仍然難以滿足需求。因此，考慮AIoT 設(shè)備資源和通信資源受限的情況下，如何利用語(yǔ)義關(guān)系進(jìn)一步降低實(shí)際傳輸?shù)臄?shù)據(jù)量和通信系統(tǒng)復(fù)雜度，以在緩解通信壓力的同時(shí)保證智能任務(wù)的性能，促進(jìn)人工智能物聯(lián)網(wǎng)中通信傳輸與智能計(jì)算2 個(gè)過(guò)程的融合成為關(guān)鍵問(wèn)題。

基于上述考慮，本文基于深度學(xué)習(xí)方法提出了針對(duì)智能任務(wù)的語(yǔ)義通信方法，引入神經(jīng)網(wǎng)絡(luò)的可解釋性，從語(yǔ)義概念（指智能任務(wù)中客觀表示的某一具體事物，如貓狗分類任務(wù)中的貓和狗）出發(fā)，將語(yǔ)義概念和特征圖（為CNN 提取的特征向量）進(jìn)行關(guān)聯(lián)，提取語(yǔ)義關(guān)系，在發(fā)送端利用提取的語(yǔ)義關(guān)系實(shí)現(xiàn)語(yǔ)義壓縮，大大降低待傳輸?shù)臄?shù)據(jù)量，使接收端最大程度地理解圖片的語(yǔ)義信息，在提升智能任務(wù)性能的同時(shí)節(jié)約通信資源，降低傳輸時(shí)延。本文的主要工作如下。

1) 針對(duì)數(shù)據(jù)傳輸和智能任務(wù)緊密融合的AIoT場(chǎng)景，基于深度學(xué)習(xí)方法提出了一種語(yǔ)義通信系統(tǒng)模型，綜合考量了IoT 設(shè)備的能耗和通信資源。

2) 針對(duì)圖像分類任務(wù)，提出了一種語(yǔ)義通信方法。以圖像分類任務(wù)為導(dǎo)向，關(guān)聯(lián)語(yǔ)義概念和特征圖，提取語(yǔ)義關(guān)系，并對(duì)特征圖進(jìn)行壓縮傳輸，從語(yǔ)義層面實(shí)現(xiàn)數(shù)據(jù)壓縮，減少IoT 設(shè)備功耗并降低傳輸時(shí)延。

3) 實(shí)驗(yàn)和仿真結(jié)果證明了所提人工智能物聯(lián)網(wǎng)中的語(yǔ)義通信系統(tǒng)方法的可行性，相較于傳統(tǒng)通信方法，通信復(fù)雜度降低了99.2%，分類任務(wù)性能大大提升；此外，基于所提方法，在不同的特征提取網(wǎng)絡(luò)下，傳輸時(shí)延降低了約80%；同時(shí)在帶寬和時(shí)延受限的情況下，提升有效分類準(zhǔn)確率可高達(dá)約70%。

2 語(yǔ)義通信系統(tǒng)模型

本節(jié)將通信傳輸和智能任務(wù)相結(jié)合，基于深度學(xué)習(xí)方法提出針對(duì)智能任務(wù)的語(yǔ)義通信系統(tǒng)模型。首先給出人工智能物聯(lián)網(wǎng)中語(yǔ)義通信流程；然后提出語(yǔ)義通信系統(tǒng)模型，并針對(duì)系統(tǒng)模型中的具體模塊功能進(jìn)行詳細(xì)解釋。

圖2 為人工智能物聯(lián)網(wǎng)中的語(yǔ)義通信流程，實(shí)體部分主要由邊/云服務(wù)器和IoT 設(shè)備組成。基于語(yǔ)義通信的方式，資源受限的IoT 設(shè)備首先利用攝像頭采集圖像數(shù)據(jù)，然后利用本地的計(jì)算資源完成語(yǔ)義信息提取，接著經(jīng)語(yǔ)義壓縮后將對(duì)智能任務(wù)重要的語(yǔ)義信息傳輸?shù)竭?云服務(wù)器上。邊/云服務(wù)器平臺(tái)具有強(qiáng)大的計(jì)算能力和內(nèi)存，將接收到的特征數(shù)據(jù)輸入后續(xù)網(wǎng)絡(luò)進(jìn)行智能計(jì)算，完成智能任務(wù)，最終將智能任務(wù)結(jié)果返回給IoT 設(shè)備。

圖3 為針對(duì)智能任務(wù)的語(yǔ)義通信系統(tǒng)模型，主要可以分為發(fā)送端、物理信道和接收端3 個(gè)部分。發(fā)送端功能主要包括語(yǔ)義編碼、信道編碼和調(diào)制，其中語(yǔ)義編碼由特征提取、語(yǔ)義關(guān)系提取和語(yǔ)義壓縮組成；接收端功能主要包括解調(diào)、信道解碼和智能任務(wù)計(jì)算（如圖像分類任務(wù)為分類器，目標(biāo)檢測(cè)任務(wù)為檢測(cè)器等）。從圖3 可以看出，所提面向智能任務(wù)的語(yǔ)義通信方法將智能任務(wù)的處理過(guò)程與通信傳輸過(guò)程相融合，先在本地提取語(yǔ)義信息然后傳輸?shù)浇邮斩酥苯油瓿扇蝿?wù)，屬于先理解后傳輸?shù)耐ㄐ欧绞剑欢鴤鹘y(tǒng)通信方法先編碼傳輸原始圖片，然后在接收端提取語(yǔ)義信息完成智能任務(wù)，屬于先傳輸后理解的通信方式，傳輸與理解相對(duì)獨(dú)立；此外，語(yǔ)義通信方法利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)義編碼，而不再需要傳統(tǒng)的信源編碼，降低了通信系統(tǒng)的復(fù)雜度，這也是傳統(tǒng)方法與語(yǔ)義通信方法的另一主要區(qū)別。

IoT 設(shè)備利用攝像頭采集圖像數(shù)據(jù)，利用CNN對(duì)圖像進(jìn)行初步特征提取，得到一系列的特征激活圖，后續(xù)統(tǒng)稱為特征圖。假設(shè)語(yǔ)義通信系統(tǒng)模型的輸入是圖片I，提取特征的過(guò)程可表示為

其中，Sα(?)為特征提取網(wǎng)絡(luò)，α為網(wǎng)絡(luò)參數(shù)。

得到經(jīng)CNN 提取的特征圖后，考慮到對(duì)資源緊張的AIoT 場(chǎng)景的適用性，進(jìn)一步對(duì)實(shí)際傳輸?shù)奶卣鲌D進(jìn)行裁剪以實(shí)現(xiàn)語(yǔ)義壓縮，從而高效完成智能任務(wù)。為了實(shí)現(xiàn)這一功能，本文提出了語(yǔ)義關(guān)系提取和語(yǔ)義壓縮。

語(yǔ)義關(guān)系提取以式(1)提取到的特征圖為輸入，利用每個(gè)語(yǔ)義概念對(duì)應(yīng)的神經(jīng)元激活值對(duì)特征圖求梯度后取平均，得到特征圖對(duì)于語(yǔ)義概念的重要性權(quán)重。以此為依據(jù)，針對(duì)具體語(yǔ)義概念對(duì)特征圖進(jìn)行排序，得到語(yǔ)義概念和特征圖重要性排序之間的關(guān)系。針對(duì)語(yǔ)義概念c，對(duì)所有特征圖進(jìn)行排序，得到的特征圖排序結(jié)果為sc，可表示為

其中，C 為語(yǔ)義概念集合，為對(duì)語(yǔ)義概念c最重要的特征圖索引，為對(duì)語(yǔ)義概念c最不重要的特征圖索引，N為特征圖總數(shù)。

語(yǔ)義壓縮依據(jù)上一步得到的語(yǔ)義概念和特征圖排序間的關(guān)系，將不重要的部分特征圖進(jìn)行壓縮，僅保留重要的語(yǔ)義信息，從而實(shí)現(xiàn)去除冗余信息。經(jīng)語(yǔ)義壓縮的輸出X可表示為

其中，Cσ(?)為特征圖壓縮函數(shù)，σ為壓縮比例。語(yǔ)義壓縮有兩大好處：第一，降低了后續(xù)的計(jì)算資源需求；第二，大大減少了傳輸?shù)臄?shù)據(jù)量，降低了對(duì)通信資源的需求和傳輸時(shí)延。

在本文中，為了主要對(duì)比所提通信方法相較于傳統(tǒng)通信方法帶來(lái)的性能增益，暫時(shí)不考慮2 種通信方法中均存在的信道編解碼和調(diào)制解調(diào)部分。因此，可以看作壓縮后的特征圖直接經(jīng)無(wú)線信道傳輸，在接收端接收到的特征圖數(shù)據(jù)可表示為

其中，h為瑞利衰落信道的信道系數(shù)，n為加性白高斯噪聲（AWGN,additive white Gaussian noise）。依據(jù)香農(nóng)公式，傳輸速率表達(dá)式如式(5)所示[15]。

其中，B為信道帶寬，P為IoT 設(shè)備發(fā)送功率，N0為AWGN 功率譜密度。

設(shè)計(jì)通信系統(tǒng)的主要目標(biāo)是最大化系統(tǒng)容量，互信息可以用來(lái)衡量2 個(gè)變量之間的相關(guān)性，為了提高系統(tǒng)容量，降低信道噪聲對(duì)通信傳輸過(guò)程的影響，提升語(yǔ)義通信系統(tǒng)的穩(wěn)健性，本文考慮最大化語(yǔ)義通信中信道輸入和輸出間的互信息。信道輸入X和輸出Y之間的互信息計(jì)算可表示為

其中，(x,y)為輸入和輸出空間里的隨機(jī)變量對(duì)；p(x)為發(fā)送x的邊緣概率分布，p(y)為接收y的邊緣概率分布，p(x,y)為聯(lián)合概率分布，為給定x的條件下y的概率分布。大多情況下，互信息計(jì)算困難，但是互信息的上界是可以進(jìn)行估計(jì)的，借鑒文獻(xiàn)[16]的思路，利用上界逼近真實(shí)互信息，其上界可表示為

其證明過(guò)程如下。

真實(shí)互信息和上界間的差距定義為

針對(duì)分類任務(wù)，接收端將恢復(fù)后的特征圖Y輸入分類器網(wǎng)絡(luò)，輸出各類對(duì)應(yīng)的概率值

其中，p=[p1,p2,…,pM]，pk為圖片分為第k類的概率，M為總類別數(shù)，Qμ(?)為分類器網(wǎng)絡(luò)，μ為網(wǎng)絡(luò)參數(shù)。

整個(gè)分類網(wǎng)絡(luò)訓(xùn)練過(guò)程以最小化交叉熵和最大化互信息為優(yōu)化目標(biāo)，損失函數(shù)可表示為

其中，y=[y1,y2,…,yM]為樣本標(biāo)簽，如果樣本的類別是i，則yi=1，其余均為0；β取值為[0,1]，對(duì)互信息項(xiàng)進(jìn)行加權(quán)；I為信道輸入和輸出間的互信息。

3 針對(duì)圖像分類任務(wù)的語(yǔ)義通信方法

針對(duì)人工智能物聯(lián)網(wǎng)中的圖像分類任務(wù)，IoT設(shè)備利用特征提取網(wǎng)絡(luò)在本地完成圖像特征提取。然而，傳輸全部的特征圖仍然對(duì)設(shè)備功耗和傳輸時(shí)延提出了挑戰(zhàn)，針對(duì)這一挑戰(zhàn)，提出了針對(duì)圖像分類任務(wù)的語(yǔ)義通信方法。本節(jié)首先給出針對(duì)圖像分類任務(wù)的語(yǔ)義通信網(wǎng)絡(luò)結(jié)構(gòu)，然后分別提出圖像分類任務(wù)導(dǎo)向的語(yǔ)義關(guān)系提取方法和語(yǔ)義壓縮方法。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖4 為所提針對(duì)圖像分類任務(wù)的語(yǔ)義通信神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以實(shí)現(xiàn)高效語(yǔ)義傳輸并最大程度地提高分類任務(wù)的準(zhǔn)確度。發(fā)送端首先將圖像調(diào)整為固定尺寸，利用深度CNN 提取特征，本文采用的CNN包括卷積層和池化層，卷積層可以提取輸入特征，多層可以逐漸提取更精細(xì)的特征。池化層可以降低網(wǎng)絡(luò)中隱藏層的維數(shù)，并降低后續(xù)層中的計(jì)算量。接著基于提取的語(yǔ)義關(guān)系對(duì)提取的特征圖進(jìn)行壓縮，進(jìn)一步降低實(shí)際傳輸?shù)臄?shù)據(jù)量。

參考文獻(xiàn)[10,17]的工作和結(jié)論，一些通信信道可以通過(guò)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，如AWGN信道、乘法高斯信道和擦除信道等。在本文中，為了主要關(guān)注語(yǔ)義編碼，因此考慮AWGN 信道，并用一層神經(jīng)網(wǎng)絡(luò)表示。其物理意義解釋如圖5所示。

一層神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是輸入到輸出的一種映射關(guān)系，主要由神經(jīng)元的權(quán)重和偏置決定。這里由于已知信道的先驗(yàn)信息即AWGN 信道，就可以設(shè)定神經(jīng)元的權(quán)重W為1，其他信道權(quán)重需要相應(yīng)修改；偏置b是添加的高斯隨機(jī)變量（模擬信道中的高斯噪聲），該隨機(jī)變量的方差對(duì)應(yīng)高斯噪聲的功率，主要由信噪比和發(fā)送功率決定。即Y=hX+n=WX+b。

接收端基于三層全連接層構(gòu)成分類器網(wǎng)絡(luò)，特征圖經(jīng)分類器及Softmax 層后輸出分類結(jié)果。互信息估計(jì)網(wǎng)絡(luò)由兩層全連接網(wǎng)絡(luò)組成。本文和現(xiàn)有語(yǔ)義通信系統(tǒng)的主要區(qū)別在于本文將通信傳輸和圖像分類任務(wù)相結(jié)合，從語(yǔ)義概念出發(fā)，利用語(yǔ)義關(guān)系進(jìn)行語(yǔ)義編碼和數(shù)據(jù)壓縮，提出了語(yǔ)義關(guān)系提取方法和語(yǔ)義壓縮方法。

3.2 語(yǔ)義關(guān)系提取

本節(jié)介紹圖像分類任務(wù)中基于梯度的語(yǔ)義關(guān)系提取方法，將語(yǔ)義概念和特征圖進(jìn)行關(guān)聯(lián)。

如圖4 所示，針對(duì)語(yǔ)義概念c的得分cy定義為最后一層全連接經(jīng)過(guò)Softmax 之前的神經(jīng)元激活值，Ak為最后一個(gè)卷積層的第k個(gè)特征圖，其寬度和高度分別為w和h。首先利用語(yǔ)義概念c的得分對(duì)第k個(gè)特征圖求梯度，然后經(jīng)過(guò)全局平均池化即可得到針對(duì)語(yǔ)義概念c的第k個(gè)特征圖的重要性權(quán)重，可表示為

相應(yīng)地，針對(duì)所有語(yǔ)義概念得到的特征圖權(quán)重矩陣可表示為

針對(duì)每一個(gè)語(yǔ)義概念，對(duì)所有的特征圖均進(jìn)行上述求梯度后取均值的操作，即可得到針對(duì)任一語(yǔ)義概念c和所有特征圖的重要性權(quán)重向量ωc；緊接著，針對(duì)每個(gè)語(yǔ)義概念，利用權(quán)重值對(duì)特征圖進(jìn)行排序，即可得到任一語(yǔ)義概念和特征圖重要性排序之間的對(duì)應(yīng)關(guān)系，即語(yǔ)義關(guān)系[19]，可表示為

綜上可知，本文提出的基于梯度的語(yǔ)義關(guān)系提取方法可以將語(yǔ)義概念和特征圖關(guān)聯(lián)起來(lái)；針對(duì)具體語(yǔ)義概念，將特征圖按照重要性進(jìn)行排序，實(shí)現(xiàn)了語(yǔ)義關(guān)系的提取，為后續(xù)語(yǔ)義壓縮提供了依據(jù)。

3.3 語(yǔ)義壓縮

基于得到的語(yǔ)義關(guān)系，可以依據(jù)實(shí)際的通信環(huán)境和資源對(duì)特征圖進(jìn)行壓縮，選取部分最重要的特征圖進(jìn)行傳輸，實(shí)現(xiàn)語(yǔ)義壓縮。

實(shí)際應(yīng)用中，對(duì)特征圖的壓縮準(zhǔn)則是至關(guān)重要的，顯而易見(jiàn)的是，特征圖的權(quán)重越低即重要性越低，則越可能被壓縮且不會(huì)對(duì)后續(xù)結(jié)果產(chǎn)生影響。因此，這里的問(wèn)題轉(zhuǎn)化為如何選擇一個(gè)合適的壓縮閾值。

依據(jù)語(yǔ)義概念和特征圖重要性排序間的關(guān)系，實(shí)現(xiàn)特征圖壓縮，可表示為

其中，為壓縮閾值；n為針對(duì)每個(gè)語(yǔ)義概念實(shí)際傳輸?shù)闹匾卣鲌D個(gè)數(shù)，可表示為

其中，σ∈[0,1)為壓縮比例，對(duì)應(yīng)于發(fā)送端的語(yǔ)義壓縮程度，即σ越接近1，語(yǔ)義壓縮程度越大，實(shí)際傳輸特征圖的比例為1?σ；為向下取整。

壓縮的權(quán)重閾值可由式(19)得到。

實(shí)際傳輸?shù)奶卣鲌D中，針對(duì)語(yǔ)義概念ck最重要的n個(gè)特征圖索引可表示為

因此，實(shí)際經(jīng)信道傳輸?shù)奶卣鲌D索引可表示為

接著，將壓縮后的特征圖經(jīng)無(wú)線信道傳輸。邊/云服務(wù)器接收特征圖數(shù)據(jù)，輸入分類器網(wǎng)絡(luò)，輸出最后的分類結(jié)果，并將結(jié)果返回給IoT 設(shè)備。

將每張圖像的實(shí)際傳輸數(shù)據(jù)量記為d，則傳輸時(shí)延可表示為

設(shè)定每張圖像數(shù)據(jù)傳輸過(guò)程中的時(shí)延門限為t0，當(dāng)數(shù)據(jù)實(shí)際傳輸時(shí)延大于時(shí)延門限（t>t0）時(shí)，記作此次傳輸失敗[20]，也就無(wú)法完成后續(xù)圖像分類任務(wù)，判定為分類錯(cuò)誤。

人工智能物聯(lián)網(wǎng)中針對(duì)圖像分類任務(wù)的語(yǔ)義通信算法如算法1 所示。

算法1針對(duì)圖像分類任務(wù)的語(yǔ)義通信算法

輸入待分類圖片I，壓縮比例σ=0.902 3

輸出分類結(jié)果p

1) 將待分類圖片輸入特征提取網(wǎng)絡(luò)，得到特征圖A；

2) 基于式(13)計(jì)算語(yǔ)義概念激活值對(duì)特征圖的梯度，得到特征圖對(duì)語(yǔ)義概念的重要性權(quán)重ω；

3) 針對(duì)同一語(yǔ)義概念，對(duì)特征圖依據(jù)重要性進(jìn)行排序，得到語(yǔ)義概念和特征圖排序的對(duì)應(yīng)關(guān)系s；

4) 基于式(17)利用語(yǔ)義重要性關(guān)系和設(shè)定的壓縮比例σ對(duì)特征圖進(jìn)行壓縮，得到實(shí)際傳輸?shù)奶卣鲌D索引向量Ts；

5) 將壓縮后的特征圖經(jīng)無(wú)線信道傳輸，計(jì)算傳輸時(shí)延t并和時(shí)延門限t0比較；

6) 若t

4 實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)設(shè)置

模型訓(xùn)練和測(cè)試數(shù)據(jù)集為STL-10 十分類數(shù)據(jù)集，包含10 類物體的圖片，對(duì)應(yīng)10 個(gè)語(yǔ)義概念，每類1 300 張圖片，500 張訓(xùn)練，800 張測(cè)試，每張圖片分辨率為 96 dpi×96 dpi。訓(xùn)練過(guò)程中，首先將圖片擴(kuò)展到256×256，然后隨機(jī)裁剪為224×224，作為網(wǎng)絡(luò)的輸入。訓(xùn)練和測(cè)試環(huán)境為Ubuntu 16.04 +CUDA 10.1，編程語(yǔ)言為Python，深度學(xué)習(xí)框架為Pytorch1.7.0。

為了證明所提方法對(duì)于分類網(wǎng)絡(luò)的普適性，本文選擇經(jīng)典的 CNN 分類網(wǎng)絡(luò)（VGG16[14]和Resnet18[21]）作為特征提取網(wǎng)絡(luò)，應(yīng)用所提的語(yǔ)義通信方法進(jìn)行后續(xù)實(shí)驗(yàn)仿真。下面分別介紹針對(duì)2 種網(wǎng)絡(luò)的初始化參數(shù)設(shè)置。

Resnet18 網(wǎng)絡(luò)。首先考慮到數(shù)據(jù)集為十分類任務(wù)，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)最后一層輸出神經(jīng)元個(gè)數(shù)為10；接著用在ImageNet 數(shù)據(jù)集[22]上預(yù)訓(xùn)練好的參數(shù)初始化特征提取網(wǎng)絡(luò)參數(shù)，進(jìn)行后續(xù)訓(xùn)練。

VGG16 網(wǎng)絡(luò)。類似地，首先調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)最后一層輸出神經(jīng)元個(gè)數(shù)為10，并將VGG16 分類器部分兩層全連接神經(jīng)元個(gè)數(shù)由4 096 調(diào)整為1 000；接著用在ImageNet 數(shù)據(jù)集上訓(xùn)練好的參數(shù)初始化特征提取網(wǎng)絡(luò)參數(shù)，訓(xùn)練過(guò)程中，凍結(jié)前8 個(gè)卷積層參數(shù)，以加快訓(xùn)練速度。

本文設(shè)計(jì)互信息估計(jì)網(wǎng)絡(luò)和分類網(wǎng)絡(luò)迭代訓(xùn)練，首先，訓(xùn)練互信息估計(jì)網(wǎng)絡(luò)；其次，固定互信息估計(jì)網(wǎng)絡(luò)參數(shù)，訓(xùn)練語(yǔ)義通信網(wǎng)絡(luò)；再次，固定語(yǔ)義通信網(wǎng)絡(luò)參數(shù)，訓(xùn)練互信息估計(jì)網(wǎng)絡(luò)，如此迭代，直到達(dá)到收斂條件。

網(wǎng)絡(luò)訓(xùn)練均使用交叉熵為損失函數(shù)，具體訓(xùn)練參數(shù)設(shè)定如表1 所示，仿真參數(shù)設(shè)置如表2 所示。

表1 語(yǔ)義通信網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置

表2 系統(tǒng)仿真參數(shù)設(shè)置

分類準(zhǔn)確率定義為

其中，Nt為待分類的圖片總數(shù)，Ns為分類正確的圖片數(shù)量。

在帶寬和時(shí)延限制條件下，為了同時(shí)考量通信性能和圖像分類任務(wù)的完成性能，本文提出有效分類準(zhǔn)確率為評(píng)價(jià)指標(biāo)。將傳輸和分類分別定義為事件A和事件B，由貝葉斯公式可知，有效分類準(zhǔn)確率定義為

其中，P(A=1) 為成功傳輸?shù)母怕剩瑸槌晒鬏敆l件下分類成功的概率，P(A=0)為傳輸失敗的概率，為傳輸失敗但分類成功的概率，考慮到傳輸失敗則分類失敗，即。則有效分類準(zhǔn)確率可以轉(zhuǎn)化為

其中，β為給定信噪比和語(yǔ)義壓縮程度時(shí)的分類準(zhǔn)確率，γ為給定帶寬和時(shí)延限制下，實(shí)際可以成功傳輸?shù)膱D片比例為P(A=1)。

由于本文提出的人工智能物聯(lián)網(wǎng)中面向智能任務(wù)的語(yǔ)義通信方法未改變智能任務(wù)的原始神經(jīng)網(wǎng)絡(luò)架構(gòu)，而是在發(fā)送端和接收端分別進(jìn)行部分網(wǎng)絡(luò)計(jì)算，因此并不會(huì)增加任務(wù)的處理開(kāi)銷，反而由于壓縮了部分特征圖，可以略微降低接收端的計(jì)算量，這也是本文所提方法的優(yōu)勢(shì)之一；此外，相較于傳統(tǒng)通信方法，所提語(yǔ)義通信方法在發(fā)送端利用重要的語(yǔ)義信息替代了原始數(shù)據(jù)作為存儲(chǔ)和傳輸?shù)闹黧w，利用CNN 提取語(yǔ)義特征替代了復(fù)雜的傳統(tǒng)信源編碼，因此也并不會(huì)增加IoT 設(shè)備的存儲(chǔ)和計(jì)算壓力。后續(xù)主要針對(duì)分類任務(wù)性能進(jìn)行實(shí)驗(yàn)及仿真驗(yàn)證。

4.2 實(shí)驗(yàn)結(jié)果分析

本節(jié)將對(duì)實(shí)驗(yàn)和仿真結(jié)果進(jìn)行分析說(shuō)明，將對(duì)比方案命名為傳統(tǒng)通信方式，即圖像先經(jīng)過(guò)傳統(tǒng)JPEG 編碼后傳輸，接收端經(jīng)過(guò)解碼恢復(fù)原圖，再輸入神經(jīng)網(wǎng)絡(luò)（Resnet18 或者VGG16）來(lái)完成分類任務(wù)。

4.2.1 語(yǔ)義通信和傳統(tǒng)通信方式下的分類性能對(duì)比分析

為了驗(yàn)證所提語(yǔ)義通信方法相較于傳統(tǒng)通信方法更適合應(yīng)用于AIoT 場(chǎng)景中，且對(duì)信道有更強(qiáng)的穩(wěn)健性。本節(jié)實(shí)驗(yàn)對(duì)比了所提語(yǔ)義通信方法和傳統(tǒng)通信方式的性能，同時(shí)驗(yàn)證了在不同信道信噪比條件下，不同語(yǔ)義壓縮程度（即不同壓縮比例）對(duì)最終圖像分類任務(wù)性能的影響。為了驗(yàn)證所提語(yǔ)義方法對(duì)分類網(wǎng)絡(luò)的普適性，同時(shí)基于VGG16 和Resnet18 網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖6所示，壓縮比例為0 表示不對(duì)特征圖進(jìn)行壓縮而全部傳輸。

圖6(a)和圖6 (b)展示了相同的趨勢(shì)。基于深度學(xué)習(xí)的語(yǔ)義通信方式分類任務(wù)性能遠(yuǎn)遠(yuǎn)好于傳統(tǒng)通信方式的分類任務(wù)性能，尤其是當(dāng)信噪比較低時(shí)，當(dāng)信道信噪比為0 時(shí)，傳統(tǒng)通信方式幾乎無(wú)法完成分類，而基于語(yǔ)義通信方式的分類精度可以達(dá)到90%以上。此外，相較于特征圖全部傳輸?shù)浇邮斩耍谡Z(yǔ)義通信的壓縮方式在分類性能上會(huì)有一定的損失。然而，從以上2 個(gè)實(shí)驗(yàn)結(jié)果可以看出，當(dāng)壓縮比例達(dá)到80%時(shí)，分類的精度在信噪比大于0時(shí)損失都很小，均在2%以內(nèi)。這說(shuō)明本文所提的語(yǔ)義通信方法可以實(shí)現(xiàn)在幾乎不影響任務(wù)性能的前提下，大大降低了傳輸?shù)臄?shù)據(jù)量，降低了傳輸時(shí)延和通信負(fù)擔(dān)，比傳統(tǒng)的通信方式更適合于時(shí)延和功耗敏感的IoT 場(chǎng)景中。

4.2.2 不同壓縮傳輸方式下的分類任務(wù)性能對(duì)比分析

為了驗(yàn)證所提語(yǔ)義通信方法在帶寬資源緊張的AIoT 場(chǎng)景中可以有效保障智能任務(wù)性能，本節(jié)實(shí)驗(yàn)對(duì)比了不同壓縮傳輸方式下分類性能的差異，對(duì)比方案包括：1) 本文所提的語(yǔ)義壓縮傳輸方案；2) 實(shí)際場(chǎng)景中的隨機(jī)壓縮傳輸方案。考慮到實(shí)際場(chǎng)景中，帶寬資源受限，同時(shí)受到時(shí)延門限的限制，往往無(wú)法將全部特征圖經(jīng)無(wú)線信道傳輸?shù)浇邮斩耍虼丝紤]實(shí)際場(chǎng)景中存在的隨機(jī)丟包，相當(dāng)于對(duì)特征圖進(jìn)行隨機(jī)壓縮后傳輸。為了更好地比較實(shí)驗(yàn)結(jié)果，與文獻(xiàn)[23]的實(shí)驗(yàn)設(shè)置保持一致，這里將帶寬定性地定義為滿足時(shí)延限制條件下允許實(shí)際傳輸?shù)奶卣鲌D個(gè)數(shù)，實(shí)驗(yàn)結(jié)果具體如圖7所示。

圖7(a)和圖7 (b)展示了語(yǔ)義壓縮傳輸方案和隨機(jī)壓縮傳輸方案下模型分類準(zhǔn)確率隨著信道帶寬的變化關(guān)系。2 個(gè)實(shí)驗(yàn)結(jié)果具有相同的趨勢(shì)，也說(shuō)明了本文所提方法對(duì)于分類網(wǎng)絡(luò)的普適性。在固定信道帶寬和信噪比時(shí)，語(yǔ)義壓縮傳輸方案可以提高模型分類準(zhǔn)確率，例如在信噪比為20 dB、允許實(shí)際傳輸?shù)奶卣鲌D個(gè)數(shù)為50 時(shí)，語(yǔ)義壓縮傳輸方案相較于隨機(jī)壓縮傳輸方案可以提高分類準(zhǔn)確率約30%。這是因?yàn)楸疚乃岬恼Z(yǔ)義壓縮傳輸在傳輸過(guò)程中，盡可能多地保留了圖片重要的語(yǔ)義信息，有利于更好地完成分類任務(wù)。同時(shí)從實(shí)驗(yàn)結(jié)果可以看出，隨著信道帶寬和信噪比的增加，模型的分類準(zhǔn)確率也會(huì)上升。這是因?yàn)闊o(wú)論是傳輸更多的特征圖還是更好的信道條件，都可以保留更多的語(yǔ)義信息，從而有利于分類任務(wù)的完成，提高模型分類準(zhǔn)確率。

4.2.3 有效分類準(zhǔn)確率對(duì)比分析

為了驗(yàn)證所提語(yǔ)義通信方法對(duì)資源緊張、時(shí)延敏感的AIoT 場(chǎng)景中的適用性，可以有效獲得智能任務(wù)性能的提升。本節(jié)比較了不同帶寬和時(shí)延限制條件下，基于語(yǔ)義關(guān)系的特征圖壓縮（壓縮比例設(shè)置為80%）和傳輸全部特征圖2 種方式的有效分類準(zhǔn)確率，基于VGG16 分類網(wǎng)絡(luò)，仿真結(jié)果如圖8所示。

從圖8(a)和圖8 (b)對(duì)比中可以得出，當(dāng)信道帶寬或者時(shí)延門限較小時(shí)，特征圖完全傳輸?shù)姆绞阶罱K幾乎無(wú)法完成分類任務(wù)，這是因?yàn)楫?dāng)帶寬或時(shí)延門限較小時(shí)，實(shí)際可以完整傳輸?shù)膱D片數(shù)很少，導(dǎo)致有效分類準(zhǔn)確率很低。而經(jīng)過(guò)本文所提方法壓縮80%的特征圖后，傳輸時(shí)延也相應(yīng)降低了80%，即使在帶寬或時(shí)延門限較低的條件下，仍然可以有效傳輸部分重要的卷積核（即圖片語(yǔ)義可以得到有效傳輸），也即成功傳輸?shù)膱D片信息比例增大，也提高了有效分類準(zhǔn)確率，說(shuō)明本文所提方法更適合應(yīng)用在帶寬資源緊張和時(shí)延要求敏感的AIoT場(chǎng)景中，提高模型的有效分類性能。

4.2.4 語(yǔ)義壓縮及信道傳輸對(duì)任務(wù)性能影響分析

為了分別分析所提語(yǔ)義通信方法中語(yǔ)義編碼和信道傳輸2 部分對(duì)智能任務(wù)性能的影響，本節(jié)基于2 種分類網(wǎng)絡(luò)，比較了原圖直接分類、語(yǔ)義編碼后直接分類和所提語(yǔ)義通信方法（語(yǔ)義編碼后經(jīng)信道傳輸再分類）的分類準(zhǔn)確率，分析結(jié)果如圖9 所示。由于原圖直接分類（分類準(zhǔn)確率為0.957 6）和語(yǔ)義編碼后直接分類（分類準(zhǔn)確率為0.945 0）均未考慮信道影響，這里的語(yǔ)義編碼中的語(yǔ)義壓縮比例為80%，因此圖中均為直線，不隨信噪比變化。其中原圖直接分類和語(yǔ)義編碼后直接分類之間的性能差異（圖中的①③）是由語(yǔ)義編碼引入的；語(yǔ)義編碼后直接分類和所提語(yǔ)義通信方法之間的性能差異（圖中的②④）是由信道傳輸（噪聲誤碼等）造成的。從圖9 可以看出，當(dāng)信道環(huán)境較差即信噪比較低時(shí)，語(yǔ)義編碼直接分類和所提語(yǔ)義通信方法之間的差異較大，這是由于信道傳輸造成的誤差越大，導(dǎo)致性能損失越大；隨著信噪比增大，信道中傳輸造成的性能損失逐漸減小。此外，還可以看出，低信噪比時(shí)，信道傳輸造成的性能損失占主要部分，以基于Resnet18 網(wǎng)絡(luò)在?10 dB 時(shí)為例，所提語(yǔ)義通信方法的準(zhǔn)確率為0.766 0，則信道傳輸帶來(lái)的性能損失為0.179 0，而語(yǔ)義編碼帶來(lái)的性能損失恒定為0.012 6；而當(dāng)信噪比增大到10 dB 時(shí)，信道帶來(lái)的性能損失降低到了0.006，甚至小于語(yǔ)義編碼帶來(lái)的性能損失。

4.2.5 復(fù)雜度對(duì)比分析

為了評(píng)估所提語(yǔ)義通信方法在AIoT 場(chǎng)景中的可行性，本節(jié)從理論和實(shí)驗(yàn)2 個(gè)方面對(duì)語(yǔ)義通信方法和傳統(tǒng)方法的復(fù)雜度對(duì)比分析。

1) 理論復(fù)雜度對(duì)比分析。首先分析所提語(yǔ)義通信網(wǎng)絡(luò)的計(jì)算復(fù)雜度。由于所提語(yǔ)義通信網(wǎng)絡(luò)中計(jì)算量主要集中在卷積層，單個(gè)卷積層的計(jì)算量可表示為F×F×Din×Dout×W×H，其中，F(xiàn)×F為濾波器大小，Din為輸入通道數(shù)，Dout為濾波器數(shù)量，W×H為特征圖的尺寸，因此語(yǔ)義通信網(wǎng)絡(luò)的計(jì)算復(fù)雜度可以近似表示為O(I W IH)，其中IW和IH分別為輸入圖片的寬和高[12]。傳統(tǒng)通信方式計(jì)算量主要集中在JPEG 壓縮編解碼和分類任務(wù)2 個(gè)部分。JPEG 壓縮編解碼的計(jì)算復(fù)雜度與像素點(diǎn)數(shù)呈線性關(guān)系[24]，即O(I W IH)。然而傳統(tǒng)通信方式的計(jì)算復(fù)雜度為JPEG 壓縮計(jì)算復(fù)雜度加上分類任務(wù)計(jì)算復(fù)雜度，遠(yuǎn)遠(yuǎn)大于語(yǔ)義通信方法的計(jì)算復(fù)雜度。

2) 實(shí)驗(yàn)復(fù)雜度對(duì)比分析。本文進(jìn)一步從實(shí)驗(yàn)上比較了面向智能任務(wù)的語(yǔ)義通信方法和傳統(tǒng)通信方法的復(fù)雜度，以單張圖片完成分類任務(wù)的運(yùn)行時(shí)間來(lái)衡量，具體結(jié)果如圖10 所示，縱坐標(biāo)運(yùn)行時(shí)間為對(duì)數(shù)表示。運(yùn)行測(cè)試程序的計(jì)算機(jī)的處理器為Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60 GHz，16 GB RAM，顯卡為Tesla M40 24 GB。

從圖10 可以得出，面向智能任務(wù)的語(yǔ)義通信方法所需的運(yùn)行時(shí)間遠(yuǎn)小于傳統(tǒng)通信方法所需的運(yùn)行時(shí)間，而且適用于不同的分類網(wǎng)絡(luò)，以Resnet18網(wǎng)絡(luò)為例，語(yǔ)義通信方法的運(yùn)行時(shí)間僅為傳統(tǒng)方法的0.8%。這是因?yàn)檎Z(yǔ)義通信方法利用分類網(wǎng)絡(luò)的特征提取部分實(shí)現(xiàn)信源編碼，同時(shí)利用語(yǔ)義關(guān)系實(shí)現(xiàn)數(shù)據(jù)進(jìn)一步壓縮，大大降低了傳輸和處理時(shí)延，因此面向智能任務(wù)的語(yǔ)義通信方法相較于傳統(tǒng)方法更適合應(yīng)用于對(duì)時(shí)延敏感的AIoT 場(chǎng)景中。本文未將訓(xùn)練時(shí)間進(jìn)行比較是因?yàn)獒槍?duì)AIoT 應(yīng)用，模型訓(xùn)練通常為離線完成而且僅需要執(zhí)行一次。

5 結(jié)束語(yǔ)

人工智能物聯(lián)網(wǎng)中，傳統(tǒng)的數(shù)據(jù)集中式云計(jì)算處理方式網(wǎng)絡(luò)傳輸數(shù)據(jù)量大，通信時(shí)延高，影響智能任務(wù)性能。針對(duì)這些問(wèn)題，本文首先基于深度學(xué)習(xí)方法提出了針對(duì)智能任務(wù)的語(yǔ)義通信系統(tǒng)模型。特別地，本文研究了人工智能物聯(lián)網(wǎng)中帶寬和時(shí)延受限時(shí)的圖像分類任務(wù)，提出了針對(duì)圖像分類任務(wù)的語(yǔ)義通信網(wǎng)絡(luò)結(jié)構(gòu)，在IoT 設(shè)備上提取圖片特征圖，基于目標(biāo)導(dǎo)向的語(yǔ)義關(guān)系對(duì)特征圖進(jìn)行壓縮，有效緩解IoT 設(shè)備的功耗負(fù)擔(dān)，降低通信傳輸?shù)膲毫Α?shí)驗(yàn)結(jié)果驗(yàn)證了本文所提方法的可行性和性能優(yōu)勢(shì)。同時(shí)順應(yīng)通信技術(shù)與人工智能緊密結(jié)合的大趨勢(shì)，本文所提方法為眾多智能場(chǎng)景下以圖像語(yǔ)義理解為主要手段的視覺(jué)任務(wù)的實(shí)現(xiàn)提供了一條新的思路。未來(lái)工作將繼續(xù)研究語(yǔ)義通信方法，考慮不同的信道類型，同時(shí)考慮聯(lián)合語(yǔ)義信道編解碼，另外擴(kuò)展到目標(biāo)檢測(cè)等其他視覺(jué)任務(wù)和其他智能場(chǎng)景中，優(yōu)化語(yǔ)義提取方法，探究特定環(huán)境下最佳的壓縮比例，進(jìn)一步提升模型性能同時(shí)降低時(shí)延。