基于語義分割的全卷積圖像描述模型

李永生，顏秉勇，周家樂

(華東理工大學 信息科學與工程學院，上海 200237)

0 引 言

如何讓設計好的模型有效地利用圖像信息生成更接近人類語言的描述是目前研究的熱點。通常模型會以卷積神經網絡(convolutional neural network，CNN)作為編碼器提取圖像特征為固定大小的向量作為多層長短時記憶網絡(long short term memory，LSTM)的輸入解碼生成描述性語句[1]。通過在權威數據集實驗，分析系統生成句子的語法和內容的準確性，達到對產生式模型的評估。

目前，圖像描述主要分為3種研究方向：①模板法：基于圖像本身的特征進行特征提取識別出圖像目標，再將圖像目標填入相匹配的語言模板生成描述性語句[2]；②檢索法：將圖像和圖像對應的描述語句映射到相同特征空間再計算兩者之間的相似度生成描述性語句，把圖像描述當成檢索任務來操作[3]；③主流的基于深度學習的圖像描述法：以CNN作為編碼器提取圖像特征，以LSTM作為解碼器生成圖像描述語句[4-6]。為了生成更加接近人類語言的圖像描述，需要讓模型決定在每一個時間步更依賴于圖像信息還是語言模型[4]，同時為了讓描述更具有多樣性和更符合場景可以基于抽象場景圖來關注使用者的意圖[5]，對解碼器部分的改進讓模型結果有了較大提升，然而普遍以LSTM作為解碼器將嚴重降低模型訓練速度且非常消耗實驗資源，不利于實驗研究，而且直接采用圖像分類模型作為編碼器對圖像信息進行編碼，缺乏對圖像語義信息的利用，目標間也難以獲得明確的相互關系，雖然以Bottom-Up作為編碼器提取圖像感興趣區域獲得目標特征和以Top-Down作為解碼器確定目標特征對描述性語句的貢獻度相結合的圖像描述方法[6]能夠準確獲得圖像類別，但編碼器部分對目標間關系的理解仍然不夠，針對上述問題本文創新性提出結合語義分割和CNN解碼器的圖像描述方法，本文貢獻如下：

(1)在圖像描述中引入語義分割方法，獲得豐富的語義信息進而讓模型加深對圖像中物體間關系的理解，語義信息的增強有利于讓模型解碼出包含更豐富圖像間相互關系的描述語句，將語義分割與CNN解碼器相結合，提高圖像精度的同時加快模型訓練速度。

(2)增強查詢與注意力之間的關聯性，避免解碼器解碼時無關注意力結果影響，進一步提高模型生成描述的能力。

1 經典模型結構

如圖1所示為目前主流的圖像描述編解碼模型，CNN作為編碼器會提取圖像特征生成固定大小的特征向量，LSTM作為解碼器將編碼器提取的特征向量作為輸入再解碼生成描述性語句。

圖1 主流Encoder-Decoder模型結構[7]

主流的編解碼模型能夠在一定程度上解碼生成符合人類描述的描述性語言，但是仍然存在許多問題讓圖像描述無法取得進一步的發展。

1.1 編碼器

編碼器負責提取圖像特征信息生成固定長度的特征向量，在之前的研究中普遍采用圖像分類模型做編碼器，圖像分類模型更偏向于對目標物的識別，而圖像描述不僅需要識別出圖像中的物體，還需要得到圖像中物體間的相互關系[8]。

圖像的語義信息包含了圖像的底層特征語義和高層特征語義[9]，是一幅圖像最想表達的信息，豐富的語義信息可以提高圖像對圖像中物體間相互關系的理解，加強模型對圖像物體間相互關系的理解有助于生成的描述性語言更具有邏輯性。而圖像分類模型多為經過若干卷積得到的高層語義，感受野大有利于對物體的分類，難以獲得圖像中物體間豐富的相互關系而讓生成的描述十分僵硬，甚至只是圖像中目標種類的堆疊。

1.2 解碼器

解碼器會輸入編碼器生成的固定長度的特征向量解碼生成描述性語言，主流的編解碼模型一般使用LSTM或其變體作為解碼器。解碼器解碼過程主要由輸入字嵌入、LSTM解碼以及輸出字嵌入3部分共同組成[10]。首先將輸入字嵌入送入LSTM解碼，再選擇后驗概率最大的單詞作為輸出單詞，但LSTM從yi(第i個輸出單詞)到yn(第n個輸出單詞)預測輸出單詞的時候每次只會有順序的預測一個單詞，在每一個時間步i內選擇條件概率最大的作為預測下個單詞的輸入，正是由于在時間上存在固有順序，下一個LSTM的輸入必須依靠上一個LSTM的輸出，這種串聯訓練的方式嚴重增加解碼器的訓練速度，消耗訓練時間和訓練資源。

1.3 注意力機制

注意力機制負責在模型解碼時讓模型關注圖像重點區域，排除無關信息對生成描述的干擾。圖像描述的注意力機制與人眼的注意力機制頗為類似，當我們觀察某一目標的時候，只會去關注目標本身，視野中的其它部分會被自動忽略，將注意力集中在重點信息上從而獲取對我們更有效的資源。在實驗中注意力模型會給重點關注的部分分配一組較高的權重，對不需要關注的部分較低的權重，讓模型自動識別兩者，抑制不相干信息對實驗的影響。

經典的注意力機制θatt(Q,K,V) 首先會計算Q(查詢向量，目標語言所有詞的特征向量對應的矩陣)和K(需要被翻譯語言經過編碼器之后的詞向量表示)之間的相似性，然后使用相似度分數計算V(輸入特征的向量)上的加權平均向量，如圖2所示，而具體計算公式如式(1)和式(2)所示

圖2 傳統注意力機制

(1)

(2)

2 基于語義分割的圖像描述模型

針對主流編解碼模型出現的問題本文提出基于語義分割的全卷積圖像描述模型，創新性的在圖像描述中提出語義分割和卷積神經網絡相結合的圖像描述方法，編碼器部分融合語義分割模塊增強語義信息，提高對圖像中物體間關系的理解；以CNN作為解碼器加快模型訓練速度；為避免注意力機制給與冗余信息分配不必要的權重信息，調整注意力的輸出，讓模型只關注模型需要關注的部分。

2.1 模型架構

如圖3所示為本文模型結構圖。模型主要是由編碼器、注意力機制和解碼器等3部分組成。圖像分類模塊和語義分割模塊組成的編碼器會提取圖像特征信息生成特征矩陣 [f1,f2,…,fn]； 圖3中黑白方塊為Masked卷積[7]代替LSTM作為解碼器生成描述性文字；注意力機制讓模型關注需要關注的部分，在生成描述語句的精確度和訓練的速度上都得到了提升。

圖3 本文模型結構

2.2 基于語義分割的編碼器模型

提取圖像信息生成固定長度的特征向量是編碼器的主要任務。而豐富的圖像語義信息可以加深模型對圖像中物體間相互關系的理解有助于解碼生成描述，因此在編碼器部分加入語義分割模塊提取語義信息，編碼器結構公式化如式(3)所示

E_out=C(img)+γF(img)

(3)

式(3)中img為模型輸入，即輸入圖像，C(img) 為圖像分類模塊，F(img) 為語義分割模塊，γ為模型的可訓練參數，E_out表示編碼器輸出，是固定長度的特征向量。

C(img) 是圖像分類模塊，本文選擇使用預訓練的DenseNet特征提取網絡。該模型建立之前所有卷積層與之后卷積層之間的密集連接，充分利用圖像所有特征，同時前后卷積網絡之間的短路連接提高了梯度的反向傳播能力，讓卷積神經網絡能夠訓練更深的網絡結構，DenseNet的計算公式如式(4)所示

D_outl=Hl([o0,o1,…,ol-1])

(4)

式(4)中Hl是包括卷積、池化、標準化和激活函數在內一系列組合操作的非線性轉化函數，o0,o1,…,ol-1表示第0到第l-1層輸出特征圖的通道合并，D_outl表示DenseNet第l層輸出。由式(4)可知該模型包含豐富的圖像信息對圖像物體識別十分有利。

F(img) 是語義分割模塊，本文選擇使用UNet[11]語義分割網絡作語義特征提取器加強編碼器特征向量包含的語義信息。UNet是非常出色而且小巧的語義提取網絡，與FCN[12]和Deeplab[13]相比，UNet只需4次上采樣在同一個stage跳躍連接，保證恢復出來的特征圖融合更多的low-level的特征，使得分割圖恢復邊緣等信息更加精細[12]，UNet網絡結構如圖4所示。

圖4 UNet網絡結構

UNet可以提取豐富的語義信息但是難以捕捉語義信息之間明確的相互關系，為此需要在UNet中添加注意力模塊，將位置注意力和通道注意力兩個并行連接的模塊插入UNet下采樣與上采樣之間讓模型明確語義信息間的相關性。

2.2.1 位置注意力

位置注意力模塊可以將大范圍的圖像語義信息進行編碼到圖像的局部感受野中來增強特征圖的表達能力。位置注意力Ej[14]計算公式如式(5)和式(6)所示

(5)

(6)

式(5)中sij為第i個位置對第j個位置的影響，BiCjDi是圖像特征圖A經過BN層和RELU層卷積操作后得到的新特征圖。根據式(5)通過Bi和Cj特征圖計算得到位置注意力映射圖sij， 由式(5)可知當兩個不同位置的特征越相似sij受影響越大。得到注意力映射圖sij后將其與Di相乘的結果和最初的特征圖A逐元素相加得到輸出位置注意力Ej，尺度系數α一般初始化為0進行學習，由最后的輸出Εj可知任一位置都是圖像中所有位置的特征和初始特征加權得到的結果，因此可以聚合全部的語義結果，引入注意力機制獲取圖像中任意位置空間上的依賴關系。

2.2.2 通道注意力

多次卷積后圖像高層特征的每一個通道都可以看作是某一類別的明確響應且不同語義間存在聯系，通過增強獲得的不同通道映射之間的依賴能提高特征圖對特定語義信息的表征能力，通道注意力Ej[14]計算公式如式(7)和式(8)所示

(7)

(8)

式(7)中xji為第i個通道對第j個通道的影響，A是圖像特征圖。根據式(7)通過圖像原始特征計算得到通道注意力圖xji， 再將通道注意力圖與特征圖相乘的結果逐元素和特征圖A相加后得到最終的特征圖，與位置注意力一樣尺度系數β初始化為0開始訓練。由式(8)可知每個通道的特征都是全部通道和特征圖的加權和，增強了通道特征圖之間的全局依賴。

為了充分利用遠程依賴性，將兩個注意力模塊并行連接添加到網絡結構中，匯總注意力模塊的功能，加強特征表示能力。

同時本文并沒有單純的將語義分割模塊與圖像分類模塊融合到一起，而是使用加權殘差連接的方式將兩者結合，式(3)中的參數γ為模型可訓練參數從0開始訓練，讓模型動態自適應的從提取的語義特征中提取模型所需要的信息，提高生成描述的能力。

2.3 基于全卷積的語句生成模型

解碼器會以編碼器生成的固定長度的特征向量作為輸入，再解碼生成符合人類語言的描述性文字。LSTM網絡作為目前主流的解碼器模型在序列數據的預測和生成上具有較好的處理效果，但是LSTM難以并行訓練的缺陷將會嚴重限制模型解碼的訓練速度，為了縮短解碼器的訓練時間本文選擇CNN代替LSTM作為模型解碼器。

由于解碼器處理的數據是帶有時間序列的，同時圖像中物體間的關系也較為離散，而二維卷積更多處理具有連續像素的數據，因此能夠對數據在某一方向的平移不變特征進行提取的一維卷積在處理時間序列數據上可能更有優勢。對比圖1與圖3發現解碼器輸入輸出與傳統編解碼模型一樣，改變只是將中間的LSTM替換為Masked卷積[7]，在訓練時Masked卷積會模擬LSTM生成描述的方式，Masked卷積會屏蔽當前之后的部分只使用當前和之前的部分預測單詞，保留卷積核中間點之前的像素信息。像素生成方式如圖5所示，隨著訓練進行模型會按照從左到右，從上到下順序預測下一個像素[15]。

圖5 圖像中生成下一個像素的結構

在模型解碼時只需要記住與生成描述相關的信息，因此本文添加門控線性單元[16]過濾無關信息讓模型學會選擇有用的解碼信息。式(9)為門控線性單元的計算公式

hl(X)=(X*W+b)?σ(X*V+c)

(9)

式(9)中X為卷積層的輸入，W，b，V，c為可學習參數，σ為sigmoid函數，?為矩陣間元素間的乘積。式(9)的后半部分為激活函數，控制X*W+b的哪些信息輸入下一層。本文在Masked卷積后添加門控線性單元并以此為一個模塊Mn(f_v) 重復疊加不停獲取對解碼有用的信息，如式(10)所示

(10)

式(10)中Mn(f_v) 為融合了門控線性單元和Masked卷積的全卷積模塊，f_v是編碼器提取的特征向量。通過堆疊卷積層和門控線性單元來獲得更豐富、更抽象的網絡信息。但在實驗中n的數量會影響解碼精度，Mn(f_v) 模塊越多獲取的信息越過于抽象，越難以解碼出流暢的描述性語言，因此n的數量需要根據實際情況確定。

2.4 基于注意力的注意力模型

圖像描述的注意力機制可以讓模型在解碼時注意力集中在重點信息上，但傳統的注意力機制即使是不相關的向量依然會生成加權平均向量，鑒于此本文在注意力機制上添加AOA模塊[17]，為注意力再添加注意力。

Lun等[17]提出的注意力機制結構如圖6所示。通過兩個線性變換生成“信息向量”inf和“注意力門”gate，公式如式(11)和式(12)所示

(11)

(12)

(13)

⊙表示逐元素相乘。在查詢向量與注意力結果之間添加注意力，讓模型自適應選擇哪些信息需要送入之后的訓練。圖6中Linear層可以并不是只有一層，而是許多Li-near層連接在一起，但是本文并沒有采取多層結構，而是只使用了一層Linear層，卷積層沒有類似的門限結構來保留有用信息，過多的卷積操作會降低生成描述的能力，同時增加生成描述的時間。

圖6 Attention on Attention

3 實驗設計與結果分析

3.1 數據集預處理

本文使用MSCOCO作為圖像描述數據集，MSCOCO數據集非常龐大，可以用于所有計算機視覺任務的研究，是目前最有說服力的數據集，實驗中使用113 287個圖像作為訓練圖像，5000張圖像進行驗證，5000張圖片進行測試，每張圖片有5條描述。本文使用的單詞表總計有9221個單詞，對于描述中不在單詞表中的單詞使用來代替。為了有效防止過擬合，提高模型的性能，在訓練前會對圖像做旋轉、裁剪等數據增強操作，可以在一定程度上提高模型的泛化能力，最后把圖片尺寸調整為 (224,224,3) 再統一送入模型進行訓練。

3.2 模型訓練

實驗環境是Ubuntu 20.04 64位系統，使用Pycharm做開發工具，Python環境為Python3.7，深度學習框架選擇的是Pytorch，顯卡為NVIDIA GeForce RTX 3090。訓練時部分網絡參數見表1。

表1 網絡訓練參數

3.3 評價方法

圖像描述中衡量描述性語句適當性和流暢性兩方面的評價指標采用的是BLEU、Meteor和ROUGE，這些都是經過時間檢驗能正確評價實驗結果的評價指標。

BLEU使用的是N-gram匹配規則匹配描述性語句與參考描述，隨著N的增大表示重合程度越高，同時生成的語句也越流暢；METERO是基于BLEU缺乏對召回率評價的改進，同時考慮單詞在語句中的位置和成分；ROUGE為基于描述中n元詞的共現信息來評價，是一種面向n元詞召回率的圖像描述評價方法，以上評價指標分數越高表明模型生成描述結果越好。

3.4 結果分析

以LSTM為解碼器的Adaptive模型是目前圖像描述領域表現最好的模型結構之一，由表2(Seg_model為以CNN為解碼器同時編碼器搭配語義分割模塊的圖像描述模型，Noseg_model為以CNN為解碼器但是解碼器并沒有添加語義分割模塊的圖像描述模型)實驗結果可知，本文模型在參數量高于Adaptive模型2到3倍的情況下依然有更快的訓練速度，Seg_model和Noseg_model的訓練速度幾乎只有Adaptive速度的一半，以LSTM作為解碼器的Adaptive模型因為LSTM無法向CNN一樣并行訓練，所以即使有更少的參數量也難有更短的訓練時間，因此以CNN作為解碼器在訓練速度上要優于LSTM的解碼器。

表2 本文方法與LSTM作解碼器參數對比

圖7為Seg_model和Adaptive在BLEU4分數對比，橫坐標為迭代次數，縱坐標為BLEU4評價分數，分數越高代表評價效果越出色，Seg_model模型在迭代次數為55的時候開始收斂，而Adaptive模型在迭代次數為52時候會開始收斂，結合運行訓練時間，本文模型能更快收斂，更具實際意義。

圖7 Seg_model和Adaptive在BLEU4分數收斂

為了保證實驗結果的有效性和公平性，本文在同等條件下對其它模型進行了多次實驗。由表3(B1、B2、B3、B4分別代表BLEU1、BLEU2、BLEU3、BLEU4評價指標)實驗數據可知，與其它5個經典模型相比本文模型具有一定優勢。B1表示只要有詞相同精度就高，并不要求語序，與B1分數最高的S-A和H-A比較，Seg_model精度僅比H-A低0.2%，比S-A高0.1%，幾乎沒有差距，說明我們的模型能夠識別出描述圖片的語句，隨著Bn的n提高，評價標準開始注重生成描述的語序，n越高還能有較高的精度才是優秀模型應該有的表現，以最高的B4為例，B4時Seg_model和Noseg_model精度高達0.278和0.266，比在B4表現最好的gLSTM和mRNN分別提升了1.2%和0.2%，比表現較次的NIC模型提高了7.5%和6.3%，在METEOR和ROUGH上Seg_model同樣比最高的H-A模型分別提升了0.6%和0.3%。由Noseg_model的B1和B3精度可知模型使用全卷積解碼后確實會導致模型精度降低，Noseg_model在B1上比S-A和H-A分別降低1.1%和1.4%，由此可知CNN解碼能力相較于LSTM解碼能力偏弱，LSTM門限結構能夠儲存更多更長依賴的信息，進而生成較好的描述，但Seg_model添加了語義分割后各項評價指標提升了約1%左右，語義信息的增強有利于圖像描述精度的提高。

表3 本文方法與其它經典模型的最佳結果比較

表4的Convcap模型是同樣使用Masked卷積作為解碼器在相同條件下多次實驗的對比結果，精度上除了B2相差0.2%以外，其余評價指標都有提升，B1、B3、B4、METEOR、ROUGE分別提高1.2%、0.9%、0.2%、0.9%、0.5%，隨著Bn評價指標n的提高本文模型精度在提高，說明本文模型生成的語句更具有順序性和邏輯性。METERO是基于BLEU的改進，精度更高說明單詞在語句中位置更合適。這更加表明語義信息的增強對圖像描述具有非凡的意義。

表4 本文模型與Convcap結果比較

表5是本文Seg_model模型和S-A在MSCOCO數據集上隨機生成的描述，對比兩種描述可知生成的描述都能表達出圖片的含義。由第5幅圖可知S-A模型只描述了一個女人，而本文模型卻描述出了圖像中所有人，語義信息的增強可以讓模型理解圖像中有哪些物體，但總體來說兩種優秀模型生成的描述旗鼓相當。

表5 COCO數據集上生成描述對比

由實驗結果可知語義信息的增強確實對模型非常有利，語義分割提取的是像素級別的特征，能夠區分出屬于各個目標類的像素[19]，這對圖像描述是十分有利的，表6為從MSCOCO數據集中隨機挑選的部分圖片及其描述，由表6數據集描述可知MSCOCO并沒有描述圖片中每一個物體，這也正是本文靈感來源之一，圖像描述不需要太精細的特征，不需要把輸入圖像中的每一個目標都識別出來，只需要提取出相同的目標類并在此基礎上理解相互關系即可。

表6 MSCOCO數據集個別數據展示

然而并不是所有的語義分割模型都能提高模型精度，本文選擇UNet作為語義特征提取模塊是在相當漫長的失敗中做的選擇，由大量失敗實驗可知模型結構復雜同時包含過多的高低層特征融合的模型結構既不會給模型精度帶來多大提升，還會因為過多的特征融合增加模型訓練速度。因此選擇輕量級且有強語義提取能力的UNet可以讓模型生成描述能力進一步提高。

由表7實驗結果對比表4實驗數據發現，以Seg_model為例，B1、B2、B3、B4、METEOR、ROUGE分別提高了1.7%、0.7%、0.8%、1%、0.5%、1.6%，為注意力添加注意力后，加強了注意力結果與查詢向量之間的關聯性，抑制不相關信息對模型生成描述的誤導，如果不添加注意力，受到冗余信息的影響，注意力機制把對應區域帶入解碼器時會影響解碼器生成圖像描述，降低生成描述的能力。

表7 未改進注意力機制的模型最佳結果

4 結束語

本文在圖像描述中提出語義分割和卷積神經網絡相結合的圖像描述方法，編碼時使用語義分割提取圖像語義信息的同時并行連接圖像特征提取網絡，加強編碼器對圖像中物體間關系的理解；解碼時為了加快訓練速度，使用CNN代替LSTM作為解碼器縮短模型的訓練時間；同時為了增加注意力與查詢之間的關聯性，在注意力機制上再添加注意力抑制不相關信息對模型生成描述的誤導，進一步提高實驗效果。對比實驗結果表明，本文提出的模型結構要優于傳統神經網絡圖像描述模型，在圖像描述領域有廣泛應用。希望本文提出的語義分割和卷積神經網絡相結合的模型結構能夠為圖像描述的提供新的解決思路。