基于公共情感特征壓縮與融合的輕量級圖文情感分析模型

甘臣權 付 祥 馮慶東 祝清意

1（重慶郵電大學通信與信息工程學院 重慶 400065）

2（重慶郵電大學網絡空間安全與信息法學院 重慶 400065）

情感分析原本是指提取分析文本中表達的態度、情緒和觀點，是自然語言處理的一項基礎性任務[1]，一直以來都受到國內外學者的廣泛關注.近年來，隨著網絡的迅速發展和社交平臺的普及，人們不再滿足于使用單一的文本而更樂于聯合圖像和文本等多種載體表達自我和相互溝通.由于圖像也反映了用戶的觀點，聯合圖文的多模態數據包含了更加豐富的情感信息.因此，對圖文等多模態數據的情感分析有助于進一步了解人們對熱門話題或某些重要事件的立場和態度，這在民意調查[2]、票房預測[3]、產品分析[4]和推薦系統[5]等方面存在巨大的應用價值.

傳統的情感分析大多只針對文本[6-9]，其中一些工作通過訓練詞向量[6]完成對文本的情感分析，另一些則在此基礎上利用深度學習的方法改進了模型性能[7-9].然而，這些工作都忽略了圖像包含的情感和觀點.隨著多模態數據在其他自然語言處理任務上的應用取得成功[10]，許多學者也嘗試同時提取文本和圖像中的觀點信息進行情感分析[11-12]，但他們忽略了文本和圖像之間的信息關聯.于是，通過深度學習在特征層面上融合圖文信息進行情感分析的方法取得了不錯的效果[13-19]，然而這些方法需要消耗較多的資源提取融合圖文特征，且不能準確快速地學習數據的情感傾向.因此，如何準確有效地融合文本特征和圖像特征是圖文情感分析的一大挑戰.而如何減少模型參數，讓模型快速地學習圖文的情感傾向，并用于工業部署則是另外一個值得研究的問題.

為解決上述問題，本文提出了一種輕量級的圖文情感分析模型.在該模型中，降低了圖文特征維度，提取融合了包含圖文共享情感信息的公共情感特征，并通過情感分類器實現圖文情感分析.概括來說，本文貢獻主要有3 個方面：

1）提出了一種基于公共情感特征壓縮與融合的輕量級圖文情感分析模型，通過壓縮圖文特征后再融合公共情感特征，更有效地提取圖文的情感信息，從而實現了有效的情感分析；

2）采用圖文特征壓縮模塊降低特征維度，并提出一種門控機制的公共情感特征融合模塊提取并融合包含圖文共享情感信息的公共情感特征，減少了冗余信息，降低了模型參數量；

3）在Twitter，Flickr，Getty Images 這3 種真實世界的基線數據集上對本文模型進行了驗證，與早期和最新模型相比，本文模型能夠以更小的參數量獲得更優的情感分析性能.

1 相關工作

1.1 文本情感分析

早期的文本情感分析側重識別每個詞的情感語義.如在文獻[6]中，就提出了一種混合有監督和無監督的混合模型，它通過學習詞向量來捕捉文本的語義信息和情感內容.這種方式雖然簡單迅速，但忽略了詞間關系，在長文本上的情感分析中并不理想.于是，Atzeni等人[7]提出采用一種依賴注意力機制和雙向長短期記憶（bi-directional long short-term memory,BiLSTM）的模型，在微調后的詞向量上獲取詞間關系，學習情感分布.此外，在文獻[8]的工作中，詞向量被分別送入卷積神經網絡（convolutional neural network,CNN）和雙向門控循環單元（bi-directional gated recurrent unit,BiGRU）中來提取文本的局部特征和詞間關系，豐富了文本的特征表達.類似地，文獻[9]將詞向量分別送入BiLSTM 和BiGRU 中獲取詞間關系，再由CNN對文本特征進行降維，進而實現情感分析.這些模型都通過深度學習較為有效地學習了文本的詞間關系，實現了情感傾向分類.然而，在文獻[7]中，微調詞向量的單獨訓練和維度較高的文本特征會加大后續處理的資源開銷；文獻[8]中并行使用CNN 和BiGRU的方式難以減少文本特征中的冗余信息；文獻[9]中將BiLSTM 和BiGRU 的輸出送到CNN 中的方式在降維之前或許會消耗較多資源，提取不相關的信息.這些工作為本文的文本特征提取部分提供了思路.

1.2 圖文情感分析

有研究發現，利用多種模態信息（如圖像和文本）比只利用文本信息的情感分析更加有效[20].一些學者嘗試采用晚期融合的方法，通過集成圖像和文本情感分類器的分類結果提高情感分析的正確率[11-12].早在2013 年，文獻[11]就通過分別對圖文情感分類器預測的情感得分分配不同的權重并相加來判斷情感傾向，但該工作采用的手工圖文特征在大數據環境下并不能有效捕捉情感分布.于是，文獻[12]通過深度學習獲取圖文特征并分別用于文本情感分析、圖像分析和圖像內容分析，與文獻[11]類似，再將這3個部分的得分進行加權融合，提升了模型性能.雖然這類晚期融合的方法在一定程度上提高了模型在圖文情感分析任務上的表現，但由于這種方法是獨立地對圖文信息進行分析，忽略了圖文之間的情感相關性，使得模型不能有效地聯合利用圖文信息.You等人[13]在2016 年將微調CNN 提取的圖像特征與詞向量組成多模態特征，并采用跨模一致性回歸進行訓練，進而實現圖文情感分析，但由于其提取特征的方式較為簡單，致使多模態特征中包含的圖文情感信息不夠豐富，無法有效提升模型的情感傾向分類能力.后來，文獻[14]采用深度CNN 分別提取了更加豐富的圖文特征，并將它們連接成聯合特征送入到分類器學習情感分布.相比于晚期融合，這種在特征層面融合圖文信息的早期融合方式對圖文信息的聯合利用更加深入，但其忽略了圖文特征間存在的異構性，使得在融合過程中容易引入噪聲和冗余.

上述對圖文信息進行聯合分析的2 類方法由于自身的局限性導致它們在情感分類的性能提升上并不理想.于是，另一些學者嘗試改進融合方式或設計不同的注意力機制，加深圖文信息的融合程度，從而提高模型性能[15-19].文獻[15]除了分別應用深度CNN和長短期記憶（long short-term memory,LSTM）進行圖像情感分析和文本情感分析，還融合了提取的圖文特征進行多模態情感傾向分類，最后采用晚期融合的方式綜合這3 個部分的結果，這樣在特征層面和決策層面融合圖文信息，能較深地獲取圖文間的關系，提高情感分析的準確率.文獻[16]將圖像的視覺特征映射到文本特征空間，通過視覺語義注意力機制提取與文本相關的特征來獲取圖文間的情感相關性，并設計了一種門控長短記憶力網絡來融合圖文特征，通過自注意力機制進一步提取情感信息，這種方法在一定程度上消除了圖文特征間的異構性，減少了冗余信息.區別于文獻[15-16]，Zhang 等人[17]從圖像重要的視覺區域中提取特征，采用注意力機制將這些視覺特征與文本特征融合，并通過一種類別詞典來建立圖像內容對文本語義的依賴，獲得更豐富的情感信息.此外，文獻[18]提出的雙向多級注意力模型先將圖像分割成不同的目標，再通過注意力機制學習更豐富的圖文相關信息.類似地，Yang 等人[19]通過圖神經網絡提取文本特征和圖像的目標特征、場景特征，并采用多頭注意力交互機制學習特征間的相關性的同時進行特征融合.

這些模型更加深入地學習了圖文之間的相關性，提高了模型性能.但它們基本采用VGG19[21]或ResNet-50[22]等模型先行提取圖像特征，使得特征維數較高，并且學習的圖文相關信息較為模糊.為更全面地學習圖文相關信息，需要提取更豐富的特征，這使得模型參數量增大，不利于部署應用.而在其他多模態任務如多模態聚類中，一些學者將不同模態的信息劃分為共享信息和私有信息來更加清晰地學習模態間的相關信息[23].類似地，在視頻多模態情感分析中，Wu等人[24]利用Transformer 獲取不同特征間的共享表示和私有表示來提升模型性能，增強模型的健壯性.文獻[23-24]證明了模態間的共享信息和私有信息對情感分析的積極作用，其中，共享信息的作用尤為顯著.

受此啟發，本文提出了一種基于公共情感特征壓縮與融合的輕量級圖文情感分析模型.此模型針對上述圖文情感分析模型特征維度高等問題，提出了一種圖文特征壓縮模塊，利用卷積層和全連接層在提取圖文特征的同時也進行壓縮，降低了特征維度.此外，還設計了一種公共情感特征融合模塊，通過將壓縮后的圖文特征映射到相同的情感空間來消除特征異構性，進一步提取并融合包含圖文共享情感信息的公共情感特征，減少冗余信息.結合這2 種模塊，使得本文模型在提高性能的同時大大減少了參數量，更易于實際部署應用.

2 本文所提模型

如圖1 所示，本文提出的基于公共情感特征壓縮融合的輕量級圖文情感分析模型主要包含3 個部分：特征提取、公共情感特征融合和情感分類.在特征提取部分，設計了文本特征壓縮模塊和圖像特征壓縮模塊分別對文本特征和圖像特征壓縮降維，減少模型參數.在公共情感特征融合部分，設計了公共情感特征融合模塊提取并融合圖文公共情感特征，去除冗余信息，提高模型效率.在情感分類部分，將公共情感特征送入到分類器實現情感傾向的預測.

2.1 特征提取

特征提取分為文本特征提取與壓縮、圖像特征提取與壓縮2 個部分，分別用于提取壓縮文本特征和圖像特征.

2.1.1 文本特征提取與壓縮

文本是情感最主要的表現形式之一，在圖文情感分析中，文本特征的提取直接影響到模型的性能.

Fig.1 Model processing flow chart圖 1 模型處理流程圖

對于輸入的原始文本，本文所提模型采用詞嵌入的方式將文本w1,w2,…,wm映射為詞向量t1,t2,…,tm，其中m代表文本的單詞數.為方便處理，對于長度大于k和小于k的文本，分別通過裁剪和零填充的方式處理使輸入文本長度固定為k.于是，輸入的文本詞向量矩陣T表示為

其中 ⊕為連接符號，T∈Rd×k，d代表詞向量維度.由于輸入的詞向量矩陣不一定契合模型，故需要對其進行微調，微調后的詞向量矩陣將被送入文本特征壓縮模塊提取文本特征.如圖1 所示，文本特征壓縮模塊主要由卷積層和全連接層組成，該模塊采用卷積層提取文本特征P1和P2.由于P1和P2維度較高，不便于計算，故采用全連接層和卷積層分別從整體和局部壓縮特征：

其中W1，b1是全連接層的訓練參數.為保證特征的豐富性，將連接Q1和Q2得到的特征送入到卷積層和全連接層充分融合：

其中W2，b2是全連接層的訓練參數，Q是對Q1和Q2充分融合后的特征.

不同于文獻[8-9]，由于Q是經過壓縮后的特征，故采用LSTM[25]即可建模特征序列的依賴關系，提取出包含詞間關系的文本特征E：

其 中LLSTM(·)代表LSTM 函數，θ是LSTM 中的訓練參數.

2.1.2 圖像特征提取與壓縮

圖像應用廣泛，可以承載豐富的情感信息.在圖文情感分析中，圖像可以對文本情感信息進行補充，提高模型對情感傾向的判別能力.

為方便本文所提模型處理不同圖像，輸入的原始圖像需要先處理成相同的形狀.在圖像特征提取中，首先采用不同卷積提取圖像I不同尺度的低級特征以獲取豐富的情感信息，然后進行加權加性融合，得到多尺度低級特征.

2.2 公共情感特征融合

多數情況下，2.1.2 節提取的圖像特征G和文本特征E中的情感信息并不完全一致，而圖文情感分析任務主要關注的是圖像與文本的公共情感傾向.因此，為提取公共情感特征和提高模型判別效率，本文設計了一種基于門控機制的公共情感特征融合模塊，其結構如圖2 所示.

Fig.2 Structure of public emotion feature fusion module圖 2 公共情感特征融合模塊結構

在提取圖文公共情感特征前，為消除不同模態特征的異構性，需要將文本特征和圖像特征映射到相同的情感空間中，具體為

為提取圖文公共情感特征，首先采用谷本系數（Tanimoto coefficient）[26]計算不同模態特征間的相似度 α：

其中Esim，Gsim分別代表文本公共情感特征與圖像公共情感特征.

為充分有效利用圖文特征中的共享情感信息，采用加權連接的方式融合圖文特征Esim，Gsim，得到公共情感特征N：

2.3 情感分類

在得到公共情感特征N后，本文利用一個情感分類器計算情感概率分布，實現情感分析.

首先，將送入的公共情感特征N映射到情感傾向的判決空間.然后，為了增強模型的魯棒性和改善分類效果，添加了1 個偏置項來調整公共情感特征N的分布.最后，通過激活函數softmax計算概率分布M.具體為

其中WM，bM分別是分類器的訓練權重和偏置.為保證分布結果的一致性和優化的高效性，采用交叉熵作為損失函數：

其中Mij表示1 個批次中第i個樣本的情感概率分布M在第j個維度上的數值，Yij表示1 個批次中第i個樣本編碼后的真實標簽在第j個維度上的數值，n代表每個訓練批次的大小.于是，利用反向傳播，就可以通過最小化損失函數來訓練模型.

3 實驗分析

為驗證本文所提模型的有效性，本文模型與最新的圖文分析模型[13,15-17]進行了對比驗證，并進行了自我消融實驗分析與樣例分析.

3.1 數據集

本文搜集了Twitter，Flickr，Getty Images 這3 個基線數據集用于實驗驗證，數據集詳情如表1 所示.

1）Twitter.從文獻[27]中收集10 萬條帶有圖像的推文，采用VADER[28]進行情感標注，并過濾掉重復低質量的樣本，選取VADER 評分靠前的樣本組成圖文數據集.

Table 1 Dataset Distribution表 1 數據集分布

2）Flickr.刪除從Flickr[29]收集數據中的文本超過100 個單詞和少于5 個單詞的樣本后重新組成的數據集.

3）Getty Images.Getty Images 是一家圖片庫機構，其中的圖像通常帶有文本描述，并可通過搜索系統查詢.受文獻[29]啟發，從平衡情感詞表中收集37 個積 極（positive）詞 和64 個消極（negative）詞用于 在Getty Images 查詢得到數據樣本，組成數據集.

3.2 對比模型

為全面評估模型，本文選取了最先進的圖文情感分析模型作為對比進行實驗分析，并去掉所提模型的關鍵部分作為消融對比模型進行消融實驗分析.

選取的最先進的圖文情感分析模型具體為：

1）圖像情感分析模型OIG[22].用微調后的預訓練模型ResNet50[22]提取圖像特征，通過softmax分類器實現情感分析.

2）文本情感分析模型OTT[30].將詞向量矩陣[30]送入softmax分類器實現情感分析.

3）早期融合模型EFIT[22,30].將OIG 中的圖像特征[22]和OTT 中的詞向量矩陣[30]連接在一起，送入到softmax分類器實現圖文情感分析.

4）晚期融合模型LFIT[22,30].取OIG 情感得分與OTT 情感得分之和的平均值作為圖文情感分析的情感得分.

5）CCR[13].一種用于圖文情感分析的跨模態一致性回歸模型.

6）DMAF[15].提出了2 種獨立的單模態注意力機制，得到分別基于圖像和文本2 種模態的情感預測模型，并與一種多模態注意模型通過晚期融合結合，構建了一個深度多模態注意力融合模型.

7）AMGN[16].采用視覺語義注意力機制提取視覺特征，并采用門控LSTM 融合圖文特征，構建了一種基于注意力的多模態門控模型.

8）SCC[17].采用一種類別詞典處理文本的語義特征，通過內類依賴LSTM 獲取跨模態非線性相關性，構建了一種基于深度匹配和層次網絡的交叉模態語義內容關聯模型.

由于當前所有文獻的數據集樣本量各不相同，故這些實驗結果都無法直接對比.為保證對比的公平性，所提模型將分別在本文數據集和最新文獻[17]的數據集上進行實驗分析.其中，在本文數據集上，我們對前7 種模型[13,15-16,22,30]進行了復現并與之對比.進一步地，為展示所提模型的優越性，在最新文獻[17]的數據集上，與文獻[17]模型SCC 進行了對比.

為驗證本文所提圖文特征壓縮和公共情感特征融合的有效性與合理性，需要去除核心模塊圖文特征壓縮（FE）和公共情感特征融合（PE）并忽略詞向量矩陣微調（WR），進行消融實驗.具體的方案有：

1）MF.用一般卷積層代替圖文特征壓縮模塊，用連接融合代替公共情感特征融合模塊，不采用詞向量微調的基本模型.

2）MF+FE.在基本模型上加上圖文特征壓縮模塊，用連接融合代替公共情感特征融合模塊的模型.

3）MF+FE+PE.在基本模型上加上圖文特征壓縮模塊和公共情感特征融合模塊的模型.

4）MF+FE+PE+WR（本文）.在基本模型上加上圖文特征壓縮模塊、公共情感特征融合模塊，并對詞向量進行微調，是本文提出的模型.

為消除不同數據預處理方式對模型性能的影響，保證實驗分析的有效性和可靠性，所有模型的輸入數據都采用本文的預處理方法處理.

3.3 參數設置

在整個實驗中，將原始圖像處理成224×224的RGB 圖像作為模型的圖像輸入，用于提取圖像低級特征的卷積層分別是2 個卷積核大小為(3,3)的卷積層、1 個卷積核大小為(5,5)的卷積層、1 個卷積核大小為(3,3)且膨脹率（dilation rate）為(2,2)的空洞卷積層（dilated convolutional layer）[31]，卷積核數量都為3，文本的輸入序列長度k=50，采用Word2Vec[30]技術將文本中每個單詞訓練成128 維的詞向量.文本特征提取部分的激活函數采用tanh 函數，圖像特征提取部分的激活函數采用relu函數.在訓練過程中，優化器使用Adam[32]，損失函數采用交叉熵.為防止過擬合，在2 個加權融合之后采用最大池化（max-pooling）處理.為提高結果的可靠性，采用5 折交叉驗證法（5-fold cross-validation）[33]用于訓練和測試，其中對每一折而言，將20%的樣本作為測試集，剩下樣本中的10%作為驗證集、90%作為訓練集.其他訓練參數設置如表2 所示.

此外，本實驗采用正確率（accuracy）、查準率（precision）、查全率（recall）和F1（F1-score）這4 個指標作為評價指標.

Table 2 Experimental Training Parameter Setting表 2 實驗訓練參數設置

3.4 實驗結果與分析

根據3.3 節所述的參數設置，將本文模型與所有對比模型在最新文獻[17]的數據集上進行對比分析，并在Twitter，Flickr，Getty Images 上與3.2 節所述的前7 種模型進行對比分析與消融實驗，還結合了具體樣例進行分析.

3.4.1 對比實驗

在Twitter 數據集上的實驗結果如表3 所示.可見與7 種對比模型相比，本文模型在該數據集上的表現更為優越.因為OIG，OTT 只分別利用了圖像數據和文本數據，所以性能較差.而OTT 效果比OIG 好很多，這大概是因為該數據集的標簽是基于文本的弱標簽.EFIT，LFIT 雖然融合了圖文信息，但對模型性能的提升效果并不理想，證明了簡單的早期融合和晚期融合方式并不能有效融合圖文信息.在3 個最新圖文情感分析模型中，AMGN 在Twitter 數據集上的表現最好，而本文模型在4 個指標上都超越了AMGN.原因是在本文模型的公共情感融合模塊是將圖文特征映射到相同的情感空間中，相比AMGN 將圖像特征映射到文本特征空間的方式，消除特征異構性的效果更佳.此外，本文提取融合圖文公共情感特征的方式能更精確地提取圖像和文本中的有用情感信息以進行更有效的情感分析.

Table 3 Comparative Experimental Results on Twitter Dataset表 3 Twitter 數據集上的對比實驗結果

在Flickr 數據集上的實驗結果如表4 所示.CCR的正確率略高于DMAF，這大概是Flickr 數據集中積極情感樣本數更多，情感表達更顯著的原因.相比CCR，DMAF，AMGN 這3 種最新模型，本文模型在正確率、查準率和F1 這3 個指標上取得了更優的效果.但在查全率上本文模型并未得到最高分數，原因是Flickr 數據集的積極樣本數更多，而在本文模型中提取的公共情感特征更加均衡，能同時有效地學習積極情感和消極情感.

由于CCR 采用與其他模型不同的損失函數，最佳收斂時的損失值與其他模型相差較大，于是通過前10 次迭代的歸一化損失值收斂曲線來進一步分析模型在Flickr 上的收斂情況，如圖3 所示.本文模型相比其他模型能更快地收斂到最優值，說明本文模型能夠更快、更準確地學習到圖文中的情感信息.此外，CCR 的收斂速度僅次于本文模型，證明CCR 中的跨模一致性損失能夠加快模型收斂速度.

在Getty Images 數據集上的實驗結果，如表5 所示.表5 表明，本文模型在該數據集上的表現比在Twitter 和Flickr 兩個數據集上更好，這是因為Getty Images 數據集中的樣本更加正式，樣本間的情感關聯性更強.在該數據集上，本文模型依然具有更優的性能，這是因為經過圖文特征壓縮模塊壓縮后，圖文特征能包含更大比重的情感信息，再經由公共情感特征融合模塊，可以更精準地學習情感分布.而AMGN 的性能低于DMAF，說明在該數據集上，運用多種融合方式對提取情感信息更加有效，同時證明相比AMGN，DMAF，本文模型的魯棒性更好.此外，EFIT 在該數據集上的表現不如LFIT，說明若不消除圖文特征間的異構性，在數據情感關聯性更強的情況下，早期融合不如晚期融合有效.

Table 4 Comparative Experimental Results on Flickr Dataset表 4 Flickr 數據集上的對比實驗結果

Fig.3 Convergence curve of normalized loss value圖 3 歸一化損失值收斂曲線

Table 5 Comparative Experimental Results on Getty Images Dataset表 5 Getty Images 數據集上的對比實驗結果

為進一步驗證模型在Getty Images 上的穩定性，在圖4 中展示了模型在該數據集上5 折驗證的正確率.可以發現，DMAF 和本文模型在每折上都展現了更高的正確率且變化更小、更加穩定，證明本文模型能夠更加穩定有效地進行情感分析.

Fig.4 Accuracy of 5 folds on Getty Images圖 4 Getty Images 上5 折的正確率

在這3 個數據集上，本文提出的模型都有較好的表現，證明其在圖文情感分析任務上是有效的.而對比模型的結果與原文獻的結果都存在差別，主要是因為數據集的樣本和數據預處理方式與原文獻有所不同.

為驗證所提模型的輕巧性，在3 個數據集上采用相同的超參數，通過數據集各自的文本得到的Word-2Vec 詞典對所提模型與對比模型分別訓練，并進行參數比較，如圖5 所示.

Fig.5 Comparison of model parameters圖 5 模型參數量對比

由圖5 可知，DMAF 的參數量最多，OTT 參數量最少；本文提出的模型參數量僅多于OTT 且遠少于DMAF 和AMGN，原因是本文模型中的圖文特征壓縮模塊通過壓縮圖文特征降低了特征維度，減小了后續處理的資源消耗.圖5 的結果表明，本文模型有更小的參數量，更易部署應用.值得一提的是，所有模型在3 個數據集上的參數量都不同，這主要是由于3 個數據集的樣本量不同，在通過Word2Vec 進行詞嵌入時，參數隨著數據集的樣本量增大而增加.

為進一步驗證所提模型的優越性，本文還在文獻[17]的Flickr，Getty Images 數據集上（為與本文數據集區分，此處分別命名為Flickr2，Getty Images2）與文獻[17]進行了對比，實驗結果如表6 所示.可以看出，本文模型在Flickr2，Getty Images2 上的所有評價指標都超越了SCC，表明本文模型比SCC 更能有效地提取情感信息.

Table 6 Comparative Experimental Results on the Datasets of Ref [17]表 6 文獻[17]數據集上的對比實驗結果

3.4.2 消融實驗

為評估設計模塊的合理性和有效性，在Twitter，Flickr，Getty Images 這3 個數據集上進行消融實驗.如表7 所示，在3 個數據集上本文模型的性能都更優越.具體來看，在Twitter，Getty Images 這2 個數據集上，MF 的性能較低，且加入FE 后性能提升較大，這是因為FE 能夠進一步提取壓縮圖文特征，幫助模型更穩定有效地學習圖文情感信息.PE 可以提取公共情感特征，去除冗余信息，提升模型在Twitter，Flickr上的性能.而在Getty Images 上，加入PE 后并沒有提高正確率，這是因為Getty Images 中樣本間的情感關聯性更高，PE 在提取公共情感特征時損失了部分情感信息.此外，在加入WR 后，模型在3 個數據集上的表現都有不同的提升，說明經過微調的詞向量矩陣更契合模型，有助于模型提取特征.從總體上看，加入FE，PE 能夠提高模型在圖文情感分析上的表現，證明本文設計的圖文特征壓縮模塊和公共情感特征融合模塊是合理有效的.

Table 7 Ablation Results on the 3 Datasets表 7 3 個數據集上的消融實驗結果

3.4.3 樣例分析

3.4.1節和3.4.2節所述的實驗從宏觀上驗證了本文模型的優良性能.為更具體地比較不同模型在不同樣本上的表現，從Twitter 中挑選出3 個積極樣本和3 個消極樣本，其中“積極”標注為“1”，“消極”標注為“0”；進一步地，為更直觀地比較預測的情感極性分布與樣本真實分布，將“1”和“0”分別編碼為“[0,1]”和“[1,0]”.為方便敘述分析，將樣本編號為1～6.樣本細節和各模型的預測結果如表8 所示.

結合模型在樣本1 和樣本3 的表現可以發現，對于“積極”的情感較為強烈的樣本，所有模型都能夠準確地判斷.在樣本2 上，文本的情感表現不如樣本1 和樣本3 明顯，此時獲取文本的情感信息更加困難，因此只利用文本信息預測情感極性的OTT 更易出錯.盡管樣本2 的圖像中包含豐富的情感信息，但是EFIT，LFIT，CCR 仍預測錯誤，說明這3 種模型更依賴文本信息，不能有效結合圖像中的情感信息.此外，DMAF，AMGN 和本文模型都正確地判斷了3 個積極樣本的情感極性，其中本文模型預測的情感分布更加接近真實分布，在樣本2 文本情感不明顯的情況下依然有較好的表現，這表明本文模型的魯棒性更為優越.

Table 8 Details and Performance of 6 Samples of Twitter on Different Models表 8 Twitter 的6 個樣本在不同模型上的細節和性能

在樣本4 上，可以發現DMAF 不能正確判斷其情感極性，這是因為該樣本中圖像的消極情感表現不明顯，DMAF 無法準確提取情感信息.另外，在3 個消極樣本上，CCR，AMGN 預測的概率分布都較接近真實分布，是因為這2 種模型對消極情感信息敏感.而本文模型的預測結果比CCR，AMGN 更接近真實分布，說明本文模型更有效地提取了消極情感信息.值得一提的是，在樣本5 和樣本6 上本文預測的樣本分布并非就是[1,0]，而是因為概率分布極為接近真實分布，經過四舍五入后的近似值.

綜合模型在這6 個樣本上的表現可以看出，OIG只能較為準確地預測積極情感，原因是在缺乏文本信息的指導下，OIG 無法準確提取圖像中的情感信息；此外，數據集含有更多的積極樣本也可能使模型更偏向學習積極情感.雖然DMAF 能較為準確地判斷情感極性，但與真實分布差別較大，這是因為DMAF 提取了較多的冗余信息.對比DMAF，AMGN，本文模型能更準確地預測這6 個樣本的情感極性，且在不同樣本上的表現變化較小，證明本文模型能夠更準確有效地聯合利用圖文中的情感信息，有更強的穩定性.

4 結束語

現有圖文情感分析模型不能同時保證高性能與低參數量，使得模型難以用于實際部署.針對這個問題，本文提出了一種基于公共情感特征壓縮與融合的輕量級圖文情感分析模型.首先設計了圖文特征壓縮模塊，通過卷積層與全連接層壓縮圖文特征，降低了特征維度；然后提出一種基于門控機制的公共特征融合模塊，通過將圖文特征映射到相同的情感空間來消除特征異構性，并融合圖文公共情感特征以減少冗余信息.結合這2 種模塊，提高了模型性能，減少了參數量，使得模型更易部署應用.在3 個基線數據集上的實驗證明本文所提模型是有效的.

雖然本文模型在多個數據集上都有著更優越的表現，然而實驗中還是暴露了2 個問題：1）為了減少參數量，在處理過程中舍棄了許多特征信息，導致在樣本量較小的情況下，模型無法有效地學習情感分布；2）在模態信息處理上，本文是以圖像輔助文本，對文本長度和規范的要求更高，在文本有混合語言、長度過短或者有單詞錯誤缺失問題的數據集上，本文模型難以取得滿意的結果.在未來的工作中，我們將嘗試通過探索新的特征提取方法保證在不同大小的數據集上都能準確地提取情感信息.此外，我們還希望能夠引入社交關系等其他信息，進行更有效的情感分析.

作者貢獻聲明：甘臣權和付祥負責論文撰寫和修改；馮慶東負責數據集搜集與整理；祝清意負責設計論文框架并指導實驗分析.