語義增強的多模態虛假新聞檢測

亓 鵬 曹 娟 盛 強

(中國科學院智能信息處理重點實驗室(中國科學院計算技術研究所) 北京 100190)

(中國科學院計算技術研究所 北京 100190)

(中國科學院大學 北京 100049)

中國社會科學院2020年發布的《中國新媒體發展報告No.11》[1]顯示，以微信、微博等為代表的社交媒體已經成為我國公眾獲取新聞信息的主要渠道.社交媒體的實時性、開放性、便捷性和雙向性使得人們可以快速地獲取并傳播信息.但與此同時，社交媒體低門檻的特點也促進了虛假信息尤其是虛假新聞在網絡空間的滋長蔓延.網絡虛假新聞不僅使受眾深受其害，沖擊了主流媒體的權威性和公信力，還產生了經濟、政治等多個方面的風險隱患(1)http://www.cac.gov.cn/2020-01/23/c_1581318267502085.htm.近年來，在社交媒體的富媒體化趨勢下，用戶發布的內容由純文本向圖文并茂的多媒體形式轉變.虛假新聞的發布者也開始利用一些極具誤導性甚至經過篡改的圖片來吸引讀者的注意，進一步促進虛假新聞的傳播[2].因此，基于社交媒體的多模態虛假新聞檢測已經成為近年來的研究熱點.

現有研究表明：虛假新聞在表現層面上與真實新聞具有顯著的差異性.虛假新聞往往呈現出更加強烈的情感煽動性、主觀性[3-4]，經常出現“緊急通知”“快轉”等高頻短語；虛假新聞圖片具有低質量、視覺沖擊力強的特點[5-6].相比下，真實新聞往往更加客觀嚴謹，配圖質量更高.現有的多模態方法[7-9]一般采用通用的循環神經網絡(recurrent neural network, RNN)和卷積神經網絡(convolutional neural network, CNN)分別捕捉虛假新聞文本及視覺模態表現層面的特性.然而，虛假新聞表現層面的特性與數據集高度相關，這使得在特定數據集上性能不錯的方法往往難以良好泛化到新數據集上，容易誤判表現層特性不明顯的假新聞.

事實上，對于虛假新聞檢測任務而言，僅僅關注新聞是如何表述的，即新聞表現層面的特點是不夠的，還應該關注新聞具體描述了什么內容，即新聞語義層面的特點.在語義層面上，虛假新聞往往會涉及一些極具爭議性的話題，或者存在圖文不符等現象.與表現層相比，虛假新聞語義層面的特點往往更難捕獲.一方面，新聞作為一種特殊的敘事文體，往往包含人名、地名、機構名及其他專有名詞等命名實體.理解這些實體對建模虛假新聞語義層面的特點起到重要的作用，但他們的含義難以簡單地通過上下文理解，需要引入外部事實知識.另一方面，在多模態新聞的語義理解中，圖片模態經常提供有利于模型預測的關鍵實體信息(名人、地標、旗幟標志等).例如我們可以通過核對圖文中出現人物身份的一致性推斷該新聞的可信度.然而，通用的視覺特征表示大多停留在感知層面，無法找到并充分建模這些視覺實體背后的深層語義.另外，通用的視覺語義特征和文本語義處于不同的特征空間，存在語義鴻溝和特征異構的問題.因此，如何充分建模圖文之間的語義交互，也是我們需要著重考慮的問題.

為了解決上述挑戰，我們提出了一種語義增強的多模態虛假新聞檢測方法.首先，我們利用預訓練語言模型中隱含的大量的事實知識，更好地理解多模態新聞中的實體概念；其次，在提取通用的視覺特征向量的基礎上，利用外部模型顯式提取新聞圖片中的視覺實體及嵌入文字，得到不同語義層次的視覺特征；最后，我們采用文本引導的注意力機制建模文本與不同層次的視覺特征之間的語義交互，進而得到統一的多模態特征表達.

本文的主要貢獻包括3個方面:

1) 提出了新穎的語義增強的多模態虛假新聞檢測方法.通過融合外部知識以及顯式的視覺實體提取，更好地理解多模態新聞中的實體語義，從而更充分地挖掘多模態虛假新聞的語義線索;

2) 采用文本引導的注意力機制建模文本與不同層次的視覺特征之間的語義交互，更好地融合多模態異構特征；

3) 在真實世界的微博數據集上對本文提出的方法進行驗證.與當前較好方法相比，我們的模型能夠大幅提高虛假新聞檢測的準確率.

1 相關工作

根據研究對象的不同，虛假新聞檢測可以分為事件層面的檢測和微博層面的檢測.事件層面的檢測利用同一事件下所有微博的信息聯合判斷該新聞事件的可信度.但是事件形成往往需要一定時間.一些重大的虛假新聞可能在事件形成前已經在社交媒體上廣泛傳播，在非常短的時間內產生較大的消極影響.微博層面的檢測是指判斷單條微博消息的可信度.與事件層面的檢測相比，這種方法在實際應用中可以做到實時檢測，因此得到了研究人員的廣泛關注.本文的研究專注于微博層面的虛假新聞檢測.

大多數現有的研究利用文本內容和傳播過程中產生的社交上下文檢測虛假新聞[10].基于文本內容的檢測方法主要基于虛假新聞特定的語言風格建模，包括早期提取語言學特征、主題特征等手工特征的方法[11-13]，以及近年來基于深度模型自動學習數據高層特征的方法[14].基于社交上下文的方法主要包括基于用戶行為可信度的方法[15-17]以及基于傳播網絡的方法[18-21].

近年來，一些工作開始關注視覺模態在虛假新聞檢測中的作用[5-6,22-26].虛假新聞圖片主要包括篡改圖片和誤用圖片兩大類[6].篡改圖片指使用工具故意進行像素級改動或是算法自動生成的非真實圖片，而誤用圖片一般指未經刻意修改，取自其他事件或是圖片內容被錯誤解讀的真實圖片.現有基于視覺模態的研究主要利用圖片的取證特征[23]、語義特征[6]、分布特征[22]以及上下文特征[24-25]等進行虛假新聞檢測.

文本模態和視覺模態為虛假新聞檢測提供了各有側重、相互補充的信息.因此，結合多模態信息進行虛假新聞檢測的方法也備受關注.文獻[7]第1次通過深度神經網絡的方法將多模態信息引入到虛假新聞檢測中，他們提出了一種帶注意力機制的循環神經網絡融合文本、視覺及社交上下文的信息.為提高模型在新的虛假新聞事件上的泛化性能；文獻[8]利用對抗學習的方法，引入事件分類這一輔助任務，引導模型學習到更具泛化性能的與事件無關的多模態特征；文獻[9]利用“編碼器-解碼器”結構來構建多模態新聞的特征表達.上述方法在多模態虛假新聞檢測上具有一定的有效性，但是由于缺乏足夠的事實知識，不能充分理解多模態新聞事件的深層語義.針對這一問題，文獻[27]從外部知識圖譜中提取文本實體對應的概念知識融入多模態的表達中，從而獲得更好的語義理解能力；文獻[28]提出利用圖神經網絡建模文本、知識以及圖片中的物體之間的交互.上述方法通過引入外部知識圖譜的方式增強對新聞文本語義的理解，但是在對圖片語義信息建模以及多模態異構特征融合上仍存在欠缺之處.

因此，針對已有工作的不足，我們提出了一種語義增強的多模態虛假新聞檢測方法，不僅能夠利用外部知識深入理解文本及圖片的語義信息，也能充分融合不同模態的異構特征.

2 語義增強的虛假新聞檢測方法

我們的任務是判斷給定的單條多模態新聞為真新聞或假新聞.圖1展示了我們提出的語義增強的多模態虛假新聞檢測模型，主要由文本語義編碼器、視覺語義編碼器、多模態特征融合以及分類4部分組成.

Fig. 1 Framework of our semantics-enhanced multi-modal fake news detection model圖1 語義增強的多模態虛假新聞檢測模型結構圖

2.1 文本語義編碼器

文本作為新聞事件的敘述主體，包含了豐富的信息，為新聞可信度的判定提供了不同層次的線索.現有方法大多利用循環神經網絡等對輸入文本的上下文信息進行建模，捕捉文本表現層的模式[7,9,14,27].然而，由于特征提取過程缺少相應事實知識的參與，這類方法對新聞文本中命名實體的理解能力有限，進而難以充分捕捉虛假新聞語義層面的線索.

近期一些工作[29-30]表明，以BERT[31](bidirec-tional encoder representations from transformers)為代表的預訓練語言模型不僅具有強大的建模能力，通過在大規模預訓練語料上的學習，其內部已經學習到了某些句法知識和常識知識.在BERT的基礎上，百度提出了一種知識增強的語義表示模型ERNIE(enhanced representation from knowledge integration)[32].ERNIE的結構與BERT類似，都是利用多層的Transformer[33]作為基本的編碼器，通過self-attention機制實現對上下文信息的建模.與BERT不同的是，ERNIE對詞、實體等語義單元進行掩碼，并擴展了一些知識類的中文語料進行預訓練，能夠更好地建模實體概念等先驗語義知識，從而進一步提升模型的語義表示能力.ERNIE不僅能夠作為上下文編碼器產生句子的表達，還可以作為知識存儲器，在產生句子表達的時候隱式地利用模型中存儲的大量事實知識.因此，我們使用ERNIE作為文本模態的特征提取器，同時建模文本在表現層及語義層的特點.

具體地，我們首先在虛假新聞分類任務的數據集上對ERNIE進行微調.對于輸入句子T=[w1,w2,…,wn],其中wi代表句子中的第i個詞，ERNIE會先對其進行編碼，添加[MASK],[SEP],[CLS]等標記，然后進行訓練.我們提取[CLS]對應的768維的特征向量作為輸入句子的最終語義表示如式(1):

(1)

另外，社交媒體上存在很多以文字型圖片為主體的新聞，即新聞的主要文本用圖片的形式表示.我們使用百度預訓練的OCR文字檢測模型(2)https://ai.baidu.com/tech/ocr提取圖片中的文本信息.經過數據預處理后，可以將圖片中識別到的文本表示為詞序列O=[w1,w2,…,wn]，其中wi表示句子的第i個詞.為充分建模輸入文本T與圖片文本O的語義交互，我們將兩者拼接成一個序列，用[SEP]進行分隔，輸入到ERNIE網絡中，得到對應的語義表示:

xto=ERNIE(T[SEP]O).

(2)

2.2 視覺語義編碼器

與真實新聞的配圖相比，虛假新聞圖片往往具有更低的圖片質量，更具視覺沖擊和情感煽動的圖片風格[6].因此，現有方法大多通過卷積神經網絡提取顏色、邊緣、紋理等層次化的視覺特征來建模圖片的質量及風格特性.然而，由于缺乏外部知識的引入，這類通用的視覺特征表示大多停留在感知層面，無法充分建模新聞圖片的深層語義.

事實上，新聞圖片往往包含一些極具新聞性的視覺實體，包括名人、地標、旗幟標志以及一些敏感目標等.準確識別這些實體有助于我們更加充分地理解多模態新聞的語義，從而更好地捕捉虛假新聞的線索.例如，通過對圖片進行名人及地標識別，可以發現圖片中所展示的人物及地點與新聞文本描述不符；通過識別圖片中的敏感標志及物體，可以強調文本中的相關實體，從而更好地理解多模態新聞的爭議點.因此，為充分建模虛假新聞圖片的語義特性，我們一方面提取圖片的視覺特征向量建模其質量及風格特性，另一方面引入外部模型顯式提取圖片中的視覺實體建模其深層語義.

2.3 多模態特征融合

至此，我們得到了文本的表達xt，文本及圖片文本的聯合表達xto、視覺實體序列的表達E以及視覺特征向量序列的表達V，本節將介紹如何融合上述多種異構特征得到一個統一的多模態表達.

圖片中可能存在多個視覺實體，但并非所有檢測到的實體都對虛假新聞分類的任務有幫助，融合所有的實體信息可能會導致信息冗余甚至引入噪聲.經過觀察，我們發現能夠與文本對應的視覺實體往往更加重要.因此，我們對圖片中識別到的多個視覺實體E=[e1,e2,…,en]進行基于文本引導的注意力機制的融合.我們首先根據文本特征xt，計算每個視覺實體ei的重要性：

(3)

其中，W為隨機初始化并在訓練過程中聯合優化的參數矩陣，f(·)為激活函數.我們對權值進行歸一化：

(4)

并根據得到的權重對不同的視覺實體表示進行加權求和，得到最終的視覺實體表示：

(5)

同樣地，圖片的不同區域對于語義理解也具有不同的重要性.因此，我們對圖片不同區域的特征向量V=[v1,v2,…,vn]進行基于文本引導的注意力機制的融合，得到最終的視覺特征向量表示：

(6)

(7)

(8)

經過上述操作，我們得到了原始文本以及圖片文字的聯合表示xto，圖片的視覺實體表示xe以及圖片的視覺特征向量表示xv.這些特征從不同角度建模了輸入的多模態新聞不同層次的語義信息，具有一定的互補性.我們將這些特征拼接在一起，得到該條新聞最終的多模態表示：

x=xto⊕xe⊕xv,

(9)

其中，⊕是拼接操作.

2.4 分 類

在得到輸入新聞的多模態表示x之后，我們將其輸入全連接層，并將全連接層的輸出通過softmax層產生分類標簽的分布：

p=softmax(WCx+bC),

(10)

其中，WC和bC是模型的參數.我們采用交叉熵作為模型的損失函數：

L=-∑[yflogpf+(1-yf) log(1-pf)],

(11)

其中，yf是樣本的真實標簽，1表示該樣本為假新聞，0表示該樣本為真新聞；pf表示該樣本被預測為假新聞的概率.

3 實驗與分析

3.1 數據集

在目前的虛假新聞研究中，公開的多模態數據集比較少，故在本文的后續實驗中主要討論在中文微博數據集上的性能，但是本文提出的模型同樣也適用于英文多模態虛假新聞數據集.這是因為本文提出的模型主要關注文本及圖片深層語義的提取和交互，與文本語言的表現形式關系不大.語言形式對模型的影響將在今后進一步的工作中進行驗證.

本文采用Jin等人[7]基于中文新浪微博平臺構建的虛假新聞數據集.該數據集包含微博官方謠言舉報平臺上從2012-05—2016-01所有官方認證為假的新聞消息，以及從新華社的熱點新聞發現系統采集的同時期的真實新聞的微博消息.由于社交媒體平臺上的消息存在一定噪聲和冗余，為保證數據集的質量，Jin等人去除了重復圖像、過小的圖像以及垃圾圖像等.為更好地驗證模型在新的新聞事件上的泛化能力，在劃分訓練數據、驗證數據及測試數據時，本文先將所有數據進行聚類，得到不同的事件.在此基礎上對所有數據進行事件級別的劃分，從而保證訓練數據、驗證數據以及測試數據不會包含同一事件的新聞.由于整體數據量比較小，本文按照3∶1∶1的比例劃分最終的訓練集、驗證集和測試集，相關數據指標如表1所示.

Table 1 Statistics of the Dataset表1 數據集統計指標

3.2 實驗設置

本文使用準確率(accuracy)和假新聞類別上的F1值、精確率(precision)及召回率(recall)作為評估指標.在模型的實現上，預訓練的ERNIE模型來自GitHub上的開源項目Transformers[38].在對VGG19進行微調時，采用了圖片翻轉等數據增強的策略提升模型的泛化性能.句子的最大長度設置為128，batch size設置為64.使用ReLU作為非線性激活函數，使用Adam方法[39]優化損失函數.

3.3 實驗1:虛假新聞檢測性能比較

3.3.1 對比方法

為了驗證本文提出方法的有效性，我們實現了3類代表性的方法進行性能對比.其中，attRNN方法由參考文獻[7]作者提供，其他方法由本文作者根據論文描述復現.

1) 基于單文本模態的方法

① TextCNN.采用文獻[40]提出的卷積神經網絡進行文本分類.使用了3種不同大小的卷積核，高度分別為3,4,5.每一種卷積核的數目均設定為100.

② BiLSTM-Att.循環神經網絡是文本分類任務中一種經典的建模方法.本文選擇雙層的LSTM[41]和注意力機制堆疊成的網絡作為對比方法.其中，網絡的隱層單元數被設定為128.

③ BERT.預訓練語言模型近年來在各類自然語言處理任務中表現優越.采用在本文任務數據集上微調后的BERT模型作為對比.預訓練的BERT模型bert-base-chinese來自GitHub開源項目Trans-formers[38].

④ ERNIE.采用在本文任務數據集上微調后的ERNIE模型作為對比.預訓練的ERNIE模型nghuyong/ernie-1.0來自GitHub開源項目Trans-formers[38].

2) 基于單視覺模態的方法

① VGG19[34].在目前的多模態虛假新聞研究中，VGG19被廣泛用作視覺特征提取器.本文將在ImageNet數據集[37]上預訓練的VGG19模型在本文任務數據集上進行微調.

② ResNet152[35].將在ImageNet數據集上預訓練的ResNet152模型在本文任務數據集上進行微調.

3) 基于多模態的方法

① attRNN.文獻[7]提出了一種基于注意力機制的循環神經網絡，用于融合文本、視覺及社交上下文3種模態的特征.其中，文本部分采用LSTM進行建模，圖片部分采用預訓練的VGG19進行特征提取.為了對比的公平性，在具體實現時，我們移除了處理社交特征的部分.

② EANN.文獻[8]提出了一種基于事件對抗機制的神經網絡.通過引入事件分類器作為輔助任務，引導模型學習到與事件無關的多模態特征.該模型分別采用TextCNN和預訓練的VGG19進行文本及視覺模態特征提取，并將2種模態特征進行拼接，作為虛假新聞的多模態特征表達，輸入到虛假新聞分類器及新聞事件分類器中.

③ MVAE.文獻[9]提出了一種結合多模態變分自動編碼器和虛假新聞檢測器的多任務模型.其中，文本和圖片分別通過雙向LSTM及預訓練的VGG19進行特征提取，兩者的拼接特征被編碼為一個中間表達，用于重構輸入特征及虛假新聞分類.

④ KMGCN.文獻[28]提出了一種知識引導的多模態圖卷積網絡.該方法從外部的百科知識圖譜中提取文本中出現的命名實體所對應的概念作為外部知識.該方法對每條輸入的多模態新聞都會構建一個圖，圖的節點包括文本中的單詞、文本實體所對應的概念以及圖片中識別到的物體名稱，節點通過預訓練的Word2Vec詞向量進行初始化，邊的權重設置為2個單詞的PMI值.通過2層圖卷積網絡及最大池化得到圖表達用于虛假新聞分類.

3.3.2 結果分析

表2列出了對比實驗的結果，觀察可得到結論：

Table 2 Performance Comparison of Different Methods表2 不同方法的性能比較

1) 我們的方法在分類準確率上顯著超過其他對比方法，說明本文提出的這種語義增強的多模態模型確實能夠有效提升虛假新聞檢測的性能.尤其在虛假新聞的召回率上，我們的方法超出其他方法7個百分點以上，說明我們的模型可以通過充分挖掘多模態語義線索，檢測到被現有方法遺漏的虛假新聞.

2) 在基于多模態的方法中，KMGCN顯著低于其他對比方法.主要的原因可能是GCN對于微博這類短文本的建模能力較差，在此基礎上無法很好地體現外部知識的作用.另外，KMGCN僅提取了圖片中的物體標簽信息，對于圖片語義建模不充分.

3) 基于單文本模態的方法要優于基于單視覺模態的方法，說明虛假新聞檢測主要依靠文本線索.基于多模態的方法要優于具有相同子網絡結構的單模態方法，說明文本和圖片模態能夠為虛假新聞檢測任務提供互補的線索.其中，我們提出的方法與ERNIE相比，準確率提升了4.3個百分點，進一步證明了圖片語義特征的重要性.

4) 在基于單文本模態的方法中，預訓練語言模型要優于CNN,RNN等傳統的文本建模方法.這種提升一方面來源于Transformer更強大的建模能力，另一方面受益于預訓練語言模型從大量預訓練語料中學習到的語言學知識.ERNIE的效果要優于BERT，這說明增加實體概念知識可以增強對新聞的語義理解，進而提升虛假新聞的檢測效果.

3.4 實驗2:消去分析

3.4.1 對比方法

為驗證不同的模型組件對實驗結果的影響，我們設計了5種模型的變體，對模型進行消去分析.

1) 去掉ERNIE.對文本及圖片文本進行建模時，用雙向LSTM結合注意力機制的網絡結構替換ERNIE;獲取視覺實體表示時，用預訓練的Word2Vec詞向量替代ERNIE生成的詞向量表示.

2) 去掉OCR文本.移除提取及處理圖片文字的部分.此時輸入信息的多模態表示由原始文本的特征表達和原始文本引導下的視覺特征向量、視覺實體向量拼接而成.

3) 去掉視覺實體.移除提取及處理圖片中視覺實體的部分.此時輸入信息的多模態表示由原始文本和圖片文本的聯合表示及原始文本引導下的視覺特征向量拼接而成.

4) 去掉特征向量.移除處理圖片視覺特征向量的部分.此時輸入信息的多模態表示由原始文本和圖片文本的聯合表示及原始文本引導下的視覺實體向量拼接而成.

5) 去掉注意力機制.移除視覺實體及視覺特征向量在文本引導下的注意力機制.此時多個視覺實體向量和視覺特征向量分別通過平均操作進行融合.

3.4.2 結果分析

表3列出了消去分析的實驗結果，可以得到2個結論：

Table 3 Ablation Study表3 消去分析

1) 移除模型的任何部分，模型的分類準確率都會出現一定程度的下降，這說明了模型各元素的有效性.

2) 按照移除后模型分類準確率的下降程度，可以將各模型組件的重要性排序如下：ERNIE>圖片文本>視覺實體>視覺特征向量=注意力機制.這說明對于虛假新聞檢測任務，文本比圖片發揮的作用更重要，圖片的高層語義比低層語義更重要.

3.5 樣例分析

為了更加直觀地展示本文方法的優越性，我們對比了本文模型和表2列出的對比方法中性能最好的ERNIE模型在測試集上的預測結果，并對ERNIE模型無法檢測但本文模型能夠成功檢測到的多模態虛假新聞進行分析.圖4展示了3條代表性的樣例，分別體現了圖片的視覺特征向量、視覺實體和圖片文本對于虛假新聞檢測的重要性.

Fig. 2 Examples of multi-modal fake news detected by our model圖2 本文模型成功檢測的多模態假新聞示例

① 該假新聞示例已被新浪微博社區管理中心判定為不實信息 https://service.account.weibo.com/show?rid=K1CaJ6g5f7aYd.新聞文本已在不影響語義的前提下進行刪減展示

② 該假新聞示例已被新浪微博社區管理中心判定為不實信息 https://service.account.weibo.com/show?rid=K1CaJ6wpc66kl.新聞文本已在不影響語義的前提下進行刪減展示

③ 該假新聞示例已被新浪微博社區管理中心判定為不實信息 https://service.account.weibo.com/show?rid=K1CaJ7Apk7aci.為避免引起讀者不適，新聞圖片及OCR文字中的謾罵言語已被隱去

圖4(a)中的新聞配圖清晰度較低，重壓縮造成的塊狀效應明顯，說明該張圖片很可能是從網上下載的來自其他事件的過時圖片，而非在本次事件中現場拍攝的圖片.本文模型通過提取圖片的視覺特征向量對圖片質量進行建模，可以判斷該條新聞為假的可能性較大.圖4(b)中，通過提取圖片中的視覺實體，可以識別出該條新聞配圖里的人物為女演員瑞切爾·蕾·庫克(Rachael Leigh Cook)，而非文本中所說的比爾蓋茨的女兒.本文模型通過提取圖片中的視覺實體并利用預訓練語言模型中隱含的事實知識，可以發現圖文語義的沖突點，作為虛假新聞的線索.圖4(c)為以圖片為主體的多模態新聞，其原始文本中包含的信息量較少，不足以提供假新聞判定的線索.只有對圖片進行文字提取，才能充分理解該條新聞的語義，從而發現虛假新聞的線索.

4 總 結

針對現有方法對于多模態新聞語義理解不足的問題，本文提出了一種語義增強的多模態虛假新聞檢測方法.通過隱式利用外部模型中存儲的大量事實知識，更好地理解多模態新聞的深層語義.提取不同語義層次的視覺特征，并采用文本引導的注意力機制建模圖文之間的語義交互，從而更好地融合多模態異構特征.實驗結果表明：本文提出的方法在準確率上大幅超越當前最好的方法，證明了基于語義增強方法的有效性.