MSRD:多模態(tài)網(wǎng)絡(luò)謠言檢測方法

劉金碩 馮 闊 Jeff Z. Pan 鄧 娟 王麗娜

1(空天信息安全與可信計算教育部重點實驗室，武漢大學(xué)國家網(wǎng)絡(luò)安全學(xué)院 武漢 430072)

2(阿伯丁大學(xué) 蘇格蘭阿伯丁 AB24 3FX)(liujinshuo@whu.edu.cn)

網(wǎng)絡(luò)謠言因受眾廣大、易于傳播等特點，能夠輕易煽動群眾焦慮、恐慌等情緒，引發(fā)各類群體性事件，嚴(yán)重危害社會治安.在互聯(lián)網(wǎng)時代，迅速普及的各類社交媒體平臺成為了謠言滋生和傳播的溫床.為了博取關(guān)注、引導(dǎo)轉(zhuǎn)發(fā)，網(wǎng)絡(luò)謠言逐步由單純的文本向圖像與文本信息聯(lián)合等多模態(tài)謠言轉(zhuǎn)型.由于圖像比文本更具有欺騙性，且其來源和真實性難以考證，因此圖文聯(lián)合的網(wǎng)絡(luò)謠言更具危害性.因此，準(zhǔn)確及時地針對圖文聯(lián)合的多模態(tài)網(wǎng)絡(luò)謠言進(jìn)行檢測有利于維護(hù)社交平臺輿情穩(wěn)定、捍衛(wèi)國家網(wǎng)絡(luò)話語權(quán)和保證社會秩序平穩(wěn)發(fā)展，具有十分重要的現(xiàn)實意義.

目前針對網(wǎng)絡(luò)謠言的圖像內(nèi)容進(jìn)行理解從而判別謠言的方法較為少見，已有的工作集中于識別謠言中的文本內(nèi)容.其中一部分工作[1-3]采用以文本內(nèi)容和用戶信息為主要特征的基于特征構(gòu)造檢測的方法，另一部分工作[4-5]以傳播時間、傳播結(jié)構(gòu)、語言特征等方面因素作為考量，提出基于傳播結(jié)構(gòu)檢測法以及時間序列檢測法.僅有少部分工作[6-7]考慮了圖像信息，利用深度神經(jīng)網(wǎng)絡(luò)提取圖像特征，并聯(lián)合文本特征進(jìn)行謠言判別.然而這些工作忽略了圖像內(nèi)嵌文本的處理，如圖1所示.該謠言信息包含消息文本、圖像和圖像內(nèi)嵌文本3部分.圖像中的文本信息往往由謠言傳播者人為添加，用于增加謠言的可信度.目前的謠言檢測工作中缺乏對圖像內(nèi)嵌文本信息的挖掘，該部分對謠言判別具有重要意義.然而如何有效定位圖像內(nèi)嵌文本區(qū)域，并對其文本內(nèi)容進(jìn)行識別成為主要挑戰(zhàn).另外，如何有效融合文本特征與圖像特征進(jìn)行謠言檢測成為另一挑戰(zhàn).

Fig. 1 Multi-modal Web rumor

為了解決以上問題，本文提出了一種端到端的多模態(tài)融合網(wǎng)絡(luò)謠言檢測方法.該方法融合了消息文本特征、圖像內(nèi)嵌文本特征以及圖像內(nèi)容特征，通過謠言檢測器進(jìn)行謠言判別.

概括來說，本文的主要貢獻(xiàn)有3個方面：

1) 提出了一個聯(lián)合消息文本信息以及圖像內(nèi)嵌文本信息與圖像信息的多模態(tài)謠言檢測模型MSRD；

2) 提出了一種基于密集連接網(wǎng)絡(luò)和空洞空間金字塔池化模型的圖像文本定位方法；

3) 提出了一種融合文本特征與圖像特征的共享特征表示方法.

1 相關(guān)工作

1.1 圖像內(nèi)嵌文本定位

目前國內(nèi)外學(xué)者對圖像內(nèi)嵌文本定位工作的研究主要基于深度學(xué)習(xí)的方法.從技術(shù)路線角度主要分為2種：以連接文本提議網(wǎng)絡(luò)(connectionist text proposal network，CTPN)[8]為代表的基于區(qū)域建議的文本檢測方法，和以高效準(zhǔn)確的場景文本檢測器(efficient and accurate scene text detector，EAST)[9]為代表的基于圖像分割的文本檢測方法.CTPN框架的缺點在于對非水平排列的文本區(qū)域定位效果不佳；EAST檢測器的缺點在于網(wǎng)絡(luò)的感受野不夠充足，導(dǎo)致對長文本區(qū)域定位效果不佳.以上工作為本文圖像文本定位提供了新思路.

1.2 圖像內(nèi)嵌文本識別

不同于文本定位的粗略二分類任務(wù)，圖像文本識別任務(wù)需要進(jìn)行更精確的分類.2016年牛津大學(xué)視覺幾何組團(tuán)隊發(fā)表文獻(xiàn)[10]，使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)率先在場景文本識別領(lǐng)域取得領(lǐng)先地位.2017年文獻(xiàn)[11]提出了基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(convolutional recurrent neural network, CRNN)的文本檢測框架，使用CNN提取圖像特征，使用雙向長短時記憶神經(jīng)網(wǎng)絡(luò)(bidirectional long short-term memory, BLSTM)提取序列信息，通過對特征編碼輸出預(yù)測結(jié)果，是2017年文本檢測結(jié)果最好的端到端模型之一.2018年眾多研究者對已有模型的改進(jìn)集中在應(yīng)對任意方向排列的文本檢測上，文獻(xiàn)[12]提出了快速定向的文本識別系統(tǒng)(fast oriented text spotting, FOTS)，文獻(xiàn)[13]將“Textboxes”擴(kuò)展成為“Textboxes++”以應(yīng)對任意方向的文本區(qū)域.綜上，目前基于深度學(xué)習(xí)的文本字符識別方法通用模式是使用CNN獲取圖像特征，使用LSTM獲取序列特征，最后使用時序分類算法(connectionist temporal classification, CTC)輸出識別結(jié)果.

1.3 謠言檢測方法

已有的謠言檢測工作從3個方面設(shè)計謠言檢測模型：1)以文本內(nèi)容和用戶信息為主要特征的基于特征構(gòu)造檢測模型[1-3]；2)以傳播路徑和傳播節(jié)點為主要特征的基于傳播結(jié)構(gòu)檢測模型;3)以文本信息隨時間變化的統(tǒng)計特征為主要特征的基于時間序列檢測模型[4-5].特征構(gòu)造檢測模型是謠言檢測工作中應(yīng)用最為廣泛的典型模型.文獻(xiàn)[1]提出了一種通過提取博文內(nèi)容標(biāo)簽信息、外鏈信息和互相提及信息為主要特征的Twitter上誤導(dǎo)性博文檢測算法.文獻(xiàn)[2]通過組合內(nèi)容文本流行度、文本情感極性、用戶影響力和博文轉(zhuǎn)發(fā)率等特征構(gòu)造微博謠言文本深層次特征來檢測謠言.文獻(xiàn)[3]基于博文文本內(nèi)容的關(guān)鍵詞匯來建立謠言檢測模型.除特征構(gòu)造檢測模型之外，文獻(xiàn)[4]認(rèn)為謠言文本和非謠言文本在時間序列上變化的模式不同，并利用統(tǒng)計特征及特征在檢測區(qū)間上的斜率變化等因素組成特征向量來檢測謠言.文獻(xiàn)[5]認(rèn)為Twitter上謠言傳播關(guān)鍵結(jié)構(gòu)和語言差異的波動具有周期性，以傳播時間、傳播結(jié)構(gòu)和語言特征3方面因素作為特征考量，建立周期時間序列模型用以識別謠言.

除了謠言文本信息，圖像特征在謠言檢測中起著非常重要的作用[14],文獻(xiàn)[15]嘗試提取圖像的基本特征進(jìn)行謠言檢測，但是，手工提取的特征難以表示圖像內(nèi)信息的復(fù)雜分布.

與傳統(tǒng)的特征工程相比，深度神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于學(xué)習(xí)圖像和文本的特征表示，并成功應(yīng)用于各種工作，包括圖像字幕[16-17]、多模態(tài)問題解答[18]和謠言檢測[19-20]等.具體來說，卷積神經(jīng)網(wǎng)絡(luò)(CNN)廣泛應(yīng)用于圖像的特征表示中[14-15]，而遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)在編碼文本信息中發(fā)揮強(qiáng)大的作用[21-22].文獻(xiàn)[23]提出利用自編碼器模型進(jìn)行多模態(tài)網(wǎng)絡(luò)謠言檢測.文獻(xiàn)[19]提出利用注意力模型來聯(lián)合多模態(tài)特征進(jìn)行謠言檢測.然而，較少有工作考慮到圖像中內(nèi)嵌文本的特征提取問題，以及如何更加精確地聯(lián)合文本與圖像的多模態(tài)特征來進(jìn)行謠言檢測.

2 多模態(tài)網(wǎng)絡(luò)謠言檢測模型MSRD

多模態(tài)網(wǎng)絡(luò)謠言檢測模型MSRD的總體框架示意圖如圖2所示:

Fig. 2 Overall framework of the multimodal web rumor detection method

2.1 圖像文本定位檢測

謠言消息中的圖像文本定位檢測與自然場景圖像中的文本定位檢測工作是類似的，本文在文獻(xiàn)[9]工作的基礎(chǔ)上，提出了一種基于圖像語義分割思想的文本定位檢測方法，通過密集連接卷積網(wǎng)絡(luò)(densely connected convolutional networks, DenseNet)DenseNet-121提取特征，在不同的層級上抽取特征圖(feature map)，并且在特定尺度上引入空洞空間金字塔池化層(atrous spatial pyramid pooling, ASPP)擴(kuò)大模型的感受野，然后從網(wǎng)絡(luò)的頂部向下合并特征圖，最終在輸出層輸出當(dāng)前像素對應(yīng)于原圖中像素為文字的概率值.如果當(dāng)前像素屬于文字區(qū)域，輸出該像素相對文本框4個頂點的坐標(biāo)偏移值，最后通過非極大值抑制(non-maximum suppression)算法得到最終的文本框.圖3表示了本文所用的圖像文本定位檢測算法結(jié)構(gòu)及流程圖.

Fig. 3 Image text positioning algorithm structure and flow

2.1.1 空洞空間金字塔池化層的實現(xiàn)

ASPP通過并行采用卷積核皆為3×3大小的同尺度、不同間距的多個濾波器來感知多尺度的視野，從而提取Feature Map上的多尺度特征.然后，將這些并行提取的特征通過使用concat操作串聯(lián)起來，再通過1×1的卷積操作融合成指定深度Feature Map輸出，這樣就實現(xiàn)了在不改變輸入數(shù)據(jù)體的尺寸規(guī)模的前提下，擴(kuò)大了該網(wǎng)絡(luò)層的感受野.

2.1.2 特征圖合并策略

謠言消息中圖像的文本區(qū)域大小不固定，需要同時兼顧神經(jīng)網(wǎng)絡(luò)模型的高層特征和低層特征，才能同時對不同尺寸的文本區(qū)域?qū)崿F(xiàn)定位，因此需要將不同層級的Feature Map進(jìn)行融合.

由圖3可知，經(jīng)過ASPP層輸出的Feature Map尺寸比為1∶16，由于在ASPP層已經(jīng)經(jīng)過concat操作，所以先使用1×1的卷積將Feature Map深度降維至128，再使用3×3的卷積融合該層Feature Map中的特征.

卷積操作完成后使用反池化操作，使該層Feature Map的寬度和高度值與Transition Layer(1)的輸出數(shù)據(jù)體相匹配，并對這二者使用concat操作得到尺寸比為1∶8的Feature Map.

在尺寸比為1∶8的Feature Map中，先使用1×1的卷積將深度降維至64，再使用3×3的卷積融合特征后，經(jīng)過反池化操作并與主干網(wǎng)絡(luò)第一個Pooling層的輸出concat串聯(lián)起來得到1∶4的Feature Map.

最后將1∶4的Feature Map使用1×1的卷積將深度降維至32，并使用3×3的卷積得到深度為32的最終輸出層.最終輸出層的尺寸與原圖像的尺寸比也為1∶4.

2.2 文本信息識別

本節(jié)進(jìn)行的文本識別任務(wù)在2.1節(jié)圖像文字定位的基礎(chǔ)上完成，即通過上節(jié)對圖像中文字區(qū)域的檢測，截取原圖像中含有文本的區(qū)域，輸入給本節(jié)提出的文本識別模型.與其他的基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的文本識別模型不同，由于已經(jīng)完成了文本區(qū)域的定位檢測工作，因此只需關(guān)注識別任務(wù).由于截取的文本區(qū)域中文本信息為主體部分，本文認(rèn)為密集連接網(wǎng)絡(luò)由于各隱藏層密集互聯(lián)的特性，能夠較好地完成全局特征的感知，不需要額外使用循環(huán)神經(jīng)網(wǎng)絡(luò)以兼顧文字序列前后信息.因此設(shè)計了本節(jié)基于密集連接網(wǎng)絡(luò)的文本識別模型.

模型如圖4所示.本節(jié)使用精簡的密集連接網(wǎng)絡(luò)，在DenseNet-121的基礎(chǔ)上，去掉了第4個稠密塊(dense block)以及最后的全局平均池化層，目的是盡可能保留中文漢字在垂直方向的筆畫信息.由全連接層輸出預(yù)測結(jié)果，將文本的識別任務(wù)視作分類任務(wù)，其類別數(shù)目等于預(yù)先構(gòu)建的字典中字符數(shù)目.字典中字符經(jīng)過排列預(yù)先編號，全連接層輸出文字所屬各類別的概率，通過softmax激活函數(shù)歸一化后輸出概率最大的類別編號，查閱字典即可得到預(yù)測的文本信息.由于CTC算法引入了空白標(biāo)簽，可以解決沒有事先對齊的序列化數(shù)據(jù)訓(xùn)練問題，因此可加在密集連接網(wǎng)絡(luò)后，對不定長的文本區(qū)域進(jìn)行預(yù)測識別.

Fig. 4 Text recognition model

2.3 LSTM網(wǎng)絡(luò)

本文使用帶有長短期記憶(long short-term memory, LSTM)單元的RNN來學(xué)習(xí)提出的模型中消息文本和圖像中文本的聯(lián)合表示.RNN是一種前饋神經(jīng)網(wǎng)絡(luò)，可用于對長度可變的順序信息進(jìn)行建模.給定輸入序列(x1,x2,…,xM),基本的RNN模型更新隱藏狀態(tài)(h1,h2,…,hM)并生成輸出向量(y1,y2,…,yM).M取決于輸入的長度.當(dāng)前的隱藏狀態(tài)是使用循環(huán)單元計算的，循環(huán)單元采用最后的隱藏狀態(tài)和當(dāng)前的輸入以產(chǎn)生當(dāng)前的隱藏狀態(tài).

為了在學(xué)習(xí)長距離時間相關(guān)性時處理梯度的消失或爆炸問題[24-25]，LSTM通過將信息長時間存儲在精心設(shè)計的存儲單元中來擴(kuò)展基本RNN.具體而言，LSTM中的讀寫存儲單元c由一組sigmoid門控制：輸入門i、輸出門o和遺忘門f.對于每個時間步長m，LSTM單元從當(dāng)前輸入xm，先前的隱藏狀態(tài)hm和先前的存儲單元cm接收輸入.這些門的更新為[26-27]:

im=σ(Wxixm+Whihm-1+bi),

(1)

fm=σ(Wxfxm+Whfhm-1+bf),

(2)

om=σ(Wxoxm+Whohm-1+bo),

(3)

gm=φ(Wxcxm+Whchm-1+bc),

(4)

cm=fm⊙cm-1+im⊙gm,

(5)

hm=om⊙φ(ct),

(6)

其中,W*是對應(yīng)門的權(quán)重矩陣，b*是偏差項，可以從網(wǎng)絡(luò)中獲知.σ是sigmoid激活函數(shù)，σ(x)=1(1+exp(-x))；φ是雙曲正切函數(shù)，φ(x)=(exp(x)-exp(-x))(exp(x)+exp(-x)).⊙表示2個向量之間的逐元素乘法. 輸入門i決定將新存儲器添加到存儲單元的程度.遺忘門f確定遺忘現(xiàn)有存儲器的程度.通過忘記一部分現(xiàn)有存儲器并添加新的存儲器g來更新存儲器單元c.

2.4 消息文本和圖像中文本的聯(lián)合表示

文本內(nèi)容是消息中包含單詞的集合：T={T1,T2,…,Tn}(n是文本中單詞的數(shù)量).文本中的每個單詞Tj∈T都表示為單詞嵌入向量.每個單詞的嵌入向量都是通過Word Embedding獲得的，該網(wǎng)絡(luò)在給定的數(shù)據(jù)集上進(jìn)行了無監(jiān)督預(yù)訓(xùn)練.

傳統(tǒng)的多模態(tài)謠言檢測往往只單獨提取文本與圖像特征，忽略了圖像中的內(nèi)嵌文本，本文認(rèn)為該文本對謠言檢測有一定的作用，因此本文通過2.1～2.2節(jié)中提到的圖像文本定位與識別方法將圖像中內(nèi)嵌文本提取出來，同樣采用Word Embedding形成初始的圖像文本表示RE=(p1,p2,…,pk)T(k是圖像文本中單詞的數(shù)量).圖像文本特征RE通過圖2所示的ET-FC全連接層轉(zhuǎn)換為與配文文本向量相同維度的表示形式:

(7)

2.5 圖像特征表示

視覺子網(wǎng)絡(luò)(圖2的上部分支)采用圖像作為輸入，并構(gòu)造視覺神經(jīng)元提取圖像特征.該網(wǎng)絡(luò)前面部分采用和VGG-19網(wǎng)絡(luò)相同的結(jié)構(gòu)，并添加2個全連接層，將每個圖像表示為RV=(v1,v2,…,v32)T，共同訓(xùn)練整個謠言檢測網(wǎng)絡(luò)，挖掘消息圖像中的視覺信息.其中視覺子網(wǎng)絡(luò)VGG-19可以首先通過ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，但是，在與LSTM子網(wǎng)絡(luò)的聯(lián)合訓(xùn)練過程中，凍結(jié)VGG網(wǎng)絡(luò)的參數(shù)，只有最后的2個完全連接層的參數(shù)會更新，以提高訓(xùn)練效率，防止參數(shù)爆炸.

RV=Wvf2ψ(Wvf1RVp),

(8)

其中，RVp是從預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)得到的圖像特征表示，Wvf1是具有ReLU激活函數(shù)的第1個完全連接層中的權(quán)重，Wvf2是具有softmax功能的第2個完全連接層中的權(quán)重，ψ表示ReLU激活函數(shù).

在模型中直接使用圖像特征與文本-圖像文本特征進(jìn)行訓(xùn)練的問題是：其中一種特征表示可能會壓制另一種特征表示，這樣便無法發(fā)揮多模態(tài)的融合作用，因此，在下面的部分，介紹一種特征的共享表示，以更好地融合文本與圖像特征的聯(lián)合表示.

2.6 共享表示

將聯(lián)合文本特征表示RTE和圖像特征表示RV串接起來，通過圖2中的完全連接層Latent-FC，從中獲得2個向量μ和σ，它們可以分別視為共享表示的分布的均值和方差，從高斯分布中采樣隨機(jī)變量ε.用Rm表示最終重新參數(shù)化的多模態(tài)特征：

Rm=μ+σ°ε.

(9)

本文將整個特征提取網(wǎng)絡(luò)表示為Gfr(m，θfr)，其中θfr表示特征提取網(wǎng)絡(luò)中所有學(xué)習(xí)的參數(shù)，用m表示消息集合中一條待判別的消息，則:

Rm=Gfr(m，θfr).

(10)

2.7 謠言檢測器

謠言檢測器將圖像與文本特征的共享表示特征Rm作為輸入，用來判別消息是否為謠言.它由具有激活函數(shù)的多個完全連接層組成，我們將謠言檢測器表示為Grd(Rm,θrd)，其中θrd表示謠言檢測器中所有的參數(shù)，謠言檢測器的輸出是該消息是謠言的概率.

(11)

(12)

(13)

3 實 驗

本節(jié)，首先介紹了實驗中所用到的2種數(shù)據(jù)集;然后介紹了實驗中網(wǎng)絡(luò)模型的參數(shù)設(shè)置;最后，為了驗證MSRD方法可行性和先進(jìn)性，設(shè)計的實驗包括：單文本檢測方法Textual、單圖像檢測方法Visual、圖像加圖像中文字檢測方法TVisual和當(dāng)前的謠言檢測方法對比的實驗.

3.1 數(shù)據(jù)集

鑒于結(jié)構(gòu)化多媒體數(shù)據(jù)的稀疏可用性，本文利用2個標(biāo)準(zhǔn)數(shù)據(jù)集來評估我們用于謠言檢測的網(wǎng)絡(luò)模型MSRD.這2個數(shù)據(jù)集包括從Twitter和微博收集的真實社交媒體信息.這些是僅有的具有成對的圖像和文本信息的數(shù)據(jù)集.

3.1.1 Twitter數(shù)據(jù)集

作為MediaEval[21]的一部分，該數(shù)據(jù)集分為2部分：開發(fā)集(9 000條謠言tweet，6 000條真實消息tweet)和測試集(2 000條tweet).考慮到本文只關(guān)心圖像和文本信息，本文會過濾掉所有帶有視頻的推文.本文將開發(fā)集用于訓(xùn)練，將測試集用于測試，以保持與基準(zhǔn)相同的數(shù)據(jù)拆分方案.

3.1.2 微博數(shù)據(jù)集

在文獻(xiàn)[19]中用于謠言檢測的微博數(shù)據(jù)集包括從中國權(quán)威新聞來源新華社和中國網(wǎng)站微博收集的數(shù)據(jù).數(shù)據(jù)集的使用及預(yù)處理類似于文獻(xiàn)[19]的方法進(jìn)行.初步步驟包括刪除重復(fù)圖像和低質(zhì)量圖像，以確保整個數(shù)據(jù)集的均勻性.然后，將數(shù)據(jù)集分成訓(xùn)練集和測試集，如Jin等人所述，數(shù)據(jù)比例約為4∶1[19].

3.2 實驗設(shè)置

對于文本特征，采用基于神經(jīng)網(wǎng)絡(luò)的分布式表示[29].對于這2個數(shù)據(jù)集，在標(biāo)準(zhǔn)文本預(yù)處理之后，使用默認(rèn)參數(shù)設(shè)置，以無監(jiān)督的方式對整個數(shù)據(jù)集進(jìn)行Word2Vec模型的預(yù)訓(xùn)練.將數(shù)據(jù)集中的每個單詞轉(zhuǎn)化為32維嵌入向量.選擇詞嵌入表示而不是獨熱編碼表示法的原因是，當(dāng)獨熱編碼表示法中的詞匯量太大時，文本不足會導(dǎo)致文本特征差.

對于圖像特征，使用在ImageNet集上預(yù)訓(xùn)練的19層VGGNet的第2層到最后一層的輸出[30].從VGG-19獲得的特征維度為4 096.凍結(jié)VGG網(wǎng)絡(luò)的權(quán)重，不再進(jìn)行調(diào)整.

文本特征提取子網(wǎng)絡(luò)由LSTM組成，隱藏層的尺寸大小為32，使用的完全連接層的大小為32.圖像特征提取子網(wǎng)絡(luò)在VGG網(wǎng)絡(luò)后由大小為1 024和32的2個完全連接層組成.最終的謠言檢測器有2個完全連接層，大小分別為64和32.

在整個網(wǎng)絡(luò)的訓(xùn)練中，我們使用128個實例的批處理大小.該模型訓(xùn)練了300個epoch，模型學(xué)習(xí)率為10-5，并使用了早停法.為了防止過度擬合，本文在模型的權(quán)重上使用L2正則.為了模型尋找最優(yōu)參數(shù)，使用Adam[31]作為優(yōu)化器.

3.3 有效性和先進(jìn)性實驗

為了驗證本文所提出的多模態(tài)謠言檢測模型MSRD的性能，本文在比對實驗中選擇了單文本檢測方法Textual、單圖像檢測方法Visual、圖像加圖像中文字檢測方法TVisual和3種較新的謠言檢測方法.其中，Textual，Visual和TVisual這3種方法分別為本文所提出網(wǎng)絡(luò)模型MSRD的子網(wǎng)絡(luò)，結(jié)構(gòu)不再贅述.下面介紹3種較新的用于對比實驗的謠言檢測方法.

1) VQA[18].VQA模型旨在回答有關(guān)給定圖像的問題.本文將最初為多分類任務(wù)設(shè)計的Visual QA模型適應(yīng)了我們的二分類任務(wù).本文通過用二分類層替換最終的多分類層來完成，使用一層LSTM，隱藏單元數(shù)設(shè)置為32.

2) att-RNN[19].att-RNN使用注意力機(jī)制來組合文本、視覺和社交上下文特征.在此端到端網(wǎng)絡(luò)中，圖像特征被合并到使用LSTM網(wǎng)絡(luò)獲得的文本和社交環(huán)境的聯(lián)合表示中.LSTM網(wǎng)絡(luò)輸出后，注意力模型是融合視覺特征必不可少的部分.為了公平比較，在本文的實驗中刪除了處理社交環(huán)境信息的部分.

3) EANN[20].事件對抗神經(jīng)網(wǎng)絡(luò)(EANN)由3個主要組件組成：多模式特征提取器、假新聞檢測器和事件鑒別器.多模式特征提取器從帖子中提取文本和視覺特征.它與假新聞檢測器一起使用，事件鑒別器負(fù)責(zé)刪除任何特定于事件的功能.還可以僅使用2個組件(多模式特征提取器和假新聞檢測器)來檢測假新聞.因此，為了公平比較，在實驗中使用EANN的變體，其中不包含事件鑒別器.

4 實驗結(jié)果與分析

表1匯總了2個數(shù)據(jù)集的基線以及MSRD方法的結(jié)果.可以清楚地看到，MSRD的性能要優(yōu)于基線方法.

Table1 Comparison of Experimental Results Between MSRD Model and Other Methods

在Twitter數(shù)據(jù)集上，單獨檢測圖像判斷謠言效果要優(yōu)于單獨檢測文本，而檢測圖像及圖像中的文本的效果略高于單獨檢測圖像，這說明挖掘圖像中文本信息是具有一定意義的，這可能會給整體的謠言檢測器的準(zhǔn)確率帶來提升.在已有多模態(tài)謠言檢測模型中，att-RNN模型優(yōu)于EANN，其表明注意力機(jī)制可以通過考慮與文本相關(guān)的圖像部分來幫助改善模型的性能.本文提出的MSRD模型更好地融合了文本與圖像特征，使謠言檢測結(jié)果優(yōu)于基線模型，將準(zhǔn)確性從66.4%提高到68.5%，并將F1分?jǐn)?shù)從67.6%增加到67.8%.

在微博數(shù)據(jù)集上，由表1的結(jié)果中可以看到相似的趨勢.多模態(tài)模型EANN和att-RNN的性能要優(yōu)于單模態(tài)模型和VQA.MSRD模型的性能要優(yōu)于所有基準(zhǔn)，并且將準(zhǔn)確性從78.2%提高到79.4%,并且與以前的最佳基準(zhǔn)相比，F(xiàn)1分?jǐn)?shù)從75.6%提高到77.9%.這驗證了MSRD方法在檢測社交媒體上的多模態(tài)網(wǎng)絡(luò)謠言方面的有效性、先進(jìn)性和魯棒性.

5 總結(jié)與展望

本文提出了一種融合文本信息、圖像信息以及圖像中的文本信息的謠言檢測模型MSRD，該模型采用密集連接網(wǎng)絡(luò)和空洞空間金字塔池化方法對圖像文本進(jìn)行定位，采用共享特征方法將文本特征與圖像特征進(jìn)行了較好地融合表示用于謠言檢測.在Twitter和微博兩大數(shù)據(jù)集上進(jìn)行了實驗驗證，實驗結(jié)果表明：挖掘圖像中的文本信息對謠言檢測具有一定的作用，MSRD模型要優(yōu)于基線模型.在未來的研究中，我們應(yīng)考慮謠言信息傳播過程中的機(jī)制以及用戶特征信息等問題.