基于多任務(wù)多模態(tài)學(xué)習(xí)的謠言檢測(cè)框架

蔣方婷 梁剛

摘 要： 謠言檢測(cè)是對(duì)社交網(wǎng)絡(luò)上傳播的信息內(nèi)容進(jìn)行真實(shí)性鑒別的任務(wù). 一些研究表明融合多模態(tài)信息有助于謠言檢測(cè)，而現(xiàn)有多模謠言檢測(cè)方法具有以下問(wèn)題：（1）只是將處于不同表示空間的單模態(tài)特征簡(jiǎn)單拼接形成多模態(tài)表示，沒(méi)有考慮多模態(tài)之間的關(guān)系，難以提高模型的預(yù)測(cè)性能和泛化能力.（2）缺乏對(duì)社交網(wǎng)絡(luò)數(shù)據(jù)組成結(jié)構(gòu)的細(xì)致考慮，只能處理由文本-圖像對(duì)的社交網(wǎng)絡(luò)數(shù)據(jù)，無(wú)法處理由多幅圖像組成的數(shù)據(jù)，且當(dāng)其中一種模態(tài)（圖像或文本）缺失時(shí)模型無(wú)法進(jìn)行預(yù)測(cè). 針對(duì)上述問(wèn)題，本文提出了一種多任務(wù)多模態(tài)謠言檢測(cè)框架（MMRDF），該框架由3 個(gè)子網(wǎng)絡(luò)組成：文本子網(wǎng)絡(luò)、視覺(jué)子網(wǎng)絡(luò)和融合子網(wǎng)絡(luò)，通過(guò)從單模態(tài)數(shù)據(jù)中提取淺層至深層的單模特征表示，在不同的子空間中產(chǎn)生特征圖，豐富模態(tài)內(nèi)特征，并通過(guò)復(fù)合卷積結(jié)構(gòu)融合生成聯(lián)合多模態(tài)表示，以獲得更好的預(yù)測(cè)性能. 同時(shí)該框架可以靈活地處理所有類(lèi)型的推文（純文本、純圖像、文本-圖像對(duì)和多圖像文本），并且沒(méi)有引入造成額外時(shí)間延遲的傳播結(jié)構(gòu)、響應(yīng)內(nèi)容等數(shù)據(jù)作為輸入，可以在推文發(fā)布后立即應(yīng)用于謠言檢測(cè)，減少辟謠的時(shí)間延遲. 在兩個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提框架明顯優(yōu)于目前最先進(jìn)的方法，準(zhǔn)確率上的提升分別為7. 3% 和2. 9%，并通過(guò)消融實(shí)驗(yàn)證明了各個(gè)模塊的有效性.

關(guān)鍵詞： 謠言檢測(cè)； 多模態(tài)分析； 表示學(xué)習(xí)； 多任務(wù)學(xué)習(xí)； 神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào)： TP393 文獻(xiàn)標(biāo)志碼： A DOI： 10. 19907/j. 0490-6756. 2024. 023004