基于多模態(tài)融合的視頻語(yǔ)義概念檢測(cè)

摘 要：多個(gè)內(nèi)核的學(xué)習(xí)方法已被廣泛用于在視覺(jué)概念學(xué)習(xí)中。BoVW方法的目的是利用可視化數(shù)據(jù)表使解決問(wèn)題的時(shí)間效率降低，它是真正的人類(lèi)感知。在文章中，我們提出了一種新的多模態(tài)融合的視頻搜索方式，搜索方式是從一組不同的知識(shí)來(lái)源，探討一個(gè)大組預(yù)定義的語(yǔ)義概念的多模態(tài)融合的權(quán)重計(jì)算的一種新方法。實(shí)驗(yàn)結(jié)果驗(yàn)證了我們的方法，優(yōu)于現(xiàn)有的多模態(tài)融合方法。

關(guān)鍵詞：分量；視覺(jué)語(yǔ)義概念；多模態(tài)

1 引言

檢測(cè)大量的語(yǔ)義概念是被視為視頻語(yǔ)義搜索和檢索[1]中的中間步驟。視頻搜索引擎的挑戰(zhàn)之一是預(yù)測(cè)用戶的搜索意圖。因此，一個(gè)成功的搜索系統(tǒng)是自適應(yīng)搜索策略的多模態(tài)形式的制定，并最終返回一組相關(guān)的視頻剪輯。傳統(tǒng)的內(nèi)容是基于視頻檢索中提取低級(jí)別的視覺(jué)功能代表的視頻內(nèi)容，但存在巨大的語(yǔ)義差距之間的低級(jí)別的視覺(jué)特征和人們的高層次的視頻內(nèi)容的概念理解，所以人們更愿意在語(yǔ)義層面上的視頻內(nèi)容進(jìn)行檢索。目前，視覺(jué)詞袋的方法已經(jīng)成為主流的方法在視頻語(yǔ)義概念檢測(cè)費(fèi)其優(yōu)異的分類(lèi)功率。但是，也存在一些懸而未決的問(wèn)題，如BoVW通常使用BoVW生成可視的字典，這樣的屬性的BoVW將導(dǎo)致視覺(jué)詞同義的問(wèn)題許多視覺(jué)詞語(yǔ)的描述相同種特征點(diǎn)[2]。

在本文中，我們提出了一種新的融合策略，通過(guò)多方式查詢映射到大量的語(yǔ)義概念，并利用所選擇的概念，以確定融合權(quán)重。

2 目前存在的多模態(tài)的視頻搜索