基于Resnet-Bert 網(wǎng)絡(luò)模型的跨媒體檢索方法*

閆盈盈 曹 揚(yáng) 灑科進(jìn) 支 婷

（1.中電科大數(shù)據(jù)研究院有限公司 貴陽 550022）（2.提升政府治理能力大數(shù)據(jù)應(yīng)用技術(shù)國(guó)家工程研究中心 貴陽 550022）

1 引言

檢索是用戶獲取知識(shí)的常用方式之一，傳統(tǒng)的跨媒體檢索研究主要集中在以文搜圖和以圖搜文兩種媒體數(shù)據(jù)之間。事實(shí)上，隨著大數(shù)據(jù)時(shí)代的來臨，人們通過互聯(lián)網(wǎng)會(huì)產(chǎn)生大量的文本數(shù)據(jù)如新聞報(bào)道、微信聊天記錄、彈幕等，圖片數(shù)據(jù)如文章配圖、醫(yī)療影像等，視頻數(shù)據(jù)如抖音、快手等視頻媒體軟件數(shù)據(jù)、城市攝像頭數(shù)據(jù)等，同時(shí)伴隨著如微信語音、視頻配音等音頻信息。通常四種媒體常常會(huì)同時(shí)出現(xiàn)且語義具有相關(guān)性，但大多數(shù)跨媒體檢索技術(shù)研究?jī)H僅限于兩種媒體數(shù)據(jù)之間，顯然，這種搜索已經(jīng)不能夠滿足人們?nèi)找嬖黾拥臄?shù)據(jù)檢索需求。提供高效的跨媒體檢索方法滿足人們精準(zhǔn)且豐富的數(shù)據(jù)檢索需求，提升用戶的知識(shí)獲取效率和檢索體驗(yàn)是目前跨媒體檢索技術(shù)的研究熱點(diǎn)。

近年來，跨媒體檢索受到了廣泛的關(guān)注和研究，主要分為基于子空間學(xué)習(xí)的方法、基于哈希學(xué)習(xí)的方法以及基于深度學(xué)習(xí)的方法。基于子空間學(xué)習(xí)的方法中最常用的方法是典型相關(guān)分析（CCA）。Rasiwasia 等［1］將語義類別信息與CCA 進(jìn)行結(jié)合，Hardoon 等［2］提出了一種基于高斯分布核函數(shù)的KCCA方法，Andrew等［3］提出了DCCA方法，該方法是一種參數(shù)化方法，可以通過深度網(wǎng)絡(luò)靈活學(xué)習(xí)兩種相關(guān)類型媒體之間的非線性變換。Gong等［4］提出了Multi-view CCA 將高層語義作為第3 個(gè)視角來擴(kuò)展傳統(tǒng)CCA 方法，李廣麗等［5］利用Tag-rank 和典型性相關(guān)分析法（CCA）進(jìn)行在線商品的跨媒體檢索研究。……