基于多圖學(xué)習(xí)的情感圖像檢索研究

逯　波，段曉東，王存睿，2，李澤東，2

(1.大連民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116605；2.東北大學(xué) 系統(tǒng)科學(xué)研究所，沈陽 110819)

?

基于多圖學(xué)習(xí)的情感圖像檢索研究

逯波1，段曉東1，王存睿1，2，李澤東1，2

(1.大連民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116605；2.東北大學(xué) 系統(tǒng)科學(xué)研究所，沈陽 110819)

構(gòu)建了一個(gè)統(tǒng)一的多圖學(xué)習(xí)框架，來驗(yàn)證在不同類別情感圖像中，使用不同級(jí)別特征在情感圖像檢索上的性能表現(xiàn)。首先，提取每個(gè)圖像在不同層級(jí)上的共有特征，其中，從元素級(jí)別提取的一般特征作為底層特征；可解釋的屬性特征作為中層特征；而情感圖像的語義感念描述作為高層特征。其次，為每種類型的特征構(gòu)建一個(gè)圖模型來驗(yàn)證情感圖像檢索的性能。最后，將多個(gè)圖模型合并在一個(gè)規(guī)范化的框架內(nèi)來學(xué)習(xí)每個(gè)圖模型的優(yōu)化權(quán)重。通過在5個(gè)不同數(shù)據(jù)集上得到的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性。

情感圖像檢索；圖像情感；多圖學(xué)習(xí)

隨著社交網(wǎng)絡(luò)的快速發(fā)展，人們傾向于通過在線網(wǎng)絡(luò)上傳文本和圖像來表達(dá)和分享他們的情感和意見。因此，在線網(wǎng)絡(luò)上的具有情感語義的圖像和文本數(shù)據(jù)量呈指數(shù)級(jí)增長。針對(duì)情感圖像進(jìn)行有效地分析和檢索是在線社交網(wǎng)絡(luò)研究領(lǐng)域中一個(gè)重要的分支。目前，由于客觀的評(píng)價(jià)機(jī)制和“情感鴻溝”等問題的存在，使得對(duì)圖像中的情感進(jìn)行有效分析還處于起步階段[1]。最近幾年的研究主要集中在情感圖像的分類任務(wù)，即找到能夠更好的區(qū)分情感的有效特征。通常，圖像中的情感能夠通過不同層級(jí)的特征進(jìn)行表達(dá)，例如，具有抽象含義的情感圖像可以通過可視化底層特征來表達(dá)；具有具體含義的情感圖像可以通過高層語義特征來表達(dá)[2]。

本文的研究內(nèi)容主要關(guān)注于情感圖像檢索以及利用不同級(jí)別的特征來分類不同類型情感圖片的性能表現(xiàn)。首先，從每個(gè)情感圖片中提取3種不同級(jí)別的特征和2種不同的泛性特征。其次，將提取到的特征數(shù)據(jù)合并到一個(gè)統(tǒng)一的多圖學(xué)習(xí)框架中，用來執(zhí)行情感圖像的檢索任務(wù)。本文提出方法的主要框架如圖1。

圖1　情感圖像檢索框架

1　不同層級(jí)的情感特征提取

1.1底層特征

對(duì)情感圖像進(jìn)行底層特征的提取，通常會(huì)遇到可解釋性特征化的問題。在底層特征提取環(huán)節(jié)，選擇使用方向梯度直方圖HOG 2*2(Histogram of Oriented Gradient,HOG)[3]，以及幾何上下文顏色直方圖作為泛性特征。同時(shí)從元素層級(jí)抽取了特定特征，包括情感圖像的顏色和紋理特征。其中底層顏色特征包括平均飽和度、亮度、色彩向量等；底層紋理特征包括Tamura紋理、小波紋理和基于紋理的灰度共生矩陣[4]。

1.2中層特征

情感圖像的中層特征通常要比底層特征具有更多的語義化和解釋性的情感含義。針對(duì)中層特征中泛性特征的提取，選擇用于描述場景的5種不同類型的屬性：(1)物質(zhì)屬性；(2)表層屬性；(3)功能可見屬性；(4)空間屬性；(5)對(duì)象屬性。基于階梯檢測準(zhǔn)則，共選取了102個(gè)屬性，通過使用SUN數(shù)據(jù)庫[5]中14 340張圖像的4種泛性底層特征來訓(xùn)練屬性分類器，最終得到一個(gè)102維的二值向量作為屬性特征(即泛性特征)。

1.3高層特征

高層特征通常是包含在情感圖像中的語義內(nèi)容。通過合理的組織語義內(nèi)容可以容易的理解圖像所傳達(dá)的情感表達(dá)。這里選擇1 200個(gè)語義概念作為高層特征中的泛性特征，即1 200個(gè)形容詞-名詞對(duì)(adjective noun pairs, ANPs)。這些語義概念特征通過使用256維的顏色直方圖、53維的LBP描述符為輸入特征向量并訓(xùn)練語義概念檢測器得到。同時(shí)，在情感圖像中抽取8種不同的人臉表情(憤怒、輕蔑、厭惡、恐懼、高興、悲傷、驚喜、中性)作為特殊的高層語義特征，如果圖像中沒有檢測到人臉的出現(xiàn)則被標(biāo)記為中性表情。從而可以得到一個(gè)8維向量，每一維向量表示在圖像中與人臉表情相關(guān)聯(lián)的數(shù)量。

2　多圖學(xué)習(xí)框架

多圖學(xué)習(xí)[6]是單一圖模型學(xué)習(xí)的擴(kuò)展，同時(shí)被廣泛應(yīng)用在類別重排序的不同領(lǐng)域中。多圖學(xué)習(xí)框架中，針對(duì)每個(gè)構(gòu)建的圖模型，其頂點(diǎn)表示每一個(gè)情感圖像，邊表示情感圖像之間的相似度。

(1)

(2)

(3)

當(dāng)處理完每個(gè)種類的單一特征，多圖學(xué)習(xí)即可轉(zhuǎn)換單一圖模型學(xué)習(xí)過程，此時(shí)N=1,α=1，不需要再對(duì)參數(shù)α進(jìn)行優(yōu)化。可以直接將α=1代入式(2)中進(jìn)行計(jì)算。由于本文的目標(biāo)是根據(jù)查詢圖像，檢索出相似的情感圖像，因此，設(shè)置如果Yi=1，則圖像i為查詢圖像，否則Yi=0。

3　實(shí)驗(yàn)與分析

為了驗(yàn)證本文所提出的情感圖像檢索方法的有效性，我們?cè)诙鄠€(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。

3.1數(shù)據(jù)集

(1)IAPSa數(shù)據(jù)集：包括395張標(biāo)準(zhǔn)心理學(xué)領(lǐng)域的情感圖像。

(2)ArtPhoto數(shù)據(jù)集：包括從圖像共享網(wǎng)站上通過情感分類標(biāo)簽所標(biāo)識(shí)的806張藝術(shù)圖像。

(3)Abstract數(shù)據(jù)集：包括228張沒有任何上下文內(nèi)容的獨(dú)立抽象圖像。

以上三個(gè)數(shù)據(jù)集中的情感圖像被分類成8個(gè)具體的類別：憤怒、厭惡、恐懼、傷心、娛樂、驚嘆、滿足、興奮。

(4)GAPED數(shù)據(jù)集：包含了520張消極圖像、121張積極圖像和89張中性圖像。

(5)Tweet數(shù)據(jù)集：包含了從twitter網(wǎng)站上根據(jù)21個(gè)不同的類別標(biāo)簽獲取的470張積極圖像和133張消極圖像。

3.2評(píng)估準(zhǔn)則

(1)Nearest Neighbor Rate(NNr)：表示近鄰分類器的準(zhǔn)確率，即查詢圖像和具有相同情感描述的檢索結(jié)果之間的比率。

(5)Discounted Cumulative Gain(DCG)：度量了返回的相關(guān)圖像結(jié)果中不同位置和區(qū)域的重要性。

(6)Average Normalized modified Retrieval Rank(ANMRR)：是一個(gè)基于度量的排序準(zhǔn)則，評(píng)估了在得到的檢索圖像結(jié)果中，與查詢圖像相關(guān)的圖像結(jié)果的排序序列。

上述6種不同的評(píng)估準(zhǔn)則的度量范圍為0到1，其中度量值越高表示前5種的評(píng)估準(zhǔn)則的性能越好，度量值越低表示最后一種評(píng)估準(zhǔn)則ANMRR的性能越好。

3.3實(shí)驗(yàn)結(jié)果

數(shù)據(jù)集中每個(gè)圖像被選擇作為查詢圖像，同時(shí)度量每種方法的平均性能。不同方法的查準(zhǔn)率-查全率曲線如圖2，其中‘LowGen’‘LowArt’‘MidAtt’‘MidArt’‘HighANP’和‘HighExp’分別表示基于底層泛性特征、底層特定特征、中層泛性特征、中層特定特征、高層泛性特征及高層特定特征。同時(shí)Fusion表示本文所提出的多圖學(xué)習(xí)方法。其他評(píng)估準(zhǔn)則的性能對(duì)比如圖3。

圖2　基于不同數(shù)據(jù)集使用7種方法并進(jìn)行評(píng)估得到的平均性能對(duì)比

圖3　基于不同數(shù)據(jù)集使用7種方法并進(jìn)行評(píng)估得到的平均性能對(duì)比

根據(jù)圖2和圖3，可以觀察到：(1)針對(duì)多種類型的情感圖像使用三種層級(jí)的特征所得到的性能表現(xiàn)是不同的。盡管使用底層可視化特征在傳統(tǒng)的基于內(nèi)容的圖像檢索任務(wù)中有著很好的表現(xiàn)，但在情感圖像檢索中卻不是一種好的選擇；(2)通常，融合不同層級(jí)的特征所得到的結(jié)果比使用單一特征有著更好的性能表現(xiàn)，因?yàn)槎鄨D學(xué)習(xí)方法能夠利用不同層級(jí)特征之間的互補(bǔ)信息；(3)對(duì)于Abstract數(shù)據(jù)集，其特征由于缺少上下文關(guān)聯(lián)信息，幾乎沒有任何屬性、概念等信息的體現(xiàn)，因此在使用不同的評(píng)價(jià)標(biāo)準(zhǔn)時(shí)所得到的結(jié)果是最低的；(4)在IAPSa、GAPED和Tweet數(shù)據(jù)集中的情感圖像有著豐富的上下文關(guān)聯(lián)信息，更容易包含高層語義概念特征，因此在不同的評(píng)估標(biāo)準(zhǔn)下的性能表現(xiàn)是最好的。

4　結(jié)　語

本文提出一種基于不同層級(jí)特征的多圖學(xué)習(xí)框架進(jìn)行情感圖像檢索任務(wù)，其中不同層級(jí)特征包含了底層特征、中層特征和高層語義特征，同時(shí)將不同層級(jí)的特征細(xì)化為泛性特征和特定特征兩類，同時(shí)三種不同層級(jí)的特征被合并到多圖學(xué)習(xí)框架中。通過在5種不同的數(shù)據(jù)集上的執(zhí)行實(shí)驗(yàn)，所得到的結(jié)果展現(xiàn)了本文所提出的方法能夠有效檢索出與查詢圖像相似的情感圖像結(jié)果。

[1] HANJALIC A. Extracting moods from pictures and sounds: Towards truly personalized tv[J]. IEEE Signal Processing Magazine, 2006,23(2):90-100.

[2] ZHAO S. Exploring principles-of-art features for image emotion recognition[C]//Proceedings of ACM Multimedia.New York:Publicatico, 2014.

[3] PATTERSON G,HAYS J.Sun attribute database:Discovering, annotating, and recognizing scene attributes[C]//Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Computer Society,2012.

[4] MACHAJDIK J, HANBURY A. Affective image classification using features inspired by psychology and art theory[C]// Proceedings of ACM Multimedia.New York:Publicatico, 2010.

[5] XIAO J. Sun database: Large-scale scene recognition from abbey to zoo[C].Conference on Computer Vision and Pattern Recognition[S.l.]:IEEE Computer Society, 2010.

[6] WANG M, HUA X S, HONG R, et al. Unified video annotation via multi-graph learning[J]. IEEE TCSVT, 2009,19(5):733-746.

(責(zé)任編輯鄒永紅)

Affective Image Retrieval Based on Multi-graph Learning

LU Bo1, DUAN Xiao-dong1, WANG Cun-rui1，2， LI Ze-dong1，2

(1.School of Computer Science and Engineering, Dalian Minzu University, Dalian Liaoning 116605, China;2.Insitute of Systems Science, Northeastern University, Shenyang 110819, China)

In this paper, we concentrate on affective image retrieval and investigate the performance of different features on different kinds of images in a multi-graph learning framework. Firstly, we extract commonly used features of different levels for each image. Generic features and features derived from elements-of-art are extracted as low-level features. Attributes and interpretable principles-of-art based features are viewed as mid-level features, while semantic concepts described by adjective noun pairs and facial expressions are extracted as high-level features. Secondly, we construct single graph for each kind of features to test the retrieval performance. Finally, we combine the multiple graphs together into a regularization framework to learn the optimized weights of each graph to efficiently explore the complementation of different features. Extensive experiments are conducted on five datasets and the results demonstrate the effectiveness of the proposed method.

affective image retrieval; image emotion; multi-graph learning

2096-1383(2016)05-0509-04

2016-06-21；最后

2016-07-29

國家自然科學(xué)基金項(xiàng)目(61370146，61672132，61602085)；遼寧省科技計(jì)劃項(xiàng)目(2013405003)。

逯波(1982-)，男，內(nèi)蒙古赤峰人，講師，博士，主要從事多媒體檢索領(lǐng)域研究。

TP391

A