基于彈幕情感分析的視頻片段推薦模型

鄧 揚,張晨曦,李江峰

同濟大學 軟件學院,上海 201804)(*通信作者電子郵箱lijf@tongji.edu.cn)

基于彈幕情感分析的視頻片段推薦模型

鄧 揚,張晨曦,李江峰*

同濟大學 軟件學院,上海 201804)(*通信作者電子郵箱lijf@tongji.edu.cn)

針對傳統的視頻情感分析方法計算效率較低且結果不易解釋等問題，提出一種基于彈幕文本的視頻片段情感識別算法，并以此作為視頻片段的推薦依據。首先對基于情感分析的視頻片段推薦問題提出形式化描述。其次,通過構建基于隱含狄利克雷分布(LDA)的彈幕詞語分類,評估彈幕詞語在視頻片段中的多維情感向量,同時,根據視頻片段之間的情感依賴關系推薦視頻的情感片段。所提方法的推薦準確度比基于詞頻-逆文檔頻率(TF-IDF)的推薦算法提高了28.9%,相對于傳統LDA模型提高了43.8%。實驗結果表明所提模型可有效應用于信息繁雜的不規(guī)則文本情感分析。

視頻片段推薦;彈幕情感;主題模型;情感分析;情感向量

0 引言

隨著互聯網的迅速普及,多媒體處理技術、網絡傳輸、視頻數據處理等相關技術快速發(fā)展,來自不同領域的視頻數據正在以驚人的速度增長。例如YouTube,其每個月的視頻播放總次數達到了46.7億次,另外一個專業(yè)視頻網站Hulu也有超過20萬個高質量的視頻,其月瀏覽次數也維持在9億。相對于觀看一部完整的視頻,有些時候用戶更愿意觀看其中一些視頻片段。例如一段幽默電影片段的集錦,或者振奮人心的足球進球集錦;用戶甚至希望可以根據之前看過的視頻,搜索與之情感相似的其他視頻片段。視頻里所蘊含的情感通常是多種情感交織的混合情感,所以基于情感的視頻片段推薦是一個具有挑戰(zhàn)性的研究問題。

近幾年隨著新媒體技術的發(fā)展,一種新類型的視頻——彈幕視頻在世界范圍內變得愈來愈流行,即用戶可以在觀看網絡視頻中發(fā)表自己的實時評論,并與其他用戶產生共鳴或者互動。在用戶所發(fā)的彈幕中,往往包含著與視頻當前片段的情感相吻合的文字,這對展開進一步的研究起到很好的幫助作用。作為一種新型的消息傳遞方式,彈幕書寫與傳統短文本存在很大區(qū)別,主要表現在兩個方面:1)文本更簡短隨意。多數評論者選擇用短語、短句和符號來表示內心活動。2)內容口語化、符號化。用戶往往通過當下流行的熱門語來表達自己當前的情感。

目前,有兩種基于視頻彈幕數據的視頻分析技術可以對該問題起到一定借鑒作用。其中，基于彈幕數據的視頻片段自動標簽技術[1-2]提供了一種提取視頻片段中彈幕的關鍵字給這段片段打標簽的技術;基于彈幕的視頻精彩鏡頭的檢測方法[3]主要根據彈幕內容以及數量的變化曲線分析視頻中的精彩瞬間。這兩種基于內容的分析方法往往難以刻畫出視頻片段的情感趨勢,原因有如下兩點:其一,情感鮮明的視頻片段不能等同于精彩片段,精彩片段往往出現在彈幕評論密集的區(qū)域,而這種判斷模式并不適用于視頻情感檢測;其次,通過彈幕數據提取的文字標簽通常來源于彈幕中的關鍵字和高頻詞,而這些詞的所蘊含的情感可能是不易確定的,所以通過標簽信息來指代視頻片段的情感并不準確。

據調查,目前國內外基于彈幕數據開展的研究工作并不多[1-6]。針對上述提出的問題,本文提出了一種基于情感分析的視頻片段推薦模型,利用彈幕數據分析各個視頻片段中用戶的情感傾向和交互情況,計算片段的情感以及片段之間的情感相似度,并以此為片段推薦的依據。為檢測視頻片段的情感,本文設計了一種基于文本主題模型的視頻彈幕情感識別方法。首先依據主題模型對彈幕中的詞進行主題分類;其次，基于每個詞的主題分布和情感詞典提出動態(tài)評估詞語的情感向量的度量算法;最后,通過計算每個視頻片段中的每個詞的情感向量得到每個片段的情感向量。此外,針對如何評估兩個視頻片段的情感相似度,本文采用一種基于“全局+局部”的上下文關聯情感相似度計算方法,并通過情感相似度分數來推薦視頻片段。

1 相關工作

1.1 針對中文的情感分析研究

中文情感識別技術主要分為兩種:監(jiān)督式學習方法和組合方法。監(jiān)督式學習方法中,文獻[7]提出了基于條件隨機場(Conditional Random Field,CRF)的冗余情感特征的概念,并對情感分類。文獻[8]基于支持向量機(Support Vector Machine,SVM)對長文本中的主觀性文字和客觀性文字進行分類。組合方法中,文獻[9]中研究了四種不同分類方法在中文情感分類中的應用,同時考慮到不同領域需要選擇不同分類才能獲得更好的分類效果,采用了一種基于Stacking的組合分類方法。目前針對中文的情感分析相對于英文的情感分析,無論從資源還是方法上來說都要相對初步一些,主要存在以下難點:1)中文需要分詞;2)中文情感詞典需要構建;3)中文理解存在一些難點，而目前尚無較好的解決方法,如“反諷”“褒義貶用”“貶義褒用”;4)對標注數據的規(guī)模過于依賴。

1.2 情感分析在網絡評論領域的應用

目前針對網絡評論的情感分析應用研究多集中在網絡輿論和商品評論兩個領域。例如,利用情感分析技術對微博輿論中的熱點話題、公眾觀點等進行提取,或者面向商品的用戶在線評論進行褒貶識別。文獻[10]提出一種監(jiān)督式機器學習方法來利用局部文本特征對新聞自動分類。文獻[11]研究表明,采用一種結合支持向量機的機器學習算法、信息增益的特征選取算法和詞頻-逆文檔頻率(Term Frequenc-Inverse Document Frequency,TF-IDF)特征項權重計算的組合方法對微博短文本的情感分類效果最好。作為一種新類型的網絡評論方式,彈幕寫作簡單隨意,并無嚴格的語法要求,這導致傳統的情感分析方法不能直接適用于彈幕情感研究。

1.3 隱含狄利克雷模型

隱狄利克雷分布(Latent Dirichlet Allocation,LDA)模型是由Blei等[12-13]在2003年提出的一種主題模型,由文檔、主題、詞三層結構組成。2004年Griffiths等在Blei的基礎模型上對β參數施加了Dirichlet先驗分布,使得LDA模型成為一個完整的概率生成模型。目前LDA模型已經廣泛地應用到文本挖掘甚至音頻分析領域[14]。對于語料庫中的每一篇文檔,LDA模型的主題生成過程為:1)求主題的多項式分布參數θ,θ～Dir(α),α為θ的超參數;2)求單詞的多項式分布參數η,η～Dir(β),β為η的超參數;3)根據θ生成主題z,z～Multinomial(θ);4)采樣過程,根據參數z和η,從p(w|z,η)中選擇一個詞w;5)重復步驟3)～4)直到模型收斂。

1.4 情感語料

目前有一些情感詞典被開發(fā)出來用于情感分析,比如WordNet-Affect。本文從Ren_CECps中文情感語料庫[15]提取多維情感詞典,該語料庫已經廣泛用于中文情感的研究[16-17]。該語料庫包含了1 487篇中文博客,涵蓋了878 164個情感詞,每個情感詞在語料中都被標注為(驚訝、悲傷、喜愛、高興、憎恨、期待、焦慮、生氣)8個維度表示的向量,每個維度用0到1表示情感從弱到強。

考慮到彈幕中有大量的網絡用語,本文采用文獻[18]中所提的針對網絡詞匯的情感詞典(簡稱Catchwords詞典)作為補充。該網絡用語情感詞典涵蓋了733個網絡用語,并將將其分為7個情感分類(樂、好、怒、愁、驚、惡、懼)。

2 問題描述

2.1 背景

本節(jié)介紹本文相關背景,包括彈幕視頻的特點和結構,以及相關定義。一個用戶觀看到視頻中某個場景,可能會在這個時間點寫一些文字發(fā)送到視頻中分享他的觀看體驗,這就是彈幕。當后面的用戶再看到該視頻中的這個場景,之前用戶發(fā)送的彈幕就會出現在屏幕上。所有的彈幕均為用戶在觀看過程中發(fā)送的,彈幕反映了用戶在觀看這段片段的情緒,這種影響具有一定的傳播效應,甚至依據當前這一幕的彈幕可以預測視頻后面的情感發(fā)展。

彈幕可以定義為一個三元組,其包含了用戶輸入內容、發(fā)送時間、用戶ID。本文主要對三種形式的彈幕內容進行分析:中文、英文、數字。其中：英文包含了部分網絡用語,如“QAQ”(表示哭泣);而考慮數字的原因,有部分常用網絡流行詞,如“233”(表示大笑)和“666”(表示厲害)等,對情感分析很有幫助。

如圖1所示,彈幕視頻截圖上方的文字為用戶發(fā)送的彈幕,例如“要出事了”是某用戶于該視頻的120min10s到120min40s之間發(fā)送的一條彈幕。

圖1 bilibili上的彈幕視頻示例

2.2 形式化描述

設視頻集合為V={v1,v2,…,v|V|},|V|為集合大小,其中,視頻vi的時間長度為Tvi,切分為|vi|個視頻片段vi={si,1,si,2,…,si,|vi|},si,k代表第i個視頻中的第k個視頻片段(1≤k≤|vi|),si,k的時間長度為定值Ts。因此,|vi|=「(Tvi-Ts)/td+1?,其中:td代表視頻片段之間的滑動距離,即相鄰兩段片段的相隔時間距離。視頻片段集合為S,總共包含|S|個視頻片段。W代表S中的詞集合,包含|W|個詞。彈幕c定義為三元組(wc,tc,uc),其中：wc代表彈幕c中的詞集合,tc代表彈幕c在視頻中的時間戳,uc代表發(fā)送彈幕c的用戶。因此片段sk可以定義為:

sk={〈dwk1:|wk1|〉,〈dwk2:|wk2|〉,…,〈dwknk:|wknk|〉}

其中:nk代表sk中不一樣的詞的個數;wki代表片段sk第i個詞;|wki|代表wki在片段sk中出現的次數;dwknk代表wknk對應的編號。

本文要解決的問題是給定目標片段starget,求解視頻集合中與starget情感相似度高的片段集合:

Cstarget={cv1,starget,cv2,starget,…,cv|V|,starget}

3 視頻片段推薦模型

如圖2視頻片段推薦的工作流程包含三個子模塊:1)數據預處理;2)視頻片段情感識別;3)情感相似度分析。

圖2 視頻片段推薦流程

3.1 彈幕數據預處理

數據預處理階段主要包含了視頻片段切分、文本預處理、詞語編號化處理三個步驟。首先根據Ts和td對所有視頻的彈幕數據進行切分,并對片段進行初步的篩選；其次,從Ren_CECps中文情感語料庫提取情感詞典。本文通過對每個情感詞的向量總和求平均得到情感詞的平均情感向量，公式如下:

其中:Tw代表情感詞w在Ren_CECps中文情感語料庫中出現的總次數；ew,i代表情感詞w第i次在語料庫中出現時被標注的情感向量。后文中用“Ren_CECps詞典”代表本文從該語料庫中所提取的情感詞典。為縮短模型訓練的時間,本文對所有詞編號化處理,并剔除難以識別的網絡符號以及出現概率極低的詞。

3.2 視頻片段的情感識別

彈幕的詞分布可視作一個概率模型,在同一個視頻片段中的詞相互之間具有情感依賴,因此,本文提出一種基于多主體的視頻片段情感識別(Multi-TopicEmotionRecognition,MTER)算法。MTER利用每個詞的隱含情感主題分布來評估詞的情感值,并用情感向量表示。考慮到大量的詞的情感沒有在Ren_CECps詞典中有標注,且中文詞語在不同語境下可能會有不同的情感含義,本文采用詞的最大權重的主題來計算出該詞在當前片段中的臨時情感。

3.2.1 基于主題模型計算視頻片段情感向量

本文提出的模型中,視頻片段視作一組彈幕詞語構成的集合,不考慮詞與詞的先后關系。將LDA模型的思想引入視頻片段的情感識別模型,假設模型訓練初始設置K個隱含主題{t1,t2,…,tK},所以每個詞在視頻片段中都能對應一個主題,每個視頻片段能計算得出一個主題分布。在所提模型中,LDA的訓練過程如下：1)為片段中每個彈幕詞語初始化一個主題;2)根據其他彈幕詞語的主題為每一個詞重新生成一個新主題;3)基于GibbsSampling對每個詞的主題重新采樣,并指定迭代次數η。LDA過程的結果如表3所示。

表1 主題分布示例

如表1所示,字體加粗的詞語代表可以在Ren_CECps詞典中檢索到,且各主題中每個詞按照權重降序排列。其中wti代表Topict的第i個詞,αti代表wti在t中的權重。隨著i的增加αti逐漸趨于0,這表示在一個主題中,權重越小的詞與該主題的相關性越低。因此,為了保證方法的有效性,本文只考慮每個主題的topP個詞。每個主題的情感向量的計算公式如下:

其中:ωkm代表tkm的權重;Etkm代表tkm的情感向量。因此sk的情感向量計算公式如下:

3.2.2 基于上下文信息調整視頻片段情感向量

視頻片段的情感具有傳遞性,歸屬于同一個視頻中的視頻片段具有一定的情感相關性和相似性,尤其是時間相隔較近的片段。本文對視頻片段情感向量的調整公式如下:

其中:μ(0<μ<1)是影響因子,μ越大代表si,k之前的片段對si,k的情感影響也大。可得出所有在si,k之前的片段都會影響si,k的情感向量,且si-1,k的影響最大。

綜上,基于MTER的視頻片段情感識別算法描述如下。

算法1 視頻片段情感識別算法。

輸入:視頻片段集合S;LDA過程的隱含主題數量K;LDA過程的主題采樣次數η。 輸出:Esk, ?sk∈S。 數據預處理:對彈幕文本集合進行LDA主題采樣。初始化每個視頻片段sk的情感向量Esk=(01,02,…,08)。foreachtopictdo: CalculateEt

endfor

foreachshotskdoforeachwordwkiinskdoifwki∈RthenUpdateEswithewki

//把wordw的情感向量累加到Es

elseCalculateekiforwkiUpdateEswitheki

endif

endfor

endfor

foreachvideovidoforeachshotsi,kdoAdjustEsi,k

endfor

endfor

3.3 情感相似度分析

計算得出每個視頻片段的情感向量之后,本文提出一種片段間的情感相似度的計算方法。鑒于片段所屬的視頻的全局情感會很大程度上影響到片段本身的情感,例如,來自兩部喜劇的片段的相似度有很大概率高于分別來自喜劇和悲劇的兩個片段的情感相似度。因此,本文結合全局情感(video-level)和局部情感(shot-level)來計算兩個片段之間的情感相似度。計算方法如下:

一部完整的視頻包含了一系列視頻片段，而視頻對應的彈幕數據中包含的網絡情感詞匯數量遠大于一個視頻片段。因此,計算一部完整視頻的情感可直接對視頻彈幕中的網絡情感詞的數量進行統計。本文定義視頻的情感為Ev=(n1,n2,…,n7)(Catchwords詞典共有7個情感分類),其中ni(1≤i≤7)代表視頻v在Catchwords詞典中的第i個分類的情感詞的數量,本文根據杰卡德距離(JaccardDistance)來計算兩個視頻之間的整體情感相似度:

根據本文對視頻片段的情感定義Es=(e1,e2,…,e8),可根據余弦相似度(cosine similarity)對兩個視頻片段的情感向量求相似度:

因此,任意兩個視頻片段的情感相似度的計算公式定義為:

Es_sim(Esi,k,Esj,l)=Ev_sim(Evi,Evj)×Es_sim(Esk,Esl)

最后根據視頻片段si,k和starget之間的情感相似度對vi中的視頻片段排名,取前ntop的片段作為cvi,starget最終得到Cstarget。

綜上,視頻片段推薦算法描述如下。

算法2 視頻片段推薦算法。

輸入:視頻片段集合S;目標片段starget。 輸出:視頻片段集合Cstarget。foreachshotsdoCalculateEs_sim(Estarget,Es)

endfor

foreachvideovdoforeachshotsdoifsistopntopofEs_siminvAddstocvi,starget

endif

endfor

Addcvi,stargettoCstarget

endfor

returnCstarget

4 實驗比較與分析

4.1 數據說明

本文的數據由兩部分組成:1)國內視頻網站“優(yōu)酷”的一段混剪視頻,這段混剪視頻由十部不同電影中的一些激勵人心的片段組成;2)視頻片段集,從國內彈幕視頻網站“bilibili”上下載上述混剪視頻相關的十部電影的彈幕數據。這些彈幕數據根據本文的視頻切分規(guī)則切分為一系列彈幕數據塊,每一塊數據對應一個視頻片段。收集所有覆蓋混剪視頻相關內容的勵志視頻片段作為目標片段集合,最后收集得到17個目標片段。

本文選用的中文分詞工具是Jieba,通過對彈幕數據進行分詞、清洗、去噪之后,最后剩余352 892個詞。通過設置Ts=120 s,td=100s來把視頻切割成一系列片段,并篩選彈幕數量至少含有8條的視頻片段,且每一部電影至少包含50個視頻片段。此外,為了避免視頻中的片頭片尾曲對情感分析造成干擾,本文剔除每部電影的前兩個片段和最后兩個片段。數據集概況如表2所示。

表2 實驗數據概況

4.2 實驗設置

本文設計了幾組對比實驗來驗證模型的準確性。TF-IDF是文檔關鍵詞抽取的典型算法。本文中基于TF-IDF的對比實驗被分為“TF-IDF-R”和“TF-IDF”。對于“TF-IDF-R”,本文根據每個片段中的詞頻向量和Ren_CECps詞典來計算視頻片段的情感向量;而在“TF-IDF”中僅通過片段中的TF-IDF詞頻向量來描述視頻片段的情感特征。本文提出的情感相似度計算方法均適用于這兩種方法。“TF-IDF-R”和“TF-IDF”都在實驗效果中表現穩(wěn)定。

本文還設置了原始LDA模型作為MTER的對比實驗,與TF-IDF不同,LDA和MTER都是基于迭代計算的方法,原始LDA模型中的參數和MTER中的LDA過程的實驗參數保持一致,主要參數設置如下:主題采樣迭代次數η=400;隱含主題個數K=20;LDA中的主題分布的先驗值α=0.1;對于MTER,情感影響因子μ=0.15;主題中的有效單詞個數P=100。

實驗過程包括以下幾個步驟:1)對電影切分后的所有視頻片段(包含上文所述的nobjective個勵志片段)分別計算情感向量(見算法1);2)依次取目標片段集合中的視頻片段作為starget,計算S中其他片段與starget的情感相似度分數,并在每個電影vi的視頻片段中取分數最高的ntop個視頻片段加入推薦列表(見算法2);3)檢測每個starget的推薦準確度。

本文分別求出每個目標片段的F1值,并求出平均值meanF1,公式定義如下:

Precision=ncorrect/|Cstarget|

Recall=ncorrect/nobjective

4.3 參數學習

主要對MTER中的四個主要參數進行學習:1)LDA過程的隱含主題個數K;2)主題采樣迭代次數η;3)情感影響因子μ;4)主題中的有效單詞個數P。參數學習結果如圖3所示。

當主題數量為20左右,meanF1達到最優(yōu)值。當K>20時,meanF1開始迅速下降。由第3章所述,K越大導致ωkm越小,主題模型對情感向量的影響降低。而當K<10時,對于風格不同的視頻片段,tm為同一主題的概率會增大,這樣同樣不能發(fā)揮主題模型在情感識別中的優(yōu)勢。

P取100左右,meanF1達到最優(yōu)值。其原因在于隨著詞在tkm排名越靠后,αtkmi趨于0,詞的影響力也越小。此時采用更多數量的詞參與計算,會使得主題情感的準確性降低。

主題采樣迭代次數η為400時,模型效果達到最佳效果。當η超過400,LDA過程將會出現過擬合的現象。

當μ=0.15時，模型達到最優(yōu);當μ>0.15時,meanF1下降的原因為μ增大導致了片段的情感區(qū)分度降低,導致模型誤差。

圖3 MTER參數學習結果

4.4 實驗結果

實驗反映了不同ntop如何影響推薦結果。當ntop=15,推薦總數遠大于目標片段的數量,導致四種方法的準確率都達到最低值;當ntop從15降低到10,MTER的召回率降低了19%,而TF-IDF-R、LDA、TF-IDF分別降低27%、24%、32%;當ntop降低到5,每個電影中只有5個分數最高的視頻片段加入推薦列表,此時的推薦結果正確性非常依賴目標片段的彈幕數據,導致四種方法的差距非常小,即便如此MTER依然優(yōu)于其他方法。基于MTER的推薦方法和其他三種對比實驗的結果如圖4～5所示。

圖4 4種算法準確率結果對比

將meanF1的實驗結果列入表3。可以看出不借助情感詞典的方法TF-IDF和LDA的實驗結果并不理想,其最好結果是TF-IDF在ntop=5取得,對應的meanF1=0.084。借助情感詞典的方法的meanF1最低為0.089。實驗中最優(yōu)的meanF1是MTER在ntop=10取得。當ntop取得10和15時,MTER比TF-IDF-R分別提高了30%和19%。然而在不借助詞典的情況下,TF-IDF在ntop取三個不同值的情況下均優(yōu)于LDA。其主要原因為LDA根據片段的主題分布來計算片段之間的相似度,然而部分詞尤其是網絡用語適用于多種類型的場景,這種在各個片段中出現概率都很大的詞可能會在不同的主題中都有很大的權重,這樣就降低了主題模型在情感識別中的效果。

圖5 4種算法的召回率結果對比

方法meanF1ntop=15ntop=10ntop=5TF-IDF0.0720.0700.084LDA0.0630.0680.081TF-IDF-R0.0890.0940.095MTER0.1060.1230.096

通過以上實驗分析可以發(fā)現,基于MTER的視頻片段推薦方法明顯優(yōu)于基于普通LDA和基于TF-IDF的推薦方法,其主要原因是基于MTER的推薦算法考慮到了當遇到沒有情感標注的詞,即一個完全陌生的詞,如何通過主題模型計算出該詞的情感值。相對于其他三種方法,MTER考慮到當一個陌生的詞在不同場景中可能會有情感差異,并結合該詞當前的主題分布實時計算出該詞在當前視頻片段中的情感向量。而基于TF-IDF的實驗方法只考慮了各片段中詞之間的數量關系和已有的情感詞向量來評估片段的情感,當面對情感詞典數據缺乏的情況下無法對未知詞的情感進行探索,因此基于MTER的推薦方法優(yōu)于其他對比方法。

結合上述結果分析,不借助情感詞典的方法TF-IDF和LDA在視頻片段推薦中表現較差,尤其是ntop=15,10時;而當ntop=5時,四種方法的效果差距不大。MTER在ntop為三種不同值的情況下均優(yōu)于其他三種方法,且在ntop=10時表現最佳。

5 結語

本文重點對視頻片段的情感問題進行研究,提出了基于彈幕情感分析的視頻片段推薦機制。作為一種新類型的文本消息,彈幕反映了視頻的情感。本文提出了一種新穎的分析機制,借助主題模型來挖掘彈幕文本的情感因子。此外,還提出了基于全局特征和局部特征的視頻片段情感相似度分析方法。實驗結果表明了所提模型在分析不規(guī)則文本的復雜情感特征方面的能力,以及彈幕在視頻情感分析領域的適用性。

)

[1]WUB,ZHONGE,TANB,etal.Crowdsourcedtime-syncvideotaggingusingtemporalandpersonalizedtopicmodeling[C]//Proceedingsofthe20thACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining.NewYork:ACM, 2014: 721-730.

[2]LVG,XUT,CHENE,etal.Readingthevideos:temporallabelingforcrowdsourcedtime-syncvideosbasedonsemanticembedding[C]//ProceedingsoftheThirtiethAAAIConferenceonArtificialIntelligence.MenloPark,CA:AAAIPress, 2016:3000-3006.

[3]XIANY,LIJ,ZHANGC,etal.Videohighlightshotextractionwithtime-synccomment[C]//HOTPOST2015:Proceedingsofthe7thInternationalWorkshoponHotTopicsinPlanet-scaleMobileComputingandOnlineSocialneTworking.NewYork:ACM, 2015: 31-36.

[4]HAMASAKIM,TAKEDAH,HOPET,etal.Networkanalysisofanemergentmassivelycollaborativecreationcommunity[C]//ProceedingsoftheThirdInternationalICWSMConference.MenloPark,CA:AAAIPress, 2009: 222-225.

[5]WUZ,ITOE.Correlationanalysisbetweenuser’semotionalcommentsandpopularitymeasures[C]//Proceedingsofthe2014IIAI3rdInternationalConferenceonAdvancedAppliedInformatics.Piscataway,NJ:IEEE, 2014: 280-283.

[6]YOSHIIK,GOTOM.MusicCommentator:generatingcommentssynchronizedwithmusicalaudiosignalsbyajointprobabilisticmodelofacousticandtextualfeatures[EB/OL]. [2016- 03- 10].https://staff.aist.go.jp/m.goto/PAPER/ICEC2009yoshii.pdf.

[7]ZHAOJ,LIUK,WANGG.AddingredundantfeaturesforCRFs-basedsentencesentimentclassification[C]//EMNLP2008:ProceedingsoftheConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg,PA,USA:AssociationforComputationalLinguistics, 2008: 117-126.

[8]ZHOUL,XIAY,LIB,etal.WIA-opinminesysteminNTCIR-8MOATevaluation[EB/OL]. [2016- 03- 10].http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings8/NTCIR/15-NTCIR8-MOAT-ZhouL.pdf.

[9] 李壽山, 黃居仁.基于Stacking組合分類方法的中文情感分類研究[J]. 中文信息學報, 2010, 24(5): 56-61.(LISS,HUANGCR.Chinesesentimentclassificationbasedonstackingcombinationmethod[J].JournalofChineseInformationProcessing, 2010, 24(5): 56-61.)

[10]YUH,HATZIVASSILOGLOUV.Towardsansweringopinionquestions:separatingfactsfromopinionsandidentifyingthepolarityofopinionsentences[C]//EMNLP2003:Proceedingsofthe2003ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg,PA,USA:AssociationforComputationalLinguistics, 2003: 129-136.

[11] 劉志明, 劉魯.基于機器學習的中文微博情感分類實證研究[J]. 計算機工程與應用, 2012, 48(1): 1-4.(LIUZM,LIUL.EmpiricalstudyofsentimentclassificationforChinesemicroblogbasedonmachinelearning[J].ComputerEngineeringandApplications, 2012, 48(1): 1-4.)

[12]BLEIDM,NGAY,JORDANMI.LatentDirichletallocation[J].JournalofMachineLearningResearch, 2003, 3: 993-1022.

[13] HEINRICH G. Parameter estimation for text analysis [EB/OL]. [2016- 03- 10]. http://www.arbylon.net/publications/text-est2.pdf.

[14] WU B, ZHONG E, HORNER A, et al. Music emotion recognition by multi-label multi-layer multi-instance multi-view learning[C]// Proceedings of the 22nd ACM International Conference on Multimedia. New York: ACM, 2014: 117-126.

[15] REN J. Document for Ren-CECps 1.0 [EB/OL]. [2016- 03- 10]. http://a1-www.is.tokushima-u.ac.jp/member/ren/RenCECps1.0/Ren-CECps1.0.html.

[16] QUAN C, REN F. Sentence emotion analysis and recognition based on emotion words using Ren-CECps[J]. International Journal of Advanced Intelligence, 2010, 2(1): 105-117.

[17] REN F, QUAN C. Linguistic-based emotion analysis and recognition for measuring consumer satisfaction: an application of affective computing[J]. Information Technology and Management, 2012, 13(4): 321-332.

[18] 鄭飏飏, 徐健, 肖卓. 情感分析及可視化方法在網絡視頻彈幕數據分析中的應用[J]. 現代圖書情報技術, 2015, 31(11): 82-90.(ZHENG Y Y, XU J, XIAO Z. Utilization of sentiment analysis and visualization in online video bullet-screen comments[J]. New Technology of Library and Information Service, 2015, 31(11): 82-90.)

DENG Yang, born in 1991, M. S. candidate. His research interests include information retrieval, machine learning.

ZHANG Chenxi, born in 1960, Ph. D., professor. His research interests include distributed computing, embedded system.

LI Jiangfeng, born in 1983, Ph. D., lecturer. His research interests include distributed computing, social network computing.

Videoshotrecommendationmodelbasedonemotionanalysisusingtime-synccomments

DENGYang,ZHANGChenxi,LIJiangfeng*

(SchoolofSoftwareEngineering,TongjiUniversity,Shanghai201804,China)

To solve the problem that traditional video emotional analysis methods can not work effectively and the results are not easy to explain, a video shot emotional analysis approach based on time-sync comments was proposed, as a basis for the recommendation of video shots. First, a formal description of video shots recommendation based on emotion analysis was studied. Then, after analyzing the classification of time sync comments based on Latent Dirichlet Allocation (LDA) topic model, the emotional vector of the words in time-sync comments were evaluated. Meanwhile, the emotion relationships among the video shots were analyzed for video shots recommendation. The recommendation precision of the proposed method was 28.9% higher than that of the method based on Term Frequency-Inverse Document Frequency (TF-IDF), and 43.8% higher than that of traditional LDA model. The experimental results show that the proposed model is effective in analyzing the complex emotion of different kinds of text information.

video shot recommendation; time-sync comments emotion; topic modeling; emotion analysis; emotional vector

2016- 10- 25;

2016- 12- 21。

鄧揚(1991—),男,四川成都人,碩士研究生,主要研究方向:信息檢索、機器學習; 張晨曦(1960—),男,福建龍巖人,教授,博士生導師,博士,主要研究方向:分布式計算、嵌入式系統; 李江峰(1983—),男,湖北荊州人,講師,博士,CCF會員,主要研究方向:分布式計算、社會網絡計算。

1001- 9081(2017)04- 1065- 06

10.11772/j.issn.1001- 9081.2017.04.1065

TP

A