盧 玲,楊 武,劉 旭,李 言
(重慶理工大學 計算機科學與工程學院,重慶 400050)
基于實體情感演化置信網的觀點檢測方法
盧 玲,楊 武*,劉 旭,李 言
(重慶理工大學 計算機科學與工程學院,重慶 400050)
(*通信作者電子郵箱yw@cqut.edu.cn)
社交網絡評論文本存在評論主題缺失或情感特征缺失的問題,無法保證觀點檢測的性能, 對此提出了建立實體情感演化貝葉斯置信網的方法。通過提取名詞、動賓短語、動名詞復合型定中結構短語三種域相關實體,提取域相關情感特征,用可變關聯強度作為網絡結構學習的約束條件,建立2階依賴擴展貝葉斯網絡,刻畫實體、觀點及情感特征的依賴關系, 再通過實體及情感特征對觀點極性進行推斷。實驗在自然語言處理與中文計算2016(NLP&CC2016)評測訓練數據集的F值平均達70.8%,FAVOR和AGAINST兩類正確率分別比僅包含情感特征的貝葉斯網絡分類方法提高4.1個百分點和3.1個百分點。在5個Target評論測試集上的平均Micro-F為62.3%,優于該評測的平均水平。
觀點檢測;貝葉斯網絡;域相關實體;網絡結構學習;定中結構
隨著微博、博客等社交網絡平臺的快速發展,越來越多人通過網絡發表評論。這些評論信息數量巨大、形式多樣,其中蘊含大量個人觀點,對其進行分析,能為商家、政府部門等[1]提供決策依據,因此觀點檢測研究被廣泛關注。觀點檢測通過自然語言處理及機器學習方法,運用觀點提取、極性分析等技術獲得分析結果。目前研究者已在該領域展開了大量工作。
從觀點檢測的語料看,現有研究有域獨立和域相關兩種。域獨立指測試集與訓練集可來自不同領域。Yang等[2]用影評、商品評論語料等進行跨域學習,對50個不同主題觀點檢測的精度高于平均值40%~60%。Seki等[3]將商品評論語料用于產品主題的觀點檢測,獲得了良好性能,但在政治領域的性能較差。域相關指檢測方法僅適用于特定領域。Owsley等[4]證明了由于人們在不同域的常用詞匯不同,觀點檢測性能因領域不同存在很大差異。Na等[5]的研究表明,建立基于特定域的詞典可以提高檢測性能。總體來看,域相關方法性能更優,但犧牲了適用范圍[6]。現有觀點檢測常被視為情感分析問題,主要方法有自然語言處理方法和機器學習的方法。自然語言方法通過分析自然語言結構進行極性判斷。Hu等[7]以名詞和名詞詞組為特征詞,提取特征詞周圍的形容詞為觀點內容。Liu等[8]先提取形容詞、動詞等,再運用“左側關系”提取相應特征詞。基于機器學習的方法多將觀點檢測視為分類問題,常見模型如樸素貝葉斯、支持向量機等,均被用于觀點檢測。觀點極性判別策略有定性和定量兩種。Hu等[9]及Kim等[10]根據積極詞和消極詞的數量對極性進行定性判別,Esuli等[11]在判斷主觀詞極性的同時進行了定量評價。
總體來看,雖然觀點檢測領域已展開了大量研究,但社交網絡平臺的用戶廣泛參與性使觀點表達形式日趨多樣,推動社交網絡文本語義發生演化,使現有研究面臨新的問題。例如一般認為客觀句不包含觀點,但客觀句同樣可以包含觀點。如對“俄羅斯在敘利亞的反恐行動”話題的評論句“這是以反恐的名義在實行戰爭”,該句是客觀句,其中并未出現話題,但表達了對話題的消極觀點。另外有情感極性的文本未必包含觀點,如話題“IphoneSE”的評論句“我只是喜歡新手機的感覺而已”,雖然具有積極情感,但不表達對“IphoneSE”的任何觀點。說明用情感分析方法進行觀點檢測,在面對語義更為豐富的社交網絡文本時還存在不足。
本文對特定話題的網絡評論文本進行觀點檢測,觀點包括支持(FAVOR)和反對(AGAINST)兩類。文本存在話題缺失或情感特征缺失的問題,其評論的話題可能未出現,可能有情感特征但無觀點,或有觀點但不針對話題,對此,將研究重點放在如何根據非情感特征推斷話題觀點。本文提出構建實體情感演化置信網的方法,通過提取域相關實體和情感特征,構建貝葉斯置信網,刻畫觀點與實體、情感特征的依賴關系,進而對話題觀點進行推斷。
基于情感分析的檢測方法常根據情感特征推斷觀點極性。由于社交網絡公共事件頻發,評論人群體多樣,觀點表達方式多樣,許多非情感特征的名詞、動詞在特定語境中產生了情感極性。如話題“春節放鞭炮”,有如下FAVOR類評論:
1)“兄弟姐妹搶著貼春聯、放鞭炮。”
2)“這是我國的傳統民俗。”
句1)中名詞性實體“春聯”表達了積極極性,間接表達了對話題的支持觀點;句2)中未出現情感詞,但名詞性實體“傳統民俗”表達了對“春節放鞭炮”的積極極性,間接表達了對話題的支持觀點。可見在特定事件背景下,一系列名詞性實體、動名詞短語演化產生了情感的內涵。評論者表達觀點并非一定用情感詞,用實體表達觀點的語言形式已非常普遍。如“這又是一個官二代事件”,通過名詞性實體“官二代”表達了AGAINST觀點。本文對5個話題的FAVOR和AGAINST評論提取名詞實體。先去除話題中的實體,再分別去除兩類的前10個高頻共現實體,得到按詞頻降序排列的部分中頻實體如表1所示。
可見實體與話題觀點有顯著共現關系,當話題缺失時,通過評論中的實體也能推斷話題觀點。即判斷對事件A的觀點,但評論者從未提及A,則通過評論者談及的事件B及對B的觀點,可間接推斷對A的觀點。其中事件B由于在事件A下產生了情感的內涵,本文將其稱為從事件演化產生情感內涵的實體,對其進行抽取,可用于話題觀點檢測。
從事件演化產生情感內涵的實體應對事件具有強烈的相關性或指代性,除名詞外,部分短語的相關性也較好。如話題“俄羅斯在敘利亞的反恐行動”中,短語“土耳其……分子”常表達對土耳其的消極觀點,間接表達了對話題的積極態度。因此本文提取的實體包括三類:名詞(n)、動賓短語(Verb-OBject structure, VOB)、定中結構短語(ATTributive-centered structure, ATT)。ATT是中心-邊緣圖式結構[12],由定語修飾中心語構成。本文提取的定中結構是名詞復合型定中短語,包括名詞詞組和動詞+名詞詞組。對其他定語為形容詞、代詞等定中短語,認為其定語部分對事件的指代性不足,不予提取。用哈爾濱工業大學的語言技術平臺(Language Technology Platform, LTP)進行句法依存分析及詞性標注,本文抽取的部分實體如表2所示。

表1 實體與觀點共現情況Tab. 1 Co-occurrence of entities and stance

表2 實體及其詞性構成Tab. 2 Entities and part of speech
表2中定中短語“中國@對立面”,其中心詞為“對立面”,定語為“中國”,是名詞復合型結構。對定中短語“這@一只@土雞”,其中心詞為名詞“土雞”,而“這”“一只”是非動詞性限定詞,則對該定中短語不予提取,僅提取其名詞中心詞“土雞”。
為保證檢測準確率,本文抽取的實體是同一話題中的域相關實體。對任一文本d={t1,t2,…,tm},其中ti為d的詞項。用哈爾濱工業大學LTP進行句法依存分析及詞性標注。其中ti.depdence為ti所處的依存關系,ti.parent為ti的依存詞的編號,tparent為ti的依存詞,實體entity的抽取如算法1所示。
1)令實體集E={?} 2)for eachtiindentity=tiifti是名詞 ifti.depdence= ‘ATT’parent=ti.parentdoentity=entity.contact(‘@’).contact(tparent)parent=tparent.parentwhiletparent.depdence= ‘ATT’ iftparent.depdence= ‘VOB’entity=tparent.contact(‘@’).contact(entity) endif ‘VOB’E=E∪{entity} endif ‘ATT’ ifti.depdence= ‘VOB’parent=ti.parententity=tparent.contact(‘@’).contact(entity)E=E∪{entity} endif ‘VOB’E=E∪{entity} endif endfor
算法首先檢索文本中的名詞,再以名詞為中心,獲取其依存關系為ATT或VOB關系中的相關詞,連接形成實體。如句子“放鞭炮的記憶留在腦海中。”依存關系如圖1所示。

圖1 文本的依存關系示例Fig. 1 Sample of text dependence relationship
抽取的實體為:鞭炮,記憶,腦海,放@鞭炮,放@鞭炮@記憶,腦海@中。算法中所有詞或短語,在實體抽取前均先判定是否為情感詞,將情感詞作為情感特征,不作為實體進行抽取。
貝葉斯網絡(Bayesian Network,BN)也叫置信網(Belief Net),它通過一些變量的信息獲取其他概率信息,是對不確定性進行建模的有效工具[13]。BN的拓撲結構如圖2所示。其中節點v1、v2為x的父節點,v3、v4為x的子節點,弧表示節點間的直接依賴關系[14],弧上的權值是關聯到每個節點的條件概率,描述了依賴關系的強弱。

圖2 貝葉斯網絡拓撲結構Fig. 2 Topological structure of Bayesian network
用v=(vp,vc) 表示非x節點的狀態值,P(x|vp) 表示父節點狀態為vp時x的條件概率,P(vc|x)表示x對其子節點狀態vc的條件概率,節點x的置信度P(x|v)是指給定v時,非x節點與x的相關概率,如式(1)[15]所示:
P(x|v)∝P(vc|x)P(x|vp)
(1)

(2)
將BN用于分類時,網絡以類別為根,所有特征均為根的子節點。分類是根據子節點的狀態計算根的置信度,取置信度最大的狀態為分類結果。如忽略特征間的依賴,對子節點作獨立性假設,則根據式(2)推斷根的置信度,就是樸素貝葉斯分類。為了合理利用特征間的依賴信息以改善分類性能,Sahami[16]提出了k階依賴擴展的貝葉斯分類器(k-Dependence Bayesian network classifier,KDB),即每個特征節點除根節點外,至多還可以有k個非根父節點。
對觀點檢測問題,待測文本話題缺失或情感特征缺失可能影響檢測性能。考慮觀點、實體、情感特征間存在形如〈觀點,實體〉、〈觀點,情感特征〉、〈情感特征,實體〉的依賴關系,用貝葉斯網絡刻畫這種關系,可在部分特征缺失時仍能推斷觀點極性,因此本文提出構建貝葉斯置信網進行觀點檢測。以觀點為根,作為類別節點,其余實體、情感特征為根的子節點。對子節點間的依賴關系,綜合考慮分類正確率和效率[17],本文進行2階依賴擴展,由此得到圖3所示2階依賴擴展貝葉斯網絡,將其稱為實體情感演化置信網(Entity-emotion Evolution Belief Net, EEBN)。其中根節點x為觀點,EN={n1,n2,…,nm}為實體特征集,EM={e1,e2,…,ek}為情感特征集,弧表示節點間的依賴關系。EEBN可根據EN和EM節點共同推斷x的狀態,在情感特征缺失或話題缺失時保證觀點檢測的召回率。另外,對特征節點進行2階依賴擴展,充分利用特征間的依賴信息,可在一定程度上提高分類性能。

圖3 實體情感演化置信網Fig. 3 Entity-emotion evolution belief net
為適度簡化網絡結構,在考慮特征節點依賴關系時,對情感特征進行獨立性假設。對任一特征節點f,其非根弧頭節點為fp,二者具有實體-實體(Entity by Entity, E-E),或實體-情感特征(Entity by Emotion, E-EM)依賴,描述如下:
1)E-E依賴:fp∈ENandf∈EN
2)E-EM依賴:(fp∈ENandf∈EM) or (fp∈EMandf∈EN)
即EEBN只存在實體間、實體和情感特征間的依賴。如圖2中實體特征n1入度為3,其非根父節點ek為情感特征,nm為實體特征;情感特征e1入度為3,其非根父節點為n1、n2均為實體特征。
對網絡結構的學習,文獻[18]提出了一種基于KDB的連接強度權重方法。設置連接強度weight,在計算特征對互信息時,僅考慮大小為weight的窗口內共現的特征對,但其weight的設置具有較大的啟發式特征。本文運用文獻[18]方法學習網絡結構。由于文本中實體和情感特征多點出現,難以對連接強度設置較好的經驗值,對此本文提出了可變連接強度的方法,對EEBN的兩種依賴分別設置連接強度,具體如下:
1)E-E強度:由于全文的實體都基于特定話題產生,其間均存在不同強度的關聯,因此將E-E依賴的連接強度置為全文長度;
2)E-EM強度:由于情感多基于實體產生,實體與情感特征距離越近,其關系越緊密,因此將E-EM依賴的連接強度置為一個句子的長度。
令觀點類別為X,實體集為EN,情感特征集為EM,特征集F=EN∪EM={f1,f2,…,fs},其中fi為F的1個特征項。對特征對(fi,fj)的連接強度互信息MIweight(fi,fj|X),計算時只考慮全文范圍內共現的實體對,及共現在同一句子內的實體、情感特征對。本文貝葉斯網絡結構學習如算法2所示:

2)sortForder byMI(fi,X)1<=i<=sdesc

其中weight根據fi和fj的特征類別,分別為E-E強度或 E-EM強度,由此得到特征對互信息矩陣
4)初始化貝葉斯網絡N={X}
5)重復以下步驟,直到N包括F中所有節點:
①選擇一個節點fm,滿足如下2個條件:
c1:fm?N
c2: foreachfn∈Nandn≠m
MI(fn,X) ②N=N∪{fm},添加一條由X指向fm的弧 ③添加最多k條不重復的由fj指向fm的弧,其中fj滿足如下3個條件: c1:fj∈N c2:fj與fm存在E-E或E-EM依賴 c3:foreachfn∈Nandn≠jandn≠mMIweight(fn,fm|X) 6)根據網絡N計算全概率表 對EEBN的情感特征節點,由于本文重點討論如何利用域相關實體提高檢測性能,故對情感特征結構不作詳述。本文采用的結構為否定副詞+情感詞。 實驗語料來自自然語言處理與中文計算2016(Natural Language Processing & Chinese Computing 2016, NLP&CC2016)評測。訓練集包含5個話題,每個話題分別有FAVOR和AGAINST兩類評論各300條。以每個話題評論的75%用于訓練,25%用于測試,用哈爾濱工業大學LTP進行依存關系分析,用正確率(Precision, P)、召回率(Recall, R)、F值為評價指標。以只包含情感特征的BN為Baseline1;包含實體及情感特征、但沒有依賴擴展的BN為EEBN0;包含實體及情感特征、且有2階依賴擴展的BN為EEBN2。為觀察引入實體特征的有效性,各訓練集均保留提取的全部實體及情感特征,表3所示為5個話題上的平均測試結果。 從表3可以看出, EEBN0比Baseline1的兩類正確率分別提高4.1個百分點和3.1百分點,F值分別提高2.6百分點和2.8百分點,整體性能優于Baseline1,表明本文的實體特征對觀點具有較好的指代性,可緩解話題或情感特征缺失時觀點無法召回的問題。EEBN2的兩類F值平均達0.708 3,其整體測試性能最優,但EEBN2的召回率比EEBN0無顯著提高。對網絡結構的學習方法,分別以KDB方法的2階網絡為Baseline2、以文獻[18]方法的2階網絡為Baseline3(連接強度權重設為20[18]),與EEBN2對比測試結果如表4所示。 表3 不同方法觀點檢測結果對比 %Tab. 3 Comparison of opinion detection results of different methods % 表4 不同方法建立的網絡結構有效性對比 % Tab. 4 Comparison of network structure effectiveness of different methods % 可見EEBN2由于只考慮實體與情感特征的依賴,從一定程度減少了計算復雜度,并保持了分類性能。雖然其召回率無顯著提高,但正確率及F值均優于Baseline2、Baseline3,表明本文用可變連接強度約束特征依賴性的網絡結構學習方法是有效的。總體來看,本文提出的EEBN檢測可以在保持召回率的同時提高檢測正確率。分析EEBN2召回率無顯著提高的原因,EEBN2加入特征依賴信息,用連接強度權重約束特征的關聯強度,通過改善網絡結構有效性提高了檢測正確率,但其更強調特征的共現性,因此制約了召回率的提高。另外,由于本文抽取的是域相關實體,因此訓練集大小及訓練樣本質量也是制約召回率的重要因素。本文方法參加了NLP&CC2016評測,對5個話題的3 000條評論文本進行觀點檢測,表5為對5個話題的平均檢測性能,本文方法與評測結果的比較。 表5 NLP&CC2016評測結果Tab. 5 Results of NLP&CC2016 evaluation 在評測的16組測試結果中,兩類平均F值為60.4%,最高為71.1%,應用本文方法的F值達62.3%,兩類各自的F值也均優于評測的平均水平,從一定程度上表明了本文方法的有效性。 針對網絡評論文本在主題或情感特征缺失時的觀點檢測問題,提出了基于實體情感演化置信網的檢測方法。通過構建實體情感演化置信網,用特征與觀點及特征間的依賴關系,推斷觀點極性,并設置可變連接強度作為網絡結構學習的約束條件,在簡化網絡結構的同時提高其有效性。實驗表明,本文提取的實體與觀點極性具有較好的相關性,可從一定程度提高情感特征缺失,或有情感、無觀點文本的觀點檢測性能,在保證召回率的同時提高檢測正確率。在NLP&CC2016評測中,本文方法在5個話題上的測試性能均達到或優于評測平均水平,也從一定程度上表明了本文方法的有效性。 實際上,除本文抽取的實體外,實體特征還可能有更多的結構,有必要學習和發現更多與觀點相關的語法特征。另外,網絡結構方面,本文的E-E、E-EM依賴是基于人工對大量訓練樣本的分析提出的,具有一定的啟發式特征。后續將在提高網絡結構的正確性以及將單一網絡擴展為多網絡的組合決策模型方面,展開進一步研究。 References) [1] RAYMOND N, PATRICIA C, DENILSON B, et al. Perspectives on business intelligence[R]. Ontario: University of Waterloo, 2013. [2] YANG H, LUO S, CALLAN J. Knowledge transfer and opinion detection in the TREC2006 blog track[EB/OL].[2016-06-20].http://trec.nist.gov/pubs/trec15/papers/cmu.blog.final.pdf. [3] SEKI K, UEHARA K. Adaptive subjective triggers for opinionated document retrieval[C]// Proceedings of the 2nd ACM International Conference on Web Search and Data Mining. New York: ACM, 2009:25-33. [4] OWSLEY S, SOOD S, HAMMOND K. Domain specific affective classification of documents[C]// Proceedings of AAAI Symposium on Computational Approaches to Analysing Weblogs. Menlo Park, CA: AAAI, 2006:181-183. [5] NA S, LEE Y, NAM S, et al. Improving opinion retrieval based on query-specific sentiment Lexicon[C]// Proceedings of the 31th European Conference on IR Research on Advances in Information Retrieval. Berlin: Springer-Verlag, 2009:734-738. [6] 陳旻,朱凡微,吳明暉,等. 觀點挖掘綜述[J].浙江大學學報(工學版), 2014,48(8):1461-1472.(CHEN M, ZHU F W, WU M H, et al. Survey of opinion mining[J]. Journal of Zhejiang University (Engineering Science), 2014,48(8):1461-1472.) [7] HU M Q, LIU B. Mining opinion features in customer reviews[C]// Proceedings of the 19th National Conference on Artificial Intelligence. Menlo Park, CA: AAAI, 2004:755-760. [8] LIU L Z, LYU Z X. Extract produce features in Chinese Web for opinion mining [J]. Journal of Software, 2013, 8(3):627-632. [9] HU M Q, LIU B. Mining and summarizing customer reviews[C] // Proceedings of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM, 2004:168-177. [10] KIM S, HOVY E. Determining the sentiment of opinions[C]// Proceedings of the 20th International Conference on Computational Linguistics. Stroudsburg: ACL, 2004: Article No. 1367. [11] ESULI A, SEBASTIANI F. SentiWordNet: a publicly available lexical resource for opinion mining[C]// Proceedings of the 5th International Conference on Language Resources and Evaluation. Genoa: European Language Resources Association, 2006:417-422. [12] 余淼淼,張濤.《荀子》中的定中結構詞匯及短語分析[J].大眾文藝,2008(10):66-67.(YU M M, ZHANG T. Analysis of attributive centered structure vocabulary and phrase in "Xunzi"[J].Art and Literature for the Masses,2008(10):66-67.) [13] KOLLER D, FRIEDMAN N. Probabilistic graphical models: principles and techniques [M]. Cambridge: MIT Press, 2009:50-51. [14] 肖蒙,張友鵬.小數據集條件下的多態系統貝葉斯網絡參數學習[J].計算機科學, 2015, 42(4): 253-257.(XIAO M, ZHANG Y P. Parameters learning of Bayesian networks for multistate system with small sample [J]. Computer Science, 2015, 42(4): 253-257.) [15] DUDA R O, HART P E, STORK D G. Pattern Classification[M]. New York: John Wiley & Sons, 2003:46-47. [16] SAHAMI M. Learning limited dependence Bayesian classifiers[C]// Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining. New York: ACM, 1996:335-338. [17] 張劍飛,劉克會,杜曉昕.基于k階依賴擴展的貝葉斯網絡分類器集成學習算法[J]. 東北師大學報(自然科學版), 2016,48(1):65-71.(ZHANG J F, LIU K H, DU X X. Ensemble learning basek-dependence Bayesian network classifiers[J]. Journal of Northeast Normal University (Nature Science Edition), 2016,48(1):65-71.) [18] 郭泗輝,樊興華. 一種改進的貝葉斯網絡短文本分類算法[J]. 廣西師范大學學報(自然科學版), 2010,28(3):140-143.(GUO S H, FAN X H. An improved short text classification algorithm based on Bayesian network[J]. Journal of Guangxi Normal University (Natural Science Edition), 2010,28(3):140-143.) This work is partially supported by the Scientific and Technological Research Program of Chongqing Municipal Education Commission (KJ1500903)。 LU Ling, born in 1975, M.S., associate professor. Her research interests include machine learning, information retrieval. YANG Wu, born in 1965, M.S., professor. His research interests include machine learning, information retrieval. LIU Xu, born in 1997, B.S. candidate. His research interests include machine learning, parallel computing. LI Yan, born in 1996, B.S. candidate. His research interests include machine learning, information retrieval. Stance detection method based on entity-emotion evolution belief net LU Ling, YANG Wu*, LIU Xu, LI Yan (CollegeofComputerScienceandEngineering,ChongqingUniversityofTechnology,Chongqing400050,China) To deal with the problem of stance detection of Chinese social network reviews which lack theme or emotion features, a method of stance detection based on entity-emotion evolution Bayesian belief net was proposed in this paper. Firstly, three types of domain dependent entities, including noun, verb-object phrase and verb-noun compound attributive centered structure were extracted. The domain-related emotion features were extracted, and the variable correlation strength was used as a constraint on the learning of the network structure. Then the 2-dependence Bayesian network classifier was constructed to describe the dependence of entity, stance and emotion features. The stance of reviews was deducted from combination condition of entities and emotion features. Experiments were tested on Natural Language Processing & Chinese Computing 2016 (NLP&CC2016). The experimental results show that the average micro-F reaches 70.8%, and average precision of FAVOR and AGAINST increases by 4.1 percentage points and 3.1 percentage points over Bayesian network classification method with emotion features only respectively. The average micro-F on 5 target data sets of evaluation reaches 62.3%, which exceeds average level of the evaluation. stance detection; Bayesian Network (BN); domain dependent entity; network structure learning; attributive-centered structure 2016-09-30; 2016-12-22。 基金項目:重慶市教委科學技術研究項目(KJ1500903)。 盧玲(1975—),女,重慶人,副教授,碩士,CCF會員,主要研究方向:機器學習、信息檢索; 楊武(1965—),男,重慶人,教授,CCF會員,主要研究方向:信息檢索、機器學習; 劉旭(1997—),男,河北石家莊人, CCF會員,主要研究方向:機器學習、并行計算; 李言(1996—),男,重慶人, CCF會員,主要研究方向:機器學習、信息檢索。 1001-9081(2017)05-1402-05 10.11772/j.issn.1001-9081.2017.05.1402 TP391.1 A3 實驗結果及分析



4 結語