基于圖排序模型的微博觀點信息識別*

張紹武，劉華麗，楊 亮，邵 華，林鴻飛

大連理工大學 計算機科學與技術學院，遼寧 大連 116024

1 引言

近幾年，隨著互聯網的飛速發展，在線社交網絡媒體逐漸改變著人們的生活。微博、微信等新型社交媒體的出現，使人們從單純的信息接受者轉變為信息的制造者。而微博，作為目前國內主要的在線社交媒體之一，給用戶提供了便捷的溝通方式與豐富的信息資訊，而且越來越多的人喜歡在微博上發表自己的觀點，與朋友互動交流，因此微博上每時每刻都在產生著蘊含豐富信息的資源。識別微博的觀點信息，不僅可以了解個人的觀點傾向，還可以分析大眾的觀點趨勢，對個性化推薦、輿情分析等研究提供了必要的基礎。

觀點識別已經得到國內外學者的廣泛研究，并且取得了眾多研究成果，但是其主要的研究對象大多是產品或電影評論[1]。微博作為一種實時、快速的觀點表達方式，與傳統的產品、電影評論不同，主要有以下幾個特點：（1）簡短、稀疏。傳統文本一般有足夠多的詞可以進行特征選擇，從而構建一個特征空間進行分析。而微博受140個中文字符的限制，促使用戶的表達更加簡短，數據分布更稀疏。（2）省略主題。微博的轉發回復功能，使得許多微博省略具體的主題，直接表述觀點看法。例如，關于話題“習近平博鰲演講”的一條微博“說的太對了”，如果直接分析該條微博的觀點信息，很難判斷其傾向，但是如果找到源微博“習大大演講得真好”，就會很容易判斷此微博的觀點傾向。（3）豐富的表情符號。微博豐富的表情符號資源使人們發表微博時更傾向于使用形象生動的表情符號表達自己觀點。例如“[哈哈]”、“[失望]”、“[頂]”、“[怒]”等。以上特點使微博的觀點信息識別更加復雜，如何更好地挖掘微博的觀點信息成為社交媒體數據分析中充滿挑戰性的任務。

傳統的觀點識別方法多單純基于文本的分析方法。然而，微博除了以文本為載體，微博還是一種網絡化數據，通過用戶間的轉發、評論、回復等行為使微博形成一個關系網，使本來看似無關的不同微博通過關系網聯系起來。已有研究證明利用這樣的關系網絡圖，結合社交網絡中的情感一致理論，可以彌補傳統的基于文本分析方法在識別微博觀點時的不足[2]。受此啟發，本文提出了一種基于圖排序模型的微博觀點信息識別算法。主要思想是利用微博的網絡化數據的特征，構建微博上下文關系圖，利用微博的關系信息來補充完善傳統的觀點識別算法在處理微博短文本時的不足。首先，利用布爾模型表示微博文本的特征向量，并用邏輯回歸分類算法為每條微博分配一個偽標簽；其次，構建微博上下文關系圖；然后，利用受限玻爾茲曼機抽取微博文本的高維特征，利用高維特征向量計算關系圖中微博間的權重；最后，基于圖排序模型分析微博最終的觀點傾向。實驗結果表明，本文方法比傳統的單純基于文本的分析方法分析微博觀點信息時更有效。

本文的貢獻主要有以下三點：（1）提出一種基于表情符號的微博無監督標注方法；（2）利用深度學習算法——受限玻爾茲曼機對微博進行深層特征提取；（3）將圖排序模型應用于微博這種短文本語料，進行觀點識別。

本文組織結構如下：第2章對相關工作予以介紹；第3章介紹基于圖排序模型的微博觀點信息識別算法；第4章對實驗過程及結果進行分析；第5章進行總結并計劃未來工作。

2 相關工作

作為觀點識別任務之一，分析微博的觀點傾向已經吸引了越來越多的國內外研究者。一些研究者利用傳統的觀點分析方法來分析微博的觀點傾向。其中一類是基于詞典的分析方法[3]。Kiritchenko等人[4]基于表情符號和包含情感的主題標簽構建情感詞典，然后結合詞典相關的特征以及一些其他特征訓練情感分類系統，最后在SemEval-2013評測任務中取得第一名的成績，證明了該方法的有效性。另外，Thelwall等人[5]將基于詞典并結合語言信息和規則的分類算法SentiStrength[6]應用于社交網絡文本，其中包括Twitter、Youtobe等數據，實驗證明了Senti-Strength算法在分析多種不同的社交網絡文本時的有效性和魯棒性。另外一類被廣泛使用的方法是機器學習相關算法。Liu等人[7]首先基于人工標注的數據訓練一個語言模型，然后利用表情符號數據對該語言模型進行平滑，將標注數據與表情符號數據整合到同一個概率框架中，實現了微博的情感分析。

由于微博屬于社交網絡平臺，除了文本內容，還包括豐富的非文本數據，比如用戶之間的關注關系，微博之間的轉發、回復關系數據等。而以上分析方法僅僅基于微博文本的內容，并沒有利用非文本數據。目前已有不少學者在這方面進行了研究。Hu等人[2]首先分析了社交關系數據是否對tweet的情感分類有利，然后基于社交網絡中的情感一致與情緒傳染理論抽取tweet間的情感關系并對關系進行建模，最后利用這些情感關系數據來彌補傳統情感分析方法在處理不規則、噪音大的tweet數據時的不足。Tan等人[8]基于具有關注關系的兩個用戶很可能持有相同觀點的思想，提出將社交關系數據應用于用戶級的情感分析任務中，最終實驗表明社交關系信息確實比僅僅基于文本內容的SVM（support vector machine）方法效果更好。以上研究不僅利用了文本數據，同時充分利用了非文本數據，從不同的角度對微博這類短文本進行分析，并且都取得了不錯的效果。受以上工作的啟發，本文利用微博的上下文關系構建微博關系圖，結合圖排序模型，實現了對微博的觀點信息識別。

3 基于圖排序模型的微博觀點信息識別算法

本算法過程主要分四部分進行介紹：首先介紹基于表情符號的無監督標注方法，以此來對訓練集進行擴充；其次介紹如何構建微博上下文關系圖；然后介紹如何利用受限玻爾茲曼機抽取微博文本信息中的高維特征；最后介紹如何基于圖排序模型對微博觀點信息進行識別。

3.1 基于表情符號的無監督標注方法

正如前文所述，豐富的表情符號是微博的幾個重要特點之一。特別是在年輕用戶當中，表情符號更加受歡迎。主要原因在于：表情符號形象生動，具有明顯的觀點傾向，可以提供一個直接的方式去表達用語言無法準確表達的情緒狀態。已有研究表明[9]，表情符號可以傳遞強烈的情感，可以表達用戶真實的情感。如果能夠有效利用表情符號對微博進行觀點傾向標注，可以大幅降低語料標注的時間、人工成本。目前，已有研究者[10]利用表情符號標注微博的情感傾向來獲取標注訓練集。受此啟發，為了擴充訓練集，本文提出一種基于表情符號的無監督標注方法。

由于新浪微博提供的表情符號眾多，有些表情符號有明顯的觀點傾向，但是有些表情符號的觀點傾向則不明顯，而且不同的人對其表達的觀點信息持有不同的看法。針對此問題，本文首先統計出現在語料中的所有表情符號，人工選擇170個帶有明顯觀點傾向的表情符號。其中100個代表正向觀點，63個代表負向觀點，7個代表中性觀點，表1給出了每種觀點傾向的代表性表情符號。

Table 1 Typical emotions in each opinion class表1 每一個觀點類別的典型表情符號

如果一條微博中只有一個表情符號，則直接通過此表情符號來決定該條微博的觀點傾向。但是如果同一條微博中有多個表情符號，本文通過以下規則來確定微博的觀點傾向：

（1）如果多個表情符號的觀點傾向一致，則將共同的觀點傾向作為該條微博的觀點傾向。

（2）如果多個表情符號的觀點傾向不一致，則由投票表決的方式來決定該條微博的觀點傾向。具體做法：賦予正向觀點的表情符號+1權重，賦予負向觀點的表情符號-2的權重，中性觀點的表情符號權重為0。通過此規則，獲取了額外的標注訓練集。

3.2 基于上下文構建微博關系圖的方法

由引言可知，由于微博具有簡短、稀疏、省略上下文等特點，僅僅基于微博文本分析微博觀點傾向并不能取得理想的結果。然而微博作為社交網絡數據，除了基本的文本數據外，還有豐富的關系數據，因此接下來介紹構建微博上下文關系圖的具體過程。本文主要基于兩種關系作為微博的上下文關系，以此來構建微博上下文關系圖。

（1）轉發關系。轉發在微博中是一種很普遍的行為，相較于回復、評論行為，轉發行為更能體現對原始微博觀點的認同態度。即使不贊同原始微博的觀點，依然可以對原始微博進行評論，但這種情況下很少轉發。因此基于轉發關系聯系起來的轉發微博與原始微博的觀點信息更有可能是一致的，這在Jiang等人[11]的研究中已經有所體現。

（2）同一用戶發布的微博。已有研究者證明在社交網絡中存在情感一致理論[12]。情感一致理論揭示了這樣一個現象：比起隨機的兩條微博，被同一用戶發表的兩條不同微博的觀點更有可能是一致的。而且盡管同一用戶對不同的事件所持有的態度不同，但是對于同一個事件的觀點基本是不變的。因此，同一用戶針對同一個事件發表的不同微博所表達的觀點信息基本是一致的。

基于以上兩種關系，構建微博的上下文關系圖，如圖1所示。

Fig.1 Acontext relationship graph of a Weibo圖1 微博上下文關系圖

圖1中，笑臉圖案代表同一個人發布的不同微博，其中粗線條的笑臉為待預測觀點的微博，稱為“中心微博”；其他細線條的笑臉代表已有觀點標簽的微博；云圖代表從虛線連接的原始微博轉發的微博。wi表示由實線或虛線連接的兩條微博的相似度。實線連接同一個人發布的不同微博，虛線連接轉發微博與原始微博。在整個上下文關系圖中，除了“中心微博”，其他微博都被稱為“鄰居微博”。

構建好微博的上下文關系圖后，利用“鄰居微博”的準確標簽或者偽標簽，對“中心微博”的觀點信息進行分析。具體采用式（1）和式（2）計算“中心微博”的觀點。

其中，m表示“中心微博”，即待預測微博；ym表示為m分配的觀點傾向；G表示m的上下文關系圖；mi代表圖G中除微博m外的其他所有微博，即“鄰居微博”；li代表從微博mi到微博m的路徑；I(*)是指示函數，當且僅當括號內條件成立時值為1，否則為0。

3.3 基于受限玻爾茲曼機抽取微博高維特征的方法

由3.2節可知，計算微博的觀點傾向，必須先計算“中心微博”與其“鄰居微博”間的相似度。本文采用的是基于布爾模型的文檔向量表示方法。如果某個特征詞出現在文檔中，則在對應的維度上的權重為1，否則為0。由于微博簡短、稀疏的特點，兩個明明互為上下文的微博卻因沒有公共的特征而使兩者的相似度為0，那么即使構建了上下文關系圖，上下文關系并沒有被充分利用。比如：原始微博“這個人的演技太爛了”，轉發微博“同感！”，這兩條微博雖然沒有公共的特征詞，但兩者相關，而且觀點傾向一致。因此，在計算相似度時不能因為二者沒有公共的特征而將兩者的相似度設為0。為了解決此問題，本文提出一種基于受限玻爾茲曼機算法抽取微博的高維特征表示方法。

特征工程一直是處理數據挖掘的核心問題。之前很多研究都是基于文本內容人工構造一些淺層特征，利用這些淺層特征來表示文本，這種做法的一個缺點在于文本深層的特征或模式不能被很好地利用。近幾年，隨著深度學習在文本挖掘方面的廣泛應用，其在發掘文本深層次的特征方面已經表現出了足夠的優勢，成為研究者們關注的焦點。因此本文利用受限玻爾茲曼機對微博抽取深層次高維特征，來更好地表示微博。

受限玻爾茲曼機（restricted Boltzmann machine,RBM）[13]是Smolensky于1986年基于玻爾茲曼機提出的一種采用隨機神經網絡進行解釋的概率圖模型。RBM的網絡結構如圖2所示。

Fig.2 Structure of RBM圖2 RBM網絡結構圖

RBM網絡結構由兩層組成：下面一層為可視層，也就是輸入層；上面一層為隱藏層，一般也稱為特征提取層。其中Wm×n是可視層與隱藏層之間全連接的權重參數，另外可視層的偏移量為b=(b1,b2,…,bn)，隱藏層的偏移量為c=(c1,c2,…,cm)。這些參數決定了網絡如何將一個n維的樣本編碼成一個m維的樣本，這也是RBM模型的主要用途之一。因此，本文利用RBM網絡對數據進行編碼，抽取深層特征，然后利用監督學習等算法進行分類或回歸。

其中，vi和hj分別表示可見層的第i個神經元和隱藏層的第j個神經元的狀態。假設RBM網絡的參數已經被優化到最優解，那么根據輸入vi和式（3），隱藏層中各神經元的狀態通過采樣獲得。反之，如果已知網絡參數和隱藏層，則可視層易被重構。因此，如何優化網絡參數是十分關鍵的。

眾所周知，RBM是一個能量模型，而能量又與概率緊密相連，因此RBM網絡通過最小化能量函數，等價于進行極大似然估計，以此來更新網絡參數，達到優化目標函數的目的。能量函數具體如式（4）所示：

通過最小化能量函數得到網絡的參數。優化方法采用的是Hinton提出來的對比散度（contrastive divergence，CD-k）算法[14]。與Gibbs采樣不同，CD-k算法使用訓練樣本初始化v0，這樣僅需要較少的抽樣步驟，一般一步就可以得到足夠好的近似。

這樣便可利用對比散度算法對目標函數進行優化，得到相應的網絡參數，根據式（3）計算隱藏層的每個神經元的激活概率，即得到每個輸入文本向量的高維特征表示。由于每一維的權重對應隱藏層神經元的激活概率，這不僅解決了前面提到的“布爾模型表示的微博向量由于沒有公共特征詞導致明明互為上下文有很大聯系的兩條微博的相似度卻為0”的問題，而且利用RBM模型抽取的特征表示微博在一定程度上更能反映微博的內在結構。

3.4 基于圖排序模型識別微博觀點信息算法

本文利用圖排序模型的主要算法思想為鄰域思想：如果一條微博與一些具有正向（負向、中性）的觀點的微博互為上下文，那么該微博的觀點很有可能為正向（負向、中性）。因此，基于圖排序模型的微博觀點信息識別算法過程如下所示。和式（2）迭代更新微博觀點傾向直至收斂。

其中本文所用的基礎分類器邏輯回歸使用L1正則化，這樣保證了得到的解的稀疏性。

4 實驗與分析

4.1 數據集與預處理

本文所用的數據來自COAE2015中文評測任務2.1發布的語料，總共約15 000條微博，共分為51個主題，每條微博包括用戶名、所屬主題號、文檔號、線程號、父節點號、孩子節點號、微博內容及對應的標簽。其中訓練集有對應的觀點傾向標簽，但測試集沒有。數據的預處理過程如下所示。

預處理流程說明：由于微博語言的自由隨意性使得在普通文本中沒有實際意義的詞或短語有可能在微博中帶有某種觀點傾向，在本次預處理中并未對停用詞進行過濾。

4.2 實驗設置

預處理工作之后，本文根據基于圖排序模型的微博觀點信息識別算法的具體流程對語料進行處理與分析。

此外，為了驗證Logistic Regression算法在處理微博等稀疏文本時的有效性，本文另設置了一組利用SVM作為分類器算法的對比實驗，特征權重計算方法采用TF-IDF，特征選擇采用信息增益。實驗過程中采取5倍交叉驗證。另外，使用Lib-SVM[15]作為分類工具，核函數使用線性核，其他參數設置為默認值。

為了進一步驗證使用表情符號標注訓練集是否能提高模型效果，還設置一組加入表情符號標注的微博作為訓練集，利用Logistic Regression作為分類器進行對比實驗，目標函數使用L1正則化項。

4.3 實驗結果分析

在整個數據集上，本文算法的實驗結果如表2所示。從表2中可以看出，與其他單位所提交的12個模型相比，本文算法無論是整體的準確率，還是整體的F值，都是最高的，這表明本文算法在微博觀點信息識別問題上的有效性。

此外對于每一種觀點類別，本文算法在精確率和召回率上都表現相對平衡，說明了算法更加穩定，有比較強的魯棒性。

分析可能的原因，主要有以下三點：

（1）引入了基于表情符號的方法增加訓練集，使得在訓練過程中分類器可以學習到更多的知識，基于上述方式訓練得到的每條微博的偽標簽具有更高的置信度。該部分工作為后續基于圖排序模型來迭代更新微博觀點傾向打下了堅實的基礎；同時也說明了本文基于表情符號的無監督的標注方法在微博數據集上的有效性。

（2）構建了微博的上下文關系圖，利用其“鄰居微博”的標簽來迭代更新，該方法不僅利用了文本數據的信息，同時利用了社交網絡中的關系式數據的信息。實驗表明，這樣的上下文關系信息對判斷極其稀疏的微博數據有著至關重要的作用。

Table 2 Result comparison of different methods表2 各個方法的結果比較

（3）本文運用RBM抽取微博的高維特征表示，既解決了具有上下文關系的微博相似度可能為0的問題，也為計算微博間的相似度提供了更豐富的特征，因此實驗結果相對更精確，算法相對于對比方法更為魯棒。

對于LR+算法，雖然與最好效果有一定差距，但是與提交的所有結果的平均值Median相比，整體準確率高出3.2%，整體F值高出均值5.2%，說明該算法有一定的優勢。究其原因：一方面，加入L1正則項的邏輯回歸保證了解的稀疏性，這在處理微博這樣的稀疏數據可能更加有效；另一方面，本文算法所使用的訓練集加入了利用表情符號標注的部分微博數據，更多的訓練數據給算法提供更多的知識，學習的模型泛化能力相對更強一些。

而對于SVM算法，在此數據集上的效果并不理想，整體的準確率和F值都沒有達到平均水平。分析原因，有以下兩點：（1）數據比較稀疏，SVM在處理稀疏數據上并不能保持其足夠的優勢；（2）在進行特征選擇的過程中，可能丟掉了一些帶有強烈情感傾向的特征詞。同時這也說明，對于處理微博這種比較稀疏的數據，保留其完整的特征可能對分析更加有利。

綜上可知，對于微博等社交網絡中的數據，除了文本信息之外，充分利用其特有的關系數據來輔助進行觀點信息識別，在一定程度上可以彌補傳統的文本觀點分析方法在處理微博這類短文本數據觀點分析上的不足。

5 結束語

本文提出了一種基于圖排序模型的微博觀點信息識別算法。首先對于給定的訓練數據，為了減少人工標注數據的代價，利用微博含有豐富的表情符號資源來標注部分微博數據；然后利用邏輯回歸訓練模型，對測試集進行分類，得到微博的偽標簽；最后通過構建微博上下文關系圖，基于圖排序的思想對微博的觀點信息進行分析，從而實現了基于上下文知識的微博觀點信息識別。實驗結果表明，本文算法可以有效地實現微博觀點信息的識別。本文主要基于微博間的關系構建微博上下文關系圖，而微博中的網絡關系數據不僅僅有微博間的關系，還有用戶之間的相互關注關系等，如何更好地利用其他關系數據對微博進行觀點信息識別，也是未來工作的一個研究方向。

[1]Pang Bo,Lee L.Opinion mining and sentiment analysis[J].Foundations and Trends in Information Retrieval,2008,2(1/2):1-135.

[2]Hu Xia,Tang Lei,Tang Jiliang,et al.Exploiting social relations for sentiment analysis in microblogging[C]//Proceedings of the 6th International Conference on Web Search and Data Mining,Rome,Feb 4-8,2013.New York:ACM,2013:537-546.

[3]Tang Duyu,Wei Furu,Qin Bing,et al.Building large-scale twitter-specific sentiment lexicon:a representation learning approach[C]//Proceedings of the 25th International Conference on Computational Linguistics,Dublin,Aug 23-39,2014.Stroudsburg:ACL,2014:172-182.

[4]Kiritchenko S,Zhu Xiaodan,Mohammad S M.Sentiment analysis of short informal texts[J].Journal of Artificial Intelligence Research,2014,50:723-762.

[5]Thelwall M,Buckley K,Paltoglou G.Sentiment strength detection for the social Web[J].Journal of the American Society for Information Science and Technology,2012,63(1):163-173.

[6]Thelwall M,Buckley K,Paltoglou G,et al.Sentiment strength detection in short informal text[J].Journal of the American Society for Information Science and Technology,2010,61(12):2544-2558.

[7]Liu Kunlin,Li Wujun,Guo Minyi.Emoticon smoothed language models for twitter sentiment analysis[C]//Proceedings of the 26th AAAI Conference on Artificial Intelligence,Toronto,Jul 22-26,2012.Menlo Park:AAAI,2012:1-7.

[8]Tan Chenhao,Lee L,Tang Jie,et al.User-level sentiment analysis incorporating social networks[C]//Proceedings of the 17th International Conference on Knowledge Discovery and Data Mining,San Diego,Aug 21-24,2011.New York:ACM,2011:1397-1405.

[9]Aoki S,Uchida O.A method for automatically generating the emotional vectors of emoticons using weblog articles[C]//Proceedings of the 10th International Conference on Applied Computer and Applied Computational Science,Venice,Mar 8-10,2011.Stevens Point:WSEAS,2011:132-136.

[10]Zhao Jichang,Dong Li,Wu Junjie,et al.Moodlens:an emoticon-based sentiment analysis system for Chinese tweets[C]//Proceedings of the 18th International Conference on Knowledge Discovery and Data Mining,Beijing,Aug 12-16,2012.New York:ACM,2012:1528-1531.

[11]Jiang Long,Yu Mo,Zhou Ming,et al.Target-dependent twitter sentiment classification[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies,Portland,Jun 19-24,2011.Stroudsburg:ACL,2011:151-160.

[12]Abelson R P.Whatever became of consistency theory?[J].Personality and Social Psychology Bulletin,1983,9(1):37-64.

[13]Smolensky P.Information processing in dynamical systems:foundations of harmony theory[M]//Parallel Distributed Processing:Explorations in the Microstructure of Cognition.Cambridge:MIT Press,1986:194-281.

[14]Hinton G E.Training products of experts by minimizing contrastive divergence[J].Neural Computation,2002,14(8):1771-1800.

[15]Chang C C,Lin C J.LIBSVM:a library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,2(3):27.