基于位置權重的歌詞情感分析

杜敦英 竹翠 朱文軍 趙楓朝

摘要：結合目前從音頻和歌詞角度對歌曲情感分析的研究以及歌詞文本獨有特點，提出一種基于文本標題與位置權重相結合的歌詞情感分析方法。該方法考慮到出現在不同位置的特征詞權值對于歌詞分類的影響程度，采用層次分析法計算文本標題、歌詞文本前、中、后不同位置特征詞的位置權重。通過樸素貝葉斯、最大熵模型、支持向量機等不同分類器的訓練實現歌曲快樂、傷感、安靜、激昂4種情感分類。實驗表明，加入文本標題與位置權重后的最優F1值相比之前提升了4個百分點，證明了該方法在提升歌詞情感分類性能方面的有效性。

關鍵詞：歌詞情感分析;情感分類;樸素貝葉斯;最大熵模型;支持向量機;位置權重

Research on Lyric Sentiment Analysis Based on Position Weight

DU Dun?ying，ZHU Cui，ZHU Wen?jun，ZHAO Feng?chao

（Department of Informatics，Beijing University of Technology，Beijing 100124，China）

Abstract：Combining the current research on emotional analysis of songs from the perspective of audio and lyrics and the unique characteristics of lyrics text，we propose a method on lyrics sentiment analysis which is based on the text title and position weight.The algorithm takes into account of the influence degree of the feature words appearing in different positions on the classification of the songs. AHP is used to calculate the position weights of the text title， the front， middle and back of the text in different positions and trained by the NB， ME， SVM different classifier ，songs are finally divided into four emotional classification including happiness， sadness， quietness and passion. Experiments show that the optimal F1 value after adding the text title and position weight is increased by 4 percentage points， which proves the effectiveness of this method in enhancing the performance of lyric sentiment classification.

Key Words：lyric sentiment analysis; sentiment classification;NB;ME;SVM; position weight

0?引言

隨著人工智能、模式識別技術的飛速發展和人民生活品質的提高，音樂成為生活中必不可少的交流媒介之一。音樂通常蘊含豐富的情感，由于信息檢索系統及音樂推薦系統的需要，情感分類技術[1?4]應運而生并成為當今研究熱點。

歌曲可以通過演唱風格、音樂編曲形式、歌詞等多角度表達歌曲情感。歌曲情感分類研究主要基于音頻分析[5]、歌詞分析以及兩者相結合的研究形式。對于一首廣為流傳的歌曲，副歌部分往往傳唱度最高，強烈的情感從該處體現，因此每首歌不同詞的位置對于整首歌曲情感的表達有重要作用。本文將歌詞文本分為開頭、中間、結尾3個部分以區分不同位置的特征詞，然后結合標題與歌詞文本開頭、中間、結尾4個不同位置，通過計算位置因子，采用不同分類模型融合探究歌詞情感分類問題。

1?相關研究

目前，對歌曲情感的分類研究大都從音頻和歌詞的角度進行分析，在音頻研究中，常見通過從音樂節奏、旋律音頻數據中提取相關情感特征進行歌曲情感分析。Lee J Y等[6]在2014年提出基于音樂高光檢測的音樂情感分類方法，應用高斯混合模型和AdaBoost算法，將節奏特征與音色特征相結合并基于音樂高光片段改善音樂情感分類性能。2015年，趙偉[7]以多音軌角度為出發點，提取聲學5個方面的特征，利用BP神經網絡模型進行100多次訓練，最后將音樂情感分為8個類別，在給定誤差范圍內準確率大于90%，取得了較好效果。2017年，Lin 等[8]提出基于two-level的支持向量機模型的音樂情感識別系統，以二分法為每個音樂剪輯分配一個情感類別，將流行、搖滾、爵士、藍調等不同類型的音樂進行快樂、悲傷、平靜、憤怒4種類別的情感分類，也取得了不錯的效果。在歌詞研究方面，2008年He 等[9]著眼于如何在歌詞本文中提取有意義的語言特征以輔助進行音樂情感分類，在著名的n-gram語言模型框架下，提出了3種預處理方法和一系列具有不同階數的語言模型以提取更多的語義特征。王靜[10]在基于歌詞的音樂情感分析中采用ME、SVM、LDA 3種分類模型研究歌詞對情感分類的影響。Turney[11]提出了無監督學習逐點互信息情感分類方法，通過把每篇文本中的所有具有情感傾向的短語的情感傾向值相加，根據平均情感傾向判斷文本整體情感傾向。夏云慶等[12]提出基于情感向量空間模型的歌詞情感分析方法，該模型考慮了特征定義中的情感單元，采用更具有區分性的支持向量進行歌曲情感分類研究，結果顯示基于文本的方法比基于音頻的方法更有效[13]。在結合歌詞分析與音頻分析的研究中，2011年，孫向琨[14]提出基于向量夾角的多標記k近鄰算法，將該方法與TF-IDF算法結合，以情感詞多義性為研究對象進行音樂情感分類研究。2012年，程一峰[15]提出基于TF-IDF音頻和歌詞特征融合模型的音樂情感分析研究，首先利用單一模態的歌詞特征對音樂進行情感分析，再通過融合歌詞和音頻兩種模態，構建SVM分類器進行音樂情感分析。2017年，Abburi等[16]演示了一種使用歌詞和音頻信息提取歌曲情感的方法，研究發現通過整首歌曲表現情感的情況非常少見，因為完整的歌曲將包含更多令人困惑的信息（特征），而在音頻方面，一首歌曲的前30秒對于檢測歌曲的情感比歌曲的最后30秒或從整首歌曲中獲得的效果都好。

以上研究思路都未考慮特征詞位置信息這一重要因素。歌詞文本不同于微博短文本、淘寶評論等文本，歌詞文本的明顯特征是文本中有重復特征詞，特別是副歌部分，往往含載了豐富的情感，所以不同特征詞的位置對情感分類具有影響。因此從文本角度出發，采用樸素貝葉斯、最大熵模型、支持向量機3種模型研究特征詞位置對歌詞情感分析的影響。

2?算法框架與原理

2.1?歌詞情感分析流程

在了解中文文本分類方法基本原理和相關技術并明確中文文本分詞的基礎上，進行歌詞情感分析，流程包括：①通過基于方差的卡方檢驗CHI進行合理的特征選擇，以挑選出有效的、能夠表達情感的詞匯作為研究特征項;②詳細分析中文歌詞與情感的關系，結合CHI構建適用于本研究的情感詞匯表;③引入位置因子概念表示該位置特征詞對情感分類的影響程度，基于TF-IDF算法采用統計的方法，對特征詞進行詞頻統計，并結合位置因子計算各特征詞位置權重;④在純歌詞文本加上文本標題并結合位置權重的基礎上依次進行遞進實驗，采用NB、ME、SVM訓練多個二值分類器，并基于投票機制確定歌詞最終的情感類別。

歌詞情感分析整體架構如圖1所示。

圖1?歌詞情感分析流程

2.2?樸素貝葉斯算法

樸素貝葉斯算法（Naive Bayes，NB）是基于貝葉斯定理與特征條件獨立性假設的分類方法[17]。隨機變量X表示輸入特征向量，隨機變量Y表示輸出類別標簽，給定訓練數據集：

其中，?x?i=（x（1）?i，x（2）?i，…，x（n）?i）表示第i個樣本有n維，y?i={c?1，c?2，…，c?k}表示共有k個類別。

計算訓練集所有樣本中每個類別的先驗概率：

對每個特征屬性取值，分別計算所屬類別條件概率：

其中，x（j）?i表示第i樣本中的第j個特征;a?jl表示第j個特征可能取的第l個值;I是一個指示函數。

對于未知標簽的數據樣本，通過學習到的模型計算后驗概率分布，設x=（x（1），x（2），…，x（n））?T?，則：

因分母對所有?C?k?相同，可省略，將后驗概率最大的類作為當前文本情感類別：

當概率值為0時會對后驗概率計算結果造成偏差，影響最終分類性能，因此在實驗計算過程中引入拉普拉斯平滑的貝葉斯估計方法解決該問題。

2.3?最大熵模型

最大熵原理由Jaynes提出，他認為在學習概率模型時，在所有可能的概率模型分布中，熵最大的模型為最佳模型。其中熵又稱為自信息，是衡量一個隨機變量的不確定性指標。隨機變量熵值越大，表示不確定性越大。如果X是一個離散型隨機變量，取值空間為?R，其概率分布為P（X=x?i）=p?i，i=1，2，…，N，則X熵H（p）定義為：

最大熵模型（Maximum Entropy Model，ME）是基于最大熵原理提出的，學習目標是用最大熵原理選擇最好的分類模型[17]。最大熵分類尋找一個關于p（y|x）的模型，使模型在滿足相關約束條件下，使條件熵最大。ME的學習過程是求解最大熵模型的過程，對于給定的訓練數據集?T={（x?1，y?1），（x?2，y?2），…，（x?N，y?N）}（其中x?i為訓練樣本，y?i為樣本x?i類別）以及特征函數fi（x，y），i=1，2，…，n?，ME的學習可以形式化為約束最優化問題。

為簡化問題求解，通過構造拉格朗日函數將帶約束的原始問題轉換為無約束的最優化對偶問題，求解出ME一般形式。

2.4?支持向量機

支持向量機（Support Vector Machine，SVM）是經典機器學習算法處理分類問題時使用最廣泛的機器學習模型之一，在解決小樣本、非線性及高維模式識別中表現出獨特優勢。SVM的基本思想是在向量空間中尋找一個分類超平面，超平面需讓所有樣本點中距離超平面最近的訓練樣本點具有最大幾何間隔，從而使超平面具有唯一性[17]。利用該平面對兩類數據進行正確劃分，給定數據集為：

其中?x?i?∈R?n，y?i∈{-1，+1}，i=1，2，3，…，N。

尋找幾何間隔最大的超平面可以表示為帶約束的最優化問題。

其中γ表示最大化超平面關于訓練集的幾何間隔，約束條件表示超平面關于每個訓練樣本點的幾何間隔至少是γ。通過函數間隔與幾何間隔γ=/‖w‖的關系，取=1，最大化1/‖w‖等價于最小化‖w‖?2/2，使最優化問題變為：

線性可分支持向量機最優化問題，以它作為原始最優化問題，應用拉格朗日對偶性引入拉格朗日乘子?α?構造拉格朗日函數，其中最優化問題變為：

通過SMO算法求得最優解，然后計算：

最后求得“最大間隔”超平面為：

分類決策函數為：

2.5?CHI特征選擇方法

卡方檢驗CHI[18]是一種常用的特征選擇方法，假設特征詞?t與類別c相互獨立，通過觀察理論值與實際值的偏差確定假設是否正確，以此度量特征詞t與類別c的相關程度。二者之間的卡方值計算公式為：

其中參數N為數據集中歌詞文本總數，A為包含特征詞t且屬于類別c的文本數，B為包含特征詞t但不屬于類別c的文本數，C為不含特征詞t但屬于類別c的文本數，D為不含特征詞t且不屬于類別c的文本數。

可以看出，N是不變的，所以式（14）分子中的N和分母中的（A+C）（B+D）可以省略。

卡方值越小，說明特征詞t與類別c相互獨立性越大，即假設正確，二者不相關;反之若卡方值越大，則表示假設錯誤，說明特征詞t與類別c緊密相關。

2.6?TF-IDF傳統權重算法

詞頻-逆向文件頻率（Term Frequency-Inverse Document Frequency，TF_IDF）用以評估特征詞對于訓練數據集中的某個文本的重要程度。其主要思想是：若某個特征詞在當前文本中出現得頻率高，同時在其它文本中很少出現，那么認為該特征詞具有很好的類別區分能力。TF?ID?F由兩部分組成，詞頻（Term Frequency，TF）表示特征詞在文檔d中出現的頻率。對于在某一特定文本的特征詞來說，其重要性可表示為：

其中n?i，j是該特征詞t?i在文件d?j中出現的次數，分母表示在文件d?j中所有特征詞出現的次數之和。

逆向文件頻率（Inverse Document Frequency，IDF）的主要思想是：如果包含特征詞t的文本越少，則說明特征詞t具有很好的類別區分能力。逆向文件頻率是一個特征詞普遍重要性的度量。某一特征詞的IDF可以由總文本數目除以包含該特征詞的文本數目，再將得到的商取對數得到，表示為：

其中log的分子表示數據集文本總數，分母表示包含詞語?t?i?的文本數目，一般情況下以分母加1的形式防止分母為0 。

IDF結構簡單，不能有效反映單詞重要程度和特征詞分布情況，即未考慮位置信息，無差別處理在文本不同位置的詞語，但對于歌詞文本來說，文本標題特征詞的重要程度跟文本中間或文本前后特征詞重要程度不同。因此可以將處于文本不同位置的特征詞賦予不同的權重。

3?基于位置權重算法分析

3.1?基本思想

鑒于傳統的特征權重計算算法TF-IDF認為文本中出現靠前的特征詞和靠后的特征詞重要性相同，無法體現特征詞位置信息的特點，基于位置權重算法提出一種新的特征權重算法，在歌詞情感分析場景中，考慮到歌詞文本不同于微博短文本、淘寶評論等文本，歌詞文本最不可忽略的一點就是文本中有重復的特征詞，特別是副歌部分，或對情感分類產生影響。基于此將歌詞文本分為前、中、后3個部分以區分不同位置特征詞，然后結合文本標題與歌詞文本前、中、后4個不同位置，利用AHP分別置于不同位置因子，面向不同位置特征詞的位置因子進行分組實驗。

3.2?AHP位置權重算法

借鑒TF-IDF中詞頻思想，對特征詞進行詞頻統計，加入文本標題，利用文本前、中、后不同位置的位置因子計算每個特征詞權重，通過位置因子表示不同位置特征詞對最終情感分類的貢獻程度。定義TTFL為基于文本標題和位置權重的算法，其中TTFL=T*TF*L，TF表示特征詞在當前文本中的詞頻，T代表文本標題的位置因子，L代表文本歌詞文本前、中、后不同位置的位置因子。在計算位置因子時，根據AHP[19]求解。AHP算法原理是將復雜評價指標排列為一個有序、遞階層次結構的整體，然后在各評價指標間進行兩兩比較、判斷，計算各評價指標的相對重要性系數，即權重。具體步驟如下：

（1）構建兩兩比較的判斷矩陣。判斷矩陣合理性受標度合理性影響的程度。標度是指評價者對各個評價指標重要性等級差異量化概念。針對歌曲情感分類，假設比較n個位置因子X={x?1，x?2，…，x?n}對歌曲最后情感類別C的影響大小，兩兩比較建立判斷矩陣A=（rij）n×n。

x?i與x?j對C的影響之比為r?ij，判斷矩陣A=（r?ij）n×n滿足：

上述矩陣為正互反矩陣，參考1-9標度比例標度法判斷矩陣構建，如表1所示。

其中n為4，假設用x?1、x?2、x?3、x?4表示文本標題和歌詞文本前、中、后的位置因子，則判斷矩陣A為：

（2）層次單排序。計算判斷矩陣A的最大特征根λ和其對應的歸一化后的特征向量：

由此得到特征向量是文本標題和歌詞文本前、中、后的位置因子。λ和W的計算方法為：

步驟1：矩陣每一列歸一化得到新矩陣B：

步驟2：對按列歸一化的矩陣B再按行求和：

W?i=∑nj=1B?ij，i=1，2，…，n（20）

步驟3：將向量歸一化得到最終的特征向量：

步驟4：計算最大特征根：

（3）檢驗判斷矩陣?A?的一致性。檢驗判斷矩陣一致性是指當需要確定權重的指標較多時，矩陣內初始權數可能出現矛盾，對于階數較高的判斷矩陣，難以直接判斷其一致性，需要進行一致性檢驗。但本文由于指標個數較少，故不作一致性檢驗。

經過AHP算法計算后的位置因子將分別作為TTFL中的T和L進行實驗驗證，當某個特征詞屬于文本標題的特征詞時，公式中T代入為相應的位置因子，而L取值為1，反之L代入歌詞文本前、中或后的特征詞位置因子，此時T取值為1。

4?實驗驗證與結果分析

4.1?實驗數據來源與預處理

由于本文研究對象是中文歌曲的多情感分類問題，為保證數據可信度，抓取酷狗音樂、酷我音樂4個類別下的歌詞文本，其中去除中混雜或居多的歌詞文本后，各類別分別計300篇，共計1 200篇歌詞文本作為實驗最終數據集。

中文分詞采用的是結巴分詞中的精確模式，切分歌詞文本最精確部分，并去掉停用詞、消除歧義詞。在特征提取方面，利用CHI計算特征詞與類別卡方值，排序構建固定維度的情感詞典以將每個歌詞文本轉成統一維度的詞向量。

4.2?實驗過程

本文基于歌詞文本和文本標題以及位置權重進行歌曲情感分類。在分類器訓練過程中以二值分類器為基準，基于4種類別訓練?C?2?4個二分類器，將數據樣本分別在C?2?4個分類器進行訓練，最后利用C?2?4?個分類器投票，投票最高的類別作為當前樣本的最終情感類別。實驗中選用的分類器模型是樸素貝葉斯、最大熵模型、支持向量機，其中ME的最大迭代次數max_iter和SVM目標函數懲罰參數?C?設置為50，SVM使用默認徑向基核函數。

4.3?實驗結果與分析

對不同特征維度、文本標題和位置權重進行多組對比實驗。在對分類器性能進行評測時，應用最常用的K折交叉驗證隨機將數據劃分為K個大小相同的子集，使用（K-1）個子集數據作為訓練集，剩下的子集作為測試集進行多組實驗，最后選用性能最好的模型作為最終結果。以準確率、召回率、F?1值作為評價指標進行衡量。

實驗1將中文歌詞文本分詞后，通過CHI算法構建不同維度情感詞典，并將歌詞文本按照詞頻轉成相應維度詞向量，對文本標題不作考慮，并且認為歌詞文本中每一位置的特征詞重要程度相同，實驗結果如圖2所示。

圖2中橫坐標軸代表3種不同分類器，縱坐標軸表示4種情感類別最終分類準確率，實驗從不同特征維度分別進行3個分類器的訓練，可知取特征數為5 000時的效果優于其它維度時的效果，其中SVM分類效果最好。

標題是對一篇文章內容的高度概括，代表文章主體意思，歌詞標題亦然，因此實驗2在之前基礎上將文本標題也作為特征詞加入，實驗結果如圖3所示。

分析結果可知，相比于之前只考慮純文本歌詞的情況，在加入文本標題的特征詞后分類結果較之前有一定提升。

實驗3綜合考慮歌詞文本結合文本標題，對不同位置特征詞位置因子進行實驗，設文本標題特征詞位置因子和歌詞文本中間位置的特征詞位置因子相等，且大于其它兩個位置特征詞位置因子，其中位置因子表示權重，具體值由AHP算法計算得到。實驗表明，在考慮文本標題的同時衡量位置權重，在一定程度上影響了歌曲情感，此時經AHP計算出的位置因子只有兩個值，分別代表文本標題、歌詞文本中間特征詞和歌詞文本前、后特征詞的權重。當特征數是5 000時，屬于NB持平的狀況，而ME提高了1個百分點，SVM精確率達到了88%。

與實驗3相比，實驗4認為文本標題的特征詞位置因子最大，歌詞文本中間位置的特征詞位置因子次之，其它兩個位置的特征詞位置因子最小且相等，特征數為5 000，實驗結果如圖4所示。

本次實驗顯示，經AHP計算的4個位置因子及樸素貝葉斯分類器分類效果明顯提高，整體效果仍然優于不考慮位置權重時的情況。

基于實驗1、實驗2、實驗4的比較如表2和圖5所示。表2和圖5分別展示的是不同分類器在加入不同考慮因素時，?F?1值和精確率的比較，其中表2中x軸表示分類器，y?軸表示遞進增加的考慮因素。可以看出本文提出的基于位置權重的歌詞情感分類方法將歌曲類別分為快樂、傷感、安靜、激昂，比只用歌詞文本的分類性能[20?21]有明顯提升，進一步說明特征詞位置因素對最終歌詞情感分類情況是有影響的。

5?結語

本文提出利用融合文本標題和基于位置權重的歌詞情感分析方法，衡量不同位置特征詞對分類的影響，并通過實驗證明了相對于現有特征權重計算方法和歌詞情感分析研究，加入特征詞位置權重后不僅節省執行時間，對于歌詞情感分類效果也明顯提升。后續研究將對位置權重進行更加深入的分析，擴大場景應用范圍。在影評、詩歌、商品評論等領域場景及微博熱搜榜詞條、新聞標題黨檢測方面也可借鑒位置權重以提高情感分類性能。

參考文獻：

[1]?WU H， LI J， XIE J. Maximum entropy?based sentiment analysis of online product reviews in Chinese[C].International Conference on Automotive Engineering， Mechanical and Electrical Engineering， 2017：559?562.

[2]?WANG C， JIA Y， HUANG J M， et al. Retweet prediction in Sina Weibo based on entity?level sentiment analysis[C]. International Conference on Artifial Intelligence，2017：343?350.

[3]?KAUTER M V D， BREESCH D， HOSTE V. Fine?grained analysis of explicit and implicit sentiment in financial news articles[J]. Expert Systems with Applications， 2015， 42（11）：4999?5010.

[4]?YANG H L， CHAO A F. Sentiment analysis for Chinese reviews of movies in multi?genre based on morpheme?based features and collocations[J]. Information Systems Frontiers， 2015， 17（6）：1335?1352.

[5]?張偉，謝湘.基于HMM的音樂情感識別研究[C].全國人機語言通訊學術會議， 2007：1?5.

[6]?LEE J Y， KIM J Y， KIM H G. Music emotion classification based on music highlight detection[C].International Conference on Information Science and Applications， 2014：1?2.

[7]?趙偉.基于BP神經網絡的音樂情感分類及評價模型[J]. 電子設計工程， 2015（8）：71?74.

[8]?LIN C， LIU M， HSIUNG W， et al. Music emotion recognition based on two?level support vector classification[C]. International Conference on Machine Learning and Cybernetics， 2017：375?389.

[9]?HE H， JIN J， XIONG Y， et al. Language feature mining for music emotion classification via supervised learning from lyrics[C].?Third International Symposium on Advances in Computation and Intelligence，2008：426?435.

[10]?王靜.基于歌詞的音樂情感分類技術研究[D].沈陽：東北大學， 2012.

[11]?TURNEY P D. Thumbs up or thumbs down？ Semantic orientation applied to unsupervised classification of reviews[C].Meeting on Association for Computational Linguistics， 2002：417?424.

[12]?XIA Y， WANG L， WONG K F， et al. Sentiment vector space model for lyric?based song sentiment classification[C]. Meeting of the Association for Computational Linguistics on Human Language Technologies： Short Papers，2008：133?136.

[13]?夏云慶，楊瑩，張鵬洲，等.基于情感向量空間模型的歌詞情感分析[J].中文信息學報，2010，24（1）：99?104.

[14]?孫向琨.音樂內容和歌詞相結合的歌曲情感分類方法研究[D].蘇州：蘇州大學， 2011.

[15]?程一峰.基于TF?IDF的音頻和歌詞特征融合模型的音樂情感分析研究[D].重慶：重慶大學， 2012.

[16]?ABBURI H， SAI E， GABGASHETTY S V， et al. Multimodal sentiment analysis of Telugu songs[C].Proceedings of the 4th Workshop on Sentiment Analysis where AI meets Psychology ，2016：?48?53.

[17]?李航.統計學習方法[M].北京：清華大學出版社， 2012.

[18]?邱云飛，王威，劉大有，等.基于方差的CHI特征選擇方法[J].計算機應用研究，2012，29（4）：1304?1306.

[19]?王學軍，郭亞軍，蘭天.構造一致性判斷矩陣的序關系分析法[J]. 東北大學學報：自然科學版， 2006， 27（1）：115?118.

[20]?DAKSHINA K， SRIDHAR R. LDA based emotion recognition from lyrics[M].Newyork：Springer International Publishing， 2014.

[21]?YANG D， LEE W S. Music emotion identification from lyrics[C]. IEEE International Symposium on Multimedia， 2009：624?629.