基于邏輯回歸的中文在線評論有效性檢測模型

吳含前 朱云杰 謝 玨

(1東南大學(xué)計算機科學(xué)與工程學(xué)院, 南京 210018)(2東南大學(xué)-蒙納士大學(xué)蘇州聯(lián)合研究生院, 蘇州 215123)

?

基于邏輯回歸的中文在線評論有效性檢測模型

吳含前1朱云杰1謝 玨2

(1東南大學(xué)計算機科學(xué)與工程學(xué)院, 南京 210018)(2東南大學(xué)-蒙納士大學(xué)蘇州聯(lián)合研究生院, 蘇州 215123)

為了實現(xiàn)電子商務(wù)和社交網(wǎng)絡(luò)中文在線評論有效性的自動化檢測,提出了一種單一主題環(huán)境下基于邏輯回歸的垃圾評論檢測模型.中文在線評論有效性的檢測可以歸結(jié)為分類問題,結(jié)合中文在線評論的特點提取了9個特征以構(gòu)建分類模型;為獲取核心特征主題的相關(guān)度,采用基于關(guān)聯(lián)規(guī)則的評論名詞模式優(yōu)化了ICTCLAS中文分詞系統(tǒng)的主題識別,進而利用交叉語言模型獲取在線評論主題相關(guān)度.實驗中采取了人為標定的1 000條評論作為樣本,把支持向量機分類模型作為對比進行試驗,利用數(shù)據(jù)挖掘工具Weka進行計算.結(jié)果表明,采用優(yōu)化評論名詞模式下基于邏輯回歸的垃圾評論檢測模型結(jié)果的準確率達到83.54%,比支持向量機分類模型計算得到的準確率高2.10%.

在線評論有效性;邏輯回歸;關(guān)聯(lián)規(guī)則

電子商務(wù)領(lǐng)域中,在線評論對網(wǎng)購用戶購買決策起著關(guān)鍵的影響作用.2013年中國網(wǎng)絡(luò)購物市場研究報告指出:直至2013年12月,國內(nèi)網(wǎng)購用戶達到3.02×109人,37.5%的用戶在購買不熟悉產(chǎn)品時主要考慮的是用戶評價,其次為網(wǎng)站知名度和口碑[1].由于在線評論的好壞直接影響產(chǎn)品的銷售[2-3],電子商務(wù)網(wǎng)站中出現(xiàn)了大量誤導(dǎo)網(wǎng)購用戶的、具有惡意目的的評論;同時,由于網(wǎng)購用戶規(guī)模巨大,在線評論數(shù)量的爆炸式遞增,增加了網(wǎng)購用戶識別評論有效性的難度.因此,如何實現(xiàn)在線評論有效性的自動化識別成為了當前學(xué)術(shù)界和工業(yè)界的研究熱點.

結(jié)合評論內(nèi)容及其評論發(fā)布者,研究者們從以下2個方面對評論的有效性展開研究:① 評論者異常行為的檢測[4-6],即通過研究評論者制造無效評論的方式和目的來發(fā)現(xiàn)無效評論者,從而識別無效評論;② 評論內(nèi)容的檢測[7-9],將評論有效性識別歸結(jié)為基于監(jiān)督學(xué)習(xí)的文本分類問題,通過構(gòu)建分類模型識別無效評論.針對基于評論者異常行為的檢測,通常采取的方法包括:① 建立無效評論者檢測模型并對其打分[4],識別出無效評論制造者;② 采用關(guān)聯(lián)規(guī)則[5]發(fā)現(xiàn)異常評論模式并識別產(chǎn)生無效性評論行為,發(fā)現(xiàn)無效評論制造者.由于網(wǎng)站十分重視對評論者信息資源的保護,在實際研究中難以完整獲取評論者的行為信息,故對實際評論者行為檢測的研究較為困難.基于評論內(nèi)容有效性的檢測是目前的研究重點,最初工作可以追溯到Jindal等[7]對亞馬遜網(wǎng)站2.14×106位用戶編寫的5.8×106條英文評論中無效評論檢測的研究,給出了無效評論的定義,從評論內(nèi)容出發(fā)把無效評論劃分為不真實評論、僅針對品牌的評論以及無關(guān)評論3種類型,通過重復(fù)評論的檢測來識別不真實評論,并建立分類模型用于判別僅針對品牌的評論及無關(guān)評論.由于語言的差異性,這種基于英文評論的有效性檢測結(jié)果難以適用于在線中文評論的處理.

本文研究了單一主題環(huán)境下中文在線評論有效性的檢測問題.首先,結(jié)合中文評論特點,提取9個特征構(gòu)建了分類模型;然后,針對ICTCLAS中文分詞系統(tǒng)內(nèi)置名稱模式在單一主題中文評論環(huán)境下識別主題詞準確度不高的問題,提出了一種具有更高精度的基于關(guān)聯(lián)規(guī)則的評論名詞模式,并采用交叉語言模型來判斷評論名詞與主題的相關(guān)度;最后,利用邏輯回歸分類模型來檢測中文在線評論的有效性.實驗結(jié)果表明,該模型在中文在線評論的有效性檢測中能夠得到較高的檢測準確率.

1 評論有效性檢測分類模型

1.1 邏輯回歸分類模型

評論有效性檢測是一種典型的二值分類問題,通常利用分類模型進行研究.分類模型是通過對已知類別數(shù)據(jù)集進行學(xué)習(xí),構(gòu)造分類器來預(yù)測新數(shù)據(jù)的類別.數(shù)據(jù)集由特征值和類別組成,單條數(shù)據(jù)格式的表達式為{f1,f2,…,fn;y},其中,fj為特征值,y為類別.分類器可以采用邏輯回歸分類模型或者支持向量機分類模型來構(gòu)造.

邏輯回歸分類模型可以描述為

(1)

式中,hθ(x)為預(yù)測值;x為分類模型特征向量;θ為特征向量系數(shù).

邏輯回歸分類模型是基于最大似然估計來計算對應(yīng)特征向量系數(shù)的,即

(2)

(3)

由式(2)和(3)可得

(4)

最大似然估計為

(5)

基于邏輯回歸分類模型求解的關(guān)鍵是確定特征向量系數(shù).因此,針對中文在線評論有效的檢測需要結(jié)合中文評論內(nèi)容的特點來提取相應(yīng)的特征向量.

1.2 評論內(nèi)容特征提取

Jindal等[7]在關(guān)于英文在線評論有效性的研究中,基于評論、評論者和評論對象提取了36個評論特征,其中包括了針對評論文本內(nèi)容的7個特征,即評論正向情感詞、評論負向情感詞、評論與產(chǎn)品特性的相似度、品牌名個數(shù)、數(shù)字個數(shù)、大寫個數(shù)和由大寫構(gòu)成的單詞個數(shù).由于語言的差異性,上述7個特征只有評論正向情感詞和評論負向情感詞適用于中文評論.評論具有主觀性,應(yīng)包含評論者的情緒;如果評論中沒有情感特征,則為客觀表述,應(yīng)被判別為無效評論.針對中文在線評論,本文通過獲取評論中的顯式情感詞[10]與中文情感詞庫[11]來判別評論的情感特征,從而獲取評論正向情感度和評論負向情感度,即評論中包含贊揚產(chǎn)品的形容詞個數(shù)與貶低產(chǎn)品的形容詞個數(shù).

本文將評論主題相關(guān)度作為評論特征,以量化中文在線評論與評論主題之間的相關(guān)程度.

常規(guī)評論由評論對象和評論者態(tài)度構(gòu)成,應(yīng)具備一定的長度.而現(xiàn)實的在線評論網(wǎng)站上,評論中往往只具備評論者態(tài)度而無評論對象.無效評論制造者為吸引人們的注意力,往往會編寫較長的評論.因此,本文采用評論文本長度作為評論特征向量之一,評論文本長度即中文在線評論文本包含的字數(shù).

基于對實際評論的觀察和研究發(fā)現(xiàn),中文文本注重采用整齊的、排比的句型,多采用短句,評論者在編寫評論時,必定會合理使用標點符號.而垃圾評論制造者在編寫沒有主題的評論時,為快速表達出自己的想法和意愿,會產(chǎn)生不使用或濫用標點符號的情況.因此,本文采用評論標點數(shù)量和評論標點符號差異數(shù)量作為評論特征向量,其中評論標點數(shù)量是指評論中標點符號的總個數(shù),評論標點符號差異數(shù)量是指評論中標點符號類型的個數(shù).

同時,本文還引入了Bhattarai等[12]檢測博客空間中垃圾評論使用的3個特征向量:評論詞重復(fù)率(即中文在線評論中重復(fù)的中文字出現(xiàn)的比例)、評論名詞率(即評論詞性標注之后名詞所占的比例)和評論句子數(shù)量(即在線評論文本中句子的個數(shù)).

基于上述分析,針對中文在線垃圾評論檢測,本文共提取了9個評論內(nèi)容特征:評論正向情感度、評論負向情感度、評論主題相關(guān)度、評論文本長度、評論標點數(shù)量、評論標點符號差異數(shù)量、評論詞重復(fù)率、評論名詞率以及評論句子數(shù)量.其中,評論主題相關(guān)度的處理最為關(guān)鍵和復(fù)雜.

2 評論主題相關(guān)度

2.1 評論主題詞的提取

評論主題詞往往采用名詞來表示.目前,評論主題詞獲取的常用方式是通過中文分詞系統(tǒng)對評論進行分詞、詞性標注處理,然后提取分詞系統(tǒng)中內(nèi)置名詞模式標示的名詞.ICTCLAS是我國最具代表性的中文分詞系統(tǒng),其包含中文分詞和詞性標注的功能,分詞準確率達到98.45%.ICTCLAS考慮了文本的通用性,沒有針對評論的特殊處理方式,因此很多評論主題詞無法被ICTCLAS內(nèi)置名詞模式標示.

以電影《速度與激情6》影評中的一條評論為例:“這個系列的任何一部,一點劇情都記不住.”該評論中出現(xiàn)的主題詞包括 “系列”、“一部”和“劇情”.通過ICTCLAS處理之后,評論顯示為:“這個/rz系列/n的/ude1 任何/rz一/m部/q,/wd一點/m劇情/n都/d記/v不/d住/vi./wj”.在這條評論中,評論主題詞 “一部”沒有被標示出.考慮到相鄰2個詞性標注的組合關(guān)系可以歸結(jié)為有序關(guān)聯(lián)規(guī)則問題,因此,本文采用一種改進的Apriori算法以獲取評論名詞模式,從而在實際中提高中文評論主題詞的獲取精度.

本文采用關(guān)聯(lián)規(guī)則[13]來尋找具有最小支持度的評論名詞模式.通過關(guān)聯(lián)規(guī)則可從大量數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)項之間的相關(guān)關(guān)系,其規(guī)則形式可以表示為

X→Y

式中,X,Y為數(shù)據(jù)集中的非空子集.支持度是關(guān)聯(lián)規(guī)則計算中的一個主要指標,即所計算的關(guān)聯(lián)規(guī)則模式必須滿足預(yù)先設(shè)置的最小支持度.最小支持度計算數(shù)學(xué)表達式為

(6)

式中,c為非空子集X和Y同時出現(xiàn)的次數(shù);n為數(shù)據(jù)集中記錄總數(shù).

評論名詞模式是一種通過相鄰詞性標注組合關(guān)系得到的名詞模式.本文首先采用ICTCLAS中文分詞系統(tǒng)對評論集進行詞性標注,然后采用Apriori算法獲取評論名詞模式.在Apriori算法中,主要采用以下步驟尋找關(guān)聯(lián)規(guī)則:① 生成任意2個非空子集(如X和Y)的并集,若其在所有數(shù)據(jù)集空間中出現(xiàn)的次數(shù)超過用戶預(yù)先指定的值,則把該并集歸類到頻繁集中;② 根據(jù)頻繁集生成關(guān)聯(lián)規(guī)則.由于評論名詞模式主要尋找相鄰詞性標注的組合關(guān)系,采用Apriori算法在頻繁集生成過程中會產(chǎn)生大量的組合,這將導(dǎo)致Apriori算法性能下降.為此,本文對Apriori算法進行了如下修改:① 將數(shù)據(jù)集合中各詞性標注實現(xiàn)有序排列;② 頻繁集由相鄰詞性標注構(gòu)成.由此便可有效降低頻繁集生成規(guī)模,從而提高Apriori算法效率.

2.2 評論主題相關(guān)識別

獲取評論主題詞后,需要判斷這些主題詞與評論主題的相關(guān)度,可用Zhai等[14]提出的交叉語言模型來判斷名詞與主題之間的關(guān)系.該模型假定一個文檔是由一個目標短語向量和一個資料庫短語向量構(gòu)成的,即

θ1=αθcorpus+βθquery

(7)

式中,θ1為從評論集合中獲取的名詞向量;θcorpus為資料庫名詞向量;θquery為與主題相關(guān)的名詞向量;α,β分別為對應(yīng)于θcorpus,θquery的系數(shù),且α+β=1.

Zhang等[15]利用時間復(fù)雜度為O(klog(k))的算法來獲取交叉語言模型中的θ.交叉語言模型的簡單表述為

r=αp+βq

(8)

式中,r,p和q均為多維向量.

為計算q,先假設(shè)fi,pi分別為r,p中第i個詞出現(xiàn)的頻度.計算步驟如下:

① 計算pi/fi,按照從大到小的方式排列,結(jié)果為f1/p1>f2/p3>…>fk/pk.

③ 計算得到

將計算結(jié)果大于0的qi組成θquery,評論主題相關(guān)度可以通過計算單條評論中評論主題詞在θquery中的個數(shù)獲得.

3 實驗結(jié)果與分析

本文以電影《速度與激情6》的影評為目標評論對象進行實驗.首先,選取1 000條影評,讓5位研究生(編號為S1～S5)對其進行人工標示,將無效評論記為1,有效評論記為0;然后,將標示結(jié)果求和后取平均值,當平均值大于0.5時視為無效評論,反之則為有效評論.5位研究生對1 000條影評做出的有效評論和無效評論統(tǒng)計數(shù)量結(jié)果見表1.

表1 評論樣本人工標示的統(tǒng)計數(shù)量結(jié)果

為了獲取評論主題相關(guān)度和評論情感分析,在將評論文本轉(zhuǎn)換為評論文本特征向量的過程中需要對評論進行預(yù)處理.首先,構(gòu)建中文情感詞庫,根據(jù)該詞庫來判斷評論文本中形容詞的詞性.然后,利用時間復(fù)雜度為O(klog(k))的算法來建立評論主題詞庫,從而獲取評論主題相關(guān)度.除評論主題相關(guān)度和評論情感分析外,其他特征向量值都能直接從評論文本中獲取.

本文采用支持向量機分類模型作為對比,驗證基于邏輯回歸垃圾評論檢測模型的有效性.同時,為了驗證評論名詞模式在垃圾評論檢測中的效果,將ICTCLAS中文分詞系統(tǒng)的內(nèi)置名詞模式作為對比進行實驗.實驗共分5次進行,每次對1 000條樣本評論進行隨機排列,計算時采用開源的數(shù)據(jù)挖掘工具Weka,并利用基于十折交叉驗證法來獲取垃圾評論檢測模型的準確性.給定樣本評論的有效性檢測準確率結(jié)果見表2.

表2 樣本評論的有效性檢測準確率 %

由表2可知,采用本文提出的評論名詞模式較采用ICTCLAS中文分詞系統(tǒng)的內(nèi)置名詞模式在計算垃圾評論檢測模型時具有更高的準確率.在4種情況的對比試驗中,采用評論名詞模式下基于邏輯回歸的垃圾評論檢測模型準確率(83.54%)最高,比支持向量機分類模型計算得到的準確率高2.10%.

4 結(jié)語

目前國外學(xué)術(shù)界關(guān)于在線評論有效性的研究對象大都采用英文評論,由于語言的差異性,相關(guān)英文在線評論有效性檢測的研究成果難以推廣到中文評論的有效性檢測中.本文研究了單一主題環(huán)境下中文在線評論有效性的檢測問題.結(jié)合中文評論特點,從評論文本內(nèi)容中提取9個特征向量來構(gòu)建邏輯回歸分類模型;針對核心特征向量評論主題相關(guān)度的研究過程中,利用一種改進的Apriori算法來獲取評論名詞模式,從而提高了中文評論主題詞的識別精度,并基于交叉語言模型計算評論名詞與主題的相關(guān)度.實驗結(jié)果表明,基于邏輯回歸的中文在線評論有效性檢測模型在評論有效性檢測中表現(xiàn)出較高的檢測準確率.

References)

[1]中國互聯(lián)網(wǎng)絡(luò)信息中心. 2013年中國網(wǎng)絡(luò)購物市場研究報告[EB/OL]. (2014-04-21)[2014-10-20]. http://www.cnnic.cn/hlwfzyj/hlwxzbg/dzswbg/201404/t20140421_46598.htm.

[2]Karkare V Y, Gupta S R. A survey on product evaluation using opinion mining [J].InternationalJournalofComputerScienceandApplications, 2013, 6(2): 306-312.

[3]Sheibani A A. Opinion mining and opinion spam: a literature review focusing on product reviews[C]//2012SixthInternationalSymposiumonTelecommunications(IST). Tehran, Iran, 2012: 1109-1113.

[4]Lim E P, Nguyen V A, Jindal N, et al. Detecting product review spammers using rating behaviors[C]//Proceedingsofthe19thACMInternationalConferenceonInformationandKnowledgeManagement. New York, USA, 2010: 939-948.

[5]Jindal N, Liu B, Lim E P. Finding unusual review patterns using unexpected rules[C]//Proceedingsofthe19thACMInternationalConferenceonInformationandKnowledgeManagement. New York, USA, 2010: 1549-1552.

[6]Mukherjee A, Kumar A, Liu B, et al. Spotting opinion spammers using behavioral footprints[C]//Proceedingsofthe19thACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining. New York, USA, 2013: 632-640.

[7]Jindal N, Liu B. Opinion spam and analysis[C]//Proceedingsofthe2008InternationalConferenceonWebSearchandDataMining. New York, USA, 2008: 219-230.

[8]Ott M, Cardie C, Hancock J T. Negative deceptive opinion spam[C]//NorthAmericanChapteroftheAssociationforComputationalLinguistics-HumanLanguageTechnologies. Atlanta, Georgia, 2013: 497-501.

[9]Lin Y, Zhu T, Wang X, et al. Towards online review spam detection[C]//ProceedingsoftheCompanionPublicationofthe23rdInternationalConferenceonWorldWideWebCompanion. New York, USA, 2014: 341-342.

[10]Liu B. Sentiment analysis and opinion mining [J].SynthesisLecturesonHumanLanguageTechnologies, 2012, 5(1): 1-167.

[11]徐琳宏,林鴻飛,潘宇,等.情感詞匯本體的構(gòu)造[J].情報學(xué)報,2008,27(2):180-185. Xu Linhong, Lin Hongfei, Pan Yu, et al. Constructing the affective lexicon ontology [J].JournaloftheChinaSocietyforScientificandTechnicalInformation, 2008, 27(2): 180-185. (in Chinese)

[12]Bhattarai A, Rus V, Dasgupta D. Characterizing comment spam in the blogosphere through content analysis[C]//2009IEEESymposiumonComputationalIntelligenceinCyberSecurity. Nashville, TN, USA, 2009: 37-44.

[13]AL-Zawaidah F H, Jbara Y H, Abu-Zanona M A. An improved algorithm for mining association rules in large databases [J].WorldofComputerScienceandInformationTechnology, 2011, 1(7): 311-316.

[14]Zhai C, Lafferty J. Model-based feedback in the language modeling approach to information retrieval[C]//ProceedingsoftheTenthInternationalConferenceonInformationandKnowledgeManagement. New York, USA, 2001: 403-410.

[15]Zhang Y, Xu W. Fast exact maximum likelihood estimation for mixture of language model[J].InformationProcessing&Management, 2008, 44(3): 1076-1085.

Detection model of effectiveness of Chinese online reviews based on logistic regression

Wu Hanqian1Zhu Yunjie1Xie Jue2

(1School of Computer Science and Engineering, Southeast University, Nanjing 210018, China) (2Southeast University-Monash University Joint Graduate School, Suzhou 215123, China)

In order to realize automated detection of the effectiveness of Chinese online reviews in the context of e-commerce and social networks, a spam detection model based on logistic regression to solve single topic classification problem is proposed. The detection of effectiveness of Chinese online reviews can be regarded as a classification problem. According to the characteristics of Chinese online reviews, nine features are extracted to build the classification model. In order to extract the core feature-topic relevance, an association rule based review term mode is utilized to optimize the topics identification in ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System). The cross language model is then used to retrieve relevancy between online review topics. In the experiment, a sample of 1 000 human-labeled reviews is used, and the support vector machine (SVM) classification model is adopted as a comparison. The calculation results of the data mining tool Weka demonstrate that the accuracy rate of the proposed logistic regression classification model based on the optimized review term classification mode is 83.54%, which is 2.10% higher than that of the SVM classification model.

effectiveness of online review; logistic regression; association rule

10.3969/j.issn.1001-0505.2015.03.004

2014-12-05. 作者簡介: 吳含前(1972—)，男，博士，副教授，hanqian@seu.edu.cn.

國家自然科學(xué)基金資助項目(60803057)、國家高技術(shù)研究發(fā)展計劃(863計劃)資助項目(2015AA015904).

吳含前,朱云杰,謝玨.基于邏輯回歸的中文在線評論有效性檢測模型[J].東南大學(xué)學(xué)報:自然科學(xué)版,2015,45(3):433-437.

10.3969/j.issn.1001-0505.2015.03.004

P315.69

A

1001-0505(2015)03-0433-05