在線商品評論可信性評價方法

李超 向靜 向軍

摘 要：針對現有商品評論存在數量大、質量參差不齊、可信度差，導致用戶難以快速獲取有效信息并制定高效的決策，而現有評論可信性評估主要考慮評論來源和投票形式的支持度等問題，提出了一種從評論內在質量角度實現評論可信度評估方法，即通過融合評論者等級、評論支持度和評論觀點一致性等實現評論可信性評估。首先基于規則庫和方法庫完成了評論數據的預處理;然后基于商品特征庫、通用詞典、情感詞典以及方法庫，完成了商品特征識別和特征值提取及標準化;最后基于建立的模型完成評論可信度評估。實驗結果驗證了該方法的可行性，該方法可以應用于其他電商平臺實現商品評論可信性自動評估。

關鍵詞：商品評論;評論質量;可信性;一致性;質量評估

中圖分類號： TP391.1; TP18

文獻標志碼：A

Abstract： Since there are many troubles such as large quantity， uneven quality and poor credibility in getting helpful information and making effective decision for stakeholders， and the existing research work on credibility assessment mainly considers the sources of reviews and the support of reviews in form of votes， an assessment method on review credibility from perspective of intrinsic quality was proposed. That is， the credibility assessment of reviews was realized by integrating the ratings of reviewers， the support degree of reviews and the consistency in reviews， etc. Firstly， the pre-processing of review data was completed based on rule and method libraries. Then， the feature recognition and the feature value extraction and standardization were completed based on product feature library， generic dictionary， sentiment dictionary and method library. Finally， the credibility assessment of reviews was completed based on the established models. The experimental results verify the feasibility of this method， and it can be applied to assess the credibility of product reviews automatically on other e-commerce platforms.

Key words： product review; review quality; credibility; consistency; quality assessment

0 引言

電商平臺如Amazon.com、Taobao.com和JD.com等為消費者提供了分享其所購買商品質量及服務體驗的平臺，消費者可以瀏覽他人發表的評論并對評論進行有用性投票，評論管理系統可以根據評論發表時間、有用性和評論者級別等進行排序與展示[1-3]。產品制造商、銷售商、消費者和其他利益相關人員通過遍歷評論獲取相關信息，進而實現商品質量評估與預測、客戶關系管理、新產品研發等[4-6]。在電子商務系統中，評論的價值嚴重依賴于評論質量[7-8]。

商品評論主要涉及消費者及專家發表的關于商品質量及服務體驗的描述，目前多數電商平臺都為消費者提供了評價評論“有用性”途徑，然而因為誤操作、廣告宣傳、導向性和欺詐行為等導致許多不可靠、不相關評論的存在[9-10];同時，因為評論者隨意性和主觀性，評論觀點存在不一致或相互矛盾。相關人員要獲取有價值信息，往往遍歷很多評論，從而判斷哪些評論更加合理和可靠，并進行綜合分析與決策。在電商平臺中，評論存在數量大、質量參差不齊、可信度差、不及時等問題[11-13]，嚴重阻礙了用戶進行有效決策。為了幫助用戶高效地獲取信息，“有用性”投票和評論者等級成為了評價評論有用性和可靠性的主要指標，然而，“有用性”投票往往只能夠反映兩個極端情況，高“支持率”和高等級評論者發表的評論對商品質量及消費體驗描述內容側重點不同，同時可能存在不符合事實的情況甚至商業欺詐。

評論質量管理是評論排序、觀點與情感識別、評論融合、摘要提取、垃圾評論檢測、產品質量評估與預測等工作的基礎。可信性是評論質量的重要方面，評論的可信性與評論來源（如發布者類別與級別、發布平臺等）和評價對象相關，一般而言：1）具有較高等級的評論者發表的評論，可信度往往比較高，但部分評論也可能存在導向性;2）具有更多支持度的評論，評論觀點往往與多數用戶一致，可信度往往也比較高，但部分評論也可能被操縱而獲得較多支持;3）各評論者對于相同商品的質量及服務消費體驗存在不一致的觀點，如果觀點存在嚴重的不一致問題，那么某些評論的可信度較低，但存在不一致性是合理的。

1 相關工作

評論質量被定義為評論滿足用戶使用評論要求的程度[14]，Zhang等[15]認為評論質量應該從相關性、真實性、可靠性、主觀性、可理解性和充分性等方面進行度量。評論的數量、可讀性和文本內容的正確性對產品銷售量有重要的影響[16]，評論信息不一致可以體現新產品獨特性反而會增強消費者購買意愿[17]，但評論不一致在不同產品領域影響產品銷售方面有不同結論;Lee等[18]認為評論質量主要在于可用性，并認為評論有用性主要依賴于評論者的專業性、寫作風格和評論及時性等因素，并提出了相應的評價方法;Singh等[19]分析了評論語言表達及語義特征等因素對評論有用性的影響;Baek等[20]分析了評論者等級、評論者名稱、評論字符數、否定詞比例等因素對評論質量的影響;針對發表越早的評論往往會獲得更多關注及投票，而最新發表的評論獲得的投票往往較少[21]等問題，Miao等[22]引入了評論新鮮度和相關性實現評論的排序進而滿足消費者信息需求。

評論的可信性是評論質量的重要方面，可信度是從定量的角度對可信性進行度量。Racherla等[23]從評論者和評論特征信息角度研究了評論者對評論可信度的感知體驗。目前，對于Web數據可信性評估主要通過Web數據來源以及來源相關對象的可信性方面直接或間接地完成評估，但來自相同數據源的不同類別對象其數據值準確和數據可信性方面也存在差異[24]。目前對于Web數據可信性的研究很多[25-27]，評論數據屬于一類特殊的Web數據，現有用于Web數據可信性評估的方法對于評論可信性評估具有很好的借鑒意義。針對評論可信性，現有研究主要考慮評論來源和投票形式的支持度，沒有從評論內在質量角度進行評估，因此，本文提出了一種融合評論者等級、評論支持度和評論觀點一致性的評論可信性評估方法，從評論內在質量角度實現評論可信度的評估，實驗結果驗證了該方法的可行性。該方法可以應用于其他電商平臺實現商品評論可信性自動評估。

2 在線商品評論的可信性評價模型

2.1 評論可信性評價體系結構

評論可信度評估，首先基于相關規則和方法實現評論數據的預處理，然后基于詞典和商品特征庫識別商品特征及取值，最后基于評估模型及方法庫實現評論的可信性評估，體系結構如圖1所示。

2.2 評論觀點一致性評價

相關人員要獲取有價值的信息，往往需要遍歷很多評論從而判斷評論合理和可靠性，進而進行綜合分析以便于決策。商品評論主要涉及消費者及專家發表的關于商品質量及服務體驗的描述，因評論者強烈的主觀性和隨意性以及商業宣傳和欺詐等而存在評論觀點不一致甚至相互矛盾等現象，因此對評論一致性進行分析和評估變得十分必要。評論一致性評價（目標）對象可以是任兩個評論間的一致性、任一評論集（如某個評論者或某評論者團體發表的相關評論集、某時段發表的相關評論集、某商品關聯評論集等）特征項取值的一致性，具體分為以下幾種情況。

1）兩條評論間觀點相似性。

評論r1和r2的一致性取決于評論在各個特征項上取值的相似性。基于Con（r1，r2）可以用來判定或與給定評論相似的評論集，發現與給定評論關聯的評論者持相似觀點的評論者集。

2）任一特征項上觀點一致性。

假定Rp表示任一商品p關聯的評論集，Rp={r1，r2，…，rK}，這里K商品p相關聯的評論數量，Rp涉及的特征項表示為集合IP={iP1∪iP2∪…∪iPn∪…∪iPN}，Val（iPn[j]）表示特征項iPn在評論集中第j條評論相應特征上的取值，1≤j≤N1，即評論集中包含特征項iPn的評論數量為N1。當特征值為非數值類型時，則基于規則把特征值統一轉換為數值類型。定義商品p相關評論集在任一特征項iPn上觀點的一致性表示為取值的一致性Con（iPn）：

其中：Val（iPn）表示特征項iPn在評論集的均值，Val（iPn[j]）表示特征項iPn在評論集中第j條評論相應特征上的取值。Con（iPn）的取值越大，則相關的評論者在信息項iPn上分歧越大，觀點越不一致。

3）評論集任一評論觀點一致性。

相似地，假定從任一評論r提取待的信息項表示為集合Ir，Ir=ir1∪ir2∪…∪irn∪…∪irN，評論集Rp在信息項irn上取值的均值為Val（irn），則評論集R中評論r的一致性表示為Con（r）：

2.3 評論支持度評價

在電子商務平臺中，評論往往會引起消費者的關注，如果某條評論獲得了較多點擊或支持（如點贊、轉發等形式），則表示該評論的支持度往往高。假定評論r被點擊的次數為CN（r），其中支持和反對的數量分別為CNoS（r）和CNoO（r）這兩處（CNoSr和CNoOr）的表達，應該與后面的表達式一致吧？請統一。回復：用紅色邊框框起來的內容，分別改為CNoS（r）和CNoO（r），CN（r）=CNoS（r）+CNoO（r）;同時，假定評論rΦ獲得了最多的點擊（“支持”和“反對”兩種形式）次數，點擊次數為CN（rΦ）;評論rΘ獲得最多的支持且次數為CNoS（rΘ），評論r的支持度為Sup（r）：

這里α和β為兩個可調因子，0≤α≤1，0≤β≤1且α+β=1。相關取值可以由專家賦初值，由反饋系統調節。

2.4 評論可信性評價

評價者等級和評論支持度越高，評論往往越可信，但也存在某些評論因為商業操縱行為而獲得較高支持度的情況。在獲得了相同點擊次數情況下，如果點擊評論的評論者數量越多，其可信度越高（即在點擊次數不變情況下，具有更多評論者的評論或評論集其可信度較高），為此定義評論者覆蓋率。假定任一評論集R（或一條評論），相關評論者集為Aut（R），NofAut（Aut（R））表示評論集R相關評論者的數量，NofC（R）表示評論集R被點擊次數，則評論者覆蓋率定義為Cov（Aut（R））：

與評論觀點一致性評價相似，評論可信度評價（目標）對象同樣可以是任一評論或評論集。通過對相關評論集的可信性進行評估，進而為用戶展示在支持度較高、一致性較好的評論。評論者等級經過歸一化處理后為Rat（Aut（R）），評論集R的可信度表示為Cre（R）：

對于評論集的可信性評估，首先確定參與一致性評估的特征集，然后完成評論集在相關特征集上取值一致性評估。

3 實驗結果及分析

3.1 實驗數據及環境設置

本文所有實驗運行在一個雙核Intel Core i5-4590 CPU 3.3GHz、內存8GB的Windows 7 64位操作系統，實驗驗證程序采用Java語言編寫，JRE1.7環境下運行。通過爬蟲從某知名電商平臺上爬取了5個服裝商品相關聯的近10萬條評論并識別出了相應的評論者。

3.2 實驗分析

基于規則庫和方法庫完成了評論數據的預處理，然后基于商品特征庫、通用詞典、情感詞典以及方法庫，完成了商品特征識別和特征值提取及標準化（商品特征及特征值的提取方法本文不作介紹，可見前期工作[28-29]）。通過統計分析與評論挖掘，得到了不同等級評論者發布評論數量情況、評論特征集、評論特征值一致性、評論者級別與一致性相關性以及任一評論或評論集可信度評估結果。

從圖2可以看出，多數評論者處于等級1、2和3;從圖3可以發現，等級為1、2和3的評論者發表評論的平均次數要多于其他級別。換句話說，處于中等級別的評論者更樂于分享他們的購買觀念和消費體驗質量。

2）評論特征值的一致性。

基于用Apriori算法、商品特征庫和SCEPD（中國科學院發布的“簡化中文情感詞典”），從評論集半自動提取了頻繁信息項并選擇了15個重要的特征項，它們分別是quality、baby、price、size、logistics、color、seller、service、style、packaging、fabric、workmanship、color、dress、odor，分別用ft1到ft15表示。通過計算得到上述評論集在這15個信息項上的一致性結果如圖4所示。

從圖4可以看出：a）商品P#A01的評論集中關于“logistics”和“style”的觀點差別很大，而在“odor”和“price”比較一致;b）商品P#B02的評論集對于“logistics”和“color”也有顯著區別，但相對于P#A01來說，分歧要小;c）商品P#C03相關的評論集中，在“service”和“style”上觀點不同，在“price”和“color”趨于一致。同時統計得到了關于這三個商品一致性取值的平均值，分別為0.569、0.286和0.570，這意味著評論者對于商品P#B02的觀點相對于其他兩種商品更加一致。

3）評論者級別在不同特征項取值的一致性。

通過分析不同等級評論者發表3種商品相關評論集在上述15個特征項上取值一致性，得到了在每個特征項上的一致性取值結果，分別如表1所示。表1中間各個單元都表示具有相同等級的評論者發表的評論在相關特征項上觀點的一致性取值，最后一列表示相應等級評論者在各個特征觀點一致性取值的均值。

從表1的結果可以發現，相同評論者對于相同對象發表的評論關于商品的不同特征其一致性存在差異;相同評論者對于不同的評論對象發表的評論在一致性方面也存在差異;具有較高等級的評論者發表的評論往往整體上具有較高的一致性，但具有最高等級的評論者發表的評論總體一致性并不是最高的。

4）評論可信度評估。

評論可信度評價（目標）對象可以是任一評論或評論集（如任意選擇的評論子集、評論者相關的子集、某時段相關的子集、某商品關聯評論集等）。這里模型（3）在不考慮評論發布者等級及相關評論支持度差異的情況下（即Sup（r）和Rat（Author（r））都取常量a）和不區分商品特征項重要情況下，得到了不同等級評論者發表評論的可信度（a=1時），如圖5所示。

通過圖5可以看出，處于最高等級發表的評論其一致性并不是最高的，但總體來說，具有較高等級評論者發表的評論集其評論觀點具有更高的一致性。在進行可信度評估時，如果融合了評論支持度和評論者等級得到結果與該結果總體趨于一致。

4 結語

針對評論可信性，現有研究主要考慮評論的來源和投票形式的支持度，沒有從評論內在質量角度進行評估，因此，本文提出了一種在考慮評論者等級、評論支持度情況下，融合評論觀點一致性的評論可信性評估方法，通過實驗統計及分析給出了評論者所屬等級、不同等級評論者發表評論的一致性以及特定評論集可信度評估結果。實驗結果表明，高等級的評論者發表的評論其支持度和一致性往往較高，但來自相同數據源的不同類別對象其評論可信性存在差異。

還有許多工作有待完善：1）本文沒有考慮評論者專業性等方面不同對發布評論可信性的影響;2）評論數據集的來源局限于特定領域，相關方法在其他領域的適應性方面還有待改進;3）實驗中涉及的評論集在時間上間隔時間較短，后期工作可以分析較長時間范圍內相關評論者發表評論在一致性方面的變化，比如驗證具有較長評論發表歷史的評論者，其發表的評論是否具有更好的一致性等。

參考文獻 （References）

[1] GHOSE A， IPEIROTIS P G. Estimating the helpfulness and economic impact of product reviews： mining text and reviewer characteristics [J]. IEEE Transactions on Knowledge and Data Engineering， 2011， 23（10）： 1498-1512.

[2] HUANG A H， CHEN K， YEN D C， et al. A study of factors that contribute to online review helpfulness [J]. Computers in Human Behavior， 2015， 48： 17-27.

[3] PAN Y， ZHANG J Q. Born unequal： a study of the helpfulness of user-generated product reviews [J]. Journal of Retailing， 2011， 87（4）： 598-612.

[4] 劉云，孫宇清，李明珠.面向社會化媒體用戶評論行為的屬性推斷[J].計算機學報，2017，40（12）：2762-2736.（LIU Y， SUN Y Q， LI M Z. User attributes inference based on reviews on social media [J]. Chinese Journal of Computers， 2017， 40（12）： 2762-2736.）

[5] KWARK Y， CHEN J， RAGHUNATHAN S. Online product reviews： implications for retailers and competing manufacturers [J]. Information Systems Research， 2014， 25（1）： 93-110.

[6] YAN Z， XING M， ZHANG D， et al. EXPRS： an extended PageRank method for product feature extraction from online consumer reviews [J]. Information & Management， 2015， 52（7）： 850-858.

[7] LI M， HUANG L， TAN C H， et al. Helpfulness of online product reviews as seen by consumers： source and content features [J]. International Journal of Electronic Commerce， 2013， 17（4）： 101-136.

[8] NGO-YE T L， SINHA A P. The influence of reviewer engagement characteristics on online review helpfulness： a text regression model [J]. Decision Support Systems， 2014， 61： 47-58.

[9] LIU L， ZHAO X， WANG H， et al. Research on identification method of anonymous fake reviews in e-commerce [J]. TELKOMNIKA Telecommunication Computing Electronics and Control， 2016， 14（4）： 1510-1520.

[10] SIKORA R T， CHAUHAN K. Estimating sequential bias in online reviews： a Kalman filtering approach [J]. Knowledge-Based Systems， 2012， 27： 314-321.

[11] HU N， BOSE L， GAO Y， et al. Manipulation in digital word-of-mouth： a reality check for book reviews [J]. Decision Support Systems， 2011， 50（3）： 627-635.

[12] HU N， LIU L， SAMBAMURTHY V. Fraud detection in online consumer reviews [J]. Decision Support Systems， 2011， 50（3）： 614-626.

[13] 李璐旸，秦兵，劉挺.虛假評論檢測研究綜述[J].計算機學報，2018，41（4）：946-968.（LI L Y， QIN B， LIU T. Survey on fake review detection research [J]. Chinese Journal of Computers， 2018， 41（4）： 946-968.）

[14] KWON O， LEE N， SHIN B. Data quality management， data usage experience and acquisition intention of big data analytics [J]. International Journal of Information Management， 2014， 34（3）： 387-394.

[15] ZHANG K Z， CHEUNG C M， LEE M K. Examining the moderating effect of inconsistent reviews and its gender differences on consumers online shopping decision [J]. International Journal of Information Management， 2014， 34（2）： 89-98.

[16] DEVI J I. Estimating the helpfulness and economic impact of product reviews [J]. International Journal of Innovative Research and Development， 2012， 1（5）： 232-236.

[17] HE S X， BOND S D. Why is the crowd divided？ attribution for dispersion in online word of mouth [J]. Journal of Consumer Research， 2015， 41（6）： 1509-1527.

[18] LEE S， CHOEH J Y. Predicting the helpfulness of online reviews using multilayer perceptron neural networks [J]. Expert Systems with Applications， 2014， 41（6）： 3041-3046.

[19] SINGH J P， IRANI S， RANA N P， et al. Predicting the “helpfulness” of online consumer reviews [J]. Journal of Business Research， 2017， 70： 346-355.

[20] BAEK H， AHN J， CHOI Y. Helpfulness of online consumer reviews： readers objectives and review cues [J]. International Journal of Electronic Commerce， 2012， 17（2）： 99-126.

[21] LI H， CHEN Z， MUKHERJEE A， et al. Analyzing and detecting opinion spam on a large-scale dataset via temporal and spatial patterns [C]// ICWSM 2015： Proceedings of the Ninth International AAAI Conference on Web and Social Media. Menlo Park， CA： AAAI Press， 2015： 634-637.

[22] MIAO Q， LI Q， DAI R. AMAZING： a sentiment mining and retrieval system [J]. Expert Systems with Applications， 2009， 36（3）： 7192-7198.

[23] RACHERLA P， FRISKE W. Perceived ‘helpfulness of online consumer reviews： an exploratory investigation across three services categories [J]. Electronic Commerce Research and Applications， 2012， 11（6）： 548-559.

[24] 馬如霞，孟小峰.基于數據源分類可信性的真值發現方法研究[J].計算機研究與發展，2015，52（9）：1931-1940.（MA R X， MENG X F. Truth discovery based credibility of data categories on data sources [J]. Journal of Computer Research and Development， 2015， 52（9）： 1931-1940.）

[25] LU T C， YU T， CHEN S H. Information manipulation and Web credibility [C]// Proceedings of the 2017 International Symposium on Distributed Computing and Artificial Intelligence. Berlin： Springer， 2017： 86-95.

[26] ABDOLRAHMANI A， KUBER R， EASLEY W. Web search credibility assessment for individuals who are blind [C]// Proceedings of the 17th International ACM SIGACCESS Conference on Computers & Accessibility. New York： ACM， 2012： 369-370.

[27] FLANAGIN A J， METZGER M J， PURE R， et al. Mitigating risk in ecommerce transactions： perceptions of information credibility and the role of user-generated ratings in product quality and purchase intention [J]. Electronic Commerce Research， 2014， 14（1）： 1-23.

[28] LI C， ZHOU H， ZHOU X F. Design and implement of hydrological data quality assessment system based on business rules [C]// Proceedings of the 2012 IET International Conference on Information Science and Control Engineering. Stevenage， UK： IET， 2012： 925-929.

[29] LI C， ZHOU H， ZHOU X F. Data quality assessment in hydrological information systems [J]. Journal of Hydroinformatics， 2015， 17（4）： 640-661.