線上用戶評論文本挖掘的可視化研究

摘要：目的 為更深入地對線上用戶評論進(jìn)行文本挖掘，并將文本大數(shù)據(jù)挖掘的結(jié)果直觀地進(jìn)行呈現(xiàn)和知識提取。方法 利用困惑度指標(biāo)對主題數(shù)尋優(yōu)后，構(gòu)建潛在狄利克雷分布（Latent Dirichlet Allocation， LDA）[A3]"模型，對中文評論進(jìn)行主題提取，并通過余弦相似度對主題間的繼承、消失、新生的演化路徑進(jìn)行分析。結(jié)果 在大量的新能源汽車線上用戶評論文本數(shù)據(jù)中，通過文本挖掘技術(shù)獲取了熱度品牌或型號、消費(fèi)者對新能源汽車的關(guān)注熱點(diǎn)、主題的演化路徑等潛在知識，并利用基于詞頻統(tǒng)計、基于語義、基于多維度的可視化技術(shù)對挖掘的結(jié)果進(jìn)行了可視化。結(jié)論 在此研究模型下，能夠?qū)€上用戶評論的主題進(jìn)行智能提取和可視化。

關(guān)鍵字：可視化 LDA模型 大數(shù)據(jù) 文本挖掘

Visualization[A5]" Research on Text Mining of Online User Comments

HE Su[A6]" "YU Shuiqin

School of Information Engineering， Sichuan Post and Telecommunication College， Chengdu， Sichuan Province， 610067 China

Abstract： Purpose： For more in-depth text mining of online user comments， the results of text big data mining are visually presented and knowledge extracted. Methods： After optimizing the number of topics by using the perplexity index， a Latent Dirichlet Allocation （LDA） model was constructed to extract the topics from Chinese comments. The cosine similarity is used to analyze the evolution paths of inheritance， disappearance， and rebirth between topics. Results： In a large number of online user review text data of new energy vehicles， by text mining technology， it has obtained the hot brand or model， the hot spot of consumers on new energy vehicles and the evolution path of the theme and other potential knowledge. The results of mining were visualized by the visualization techniques based on word frequency statistics， semantics and multi-dimension. Conclusions： In this research model， the subject of online user comments can be intelligently extracted and visualized.

Key Words： Visualization; LDA model; Big data; Text mining

文本挖掘是尋找非結(jié)構(gòu)化數(shù)據(jù)中存在的潛在規(guī)律，從而發(fā)現(xiàn)知識的過程。近年來，隨著文本挖掘技術(shù)的發(fā)展，國內(nèi)外學(xué)者在基于大數(shù)據(jù)的基礎(chǔ)上，通過文本與數(shù)據(jù)挖掘來進(jìn)行智能分析，從而識別輿情主題^[1-2]、挖掘用戶偏好^[3-6]、分析不同研究領(lǐng)域的熱點(diǎn)主題等。其中，挖掘用戶偏好主要是通過在線評論，對用戶的飲食偏好、購買手機(jī)的偏好、醫(yī)療服務(wù)質(zhì)量的識別等進(jìn)行較好的主題識別。毛曉莉等人^[7]就通過在線評論，對消費(fèi)者最重視的新能源汽車因素與情感性進(jìn)行了文本挖掘。通過對線上用戶的評論進(jìn)行文本挖掘，能夠基于語義發(fā)現(xiàn)用戶評論的主題、主題間的相關(guān)性；也能夠通過基于詞頻的統(tǒng)計發(fā)現(xiàn)用戶評論的熱點(diǎn)。但在文本挖掘過程中，與傳統(tǒng)的數(shù)據(jù)相比，非結(jié)構(gòu)化的數(shù)據(jù)難以將從大數(shù)據(jù)中挖掘到的知識很直觀地展示出來，如評論的主題成千上萬、研究的熱點(diǎn)通過文字?jǐn)⑹龊蟛痪劢沟取Ｒ虼耍瑢τ谖谋就诰虻慕Y(jié)果，如何通過可視化技術(shù)展示發(fā)現(xiàn)的知識是值得研究的。

1 文本挖掘的可視化概述

1.1 基于詞頻統(tǒng)計的可視化

基于詞頻統(tǒng)計的文本分析主要是通過去除掉常用的停用詞后，統(tǒng)計文檔中出現(xiàn)的高頻詞來提取文檔的關(guān)鍵詞，從而分析文檔的焦點(diǎn)。詞頻的波動與社會現(xiàn)象之間有著內(nèi)在的聯(lián)系，一定的社會現(xiàn)象和情報現(xiàn)象會引起一定的詞頻波動^[8]。例如：黃溶冰等人^[9]就通過統(tǒng)計關(guān)鍵審計事項段文本的風(fēng)險詞頻考，察風(fēng)險信息披露對債務(wù)融資成本的影響；廉凱芳等人^[10]基于三亞美食旅游的相關(guān)網(wǎng)絡(luò)游記內(nèi)容，進(jìn)行詞頻分析，對高頻詞詞性進(jìn)行識別，挖掘出美食旅游地名、當(dāng)?shù)孛朗场⒅饕腼兎绞剑约皩γ朗车脑u價、感知等信息；吳自力^[8]以南方報業(yè)“年度記者”124篇文章為研究樣本，通過詞頻分析方法，再現(xiàn)2008[A7]"—2013年記者職業(yè)化在職業(yè)定位、職業(yè)追求、職業(yè)責(zé)任和職業(yè)素養(yǎng)4個方面的趨勢變化。但這些研究主要還是基于詞頻來進(jìn)行文本分析，并沒有將分析結(jié)果進(jìn)行可視化。

常用于詞頻統(tǒng)計的算法主要是詞頻—逆向文檔頻率（Term Frequency-Inverse Document Frequency， TF-IDF）[A8]"、單純詞頻率統(tǒng)計等。基于詞頻統(tǒng)計的可視化技術(shù)主要是通過詞云圖呈現(xiàn)，對大量的文本數(shù)據(jù)通過詞云進(jìn)行可視化后，能夠更直觀地把高頻詞匯突現(xiàn)出來，能夠快速揭示文檔的焦點(diǎn)信息，有較高的視覺吸引力。但基于詞頻統(tǒng)計的文本分析無法表示關(guān)鍵詞之間的聯(lián)系，不能對上、下文語境進(jìn)行抽象。

1.2 基于語義的可視化

對文本語義的分析是指通過文本向量化技術(shù)后，對文本的分析從詞組含義深入到句子、段落，甚至整篇文檔所表達(dá)的內(nèi)容含義，旨在用句子的語義結(jié)構(gòu)來表示語言結(jié)構(gòu)，從而識別文本中的實(shí)體、實(shí)體間的關(guān)系與情感的過程。

對文本語義分析的實(shí)現(xiàn)方法可以主要概括為以下3種。（1）基于規(guī)則的方法。主要是根據(jù)人工設(shè)計的規(guī)則和模板來構(gòu)建知識規(guī)則庫，以專家的知識和經(jīng)驗進(jìn)行語義分析。（2）基于統(tǒng)計的方法。主要是通過對大規(guī)模的語料庫進(jìn)行機(jī)器學(xué)習(xí)來構(gòu)建語義分析模型，以及通過概率模型來推斷文本主題及內(nèi)容，如狄利克雷分布（Latent Dirichlet Allocation， LDA）、概率潛在語義分析。（3）基于深度學(xué)習(xí)的方法。主要是利用深度神經(jīng)網(wǎng)絡(luò)來訓(xùn)練模型，從而學(xué)習(xí)語言的規(guī)律、自動提取特征、進(jìn)行文本分類等。

對于文本基于語義的分析的最終落腳點(diǎn)大都體現(xiàn)在文本反映的關(guān)鍵詞、主題、類別、情感上，因此，對這些結(jié)果的可視化主要有通過詞云對關(guān)鍵詞進(jìn)行可視化、通過Termite、LDAvis等工具對主題內(nèi)容和類別進(jìn)行可視化、通過TweetProbe等工具進(jìn)行文本情感的可視化、通過常用的柱狀圖等統(tǒng)計圖進(jìn)行類別的統(tǒng)計可視化。例如：湯斯亮等人^[11]通過LDA[A9]"對新聞文本進(jìn)行了基于文本語義的可視化，其中，使用Termite展示了LDA建模產(chǎn)生的主題內(nèi)容，使用TweetProbe展示情感信息、地點(diǎn)信息和文本來源；王晰巍等人^[12]通過LDAvis的主題氣泡圖對新冠肺炎疫情期間的輿情主題內(nèi)容進(jìn)行了可視化分析；吳江等人^[13]通過LDAvis的主題氣泡圖對可穿戴設(shè)備的在線評論進(jìn)行了主題分類的可視化。

1.3 基于多維度的可視化

基于多維度的可視化主要是以對文本分析時，同時結(jié)合時間、空間等維度，從多維角度、更深層次地去分析文本數(shù)據(jù)，發(fā)現(xiàn)其內(nèi)在規(guī)律，并將這樣的規(guī)律展示出來，讓人們能夠更直觀地理解文本數(shù)據(jù)的時間和空間規(guī)律。在可視化技術(shù)上主要有地理熱力圖、主題客流圖、桑基圖等。例如：周健等人^[14]通過 LDA 主題模型，對不同時間窗口下的文獻(xiàn)數(shù)據(jù)主題進(jìn)行挖掘，用桑基圖對其主題演化路徑進(jìn)行展示；張柳等人^[15]挖掘國內(nèi)外突發(fā)事件應(yīng)急管理主題，通過桑基圖，科學(xué)地展示主題間演化路徑、變化趨勢，從而更直觀地對比國內(nèi)外突發(fā)事件應(yīng)急管理研究的異同關(guān)系；顏端武等人^[16]通過LDA提取了科學(xué)研究前沿主題，通過桑基圖，從時間維度對主題內(nèi)容的變化進(jìn)行呈現(xiàn)，探測了科學(xué)領(lǐng)域研究前沿的變化。[A10]

1. 研究概述

本文主要針對用戶在線評論的大數(shù)據(jù)，分析如何運(yùn)用文本數(shù)據(jù)進(jìn)行基于詞頻的可視化、基于語義的可視化、基于多維度的可視化，從而進(jìn)行文本的挖掘。主要運(yùn)用TF-IDF技術(shù)進(jìn)行詞頻統(tǒng)計，基于此，運(yùn)用詞云圖進(jìn)行可視化；運(yùn)用潛在LDA的三層貝葉斯原理來提取評論的主題，基于此，運(yùn)用主題氣泡圖將提取的主題、關(guān)鍵詞與主題間的相似性進(jìn)行可視化；將評論主題按時間窗劃分，通過相似度計算來判斷主題隨時間的變化情況，基于此，運(yùn)用桑基圖將主題變化流進(jìn)行可視化，從而從時間維度分析主題的演化過程。

本文的主要貢獻(xiàn)在于：（1）將文本挖掘的可視化工作進(jìn)行了歸納研究，對基于詞頻統(tǒng)計、基于語義、基于多維度的可視化技術(shù)與方法進(jìn)行了歸納總結(jié)；（2）提出了分析主題演化的模型，在參數(shù)尋優(yōu)基礎(chǔ)上構(gòu)建了LDA主題模型，并通過余弦相似度與過濾機(jī)制，運(yùn)用桑基圖展示了評論主題的繼承、消失、新生的演化路徑。

1. 研究模型

3.1 研究框架

本文的研究框架圖如圖1，主要研究步驟如以下。

首先，利用相關(guān)技術(shù)手段獲取數(shù)據(jù)集，并對數(shù)據(jù)進(jìn)行一定的預(yù)處理。主要將數(shù)據(jù)按時間窗進(jìn)行劃分，在哈工大的停用詞表的基礎(chǔ)上，通過實(shí)驗加入了評論文本中可能出現(xiàn)的常用但無意義詞語，進(jìn)而對評論文本進(jìn)行分詞。同時，利用文本向量化的詞頻和TF-IDF技術(shù)對評論文本進(jìn)行向量化。其次，通過實(shí)驗，根據(jù)困惑度來確定最優(yōu)主題數(shù)，從而構(gòu)建LDA主題模型，提取不同時間窗的評論主題、主題的關(guān)鍵詞與對應(yīng)的詞頻。運(yùn)用詞云圖對提取的高頻關(guān)鍵詞進(jìn)行可視化，運(yùn)用主題氣泡圖對提取的主題詞與主題間的相似性進(jìn)行可視化。最后，通過計算不同時間窗的大概率主題間的相似度，形成主題的繼承、消失、新生的演化路徑，并通過桑基圖將演化路徑進(jìn)行呈現(xiàn)，從而將文本數(shù)據(jù)從基于詞頻、基于語義、基于時間維度等方面進(jìn)行深度挖掘。

3.2文本預(yù)處理技術(shù)

在文本預(yù)處理中，主要通過停用詞表將常用詞去除后，運(yùn)用中文分詞工具jieba進(jìn)行分詞，再利用TF-IDF對中文文本向量化后，進(jìn)行存儲。本研究的停用詞表是在哈工大停用詞表的基礎(chǔ)上，加入了在新能源汽車用戶評價中的常用但無意義的詞，如：首先、汽車、車子、父親、女人、媳婦兒、車、新能源、覺得、思考、感覺、現(xiàn)在、選擇等。TF-IDF是一種文本向量化技術(shù)，其公式[A12]"如下。

TF-IDF的主要原理如下：用TF代表詞條在本篇文章中出現(xiàn)的頻率，用IDF代表詞條在整個文檔中的所有文章中出現(xiàn)的頻率的對數(shù)。某個詞條較少見，但是它在特定文章中出現(xiàn)次數(shù)多，那么，這個詞條就有可能反映了這篇文章的特性。因此，詞條在特定文章中的高頻率和這個詞條在整個文檔集合中的低頻率能夠形成高TF-IDF值。

3.3 潛在LDA模型

LDA 主題模型的基本思想是：每個評論是一系列主題的概率分布，記為 P（z）；每個主題是一系列詞的概率分布，記為 P（w|z），因此，評論中每個詞的概率分布如下^[17]。

為確定最優(yōu)的主題數(shù)K，運(yùn)用LDA主題模型評價標(biāo)準(zhǔn)—困惑度，通過實(shí)驗找到困惑度不再減少或處于拐點(diǎn)時的主題數(shù)。困惑度越小，表明模型對主題表現(xiàn)越不困惑。困惑度的公式如下[A15]"^[19]。

3.4 主題演化分析

通過LDA，在不同時間窗提取了相應(yīng)主題，認(rèn)為相鄰時間窗間的主題可能具有一定的聯(lián)系。本文采用余弦相似度來衡量相鄰時間窗的主題間的相似性，余弦相似度的計算公式如下。

1. 可視化技術(shù)

4.1 基于詞頻統(tǒng)計——詞云圖

詞云圖是對文本中出現(xiàn)頻率較高的詞語進(jìn)行展示的可視化技術(shù)。它基于的是詞頻的統(tǒng)計，對于高頻詞，能夠從形狀、顏色上組合成特定圖形進(jìn)行展示，能夠?qū)⑽谋局械闹匾~匯突出出來，在大量文本數(shù)據(jù)下提取到焦點(diǎn)。但對于文本區(qū)分度不大的文本、數(shù)據(jù)量較小的文本，其突出效果較差。

在數(shù)據(jù)分析和可視化工具FineBI、Tableau中都集成了生成詞云圖的工具，基于python的第三方庫Wordcloud也是常用的詞云生成器。對中文進(jìn)行一定的預(yù)處理后，通過Wordcloud，可以指定排除詞列表、詞云形狀與字體字號，根據(jù)詞語出現(xiàn)的頻率來生成詞云圖。出現(xiàn)頻率越高，以越大字體突出顯示。

4.2 基于語義——主題氣泡圖

基于LDA的主題提取，是從文本中選取以一定概率可能出現(xiàn)的主題，從這些主題中又以一定概率選取可能會出現(xiàn)的關(guān)鍵詞，因此，主題主要是以一系列關(guān)鍵詞來體現(xiàn)。主題氣泡圖主要通過LDAvis來實(shí)現(xiàn)。LDAvis是一個交互式主題模型的R包，生成的可視化結(jié)果是基于網(wǎng)頁的，通過網(wǎng)頁進(jìn)行瀏覽。

通過LDA提取主題后，主題氣泡圖中，用氣泡抽象表示一個主題。氣泡編號為主題號，氣泡越大，主題出現(xiàn)概率越大，氣泡間的遠(yuǎn)近距離表明了主題間的差異性。同時，主題氣泡圖是可交互的，通過選擇，可以指定對不同主題進(jìn)行展示。主題氣泡圖的右邊為該主題下的關(guān)鍵詞，藍(lán)色為主題詞在文檔中出現(xiàn)的權(quán)重，紅色為在主題中出現(xiàn)的權(quán)重。在圖中調(diào)節(jié)參數(shù)λ，用來調(diào)節(jié)關(guān)鍵詞與主題相關(guān)性的變化。λ的取值范圍為0到1：當(dāng)λ越接近于1時，展示的是在該主題下在主題中出現(xiàn)更頻繁的詞語；當(dāng)λ越接近于0時，展示的是該主題下更特殊的詞。因此，通過主題氣泡圖，可以歸納出主題的內(nèi)容，可以交互展示關(guān)鍵詞與主題和文檔的相關(guān)性。

4.3 基于時間維度——桑基圖

桑基圖也叫能量分流圖，因1898年Matthew Henry Phineas Riall Sankey繪制的“蒸汽機(jī)的能源效率圖”而得名，其主要用于反映資源、能量或流量等在不同階段或部件間的流動和轉(zhuǎn)移。數(shù)據(jù)分析和可視化工具FineBI、Tableau都能進(jìn)行桑基圖的繪制，也可以運(yùn)用python的庫pyechart來生成。

桑基圖一般由節(jié)點(diǎn)、流量組成。其中：節(jié)點(diǎn)由節(jié)點(diǎn)標(biāo)簽反映不同時間段或不同部件；流量由箭頭和顏色反映不同的類別的流量、流向、所占比重等。桑基圖通常用于展示復(fù)雜的流程、路徑或網(wǎng)絡(luò)，以便觀察和分析各個組件之間的關(guān)聯(lián)和貢獻(xiàn)。桑基圖的初衷是要保持能量的守恒，但作為對評論主題的流動反映，可能會出現(xiàn)主題消失也就是流量消失等問題。在本文中基于時間維度的桑基圖，數(shù)據(jù)從左邊起始主題流到右邊，節(jié)點(diǎn)為時間點(diǎn)的某個主題，流量寬度為當(dāng)前時間段的主題與前繼主題的相似度。當(dāng)某個流量在某一時間點(diǎn)后沒有再出現(xiàn)，表明主題消失；當(dāng)某一時間點(diǎn)主題的流量是由前繼時間點(diǎn)的某幾個流量或一個流量流入時，表明該主題由前續(xù)時間點(diǎn)主題合并而來，或繼承了前繼時間點(diǎn)的主題；若某時間點(diǎn)主題與前繼的流量寬度都很窄，表明該時間點(diǎn)主題是新生的。通過這種圖，我們能較直觀地看到隨時間變化評論的變化，能識別出消失或新生的主題，從而發(fā)現(xiàn)潛在的瓶頸或優(yōu)化的機(jī)會。

1. 結(jié)論

近年來，在大數(shù)據(jù)的支撐下，文本挖掘更多地應(yīng)用到了輿情識別、用戶偏好挖掘、研究熱點(diǎn)識別等智能提取和分析上。因大數(shù)據(jù)文本的特殊性，將非結(jié)構(gòu)數(shù)據(jù)進(jìn)行更直觀、更聚焦地呈現(xiàn)時，需要更好地利用可視化技術(shù)。本文對線上用戶的評論進(jìn)行文本挖掘時，從基于詞頻統(tǒng)計、基于語義和基于時間維度上如何運(yùn)用可視化技術(shù)進(jìn)行了研究。在此研究模型下，通過爬取的新能源汽車用戶在線評論的大數(shù)據(jù)進(jìn)行了驗證。通過對詞頻的分析，獲取了相應(yīng)時間窗下的熱度品牌或型號、消費(fèi)者對新能源汽車的關(guān)注熱點(diǎn)，通過詞云能夠進(jìn)行較好的可視化。通過LDA提取了23～30個主題，通過氣泡圖和桑基圖，能夠較好地反映主題間的關(guān)聯(lián)性與演化過程。因此，在此研究模型下，能夠?qū)τ脩粼u論的主題進(jìn)行智能提取和可視化。通過對主題的演化分析和路徑可視化，能夠得到線上用戶評論主題消失、新生等情況，為企業(yè)調(diào)整銷售策略、迎合客戶需求提供了參考。但在研究過程中，明顯感覺到基于詞頻統(tǒng)計的可視化更直觀、更能被企業(yè)關(guān)注，但基于語義和基于多維度的可視化需要加入一些我們的思路設(shè)計和主觀理解。

參考文[A16]"獻(xiàn)

[1]王晰巍，賈若男，韋雅楠，等.多維度社交網(wǎng)絡(luò)輿情用戶群體聚類分析方法研究[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2021，5（6）：25-35.

[2]張雷，譚慧雯，張璇，等.基于LDA模型的高校師德輿情演化及路徑傳導(dǎo)研究[J].情報科學(xué)，2022，40（3）：144-151.

[3]岳子靜，章成志，周清清.利用在線評論挖掘用戶飲食偏好：以北京地區(qū)為例[J].圖書館論壇，2017，37（3）：108-115.

[4]高慧穎，劉嘉唯，楊淑昕.基于改進(jìn)LDA的在線醫(yī)療評論主題挖掘[J].北京理工大學(xué)學(xué)報，2019，39（4）：427-434.

[5]趙志杰，劉巖，張艷榮，等.基于Lasso-LDA的酒店用戶偏好模型[J].計算機(jī)應(yīng)用與軟件，2021，38（2）：19-26.

[6]黃婷.基于LDA的外賣用戶評論挖掘與情感分析研究[D].南昌：南昌大學(xué)[A17]"，2022.

[7]毛曉莉，施本植.新能源汽車普通消費(fèi)者參與的大數(shù)據(jù)研究：基于文本挖掘和深度學(xué)習(xí)[J].海南大學(xué)學(xué)報（人文社會科學(xué)版），2022，40（5）：201-210.

[8]吳自力.進(jìn)退之間：2008-2013年記者職業(yè)化狀態(tài)分析：基于南方報業(yè)“年度記者”文本的詞頻考察[J].新聞與傳播研究，2015，22（3）：38-48，127.

[9]黃溶冰，許吉寧.關(guān)鍵審計事項信息披露與債務(wù)融資成本：基于風(fēng)險詞頻的分析[J].南京審計大學(xué)學(xué)報，2024，21（6）：1-10.

[10]廉凱芳，楊銘鐸，趙福振，等.基于網(wǎng)絡(luò)文本分析的三亞美食旅游發(fā)展研究[J].商業(yè)經(jīng)濟(jì)研究，2024（9）：188-192.

[11]湯斯亮，程璐，邵健，等.基于概率主題建模的新聞文本可視化綜述[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2015，27（5）：771-782.

[12]王晰巍，李玥琪，劉婷艷，等.新冠肺炎疫情微博用戶情感與主題挖掘的協(xié)同模型研究[J].情報學(xué)報，2021，40（3）：223-233.

[13]吳江，周露莎，劉冠君，等.基于LDA的可穿戴設(shè)備在線評論主題挖掘研究[J].信息資源管理學(xué)報，2017，7（3）：24-33.

[14]周健，張杰，屈冉，等.基于LDA的國內(nèi)外區(qū)塊鏈主題挖掘與演化分析[J].情報雜志，2021，40（9）：161-169.

[15]張柳，王慧，相甍甍.基于LDA的突發(fā)事件應(yīng)急管理主題熱度與演化分析[J].情報科學(xué)，2023，41（6）：182-191.

[16]顏端武，蘇瓊，張馨月.基于時序主題關(guān)聯(lián)演化的科學(xué)領(lǐng)域前沿探測研究[J].情報理論與實(shí)踐，2019，42（7）：144-150.

[17]蔣翠清，呂孝忠，段銳.基于主題模型的產(chǎn)品在線論壇主題演化分析[J].系統(tǒng)工程學(xué)報，2019，34（5）：598-609.

[18]陶勝陽，許新華，余亞烽，等.基于LDA模型的教育技術(shù)學(xué)研究主題挖掘及演化趨勢分析[J].現(xiàn)代信息科技，2023，7（6）：176-180，185.

[19]葉艷，吳鵬，周知，等.基于LDA-BiLSTM模型的在線醫(yī)療服務(wù)質(zhì)量識別研究[J].情報理論與實(shí)踐，2022，45（8）：178-183，168.