基于用戶評論大數據挖掘的導向應用系統設計

謝卓亨 邱金波

（廣東石油化工學院 電子信息工程學院，廣東 茂名 525000）

1 前言

根據最新的數據顯示，我國網民規模為8.02億，互聯網普及率達57.7%，截止2018年6月，我國網絡購物用戶規模達5.69億。手機網絡購物用戶規模達到5.57億，使得網絡店鋪數量如雨后春筍一般。隨之而來的是不斷的呈現在網民面前的各大網絡商城，如淘寶網、聚美優品、京東商城、易購等，用戶選購的時候，面對網絡上大量的參齊不齊的評價數據，用戶消費者無法直觀簡潔地獲取到該商品的有效 信息。

2 系統的設計方案

本文首先分析電商信譽評價體系特點，了解其評價指標以及每個指標具有的實時性和評分標準，以及產品綜合評分的評判指標和評分計算方法。運用python語言的Scrapy框架獲取大量的用戶評價信息，并存入mysql數據庫，再利用自然語言SonwNLP文本情感分析系統，對mysql數據庫中的用戶評價進行逐句分詞處理。隨即，運用關聯規則挖掘算法找出客戶評價中描述產品特性的詞匯，并提取出與該產品特性詞匯相關聯的觀點詞以及觀點詞的極性。最后，利用建好的數學模型和算法并用django和pyecharts數據的可視化為消費者提供真實可靠的寶貴信息。

3 各功能模塊設計

3.1 數據準備—網絡爬蟲

首先，根據選定的研究對象，利用Scrapy（Scrapy是一種用于抓取網站和提取結構化數據的應用程序框架，可用于廣泛的有用應用程序，如數據挖掘，信息處理或歷史存檔。）和requests對特定數據進行爬取，然后，對分散的數據按照一定的規則或格式合并，并存入數據庫。

3.2 數據處理—基于評論內容的評價指標賦值

對選取的數據進行在處理，檢查數據的完整性和一致性，消除噪音，濾除與數據無關的冗余數據。通過已經建立的評價指標體系, 需要將用戶在線 評論內容中的各個觀點與上述指標一一對應并將用戶 的觀點以及情感強度量化為具體數值。

SonwNLP數據的分析，詞表構建，利用Python的Snownlp進行中文分詞（Character-Based Generative Model），詞性標注（TnT 3-gram 隱馬），情感分析，文本分類（Naive Bayes），提取評論關鍵字（TextRank算法），在利用大量的買家在線評價內容、二次評價、買家信用等級、采集時間等數據，建立數學模型。

3.3 溫數據的可視化—展示大數據

采集為了買家能夠直接地獲取到有用的大數據，將采用django（一個高級的Python Web框架，采用MVC的架構模式）+pyecharts（pyecharts是一個用于生成Echarts圖表的類庫）將數據可視化展示。

3.4 核心技術要點

3.4.1 Scrapy爬蟲技術

通過抓包抓取各大電商的評論url，并且分析參數。并且對不符合條件的數據進行清洗，消除錯誤、冗余和數據噪音，以此保證數據質量。

例如某件商品的質量無法劃分為5個等級，而是通過用戶對商品質量好壞的觀點描述及情感傾向來判定其商品質量是否滿足用戶的需求，進而反映網商的信用。因此用戶評論所涉及的評價指標的量化實際上是根據情感詞的褒貶詞性以及情感傾向度按照一定的標準進行量化后為其所描述的屬性詞進行賦值的過程。

3.4.2 Snownlp建模

通過對大量電子商務平臺的觀察與分析，構建能夠對應網商信用度評價指標的屬性詞表利用Snownlp對篩選出了的評論依次進行分詞處理。根據構建的屬性詞表篩選出來的評論進行查找匹配，保留匹配成功的屬性詞，并檢查匹配成功的屬性詞是否滿足要求的覆蓋范圍, 符合要求則保留該條評論。

情感分類的基本模型是貝葉斯模型Bayes，對于有兩個類別c1和c2的分類問題來說，其特征為w1,…,wn，特征之間是相互獨立的，屬于類別c1的貝葉斯模型的基本過程為：

3.4.3 用戶評論量化的基礎

光敏確定指標的量化公式，在用戶的評論中，既包含屬性詞，同時還包含對屬性詞進行描述的動詞和形容詞以及描述情感強度的副詞，為了達到統一的評分標準，在進行量化前筆者根據上述屬性詞表對評價指標的得分按照一定的得分規則進行賦值。通過語義分析可以看出，電子商務環境下用戶大多數評論內容中的詞語組合較為淺顯易懂，搭配比較簡單，例如:“形容詞+副詞”的形式最為普遍，因此可以定義指標得分公式為:

其中，s為指標最終得分，i為屬性詞的初始值，默認為3分，j為副詞的極性得分，如果句子中沒出現副詞則默認為1分，k為動詞或形容詞極性得分。

4 結論

本設計通過交互控制界面可以實現用戶評論大數據挖掘的導向應用等功能，還可以提供對大量數據進行情感分析的數據基礎。對實際應用的大型電子商務網站的建立，優化有一定的工程設計應用參考意義。