基于Python聚焦網絡爬蟲的用戶在線評論內容分析

摘 要 近年來，隨著“互聯網+”的全面推進，互聯網上的信息量不斷增加，如何高效、快速地獲取目標信息，并對信息進行有效分析成為亟待解決的問題。本研究設計并實現了一個基于Python的聚焦網絡爬蟲系統，以體育場館用戶在線評論為例，對評論信息進行獲取，并對數據進行可視化展示和內容分析，結果表明，該系統能夠較好挖掘用戶對于場館評論中隱藏的信息。

關鍵詞 Python;聚焦網絡爬蟲;在線評論;內容分析

引言

物聯網、人工智能、大數據、5G等技術的不斷發展和成熟，有效促進了互聯網數據的增長。互聯網數據通常具有海量、多維、多尺度等大數據的特點，采取有效的方法和手段對互聯網數據進行收集和分析，是理解互聯網數據的重要手段[1]。傳統的數據收集方法和技術（如調查問卷，采訪）會受到資金、地理位置和樣本量等一系列條件的影響和限制。網絡爬蟲依托于大數據框架和計算機技術，可用于對海量互聯網數據進行請求和提取，為深層次的內容分析和挖掘奠定了基礎[2]。

本文基于Python標準庫、第三方庫和爬蟲技術，設計并實現了一個聚焦網絡爬蟲系統，用于對指定網頁和內容進行爬取，并進一步對爬取到的數據進行存儲和內容分析。在實例分析中，爬蟲系統第一步將抓取“趣運動”網站（http：//www.quyundong.com/）中體育場館用戶評論信息的頁面，第二步對網頁進行解析并過濾無關的內容和數據，第三步對抓取數據進行存儲，第四步對體育場館用戶中差評信息進行詞云圖展示和詞頻統計，第五步對高頻詞匯和詞云圖進行分析，挖掘造成中差評的主要原因，為場館改進提供建議，同時為其他用戶提供決策依據。

1基于Python的聚焦網絡爬蟲系統設計

1.1 聚焦網絡爬蟲定義

通用網絡爬蟲通過統一資源定位符（Uniform Resource Locator，URL）搜索網頁，通過遍歷所有待抓取URL隊列，將網頁相關數據返回給用戶[3]。聚焦網絡爬蟲基于通用網絡爬蟲，專注于抓取滿足特定主題和特定屬性的網頁。該爬蟲策略性搜索、獲取、下載、維護與特定主題相關的網頁URL，所有其他無關的URL將通過程序代碼被過濾。通過采用聚焦網絡爬蟲，用戶無須通過網頁搜索引擎來獲取信息，這樣既節省了時間和精力，又提高了數據采集的可靠性、針對性和準確性[4-6]。聚焦網絡爬蟲下載的“面向主題”的數據，后續可通過采用有效的內容分析和挖掘技術，提取出數據中隱藏的有價值信息。

1.2 聚焦網絡爬蟲系統工作流程

該聚焦網絡爬蟲系統工作流程分為下列5部分，如圖1所示。

（1）URL隊列：聚焦網絡爬蟲系統基于指定一個或幾個網頁網址，把這些網址作為URL種子，將URL種子放入URL隊列中等待爬取。

（2）網頁獲取：根據指定URL，按照一定的規則對網頁進行遍歷，發送請求并執行相應爬取。

（3）網頁處理：對網頁信息進行解析和處理，提取出與研究主題相關的網頁內容部分，過濾掉其他無關數據和內容。

（4）數據存儲：對進行網頁處理后，與研究主題相關的數據進行存儲，本研究中將其存儲為Excel格式。

（5）可視化和內容分析：對存儲數據進行可視化以及內容分析，包括詞云可視化分析、詞頻統計等方法。

2數據爬取與存儲具體實現

本章借助Python聚焦網絡爬蟲系統，以爬取 “趣運動”網站體育場館用戶在線評論為例，進行數據爬取與存儲的具體實現，分為以下3步。

（1）網頁抓取。趣運動網站采用的是異步加載Ajax技術，通過分析趣運動網站結構和網址構造，得到獲取用戶評論的URL請求地址為http：//www.quyundong.com/venues/jsonComments？random=xxxx&page=****&business_id=####，該請求由3個網頁參數組成：xxxx對應的是隨網頁請求生成的隨機數（random）、****對應的是在線評論頁數（page）、####對應的是場館編號（business_id）。確定3個參數后，采用Python中的第三方requests庫對指定場館用戶在線評論URL請求進行抓取。

（2）網頁處理。趣運動網站用戶評論信息以JSON格式進行存儲，評論信息的JSON結構如圖2所示，故調用Python中的JSON庫對評論信息進行解析。由于評論信息以鍵值對的形式存在，在遍歷每位已注冊用戶評論信息時，僅需篩選出評論時間（create_time）、評論內容（content）、評論等級（comment_rank），其他的信息：評論ID（comment_id）、場館ID（business_id）、用戶ID（user_id）、用戶姓名（user_name）、用戶頭像（avatar）、用戶上傳圖片列表（image_list），由于與該研究主題關聯不大，將被過濾掉，不參與數據爬取。最終將所有符合要求的評論信息存入一個結果集中。

（3）數據存儲。調用Python中的Workbook庫，將第二步得到的結果集寫入Excel文件，對體育場館用戶評論數據進行存儲。最終獲取到用戶有效在線評論數據18023條，從這些數據中篩選出評論為3分及以下（comment_rank<=3，滿分5分）的中差評共768條，作為可視化和內容分析的對象。

3可視化與內容分析具體實現

在聚焦網絡爬蟲系統架構中，爬取完所需數據之后，需對數據進行可視化和內容分析，旨在挖掘出數據中隱藏的有價值信息。

（1）數據可視化。讀取所有用戶在線評論文本，導入Python中的jieba中文分詞庫，獲取在線評論的中文分詞列表。接著使用wordcloud詞云庫，設置stopwords屏蔽詞參數，對數據進行清洗，同時設置詞云圖的形狀、背景顏色、高度、寬度和字體，結果可生成相應詞云圖，對場館用戶評論數據中出現頻率較高的“關鍵詞”予以可視化的展示（如圖3所示）。接著調用Sklearn庫中的CountVectorizer函數，分別提取詞匯和計算詞頻，對評論數據中的詞匯進行詞頻統計，并將結果存儲在CSV文件中。

（2）內容分析。對篩選出的評論為3分及以下的中差評數據進行統計，其中評分為3分的用戶評論共389條，占比50.65%;評分為2分的106條，占比13.80%;評分為1分的260條，占比33.86%;評分為0分的13條，占比1. 69%。

結合詞云圖和詞頻分析結果，發現出現次數最多的前10個高頻詞匯分別是：場館（286次）、不好（130次）、燈光（84次）、服務態度（70次）、沒有（68次）、價格（65次）、地板（54次）、空調（54次）、位置（49次）、態度（38次）。由此可以得出以下結論，用戶對于使用體育場館的需求主要包括：場館的燈光、收費價格、地板、空調、位置和工作人員的服務態度。該結果基于聚焦網絡爬蟲系統數據收集、存儲、分析整個流程，反映了趣運動網站用戶在線評論的真實情況，挖掘了用戶在參與體育場館設施健身過程中的具體需求。

4結束語

本文基于Python構建了聚焦網絡爬蟲系統，實現了對趣運動網站體育場館用戶在線評論信息的爬取、存儲和內容分析，分析結果表明：聚焦網絡爬蟲專注于特定主題和內容的收集，提高了信息收集效率，節省了大量的時間。同時，對用戶評論數據的存儲便于進一步的數據管理和分析，也能對有效數據進行保存。再者，對存儲數據的可視化和內容分析結果，包括詞云圖可視化和詞頻統計，可進一步為場館硬件和軟件設施改進提供決策，也可為用戶選擇體育場館提供參考。上述結論驗證了本文提出的聚焦網絡爬蟲系統的有效性和實用性，下一步的工作是繼續優化聚焦網絡爬蟲系統，結合多線程與并發等技術，同時加入更多的文本分析算法，對整個系統性能進行優化，使其爬取效率更高、功能更加完善。

參考文獻

[1] 杜曉旭，賈小云.基于Python的新浪微博爬蟲分析[J].軟件，2019， 40（4）：182-185.

[2] 劉暉，石倩.基于網絡爬蟲的新聞網站自動生成系統的設計與實現[J].電子技術與軟件工程，2019（13）：18-19.

[3] 陸樹芬.基于Python對網絡爬蟲系統的設計與實現[J].電腦編程技巧與維護，2019（2）：26-27，51.

[4] 郭向向，鄭嘉慧，苗學芹.基于Python聚焦型網絡爬蟲的影評獲取技術[J].時代金融，2019（11）：71-72.

[5] 高宇，楊小兵.基于聚焦型網絡爬蟲的影評獲取技術[J].中國計量大學學報，2018，29（3）：299-303.

[6] 楊國志，江業峰.基于python的聚焦網絡爬蟲數據采集系統設計與實現[J].科學技術創新，2018（27）：73-74.

作者簡介

王煜煒（1990-），男，湖北武漢人;畢業院校：武漢大學，專業：軟件工程，學歷：博士研究生，現就職單位：江漢大學，研究方向：人工智能。