一種支持動態(tài)頁面的分布式爬蟲系統(tǒng)設(shè)計與實現(xiàn)

摘要：針對互聯(lián)網(wǎng)大數(shù)據(jù)時代背景下，信息的爆炸式增長使得人們難以快速準(zhǔn)確地獲取有效信息的難題，文章設(shè)計并實現(xiàn)了一種支持動態(tài)頁面的分布式爬蟲系統(tǒng)。該系統(tǒng)以Scarpy-Redis分布式爬蟲框架為基礎(chǔ)，結(jié)合了Selenium和PostgreSQL數(shù)據(jù)庫等相關(guān)技術(shù)。該系統(tǒng)可以從大量的動態(tài)或者靜態(tài)網(wǎng)頁，分布式地獲取所需要的信息，存入數(shù)據(jù)庫以供用戶使用。

關(guān)鍵詞：分布式；爬蟲；動態(tài)頁面

中圖分類號：TP311文獻(xiàn)標(biāo)志碼：A

0 引言

隨著互聯(lián)網(wǎng)和大數(shù)據(jù)時代的來臨，如何快速獲取有效信息已經(jīng)成為一個難題。爬蟲技術(shù)的出現(xiàn)，在一定程度上緩解了這一難題。分布式爬蟲［1］在網(wǎng)絡(luò)爬蟲中引入分布式的思想，將一個整體的系統(tǒng)拆分成若干個子系統(tǒng)，并行運(yùn)行。與傳統(tǒng)的單機(jī)爬蟲相比［2］，分布式爬蟲在性能和速度方面有了質(zhì)的飛躍。另外，傳統(tǒng)的網(wǎng)絡(luò)爬蟲只能采集靜態(tài)頁面的數(shù)據(jù)，無法獲取動態(tài)頁面的信息。故支持動態(tài)頁面信息獲取的網(wǎng)絡(luò)爬蟲就具有了一定的現(xiàn)實意義。

1 相關(guān)技術(shù)

1.1 Scrapy-Redis

Scrapy-Redis［3］是Scrapy的一種擴(kuò)展，是Scrapy基于Redis的分布式組件，主要用于Scrapy項目的分布式開發(fā)和部署。它結(jié)合了Scrapy和Redis的功能，提供了一種簡單而強(qiáng)大的方式來管理和調(diào)度多個Scrapy爬蟲實例。Scrapy-Redis使用Redis進(jìn)行任務(wù)分發(fā)與調(diào)度［4］，使用Redis Queue存放待爬取的Request URL，使用RFPDupeFilter進(jìn)行去重。Scrapy-Redis不再使用原有的Spider類，而是重寫RedisSpider繼承Spider類。用戶可以同時啟動多個Spider工程，每個Spider之間共享一個Redis的Request隊列。

1.2 Selenium

Selenium［5］是一款開源的，支持多語言的自動化測試工具，主要用于Web應(yīng)用程序的自動化測試。Selenium支持Windows、Solaris、Linux、Unix、Android、iOS等多種操作系統(tǒng)，支持谷歌、Mozilla Firefox、Internet Explorer、Safari等多種瀏覽器，支持.Net、Java、Perl等不同腳本語言。

Selenium主要由3個部分構(gòu)成：WebDriver、IDE、Grid。Selenium通過WebDriver實現(xiàn)市面上幾乎所有主流瀏覽器的自動化，WebDriver是一個應(yīng)用程序編程接口（Application Programming Interface，API）和協(xié)議，主要用于瀏覽器的控制，每個瀏覽器都需要使用一個特定的WebDriver。Selenium IDE是一個Firefox插件，可以對用戶的基本操作進(jìn)行錄制，以生成測試用例。之后可以在瀏覽器中運(yùn)行這些測試用例，也可以將這些測試用例轉(zhuǎn)換成多種語言（如Java、Python等）的自動化腳本。Selenium Grid是一個用于分布式測試的工具，它允許同時在多個不同的瀏覽器和操作系統(tǒng)上運(yùn)行測試。

2 系統(tǒng)設(shè)計與實現(xiàn)

2.1 系統(tǒng)框架

系統(tǒng)框架如圖1所示，Redis主要負(fù)責(zé)統(tǒng)一資源定位系統(tǒng)（Uniform Resource Locator， URL）的去重和Requests的分配。爬蟲啟動后，Redis將任務(wù)（Requests、URL）交給Scrapy node（爬蟲節(jié)點）。Scrapy node主要負(fù)責(zé)執(zhí)行爬蟲程序，即從待爬取隊列中獲取任務(wù)進(jìn)行爬取，將運(yùn)行過程中產(chǎn)生的新任務(wù)回傳給Redis。Redis對新URL進(jìn)行去重處理，將處理后的任務(wù)加入待爬取隊列。通過這種方式，Scrapy-Redis實現(xiàn)了分布式爬取和存儲的功能，多個爬蟲節(jié)點可以同時工作，共享URL隊列和數(shù)據(jù)，從而提高了爬取效率和靈活性。同時，Redis的去重處理保證了爬蟲不會重復(fù)爬取相同的URL，避免了資源的浪費。

2.2 系統(tǒng)搭建

系統(tǒng)整體流程如圖2所示。首先每個Scrapy從數(shù)據(jù)庫PostgreSQL中加載訪問站點的入口URL以及相關(guān)信息的爬取規(guī)則Xpath。其中，一個節(jié)點的Scrapy收集被訪問站點中所有能夠請求的站點到URL，傳遞給Redis。Redis中的Fingerprint將未處理的Request去重后加入待爬Redis Queue。其余的Scrapy從Redis Queue中獲取Request的URL進(jìn)行數(shù)據(jù)抓取，將爬取的數(shù)據(jù)存儲到PostgreSQL數(shù)據(jù)庫中。通過這種方式，系統(tǒng)實現(xiàn)了分布式的爬取和存儲，多個Scrapy節(jié)點可以同時工作，共享URL隊列和數(shù)據(jù)存儲，從而提高了爬取效率和靈活性。同時，PostgreSQL數(shù)據(jù)庫作為數(shù)據(jù)的存儲介質(zhì)，可以方便地進(jìn)行后續(xù)的數(shù)據(jù)處理和分析。通過這個系統(tǒng)流程，用戶可以快速、準(zhǔn)確地獲取所需的信息，將其存儲到數(shù)據(jù)庫中，以供后續(xù)的使用和分析。

2.3 單個爬蟲工作流程

支持動態(tài)頁面的分布式爬蟲系統(tǒng)中單個節(jié)點的工作流程如圖3所示。（1）從PostgreSQL中加載站點元信息后，系統(tǒng)初始化RedisSpider，批量啟動爬蟲來抓取URL。（2）系統(tǒng)利用Scrapy-Redis中的Duplication Filter （DF）組件進(jìn)行去重操作，該組件利用Redis中set集合的不重復(fù)特性來實現(xiàn)去重這一功能。當(dāng)Scrapy-Redis調(diào)度器接收到引擎（Engine）傳遞過來的請求時，它會將請求的指紋存入set集合中，檢查是否已經(jīng)存在重復(fù)的指紋，把不重復(fù)的請求加入Redis的請求隊列中。（3）系統(tǒng)進(jìn)行頁面類型判斷，如果是靜態(tài)頁面，則通過Scrapy middleware中間價下載信息，中間件可以在下載過程中進(jìn)行一些自定義操作，如設(shè)置請求頭、處理代理等；如果是動態(tài)頁面，則初始化Selenium Chromedriver，通過Selenium模擬瀏覽器行為，下載動態(tài)頁面的信息，Selenium可以執(zhí)行JavaScript代碼，解析動態(tài)生成的內(nèi)容。（4）由Scrapy Pipeline將下載的信息送至PostgreSQL數(shù)據(jù)庫中。Pipeline可以對爬取到的數(shù)據(jù)進(jìn)行處理和清洗，然后將其存儲到指定的數(shù)據(jù)庫中。

3 結(jié)語

互聯(lián)網(wǎng)和大數(shù)據(jù)時代使得人們快速獲取所需要的信息變成一個難題［6］。爬蟲可以作為人類和海量數(shù)據(jù)之間的一個橋梁，幫助人們提高信息獲取的效率。本文介紹了Scarpy-Redis分布式爬蟲框架和Selenium自動化測試工具，設(shè)計并實現(xiàn)了一種支持動態(tài)頁面的分布式爬蟲系統(tǒng)，以幫助用戶精準(zhǔn)快速地獲取所需要的信息。該系統(tǒng)利用Scrapy-Redis實現(xiàn)了分布式調(diào)度和存儲，通過多個爬蟲實例同時工作，大幅提高了爬取效率。同時，該系統(tǒng)結(jié)合了Selenium自動化測試工具，實現(xiàn)了對JavaScript動態(tài)渲染頁面的爬取。

參考文獻(xiàn)

［1］陳春暉.動態(tài)網(wǎng)頁解析下的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計［J］.無線互聯(lián)科技，2022（20）：81-83.

［2］方開慶.動態(tài)頁面數(shù)據(jù)采集方法的研究與分布式實現(xiàn)［D］.北京：北京交通大學(xué)，2013.

［3］陳健瑜.網(wǎng)頁動態(tài)頁面采集關(guān)鍵技術(shù)研究［J］.硅谷，2009（12）：68.

［4］楊本棟.基于網(wǎng)頁信息自動提取的分布式爬蟲系統(tǒng)設(shè)計與實現(xiàn)［D］.北京：北京郵電大學(xué)，2022.

［5］歐陽春.支持動態(tài)網(wǎng)頁解析的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn)［D］.南京：東南大學(xué)，2018.

［6］曹培，林永意.基于Scrapy的崗位推薦系統(tǒng)的設(shè)計與實現(xiàn)［J］.無線互聯(lián)科技，2023（24）：75-77.

Design and implementation of a distributed crawler system supporting dynamic pages

Abstract：The article designs and implements a distributed crawler system that supports dynamic pages to address the challenges of the explosive growth of information in the context of the Internet big data era， which makes it difficult for people to quickly and accurately obtain effective information. The system is based on the Scarpy-Redis distributed crawler framework and combines related technologies such as Selenium and PostgreSQL databases. This system can obtain the required information from a large number of dynamic or static web pages in a distributed manner and store it in a database for users to use.

Key words： distributed; reptile; dynamic page