基于Quartz的可視化爬蟲管理系統

劉曉東　林鳳德　朱文歡

摘? 要：分布式爬蟲系統復雜的構建過程使其在運行過程中出現任務錯誤的時候得不到及時的反饋和提醒，從而可能導致對應任務渠道的數據存在缺失;另外，對過程數據缺少必要的監控還可能導致所獲數據并非我們最終所需。基于Quartz的可視化爬蟲管理系統可以實現對爬蟲任務狀態和數據進行有效的監控和管理，確保分布式爬蟲系統的穩定、高效運轉，從而解決以上兩點問題。

關鍵詞：網絡爬蟲;Quartz;監控;管理

中圖分類號：TP311.52 文獻標志碼：A? ? ? ? ?文章編號：2095-2945（2020）14-0193-03

Abstract： The complex construction process of the distributed crawler system makes it unable to get timely feedback and reminder when there is a task error in the running process， which may lead to the lack of data in the corresponding task channel. In addition， the lack of necessary monitoring of the process data may also lead to the fact that the data obtained is not what we ultimately need. The visual crawler management system based on Quartz can effectively monitor and manage the crawler task status and data， and thus ensure the stable and efficient operation of the distributed crawler system， so as to solve the above two problems.

Keywords： Web crawler; Quartz; monitoring; management

1 概述

眾所周知，管理是為了提高效率和質量。同樣的，爬蟲管理系統是為了能夠監控分布式爬蟲系統，讓分布式爬蟲系統數據獲取高效，保證數據的質量。爬蟲管理系統是分布式爬蟲系統的有力補充，兩者是相輔相成的[1]。

實現爬蟲管理系統除了要達到監控和管理的基本要求外，一般還要求系統的開發要簡單易上手。Quartz的以下特點可以很好的滿足構建可視化爬蟲管理系統的要求：第一，功能豐富且配置簡單。Quartz的環境依賴程度低，Java的普通應用均能使用;第二，能夠完成較為復雜的定時任務，實現穩定、快速的分布式定時爬蟲系統的構建;第三，由于Quartz各個節點的狀態保存在數據庫中，在已有數據庫表狀態上開發對應的爬蟲管理系統，能夠很好的對分布式系統實現增刪改查的監控和管理[2]，提高系統的可操作性和穩定性;第四，Quartz可以結合現如今非常熱門的SpringBoot，使其開發簡單易上手。

2 爬蟲系統的上下游

分布式爬蟲系統的上下游如圖1所示，爬蟲系統集群從網絡中獲取所需數據，根據數據的特性進行編碼，引入Redis來去重，去重后的數據發Kafka集群，供下游應用;同時爬蟲管理端提供RESTful接口，監控爬蟲集群，管理集群中的任務[3]。基于Quartz的分布式實現需要以數據庫作為邊界，為此選取Mysql為基礎數據庫[4]。

3 系統監控和管理

基于Quartz開發的可視化爬蟲管理系統能夠實現監控和管理兩個主要的功能[5]。對于監控會從任務和數據兩個層面來闡述;而對于管理功能主要體現在能夠實現動態的增刪改查。

3.1 任務監控

根據Quartz本身維護的mysql數據庫基礎表并結合自己設計的t_crawler_task表和t_sched_card表可以實現對爬蟲任務的可視化。Quartz本身維護的mysql數據庫表具有節點狀態、任務狀態及抓取數據的統計等內容。如圖2展示了各個節點的狀態。

當要查看單節點中正在運行任務信息時，只需點擊操作就能獲取到相應的信息。如圖3所示，圖中展示了節點中正在運行的所有任務及相關信息。對于任務維度來說，任務自身帶有一些信息，在爬蟲管理端中也實現了對于任務的監控。如圖4所示，在頁面中會展示該任務對應的爬蟲規則，以及是否在集群中運行，是否正在運行，而且還可以通過操作來獲取更多信息，從多個維度來監控任務。總結來說，從節點切入，然后到運行的任務，從而轉向任務層面。任務的監控內容包括任務的基本屬性以及任務與集群的相應關系。如果能實時獲取任務當前狀態，并且提供相應操作提醒，就能實現很好的監控功能。

3.2 數據監控

從整體層次來看，需要監控的就是同種類型數據每天的數據量以及總的數據量。這里，我們只選取一些主要的渠道，每天的數據量和總的數據量，如門戶網站的新聞、快訊、自媒體新聞等等。在對總體數據做粗粒度監控后就需要監控每個渠道對應數據。這里，每個渠道的數據取該渠道過去一周的平均值，且標記出距離當前時間最近一條數據的時間節點。當超過三天沒有數據，對應的渠道的字體就會加粗變色，同時發郵件或短信告知管理者需要關注該渠道出現的問題，如圖5所示。點擊監控可以了解對應渠道在近一個月內每天爬取的數據統計情況，如圖6所示（圖中的例子是看看新聞網渠道）。從以上的展示來看，對于數據的監控先從整體監控，而后轉到關注每一個渠道每天數據量的監控，這樣既能夠很好的從面上展示整體數據，也能夠從細節上監控好每個渠道獲取的數據量。

3.3 動態管理任務

動態的管理任務一方面是指能夠在集群系統正常工作時進行操作，另一方面是指對任務的動態增刪改查及定制化。由于Quartz的實現需要對任務進行各種參數配置，所以要實現動態增加任務，需要在網頁上把對應任務的信息配置到數據庫中，并且通過預留的接口把任務添加到集群中;對于動態修改各種參數，需要先將該任務從集群中剔除，隨后把設置好的任務重新動態添加到集群中;對于刪除任務，需要先把任務從集群中剔除，然后再刪除配置表，這個任務才算完整刪除。

對于按賬號或關鍵字來獲取數據，要實現動態操作賬號或關鍵字的數據，需要維護一張對應的任務賬號表，當需要操作賬號的時候，只需在頁面中修改對應任務賬號表就能夠實現動態操作，而無需停止該任務。

4 結束語

本文基于Quartz架構的特性來構建可視化的爬蟲管理系統，在保證分布式爬蟲系統正常運行的同時還監控了數據的可靠性。爬蟲管理系統是分布式爬蟲系統的有力補充，有了該系統，對于大規模的增加爬蟲渠道、增加數據爬取的維度，只需在網頁上操作，方便且簡易。

參考文獻：

[1]劉志鵬，衛晨.基于Quartz與Spring的動態任務調度系統的設計與實現[J].計算機光盤軟件與應用，2014（13）：263-264.

[2]張康.基于Quartz的分布式定時任務調度模塊的設計與實現[D].南京大學，2019.

[3]梁思率，王臻，楊樹國.清華大學儀器共享平臺性能優化實踐[J].實驗技術與管理，2016，33（04）：240-243.

[4]張鵬，白朝旭，王錕，等.基于Quartz的集團化調度任務分布部署研究[J].現代電子技術，2014（2）：80-83.

[5]葉剛.基于Quartz的可視化定時任務管理方案[J].電子技術與軟件工程，2018（17）：139-140.