利用專業數據采集工具獲取網絡數據的方法

楊健

隨著移動互聯網的日益普及和廣泛應用，網絡上的資訊成為人們獲取信息的重要來源。人們通常根據需求使用百度等搜索引擎，輸入關鍵字，檢索所需的網頁內容。在瀏覽網絡資訊信息的同時，人們還希望能夠將這些信息保存下來，選擇適當的方法進行數據分析，得出有效結論，為日后相關決策提供可靠依據。

那么如何保存網頁上的信息呢？通常情況下，大家會選中網頁上需要的信息，然后通過“復制”和“粘貼”操作，保存在電腦的本地文件中。這種方法雖然簡單直觀，但是操作繁復，不適宜大批量數據信息的采集。為了準確便捷地獲取網絡中的海量數據，人們設計開發了多種用于采集數據信息的專業工具，借助專業工具中網絡爬蟲的強大功能，能夠更加準確、方便、快速地獲取網頁信息。這樣的專業數據采集工具有很多種，本文以“八爪魚”數據采集工具為例，介紹專業數據采集工具的功能、原理及使用方法。

“八爪魚”數據采集工具的功能

“八爪魚”數據采集工具是一款通用的數據采集器，能夠采集98%的網頁上的文本信息。它可根據不同網站提供多種網頁采集策略，也可以自定義配置，以本地采集或云采集的方式對選中網站中的單個網頁或多個網頁的內容信息進行自動提取，并將獲取結果保存在Excel、CSV、HTML、數據庫格式文件中，以方便后續的數據處理與分析。

“八爪魚”數據采集工具的原理

一般情況下，人們瀏覽網頁時，首先要輸入網站的網址;然后通過鼠標單擊網頁上的按鈕或熱點等操作，找到所要獲取的相關信息;最后選中這些信息，提取出來，保存到特定格式的文件中。“八爪魚”數據采集工具的核心原理是通過內置Firefox內核瀏覽器，模擬上述人為瀏覽網頁的行為，對網頁的信息進行全自動提取。這些功能由“八爪魚”采集器的三個程序完成：負責任務配置及管理的主程序;任務的云采集控制和云集成數據的管理程序;數據導出程序。

“八爪魚”數據采集工具的操作

使用“八爪魚”采集器之前，我們要進入其官方網站https：//www.bazhuayu.com/，下載并安裝“八爪魚”采集器客戶端（本文以“八爪魚”8.0版軟件為例）。打開客戶端軟件，注冊登錄后即可使用。

1.使用模板采集數據

“八爪魚”客戶端中內置了很多網站的采集模板，我們可以根據需求使用這些模板，如圖1所示，按照提示步驟簡單快捷地全自動獲取網站信息。操作過程分三步：第一，選擇目標網站的模板;第二，配置數據采集參數（采集的關鍵字、采集的頁數等），選擇采集模式（本地采集或云采集）自動提取數據;第三，選擇輸出的文件格式，導出數據。

圖1? 客戶端中內置的網站采集模板

上述操作完成后，“八爪魚”客戶端會將整個操作過程及提取的數據以任務的形式進行保存。通過客戶端“我的任務”項，可以隨時查看已提取的數據，也可以重復執行或修改當前任務。

2.自定義采集數據

當我們希望按照自己的要求獲取網頁上的個性化數據時，就需要使用自定義數據采集模式。首先要確定目標網站和采集需求;然后打開網頁，配置采集選項，提取數據;最后導出數據到指定格式的文件中。

不管使用“八爪魚”客戶端的哪種模式采集網頁數據信息，整個流程都可統一為配置任務、采集數據和導出數據三個步驟。其中，配置采集選項參數是準確獲取網頁數據的關鍵。

“八爪魚”數據采集工具的應用案例

“八爪魚”數據采集工具能夠采集大多數網站上的網頁信息，而非只針對某類專業網站數據進行采集。下面以獲取豆瓣電影Top 250（https：//movie.douban.com/top 250）網頁數據為例，介紹“八爪魚”數據采集工具的具體使用方法。

豆瓣網站是根據每部影片看過的人數以及該影片所得的評價等綜合數據，通過算法分析產生豆瓣電影Top 250榜單。豆瓣電影前250名的數據信息分10個連續網頁顯示，每個網頁呈現25部電影，每部電影都包括電影排名、電影海報、電影中英文名稱、電影導演及主演、參評人數、豆瓣得分等相關信息。我們可以根據實際需求，使用“八爪魚”數據采集工具獲取豆瓣電影Top 250的詳細數據，具體方法如下。

1.獲取榜單中某一部電影的信息

首先，查看豆瓣電影網頁中關于某部電影的信息，如《霸王別姬》，確定要獲取的信息內容：電影排名、電影名、導演、主要演員和劇情簡介五項。其次，在“八爪魚”客戶端的首頁中，輸入該部電影網頁的網址，鼠標單擊“開始采集”按鈕，打開該網頁;在顯示網頁的窗口中，鼠標單擊“NO2 豆瓣電影Top 250”標簽;在彈出的“操作提示”窗口中選擇“采集該元素文本”，在“配置采集字段”窗口中顯示出“ NO2 豆瓣電影Top 250 ”選項。重復上述操作，分別選中網頁中“霸王別姬（1993）”“導演：陳凱歌”等其他標簽完成采集字段的配置，并修改字段名稱。再次，在“操作提示”窗口中執行“保存并開始采集”命令，在“運行任務”窗口中啟動“本地采集”選項收集數據信息。最后，將采集到的數據保存到特定格式的文件中。

數據信息采集完畢后，除了通過打開數據文件查看采集的信息外，還可以從“八爪魚”客戶端首頁的“我的任務”項中查看采集好的數據。

2.獲取某個網頁的全部電影信息

豆瓣電影榜單中每頁都會顯示25部電影的相關信息，每部電影展示了相同的信息項，如電影排名、海報、電影中文名稱、導演及主演等。那么，“八爪魚”客戶端提取每部電影數據的操作都是相同的。因此，我們只需完成一部電影的數據采集配置，其余電影使用循環重復操作即可。

首先要確定需求，在“八爪魚”客戶端的首頁輸入要獲取信息的網址并打開網頁。其次，單擊鼠標選中一部電影相關數據區域。在彈出的“操作提示”窗口中選擇“選中子元素”選項，選中該電影的電影排名、海報、電影中文名稱、導演及主演等字段;然后再單擊鼠標選擇“選中全部”，建立循環列表，選中該網頁中25部電影的相關數據項;再單擊“采集數據”選項，在預覽窗口中，查看修改要采集的數據字段名。最后啟動“本地采集”，獲取數據信息，生成數據文件。

3.獲取榜單中全部電影信息

除了上述手動選擇數據采集字段外，由于豆瓣電影Top 250榜單中每部電影顯示的信息都是相同的，在獲取全部250部電影數據時，我們可以通過“操作提示”窗口中的提示信息，自動配置要提取的數據項，來完成電影信息的獲取。

首先明確獲取信息需求，確定網址https：//movie.douban. com/top 250，在“八爪魚”客戶端打開網頁;在“操作提示”窗口中選擇“自動識別網頁”。經過“八爪魚”算法的識別，自動完成采集字段配置，如圖2所示。在“數據預覽”窗口中，可以看到即將采集的字段及數據，通過“修改”和“刪除”操作可以調整字段相關信息。然后選擇“生成采集設置”，保存并開始采集數據。數據提取完成后，保存到特定格式的文件中。

圖2 自動完成采集字段配置

除了以上這些應用之外，“八爪魚”數據采集工具還可以針對很多采集需求和不同結構的網頁進行數據采集，如獲取特定網頁數目的數據、使用云采集等。這些都是大家可以進一步學習研究的內容。

專業數據采集工具及網絡爬蟲技術逐漸成為獲取網絡信息的重要手段，但是在現實社會中，并不是所有數據都可以任意提取和使用。在數據采集時，我們要遵守有關的法律法規，負責任地、合理地使用網絡技術和網絡信息。

基金項目：北京市教育科學“十三五”規劃2018年度一般課題“高中信息技術教學中計算思維培養的教學案例研究”，立項編號：CDDB18183。作者系北京教育學院“北京市中小學人工智能教學實踐研究”特級教師工作室成員

參考文獻

[1]祝智庭，樊磊. 普通高中教科書·信息技術必修 [M]. 北京：人民教育出版社、中國地圖出版社，2019.