基于Scrapy的招生信息專題搜索引擎研究

方錦文，童樺茜

（1.桂林電子科技大學信息科技學院，廣西桂林，541004；2.廣西城市建設學校，廣西桂林，541003）

0 引言

搜索引擎是一種專門在網絡上提供查詢服務的系統，它把分布在網絡上的信息資源進行收集、處理，然后經過整理后方便人們查詢。目前像百度和Google這樣的大型搜索引擎能為用戶提供海量的信息查詢服務，其查詢范圍遍布各行各業，基本可以滿足各個領域的信息橫向搜索。也正是因為這類通用搜索引擎所覆蓋領域廣闊，所以很難在搜索的同時兼顧到搜索的精準度。其價值在于對大量的分散信息做信息導航，對于信息量相對集中、分類類別更詳細的某一特定領域的信息檢索就會表現出其縱向搜索的局限性。

垂直搜索引擎的出現正是為了解決通用搜索引擎在特定領域下的搜索精度不高、主題偏移、搜索深度不夠等問題。垂直搜索引擎專注于某一類信息、專業領域、特定主題下的信息檢索，其追求的是專業性和檢索服務深度。對于大學招生信息主題的搜索引擎，則專注于提供各個學校招生信息、學校信息、招生專業等信息的檢索服務。

1 系統工作原理

系統主要由信息采集、信息預處理、信息檢索三部分組成。在信息采集部分，主要通過網絡爬蟲抓取因特網上的網頁數據的方式，用構建招生信息主題詞庫的過濾器過濾掉與招生信息不相關的網頁鏈接，然后把與招生信息相關的網頁信息存放到網頁庫中。在信息預處理部分通過索引器對對采集到的網頁庫建立索引方便系統查詢。信息檢索部分主要負責與用戶的直接對接，如圖1所示。

圖1 主題搜索引擎總體框架

用戶通過Web服務器界面接入系統，輸入要查詢的內容，檢索器與索引庫對接，在索引庫中搜索信息，用排序器對搜索結果進行排序處理后返回給用戶。

2 專題網絡爬蟲構建

■2.1 Scrapy爬蟲框架

Scrapy是基于 Python 實現的爬蟲框架，其架構清晰，模塊耦合度低[1]。可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中，簡單來說，Scrapy是一個可以爬取網站的數據，提取數據的框架。

Scrapy 框架組件及其中間件的功能如下[2]：

（1）Scrapy Engine（引擎）：串聯框架各個模塊，觸發事務處理流程，控制數據流在系統中所有組件中流動。

（2）Scheduler（調度器）：負責管理待抓取 URL 隊列。接受請求后返回下一個要爬取的鏈接。

（3）Downloader（下載器）：向網站服務器發送訪問頁面請求，獲取頁面數據并提供給引擎。

（4）Spiders（爬蟲）：爬取指定網站的數據內容，管理爬取規則和網頁解析規則等。

（5）Item Pipeline（項目管道）：處理被spider提取出來的item，包括數據清洗、驗證及持久化(例如存取到數據庫中)等。

（6）Middlewares（中間件）：包括下載器中間件(Downloader middlewares)和Spider中間件(Spider middlewares)，處理引擎與下載器、爬蟲之間的請求及響應，其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能。

Scrapy框架安裝完成后，便可創建自己的爬蟲項目，Scrapy爬蟲項目結構如圖2所示。

圖2 項目文件結構

各文件功能如下[3]：

（1）scrapy.cfg: 項目運行的參數設定。

（2）middlewares.py：爬蟲程序中間件。

（3）items.py: 項目中的item文件，管理待抓取的一些信息。

（4）pipelines.py: 項目中的pipelines文件，對爬取的數據進行清洗。

（5）settings.py: 項目的設置文件。

（6）spiders: 放置spider代碼的目錄。

■2.2 專題爬蟲策略

為使抓取的網頁與高校信息主題相關度更高，本文采用知名度較高的高校招生網作為初始目標網站爬取數據。通過觀察目標網頁，在高校信息詳情頁部分，可以找到高校名字、類型、聯系電話、地址、簡介、招生計劃等信息，均包含在屬性值為class的li標簽中。可以先獲取一級頁面的列表頁信息，在根據列表頁中的詳情頁URL來獲取詳情頁的數據。

先在項目的全局性配置文件setting.py中，配置好項目的名稱、下載延遲、Scrapy執行的最大并發請求數等信息[4]。然后在數據模塊items.py文件中設置好要爬取的高校信息字段，然后通過scripy對目標網頁的高校信息頁面進行一級頁面的連接爬取和二級頁面的詳細內容。在scripy文件中，通過start_urls = []設置初始目標網站，通過allowed_domains = []設置允許爬取的范圍，在def parse()通過Xpath獲取到爬取的一級頁面的列表