基于異步JavaScript技術的水稻病蟲害圖像網絡爬蟲設計

彭崧

【摘 要】本文的設計是水稻病蟲害信息的網絡爬蟲程序，通過多線程方法對特定的URL進行分析、去重，獲取到水稻病蟲害信息內容，然后將獲取的信息內容進行下載并進行分類，用戶可通過該網絡爬蟲程序下載的圖像進行水稻病蟲害圖像的研究。該網絡爬蟲程序的設計與實現，便于人們對水稻病蟲害的技術研究和農業科技的發展。

【關鍵詞】網絡爬蟲；水稻病蟲害；多線程；搜索策略

隨著計算機和互聯網技術的不斷成熟和大量使用。怎樣快速的幫用戶在茫茫的互聯網的海洋中找到需要的信息，已經成了互聯網研究的一項重要的內容。為了讓用戶在互聯網中快速有效的進行互聯網搜索信息，一類被稱為搜索引擎的搜索工具隨之產生，給用戶和他們所要搜索的信息之間提供了一座橋梁。而搜索引擎最重要的部分是網絡爬蟲，所以網絡爬蟲為搜索功能的實現奠定了重要的基石。

水稻是我國最重要的食品之一，在我國種植面積很大，分布全國各個地區。而影響我國每年的水稻產量的重要因素之一就是水稻的病蟲害的發生，其控制水稻病蟲害發生的問題一直是提高水稻產量的重要且急需解決的問題。

為結合科技力量進一步加快水稻病蟲害防治的研究步伐，本文擬采用水稻病蟲害圖像網絡爬蟲搜索引擎，進一步推進水稻病蟲害研究，有效改善水稻生產，進一步地促進我國水稻病蟲害的法治，讓我國的水稻產量得到有力的提升。

1 國內外研究現狀

目前，基于爬蟲技術的搜索引擎在互聯網技術的飛速發展中閃耀，給農作物病蟲害防治的研究提供了技術上的支持。同時，發達國家對水稻等作物病蟲害防治情況的大力關注，越來越多的國家和機構加入使用爬蟲技術來控制病蟲害行列中來。

隨著科學技術和生活水平的提高，網絡已經成為人們生活的一部分，各種搜索引擎紛紛涌現，作為基礎技術的爬蟲技術也越來越成熟，國內許多搜索引擎巨頭如百度，搜狗等等迅速向前推進，分別推出了各自的搜索引擎系統。同時，中國的“五年計劃”高度關注農業發展，使得爬蟲技術在農作物病蟲害防治的問題上越來越受到公眾的關注。

2 網絡爬蟲的定義

網絡爬蟲（也稱為蜘蛛）是一種客戶端程序或腳本，顧名思義，網絡爬蟲能像“蜘蛛”一樣在特定的范圍內獲取到所需要的信息，網絡爬蟲是根據某些特定的規則來自動抓取網絡上的信息。而且網絡爬蟲是搜索引擎的重要組成部分，通過對網頁的自動提取，能從網頁獲取到搜索引擎所需的頁面。在爬取網頁信息時，為獲取初始頁面的URL列表，需從一個或多個初始網頁的URL進行抓取，在抓取的過程中，自動將當前頁面的新URL從隊列中分類到抓取狀態，直到滿足系統的停止條件為止。

3 水稻病蟲害圖像網絡爬蟲設計

3.1 網絡爬蟲的模型分析

首先是抓取URL鏈接地址。從URL地址抓取開始，先確定URL是否重復，然后根據預先設置的廣度來抓取圖像，搜索圖像時通過設計的算法和排序方式來進行搜索。搜索完成后將與主題相關的圖像篩選出來，然后將篩選后的圖下像載到本地中，與此同時也通過jdbc將圖像存儲到數據庫中。然后任務列表再次開始抓取URL，使網絡抓取器運行，依次循環，直到要抓取的URL線程完成為止。

3.2 網絡爬蟲的搜索策略

廣度優先搜索策略是在當前搜索級別完成之后再執行下一級搜索。在盡可能多的頁面的覆蓋范圍內，通常使用廣度優先搜索方法來抓取用戶所需要的信息，同時也因為該算法的設計和實現相對簡單。有許多研究將廣泛優先搜索策略應用于聚焦爬網程序。基本思想是，初始URL與頁面之間的距離內具有一定的鏈接與主題的相關程度很大。另一種方法是使用廣度優先搜索和網絡過濾技術，首先采用廣度優先策略來抓取頁面，然后不相關的頁面過濾掉。這些方法的缺點是隨著爬網數量的增加，大量不相關的頁面將被下載和過濾，并且算法的效率會降低

3.3 水稻病蟲害圖像網絡爬蟲設計

本設計通過研究異步JavaScript網絡爬蟲系統的關鍵技術問題，采用基于對象的程序切片算法，以及腳本執行引擎與切片模塊的互操作技術進行設計。

將功能模塊分為前臺界面顯示和后臺數據抓取存庫。前臺界面顯示主要分為兩個部分：搜索導航部分和數據顯示部分。界面分上下兩個部分，上部分為搜索導航部分，比占40%；下部分為數據顯示部分，比占60%。上部分是用來關鍵字搜索導航，對要搜索的水稻病蟲害關鍵字進行全站搜索；下部分是用來顯示搜索到的數據，用表格的形式分別顯示水稻病蟲害圖片和相關介紹信息。后臺數據抓取存庫主要分為兩個部分：抓取水稻病蟲害數據和數據存入數據庫。

通過關鍵字來獲取并下載水稻病蟲害圖像主題的網絡爬蟲程序，下載滿足客戶需求的水稻病蟲害圖像。根據用戶的不同需求，水稻病蟲害主題網絡爬蟲程序需要實現以下目標：基于多線程設計，下載用戶需求的所有的水稻病蟲害圖像，篩選出用戶所需要的圖像通過一定的正則表達式和算法，通過關鍵字來獲取水稻病蟲害圖像主題的一個網絡爬蟲程序，通過設定的關鍵字來爬取網絡上的圖像，并下載滿足客戶需求的圖像。

4 小結

運行爬蟲程序后，在控制臺輸入要爬取的圖像關鍵字，程序會在本地中生成一個image文件夾，文件夾內容包含html、img、txt三個文件夾，還有一個url.txt文本文件。Img文件夾是保存爬取下載的水稻病蟲害圖像，根據水稻病蟲害的分類，img文件夾中可以實現八類不同病蟲害圖像的文件：稻曲病圖像、稻瘟病圖像、惡苗病圖像、胡麻葉斑病圖像、霜霉病圖像、紋枯病圖像、小球菌核病圖像、葉鞘腐敗病圖像。

【參考文獻】

[1]王艷閣.主題微博爬蟲的設計與實現[D].中原工學院碩士論文，2013.

[2]于成龍，于洪波.網絡爬蟲技術研究[J].東莞理工學院學報，2011，18（3）：25-29.

[3]曾偉輝，李淼.基于JavaScript切片的AJAX框架網絡爬蟲技術研究[J].計算機系統應用，2009，18（7）：169-171.

[責任編輯：朱麗娜]