網絡蜘蛛在網絡論壇領域的研究與設計

0 引言

網絡蜘蛛即Web spider，是一個很形象的名字。把互聯網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是通過網頁的鏈接地址來尋找網頁，從網站某一個頁面開始，讀取網頁的內容，找到在網頁中的其他鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。普通的網絡蜘蛛的爬行策略有廣度優先、深度優先和最佳優先搜索策略。在實際應用中，廣度優先策略和最佳優先搜索策略應用比較廣泛。