larbin網絡爬蟲的體系結構

1 Larbin網絡爬蟲

結合larbin詳細介紹該體系結構的工作過程，將整個體系結構分成8個部分逐一介紹。分別為URL庫，DNS解析，連接處理，FO復用，文件排重，robots解析，解析html文件和存儲HTML文件。