國家圖書館WEB數據增量采集設計及其實現

季士妍 趙丹陽

數字資源保存

國家圖書館WEB數據增量采集設計及其實現

季士妍 趙丹陽

（國家圖書館，北京 100081）

本文詳細介紹網絡資源保存技術策略現狀，并從國家圖書館網絡資源采集的實際業務需求出發，制定并設計符合國家圖書館業務需求的增量采集技術策略，簡述國家圖書館基于Heritrix3.4的增量采集實現方法和實驗效果，以期為業界提供有益的參考和借鑒。

國家圖書館；增量采集；Heritrix

國際互聯網保存事業開始于20世紀90年代，作為國家公共文化服務體系的重要組成部分，國家圖書館最早于2003年開展網絡信息資源采集與保存試驗項目（Web Information Collection and Preservation，WICP）[1]，針對中國發生的具有較大影響力的重特大事件進行專題采集；同時，對在中國境內注冊的政府網站（.gov.cn）進行定期鏡像存檔。多年來，國家圖書館在采集策略、采集方法、采集效率等方面不斷尋求突破。在開展規模性采集中，一方面采取全面采集和重點采集相結合的方式，盡量實現覆蓋范圍更廣的有效采集；另一方面，充分考慮采集內容的延續性和數據的有效性，不斷修正網絡資源采集范圍。在采集方法上，構建全流程、自動化、分布式的網絡資源保存與服務平臺，高效開展互聯網資源采集保存。與此同時，隨著互聯網信息爆炸式的增長，WEB網站的內容信息在以天甚至小時為單位快速變更，國家圖書館每年進行一次全站采集的頻率，很難保障網絡資源保存內容的時新性和數據更新的及時性，這樣一定程度上減弱了網絡資源保存的意義；如果以現有的全站采集方式縮短采集頻率，又會面臨新的局限和挑戰。

無論是受限于國家圖書館采集業務覆蓋范圍廣、采集數據量大、存儲硬件資源有限、網絡帶寬受限等因素，還是歸因于WEB網站資源量大、WEB網頁多版本重復數據量大、IT網頁技術快速發展等客觀因素，仍使用WEB網站全站采集與保存的策略與方式，將會缺失較多版本的WEB網站的變化信息，也不能利用有限的存儲空間保存更多數量的WEB網站。因此，國家圖書館根據自身業務特點和需求，選擇基于Heritrix最新版本，進行程序定制開發，以增量方式采集網站，提高采集效率，靈活數據更新機制，較好地避免了周期性整站采集所產生的大規模網站采集效率低、大量網站重復數據保存以及存儲空間利用浪費等問題，以實現國家圖書館網絡資源保存項目中大批量WEB網站的增量采集和有效管理。

1 國內外網絡資源保存現狀分析

網絡信息時代，互聯網信息逐漸成為人類文明記憶的載體，及時記錄時代記憶、保留網絡烙印變得非常重要。但隨著互聯網信息的爆炸式增長，WEB信息以指數級速度發生著變化，新數據快速增長，舊數據不斷更新與迭代，給Web Archives機構帶來巨大的壓力和挑戰。因此如何優化網絡資源采集策略和采集技術以廣泛和完整地保存互聯網資源成為業界研究熱點。

1.1 國外網絡資源保存現狀分析

近年來，國外的Web Archives機構對互聯網資源的保存展開了廣泛的研究并積極開展多個項目，多個國家均開展了網絡資源采集與保存相關工作，并從本國的實際出發，不斷擴大保存范圍、豐富保存資源類型、完善采集技術，WEB數據“增量采集”[2-4]也是各個國家圖書館探討的熱點和研究實踐的方向。美國IA（Internet Archive）[5]是目前世界上規模最大的網絡資源存檔與研究項目，其收集的網絡資源內容豐富，包括網頁、音樂、視頻資料等內容，主要通過網絡爬蟲自動收集，使用Wayback Machine實現網頁回放。美國國會圖書館2000年開始啟動MINERVA項目[6]，通過圖書館、大學、檔案館、出版社、企業等機構的合作，共同制定全國范圍的資源采集、保存戰略，并研究最新網絡資源采集技術，鑒別瀕臨消失的網絡資源。英國開展網絡資源保存項目UK Web Archive[7]，對英國網站進行選擇性保存，并聯合大英圖書館（British Library）、英國國家檔案館（National Archives）等機構共同制定采集策略。澳大利亞網絡檔案館開展了Pandora Archive項目[8]，基于IIPC的開源軟件開發Pandas系統，以支持圖書館和其他項目參與者采用的選擇性網絡存檔方法所涉及的任務和工作流程。日本國立國會圖書館啟動WARP（Web Archiving Project）項目，頒發了修訂后的《國立國會圖書館法》[9]，明確了日本國立國會圖書館可以收集、保存國家公共機構的網站信息，積極推進相關立法、靈活采用采集策略、充分挖掘采集資源。

1.2 國內網絡資源保存現狀分析

在我國，圖書館、高校等科研機構開展了一系列網絡信息采集研究與部分實踐。北京高校圖書館網絡“教學科研數字圖書館”研究項目[10]從文獻信息采集與整合的總體思路、采集的基本步驟、加工的標準與規范、操作規范等方面進行了數字資源采集與整合。中國科學院文獻情報中心開展“國際重要科技機構網絡信息采集與存檔管理平臺”項目[11]，基于IIPC[12]基本工具的選擇和使用，搭建技術平臺，探索了重要網絡科技信息資源的保存和利用。國家圖書館于2003年開展WICP，開始實驗性地對中國境內的互聯網資源進行采集與保存；在2005年將網絡信息采集成果服務網站上線，提供熱點專題和政府網站存檔資源瀏覽服務。此后國家圖書館一直在致力于中國的網絡信息資源采集與保存相關工作的研究與實踐。

可以看到，國際上網絡資源采集與保存工作發展迅速，部分國家已經將網絡資源的保存上升到國家戰略層面，而這些國家的網絡資源保存工作能夠大規模開展、不斷地進行研究和優化并取得巨大成果，正是與國家層面的相應政策以及圖書館、保存機構，甚至企業之間的密切合作和聯合行動密不可分的。國內在網絡資源保存方面的研究和實踐上相對起步較晚，網絡信息資源的保存環境缺乏政策扶持，輿論上也缺乏社會和公眾對網絡資源存檔的認可；各個研究機構相對獨立，研究和實驗的展開多以單一角度或單一資源類型為切入點，只有極個別的機構開展了規模性的網絡資源保存項目，研究在技術上借鑒國外同類項目經驗的同時，缺乏連貫性、深入性和完善性。放眼全球，網絡資源的保存不是一個機構能夠做的，需要戰略指導以及分地區、跨領域的合作，自上而下地大范圍地開展規模性的、適應國情的網絡資源保存項目，并在項目中不斷完善和優化保存策略和技術。

2 網絡資源采集技術分析

2.1 網絡資源采集策略分析

網絡資源保存涉及很多的策略技術問題（如網絡資源重要性評估、網頁資源的深層挖掘等），由于各個國家的技術架構不同，其采用的基礎技術策略和采集方法也不同，如美國主要采用壓縮文檔的方法和基于特征提取的方法；澳大利亞Pandora Archive項目主要采用多文件采集；瑞典、挪威、芬蘭等主要基于文件格式進行遷移。網絡資源保存的技術策略分類沒有統一的標準，目前較為認可的包括基于整個WEB的信息采集、面向主題的WEB信息采集[13]、增量式WEB信息采集、分布式WEB信息采集[14]、個性化的WEB信息采集[15]、多技術結合的信息采集[16]和基于元搜索的信息采集[17]等。

2.2 網絡資源采集工具分析

在網絡資源保存的獲取工具方面，有基于Java語言的Heritrix、Apache Nutch等，基于Python語言的Scrapy、cola等，基于C#的ccrawler等，但國際上主流Web Archive機構均采用國際互聯網保存聯盟IIPC研發的開源工具Heritrix[18]，可實現抓取完整的站點內容，支持網絡資源采集的爬蟲定義和網頁過濾技術，具有較為高效的可配置功能。同時，Heritrix采用優先算法，技術模塊包括核心類和插件模塊，用戶可以自行選擇模塊，也可以在此基礎上進行不同需求的定制開發。IIPC也開發了網絡資源存檔相關軟件工具，包括存儲方面的工具HTTrack2ARC、WARC Tools等，其數據封裝有WARCIP、AFF等不同格式，國際上廣泛應用的主要為WARC[19]格式，以實現對內容提取、相關主題驗證、數據存儲、數據封裝和格式轉換等各種功能的操作。同時，IIPC各成員機構根據自身的業務需求，在IIPC開源工具的框架上獨自開發相關軟件，最為廣泛使用的軟件是Wayback Machine，其次還有Time Travel Portal、Nutch WAX等。隨著技術的發展，IIPC致力于優化WEB存檔的工具和保存標準，不斷更新完善Heritrix版本，滿足各個機構的實際網絡資源保存業務的個性化定制和開發需求，促進國際合作。

3 國家圖書館增量采集技術路線設計

增量采集方式替代原有整站采集方式，可以有效節省采集服務器的存儲空間資源和網絡帶寬資源，縮短周期性采集整站的時間，提高采集效率。

3.1 采集思路

國家圖書館采用的WEB網頁增量采集，是在采集整站WEB網頁數據基礎上，以采集新出現的網頁、變更的網頁和已經刪除的網頁為目標的采集，且以主流靜態索引類型網站為主，保障增量采集數據內容不遺漏、不重復。基于需要實現的采集目標和主流靜態索引型網站的特點，考慮將網站劃分為網站索引頁、索引頁鏈接、頁面內容和內容變更頻率4個部分分別制定識別策略，來分流出采集目標并做采集性能優化處理；同時，考慮到國家圖書館網絡資源存檔的連續性、現有的硬件環境以及項目后續的優化和深入，綜合選擇高版本、高性能的采集工具，結合制定的增量采集策略完成程序的定制開發，以實現增量采集目標、提高硬件運行效率和規模性的生產采集。

3.2 采集工具選擇

Heritrix是基于Java語言實現的開源網絡爬蟲軟件，當前主要有Heritrix 1.14.4和Heritrix 3.x兩個主要版本。國家圖書館2016年開發的網絡資源保存與服務平臺是基于Heritrix 1.14.4版本實現的個性化采集模塊程序開發，考慮到Heritrix 1.14.4具有AdaptiveRevisitingFrontier模塊，根據自定義的間隔時間重復訪問解析到的URI，進而可以實現網頁資源的增量采集。但是Adaptive RevisitingFrontier模塊對URI的重復訪問功能，只在同一個采集任務周期內有效，當該采集任務自動結束或管理員手動終止時，Frontier中記錄的所有URI的信息會被清除，進而導致Heritrix 1.14.4的增量功能不穩定且無法滿足實際的工作需求。因此，國家圖書館在增量采集的設計和實現上，根據采集業務的要求選擇了合適的Heritrix版本，舍棄了一直沿用的Heritrix 1.14.4版本，采用Heritrix 3.4版本，以實現增量采集模塊的定制開發。

Heritrix 3.4主要由WEB控制臺Web Administrative和爬蟲功能模塊Engine構成。Engine主要由中央控制器CrawlController、邊界控制器Frontier、中央處理器組Processor Chain等部分組成。工作流程如圖1所示。

邊界控制器Frontier內部存儲了很多的URI隊列，并對URI進行調度，根據Heritrix相應的策略，分配不同的URI到WorkQueue中，然后根據不同的策略從WorkQueue中取出URI送給中央處理器組Processor Chain，中央處理器組Processor Chain中的FetchChain、DispositionChain和CandidateChain處理鏈分別對接收到的URI進行解析、抓取、過濾、存儲等操作，將篩選出來的新的URI再送回至邊界控制器Frontier中，進行下一個操作循環。

3.3 采集策略設計

國家圖書館基于Heritrix 3.4版本定制開發的增量采集要實現的目標包括以下內容。首先，整體程序對所運行的環境較為友好，可以運行在一個較低成本的硬件環境中；整體程序在運行中較少占用服務器內存，進而可以提升服務器的運行效率。其次，開發實現的增量采集功能，可以面向主流類型網站實現更新網頁的識別、采集，增量采集實現內容不重復、不遺漏。最后，開發實現的增量采集功能，可以支持多任務、高并發的采集任務安排，對不同的采集任務可以較為靈活地配置采集參數。

3.3.1 索引頁更新識別

當前互聯網上大多數網站提供的均是索引型網頁，即網頁展示內容不是由頁面直接提供，而是通過程序生成鏈接進而將網頁內容呈現出來。國家圖書館在實現網站采集時，首先抓取網站的索引頁作為該網站的種子鏈接，將網站首頁索引頁以及網站各版面索引頁一同形成該網站的原始種子列表。后續在實現增量采集時，根據種子列表進行判斷，將所有發生變化的鏈接均加入任務隊列，最終通過任務隊列進行全部采集和保存。

3.3.2 索引頁鏈接更新識別

制定程序建立了數據庫管理和記錄比對所有的索引頁中的鏈接數據，判斷并產生更新種子鏈接列表。數據庫中的每一個鏈接數據以時間戳記錄、ID順序記錄、無規律的記錄3種規則來識別該鏈接的唯一性。時間戳記錄和ID順序記錄規則可以以上一次采集周期結束為標記判斷是否有更新的鏈接；無規律的記錄規則以壓縮后的URI字節數/組作為Key值，比對Key值取得發生更新的URI。

3.3.3 頁面內容相似性識別

制定程序通過建立閾值識別方法，來準確識別網頁內容的更新。針對網頁內容，通過過濾網頁的干擾并提取該網頁內容的主題詞，設定該頁面的更新閾值，后續可以對不同時刻的頁面內容進行比對，一旦更新值超過閾值，就表示該頁面內容出現了更新，需要進行更新采集。

3.3.4 頁面變化頻率識別

所有網站的頁面更新，都是有其自身規律的。國家圖書館在目前階段將繼續沿用原有的采集策略，綜合考慮采集網站的數據量大小、更新時間等因素，人為設定網絡更新采集頻率。與此同時，還將建立一個網站更新頻率數據庫，詳細記錄網站數據量、更新頻率、更新量等，進而為未來利用機器學習的方式自動檢測網站更新頻率、自動觸發增量采集打下基礎。

4 國家圖書館增量采集技術實現

國際上廣泛應用的網絡資源保存格式主要為WARC格式，為方便國際交流，國家圖書館十多年來一直采用WARC格式保存，增量采集選用WARCWriter Processorwen文件處理器。遵照增量采集設計策略，網站增量采集實現流程如圖2所示。

網站增量的完整過程是一個多次判斷、多次循環的過程。在網站采集任務開始時，首先將待保存網站所有頁面的索引頁的首頁作為種子鏈接，形成網站的種子列表。當采集任務啟動后，系統按照采集隊列中的種子列表，依次采集每一個鏈接，并根據鏈接地址字符識別采集頁面是索引頁還是內容頁。如果是索引頁，則根據定制的增量采集邏輯解析頁面中的目錄鏈接，過濾出更新鏈接加入采集隊列，進行下一次循環，直到采集隊列為空，該采集任務結束。如果是內容頁，則需按照采集內容閾值設定進行對比判斷，如為不相似內容則觸發更新采集，如為相似內容則不更新采集，依次循環，直到采集隊列為空，任務結束。

在網絡資源采集任務管理上，定制程序對于增量采集與全站采集采用了不同的管理策略，對增量采集任務實施任務標記，進而明確區分增量采集與全站采集兩種不同的采集任務。Engine是Heritrix的主要爬蟲功能模塊，通過Heritrix的CrawlJob創建一個常規的爬蟲任務后，Heritrix會在系統目錄下創建任務文件。本定制程序實現的增量采集以創建文件夾的形式，以上一次采集開始為時間準則，在任務清單中添加爬蟲任務。增量采集任務的標記放在任務啟動開始前，當采集人員通過任務界面啟動增量采集任務時，系統會發送請求，根據jobName區分爬蟲任務，然后將對應的爬蟲任務啟動，同時調用Engine創建增量采集任務的接口，在增量采集過程中noteFrontierState會調用接口中jobState狀態。在增加采集過程中，定制程序實現了索引頁識別、鏈接去重、頁面內容過濾等功能。

（1）索引頁識別。索引頁的識別和采集主要通過Heritrix的頁面處理接口實現，并可以根據鏈接字符區分索引頁和內容頁進行處理。定制程序實現了html格式的網站索引頁的處理，利用Java自帶包解析html，導入Java包javax.swing.text.*和javax.swing.text.html.*，利用Heritrix的org.archive.modules.extractor包進行定制。

（2）鏈接去重。定制程序通過Heritrix中的org.archive.crawler.datamodel.CrawlURI類實現網頁鏈接去重，將采集任務處理的變量以及URI相關的數據全部封裝在CrawlURI中。CrawlURI將頁面中解析出的新鏈接放到outLinks中，在CandidatesProcessor執行DecideRuleSequence對Link進行過濾，將符合要求的鏈接持續加入Frontier，進而執行采集循環。

或者
或者標簽中間的內容為增量網頁采集的目標內容數據，程序通過MD算法對目標數據內容進行信息摘要，生成一個128bit的定長字符串保存到數據庫中。當實施增量采集時，程序只需要比對待采集的網頁與數據庫中記錄的MD編碼值是否一致即可，如果MD編碼值不一致，表示產生了頁面內容的改變，則觸發增量采集任務的啟動。

5 國家圖書館增量采集示范

國家圖書館用增量采集的方式實驗性地采集了包括文化和旅游部、中國政府網、外交部、教育部等政府門戶類網站，人民網、新華網等新聞類網站，北京北圖文化發展中心、國家圖書館等文化服務類網站。以中國政府網（https://www.gov.cn/）以及文化和旅游部網站（https://www.mct.gov.cn/）為例，由于網站自有策略、國家圖書館網絡帶寬流量控制策略和館網用網高峰流量控制等因素限制，因此，單位時間的采集數據量不同，不同網站單位時間采集數據量不能同向比較。

中國政府網采集深度參數設置為3層，為保證數據的時新性，以季度為采集頻率周期進行全站采集，第一次全站采集數據量達6?144MB，采集時長47小時，采集HTML數量達7?436頁；第二次全站采集數據量為7?356MB，采集時長60小時，采集HTML數量達8?082頁；但是，采用增量采集策略后（增量采集在第一次全站采集基礎上進行），數據量為455MB，采集時長為8小時，采集HTML數量1?820頁，采集時長縮短83%，存儲節約93%。

文化和旅游部網站采集深度參數設置為2層，第一次全站采集數據量達514MB，采集時長14小時，采集HTML數量達1?971頁；第二次全站采集數據量達638MB，采集時長25小時，采集HTML數量達2?488頁；但第二次采用增量采集策略后，數據量為53.5MB，采集時長4小時，采集HTML數量194頁，采集時長縮短71%，存儲節約90%。

從上面的對比數據可以很明顯地看出，使用同一采集策略和方式，不同的采集深度，網站的采集數據量和時長均不同。雖然采集網站深度為2層所采集的數據量相較于3層深度數據量驟降，但是2層深度不能很好地保證存檔網站的原貌，因此在實際工作中，國家圖書館的網站保存多采用3~5層深度。在采用WEB網站全站采集方式時，由于全站采集獲得的數據大部分為重復性數據，進而導致前后兩次全站采集的數據量相近。因此，如果長期多次采用WEB網站全站采集的方式，會給存儲帶來相當大的壓力，并且采集工作會長期占用網絡帶寬資源。與之形成較為明顯的對比，則為WEB網站增量采集方式，這種采集模式會大大減少網絡資源存檔量、較為顯著地縮短采集時間，其采集效率比整站采集明顯提升，不僅保證了采集保存的網站數據的時新性，而且采集服務器存儲占用驟降，有效地解決了全站采集帶來的存儲不夠和帶寬限制的問題，明顯地提高了工作效率。

6 結語與展望

國家圖書館基于Heritrix 3.4實現了網頁增量采集和數據管理，可以針對靜態索引類型的網站實現規模性的網站增量采集，保證資源內容時新性的同時，極大地緩解了存儲空間的壓力和網絡帶寬的負擔。國家圖書館還將繼續完善增量采集的方法，如利用機器學習方法進行網頁更新頻率管理，增加針對多種類型相匹配的增量采集程序，將增量采集程序包裝成獨立的軟件包進而可以分享給其他機構進行增量采集操作；同時，根據時代網絡資源的特點，針對更豐富的資源類型進行采集方法的探究，如移動端資源的采集研究等，以期為業界提供參考和借鑒。

［1］ 張煒，張文靜. 中國網絡信息采集工作研究現狀分析［J］. 圖書館建設，2008（7）：43-51.

［2］ CHO J，GARCIA-MOLINA H. The evolution of the web and implications for an incremental crawl［C］//In Proceedings of the 26th International Conference on Very Large Database， Cairo：2000.

［3］ 楊頌，歐陽柳波. 基于Heritrix的面向電子商務網站的增量爬蟲研究［J］. 軟件導刊，2010，9（7）：38-39.

［4］ Managing duplicates in a web archive［EB/OL］.［2020-11-16］. https://www.docin.com/p-1406798808.html.

［5］ Internet Archive’s Terms of Use，Privacy Policy，and Copyright Policy［EB/OL］.［2020-08-01］. https://archive.org/about/terms.php.

［6］ For Researchers［EB/OL］.［2020-11-16］. https://www.loc.gov/programs/web-archiving/about-this-program/.

［7］ 徐健. 英國網絡信息保存聯盟計劃（UKWAC）及其啟示［J］. 圖書館論壇，2007（2）：81-84

［8］ About Pandora［EB/OL］.［2020-11-16］. http://pandora.nla.gov.au/about.html.

［9］ 張妍，程瑾，劉雪濤，等. 日本國立國會圖書館網絡資源收集保存事業（WARP）及其啟示［J］. 中華醫學圖書情報雜志，2017（12）：41-45.

［10］ 林屹，李軍英，熊麗，等. 北京高校圖書館網絡“教學科研數字圖書館”研究項目信息采集與整合的解決方案［J］. 現代圖書情報技術，2003（5）：86-88.

［11］ 吳振新，謝靖，張智雄，等. 國際重要科研機構網絡信息采集與存檔管理平臺構建［J］. 圖書情報工作，2014（11）：100-104.

［12］ IIPC［EB/OL］.［2020-11-05］. http://netpreserve.org/.

［13］ 李春旺. Web信息主題采集技術研究［J］. 圖書情報工作，2005（4）：77-80.

［14］ 金岳富，范劍英，馮揚. 分布式Web信息采集系統的設計與實現［J］. 哈爾濱理工大學學報，2010（2）：116-123.

［15］ 吳麗輝，王斌，張剛. 一個個性化的Web信息采集模型［J］. 計算機工程，2005（11）：86-88.

［16］ 王征清，成全. 基于Multi-Agent的分布式主題信息采集結構模式研究［J］. 情報理論與實踐，2007（3）：419-422.

［17］ 王忠，程磊. 基于元搜索引擎的個性化Web信息采集［J］. 計算機工程與設計，2009（13）：3117-3119.

［18］ Heritrix［EB/OL］.［2020-11-16］. https://Webarchive.jira.com/wiki/display/Heritrix/Heritrix.

［19］ ISO 28500:2009（en）Information and documentation—WARC file format［EB/OL］.［2020-11-16］. https://www.iso.org/obp/ui/#iso:std:iso:28500:ed-1:v1:en.

Design and Implementation on the Web Data Deduplicated Crawlers of the National Library of China

JI ShiYan ZHAO DanYang

( National Library of China, Beijing 100081, China )

This paper introduces the current situation of web archiving technology strategy in detail, and designs the deduplicated crawlers technology strategy based on the actual practices of web archiving in the National Library of China. It describes the realization method of duplicated crawlers based on heritrix 3.4, so as to provide useful reference for the industry.

National Library of China; Duplicated Crawlers; Heritrix

G255

10.3772/j.issn.1673-2286.2021.01.005

季士妍，趙丹陽. 國家圖書館WEB數據增量采集設計及其實現[J]. 數字圖書館論壇，2021（1）：32-37.

季士妍，女，1978年生，碩士，副研究館員，研究方向：數字資源保存和服務、數字圖書館資源整合，E-mail：jisy@nlc.cn。

趙丹陽，女，1988年生，碩士，館員，研究方向：數字資源保存和服務、數字圖書館資源整合，E-mail：zhaody@nlc.cn。

（收稿日期：2020-12-12）