新西蘭國家圖書館用網絡管理工具進行網頁存檔情況介紹

王艷翠 洪彥風 崔建偉 宗風強

（聊城大學 圖書館，山東 聊城252059）

0 引言

網絡管理工具項目是新西蘭國家圖書館與大英圖書館合作開發的、在國際互聯網保存協議支持下實施的開放源代碼工具。 合作用戶在圖書館環境下使用網絡管理工具時， 它是一種對在線材料進行選擇、收割及質量評估的支持工具。 學科專家確定了收割的部分站點或整個站點（這些站點通常于某一學科領域或某一重要事件相關）時，可利用該工具進行有選擇的網絡收割。作為參與國際網絡存檔共享的益處，它可從http://webcurator.sf.net 網頁上免費獲取。

自2007 年1 月， 新西蘭國家圖書館使用網絡管理工具作為選擇性網頁存檔方案的基礎。 新版工具開發的第一年，大幅度的提高和改善了收割活動質量并實施了2 項大的收割活動。

本文介紹了生產環境中使用網絡管理工具的經驗、網頁收割活動及網絡管理工具的開發背景。

1 新西蘭國家圖書館選擇性網頁存檔

1.1 網頁存檔原因

無論新西蘭社會和文化歷史是以書籍、報紙、圖片的形式存在的，還是以網站、博客及YouTube 影片形式存在的，新西蘭國家圖書館都要根據法律授權和它所擔負的社會責任對其進行保存，而越來越多的新西蘭文化遺產僅能從網上獲得。用戶覺得網上的內容既有價值又方便，但網絡內容的暫時性、缺乏明確的所有權、動態性特點對任何試圖獲取和保存它的機構都是巨大的挑戰。網絡管理工具通過允許機構捕獲幾乎所有的在線文件而解決了這些問題。 在線文件包括： 網頁、網站、網絡日志及目前大多數格式（包括HTML 網頁、圖片、PDF 文檔、word 文檔、音頻、視頻等多媒體內容）。 為保持這些文件的完整性與權威性，網絡管理工具盡可能細致地對它們進行處理。 公眾從那些安全的、長期保存的在線遺產中的獲益是無法估量的。

1.2 收割歷史

新西蘭國家圖書館自1999 年開始就有一個選擇性網頁存檔計劃。 到2006 年底，新西蘭國家圖書館已使用HT 跟蹤網站復制軟件對在線材料進行收割，并在一個基于MARC 的選擇、查詢數據庫中對其進行跟蹤觀察。 HT 跟蹤軟件給圖書館留下了一項積壓的工作——收割的材料不能用于長期保存的存檔。目前正在實施的數據遷移計劃就是把材料轉換成適合存檔的格式。

1.3 網絡管理工具

網絡管理工具支持一個包括一系列專門任務的收割工作流程：選擇在線資源；尋求收割許可并使其可公開查閱；對其進行描述；確定范圍和界限；列出網頁收割清單；執行收割；進行質量審查并批準或拒絕收割資料；在數字倉儲或數字文檔中保存已認可的資料。

目前，多數網頁存檔活動嚴重依賴于收割實施者的專門技能。 然而，網頁管理工具通過自動處理網頁存檔的技術細節使得用戶和學科專家（而不是工程師和系統管理員）的收割更具有責任性。網絡管理工具是開放源代碼軟件，并可在Apache 公共協議下從http://webcurator.sf.net 網站上免費獲取。網站提供用戶存取手冊、郵寄清單、截圖、常見問題解答、技術和管理文件、源代碼、故障跟蹤系統、開放源代碼計劃項目頁等。

1.4 人員及系統資源信息

網絡管理工具是新西蘭國家圖書館主要的工具，并用其管理亞歷山大特恩布爾圖書館的電子出版物。 在2007 年，相當于2.5 倍的全職電子選擇者直接使用該工具管理著所有的選擇、收割及質量審查。 該工具與圖書館的政策、工作流程、溝通及支持服務緊密集成并影響到更廣泛的工作人員。 例如：技術服務維護系統的硬件和軟件通過幫助界面進行管理；通過內容服務實現編目；國家數字圖書館進行數字化存檔的維護。

網絡管理工具設計的目的是使該工具盡量的與任何現有的系統緊密結合。 該工具配置使用了圖書館的Sun SPARC 服務器、Solaries操作系統、Oracle 數據庫、Apache THHP 服務器并安裝Tomcat 用于網絡服務、Novell 電子地址的用戶身份驗證服務。 制作系統配置了2 個服務器：一個用于核心模塊，一個用于收割（該配置可同時運行8 個并行收割）并與其他圖書館系統共享現有的數據庫和文件服務。

2 網絡管理工具1.2 版下的收割

2.1 收割歷史工具

它大幅改善了質量審查的方便性和有效性， 決策過程更快速有效。 收割歷史質量審查工具被證實是改善質量審查最有用的工具。 此工具列出了所有附有簡要信息的特定目標， 這些信息包括開始日期、數據下載、網址收割、收割成功或失敗、所用時間及現狀等。 這對于強化質量審查過程中所需的大部分信息是非常有用的。

2.2 瀏覽工具

1.2 版質量審查工具一個簡單有效的改變是： 增加了三種不同的方法用于選擇查看收割站點。 這三種方法是：用瀏覽工具查看目前的收割案例；觀看直播網站；查看以前的存檔版本（互聯網存檔或本地存檔）。收割案例在另一個瀏覽器窗口開放，并允許審查者把收割復本與站點的其它版本進行比較。

2.3 精簡工具

1.2 版也對網絡管理精簡工具作了更新。 但新西蘭國家圖書館不使用精簡工具更改網站， 因而收割不會從它的許多變化中直接受益。新西蘭國家圖書館已試行使用該工具。 實踐證明，該工具新的觀看功能對于選擇和查看任意收割文件都是極其有益的。

2.4 正在收割的較大型網站

作為圖書館收割計劃的一部分，最大的已完成并審查的收割規模是21GB,遺憾的是它未能通過質量審查。 新西蘭國家圖書館已成功的收割、審查并存檔多個10GB 規模的網站。

隨著網站規模的增長，電子選擇器更多地依靠自定義文件和優先性文件，尤其是排除那些允許電子選擇器中斷網站特別部分收割的過濾器。

2.5 數字資產存儲配置

新西蘭國家圖書館因而引進了一個更大的磁盤陣列用于數字資產存儲，并提供匯報工具使館員能持續監測磁盤陣列的使用狀況。

2.6 目錄工作流程及存取

當使用網絡管理工具描述網站成為可能時，新西蘭國家圖書館的政策就是在目錄中描述圖書館的整個館藏并提供從館藏目錄記錄到存儲在數字倉儲中的數字化條目之間的鏈接。當新西蘭國家數字遺產存檔取代臨時數字倉儲時，普通民眾可以獲取收割的網站和期刊。

在搜索圖書館網站目錄時的一個不足是：由于每個網站是單獨編目的，因而無法充分反映每個收割事件。為解決這一問題，大英圖書館計劃開發一個web 界面工具， 它提供基于主題和活動收割活動的存取，該工具為那些需要搜索特別網站的用戶提供額外幫助。 網絡管理工具目標（單個網站）及團體（網站收藏）定義使其成為可能。

3 結論

新西蘭國家圖書館里用網絡管理工具成功實現了有選擇性的網頁存檔計劃：使用網絡管理工具進行選擇、安排、收割并審查網站，然后把它們提交至數字化存檔。 1.2 版的質量審查工具作了很大的改進，新西蘭國家圖書館目前正對開放源代碼網站進行故障追蹤記錄并把情況通知給該工具的未來修訂版。該工具的新版（1.3 版）目前已經發布，預期它會進一步改善網站收割工作流程。新西蘭國家圖書館目前正在開發將來存儲和帶寬要求的容量模型，籌劃開發存取工具和域級別的收割。

［1］http://www.dlib.org/dlib/may08/paynter/05paynter.html[OL].

［2］http://www.httrack.com/[OL].

［3］http://opac.lianza.org.nz/cgi-bin/koha/opac-detail.pl?bib=121[OL].