數(shù)據(jù)長期保存引入SOA

文/曾婷 董麗

數(shù)據(jù)長期保存引入SOA

文/曾婷 董麗

DAITSS應(yīng)需而生

隨著數(shù)字資源的急速增長，如何保證資源的長期可用性和永久可讀取性，成為一個非常嚴(yán)峻的問題。

數(shù)字資源長期保存(Digital Preservation，DP)是指為了長期保存足夠的字節(jié)流（包括元數(shù)據(jù)），以再現(xiàn)對應(yīng)的原始文件所需采取的措施，以及為了隨著時間和技術(shù)的變化繼續(xù)存取文檔所采取的行動。數(shù)字資源長期保存的概念在上世紀(jì)80年代末提出以后，于90年代開始得到正式的研究。

隨著數(shù)字資源長期保存的不斷發(fā)展，出現(xiàn)了若干可用來構(gòu)建數(shù)字資源長期保存系統(tǒng)的開源倉儲軟件，如Fedora、DSpace、Lockss、aDORe、DAITSS等。DAITSS（Dark Archive In The Sunshine State）是由佛羅里達(dá)圖書館自動化中心（Florida Center for Library Automation，F(xiàn)CLA）為佛羅里達(dá)數(shù)字保存系統(tǒng)所開發(fā)的一個數(shù)字保存?zhèn)}儲軟件。在2006年底，人們以GNU GPL許可證方式作為開源軟件發(fā)布了第一版。目前可下載的最新版本是2007年底發(fā)布的DAITSS 1.2. 6版本。

DAITSS與其他保存系統(tǒng)的最大區(qū)別在于：該系統(tǒng)的設(shè)計目標(biāo)是作為數(shù)字圖書館和機(jī)構(gòu)倉儲的后臺系統(tǒng)，僅提供倉儲保存功能，不支持外部用戶的直接訪問，需要與其他訪問系統(tǒng)聯(lián)合為用戶提供檢索訪問服務(wù)。DAITSS專注于保存功能的特點(diǎn)非常適于各機(jī)構(gòu)構(gòu)建一個基于已有資源環(huán)境的保存系統(tǒng)，避免了與其他系統(tǒng)在功能上的重復(fù)。

基于OAIS的DAITSS 1.x

DAITSS基于OAIS(Open Archival Information System)參考模型，執(zhí)行動態(tài)的保存策略，包括遷移、標(biāo)準(zhǔn)化和本地化。

OAIS參考模型

OAIS參考模型是一個全面分析數(shù)字資源長期保存活動，并規(guī)定其概念、術(shù)語和功能結(jié)構(gòu)的總體框架。

OAIS是由美國空間數(shù)字系統(tǒng)咨詢委員會(Consultative Committee for Space Data Systems，CCSDS)制定的國際存檔標(biāo)準(zhǔn)，于2003年正式發(fā)布。其功能模型如圖1所示。附加功能

DAITSS在遵循開放存檔信息系統(tǒng)OAIS參考模型的基礎(chǔ)上實(shí)現(xiàn)了預(yù)處理、攝入、檔案存儲、數(shù)據(jù)管理、管理、分發(fā)、撤銷的功能，其中預(yù)處理和撤銷是附加功能。下文對這兩個附加功能簡要介紹。

1.預(yù)處理功能

由于DAITSS系統(tǒng)采用統(tǒng)一的SIP（提交信息包）進(jìn)行攝取，因此預(yù)處理功能要對附屬機(jī)構(gòu)提交的SIP進(jìn)行相應(yīng)的預(yù)處理，保證進(jìn)入系統(tǒng)攝取模塊SIP的有效性；如果不需要對SIP進(jìn)行進(jìn)一步的檢查或改變，也可跳過預(yù)處理步驟。人們根據(jù)實(shí)際情況，當(dāng)運(yùn)行DAITSS的保存系統(tǒng)時，通過本地化的方法對SIP進(jìn)行編輯、規(guī)范化等處理。

2.撤銷功能

DAITSS的撤銷功能是OAIS模型所沒有的，在客戶要求刪除倉儲內(nèi)容的情況下使用撤銷功能，可用于修正錯誤（當(dāng)攝入的SIP有錯誤時）、移除被格式轉(zhuǎn)換所代替的版本。

撤銷功能包括撤銷請求的認(rèn)證（外部請求或內(nèi)容請求）、文件刪除、元數(shù)據(jù)修改。撤銷操作移除完整的AIP，清除與數(shù)據(jù)文件相關(guān)的所有元數(shù)據(jù)，只保留與知識實(shí)體有關(guān)的元數(shù)據(jù)信息。該操作作為一個事件被記錄到數(shù)據(jù)庫中，并給用戶和保存系統(tǒng)發(fā)送撤銷報告。

DAITSS 1.x向2過渡

在圖書館和博物館服務(wù)機(jī)構(gòu)（IMLS）的支持下，佛羅里達(dá)圖書館自動化中心基于DAITSS開發(fā)了FDA系統(tǒng)。FDA采用MySQL作為關(guān)系數(shù)據(jù)庫管理系統(tǒng)，以IBM的Tivoli進(jìn)行存儲、管理文件系統(tǒng)中的三個AIP存檔備份。存檔文件的保存層次由FCLA附屬圖書館指定。FDA采取FCLA與附屬保存機(jī)構(gòu)簽訂協(xié)議的方式明確在資源保存中的職責(zé)和權(quán)利。FDA管理存儲資源，保證資源可獲?。桓綄俦４鏅C(jī)構(gòu)選擇哪些資源予以保存，并在遵守版權(quán)規(guī)定的前提下管理保存元數(shù)據(jù)，授權(quán)予FCLA進(jìn)行復(fù)制、呈現(xiàn)、建立衍生文件。FDA只能保存經(jīng)授權(quán)的資源，極大地簡化了倉儲管理的角色和DAITSS軟件的設(shè)計應(yīng)用。

與Fedora、DSpace、Lockss等用于數(shù)字資源長期保存的開源倉儲軟件相比，DAITSS還處于應(yīng)用發(fā)展的初始階段，還沒有形成用戶群體和開發(fā)群體。這一方面是因?yàn)镈AITSS 1.x的開發(fā)單位FCLA主要是為佛羅里達(dá)州的10所公立大學(xué)圖書館提供計算機(jī)應(yīng)用支持，沒有精力為其他應(yīng)用單位提供更多的應(yīng)用支持。另外一方面該軟件的設(shè)計過于復(fù)雜，考慮了許多不太可能發(fā)生的情況，導(dǎo)致配置使用和定制比較麻煩；而且以前的設(shè)計過于緊耦合，不方便添加新的服務(wù)。

為了克服上述問題，并且考慮到數(shù)字資源長期保存的概念，涉及到諸多服務(wù)的互聯(lián)互通，還要使用到許多第三方的專業(yè)工具軟件，DAITSS從1.x到2逐漸轉(zhuǎn)向SOA架構(gòu)，這樣它作為一個純粹的后臺倉儲系統(tǒng)，可以方便地實(shí)現(xiàn)與其他系統(tǒng)的集成、互操作，為各保存機(jī)構(gòu)構(gòu)建一個基于已有資源環(huán)境的保存系統(tǒng)提供了更多的可能性；它本身的模塊化和松耦合，方便各保存機(jī)構(gòu)根據(jù)自己的特定需求自由地設(shè)計實(shí)現(xiàn)理想的工作流程。這些系統(tǒng)設(shè)計和功能上的改進(jìn)將方便其它用戶群體對于DAITSS的配置使用和定制，使得它更加可能在數(shù)字保存界得到廣泛接受和應(yīng)用。

DAITSS 2轉(zhuǎn)向SOA

目前，DAITSS 2的開發(fā)工作正在進(jìn)行中，一方面是去掉一些不必要的功能，降低系統(tǒng)的復(fù)雜性；另外一方面的主要工作是引入SOA這種面向服務(wù)的架構(gòu)，對目前單一的系統(tǒng)實(shí)現(xiàn)模塊化和松耦合，以方便組成系統(tǒng)的各個功能組件的獨(dú)立開發(fā)、修改、替換，而且能以Web服務(wù)調(diào)用的方式集成第三方已經(jīng)實(shí)現(xiàn)的功能，并使得自己的各個功能組件以Web服務(wù)調(diào)用的方式被第三方集成使用。下文對為下一代DAITSS規(guī)劃的面向服務(wù)的架構(gòu)的若干組成部分進(jìn)行介紹。我們可以看到一些外部的開源服務(wù)工具在數(shù)據(jù)處理的工作流程中被調(diào)用（見下頁圖2）。

描述服務(wù)

在DAITSS 2中，每個數(shù)據(jù)文件被送到描述服務(wù)，進(jìn)行格式識別、校驗(yàn)和特征化。

人們使用到的開源服務(wù)工具及保存元數(shù)據(jù)標(biāo)準(zhǔn)如下：

1.PRONOM：由英國國家檔案館開發(fā)的一種用來支持?jǐn)?shù)字保存服務(wù)的基于網(wǎng)絡(luò)的技術(shù)注冊機(jī)制。目前的核心服務(wù)包括：注冊服務(wù)、PRONOM永久唯一標(biāo)識符體系、DROID工具；

2.DROID：全稱是Digital Record Object Identification，一種用來自動執(zhí)行批量文件格式識別的開源工具；

圖 2 DAITSS系統(tǒng)功能結(jié)構(gòu)

3.JHOVE：全稱是JSTOR/Harvard Object Validation Environment，參見http:/ /hul.harvard.edu/jhove/，是由JSTOR和哈佛大學(xué)圖書館合作產(chǎn)生的一個可擴(kuò)展的開源工具，用于數(shù)字對象的格式識別、校驗(yàn)和特征化；

4.PREMIS：全稱是Preservation Metadata Implementation Strategies，即數(shù)字保存界知名的PREMIS保存元數(shù)據(jù)體系，它在OCLC/RLG提出的保存元數(shù)據(jù)框架的工作基礎(chǔ)上產(chǎn)生，是關(guān)于在數(shù)字保存系統(tǒng)中保存元數(shù)據(jù)所具體實(shí)施的策略的內(nèi)容。

描述服務(wù)使用DROID進(jìn)行文件格式的初步識別，然后根據(jù)初步識別的結(jié)果選擇最合適的校驗(yàn)器，完成格式識別、校驗(yàn)和特征化。對于最常用的格式，一般使用JHOVE的一個修訂版本作為校驗(yàn)器，DROID初步識別的結(jié)果用來選擇初始的JHOVE檢驗(yàn)?zāi)K。JHOVE處理的結(jié)果被解析映射到PREMIS中，同時JHOVE格式信息轉(zhuǎn)換為一個PRONOM格式標(biāo)識符。也就是說，數(shù)據(jù)文件被描述服務(wù)處理后，返回一個PREMIS XML文檔，該文檔用來指導(dǎo)進(jìn)一步的攝入處理。

行動規(guī)劃服務(wù)

數(shù)據(jù)文件被描述服務(wù)處理后產(chǎn)生一個PREMIS XML文檔，該文檔被送往保存行動規(guī)劃服務(wù)（作為輸入），然后返回一個簡單的XML文檔（作為輸出），其中包含到文件轉(zhuǎn)換服務(wù)（完成格式遷移或者規(guī)范化）的一個或者多個鏈接。如果DAITSS不能夠轉(zhuǎn)換某種格式，或者一個特定文件包含太多錯誤而不能夠可靠轉(zhuǎn)換，該服務(wù)返回的文檔將包含相關(guān)信息。行動規(guī)劃服務(wù)展示了RESTful方法的一個主要特點(diǎn)，那就是讓鏈接驅(qū)動攝入的過程。

格式轉(zhuǎn)換服務(wù)

DAITSS的當(dāng)前版本是提供數(shù)據(jù)文件的規(guī)范化和遷移服務(wù)。下一代DAITSS將通過一系列轉(zhuǎn)換服務(wù)來支持這些轉(zhuǎn)換。根據(jù)行動規(guī)劃服務(wù)的規(guī)定，一個數(shù)據(jù)文件被送到合適的轉(zhuǎn)換服務(wù)，被轉(zhuǎn)換后的文件通過HTTP返回。對于提交的單個文件可能輸出多個文件，如一個PDF文件被規(guī)范化為若干個TIFF文件，每個文件代表一頁。轉(zhuǎn)換服務(wù)可能是本地開發(fā)的程序，也可能是一些開源的工具軟件。

DAITSS作為數(shù)字圖書館和機(jī)構(gòu)倉儲的后臺系統(tǒng)，其專注于保存功能的特點(diǎn)非常適于各機(jī)構(gòu)構(gòu)建一個基于已有資源環(huán)境的保存系統(tǒng)，避免了與其他系統(tǒng)在功能上的重復(fù)。

AIP服務(wù)

所有數(shù)據(jù)文件，包括原始文件和任何后續(xù)版本都提交到一個AIP服務(wù)，元數(shù)據(jù)文件如PREMIS文檔也被保存。當(dāng)SIP包中的最后一個文件被完全處理后，數(shù)據(jù)文件完成AIP包的組裝。然后整個AIP包被送往存儲服務(wù)，實(shí)現(xiàn)分布式存儲。

存儲服務(wù)

基于Amazon S3 Web服務(wù)的一個簡單存儲服務(wù)，將AIP包存儲在幾個位置。該服務(wù)的實(shí)施大大提高了性能。

風(fēng)險評估服務(wù)

風(fēng)險評估服務(wù)專門用來分析與AIP包相關(guān)的保存風(fēng)險。

DAITSS的安裝和運(yùn)行

DAITSS系統(tǒng)需要運(yùn)行在Unix或Linux操作系統(tǒng)下，也需要安裝一些基本的軟件環(huán)境:

1．MySQL Version 4.x 或更高版本，支持InnoDB data table，而且必須與DAITSS系統(tǒng)安裝在同一臺機(jī)器上；

2.Sun Java Virtual Machine (JVM)，version 5 或更高版本；

3.Mail Transfer Agent (MTA)，如Sendmail或Postfix。

可選軟件

1.Clam AntiVirus：Unix系統(tǒng)下的GPL防病毒軟件；

2.Ghostscript：PostScript處理工具；

3.ffmpeg：一個多媒體編碼，解碼工具集；

4.mencoder：一個視頻編碼器，可以將視頻文件編碼成mplayer支持的不同格式；

5.lqt_transcode：libquicktime項(xiàng)目的一部分，處理quicktime/AVI視頻格式。安裝

下載安裝包daitss-1.2-binary.tar.gz，以root用戶登錄系統(tǒng)，安裝過程如下：

運(yùn)行安裝命令后，系統(tǒng)會提示一些輸入配置參數(shù)，一般情況下，可以選擇系統(tǒng)的缺省配置。

（作者單位為清華大學(xué)圖書館）