ETL在數字圖書館資源建設及用戶資源管理中的應用

劉欣欣

保定職業技術學院，河北保定 071000

當前，數字圖書館建設面對龐大的、多類型、多介質、多格式、多傳遞渠道的信息資源集合和用戶對電子信息資源的多樣化、個性化需求，數字圖書館中的信息資源建設必須朝著整合化的方向發展。ETL可以應用在數字圖書館中的數字資源和用戶資源建設中，對數字圖書館中不同類型的資源進行整合和集成。

1 ETL在數字資源建設與處理中的應用

1.1 ETL在基于數據倉庫的數字資源物理集成中的應用

實現資源整合和集成的方法有多種，既可以是在數據層面上的集成，也可以是在界面上的集成。本文所指的資源整合和集成，主要指的是對異構信息資源實現數據層面的物理整合。也就是根據資源元數據標準建立統一的數據倉庫，然后針對各種資源實現不同的元數據增量抽取程序，將元數據匯集到數據倉庫中。采用建立本地數據倉庫的方法進行整合，可以對整合的結果作更進一步的處理和分析，使更多的工作相對于用戶來說可以脫機進行。異構信息資源整合和集成主要包括數字圖書館內部數據源的整合、基于協議的元數據整合、淺層Web信息和深層Web信息的整合等。數據倉庫是面向主題的，以整合的方式將內容組織成層次結構，進一步為進行信息挖掘和數據挖掘，提供了一個簡潔精煉的操作平臺。數據挖掘可以發現、抽取、過濾和評價信息和數字對象以及跟蹤和分析用戶的訪問情況，提供深層次的知識服務。

1.2 ETI在引文數據建設中的應用

為了實現不同來源中文獻之間的引文鏈接，在ETL過程中需要解決一些關鍵問題。文獻的引文是由題名、作者、來源期刊、發表年代等字段組成，自動識別這些字段屬性對于資源的參考鏈接服務是非常有用的，因為它們可以用來鏈接到實際的引文文獻中。不同的期刊來源中，引文通常以不同的形式表現的。引文鏈接一般是采用基于規則的方式，因此抽取和識別引文數據的規則學習尤為重要。

1.3 ETL在知識庫構建中的應用

對于數字圖書館中知識庫和知識空間的構建，可以通過兩種方式來實現：1）以人為中心的知識獲取，即通過有經驗的專家手工輸入知識，這種方式很難形成大規模的知識庫；2）以機器為中心的知識獲取。在用戶的輔助下，利用知識抽取技術等自動生成和推理出知識，實現對數據源的關聯和分析。這種方式是當前知識庫的主要建設方式。

目前，國外已經有一些研究機構關注利用知識抽取技術來構建知識庫和提供知識服務。在知識庫的建設中，主要是在ETL過程中融入語義和ontology，抽取出具有語義的信息。

1.4 ETL在數據庫內容描述信息生成中的應用

通過ETL可以自動獲得數據庫的內容描述信息，從數據庫的文獻中抽取特征詞匯，并建立數據庫的內容描述模型，用以反映數據源中所包含的文獻及其內容、形式等特征，內容描述模型是資源選擇的元數據基礎，作為檢索時的智能選庫依據。ETL中隨機挑選詞匯作為數據源的初始的檢索詞，構造和發送提問式以及從數據源獲取樣本文獻，并從樣本文獻中抽取出文獻的特征表示，經過多次的循環，建立起數據庫資源描述模型，形成數據庫的內容描述信息，利用形成的內容描述信息實現數據庫的自動選擇。可以在ETL過程中運用基于規則的描述、調焦查詢探測、基于提問取樣等算法，從分布式、隱藏的web資源中抽取能代表其主題或學科覆蓋范圍的關鍵詞，動態生成數據庫內容描述信息。

在數據庫內容描述信息生成的應用中，ETL需要解決的關鍵問題是形成數據源的描述模型，資源描述模型一般由數據源中所含特征詞及其出現頻牢、詞匯的文獻頻率、不同詞匯的共現概率等信息組成。多次提交檢索提問到各數據源，將返回的文獻作為樣本，通過分析樣本文獻建立數據源描述模型，以此來描述整個數據源。生成數據源描述模型具體包括：檢索提問詞的選擇，抽取的文獻數量，以及取樣停止的條件設定等。

2 在用戶資源管理中的應用

2.1 ETL在統一認證系統中的應用

隨著計算機技術的發展，數字圖書館中采用了越來越多的信息系統。由于種種原因，各個信息系統往往相互獨立，在數據和業務邏輯上都存在大量的冗余，為用戶和管理員帶來諸多的不便。用戶身份和權限認證是數字圖書館中很重要的部分，然而不同的信息系統卻各自擁有獨立的身份和權限認證模塊，造成了業務邏輯的重復和數據的冗余，同時也為用戶身份信息的統一維護帶來一些問題，很難在數字圖書館的服務中真正地實現統一認證服務，因此，在數字圖書館中要實現真正意義的統一認證，前提條件之一就是需要建立統一的用戶信息庫，同時還要保證用戶信息與原來系統中的信息保持同步更新。這些要求可以利用ETL機制來實現，通過ETL來達到用戶信息的統一，即生成統一的用戶信息庫。首先，從不同系統中抽取現有的用戶信息，并進行必要的查重處理，一次性地導入認證系統中。然后，進行增量的抽取，同時保證各個系統的相對獨立性，解決數字圖書館中的統一認證問題。

2.2 面向用戶行為的ETL

面向用戶行為的ETL是基于用戶在研究活動過程中的行為進行相關信息抽取，需要跟蹤和記錄用戶的主要查詢和瀏覽行為，以便提供更適合的服務。

3 結論

ETL原本是為了構建數據倉庫而提出的，有其特定的應用環境。而數字圖書館的環境是分布式的，最終目的不只是為了建設數據倉庫，更多是需要進行虛擬的集成和整合。兩者雖然最終目的和應用場景不同，但ETL的思想和技術可以用來解決數字圖書館資源整合和服務集成的某些問題，在某些應用場景中僅僅依賴于ETL自身的技術是不行的，還必須結合其他的技術和方法來實現數字圖書館中的具體應用。

[1]黃永文，李廣建.數字圖書館中的ETL應用研究綜述[J].現代圖書情報技術，2007(12).

[2]黃永文，李廣建.ETL技術及其在數字圖書館中的應用研究[J].圖書館雜志，2006，25(2).

[3]何濤.使用ETL工具Kettle實現圖書館聯盟信息系統數據集成[J].科學咨詢，2009(23).

[4]袁小一，俞毅，趙賽.數字圖書館環境下ETL系統的設計與實現[J].現代圖書情報技術，2007(7).