優(yōu)化圖書館數(shù)字化服務(wù)的途徑分析

付雅慧

摘 要：數(shù)字化信息服務(wù)作為圖書館服務(wù)的重要組成部分，優(yōu)化信息檢索技術(shù)、提高公共圖書館數(shù)字化服務(wù)水平是圖書館領(lǐng)域一直探討的問題。網(wǎng)格信息檢索技術(shù)是利用網(wǎng)格技術(shù)具有的強大計算機優(yōu)勢和資源共享優(yōu)勢，為信息檢索提供查詢調(diào)度以及資源管理的服務(wù)。網(wǎng)格技術(shù)下主題爬蟲依照目標(biāo)主題進行相關(guān)的信息搜集、智能處理和分析、滿足用戶檢索需求。其對于信息收集的精準(zhǔn)化、信息處理智能化、信息檢索高效化、信息知識共享化等特征，在提高圖書館數(shù)字化服務(wù)中對于信息獲取的查全率、查準(zhǔn)率、專業(yè)性、以及查詢速度等方面發(fā)揮優(yōu)化作用。

關(guān)鍵詞：網(wǎng)格技術(shù);主題爬蟲;圖書館;數(shù)字化服務(wù)

在信息學(xué)中，網(wǎng)格是一種用于集成或共享地理上分布的各種資源，使之成為有機整體，共同完成各種所需任務(wù)的機制。網(wǎng)格技術(shù)環(huán)境中主題爬蟲算法兼有網(wǎng)格技術(shù)資源搜集與共享的特征，在信息網(wǎng)格平臺上，主題爬蟲算法主要通過智能化的信息搜集、處理、分析，用以提高公共圖書館數(shù)字化服務(wù)過程中的信息檢索的效能。

一、主體爬蟲算法概述

網(wǎng)格服務(wù)模式對于解決知識資源的“孤島”問題，發(fā)揮很大作用。其計算有3種類型，即計算網(wǎng)格、信息網(wǎng)格與知識網(wǎng)格，文章主要是結(jié)合信息網(wǎng)格進行分析。信息網(wǎng)格同樣具有網(wǎng)格的4項優(yōu)勢：第一，打破局限于計算機網(wǎng)絡(luò)硬件聯(lián)通的困境，實現(xiàn)應(yīng)用層面上的聯(lián)通，資源共享，消除孤島;第二，信息網(wǎng)絡(luò)節(jié)點的協(xié)同配合實現(xiàn)對于同一項目的同時處理;第三，采用國際開放的標(biāo)準(zhǔn)，不再進行集中控制，提高服務(wù)質(zhì)量;第四是動態(tài)，可拓展，互聯(lián)網(wǎng)環(huán)境中信息網(wǎng)格實現(xiàn)動態(tài)的知識信息更新以及高度的可擴展。

主題爬蟲根據(jù)目標(biāo)主題，采用智能化方式從Web上收集主題相關(guān)的頁面集，然后采用機器學(xué)習(xí)或信息檢索的方法對收集到的信息進行智能處理和分析，最后以方便、有效的檢索方式滿足用戶信息檢索需求。根據(jù)業(yè)務(wù)不同，爬蟲具有不同類型，本文主要是基于垂直型爬蟲的分析。主題爬蟲在搜索引擎中主要是具有定位作用的URL來實現(xiàn)對于目標(biāo)獲取，一般經(jīng)過兩個處理步驟：一是將下載到的網(wǎng)頁存儲到頁面庫，用于下一步的索引建立;二是將該URL添加到已經(jīng)讀取的URL隊列中，從而防止網(wǎng)頁反復(fù)抓取。主題爬蟲抓取的網(wǎng)頁可以分為5部分：已經(jīng)下載的網(wǎng)面集合、已過期網(wǎng)頁集合、等待下載的網(wǎng)頁集合、可知網(wǎng)頁結(jié)合、不可知網(wǎng)頁集合 。信息網(wǎng)格的優(yōu)勢以及主題爬蟲的處理步驟、部分結(jié)構(gòu)、友好特性共同呈現(xiàn)出了對于信息收集精準(zhǔn)化、信息處理智能化（主題爬蟲采用在線頁面重要性計算策略進行頁面的抓取，即Online Page Importance Computation，簡稱OPIC，其實是改進的PageRank算法）、信息檢索高效化、信息知識共享化等功能。

二、主題爬蟲算法與圖書館數(shù)字化服務(wù)

圖書館服務(wù)數(shù)字化是時代發(fā)展的必然趨勢，主要包括：文獻提供服務(wù)、參考咨詢服務(wù)、促進閱讀服務(wù)、社區(qū)活動與社區(qū)信息服務(wù)、特殊服務(wù)。具體表現(xiàn)為信息知識的查全率、查準(zhǔn)率、專業(yè)性、以及查詢速度等。運用主題爬蟲算法在實現(xiàn)信息處理的功能時，在優(yōu)化圖書館更好實現(xiàn)數(shù)字化服務(wù)的需求方面，表現(xiàn)出獨有的技術(shù)優(yōu)勢和功能特性（見表1）。

表1 主題爬蟲功能類型與公共圖書館數(shù)字化服務(wù)需求特征

主題爬蟲功能類型 公共圖書館數(shù)字化服務(wù)需求特征

信息收集精準(zhǔn)化：垂直型爬蟲是針對特定主題、行業(yè)的爬蟲，它可以實現(xiàn)數(shù)據(jù)挖掘精確、標(biāo)準(zhǔn) 查準(zhǔn)率：檢出的相關(guān)文獻與檢出的全部文獻的百分比

信息處理智能化：OPIC策略，實現(xiàn)“在線頁面重要性計算” 查詢速度：獲得理想查詢結(jié)果的速度

信息檢索高效化：分步處理、分工、協(xié)作 查全率：數(shù)據(jù)庫內(nèi)檢出的相關(guān)的信息量與總量的比率

信息知識共享化：友好性，資源調(diào)度與管理 專業(yè)性：檢索出的文獻信息專業(yè)化程度

三、圖書館數(shù)字化服務(wù)過程中面臨的問題

在圖書館數(shù)字化建設(shè)的過程中，如何完善數(shù)字圖書館的館藏資源以及打破圖書館數(shù)字化資源庫之間的界限實現(xiàn)應(yīng)用層面上的聯(lián)通，是對于圖書館信息資源更加有效利用的技術(shù)突破。此外，圖書館在提供數(shù)字化服務(wù)過程中，對于知識產(chǎn)權(quán)的保護成為了國際學(xué)術(shù)界和政府管理部門投入較大關(guān)注的部分。針對圖書館數(shù)字化建設(shè)過程中涉及到的知識產(chǎn)權(quán)問題，主要是表現(xiàn)在生產(chǎn)、傳播、利用三個服務(wù)環(huán)節(jié)。世界各國針對信息資源建設(shè)中的知識產(chǎn)權(quán)問題都有相應(yīng)的對策，但是有待于達成共同的認識，形成國際化的標(biāo)準(zhǔn)和共同的理念。

1.圖書館數(shù)字化信息資源不全面

在物聯(lián)網(wǎng)快速發(fā)展的助力下，全球各行業(yè)都逐漸進入大數(shù)據(jù)時代。數(shù)字化信息資源是數(shù)字圖書館存在的核心價值體現(xiàn)以及提供數(shù)字化服務(wù)的物質(zhì)基礎(chǔ)。傳統(tǒng)圖書館數(shù)字化建設(shè)節(jié)奏不斷加快，圖書館資源建設(shè)主要是以正式出版物為主，網(wǎng)絡(luò)上的非正式出版物以及公共媒體平臺上的用戶行為信息、社交過程中的灰色信息和政府非公開的公共管理信息等缺失。圖書館的資源大多是科研文獻、基礎(chǔ)常識文獻、歷史小說文獻等，這些文獻資源呈現(xiàn)出靜態(tài)、結(jié)構(gòu)化和少量半結(jié)構(gòu)化的狀態(tài)，致使在這個大數(shù)據(jù)時代圖書館資源表現(xiàn)出滯后和不完整的問題。

2.圖書館數(shù)字化服務(wù)制度不健全

圖書館事業(yè)的發(fā)展需要相應(yīng)的制度保障，其中圖書著作權(quán)的保護，是圖書館數(shù)字化時代所面臨的極具挑戰(zhàn)的問題。陳傳夫認為法律對推動圖書館事業(yè)發(fā)展的兩種重要的外部力量之一（另一種為科技）。也就是說法律規(guī)定下的制度對于集團利益協(xié)調(diào)起著重要的作用。圖書館數(shù)字化建設(shè)時代在制度建立方面的缺位導(dǎo)致圖書館數(shù)字化服務(wù)過程中的不足，如圖書館提供的數(shù)字化服務(wù)相對單一，一方面是圖書館作為知識信息提供的載體，由于自身數(shù)字化知識庫建設(shè)的不足，導(dǎo)致的無法提供全面系統(tǒng)的知識信息，而使得讀者自由閱讀權(quán)利得不到保障;另一方面則是因為保障制度缺失，圖書館在提供服務(wù)，滿足用戶信息需求過程中，未制定相對統(tǒng)一的提供知識信息的規(guī)則，從而直接影響到讀者對于知識信息獲取權(quán)利的實現(xiàn)程度。（網(wǎng)格采用統(tǒng)一的標(biāo)準(zhǔn)進行抓取，通過應(yīng)用層面的聯(lián)通，保障知識資源建設(shè)的充足以及固定了相對統(tǒng)一的標(biāo)準(zhǔn)，爬蟲算法的抓取是遵守非準(zhǔn)入抓取的協(xié)議，這也就實現(xiàn)了對于知識信息獲取統(tǒng)一規(guī)則的固定以及保障讀者獲取信息的公平性）

3.圖書館數(shù)字化服務(wù)配套技術(shù)的不適應(yīng)

對于圖書館的數(shù)字化服務(wù)來說，網(wǎng)格科技在圖書館領(lǐng)域的應(yīng)用，對于提升圖書館的服務(wù)來說具有重大而意義。憑借網(wǎng)格技術(shù)，使圖書館信息結(jié)構(gòu)得到一定的優(yōu)化，促使信息文獻在最大范圍內(nèi)實現(xiàn)資源的共享，獲取更多元的知識信息，實現(xiàn)信息資源的搜集和整合。但是如何實現(xiàn)資源的最大限度的收集？如何快速的進行信息資源的整理以及使得資源整體較為格局化？對于構(gòu)建網(wǎng)格技術(shù)下的圖書館數(shù)字化服務(wù)而言發(fā)揮至關(guān)重要的作用。如果采用不適合的技術(shù)進行信息的搜集，很可能導(dǎo)致較低的查全率、查準(zhǔn)率以及降低無法保障查詢的進度等問題。比如，信息搜集過程中的知識產(chǎn)權(quán)的侵犯的問題。

4.圖書館數(shù)字化服務(wù)中的知識產(chǎn)權(quán)問題

圖書館在提供服務(wù)的過程中知識產(chǎn)權(quán)不受保護的現(xiàn)象時有發(fā)生。在數(shù)字時代，這種圖書館數(shù)字化服務(wù)中的有關(guān)知識產(chǎn)權(quán)的問題會進一步的顯化，主要體現(xiàn)在圖書館提供的參考咨詢、館際互借、文獻傳遞以及其他的服務(wù)等方面。比如，陳敏認為數(shù)字參考咨詢面臨的侵權(quán)問題更加的復(fù)雜，涉及到用戶需求的接受和使用、答案的組織和編排以及答案的提交和傳遞全過程;鄭惠伶指出知識產(chǎn)權(quán)風(fēng)險已經(jīng)成為制約館際互借服務(wù)開展的關(guān)鍵性問題。所以，圖書館數(shù)字化服務(wù)中知識產(chǎn)權(quán)問題對于圖書館數(shù)字化服務(wù)的實現(xiàn)起著至關(guān)重要的作用。如果不能妥善處理知識產(chǎn)權(quán)問題，那么對于知識生產(chǎn)以及傳遞將面臨一定的阻礙，對于實現(xiàn)數(shù)字化圖書館的建設(shè)而言也是非常大的絆腳石。

四、主題爬蟲算法對于圖書館數(shù)字化服務(wù)的優(yōu)化

網(wǎng)格技術(shù)下主題爬蟲算法通過優(yōu)化圖書館數(shù)字化服務(wù)建設(shè)，從而實現(xiàn)對于圖書館數(shù)字化服務(wù)水平的提高。主題爬蟲在搜索引擎中主要是具有定位作用的URL來實現(xiàn)對于目標(biāo)獲取，并對獲取的信息進行格局化分類，利用自身友好性以及爬蟲算法架構(gòu)的特征屬性實現(xiàn)對于知識產(chǎn)權(quán)保護，充分發(fā)揮信息收集精準(zhǔn)化、信息處理智能化、信息檢索高效化、信息知識共享化等功能優(yōu)勢，對于解決圖書館數(shù)字化服務(wù)中由于數(shù)字信息資源的不足、服務(wù)制度不健全導(dǎo)致較低的查全率、查準(zhǔn)率以及由于技術(shù)不配套、知識產(chǎn)權(quán)風(fēng)險等問題導(dǎo)致的查詢進度緩慢和專業(yè)程度不高的現(xiàn)象發(fā)揮重要作用。

1.主題爬蟲算法精準(zhǔn)收集提高查準(zhǔn)率

數(shù)字圖書館網(wǎng)格環(huán)境下主題爬蟲算法對于資源收集的功能優(yōu)勢，實現(xiàn)資源整合，提高了用戶對信息供給與需求的匹配度，主要體現(xiàn)在資源的內(nèi)容、形式、載體等方面。主題爬蟲算法主要是根據(jù)目標(biāo)主題為用戶提供信息查詢方面的服務(wù)。首先，以智能化方式從Web上收集與目標(biāo)主題相關(guān)頁面，實現(xiàn)資源整合;其次，借助信息檢索或者機器學(xué)習(xí)的方法對已經(jīng)收集到信息進行智能化信息處理與分析;最后，用戶以最為方便、有效的檢索方式獲取滿足信息檢索需求頁面。根據(jù)主體業(yè)務(wù)的不同，采用垂直型的爬蟲算法而言，在上文提到抓取的兩步驟里面，主要是通過利用URL，有效的避免重復(fù)，并通過五部分分類，準(zhǔn)確分析信息抓取的全面與否。主題爬蟲算法通過實現(xiàn)數(shù)據(jù)挖掘精確、標(biāo)準(zhǔn)更好的滿足了圖書館數(shù)字化服務(wù)用戶對于查找文獻的查全率需求。比如，信息資源表現(xiàn)形式上，針對同一個主題可以同時搜集到有關(guān)呈現(xiàn)出音頻、文字、圖像等不同形式的信息資源。

2.主題爬蟲算法信息處理智能化提升查詢速度

借助Internet進行信息搜集，僅實現(xiàn)把相關(guān)信息進行相互關(guān)聯(lián)，并進行粗略加工，但網(wǎng)格技術(shù)下的主題爬蟲算法是利用其功能屬性特征發(fā)揮信息處理智能化優(yōu)勢。通過對讀者所需文獻信息開展主題性搜索與解析，主題爬蟲在進行抓取過程中采用OPIC即“在線頁面重要性計算”，具有針對性的獲得具有高匹配度的文獻信息，然后利用網(wǎng)格技術(shù)實現(xiàn)應(yīng)用層面上聯(lián)通，從而保障信息能夠跨越界限的被用戶接收到。

3.主題爬蟲算法信息檢索高效化保障查全率

數(shù)字圖書館建設(shè)過程中不僅實現(xiàn)文本知識的數(shù)字化，還實現(xiàn)可視化圖書資源的被檢索，用戶借助主題爬蟲算法能在較短時間里完成文獻信息的整合管理，從而實現(xiàn)供給文獻資源的全面性。主題爬蟲算法在進行資源抓取的過程中采用的模式是分工協(xié)作，即一臺主機，其余機器負責(zé)不同主題的搜集，分工分布的處理，保障信息搜集的專業(yè)性以及高效性。當(dāng)讀者通過網(wǎng)格對圖書以及文獻信息進行搜查時，通過解析信息需求的主題與已分配的主機進行匹配，便能快速實現(xiàn)信息快速的查詢。

4.主題爬蟲算法信息知識共享化提升專業(yè)度

數(shù)字圖書館本身不僅僅具有基于互聯(lián)網(wǎng)背景下實體的聯(lián)通，還具有基于網(wǎng)格技術(shù)下應(yīng)用層面的聯(lián)通。構(gòu)建信息知識網(wǎng)格使書籍以及信息資源能夠達成共享以及防范任意形式的信息資源不相互關(guān)聯(lián)（除法律或者相關(guān)協(xié)議約定禁止的信息資源）。采用網(wǎng)格技術(shù)前提是有統(tǒng)一的轉(zhuǎn)入和識別的標(biāo)準(zhǔn)，在此基礎(chǔ)上便可以突破過往對于異構(gòu)知識不能共享的局面，同時對于網(wǎng)格所聯(lián)通的數(shù)字資源庫以及專家資源而言，相互能夠提供更加專業(yè)和權(quán)威的資源。如果提供資源的范圍是局限的，那么所提供資源的可靠性以及專業(yè)性就有待考究。主題爬蟲算法基于友好性的特征，在保護知識產(chǎn)權(quán)的前提下，對于拒絕訪問的信息資源會很好遵守協(xié)議，從而保障信息資源獲取合法性以及知識信息合理調(diào)度和管理，突破資源共享受限的障礙。

5.主題爬蟲算法在搜索引擎下更垂直準(zhǔn)確的應(yīng)用

“通過網(wǎng)絡(luò)爬蟲目標(biāo)是盡可能地采集信息頁面，而在這一過程中，它并不在意信息頁的順序和被采集頁面的相關(guān)主題。這需要消耗相當(dāng)多的系統(tǒng)資源和網(wǎng)絡(luò)寬帶，并且對于這些資源的銷號并沒有換來采集頁的較高利用率。主題爬蟲則是盡可能快地爬行，采集盡可能多的與預(yù)先定義好的主題相關(guān)的網(wǎng)頁。主題爬蟲可以通過整個網(wǎng)絡(luò)主題分別采集，并將不同采集整合在一起，以提高整個網(wǎng)絡(luò)采集的覆蓋率和頁面利用率。

網(wǎng)絡(luò)的抓取策略可以分為深度優(yōu)先、廣度優(yōu)先和最佳優(yōu)先三種。傳統(tǒng)的網(wǎng)絡(luò)爬蟲是按照預(yù)先設(shè)定的廣度優(yōu)先策略、深度優(yōu)先策略這兩種優(yōu)先策略相結(jié)合的方式爬行網(wǎng)頁。這種爬行方式的特點是爬蟲按照預(yù)先設(shè)定的爬行深度爬行網(wǎng)頁，它不會理會網(wǎng)頁的內(nèi)容，當(dāng)爬蟲爬行到給定的蛇毒時，爬蟲停止工作。所以它搜集到的信息比較全，但是它爬行慢，有許多無效網(wǎng)頁。

那么，最佳的優(yōu)先搜集策略按照一定的網(wǎng)頁分析算法，預(yù)測侯選URL和計算文本內(nèi)容與目標(biāo)網(wǎng)頁相似度或與主題的相關(guān)性，并獲取評價最好的一個或幾個URL進行抓取，它只訪問經(jīng)過網(wǎng)頁分析算法預(yù)測為“重要”的網(wǎng)頁。存在的一個問題是，在爬蟲抓取路徑上的很多相關(guān)網(wǎng)頁會被忽略，因為最優(yōu)先策略是一種局部最優(yōu)的搜索算法。所以需要將最佳優(yōu)先結(jié)合具體的應(yīng)用進行改進，以跳出局部最優(yōu)點。研究表明，這樣閉環(huán)調(diào)整可以將無關(guān)網(wǎng)頁數(shù)降低30%--90%.”

五、小結(jié)

網(wǎng)格環(huán)境下的數(shù)字圖書館是采用統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，利用先進的網(wǎng)格技術(shù)構(gòu)建統(tǒng)一、透明、高效的信息資源共享系統(tǒng)，實現(xiàn)圖書館資源數(shù)字化和服務(wù)的互聯(lián)互通。圖書館服務(wù)數(shù)字化是基于互聯(lián)網(wǎng)時代背景下滿足用戶需求的必然趨勢，網(wǎng)格技術(shù)下爬蟲算法的功能優(yōu)勢能夠在一定程度上解決數(shù)字化服務(wù)過程中的問題，優(yōu)化圖書館數(shù)字化服務(wù)從而提高數(shù)字化服務(wù)的水平。但從圖書館數(shù)字化服務(wù)制度的不完善以及網(wǎng)格技術(shù)實現(xiàn)存在一定障礙而言，主題爬蟲算法在圖書館數(shù)字化服務(wù)中得到實現(xiàn)，需要進一步的研究網(wǎng)格技術(shù)如何充分發(fā)揮其屬性特征以及主題爬蟲算法如何從網(wǎng)頁抓取到數(shù)字圖書館知識庫的知識抓取等問題。

參考文獻：

[1]“科普中國”百科科學(xué)詞條編寫與應(yīng)用工作項目.網(wǎng)格. [EB/OL].[2017-10-15].https：//baike.baidu.com/item/%E7%BD%91%E6%A0%BC/265734？fr=aladdin.

[2]龔 強.關(guān)于網(wǎng)格特征的研究[]].信息技術(shù)，2004

[3]朱玉麗.基于網(wǎng)格技術(shù)的主題爬蟲算法優(yōu)化的研究與實現(xiàn)[D].沈陽工業(yè)大學(xué)，2007

（作者單位：黑龍江大學(xué)圖書館）