數字資源績效評估體系探析——以電子期刊為例

●蔣 燕

（武漢圖書館，武漢 430015）

1 引言

目前，對于數字資源及其服務效果的評估業界并無一個專門的統一標準。在2009年《全國縣以上公共圖書館第四次評估標準細則（省級）》中，對數字資源的評定指標僅有兩大項10小項。［1］評估體系側重于資源的建立及組織，僅包含了資源采購過程中所完成的量化標準（213、2131、2132、272、2723項），內容編排及界面設計指標（2724、351項） 以及利用率指標（353項）等，而對于數字資源的檢索系統、功能、用戶服務、使用效果的評估卻未制定出行之有效的評估指標。

另外，國內所進行的數字資源績效評估研究與實踐還有CALLS文理中心對數字資源在各個成員高校館中的使用情況進行列表統計方法，中國科學院文獻情報中心利用Elsevier數據庫的使用統計數據分析科研人員對生物學文獻的信息需求的方法，［2］“E線圖情”所開發建立的電子資源評價指標體系。［3］從這些研究及實踐成果來看，對于解決數字資源建設后的績效評估，包括評估方法、準則、程序及評估結果如何運用于系統后續的改善等問題沒有一個令人滿意的答案。而數字資源建設的重點正逐漸從資源建設向資源服務轉變，這就更需要圖書館對于資源及服務的測量評價方法進行重新定位。

2 數字資源績效評估要素

在傳統的館藏資源評估體系中，評估的主要目的是支持圖書館建設館藏資源。隨著數字資源數量的不斷增加，服務范圍不斷擴大，數字資源服務將靈活地擴展至所有可能出現的網絡服務終端，館藏資源的概念將被淡化。因此，數字資源績效評估將建立一種開放性的評估新體系，以滿足各種用戶對各種資源的認知程度為目的，并最大化地滿足用戶的信息需求。

數字資源服務效果的評估項目應涉及到三個方面。

2.1 資源的可及性

資源的可及性是利用程度的決定因素，其涵蓋階段自用戶登錄系統到取得需要的資源為止。在進入系統階段，方便及易于使用是公認的最重要的因素，如果用戶在注冊過程花太多時間或登記表格難以填寫，便可能中途放棄。有意完成注冊過程的用戶在遇到缺乏必備工具、指示不足或網絡斷線時，也很容易放棄。有些電子期刊系統并不要求用戶注冊及填寫個人資料，使用率反而高。

2.2 資源的可用性

資源的可用性和用戶的利用效果有關，例如查尋所需時間、成功率、失敗率、用戶主觀的滿意度等。資源的可用性必須考慮到各個用戶層面的需要。

2.3 資源的使用率

包括誰是主要用戶？他們在做什么？他們的使用目的、使用頻率、使用習慣如何？用戶的使用情況，通過分析IP地址獲得可能是最容易的方式。用戶的使用行為可由點擊方式得知，例如瀏覽、檢索、下載、打印、e-mail全文等。［4］

3 國外數字資源績效評估的研究與實踐

建立起一個科學的數字資源績效評估體系，將有利于合理、優化地發展圖書館的數字資源，乃至整體資源建設。因此，國內外相關機構和學者都在嘗試建立一套科學合理的評估指標體系，其中最著名的例子應屬美國學術圖書館協會（American Research Libraries）所完成的“ARLE-metrics Project”計劃等。

3.1 美國學術圖書館協會（ARL） E-metrics項目［5］

美國學術圖書館協會（ARL）下屬的統計和測度委員會 （Statisticsand Measurement Committee） 在 2000年開始啟動E-Metrics數字資源評估項目，其指標體系分兩部分：網絡統計和績效指標（見表1、表2）。

表1 ARL E-metrics Project網絡統計指標

表2 ARLE-metrics Project績效指標

ARLE-metrics項目的評價重點在于：第一，數字資源的使用、費用、配套設施等情況；第二，數字資源的使用占圖書館全部服務的比例；第三，數字資源的使用對用戶的研究和學習的影響。ARLE-metrics項目的核心思想是關注以數字方式提供的服務與傳統服務的比例關系，通過數據分析，用數字資源的使用所占全部服務的比例來反映數字資源及服務的績效水平。

3.2 英國COUNTER項目［6］

The Project COUNTER全稱為“網絡電子資源在線使用統計項目”（Counting Online Usageof Networked Electronic Resources），發源于英國，于2002年3月正式啟動。目的是為圖書館、出版商及數據庫廠商制定統一的數字資源統計記錄與交換格式。COUNTER分別于2003年、2005年制定出《數據庫和電子期刊的使用統計規范》（the COUNTER Code of Practice for Journals and Databases）（2008年第二版）、《電子書與參考文獻的使用統計規范》（2006年第二版）（the COUNTER Codeof Practicefor Booksand Reference Works）。

3.3 圖書館聯盟國際聯合體（ICOLC）《電子資源使用統計評估指導方針》［7］

圖書館聯盟國際聯合體（ICOLC） 于2003年對原已編訂的《電子資源使用統計評估指導方針》（ICOLC Guidelines for Statistical Measures of Usage of Web-based Indexed，Abstracted，and Full-Text Resources） 進行 重新編定，增補及修訂數據。2006年10月4日公布的最新版本更名為《Guidelines for Statistical Measures of Usageof Web-Based Resources》。其目的是提供一種廣泛性的數字資源指導方針。其評價指標主要包括：（1）基本需求數據，如登錄次數、檢索次數、菜單使用次數、全文資料被檢索或下載的次數等；（2） 統計資料的詳細程度；（3）隱私權及使用者保密協定；（4）機構或聯盟的保密協定；（5）統計資料獲取方式；（6）統計資料的傳遞方式。

4 數字資源績效評估指標體系實證分析

4.1 評估指標制定的原則及評估指標數據

綜觀上述評估項目的實際應用來看，數字資源評估體系的各項指標必須依據一定的原則來制定。

（1）評估指標必須是有意義的。計算機軟件可以按照人們的設計完成各種統計，但制訂評價指標只能選取其中有意義的內容，對管理決策沒有意義的內容不適合作為評價指標。

（2）評估指標必須有明確的定義。指標的含義要有明確的定義，避免歧義；并且統計、計算指標數值的方法也要有詳細的說明。

（3）評估指標必須具有可操作性。計算評價指標所需的統計數據必須是可獲取的，無論是由計算機軟件自動記錄還是由圖書館員來統計，無法測量的指標是沒有意義的。

（4）評估指標必須具有可比性。不同機構用同一套指標體系得出的數據必須具有可比性。例如，使用數字資源的人數就是一個沒有可比性的指標，當兩家圖書館使用數字資源的人數相同時，并不能說明它們的用戶在數字資源使用的普及方面水平相同，因為它們服務的對象人數不同。而使用電子資源的人數占全部服務對象的比例才是一個可比的數值。

根據以上原則，筆者以目前需求較多的電子期刊資源為分析對象，試圖建立一個完整的數字資源績效評估指標模型，從資源、使用、成本及績效4個方面來驗證數字資源績效評估指標體系的可行性。

表3 電子期刊資源評估數據統計指標

表4 電子期刊資源評估績效指標

其中，數據統計指標R1-1、R3、R4、R5、U1、U3及C1、C2項為必備統計項目，反映了資源組織及使用的基本情況；在績效指標中，P2、P5、P6則是衡量電子期刊服務及績效成本的關鍵因素。

4.2 電子期刊績效評估指標的應用優勢

（1） 能夠提供完整的數據統計資料（R1—R5） 及資源使用狀況（U1—U9），并能夠通過對績效的量化分析（P1—P8）確保在數字資源的選擇、采購與管理等方面符合圖書館的發展方向及符合所服務對象的需求。

（2）對于館員而言，在統計及分析的過程中也能對本館數字資源的使用狀況（U1—U9）有更深入的了解，并根據用戶需求及使用習慣制定更加有效的服務策略。

（3） 借由紙本資源與數字資源使用狀況的比較（P1），能夠協助圖書館管理者制訂符合用戶需求的館藏發展規劃。

（4） 通過追蹤資源在實際使用中的數據信息（U3—U7），能夠找出與數字資源廠商提供的統計數據間的差異，通過資源的使用狀況與成本的對比情況（P4、P5、P8），制定出符合自身利益的定價及供貨模式。

5 數字資源績效評估體系構建的對策及建議

雖然上述數字資源績效評估體系有著較強的應用優勢，但在發展過程中也會遇到不少的困難和挑戰，如缺乏標準的定義與計量方法、數據統計存在一定的局限性、數據分析存在一定的障礙等，因此還需從以下幾個方面著手采取相應措施進一步完善：

（1）數字資源的服務統計數據來自圖書館自身的服務器、數據供貨商、系統代理商以及統計軟件等不同渠道，因此，應制定出統一的數據統計規范，提供統一的各項統計項目的標準定義，以提高數字資源統計信息的可用性與可靠性，進一步作為評估的客觀量化材料。

（2）數字館藏、在線公共目錄、圖書館網站等都已成為目前圖書館主要的服務方式，各項數字化服務的使用都必須加以統計與分析。應統一規劃，制定出統一標準，作為各圖書館數字資源服務統計的依據。同時，應將數字資源服務以及成本效益考核納入圖書館評估范圍，這樣才能使圖書館的數字資源服務績效得到合理的體現。

（3）建立數字資源統計填報系統，利用在線填報的方法，提高各項統計調查的效率。將填報機制標準化、制度化，使圖書館建立一套針對數字資源服務、使用、成本及用戶情況等數據的收集—統計—分析的標準化程序。

（4）加強對館員的培訓，結合國內外各種評估方法及標準的發展，使館員充分了解統計數據對館藏發展、行政管理、讀者服務的重要性，提高數據統計的可靠性和有效性。

［1］文化部.省級圖書館評估標準細則［S/OL］.［2010－03－04］.http://www.ndcnn.gov.ch/datulib/opensts/2009/2009_07/opensts.2009－07－28.4987186925/view.

［2］張盛強.國內外數字資源評估指標體系概述［J］.圖書館理論與實踐，2007（3）：26－27.

［3］申彥濤.e線圖情與圖書館管理創新［EB/OL］.［2010－03－04］.http://www.chinalibs.net/Artinfo.aspx?titleid=156735.

［4］ Judy Luther.White Paper on Electronic Journal Usage Statistics［EB/OL］.［2010－03－04］.http://www.clir.orq/pubs/reports/pub94/contentc.html.

［5］史繼紅.兩個重要的電子資源使用績效評價體系的比較 ［J］.數字圖書館論壇，2007（7）：53－54.

［6］ COUNTER.COUNTER Codes of Practice ［EB/OL］.［2010－03－04］.http://www.projectcounter.org/code_practice.html.

［7］ ICOLC.Guidelines for Statistical Measures of Usage of Web-Based Resources［EB/OL］.［2010－03－04］.http://www.library.yale.edu/consortia/webstats06.htm.