國外資源發現系統評價策略研究*

朱前東

（暨南大學圖書館 廣東廣州 510632）

目前國外市場上主流的資源發現系統有OCLC WorldCat Local（以下簡稱WCL）、Serials Solutions Summon（以下簡稱 Summon）、EBSCO Discovery Service（以下簡稱EDS）、Exlibris Primo Central（以下簡稱 Primo）和 Innovative Interfaces Encore Synergy（以下簡稱Encore）等。國外圖書館在引進和實施這些資源發現系統過程中采取了多種評價策略和多樣化指標對其進行評價。這些評價策略概括起來主要有系統功能評價、系統可用性評價和系統使用績效評價，每種評價策略又都有其相應的評價內容、指標與特點。筆者將結合國外資源發現系統評價研究和評價實踐，詳細論述這三種策略的內涵與應用。

1 基于系統功能的評價策略

1.1 系統功能評價內涵

系統功能評價指圖書館針對資源發現系統應當具有或者已經具有的功能進行評價。應當具有的功能實際上是圖書館期望發現系統能夠實現的功能，這些功能通常要解決圖書館面臨的兩個重要問題。一是圖書館現有的OPAC整合功能不足，檢索功能較弱，不能充分滿足用戶信息檢索需求；二是圖書館訂購的期刊數據庫、圖書數據庫、事實數據庫、機構知識庫和各類網絡開放資源處于分散狀態，不能向用戶提供類似Google Scholar的統一檢索入口。因此圖書館期望發現系統具有的功能包括：強大的資源整合功能、友好易用的檢索功能和良好的檢索結果顯示功能等。這些功能也就成為圖書館評價資源發現系統的重要內容與指標。

1.2 系統功能評價實踐

瑞士洛桑聯邦理工學院圖書館（Ecole Polytechnique Fédérale de Lausanne Librar） 在評價資源發現系統時，期望資源發現系統能夠將圖書館聯盟聯合目錄、本館的兩套OPAC系統、訂購的期刊數據庫、電子圖書、書目和事實數據庫整合到同一個系統。圖書館認為理想的資源發現系統應當具備6個功能，按重要性由高到低，分別是：

（1）內容與相關性：發現系統能夠使用戶檢索到圖書館的所有資源，并且能夠利用圖書館外的其他相關資源；

（2）檢索功能：發現系統應當具有易用和強大的檢索能力；

（3）檢索結果顯示、管理和使用：檢索結果顯示具有吸引力，方便用戶使用，即提供在線資源直接獲取、印刷資料借出狀態和顯示二次檢索等；

（4）用戶賬戶：用戶可以使用多種個性化選項；

（5）管理功能：簡單易用的系統管理；

（6）專業檢索：專為圖書館員提供的功能，如專家檢索、簡單鏈接、統計數據等。

2011年6～9月瑞士洛桑聯邦理工學院圖書館以上述6個期望功能作為評價標準，對EDS、Primo、Summon和WCL四個資源發現系統進行測試和評價。

圖書館在考察現有的各類資源發現系統及其功能基礎上，通過分析和比較這些已有功能，可以制定出更全面和科學的資源發現系統功能標準。美國戴維森學院立特圖書館（E.H.Little Library of Davidson College）在進行資源發現系統評價時，除了考慮圖書館員和用戶的功能期望外，還對市面上現有的資源發現系統功能進行了調查。根據調查結果，2009年10月，在圖書館管理委員會的組織和領導下，圖書館完成了評價標準的制定（見表1）。

表1 立特圖書館資源發現系統功能評價指標［2］

2 基于系統可用性的評價策略

2．1 系統可用性評價內涵

國外在20世紀90年代提出了主要應用于評價信息系統的有效性、效率、用戶接受度和滿意程度的可用性概念。可用性評價的最大特點是以用戶實際使用系統的感知和滿意度來評價信息系統質量。信息系統可用性概念早期是計算機和信息系統領域研究和實踐的熱點。隨著數字圖書館的發展和普及，可用性評價也被廣泛應用到如圖書館網站、OPAC、ERMS和數字圖書館等領域。當資源發現系統出現并應用到圖書館后，國外很多圖書館采用可用性評價方式來測度資源發現系統能否滿足用戶期望和信息資源獲取需求，并以此選擇資源發現系統或評估已采購的資源發現系統。

2.2 系統可用性評價實踐

杜蘭大學霍華德-蒂爾頓紀念圖書館（Howard-Tilton Memorial Library of Tulane University）在2009年秋季學期實施了Ex Libris的聯邦檢索系統Metalib，但圖書館認為應將聯邦檢索系統升級到資源發現系統，因此2010年成立資源發現系統工作組。由于當時市場上的資源發現系統產品不夠成熟，因此直到2011年圖書館才重啟資源發現系統的評估。經過長時間的評估，最后圖書館選擇了Primo Central。圖書館又成立了一個項目實施小組，該小組有四個分委會，分別是數據管理、推廣、培訓和用戶評估。用戶評估分委會的工作就是進行資源發現系統評價，包括可用性評價、用戶調查和發現系統引起的資源使用量變化，如流通量、期刊使用、全文下載量和數字館藏使用等。圖書館的可用性評價參與者由11名本科生、4名研究生和5名教工組成。本科生涵蓋了大一到大四各個年級。所有參與者將獲得本地咖啡店的5美元禮品卡。參與者需要完成5個任務（見表2），這些任務涉及資源發現系統的各個方面，包括分面檢索、全文獲取能力和文獻請求等。

表2 杜蘭大學霍華德-蒂爾頓紀念圖書館可用性測試方案

圖書館員指導參與者使用圖書館網站的資源發現系統完成測試，而不是網站上的OPAC、Metalib和數據庫等。Silverback軟件將記錄參與者的鼠標移動、屏幕瀏覽、面部表情和評論。測試完成后，圖書館員要對參與者進行測試后問卷調查，要求學生對系統可用性進行評級。

杜蘭大學霍華德-蒂爾頓紀念圖書館是針對單一資源發現系統進行可用性測評，而Gallaway和Hines采用了競爭可用性測評 （competitive usability techniques），對多個資源發現系統進行評價，以研究下一代目錄或資源發現系統解決用戶使用在線目錄檢索資源問題上的能力差異。評價的系統包括 Aquabrowser、EDS、Encore Discovery、Enterprise、Summon、Primo和 WCL。為保證可用性評價能涵蓋當前圖書館目錄存在的各種問題，研究者分析咨詢館員保留了大量來自學生、教師和職員的當面或電話咨詢記錄，然后對最近6個月有關在線目錄的使用問題進行收集和歸類，從而整理出最常見的用戶使用問題（見表3）。同時還調查咨詢館員對圖書館目錄優勢與缺點的認識。此外，還通過OPAC檢索日志、目標用戶群體和虛擬參考咨詢的聊天日志等途徑來發現用戶使用問題。在制定完可用性測試方案后，圖書館邀請到館的讀者參與可用性評價，并為參與者提供糖果、圖書館杯子和咖啡作為獎勵。圖書館為每位參與者提供安裝了抓屏軟件（Camtasia或Screenflow）的筆記本電腦（Windows或Macintosh系統）。圖書館員向參與者宣讀可用性測試目的和程序，要求讀者根據每個問題的難易程度對測試任務進行排序。向參與者說明重點是系統表現，而非用戶的研究技能，鼓勵參與者描述完成不同任務的過程。

表3 Gallaway和Hines可用性測試任務

3 基于系統使用績效的評價策略

3.1 系統使用績效評價內涵

資源發現系統使用績效指資源發現系統的使用量、使用效益以及產生的影響。資源發現系統使用績效評價的具體方式視評價目標而定，如針對資源發現系統的使用量與使用效益，可以采用系統訪問量、檢索量、系統日志分析等方式進行評價。針對資源發現系統產生的影響，可以從系統對館藏資源使用影響、系統對用戶使用圖書館資源滿意度影響以及系統對用戶信息素養影響等角度進行評價。

3.2 系統使用績效評價實踐

Durante和Wang提出基于用戶使用統計的用戶忠誠度核心績效指標體系，并以此評價美國埃默里大學（Emory University）資源發現系統Primo和OPAC使用效果。用戶忠誠度核心績效指標包括用戶規模、用戶滿意度、用戶參與度和檢索任務完成比例等。用戶使用統計數據可以通過Google Analytics、圖書館網站、Primo和OPAC系統日志等途徑獲取。Way通過數據庫使用數據對比研究偉谷州立大學（Grand Valley State Universit）圖書館實施的Summon對圖書館資源使用產生的影響。在Serials Solutions沒有提供Summon統計功能的情況下，Way利用數據庫商和期刊提供商的使用統計報告、Google Analytics和圖書館鏈接服務器統計數據來分析Summon對圖書館館藏使用的影響。Way首先將2009年1～8月與2008年1～8月的使用統計數據進行比較，以提供無資源發現系統背景下的館藏使用變化情況。再將2009年9～12月與2008年9～12月的使用統計數據進行比較，以評估圖書館引進Summon后的館藏使用變化。Way利用使用統計數據比較的項目有數據庫檢索次數同比、鏈接服務器記錄的數據庫點擊次數同比和鏈接服務器記錄的期刊全文點擊次數同比。

4 國外資源發現系統評價策略分析

4.1 系統功能評價策略偏重于定性分析

系統功能評價以定性分析為主，主要是對照資源發現系統功能評價指標，逐一確認各類資源發現系統是否滿足指標要求。若某個資源發現系統滿足了系統功能指標，還需要進一步明確滿足指標的程度。例如，在考察資源發現系統是否滿足整合OPAC系統指標時，不僅要確定資源發現系統能否整合OPAC系統，同時還要確認是否整合了OPAC系統的續借、預約、推薦和評論等功能。國外圖書館在進行系統功能評價時，不是均等地對每個指標進行定性分析，而是依據評價目標區分了不同指標的重要性程度。瑞士洛桑聯邦理工學院圖書館在進行系統功能評價時將所有指標按重要性進行了排序，其中內容與相關性作為最重要的評價指標排在首位。

4.2 可用性評價策略注重用戶使用體驗

可用性評價是從用戶實際使用系統的感知和滿意度來評價信息系統質量。在資源發現系統的可用性評價實踐中，圖書館預先設計可用性測試任務，然后組織教師和學生在一定的信息技術環境下實際使用資源發現系統完成測試任務，最后根據測試者的使用感知、評分和測試任務完成情況得出資源發現系統可用性評價結論。由于可用性評價主要考察用戶的感知和評價，在設計可用性測試任務之前，國外圖書館經常調查和分析用戶對于現有的圖書館各類資源系統的使用反饋，以科學地制定資源發現系統可用性測試方案和任務。杜蘭大學霍華德-蒂爾頓紀念圖書館的可用性測評與Gallaway、Hines的競爭可用性測評都是在基于用戶對圖書館現有各類資源系統的使用反饋基礎上制定資源發現系統可用性測試方案。

4.3 系統使用績效評價策略以定量分析為主

系統使用績效評價是以系統的使用量、產生的效果及影響進行評價。系統使用量可以是系統的訪問量、檢索量和全文點擊量等，利用這些統計數據可以準確、客觀地對系統使用狀況進行定量分析。Durante和Wang的用戶忠誠度核心績效指標體系就是以系統使用量為基礎的定量分析框架。不同于Durante和Wang的系統使用量分析，Way在沒有Summon系統使用量的情況下，通過Summon實施前與實施后的數據庫使用數據對比，揭示Summon實施對圖書館資源使用產生的影響。此外，圖書館將資源發現系統使用量和使用成本結合起來則可以定量分析系統使用的成本效益。在系統使用影響和效果評價方面，圖書館還可以通過問卷調查方式統計和分析讀者的滿意度和讀者信息素養變化等。

4.4 三種評價策略涵蓋了資源發現系統的整個生命周期

資源發現系統的整個生命周期包括系統考察與試用、系統實施與維護、系統使用評價、系統升級或更換等。在資源發現系統的考察和試用階段圖書館經常使用系統功能評價，因為圖書館引進資源發現系統目的或是升級現有的OPAC系統、跨庫檢索系統，或是整合圖書館各類系統、各種館藏資源及外部網絡資源等。圖書館將這些目標細化并結合圖書館員和用戶的功能需求調查即可確定系統功能評價指標。圖書館再根據功能評價指標分析和評價市場上的各類資源發現系統，以找到最適合圖書館和用戶功能期望的資源發現系統。當然這一階段也可以使用系統可用性評價，即圖書館通過試用資源發現系統，并組織學生、教師和職員等目標用戶群進行可用性測試與評價。在系統實施和維護階段，圖書館仍然需要考慮系統功能的修改和完善，但系統功能不是這一階段的主要評價內容。這一階段資源發現系統已正式開放給用戶使用，圖書館需要明確資源發現系統對用戶資源檢索和需求的滿足程度，而可用性評價切合這一目標。系統使用一段時間后，圖書館利用系統使用績效評價方式可以了解系統使用量和使用效益。在系統合同到期時，系統使用績效評價結論能幫助圖書館進行科學決策。若系統使用績效良好則可以考慮續訂或升級系統，相反，則停止使用或者考慮更換其他系統。

5 啟示

5.1 明確圖書館是否需要引進資源發現系統

目前資源發現系統已廣泛應用于圖書館，但廣泛應用并不代表每個圖書館都要應用。圖書館必須明確資源發現系統引進目標和各類資源發現系統滿足目標程度。如果圖書館計劃升級和替代OPAC系統，則必須要考慮資源發現系統是否和圖書館的集成系統兼容、能否實時顯示圖書流通信息、是否整合用戶常用的OPAC功能等。若是偏重圖書館各類資源整合，則要重點考察資源發現系統的整合能力，尤其是對現有圖書館各類數字資源的整合能力。瑞士洛桑聯邦理工學院圖書館在對EDS、Primo、Summon和WCL進行系統功能評價后，因為不滿意這些資源發現系統都存在的資源整合問題，不能夠取代現有的圖書館各系統，如本館的各類目錄，所以沒有引進資源發現系統，而是繼續發展和完善下一代目錄系統。美國奧本大學（Auburn University）圖書館在對3個資源發現系統評估后，也決定不引進資源發現系統。目前很多國內重點高校圖書館引入了國外資源發現系統，但這些資源發現系統在中文資源整合方面普遍存在問題，這也讓這些資源發現系統實施效果大打折扣。如果圖書館明確希望整合中文資源，則可以等這些國外資源發現系統中文資源整合能力成熟后再引進它們。

5.2 資源發現系統評價不是一勞永逸

圖書館一般在引進資源發現系統時非常重視評價工作。其實，資源發現系統引進和實施后的評價工作同樣重要。因為在引進資源發現系統時，圖書館通常較多考慮資源發現系統的整合功能和檢索能力。雖然能組織用戶在試用階段進行可用性評價，但是可用性評價只限于部分用戶的有限評價，不能完全反映系統正式使用后的使用問題。資源發現系統正式實施和使用后，圖書館員和用戶在管理或使用資源發現系統時能充分使用系統功能，感知系統各項功能的質量并發現系統存在的問題。所以系統實施后同樣要進行系統評價，以完善系統各項功能和向用戶提供更好的資源與服務。此外，圖書館還需要根據系統使用量、館藏使用變化和讀者滿意度等績效評價方式來評價資源發現系統，以支持資源發現系統續訂、停訂或更換的決策。

5.3 評價的根本意義在于向用戶提供最優的資源與服務

資源發現系統評價貫穿資源發現系統考察、引進、試用、實施和維護等整個生命周期過程，其每個階段都有評價目的、策略、內容和指標。無論采用什么評價策略、內容和指標，都應該以向用戶提供最優的資源與服務為目標。考察階段的系統功能評價，圖書館不僅要考慮館內各系統與資源的整合需求，而且要重點調查用戶對資源發現系統的感知與功能期望，并將用戶普遍反饋的功能期望作為評價的重要指標。在資源發現系統使用階段，圖書館要使用可用性測評、系統使用評價及用戶滿意度評價等方式，及時掌握用戶的使用狀況和使用反饋。通過與資源發現系統提供商的溝通和協作，圖書館必須盡快解決用戶使用中發現和反饋的問題，以不斷完善資源發現系統，從而為用戶提供最優的資源和服務。

［1］David Aymonin， Alain Borel， Raphaёl Grolimund， etal.Be realistic， demand the impossible： Comparison of 4 discovery tools using real data at the EPFL Library［EB/OL］.［2014-03-16］.http：//infoscience.epfl.ch/record/172947/files/EPFL-discovery-techreport-20111219_1.pdf.

［2］Milberg C I.A tale of two systems： a case study on the implementation of two discovery systems at Davidson College［EB/OL］.［2014-03-16］.http：//dx.doi.org/10.1080/10691316.2012.693339.

［3］Chen Yu-Hui， Germain C A.Yang Huahai.An exploration into the practices of library web usability in ARL academic libraries［J］.Journal of the American Society for Information Science and Technology，2009，60 （5）：953-968.

［4］Van den Haak M J， de Jong M.D.T.， Schellens P J.Employing think-aloud protocols and constructive interaction to test the usability of online library catalogues：a methodological comparison［J］.Interacting with Computers，2004，16（6）：1153-1170.

［5］Fry A， Rich L.Usability testing for e-Resource discovery：how students find and choose e-Resources using library web Sites［J］.The Journal of Academic Librarianship， 2011，37（5）：386-401.

［6］Jeng J.What is usability in the context of the digital library and how can it be measured［J］.Information Technology and Libraries，2005， 24（2）：3-12.

［7］Thomsett-Scott B.Providing a complete menu： using competitive usability in a home page usability study［J］.Technical Services Quarterly，2005，23（2）：33-47.

［8］Thomsett-Scott B.The thrills and chills of employing competitive usability in a study of online public access catalogues［J］.Technical Services Quarterly，2007，25（1）：27-37.

［9］Gallaway T O， Mary F H.Competitive usability and the catalogue：a process for justification and selection of a Next-Generation catalogue or Web-Scale Discovery System［J］.Library Trends， 2012，61（1）：173-185.

［10］Asunka S， Chae H S， Hughes Brian， et al.， Understanding academic information seeking habits through analysis of web server log files：the case of the teachers college library website［J］.Journal of Academic Librarianship， 2009，35（1）：33-45.

［11］Durante K， Wang Z.Creating an actionable assessment framework for discovery services in academic libraries［J］.College&Undergraduate Libraries， 2012，19 （2-4）：215-228.

［12］Way D.The impact of Web-scale Discovery on the use of a library collection［J］.Serials Review，2010，36（4）：214-220.

［13］Ellero N P.An unexpected discovery： one library's experience with Web-Scale Discovery Service （WSDS）evaluation and assessment ［J］.Journal of Library Administration， 2013，53（5-6）：323-343.