圖書館資源應急保障成效評估框架研究*

王夢圓 羅祺姍

（1. 中國科學院文獻情報中心，北京 100190；2. 中國科學院大學圖書情報與檔案管理系，北京 100190）

2020年全球暴發新型冠狀肺炎病毒疫情（以下簡稱“新冠疫情”），在此重大突發公共衛生事件下，為滿足用戶疫情期間對圖書館資源的需求，圖書館投入眾多人力、物力開展了多項資源應急保障服務，借助遠程訪問技術、網絡課堂、專題平臺等多樣化的線上服務手段為用戶及時提供所需資源，并持續服務至今。但目前，尚未有圖書館對此類應急服務的保障效果開展系統評估，無法直觀感知用戶使用服務后獲取的效益。因此如何評估資源應急保障服務對用戶產生的效益，是圖書館當下需要考慮的重要問題。

1 研究思路

為解決如何評估圖書館資源應急保障服務對用戶產生的效益問題，本研究將在適用的圖書館評估理論基礎上，設計資源應急保障服務評估框架，為相關評估實踐提供參考。開展研究的思路主要如下。

（1）調研圖書館資源應急保障服務案例并明確評估需求。調研突發公共衛生事件下國內外圖書館資源應急保障服務的典型案例，并選擇代表性圖書館進行訪談調研，獲取服務主體對此類服務的評估需求。

（2）提出評估概念并辨析其內涵。根據研究問題和評估需求選擇適用于圖書館資源應急保障服務的評估理論，在此基礎上提出相關評估概念，明確評估對象、評估視角以及核心評估內容。

（3）通過用戶調查獲取指標設計的實踐依據。對用戶進行問卷調查，獲取用戶對資源應急保障服務的重點關注要素，作為核心評估內容轉化為具體評估要點及評估指標的實踐依據。

（4）設計指標體系框架。圍繞核心評估內容，結合指標設計的實踐依據，構建以關鍵性評估指標為主的評估框架，使其具備靈活性和可操作性，以適用于不同評估目標的圖書館。

2 圖書館資源應急保障服務及其評估需求

2.1 圖書館資源應急保障服務案例調研

對圖書館在突發公共衛生事件（如SARS、H1N1流感、埃博拉病毒、新冠疫情等）下開展的資源應急保障服務案例進行調研，調研對象包括清華大學圖書館、上海交通大學圖書館、牛津大學圖書館等高校圖書館，國家科技圖書文獻中心、中國科學院文獻情報中心、美國國立醫學圖書館等專業文獻信息服務機構，以及國家圖書館、湖北省圖書館等公共圖書館。

通過調研發現，圖書館資源應急保障服務主要圍繞用戶應急期間所需的教學、科研、專題三類資源進行保障，服務方式以在線服務為主，從而實現“快、準、全”的保障目標。

（1）教學類資源應急保障服務。新冠疫情期間，國內外多數高校圖書館借助電子教參系統保障在校師生的教學資源需求[1-2]，支持疫情期間的教學工作有序開展；以線上課堂、線上講座等形式開展在線信息素養教育[3-4]，幫助用戶提升信息素養水平以應對新冠疫情產生的“信息疫情”。

（2）科研類資源應急保障服務。為響應“科研和國際交流”的應急保障要求[5]，圖書館采用統一身份認證系統[6-7]、VPN[8]等多種技術手段拓展圖書館數字資源的遠程訪問途徑，通過集成OA資源[9]、爭取商業資源臨時訪問權限擴展[10]、與出版商合作推出限時免費資源[11]等多種方式擴充、匯總應急期間的可訪問資源[12]，為用戶快速獲取盡可能全面的學術資源提供支持。

（3）專題類資源應急保障服務。圖書館還提供與突發公共衛生事件相關的信息情報、專題文獻等專題類資源應急保障服務，以幫助用戶了解、掌握權威信息和最新動態。專題欄目/網站是這一類服務的常見形式[13-14]，通過集中發布最新信息情報、科研進展、信息工具等，形成綜合集成的專題信息源，供用戶一站式獲取所需專題資源。此外，圖書館將館藏資源中與突發公共衛生事件有關的文獻或數據挑選并進行整合，形成專題文獻/數據庫[15-16]，為用戶提供服務。

2.2 資源應急保障服務評估需求調研

從訪談調研內容及數據的可獲取性角度考慮，本研究以資源應急保障服務的代表性圖書館之一的中國科學院文獻情報中心（以下簡稱“文獻中心”）為例，訪談5個不同業務部門，調研新冠疫情期間各部門開展資源應急保障服務的內容、方式以及預期服務目標等情況，基于調研結果梳理、總結服務主體對此類服務的評估需求。訪談調研的主要結果如下。

（1）教學類資源應急保障服務。利用“中科院科研信息素養講堂[17]”的服務平臺，加大對線上科研信息專業課程的保障力度，致力于提升用戶信息素養，使其在應急期間充分利用資源保障服務獲取所需資源。

（2）科研類資源應急保障服務。提供WEBVPN[8]、慧科研漫游認證[18]兩種身份認證方式，確保用戶可以隨時隨地穩定訪問文獻中心訂購的網絡數字資源，以達到保障用戶居家科研學習對文獻資源需求的服務目標。

（3）專題類資源應急保障服務。通過專題欄目“全球COVID-19開放學術資源”[9]、專題平臺“新型冠狀病毒專題知識服務與科研攻關交流平臺”[19]及“‘COVID-19’科研動態監測平臺”[20]向院內用戶提供多類型的新冠專題科研資源、專題信息情報，保障用戶及時獲取最新權威專題資源，實現專題科研攻關的推進和專題信息素養的提升。

由此可見，盡管各業務部門因業務職能不同，開展的資源應急保障服務在服務內容和方式上存在差異，但都認為相較于常規資源保障，應急保障的資源具有更強的專業性、專題性和權威性，具有更顯著的時效性和穩定性。結合服務內容及目標，總結出文獻中心在評估資源應急保障服務時有以下方面的需求。

（1）評估用戶需求資源的保障情況。用戶常規科研學習需要的文獻和教學資源，以及對最新權威專題資源的需求是否得到有效保障。

（2）評估資源遠程獲取的保障手段。是否提供多種資源遠程獲取渠道/平臺，獲取渠道/平臺是否穩定，遠程登錄操作是否簡單易操作，是否能打破資源獲取的時空限制、提升用戶資源獲取效率。

（3）評估用戶使用服務獲取的效益。文獻中心服務對象為科研人員與研究生，服務是否能影響或改變用戶科研能力、信息素養和信息行為。

3 資源應急保障成效評估概念界定

根據文獻調研，圖書館評估領域發展至今形成績效評估（performance assessment）、服務質量評估（service quality evaluation）、成效評估（outcome assessment）3種主流評估理論[21-22]，其中績效評估是以圖書館為中心評估圖書館資源配置效率[23]，服務質量評估強調以用戶感知來衡量圖書館服務質量[24]，而圖書館成效評估是基于圖書館的目標與使命，以用戶為中心評估圖書館服務或資源對用戶所產生的效益[25]，更關注用戶使用圖書館服務或資源后在學業成就[26]、科研產出[27]、信息素養[28]和信息行為[29]等方面的成效。

通過對比這3種主流評估體系的特點和內容，本研究認為側重關注用戶效益的“成效評估”理論更符合資源應急保障服務效果的評估需求，更適合解決如何評估圖書館資源應急保障服務對用戶產生的效益的問題；同時，“成效評估”在理論研究[30]、應用原則[31]、實踐過程[32]、評估標準[33]等方面都已形成較為成熟的理論和實踐成果，為本研究提供了堅實的理論依據。

在上述基礎上，本文結合資源應急保障服務案例及評估需求調研，提出圖書館“資源應急保障成效評估”概念，即基于圖書館的目標與使命，以用戶為中心評估圖書館資源應急保障服務對用戶應急時期所需的核心常規資源與專題資源的保障情況，以及對用戶在此期間的學業成就、科研產出、專題信息素養、信息行為等方面的效益。資源應急保障成效評估的對象是圖書館在突發公共衛生事件下開展的資源應急保障服務，評估角度以用戶為中心，核心評估內容包含以下3個方面。

（1）核心常規資源應急保障。針對用戶在應急期間正常開展科研學習工作的需求，評估資源應急保障服務對用戶所需核心常規文獻和教學資源的保障成效，能否保障用戶應急期間科研學習工作的正常、有序進行。

（2）專題資源應急保障。針對用戶應急期間對專題信息情報及時、準確獲取的需求，對專題文獻資源和研究動態的及時、全面保障的需求，評估資源應急保障服務對專題資源的應急保障成效。

（3）用戶使用成效。用戶在應急期間使用資源應急保障服務提供的各類資源后，評估其學業水平是否進步、科研產出成果是否增加、專題信息素養水平是否提升、信息行為是否受到影響與改變等方面的用戶使用成效。

4 資源應急保障成效評估框架設計

資源應急保障成效評估的概念內涵明確了核心評估內容，為應急保障成效評估指明方向，而為設計一套具備可操作性的資源應急保障成效評估框架，還需將核心評估內容轉化為具體的評估要點及指標。根據成效評估原則[17]，本研究通過用戶問卷調查方式，獲取用戶對資源應急保障評估的重點關注要素，以此作為設計具體指標的實踐依據。

4.1 資源應急保障服務用戶問卷調查

出于數據可獲得性的考慮，本研究仍以文獻中心開展的資源應急保障服務為調查背景，分別在新冠疫情較為嚴重的2020年8月和進入疫情防控常態化的2021年7月，對服務對象——中國科學院科研人員與研究生進行了兩次線上問卷調查。第一次問卷重點調查用戶在疫情緊急形勢下對文獻中心提供資源遠程訪問服務的使用情況、服務質量的反饋意見，共回收102份有效問卷；第二次則以第一次問卷為基礎、系統調查了用戶對文獻中心提供的各項資源應急保障服務的使用體驗，增加主觀填空題收集用戶的關注要素，共回收107份有效問卷，其中有62份答卷填寫了主觀題。

第一次調查中，用戶通過對服務質量的滿意度打分表現了對服務穩定性、易用性的關注。第二次調查中，用戶在資源類型、內容、質量、時效、獲取效率以及資源對自身的影響/提升等方面提出了對資源應急保障服務的關注要素，其中有75.8%的問卷中提出需關注“資源類型/內容”要素，69.4%的問卷中提出需關注“資源質量”要素，64.5%的問卷中提出需關注“資源獲取效率”要素，51.6%的問卷中提出需關注“資源時效”要素，35.5%的調查對象表達了資源對自身科研學習和信息素養水平提升的需求，另有少數問卷提到了宣傳推廣、用戶使用門檻等要素。

通過用戶問卷調查，發現用戶在使用資源應急保障服務時主要關注以下五方面要素。

要素一：資源類型/內容。包括常規教學資源和科研資源的類型是否全面，其內容是否能滿足各學科領域用戶遠程科研學習的資源需求；專題資源種類是否豐富，分類是否清楚，是否能滿足用戶需求。

要素二：資源質量。包括保障的資源是否權威、專業，能否提供可信賴的準確信息來源。

要素三：資源獲取效率。包括服務渠道是否穩定，修復故障是否及時，資源獲取流程是否便捷簡潔，資源檢索是否高效準確。

要素四：資源時效。包括資源的發布或更新是否及時，能否獲取專題最新進展，能否可持續訪問所需的某類資源。

要素五：自身能力提升。包括保障的資源能否提升自身在應急期間科研學習成效，能否提升自身的新冠專題信息素養。

4.2 資源應急保障成效評估框架

考慮到資源應急保障成效評估所涉及內容的復雜性，本研究借鑒層次分析法[34]的指標體系結構，以“內容層（A層）-要點層（B層）-關鍵指標層（C層）”的框架層次結構展現資源應急保障成效評估框架內容以及各級指標的邏輯關聯。其中：內容層（A層）是資源應急保障成效評估概念中涉及的3個核心評估內容，即核心常規資源應急保障、專題資源應急保障、用戶使用成效；其下級要點層（B層）是基于評估內容，由資源應急保障服務用戶關注要素和成效評估理論轉化而來的評估要點，是對內容層的解釋；關鍵指標層（C層）則是指標體系最終的應用層次，將評估要點進一步轉化為適用性較高的關鍵性評估指標，為不同評估主體進行評估實踐時提供測度工具。以下為各層次內容的說明。

核心常規資源應急保障（A1）：反映資源應急保障服務中對用戶應急期間所需核心常規科研、教學資源的保障情況。由于常規資源的內容提供方并非圖書館，結合用戶關注要素，A1下屬的評估要點僅設置核心常規資源的保障程度（B1）和獲取情況（B2）兩項，主要通過線上教學資源保障率、核心常規資源需求滿足度和資源獲取渠道特性等方面的7個細化指標體現。

專題資源應急保障（A2）：反映資源應急保障服務中對用戶應急期間所需專題資源的保障情況。由于圖書館是專題資源內容的組織方和提供方，對建設服務擁有更多的自主權，因此基于用戶關注要素設置了專題資源的覆蓋程度（B3）、內容特征（B4）、時效情況（B5）和獲取情況（B6）4項評估要點，并將其轉化擴展為專題資源的種類、權威性、發布/更新及時程度、平臺穩定性等9個關鍵性評估指標。

用戶使用成效（A3）：基于成效評估研究的成效類型，結合用戶調查中的關注要素五，用戶在使用此類應急服務后產生的成效一部分轉化為直接生產力，即應急期間的學業成就（B7）和科研產出（B8），具體可通過課程成績、常規科研產出數量等6個指標體現；另一部分通過用戶個人素質和能力的提升表現出來，即專題信息素養（B9）和用戶信息行為（B10），可使用專題情報認知程度、應急服務使用優先度、應急服務依賴程度等5個指標評估。

綜上所述，本研究設計的資源應急保障成效評估框架共包括3個方面評估內容（A層），10個評估要點（B層），27個關鍵性評估指標（C層），具體內容如表1所示。

表1 圖書館資源保障應急成效評估框架

4.3 框架特點與應用

（1）評估框架的靈活性。由于資源應急保障服務具有多種服務形式和內容，且圖書館成效取決于自身目標與使命[31]，無法設計滿足所有評估需求的統一標準評估框架，因此，本研究在設計評估框架時，將用戶對此類服務的重點關注要素轉化設置為關鍵性評估要點及指標。不同的評估主體可以根據本館服務實際情況對評估框架進行個性化設計，建立適用于本館評估目的的應急保障成效評估指標體系。如文獻中心在評估本館資源應急保障服務時，由于其服務目標不包括用戶的學業成就，應用評估框架時需舍去應急期間學業成就（B7）及下屬指標，保留符合本館服務實際情況的評估指標，并依據需求對其進行個性化調整。

（2）評估指標的權重。在對圖書館業務部門的訪談調研中發現，圖書館開展的各項資源應急保障服務從不同角度滿足用戶不同需求，因此，對不同應急服務的評估，無法通過統一賦權的方式標識各維度指標的重要程度。圖書館在開展評估工作時，可根據評估需求對各評估指標進行個性化賦權。

（3）評估框架的適用對象。由于成效評估應是一個連續性的過程[31]，而高校圖書館與專業圖書館因機構性質與目標不同，其資源應急保障服務持續狀態相較更久，因此本框架對高校圖書館與專業圖書館的適用性更高。在對其他類型圖書館進行評估時，可利用評估框架靈活性的特點，根據本館服務目的與實際情況對框架進行個性化調整。

（4）評估對象的選擇。本評估框架既可對單項資源應急保障服務進行評估，也可以對多項服務組成的資源保障類應急服務進行綜合評估，區別在于單項評估僅需選取貼合該服務特點的評估指標；而多項評估在選擇評估維度時則需要綜合考慮，選取的評估指標應符合各項資源應急保障服務的特點，保證此類服務集合中的各個要素都能得以評估。

（5）評估方法的選擇。根據ACRL提出的圖書館成效評估原則[31]，圖書館進行成效評估時應結合定量與定性方法。應用本評估框架時，定量方法主要為相關客觀數據統計或用戶打分，定性方法多為問卷調查、訪談等，綜合定量和定性評估結果對整體成效做出評價。

5 結語

突發公共衛生事件下，圖書館資源應急保障服務效果亟需得到評估，但目前尚未有圖書館開展相關評估的研究案例，因此本研究設計的評估框架旨在為圖書館評估此類服務提供參考，以便真實直觀地感知用戶使用服務后獲取的效益，有針對性地改進服務不足之處以提升服務效果，為保障服務可持續、常態化發展奠定基礎。由于篇幅所限，本文只能精簡闡述資源應急保障成效評估概念及評估框架的核心內容，后續將對此框架進行實證研究，并根據實證結果對評估框架進行優化完善。