ARL《2018年圖書館評估大會論文集》解讀及啟示

烏云高娃

（1.赤峰市圖書館 內蒙古赤峰 021000）

始于20 世紀20 年代的美國圖書館評估， 經過近一個世紀的發展， 其理論與實踐成果均居于國際先進水平。 作為北美最大的代表研究型圖書館和高校圖書館的非營利組織， 北美研究型圖書館協會（Association of Research Libraries，ARL）在這一發展過程中起著舉足輕重的作用。 ARL 不僅推出了具有國際影響力的一系列圖書館評估工具， 還以圖書館評估大會的形式開辟了交流與探討圖書館評估的平臺。 本文擬解讀ARL《2018 年圖書館評估大會論文集》（以下簡稱《論文集》）的相關主題及內容，以期對我國圖書館尤其是高校圖書館評估提供借鑒。

1 背景

20 世紀20 年代，為保證大學圖書館發展有足夠的資金，美國大學在捐助機構、主管教育部門以及行業協會和聯盟的共同努力下，開始制定圖書館建設標準和規范，出現了以館藏、經費、人員為主要指標的圖書館定量評估活動。 1950 年， 美國大學和研究圖書館協會（ACRL）推出了包括館藏、支出、人員編制和薪酬的標準用以指導快速發展的高校圖書館建設。1961 年，ARL 推出ARL Statistics R， 用以統計其成員館的館藏、支出、人員配備和服務活動。 在此基礎上，20 世紀80 年代初，Kendon Stubbs 開發了ARL 指數（ARL Index），通過衡量藏書規模、支出、人員配備和服務來得出北美研究圖書館的年度排名。 時至今日，這一排名依然是北美各高校及圖書館關注的焦點。

從20 世紀90 年代開始，ARL 順應圖書館評估發展變化的實踐需求推出了一系列如LibQUAL、DigiQUAL等具有國際影響力的圖書館測評工具，在圖書館界得到廣泛好評和使用。 為匯集圖書館評估從業人員和研究人員， 為他們提供交流與研討的平臺， 從2006 年起，ARL 與華盛頓大學圖書館合作，召開主題為“開展有效、可持續和實用的評估工作”的圖書館評估會議，每兩年一屆，2006 年首屆會議就吸引了來自北美36 個州和6 個國家的200 多名與會者，目前已發展為圖書館評估的重要國際會議。歷屆評估大會共收到論文450 余篇，形成了北美高校圖書館評估實踐與研究的基礎。 2018 年12 月，第7 屆圖書館評估大會在美國德克薩斯州休斯頓舉行， 近600 名來自北美學術圖書館和高校圖書館的人員參會，會議共收到論文80 篇，主題涵蓋了圖書館評估的價值、影響、方法、工具等內容。

2 《2018 年圖書館評估大會論文集》解析

《論文集》按主題共分為13 個部分，即測量與測量指標，Ithaka S+R本地調查，價值和影響，空間，方法和工具，組織問題，數字圖書館，多樣性、公平性和包容性，非傳統用戶，館藏，用戶體驗，教與學，服務（見表1）。

表1 《論文集》論文分布

2.1 組織問題

關于組織問題的討論內容分為三個部分：

（1）館員的職業發展。 Sarah Anne Murphy 通過調查2008 年至2017 年參加ARL 評估大會的館員的職業發展路徑，認為收集、分析和利用證據進行決策的評估能力， 已成為圖書館管理者的一項關鍵能力。評估館員可以很好地承擔領導和管理角色，但需要對他們進行全方位的專業技能培養；C. Heather Scalf 描述了德克薩斯大學阿靈頓分校（UTA）圖書館為館員晉升制定自我評估準則和政策的過程， 并介紹了對館員業務、學術和服務三個方面的評價策略。這一準則和政策有助于館員對其職業生涯進行自我評估，并為晉升委員會評估館員提供證據和材料。

（2）評估文化。 2016 年，洛約拉圣母學院圖書館為進一步支持館員發展評估文化， 特聘專業館員負責圖書館的評估工作。 這名館員與圖書館管理部門一起制定了穩定評估數據收集的計劃和標準， 最終將LNDL 評估文化重塑為一種環境， 讓員工在規劃和決策過程中定期使用評估數據來改善用戶體驗。Katy O’Neill 認為將評估納入圖書館日常業務，評估數據可成為支持圖書館創新的核心要素。 Jeremy Buhler 以不列顛哥倫比亞大學圖書館為例， 認為在組織內部培養探究式文化，強調參與式調查，有助于挖掘評估的內在動機， 進而更易于維持館員對評估的興趣，避免評估流于形式，最終達到通過評估改善服務質量的目的。

（3）組織變革和重組。 Laura I. Spears 介紹了東北佛羅里達多類型圖書館合作組織通過欣賞式探詢的方式召開會議，獲取大量定性數據，為領導層決策和戰略規劃提供信息的過程。Kathryn M. Crowe 以北卡羅萊納大學格林斯博羅分校（Greensboro）圖書館為例， 探討大學圖書館如何將其戰略規劃和評估工作與其所在大學的規劃運作相結合， 并將評估數據納入所在大學機構數據庫，以此展示圖書館的價值。2013 年， 阿靈頓大學圖書館進行了全面重組。 為了促進新愿景和新目標的實現， 對全體館員通過兩次調查并自我評價后進行職位分配。 雖然最終順利完成重組， 但新組織依然面臨諸多挑戰。 C. Heather Scalf 在總結經驗時認為， 以評價數據為驅動的組織重組仍然需要考慮人的因素。

2.2 空間

（1）如何通過評估展示圖書館空間的價值。 Susan Beatty 報道2016 年卡爾加里大學圖書館為研究生開辟共享空間后，為確定空間效用，2017 年4 月對學生進行了使用效果的在線調查和評估。結果表明，與校園其他學習空間相比， 學生們更喜歡圖書館共享空間，共享空間的利用提高了他們的學習、研究和成果產出。 Laura I. Spears 介紹了佛羅里達大學學生事務評估辦公室和圖書館通過線上和線下兩種方式、 分兩個階段調查校園內的自習大廳與人文社科分館（HSS）哪個更適合于為學生提供通宵學習空間。結果顯示，近七成的學生傾向于選擇HSS（因為圖書館安靜、有足夠的座位并提供計算機），只有12%的學生選擇自習廳。 最終學校根據調查結果將提供通宵學習的空間選定在HSS， 圖書館也因此獲得了學校的支持資金。

（2）研究基于實踐的圖書館空間評估方法。許多大學圖書館都面臨著學生人數不斷增加， 因圖書館規模限制而使用空間越來越擁擠的問題。 Margaret Fain 介紹了卡羅來納海岸大學金伯利圖書館通過外部研究、LIQUAL +調查和內部評估等多種評估方法對圖書館空間進行持續改進和重新設計， 以解決學生人數增加而帶來的空間和座位短缺問題。 Katherine Gerwig 以明尼蘇達大學雙城校區為例，介紹了一種評估圖書館空間和家具使用的輕量級方法， 該方法由館員在30 分鐘內就可完成，是一種簡單、可重復的空間評估方法， 可為圖書館空間和家具設計決策提供詳細信息。 Karen R. Hum 等介紹了一種基于移動設備、支持定位、具有報告功能的圖書館空間利用數據收集系統。該系統簡單易用，可使多個工作人員在較短時間內收集到一致的信息， 并已成功協助普渡大學圖書館對其新建的學習中心使用情況進行了評估。 密歇根大學圖書館的圖書館環境部負責建立組織評估文化、 參與數據驅動的決策， 為創建安全、友好、可訪問的圖書館空間提供信息。 由于圖書館服務、 空間和館藏分布在多個校園的十幾個建筑或空間內， 給數據收集帶來困難。 Emily Puckett-Rodgers 介紹了該部門通過創建分布在圖書館不同部門的“數據管理員”團隊、在圖書館內部建立合作伙伴網絡的方法進行大規模戰略數據收集和評估的過程。Elliot Felix 則介紹了一種圖書館座位數預測方法，可幫助圖書館有效改進空間設計。 Tobi Hines 報道了康奈爾大學圖書館將研究用戶的方法用于館員辦公空間評估， 揭示出辦公空間存在的問題對用戶服務質量的影響。

2.3 方法和工具

（1）關于評估方法。 Jesse Klein 分析了佛羅里達州立大學圖書館利用圖書館數據與校園內其他機構的學生數據（如學生人口統計、資源使用和成績等信息）整合建立名為“圖書館立方體”的數據庫的過程，并與其他幾所大學圖書館的相關項目進行了比較。該研究認為圖書館用戶數據與校園機構學生數據的整合能夠為圖書館服務、空間和館藏與學生成功之間建立聯系，幫助圖書館簡化數據分析和報告，同時還可為學校決策者提供參考。Darren Ilett 等介紹了一種采用多站點收集數據、 混合方法和解釋性框架的評估方法。該研究以科羅拉多州三所公立大學圖書館合作開展的第一代大學生圖書館利用情況的評估項目為例，認為這一評估方法提供了豐富的視角和數據，在研究團隊、研究方法和數據來源方面均具有多樣性， 有助于圖書館更全面地了解用戶情況。 Faith Bradham 以貝克斯菲爾德學院圖書館綜合服務評估為例，介紹了一種適合社區大學圖書館的評估模式。

（2）關于評估工具。 Patricia Andersen 報道了科羅拉多礦業學院阿瑟湖圖書館將LibQUAL 調查數據和評論深入分析后用于評估當前計劃中各項目標的相關性和實現情況， 并作為制定未來戰略計劃工具的過程。 德州理工大學圖書館使用LibQUAL 進行探索性調查之后， 通過幾種補充方法迭代測試網站用戶體驗，擴展了調查結果的價值，使評估更加有效和實用。作者認為此模式不僅可用于網站，還可用于評估圖書館的其他服務。 Gabriela Castro Gessner 分享了Kano 模型在康奈爾大學圖書館和賓夕法尼亞州立大學圖書館的應用案例， 為高校圖書館利用Kano 模型衡量用戶偏好提供了借鑒。康奈爾大學圖書館決定為研究生重新開辟共享空間來解決研究生私人研習間經常被本科生占用的問題， 但使用Kano 模型評估后發現，研究生對于放棄私人研習間獲得共享空間并不感興趣，圖書館于是放棄了重新建設共享空間的計劃，避免了資金浪費。 而賓夕法尼亞州立大學圖書館則利用Kano 模型進行評估后，成功為圖書館主入口處的數字顯示屏確定了顯示內容的優先順序。

2.4 其他主題

與前述三個主題相比， 其余主題的論文數量雖然相對較少， 但涵蓋了圖書館評估理論和實踐中不容回避和尚待解決的問題。限于篇幅，本文僅對各主題主要內容進行總結。

（1）關于多樣性、公平性和包容性的研究主要有兩個方面：一是圖書館組織的DEI 評估，側重討論了組織DEI 的評估框架以及如何使評估成為激勵組織多元文化建設的手段。 服務的DEI 評估論文數量相對較多， 關注的內容包括如何在評估中堅持DEI 原則以及圖書館評估的公正和包容性指標制定。

（2） 關于價值和影響的研究主要集中在評估圖書館對學生學業成功的影響，即對圖書館工作成效的評估。 研究內容包括：通過評估網站展示圖書館對學生的價值和影響、圖書館對學生成功影響的量化研究和元分析法、評估圖書館提供電子教科書的價值和影響、評估圖書館技能培訓與學生成功的關系等等。

（3）關于測量與測量指標。正如Michael Luther在其論文中所言，向利益相關者如管理者、學生、教師展示其服務價值是圖書館評估的內在動力。 多位學者提供了不同的評價和展示圖書館價值的測量指標和方法。如Jin Xiu Guo 介紹了使用BigQuery 分析電子資源和館際互借單次使用成本來評估研究型圖書館隱含價值的方法；Eric Ackermann 描述了ACRL 為高校圖書館開發項目成果評估標準和工具的過程，以幫助高校圖書館衡量、展示其項目和服務的價值。

此外，《論文集》研究的其他方面還包括：對數字圖書館利用、 數字資源重用以及機構知識庫策略與利用的評估；館藏評估（包括館藏質量和價值評估以及通過評估確定館藏預算分配）；對圖書館教學與培訓質量的評估以及使用Ithaka S+R 本地調查工具進行圖書館服務評估等。值得一提的是，美國大學非傳統學生（即非應屆高中畢業生直接進入大學就讀）與傳統學生相比有著數量眾多、年齡大、有工作甚至家庭的特點， 評估圖書館服務對他們的影響也成為一些學者研究的主題。

3 美國高校圖書館評估的特點

3.1 評估作為日常管理工具

《論文集》中的諸多案例顯示，美國高校圖書館評估很多是出于圖書館管理的目的而開展的， 大到組織的變革與戰略規劃，小到一個公告屏的制作，以及館員的晉升、空間的改造、網站設計等均是基于數據和信息的分析和評價來進行決策。 如北卡羅萊納大學格林斯博羅分校圖書館的戰略規劃制定、 阿靈頓大學圖書館的全面重組、 佛羅里達大學圖書館夜間自習室的設置、 密歇根大學圖書館物理和虛擬空間改造、 賓夕法尼亞州立大學圖書館入口處公告屏的內容顯示、德州理工大學圖書館網站的改進等，評估成為圖書館為達成管理目標而隨時進行的工作。正因如此， 美國高校圖書館有專門的評估館員和評估團隊， 根據管理的需要， 評估活動不僅能隨時開展，一些評估項目甚至可以長期持續進行。如卡羅來納海岸大學金伯利圖書館在長達9 年的時間里，利用評估數據對圖書館平面圖和座位進行持續改進，達到最大限度利用圖書館空間的目的。與此同時，為了有效地開展評估活動，組織內部的評估文化建設、評估館員的職業發展理論與實踐也就成為高校圖書館關注的問題。

3.2 評估工具與方法的創新和改進

根據自身評估的需要創新評估方法， 或對企業和圖書館已有的評估工具進行改進以達到特定的評估目的，使評估工具和方法豐富多樣，滿足了不同圖書館多方面的需求。 如社區大學貝克斯菲爾德學院圖書館根據當地經濟欠發達、 學生群體多樣化的特征設計了一種混合評估方法， 采用定量圖書館使用數據和針對該院學生和教師的定性調查， 評估圖書館對學生成功的影響， 為社區大學圖書館提供了評估范本。 Kano 模型是市場營銷中被廣泛使用的質量模型， 康奈爾大學圖書館和賓夕法尼亞州立大學圖書館將這一模型改良后應用于圖書館空間和電子公告屏內容的評估， 為那些需要對非常具體和有針對性的問題進行研究和評估的圖書館提供了很好的范例。 廣泛應用于零售業和酒店業的神秘顧客調查法（Secret Shopper assessment） 也是美國高校圖書館常用的評估方法， 德克薩斯州立大學阿爾克圖書館運用規模經濟和基于結果的方法使這一調查法成為更具戰略性和可持續性的評估工具。

3.3 成效評估成為主流

20 世紀80 年代，以全面質量管理為理論基礎的SERVQUAL 服務質量評價方法在服務行業興起，引起歐美圖書館界的關注， 圖書館評估開始從關注投入——產出的績效評估向以用戶為中心的成效評估轉變。 1998 年，ACRL 發布《學術圖書館成效評估報告》，指出成效即圖書館用戶通過接觸圖書館資源和項目而有所改變的情形。 2004 年，美國頒布《高等教育圖書館標準》，明文規定高校圖書館要進行成效評估。近幾年來，關注圖書館服務對用戶最終影響的成效評估越來越受到重視， 成為美國高校圖書館改進服務方式和提高服務質量的重要手段。

《論文集》也顯現了這一趨勢，近半數的文章論及評估圖書館服務對學生學業成功的影響或由此引發的對學校發展目標的影響。 如中佛羅里達大學圖書館評估提供免費教科書對學生第一年保留率、畢業時間、 授予學位的總數量以及獲得學位成本的影響，就是較為典型的成效評估案例；其他研究還有諸如評估圖書館服務對學生成功影響的量化模型、評估圖書館技能培訓與學生成功的關系、 評估圖書館服務對非傳統學生和第一代大學生等特殊群體的影響等。 成效評估在有效促進圖書館服務質量提高的同時，也向相關利益方充分展示了圖書館的價值，提高了圖書館在大學校園的地位。

4 對我國高校圖書館評估工作的啟示

4.1 將評估納入圖書館日常管理

自20 世紀80 年代我國高校圖書館評估活動開展以來，均由各級教育行政領導部門組織實施，圖書館因發展或管理需要自行開展的評估活動幾乎沒有。1991 年10 月，為了檢查各館貫徹執行《普通高等學校圖書館規程》的情況，國家教委發出《關于開展普通高等學校圖書館評估工作的意見》，隨后開展了全國性的高等學校圖書館評估活動；2003 年， 教育部發布《2003-2007 年教育振興行動計劃》，提出要實行“五年一輪”的普通高等學校教學工作水平評估制度。2003-2008 年，全國有700 多所本科院校接受了教育部的評估、1100 多所高職高專院校中的絕大部分接受了省級評估，相應地，圖書館作為“教學基本設施”被納入評估指標體系；2011 年，教育部發布《關于普通高等學校本科教學評估工作的意見》，圖書館依然作為“教學基本設施”參與評估。

歷次評估雖然在一定程度上達到了“以評促建”的效果， 使圖書館的基本建設經費在迎評期間得到保障， 推動了圖書館基礎條件建設。 但不可否認的是，這種行政命令下的“一刀切”式評估，并沒有給圖書館帶來評估的內在動力， 也沒有給圖書館管理和服務帶來積極影響， 甚至出現了一些圖書館為達標突擊購買低價劣質圖書的現像。 在信息環境和社會環境不斷發生變化的今天， 僅僅開展行政命令下的評估活動已遠遠不能適應高校圖書館的發展。因此，現階段我國高校圖書館應借鑒美國高校圖書館的做法，不僅要重視以評促建，更要重視以評促管、促用，將評估納入圖書館日常管理活動， 增強評估的內生動力，增加由圖書館主導開展的、以提升管理和服務質量為目的的評估活動， 讓評估成為圖書館的自覺行動。只有這樣，圖書館在實踐中才會不斷創新和發展評估方法， 才能使評估活動在圖書館發展過程中發揮真正的促進作用。

4.2 加強評估理論與管理實踐的結合

理論支撐實踐，實踐也能不斷豐富理論，兩者相輔相成，缺一不可，圖書館評估理論與實踐的關系亦是如此。從《論文集》中我們可以看到，幾乎所有的論文都對應著一個案例，或是對已經完成的評估活動的經驗和教訓的總結與分析， 或是對還需持續進行的評估活動的階段性探討， 論文結論均是建立在對某個圖書館或某一評估項目實踐的總結基礎之上。 如《使可負擔的教科書服務與州績效撥款指標相一致》中論述中佛羅里達大學圖書館從2016 年開始為學生和教師提供免費教材， 此后兩年時間里跟蹤調查學生和教師采用免費教材的相關信息，經評估后發現這項服務為學生節約費用達100 多萬美元。 對免費教材使用效果的評估在傳達圖書館價值的同時，也提高了中佛羅里達大學的績效指標，使學校獲得了更多教育撥款。 這一研究為美國高校圖書館負擔得起的教材提供模式和效果評估提供了實證參考。

我國高校圖書館評估理論研究論文數量較少，雖然也涉及了目前國外高校圖書館關注的熱點問題，如學生學業成功與圖書館的關系、圖書館空間評估以及評估機制、方法等，但由于我國高校圖書館評估實踐的缺乏， 多數論文以理論研究或介紹國外先進經驗為主，應用研究和實證研究較少，少量的實證研究也僅僅停留在為圖書館提供建議， 而非通過評估改善和提高服務質量的實踐過程。因此，需盡快將評估活動納入圖書館日常管理與決策， 加強評估理論與管理實踐的結合，以實踐為切入口，推動評估理論的發展，最終形成良性循環，是促進我國高校圖書館評估理論與實踐發展的有效手段。

4.3 發揮行業協會和組織的作用

美國高校圖書館評估理論與實踐取得的成果，離不開圖書館行業協會和組織的努力。 ACRL 早在1950 年就推出了包括館藏、支出、人員編制和薪酬的高校圖書館建設標準；ARL 于1961 年推出ARL Statistics R，用以統計其成員館的館藏、支出、人員配備和服務活動；1990 年，ARL 發表新評估倡議，提出評估應是圖書館用來征求、跟蹤、理解和根據用戶對服務質量的意見采取行動的一套工具。 1998年，ACRL 發布了《學術圖書館成效評估報告》。受此影響，2004 年美國頒布的《高等教育圖書館標準》，明文規定高校圖書館要進行成效評估。20 世紀90 年代以來，ARL 陸續推出的LibQUAL、DigiQUAL、Digi-QUAL、ClimateQUAL等成為北美高校圖書館評估的主要工具。 每兩年一屆的ARL 圖書館評估大會不僅提供了圖書館評估交流與討論的平臺，更成為北美高校圖書館評估理論與實踐的基礎。 可以說， 行業協會和組織是美國高校圖書館評估理論與實踐發展的主要推手。

我國圖書館行業協會和組織在高校圖書館評估發展中發揮的作用微乎其微。如前所述，由于高校圖書館自發進行的評估活動幾乎沒有， 圖書館評估一直是在各級教育行政領導部門組織下實施的官方評估， 圖書館協會和行業組織難以在其中發揮作用。2003 年2 月25 日，圖工委發布了《普通高等學校圖書館評估指標(征求意見稿)》，然而接下來進行的高校圖書館評估卻是在教育部普通高等學校本科教學評估的框架下進行的，沒有行政權力的專家組織高校圖工委的評估指標亦未能發揮作用。 因此，高校圖書館行業協會和組織應盡快轉變觀念，在支持教育行政領導部門組織的評估基礎上，大力倡導和推進由高校圖書館主導的基于改進管理和服務的評估活動，借鑒或引用國外先進的評估工具和方法，發揮行業協會的組織功能，在行業內部進行評估文化的建設和傳播，推動多類型、多目標的高校圖書館評估活動的開展。