醫學外文電子期刊數據庫的綜合評價與分析

近年來，在各類型的高等院校中，數字文獻資源的經費投入均有大幅度增加，甚至超過了紙質文獻資源[1]。因此，有必要對圖書館購置的電子資源進行綜合評估，并基于客觀數據和事實，對各種電子資源質量的優劣進行橫向比較，以判斷它們在用戶文獻利用方面發揮的價值。綜合評價結果，可為電子資源的新增、續訂、停訂等工作提供決策支持，使圖書館在經費有限的情況下，采購到更符合用戶需求的高質量資源，提高文獻資源建設經費的使用效益。

對于電子資源的綜合評價，目前國內外均有較多研究，但這些研究更多是集中在理論研究層面，包括對評價方法的討論、評價指標體系與評價模型的建立等[2-3]，實證分析和案例研究僅見少量報道[4-5]。首都醫科大學圖書館(以下簡稱“我館”)于2015年運用層次分析、德爾菲法等方法，結合醫學院校的實際情況，建立了一套適用于醫學院校圖書館的電子期刊評價指標體系[6]。

本文在前期工作的基礎上，對4種醫學外文電子期刊數據庫進行了試評價，就醫學電子資源的評價標準與評價方法與業內同行進行了探討。

1 研究方法

1.1 評價對象的確立

選取4種醫學外文全文電子期刊數據庫作為研究樣本。因為評價內容涉及價格等信息，為避免造成商業信息泄露，分別采用A、K、P、W數據庫進行指代。

A數據庫作為醫學學協會出版物的代表；K數據庫的內容來自一家專注于出版醫學內容的中小型出版社；P數據庫為集成型電子資源，收錄內容來自多家出版社的醫學類電子期刊；W數據庫則為收錄多學科學術期刊的商業數據庫，本文僅對其醫學及生命科學學科進行評價。4種數據庫覆蓋了當前電子期刊幾種主要的出版與銷售模式，具有良好的代表性。

1.2 評價指標類別及數據來源

本研究采用的評價指標體系由數字資源內容及數字資源使用情況、經濟性、檢索系統功能和相關服務等5個1級指標、11個2級指標和28個3級指標構成。根據各評價指標的性質，不同指標的數據來源及評分方式有所不同，將這些指標大致分為定量型和定性型兩類。

定量型包括收錄全文電子期刊的種數和數據庫的登錄次數與檢索次數、價格等信息，數據主要來自DRAA(高校圖書館數字資源采購聯盟)出具的數據庫評估報告、數據庫商提供的信息及我館的實際使用數據等。

其中定性型變量又可分為以下兩類。

第一類為定序型變量，即變量值具有等級或程度上的差別，但這種差別往往來自人的主觀感知，難以用某種具體的尺度直接測量其數值的大小，如數據庫檢索系統功能的強弱，檢索結果分析、處理能力的高低等。對于該類指標，選取5名具備豐富檢索經驗的圖書館員，根據實際工作中的體驗進行打分獲得。打分方式采用5級量表的形式，用1-5分分別代表非常不滿意、比較不滿意、一般、比較滿意、非常滿意，隨后計算5份打分結果的均值。為了避免打分的盲目性、隨意性，首先登錄各待評價數據庫網站，收集基本信息，并結合數據庫商提供的基本介紹材料，對檢索途徑、檢索技術、輸出結果多樣化以及檢索結果分析等4項指標來進行客觀事實的填寫，以供打分人員參考，具體信息見表1。

表1 定序型指標基本信息

第二類定性型變量稱為名義型變量，其特點是變量值只有若干有限取值。本文涉及的變量均有兩個可能的取值，即有或無、是或否，如是否包括附屬醫院IP，是否支持漫游訪問等信息。對于這種0-1型變量，則根據實際情況直接對其進行打分，分值分別為0分或1分。

全部28個評價指標的名稱、分類及原始數值參見表2。

另外，按照各評價指標的經濟性，又可將其劃分為效益型指標(數值越大越好)和成本型指標(數值越小越好)。對于成本型指標，需要與效益型指標進行區別處理，反向賦值。

表2 4個數據庫指標的名稱、類別及原始數值

1.3 數據填寫過程中應注意的問題

一是數據庫收錄內容。在統計收錄期刊的種數時，應注意排除OA期刊；對于集成型資源，還應分析該庫與其他數據庫收錄期刊的重復情況。

二是數據庫價格。在計算數據庫價格時，應將捆綁紙本刊的價格涵蓋在內，一并計入成本。

三是用戶幫助與培訓指標。收集了2014-2016年首都醫科大學圖書館舉辦的全部講座與培訓的信息。在4種數據庫中，僅W數據庫曾于2016年到館進行1次培訓。但在實際工作中，各數據庫商對于用戶培訓的要求是積極配合，這對他們的產品也是一次很好的宣傳機會。由于全文期刊型數據庫總體上較簡便易用，檢索界面比較友好，無需每年安排培訓。對此，打分的過程中應予以適當考慮。

1.4 評價指標樣本數據的處理

1.4.1 空值的處理

在評價過程中有5個評價指標數值有缺失。造成空值的原因，一是指標對評價對象不適用，如C22(是否提供試用統計)項，適用于訂購前對試用數據庫的評價、比較，而本次測評的對象均為已訂購數據庫，因而不適用。二是數據無法獲得，如C7、C8、C9、C13項，涉及數據庫的用量統計。有些數據庫商能夠提供相對完備的統計數據，有些只提供全文下載量等基本信息。對于這些缺失值，在實際操作中作了刪除處理。為了避免因刪除指標導致的評價指標體系整體權重發生變化，采用的方式是參考一級指標及二級指標的權重，將同類目下的相應指標按比例放大。如C13(單次檢索成本)項有缺失，則參考二級指標B7(數字資源使用成本)項，將該項的權重0.0751均賦予C14(全文利用成本)項。在刪除5項有空值的指標后，再對剩余的23項指標進行進一步計算和處理。

1.4.2 電子期刊評價指標原始數據的無量綱化

我館構建的評價指標體系在確定各項指標及權重后，采用百分制的方式，依據各指標的權重進行賦值。百分制賦值的優點在于簡便、清晰，易于理解。但在實際操作的過程中，發現存在一些現實問題。首先是對各項指標權重的小數部分進行四舍五入，以得到整數。但當權重系數值較小時，小數部分的取舍會造成取值相對原始數值的較大比例的變化。另外一個重要的問題是在打分開始前，制定一個科學合理的打分標準是困難的，各數據庫的評分結果將會隨著打分標準的不同而發生變化；在打分的過程中，根據各項指標不同的原始數值賦予其不同的分值，操作起來也是模糊的，難以避免主觀隨意性。

本文采用數學轉換的方式，對原始數據進行無量綱化處理。這是因為三級指標之間是不同質的，各個指標的內涵和量綱也不完全相同，不便將其數值直接進行加和、比較。因而，有必要進行標準的轉換，去除原始數據的量綱，這是對多指標的復雜對象進行綜合評價的一個必要的步驟和環節。結合課題的實際情況，采取“差極化”的方法，將上述定量型指標和定序型指標的客觀數據xi轉換為[0,1]范圍內的數值yi。

對于效益型指標和成本型指標，二者的處理方式有所不同，見公式1和公式2。

最后，用ωi代表指標權重，運用公式3，計算出4個數據庫的最終得分Z(見表3)。

表3 4種數據庫的無量綱化值及綜合得分

2 結果與分析

由計算結果可知，4種數據庫的綜合得分排名為W>A>K>P。其中W數據庫得分最高，績效最好；K數據庫和P數據庫得分接近，K數據庫略高。通過對樣本數據庫各分項指標的加權得分進行橫向比較，可以得知各個數據庫在每項指標中的優勢和不足之處。

2.1 W數據庫

W數據庫的綜合績效得分為0.8465分，排名第一。其優勢在于收錄期刊的整體學術水平較高，且數量較大。由C3(收錄內容)及C4(SCI/EI比重)兩項指標可知，該數據庫收錄的生物醫學類期刊中有455種被SCI/EI收錄，因而獲得了最高的全文下載量。其2016年全年達到了9.75萬篇，是下載量排名第二的K數據庫的8.6倍。此外，W數據庫還獲得了最低的全文利用成本。由于C10(全文下載量)和C14(全文利用成本)的權重較高(0.3314)，使W數據庫最終得分領先。W數據庫突出的缺點在于其具有對檢索結果進行分析的功能，缺乏基本的檢索結果分面篩選功能，使用戶在大量檢索結果面前無法快速篩選自己想要的內容，造成極大的不便和困擾。

2.2 A數據庫

A數據庫的綜合績效得分為0.5395分，排名第二。雖然該庫只收錄了10種全文期刊，但每種期刊的學術質量均非常高，全部被SCI/EI所收錄。A數據庫的年度全文下載總量為10 993篇，與收錄84份期刊的K數據庫相近。根據全文下載量，可以計算出平均每份期刊的年下載量達到了1 099篇，是W數據庫的5.6倍，說明A數據庫也在一定程度上滿足了用戶需求。

2.3 K數據庫

K數據庫的績效得分為0.3945分。原因是K數據庫的檢索界面不夠友好，且檢索功能整體較弱，在檢索界面、檢索途徑、檢索技術、檢索結果輸出多樣化等方面，用戶滿意度均很低，從而拉低了分值。

2.4 P數據庫

P數據庫是集成型資源，在所評價的4個數據庫中，收錄的醫學全文電子期刊的種數最高，為3 055種。其不足之處在于，很多期刊都存在時滯，且內容更新不夠及時，無法提供最新的文獻，對于時效性要求很高的醫學文獻而言，是一個較大的問題。該庫全年總下載量最低，僅有2 400余篇，且單篇下載成本最高，使績效得分最低，僅為0.3236分。

3 討論

3.1 評價結果對資源建設工作的指導性作用

對電子資源進行系統性的綜合評價，可以為圖書館數字文獻資源建設提供數據支撐。從研究結果可知，W數據庫整體表現較好，在采購方案沒有大幅變動的情況下，可以維持續訂；A數據庫評分中等，可以密切關注；K數據庫和P數據庫績效評分均較低，但對這兩個數據庫又需要區別對待。K數據庫主要是在檢索系統方面存在不足，需要反饋給數據庫商，敦促其重視用戶體驗，積極升級檢索功能；P數據庫的主要問題是用量較低，使用成本較高。筆者查閱了DRAA集團的使用統計，發現在18家參團用戶中，2015年的集團年平均全文下載量為1.6萬篇，單篇下載成本平均為5.32元，說明P數據庫整體而言對用戶是有幫助的，不宜直接停訂，還需加大宣傳推廣的力度，促進讀者對該數據庫的認識和使用，從而降低使用成本，提高使用效益。若經過一個合同期的宣傳，該數據庫的利用率仍然較低，則可以考慮不再續訂。

3.2 評價指標體系的有效性

筆者采用DRAA集團組織的2016年度用戶滿意度調查結果作為參照，該調查共設置4項一級指標，包括數據庫內容與質量、數據庫商服務、購買價格及方式、檢索系統平臺，以及13項二級指標。匯總用戶對于A、K、P、W這4個數據庫的打分結果，發現在涉及的13項二級指標中，W數據庫有11項指標獲得了最高的滿意度，2項得到了次高滿意度的評價。這與本次測評的結果或可進行相互的驗證，從一定程度上說明，評價指標體系的指標選取和權重設置是合理、可行的。

3.3 評價指標體系的可操作性

在28項三級指標中，有23項獲得了完整的數據，說明選取的指標在數據的可獲得性方面，整體表現較好。各項指標內涵清晰，并實現了盡可能的量化，使填寫簡便易行，便于數據庫間的橫向比較。

在存在空值的5個指標中，4個與數據庫的用量有關，包括登錄次數、檢索次數、題錄下載篇數、單次檢索成本等。為此，筆者調查了22個生物醫學及相關學科的外文全文數據庫能夠提供的用量統計情況，調查結果顯示，在22個數據庫中，只有全文下載量這一指標是每個數據庫都能提供的，能夠提供登錄次數、檢索次數、題錄下載篇數的數據庫分別為6個(27%)、15個(68%)和7個(32%)。為避免在今后的評測工作中出現大量的空值，可以保留檢索次數和全文下載篇數兩個指標，刪除登錄次數和題錄下載篇數這2個指標。

4 結語

對訂購的各類型數字資源進行系統性的服務績效評估，是圖書館需要長期開展的一項常規工作。評估的結果是圖書館合理分配采購經費，對電子資源的新增、續訂、停訂進行科學決策的客觀依據。作為評價工具的評價指標體系的科學性、合理性及可操作性，無疑會對評測結果起到至關重要的作用。一個理想的評價工具的建立不是一蹴而就的，必須經過實踐的檢驗，并根據評價對象的變化而調整，使之不斷完善，具有更好的實用性。