學(xué)術(shù)資源發(fā)現(xiàn)系統(tǒng)的用戶體驗測試研究*

王海花 陸為國

1 背景

近幾年來，網(wǎng)絡(luò)學(xué)術(shù)資源發(fā)現(xiàn)與獲取系統(tǒng)（Resources Discovery and Delivery System，以下簡稱“發(fā)現(xiàn)系統(tǒng)”）被愈來愈多的圖書館及信息機構(gòu)所采用。發(fā)現(xiàn)系統(tǒng)作為一種專業(yè)學(xué)術(shù)搜索服務(wù)，通過簽署協(xié)議，收集各類學(xué)術(shù)文獻信息，形成集中的元數(shù)據(jù)倉儲，并為讀者提供“一站式”學(xué)術(shù)搜索服務(wù)。全球較為知名發(fā)現(xiàn)系統(tǒng)有：ProQuest公司旗下Serials Solutions公司的Summon（簡稱Summon）、Exlibris公司的 Primo和Primo Central（簡稱 Primo）、EBSCO公司的 EBSCO Discovery Service（簡稱EDS）、OCLC的WorldCat Local（簡稱WCL）以及Innovative公司Encore Synergy，CALIS的“e讀”、超星公司的“超星中文發(fā)現(xiàn)”等。

如何從眾多的資源發(fā)現(xiàn)系統(tǒng)中選型和決策，業(yè)界同行對發(fā)現(xiàn)系統(tǒng)展開多方面的比較與研究。竇天芳等探討發(fā)現(xiàn)系統(tǒng)的邏輯結(jié)構(gòu)、核心功能、體系架構(gòu)[1]，秦鴻等對系統(tǒng)的元數(shù)據(jù)、架構(gòu)與功能、檢索與界面、商務(wù)因素等進行了詳盡的比較[2]，山東大學(xué)圖書館從用戶功能性指標(biāo)、網(wǎng)絡(luò)技術(shù)、教學(xué)科研支撐等方面進行評估[3]。上述研究強調(diào)了發(fā)現(xiàn)系統(tǒng)的差異，但卻忽視兩個方面的因素。一方面，發(fā)現(xiàn)系統(tǒng)的整體共性越來越多，日益趨向于“同質(zhì)化”；另一方面，已有的發(fā)現(xiàn)系統(tǒng)研究多從圖書館自身想法出發(fā)，忽視了發(fā)現(xiàn)系統(tǒng)的用戶——讀者。發(fā)現(xiàn)系統(tǒng)用戶是廣大讀者，其年齡、學(xué)科背景、知識結(jié)構(gòu)、所處環(huán)境等方面各不相同，因此用戶對發(fā)現(xiàn)系統(tǒng)的感知與認(rèn)知也不盡相同。在發(fā)現(xiàn)系統(tǒng)“同質(zhì)化”的趨勢背景下，發(fā)現(xiàn)系統(tǒng)的比較與選型應(yīng)充分考慮“用戶體驗”這一因素，而不僅僅是專業(yè)館員的內(nèi)部分析。與此同時，讀者用戶體驗參與，其多樣性恰好彌補了專業(yè)館員單一背景的不足。

基于此，筆者所在團隊在日趨“同質(zhì)化”的發(fā)現(xiàn)系統(tǒng)產(chǎn)品的評估與選型過程中，引進用戶體驗概念，并開展“發(fā)現(xiàn)系統(tǒng)的用戶體驗測試”，以期測試結(jié)果為選購決策提供有力支持，并在今后的引進過程中提出相應(yīng)的改進意見。

2 用戶體驗

用戶體驗（User Experience）根據(jù)國際標(biāo)準(zhǔn)化組織（International Organization for Standardization）ISO9241-210的定義為“用戶在使用或期望使用一個產(chǎn)品、系統(tǒng)、或者服務(wù)的感知和回應(yīng)”。即用戶在使用一個產(chǎn)品（設(shè)備、系統(tǒng)或服務(wù)）之前、使用中、使用后的全部感受，包括情感、情緒、認(rèn)知、生理和心理反應(yīng)、行為等各個方面。

一般來說，用戶體驗測試主要是借助定性和定量的方法，對用戶使用產(chǎn)品時的個人生理、心理和行為等相關(guān)指標(biāo)進行研究，揭示用戶與產(chǎn)品之間交互的有效性、效率或滿意度等。從被試選擇角度，用戶體驗可分為兩類：一類是用戶評價（User-based Evaluation），有時也稱用戶測試；另一類是專家評價（Expert-based Evaluation）。用戶測試即為用戶提供一系列操作場景和任務(wù)讓他們?nèi)ネ瓿桑园l(fā)現(xiàn)產(chǎn)品（或業(yè)務(wù)）中的錯誤和缺失（經(jīng)驗數(shù)據(jù)：7個用戶就可以找到80%以上的可用性問題）；專家評價由多個業(yè)內(nèi)專家根據(jù)一些通用的可用性原則和自己的經(jīng)驗來發(fā)現(xiàn)系統(tǒng)內(nèi)潛在的可用性問題（經(jīng)驗數(shù)據(jù)：5個專家能找到大約75%的可用性問題）[4]。

用戶體驗的測試與評價方法有情景調(diào)查、焦點小組、可用性度量、日志文件分析、問卷調(diào)查表等，以及基于用戶行為和生理度量的方法，如眼動追蹤評價、行為觀察、腦電信號[5]。其中用戶體驗問卷調(diào)查表是一種費用少、管理人員和用戶雙方都能接受的方法，即問卷調(diào)查表由一系列可用于評價用戶體驗的具體問題組成，這些問題經(jīng)過標(biāo)準(zhǔn)化和系統(tǒng)化處理，評估人員據(jù)此分析，找出并明白產(chǎn)品（系統(tǒng)或服務(wù)）中的優(yōu)質(zhì)部分、缺陷部分，以及有待提高的部分等方面。針對信息系統(tǒng)用戶體驗度量常用的問卷調(diào)查表有：John Broke編制的系統(tǒng)可用性量表（SUS）[6]，Jim Lewis編制的任務(wù)后評分用的情景后問卷（ASQ），計算機系統(tǒng)可用性問卷（CSUQ）[7]和研究后系統(tǒng)可用性問卷（PSSUQ）[8]。其中PSSUQ針對當(dāng)面進行測試而設(shè)計，CSUQ則是針對郵件或在線測試而設(shè)計，二者非常類似，用于分析系統(tǒng)有效性（System Usefulness）、信息質(zhì)量（Information Quality）、界面質(zhì)量（Interface Quality）和總體性滿意度（Overall Satisfaction）。

3 用戶體驗測試研究設(shè)計及數(shù)據(jù)處理

本研究采用用戶體驗+問卷調(diào)查方法，通過用戶實際體驗后填寫調(diào)查問卷。筆者團隊對收集到的數(shù)據(jù)利用SPSS 17.0版軟件進行統(tǒng)計分析，并對數(shù)據(jù)進行歸一化（Normalization）處理。

3.1 用戶研究

根據(jù)所在機構(gòu)特性，確定和描述將要使用發(fā)現(xiàn)系統(tǒng)主要用戶的特征及行為特點。基于所在機構(gòu)的性質(zhì)與特點，發(fā)現(xiàn)系統(tǒng)的主要用戶是大學(xué)本科二、三、四年級學(xué)生、一、二年級碩士（或博士）研究生，年齡約為18至28歲之間。他（她）們年輕，有一定的專業(yè)知識基礎(chǔ)，熟練掌握計算機，了解并熟悉圖書館的功用及網(wǎng)絡(luò)服務(wù)，且有一定的學(xué)業(yè)和科研壓力，求知欲望強烈，需要通過檢索和閱讀擴展知識面，解決學(xué)習(xí)中遇到的問題。

發(fā)現(xiàn)系統(tǒng)的目標(biāo)用戶未包括所屬機構(gòu)的大學(xué)本科一年級新生和高年級研究生與教師。這是因為大學(xué)新生剛?cè)胄２痪茫凑莆栈镜膶I(yè)知識，有些甚至不了解圖書館的功用，不會使用OPAC或電子數(shù)據(jù)庫，而高年級研究生及教師專注研究，長期只關(guān)注本領(lǐng)域的3~5種專業(yè)學(xué)術(shù)期刊或3~5位專家，較少關(guān)注基礎(chǔ)性的學(xué)科知識檢索。

3.2 變量測量及問卷設(shè)計

發(fā)現(xiàn)系統(tǒng)用戶體驗測試是對不同廠商的發(fā)現(xiàn)系統(tǒng)進行比較。按照用戶體驗進程一般是從感知到認(rèn)知，再到情感體驗[9]，測試重點是：（1）系統(tǒng)能力（System Capability），其可細(xì)化為響應(yīng)速度、結(jié)果數(shù)量、元數(shù)據(jù)質(zhì)量等；（2）信息質(zhì)量（Information Quality），即檢索結(jié)果排序是否符合用戶的期望，用戶關(guān)注的主題和內(nèi)容在首頁中的比例；（3）用戶滿意度（User Satisfaction），在使用過程中，用戶感知的系統(tǒng)靈活性、便利性和整體性能。

調(diào)查問卷分為4個部分。第一部分針對系統(tǒng)能力；第二部分針對用戶感知的信息質(zhì)量；第三部分是用戶滿意度；第四部分需要用戶投票選擇偏好的發(fā)現(xiàn)系統(tǒng)，并簡單陳述理由。問卷中有4道題采用二分式度量，其余的測試采用5點式Likert量表形式。

3.3 測試過程

本次用戶體驗選用三家知名廠商的發(fā)現(xiàn)系統(tǒng)進行互聯(lián)網(wǎng)測試，分別以A系統(tǒng)、B系統(tǒng)、C系統(tǒng)代指；本次測試共有40名低年級研究生參加，分屬19個學(xué)院，其中理工科背景的學(xué)生20人，醫(yī)學(xué)專業(yè)學(xué)生4人，文科背景的學(xué)生16人。

參加被試人員各自準(zhǔn)備6個檢索詞，分別輸入3個不同的發(fā)現(xiàn)系統(tǒng)，每完成1次檢索，即填寫表格測試選項。被試人員在完成“系統(tǒng)能力”和“信息質(zhì)量”測試后，再完成第三部分和第四部分。整個過程完成約為60分鐘。

被試輸入的檢索詞共有240個，其中中文檢索詞140個（重復(fù)3個），英文檢索詞97個（重復(fù)2個），中英文混合的檢索詞3個。

4 數(shù)據(jù)分析

4.1 系統(tǒng)能力

發(fā)現(xiàn)系統(tǒng)能力實際是用戶在使用過程中度量系統(tǒng)的性能，其調(diào)查變量是發(fā)現(xiàn)系統(tǒng)的單次檢索過程和結(jié)果。本文用“檢索速度“”檢索結(jié)果數(shù)量“”數(shù)據(jù)重復(fù)性”“顯示的檢索結(jié)果數(shù)據(jù)完整性”等四個指標(biāo)來衡量發(fā)現(xiàn)能力。通過測試，我們發(fā)現(xiàn)A系統(tǒng)的各項調(diào)查變量較其他系統(tǒng)低（參見圖1）；B系統(tǒng)的數(shù)據(jù)清洗工作方面做得比較好；C系統(tǒng)在“檢索速度”“檢索結(jié)果數(shù)量”“顯示的檢索結(jié)果數(shù)據(jù)完整性”等3方面占優(yōu)，但數(shù)據(jù)清洗工作不如A系統(tǒng)和B系統(tǒng)。

圖1 發(fā)現(xiàn)系統(tǒng)用戶體驗測試中系統(tǒng)能力

4.2 信息質(zhì)量

發(fā)現(xiàn)系統(tǒng)信息質(zhì)量實質(zhì)是度量系統(tǒng)的檢索結(jié)果能否符合用戶（即檢索者）的期望，幫助用戶“發(fā)現(xiàn)”所需文獻，而不是簡單的關(guān)鍵詞匹配結(jié)果。通過測試，我們發(fā)現(xiàn)A系統(tǒng)的各項調(diào)查變量較其他系統(tǒng)低（參見圖2）；B系統(tǒng)在“檢索者關(guān)注的主題在分面中呈現(xiàn)”方面占優(yōu)，說明B系統(tǒng)在檢索主題提取與篩選方面工作做得比較好；C系統(tǒng)在“檢索結(jié)果頁面中相關(guān)經(jīng)典文獻呈現(xiàn)”“檢索者關(guān)注的內(nèi)容在檢索結(jié)果首頁呈現(xiàn)的比例”等方面占優(yōu)，說明C系統(tǒng)檢索結(jié)果篩選和排序優(yōu)于A系統(tǒng)和B系統(tǒng)，其“發(fā)現(xiàn)”效果更佳。信息質(zhì)量調(diào)查變量的Cronbachα為0.65，屬于中上信度。

圖2 發(fā)現(xiàn)系統(tǒng)用戶體驗測試中信息質(zhì)量

4.3 用戶滿意度

發(fā)現(xiàn)系統(tǒng)的用戶滿意度測試是度量用戶的情感接受。通過測試，B系統(tǒng)和C系統(tǒng)的用戶滿意度較A系統(tǒng)高（參見圖3）。其中B系統(tǒng)在“檢索結(jié)果分面靈活性”單項變量占優(yōu)，說明B系統(tǒng)在檢索主題聚類與識別方面做得比較好；C系統(tǒng)在“全文獲取流程方便性”“發(fā)現(xiàn)系統(tǒng)整體性能”等方面領(lǐng)先，說明C系統(tǒng)在流程設(shè)計較好，較其他系統(tǒng)使用起來更為便利。需要指出的是，C系統(tǒng)檢索結(jié)果中，與用戶檢索詞有關(guān)的經(jīng)典文獻在頁面中呈現(xiàn)的比例較高，這有助于用戶學(xué)習(xí)過程中閱讀學(xué)科經(jīng)典文獻，也有助于所在機構(gòu)推廣核心館藏。用戶滿意度調(diào)查變量的Cronbachα為0.708，信度較高。

圖3 發(fā)現(xiàn)系統(tǒng)用戶體驗測試中用戶滿意度

4.4 用戶偏好及理由

測試的第四部分是被試者根據(jù)自己的用戶體驗和偏好進行選擇。其中A系統(tǒng)得票4.5票，占比11.25%；B系統(tǒng)得票16.5票，占比41.25%；C系統(tǒng)得票19票，占比47.5%。另外，68.75%的文科背景被試人員選擇了C系統(tǒng)，50%理科背景被試人員選擇了B系統(tǒng)。

通過對用戶體驗和偏好選擇理由的分析發(fā)現(xiàn)，用戶比較看重的體驗在于以下幾個方面。（1）系統(tǒng)界面的友好度。頁面整潔、操作簡單、檢索結(jié)果頁面上顯示比較全面（如作者、出版年、期、卷、館藏位置等信息）的系統(tǒng)更令用戶偏愛。（2）系統(tǒng)的檢索速度。在信息化時代，用戶總是希望在最短的時間內(nèi)獲得自己所需的信息，系統(tǒng)檢索速度的快慢是影響用戶偏好選擇的重要原因之一，這也是大部分用戶摒棄A系統(tǒng)的原因。（3）檢索結(jié)果的相關(guān)度排序。在用戶喜好理由中“檢索結(jié)果相對精確”“準(zhǔn)確率高”“相關(guān)度高”等出現(xiàn)的頻率比較高。（4）文獻重復(fù)率。用戶更傾向于重復(fù)率低的系統(tǒng)。

5 結(jié)語

本文的用戶體驗測試結(jié)果表明，發(fā)現(xiàn)系統(tǒng)的用戶滿意度受系統(tǒng)的信息質(zhì)量影響大，個別檢索結(jié)果元數(shù)據(jù)重復(fù)并沒有影響整體用戶滿意度；不同發(fā)現(xiàn)系統(tǒng)的元數(shù)據(jù)倉儲在超過一定數(shù)量后，系統(tǒng)間的差異減弱；不同學(xué)科背景的被試人員偏好稍有不同，盡管還沒有更多的數(shù)據(jù)來解釋，但是也說明不能忽視發(fā)現(xiàn)系統(tǒng)的研究者和評估者的學(xué)科背景、個性需求和體驗。本次用戶測試體驗證明將用戶體驗變成可以度量的行為和態(tài)度，在一定程度上能夠反映不同廠商發(fā)現(xiàn)系統(tǒng)的優(yōu)勢與缺陷。

隨著技術(shù)發(fā)展與進步，現(xiàn)有不同廠商的發(fā)現(xiàn)系統(tǒng)正在趨向“同質(zhì)化”，因此資源發(fā)現(xiàn)系統(tǒng)的選型成為一項挑戰(zhàn)性的工作。由于各個系統(tǒng)都有優(yōu)缺點，圖書館不僅要考慮館內(nèi)各系統(tǒng)與資源的整合需求，還要考慮系統(tǒng)性能、數(shù)據(jù)質(zhì)量、檢索能力等綜合因素，更重要的是開展各種用戶體驗測試，調(diào)查用戶對資源發(fā)現(xiàn)系統(tǒng)的感知與功能期望，并將用戶普遍反饋的功能期望作為評價的重要指標(biāo)[10]。

在信息服務(wù)中，好的產(chǎn)品在注重服務(wù)內(nèi)容和質(zhì)量的同時，更要注重情感的愉悅和滿足，確保產(chǎn)品工作起來順暢，用戶心情愉悅，不會感到無助和挫折。信息用戶已不再滿足于被動地接受信息服務(wù)機構(gòu)的誘導(dǎo)和操縱，而是愿意主動地參與到信息服務(wù)之中。越來越的用戶希望能夠和信息服務(wù)機構(gòu)一起，按照自身的需求獲取滿意的服務(wù)，通過創(chuàng)造性消費來體現(xiàn)他們獨特的個性，使他們獲取自我實現(xiàn)的新途徑，從而獲得更大的成就感和滿足感。因此，提供學(xué)術(shù)信息檢索“一站式”服務(wù)的發(fā)現(xiàn)系統(tǒng)也應(yīng)滿足讀者的用戶體驗需求，不僅要在選型的初期進行用戶體驗測試，而且還要在確定選型以后的日常使用中也要邀請用戶積極參與進來進行系統(tǒng)的測試與評估，及時掌握用戶的使用狀況和使用反饋意見，通過與發(fā)現(xiàn)系統(tǒng)廠商積極溝通和協(xié)作，不斷完善和改進系統(tǒng)，使系統(tǒng)逐漸滿足用戶個性化需求。

[1] 竇天芳，姜愛蓉.資源發(fā)現(xiàn)系統(tǒng)功能分析及應(yīng)用前景[J].圖書情報工作，2012（7）：38-43.

[2] 秦鴻，錢國富，鐘遠(yuǎn)薪.三種發(fā)現(xiàn)服務(wù)系統(tǒng)的比較研究[J].大學(xué)圖書館學(xué)報，2012（5）：5-11，17.

[3]廖靜.山東大學(xué)圖書館資源發(fā)現(xiàn)系統(tǒng)評估工作的摸索與實踐[J].圖書情報工作，2013（9）：52-57.

[4] 李仲俠，么遙，王靈芝.移動終端的用戶體驗研究[J].信息通信技術(shù)，2012（4）：12-17.

[5]Tullis T，Albert B.用戶體驗度量[M].周榮剛，等，譯.北京：機械工業(yè)出版社，2009：45-55.

[6] Broke J.SUS：A quick and dirty usability Scale[EB/OL].[2015-04-15].http：//www.doc88.com/p-5748144246297.html.

[7] Lewis JR.IBM computer usability satisfaction questionnaire：Psychometric evaluation and instructions for use[J].International Journal of Human-Computer Interaction，1995，7（1）：57-78.

[8] Lewis JR.Psychometric evaluation of the post-study system usability questionnaire：The PSSUQ[C].Santa Monica：Proceedings of the Human Factors Society 36th Annual Meeting，1992：1259-1263.

[9] 李皓，姜錦虎.網(wǎng)站使用中用戶體驗過程模型及實證研究[J].信息系統(tǒng)學(xué)報，2011（9）：55-65.

[10] 朱前東.國外資源發(fā)現(xiàn)系統(tǒng)評價策略研究[J].圖書與情報，2014（4）：6-10.