基于層次分析法的公眾科學項目游戲化設計的評價指標體系構建

薛翔 趙宇翔 陳英奇 朱慶華

摘? ?要：目前針對公眾科學項目的游戲化設計尚未形成系統性的評價指標體系。文章從公眾科學項目自身特征出發，梳理了評價指標相關文獻，構建了科研眾包視角下公眾科學項目游戲化設計評價指標體系，其主要包含教育目標、科學目標、游戲交互體驗、系統保障4個維度共計22項評價指標。在收集專家數據，利用層次分析法確定各指標權重系數后發現，教育性和科學性仍是公眾科學項目游戲化設計中的主要考量因素，而用戶游戲交互體驗和系統保障則居于次要地位，研究人員更傾向于將游戲化作為輔助設計手段。文章最后將評價指標體系應用于Foldit項目的游戲化設計評估，嘗試了現有公眾科學項目游戲化設計中存在的游戲體驗欠佳等問題，并對未來該領域的游戲化設計提出了若干建議。

關鍵詞：科研眾包;公眾科學項目;游戲化設計;評價指標體系;層次分析法

中圖分類號：G315? ?文獻標識碼：A? ?DOI：10.11968/tsyqb.1003-6938.2019042

Developing Evaluation Index System of Gamification Design in Citizen Science Projects based on Analytic Hierarchy Process

Abstract The gamification design of Citizen Science Projects has not yet formed a unified and systematic theoretical research results. Researchers lack a quantitative evaluation index system to guide and evaluate the gamification design of citizen science projects. After combing the literature related to the evaluation index of gamification design， the study constructs the evaluation index system of gamification design of citizen science projects. This evaluation index system includes four dimensions： educational goals， scientific goals， game interaction experience， and system security. After collecting the data of experts and analyzing the weight coefficients of each index by using the analytic hierarchy process （AHP）， this study finds that education and science are still the main considerations of citizen science projects' gamification design， while users' game interaction experience and system security are in the secondary position， which suggests that researchers are more likely to use gamification as an auxiliary design tool. Finally， the evaluation index system is used to evaluate the gamification design of the Foldit project. The shortcomings of the gamification design in the existing public science projects are summarized， and the future gamification development strategies are put forward.

Key words scientific crowdsourcing; citizen science projects; gamification; evaluation index system; AHP

1? ?引言

公眾科學（Citizen Science），又稱社區科學、群智科學、公眾參與式科學研究，是由科學愛好者、非職業科研人員乃至普通公眾在開放科學環境下參與的一類科研活動[1]。在公眾知識素養不斷提升、互聯網技術快速發展和“大眾創業 萬眾創新”的多重背景下，公眾參與科學研究的熱情日益高漲，各類公眾科學項目大量涌現。為突破傳統組織邊界，最大限度挖掘大眾智慧潛力[2]，科研眾包理念應運而生[3]。在科研眾包模式下，公眾可以參與到科研活動的方方面面，從研究任務的設計、志愿者招募到數據采集、分析與處理等[4]，任何一個互聯網用戶都有潛質成為公眾科學家[5]。

然而，在眾包平臺發展之初，發包方將物質獎勵作為激發用戶參與動機的主要手段，而眾包任務本身的設計相對單調乏味。此外，在項目的實際開展過程中，發包方往往不會過多關注志愿者的參與動機或體驗，更多情況下持有一種“工具思維”，即將公眾參與者視為數據采集和信息獲取的渠道，導致用戶長期參與的黏性和忠誠度均未達到預期。考慮到公眾科學項目多為公益性質，接包方更多是以志愿者的形式參與其中，缺乏外部物質刺激導致內在驅動不足和項目冷啟動的問題更為嚴重。鑒于此，越來越多的眾包平臺引入了游戲化設計以改善用戶體驗，從而增強公眾參與科研眾包任務的內在驅動力和持久力。

游戲化（Gamification）是指將游戲元素應用于非游戲情境，最早出現在教育學領域[6]。 Zichermann[7]在研究中指出，游戲化設計能夠影響用戶的動機和行為，在任務設計及激發用戶參與度、忠誠度兩個方面具有顯著成效。在公眾科學項目中已經涌現出一些較為成功的游戲化設計案例，如用于語言學習和翻譯的DuoLingo、模擬蛋白質折疊的Foldit、模擬基因測序的Phylo、分析歷史記錄的Old Weather和映射大腦神經通路的EyeWire等[8]。對已有案例綜合梳理后可以發現，積分、勛章、成就、排行榜等游戲化元素的加入能夠有效吸引和推動用戶參與公眾科學項目。

然而，雖然在公眾科學領域已經存在一些成功的游戲化設計案例，但如何評價該領域的游戲化設計仍然缺乏必要的實證探索，特別是缺乏系統性的評價指標體系對項目游戲化設計進行指導和評估[9]。因此本文嘗試從公眾科學項目基本特征出發，結合已有游戲化設計評價體系研究成果，構建科研眾包視角下公眾科學項目游戲化設計的評價指標體系。最后，本文將評價指標體系應用到Foldit項目中，嘗試總結出現有公眾科學項目游戲化設計的不足和未來游戲化設計的開發策略。

2? ?相關工作

現有公眾科學項目普遍面臨項目任務枯燥、項目冷啟動等問題，因此需要在任務設計中融入激勵機制，其目的在于優化用戶體驗，增強用戶參與公眾科學任務的動機[9]。Rotman[10]認為用戶參與公眾科學主要受到四類動機的影響：集體性（Collectivism）、利他性（Altruism）、利己性（Egoism）和原則性（principalism）。當個體由自身利益驅動參與項目時，利己性激勵因素將發揮主要作用，這些激勵因素包括學習知識和技能，擴展人際關系[11-12]、探索新的職業機會[13]、利用閑置資源[11]等。利他性激勵因素則會促使個體為了其他個體或群體的利益而參與到某個項目中，包括為科學研究做出貢獻、保護自然和生物、幫助他人。當個體為自己所屬群體的利益而參與某項活動時，集體性激勵因素如協助社區建設、對政府進行支持會發揮重要作用[13]。而當個體參與項目是出于自己的一些原則時，原則性激勵因素會起到主要作用，如責任感[14]。Tinati等[15]則在研究中發現，公眾自身的奉獻、學習、歸屬感需求，以及項目的挑戰、娛樂和游戲屬性等，都是激勵用戶參與公眾科學項目的重要因素，并且用戶持續參與公眾科學項目的動機較加入初期可能發生根本性的改變。此外，有學者從用戶退出動因角度著手研究后發現，時間資源的限制和技術使用門檻是導致用戶中途放棄參與公眾科學項目的主要原因[16-17]。

作為享樂型自我目標系統的巔峰形式，游戲化 是目前用戶激勵設計中最受歡迎的形式之一[18]。已有游戲化應用大都是從游戲中借鑒設計模式，為用戶提供類似于游戲的體驗，如掌控、自主、流暢或懸疑等感覺[19-20]，從而達到增強用戶參與某項活動或行為動機的目的。同樣的，在科研眾包平臺設計中加入游戲化元素，不僅可以將用戶參與眾包任務的動機由純粹的理性追求向自我內在驅動轉變[21]，還能夠讓用戶在認知、情感和社交上獲益[22]。如積分作為最明顯的游戲化元素之一，將其與其他元素巧妙結合，可以實現不同的游戲化目標，并在參與者之間形成群體競爭，提高用戶完成科學任務積極性[23]。有研究表明，若在任務初期告知用戶最終可獲得的游戲獎勵，將明顯提高用戶參與興趣，保障任務反饋的質量[24]。此外，排行榜元素的具體應用和故事敘述的表現手法等在眾包的展示中也存在積極影響[9]。

鑒于游戲化在用戶激勵方面的顯著效用，部分學者已經嘗試將游戲化設計納入公眾科學項目任務模式研究，如Bowser[25]發現游戲化能激發用戶的靈感， Prestopnik[8]認為游戲化設計將對接包方的認知心理和行為產生影響，使其獲得情感上的共鳴等。游戲化元素在公眾科學項目情境中的成功應用，令用戶能夠充分發揮主觀能動性，在享受游戲娛樂體驗的同時掌握相應科學技能，完成科研任務。此外，在科學研究中游戲化設計還能對任務完成前后的質量進行控制，讓公眾科學項目處于發包方的可控范圍，保障數據的順利獲取與回收分析[22]。

總體來看，雖然目前已有一些關于游戲化設計的論述和實證研究，但公眾科學項目游戲化設計尚未形成統一、體系化的理論研究成果，相關研究仍處于起步階段，對公眾參與、游戲化機制融入等方面也還未構建起標準的評價體系。因此，本文將借鑒已有評價指標體系，綜合考量公眾科學項目特征和情境，構建科研眾包視角下的公眾科學項目游戲化設計評價指標體系。

3? ?公眾科學項目游戲化設計評價指標體系構建

3.1? ? 公眾科學項目游戲化設計評價指標的確立

對游戲化應用項目中的游戲化設計進行評價，能夠為服務提供商提供游戲化設計標準，改善游戲的整體質量和用戶的使用體驗，為游戲化機制的健康持續發展提供支持。國內外現有游戲化設計評價研究普遍采取定性和定量相結合的方式，主要可以劃分為三類[26]：（1）側重評估游戲化設計的教學效果，突出游戲本身的教育意義;（2）側重軟件維度，評估軟件的可用性、易用性、交互性等方面;（3）側重簡化評價維度，從可用性、內容性、娛樂性和交互性等方面進行評價[27]。此外，在游戲評價研究中也積累了豐富的評價指標體系，如TEEM教師評價框架[28]、學習游戲評價設計標準[29]、E/E Grid評價體系[30]、嚴肅游戲評價體系[31]等。這些成熟且兼具影響力的游戲化設計評價指標體系，為游戲化設計的運用提供了判斷標準和設計準則。

3.1.1? 一級指標確定

公眾科學項目自身往往具有一定的專業門檻和跨時空特征，在項目中需要對參與用戶進行相應的基礎技能培訓和操作引導，同時公眾科學項目也擔負著向公眾普及科學知識、增強科學意識的教育任務。鑒于現有研究中鮮有與公眾科學項目游戲化設計相關的研究成果，而公眾科學項目游戲化設計和教育游戲均存在顯著的教育性與游戲化特征，因此對本文中公眾科學項目的游戲化設計評價指標體系構建而言，教育領域相關游戲化設計評價指標研究成果將具有較高的借鑒意義。本文對國內外教育游戲評價領域較為成熟的指標體系研究文獻進行了整理和歸納，能夠直觀的看出教育游戲評價指標體系的研究進展（見表1）。

由表中可以看出，首先，盡管現有教育游戲評價指標體系眾說紛紜，但需要包含教育性和游戲性兩個基礎維度已是學界共識。因此在公眾科學項目的游戲化設計中，除根據項目內容制定相應的教育目標外，設計者還應將游戲質感、反饋、激勵機制等影響用戶游戲交互體驗的因素納入考慮范疇，故將教育目標和游戲交互體驗作為本文評價體系的一級指標;其次，在上述評價指標體系中還可以發現游戲系統中的可用性、易用性、技術性等因素也是影響游戲化評分的關鍵因素。而在公眾科學項目游戲化設計中，由于項目自身的開放性、群體協作性，大量不同背景的用戶在系統內部進行檢索、傳播、聚合和評價等多種信息行為，對系統的穩定性、易用性等方面提出了更高的要求，因此選擇系統保障作為游戲化設計評價體系的一級指標。此外，不同于教育游戲更側重于游戲的教育目標，公眾科學項目普遍存在教育和科學雙重屬性。雖然科研眾包下的公眾科學項目打破了科學研究與公眾間的藩籬，讓公眾接觸、理解乃至參與科研成為可能，但科研任務的簡化并不意味著科學標準的降低或科學意識的淡薄，因此有必要將科學目標作為一級指標，以評價項目游戲化設計中內容的科學性。

綜上，本文選定教育目標、科學目標、游戲交互體驗、系統保障四個維度作為公眾科學項目游戲化設計評價體系的一級指標。

3.1.2? 二級指標確定

（1）教育目標。公眾科學項目自身便帶有顯著的教育特征，在項目的發起階段，需要對公眾開展培訓以確保所有參與者有能力完成相關科研任務;而在項目的推進過程中，科研任務內容和復雜度也可能發生迭代，公眾需要及時學習并掌握相關技能才能夠順利完成任務。為保證教學效果，在公眾科學項目游戲化設計中，首先需要確保游戲情境和背景應與項目內容、任務要求相匹配，使用戶在培訓中能夠明晰任務目標、意義及完成期限，掌握任務所需技能;其次，基于認知理論，用戶思維由認識理解向分析創造轉變的過程是循序漸進、逐漸深入的[35]，公眾科學項目游戲化設計需要擁有完整清晰、符合用戶認知規律的邏輯結構，游戲由易到難逐步提升，根據項目進展依次傳授相關知識技能;第三，為防止用戶在使用過程中出現操作或認知障礙，游戲中應提供詳細的注解和完備的操作指南;最后，參考其他教育性游戲評價體系[32]可以發現，游戲內容的實際價值也是教育效果評判的關鍵指標。

基于此，本文總結出教育目標維度的具體指標內容（見表2）。

（2）科學目標。與傳統科研項目相比，公眾科學項目中的科學傳播范式已經由原先的科學普及、公眾接收理解科學模式逐漸向公眾參與并設計科學的新模式演變。為確保項目內容、實施過程的科學嚴謹性，實現有效完成科研任務和提升公眾科學素養的雙重目標，有必要對公眾科學項目游戲化設計內容的科學性相關指標開展評估。

首先，在公眾科學項目開展過程中可能存在海量計算、大規模的樣本采集、多樣性分析等復雜的任務行為[3]，因此公眾科學項目游戲化設計需要嚴格遵循科學標準，才能夠保證最終結果的有效性;其次，游戲化設計內容還要能夠實現提升公眾科學素養的目標。關于科學素養評估，Miller[36]最早提出了科學素養三維模型，包括對科學知識和術語的理解、對科學研究方法和過程的理解以及科學與社會間的相關關系的理解三個方面。王素[37]則認為科學素養應包含四大核心要素：（1）對科學技術、術語、方法有一定認知;（2）理解科學、技術和社會三者間的關聯;（3）擁有科學精神，對科學保持一定的好奇和嚴謹的態度;（4）能夠利用科學技術進行創造或解決世界問題。2000年OECD發布的國際學生科學素養測試大綱（PISA）則更加側重評估在科學技術情境下，學生能否展現出與其掌握的科學知識相匹配的科學能力水平[38]。而一個具有科學素養的公民，應該理解科學，積極參與科學，對科學保持一定的好奇和嚴謹的態度，因此科學態度和科學意識也應該在評價指標體系中占有一席之地[39]。據此，本文選擇了知識性、方法性和參與創造性作為科學素養方面的評價指標。此外，作為一項跨越時空的大型科研任務，公眾科學項目需要參與者群體協作才能夠完成。因此在游戲中有必要設計交流與討論功能，有助于促進不同科研團隊在時間維度和空間維度的交流和創新，優化科研資源的配置[3]。

基于此，本文總結出科學目標維度的具體指標內容（見表3）。

（3）游戲交互體驗。游戲化是指在非游戲的情境中融入游戲化元素[40]，在游戲化設計中游戲元素的合理利用能夠增強用戶參與的動機，從而提高參與者的黏性和解決實際問題。Houtari[41]則更加強調游戲化設計為用戶帶來的游戲性體驗，他認為游戲化項目不僅僅體現在游戲化機制的植入，而是利用游戲般的體驗來強化服務和功能，最終創造更多的價值。拋開公眾科學項目游戲化設計的教育和科學外衣，游戲化設計的核心還應該是游戲，因此從用戶的游戲交互體驗角度對游戲化設計品質進行評價順理成章。

Chou[42]對用戶游戲行為進行長期觀察后總結出游戲化中影響用戶參與體驗的八大核心驅動力，具體包括：（1）重大使命感和召喚;（2）進度與成就感;（3）創造授權與反饋;（4）所有權與擁有感;（5）社交影響與同理心;（6）稀缺性與渴望;（7）未知性與好奇心;（8）虧損與逃避心。因此，在公眾科學項目游戲化設計中應囊括以下四點：（1）成就感。用戶能夠在游戲中實現自我價值，獲得成就感;（2）互動性。互動性既是公眾科學項目的顯性特征，也是科研任務完成的前提條件[3]，因此游戲中要能夠滿足用戶的社交性、社區歸屬感需求，用戶間可以互相交流、競爭或合作;（3）激勵機制。在游戲中設置獎懲激勵機制，研究表明經驗、勛章等游戲機制能夠顯著提升用戶的持續參與興趣[9];（4）娛樂性。作為游戲化基本特性之一，娛樂性是人們參與、沉浸在游戲中的重要因素。而在公眾科學項目游戲化設計中，應注意弱化科學研究在公眾心目中的嚴肅印象，增強游戲趣味性，滿足用戶的探索需求和娛樂需求。

此外，OBrien[43]在研究中還發現美學對用戶體驗存在正向激勵，因此強化公眾科學項目游戲的藝術感，能讓原本枯燥的任務變得更加形象生動[43]。而聽覺、視覺、觸覺多種感知的疊加組合，讓用戶能夠全身心投入游戲，實現flow狀態，滿足用戶的沉浸式體驗。最后，游戲化設計需要滿足用戶的自主和控制需求，在游戲中用戶能夠自主選擇游戲難度、時長或者對游戲中各類設置選項進行控制以滿足其個性化需求。

基于此，本文總結出游戲維度的具體指標內容（見表4）。

（4）系統保障。由于公眾科學項目大都依托技術平臺建立，因此用戶參與行為將無可避免地涉及大量信息技術的使用，信息技術接受模型嘗試從理性角度分析了技術的有用性、易用性、態度等因素對用戶行為意圖的影響[44]。在教育領域的游戲化實踐中，已經積累了大量游戲案例，這些游戲從本質上而言類似于軟件產品，而公眾科學項目中的眾包平臺作為在線應用本身也需要從技術維度進行分析。因此，本文將借鑒教育游戲評價中的系統和技術性相關指標完成系統維度的指標構建。

在系統維度評估中，可用性是最為重要的評價指標之一。可用性研究領域專家Nielsen[45]在研究中指出，可用性評價包含5個維度：可記憶性、可學習性、高效性、容錯性和滿意度。而在實際應用中，可用性因側重點不同又進一步分解為交互效率、用戶界面、軟件內容等二級指標。由此可見，倘若將公眾科學項目游戲視作一個完整的信息系統，其可用性設計狀況將對整個系統的交互效率、用戶滿意度等指標產生深遠影響。此外，在公眾科學項目中，不同背景的參與者在科研任務中可以扮演不同的角色，如數據采集者、匯報者、設備共享者等，用戶能夠在群體協作模式下完成研究設計、協作式信息分析、輔助式研究開發等工作[3]。因此，公眾科學項目游戲化系統需要具備一定的開放性，降低所有潛在參與者的進入門檻，同時該系統也需為用戶在線協作活動提供必要的技術支持。

因此，本文擬從可用性、易用性等角度構建公眾科學項目游戲化設計系統維度指標體系（見表5）。

3.1.3? 評價指標體系的最終確定

在分別完成教育目標、科學目標、游戲交互體驗和系統保障四個維度的評價指標體系構建后，筆者發現各維度指標間存在部分重合，故剔除不同維度內概念相近的二級指標，僅保留該指標在核心維度的表達，最終確定公眾科學項目游戲化設計評價指標體系包含四個維度（A-D）共計22項指標（見表6）。

3.2? ? 公眾科學項目游戲化設計評價指標權重的確定

通過文獻分析，本文完成了公眾科學項目游戲化設計相關評價指標體系構建，包含4個維度共計22項指標。為進一步確定不同指標間的重要性，本節將采用層次分析法，邀請專家評分并構建判斷矩陣，計算評價體系內各項指標權重。

公眾科學項目游戲化設計相關研究目前還處于起步階段，研究團體較為零散，且國內公眾科學項目尚未普及，參與者規模較小。為保證研究的科學性和嚴謹性，本文邀請公眾科學項目研究人員以及其他深入參與過游戲化和公眾科學項目設計的業界人員作為群體決策專家。本文共計發放調查問卷20份，回收問卷20份，有效問卷17份，無效問卷3份，問卷整體有效性為 85%。

3.2.1? 指標權重計算

收集所有專家數據后，對其進行平均值運算，將運算結果作為建立判斷矩陣的依據，確定指標的兩兩相對重要性，建立判斷矩陣并計算出權重（見表7）。

3.2.2? 一致性檢驗

當判斷矩陣的階數 n>2 時，往往難于構造出具有良好一致性的判斷矩陣，因此有必要進行一致性檢驗以判定由判斷矩陣計算出的權重是否合理。對于一致性的檢驗，首先引入各個斷矩陣的最大特征根λmax，再由CI=，求出CI的大小，最后引入指標RI值，通過查看相應階數的 RI 值來檢驗判斷矩陣的一致性。倘若判斷矩陣的階數小于3，則判斷矩陣具有較強的一致性;如果判斷矩陣的階數大于2， 判斷矩陣的一致性指標 CI 與相同階數的平均隨機一致性指標 RI（見表 8）的比值，稱為隨機一致性比率 CR，即CR=。

當 CR<0.1時，判斷矩陣通過一致性檢驗，此時判斷矩陣的滿意一致性較高。根據上述方法，可以計算出各判斷矩陣的一致性檢驗結果（見表9）。

從表中可以發現，各判斷矩陣的 CR 值均小于 0.1，所有矩陣均通過了一致性檢驗，具有滿意的一致性。

3.2.3? 指標權重分析

通過一致性檢驗后，本文將各級權重逐層相乘計算總權重，整合所有子層次指標權重計算結果，最終確定公眾科學項目游戲化設計評價各項指標的權重系數（見表10）。

由表10可以發現以下幾點：

（1）公眾科學項目游戲化設計評價指標體系的權重分布呈現兩極化，極差達到0.1459。其中，嚴謹性和科學意識權重均大于0.1，說明作為科學研究活動，科學性仍然是公眾科學項目游戲化設計中首要考慮的因素。此外，權重排序前3的嚴謹性、科學意識、內容價值性指標的權重系數明顯高于其他指標，這也與公眾科學項目的教育、科學雙重目標相吻合。

（2）雖然公眾科學項目游戲化設計需要強調游戲內容的科學性和教育性，但娛樂性指標與系統易用性指標分列四、五位同樣不可忽略。娛樂性指標靠前凸顯了用戶對有趣、愉快的游戲體驗的需求，而易用性則表明在公眾科學項目移植到游戲化情境中，系統技術層面用戶更看重的是否能更加便捷、有效地理解、執行任務。

（3）在權重前10的二級指標中，教育目標和科學目標分別有三項，游戲交互體驗和系統保障各自擁有兩項，這表明本文游戲化設計評價指標體系一級指標設置較為合理，能夠涵蓋多數重點細分指標。此外值得注意的是，雖然娛樂性、系統易用性、系統穩定性、激勵機制等指標受到了部分重視，游戲交互體驗和系統保障兩個維度下的二級指標權重整體排名仍相對靠后，說明在公眾科學項目游戲化設計中，游戲只是一種表征形式，是觸發用戶參與動機的輔助手段，尚未真正成為設計重點。