基于學習分析視角的教育游戲評價方法研究

穆曉靜，張文青

（陜西師范大學教育學院，陜西西安710062）

基于學習分析視角的教育游戲評價方法研究

穆曉靜，張文青

（陜西師范大學教育學院，陜西西安710062）

在所有學習經驗中對學習內容、學習過程和學習收獲的評價是必要的。新的技術促進了新的內容類型的使用，如教育游戲。與傳統活動相比它們有很強的交互性而且對所有形式的評估來說它們都是強有力的數據資源。本文討論了以評價為目的運用學習分析技術研究學生與游戲進行交互的方式，并提出了一些評價的方法，希望對后續研究有借鑒意義。

學習分析；教育游戲；教育評價

一、引言

所有知識領域的教師都在逐漸使用新技術去提高他們的教學實踐。其中，他們開始使用基于游戲的學習活動區來探索新的方式去教育他們的學生。有研究指出，電子游戲的高交互性、契約和挑戰性的特征會影響學習過程，增加學生的動機和學業績效。然而，評估在教育環境中是處于中心地位的，教學設計者必須保證他們方法的正確性，因此教師需要追蹤學生的進度，測量學生知識和技巧的獲得，這樣就需要使用測試的方法。在游戲中學生以一種確定的速度不斷地解決問題，這種速度的設計是為了使游戲有挑戰性而且不讓人失望，但任何形式的測試或者問卷都被認為是沉浸氣氛的一種破壞和中斷。[1]在游戲中追蹤學生的交互和提取過程的總結將是一種很好的學習評估方法。但這樣做，教師就需要工具去分析來自游戲的數據。學習分析技術就能作用在學生與游戲交互的數據搜集的可視化上。

二、學習分析技術和教育游戲評價

學習分析是近年來教育技術領域內迅速發展的新熱點，它是運用先進的分析方法和工具預測學習結果、診斷學習中發生的問題、優化學習效果的一類教學技術的集合。雖然傳統教學過程中為了提高教學質量也評估學生成績、分析教學過程，但這些活動中采集的數據往往非常有限，而且分析結果用于干預教學的周期過長，效果較差。隨著教學資源越來越網絡化，以及基于網絡的學習方式的普及，我們能夠獲取的學習行為和學習結果數據也更加豐富。這就為學習分析技術的產生和應用奠定了物質基礎，并提出了迫切的需求，使之進入人們的視野并迅速發展。[2]

教育游戲是教育和游戲有效整合的合成物，其目的是促進學生更有效地學習。從廣義上來看，教育游戲“是一種競爭性的練習，其目標是獲得勝利，同時選手必須運用學科知識或其它有用的知識促進練習并獲得勝利”。從狹義上看，教育游戲是“能夠培養游戲使用者的知識、技能、智力、情感、態度、價值觀，并具有一定教育意義的計算機游戲類軟件。[3]

既然教育游戲對學習的促進作用如此大，那么我們如何知道學習者在游戲后是否有進步呢？這就需要相應評價方法的使用。游戲開發商為了更好地了解用戶怎樣玩游戲、發現錯誤和提高玩游戲的體驗，就會使用一系列的分析技術。而且現有的游戲分析技術的設計經常是只限游戲的，不會包括教育環境中特殊的要求。這時，我們就可以使用學習分析技術來對教育游戲中學生產生的數據進行分析，并且在一個游戲會話中交互是非常強烈的，所以應用學習分析技術的潛在的可用數據會很大，但這個方法最大障礙中的一個就是游戲多變的種類，流派和類型。這就很難為教育游戲創造一種綜合性的可以被廣泛應用的學習分析模型。為了維持管理成本，本文提議一種兩步式的方法去應用學習分析：首先定義一種簡單的通用的可以運用于任何種類游戲的痕跡和報告，然后通過結合一般痕跡和特殊的痕跡來構建更高水平的評估規則，而不需要為每一個游戲完全重新設計評估系統。

三、運用學習分析技術進行評價的方法

運用學習分析技術對教育游戲的評價過程如下：先是為了促進評估而記錄的痕跡的類型和從這些痕跡中得到的信息。然后為了達到更詳細的對結論的推斷，教師需要定義特殊的評估規則。

在嚴肅游戲中運用學習分析技術會有重大的技術挑戰。教育游戲的種類包括廣泛的游戲派別和類型，需要個別對待。然而，在所有電子游戲中游戲者與游戲的交互都是有意義的。[4]這些交互描繪了發生在游戲中的每一件事，可以被用于評價。在下面的段落中我們呈現了一系列有意義的交互，稱作痕跡，它可以捕捉所有游戲中出現的相同事件。

（1）開始游戲，結束游戲，退出游戲

第一步評估教育游戲的一般活動和每個特殊的學生，就是去鑒定學生事實上玩了游戲而且是否自己完成，這是特別重要的，為此我們提出三種類型的痕跡：

游戲開始：這個痕跡是當學生開始玩游戲時產生的。我們用這個痕跡去識別用戶通過跟蹤系統中的驗證信息（用戶名和密碼）。如果學生多次玩游戲，跟蹤系統每次都為玩家產生一個記錄。這個痕跡包括基本的信息（最初的時間戳），還包括完成部分的數據，如游戲運行的操作系統、瀏覽器的技術數據等。

游戲結束：這個痕跡是當學生完成了游戲時產生的。這個痕跡包含達到的最終點的附加信息。（如果游戲有多個結局）

游戲退出：這個痕跡是學生退出游戲時產生的。這個痕跡可以包含一些可以識別學生退出游戲的點（階段或水平，游戲聲明的一部分）和完成狀態的環境。由于技術的限制，有時游戲并不能產生這些痕跡。（如果游戲在一個瀏覽器運行而且用戶關閉了窗口，游戲就不能發送“退出游戲”的信號給服務器）為了處理這個問題（至少部分地）另一種包含環境信息的痕跡在一個固定頻率的基礎上發布（每60s），最后收到的痕跡可以被認為是游戲退出的痕跡。

（2）游戲階段的改變

大部分電子游戲都以章節、任務或者階段的形式構造故事。每個階段都和下一個或游戲的中間目標有聯系。如果可能的話，使用時間標記記錄的學生在開始和結束每一個階段的痕跡都會提供相關數據。[5]我們獲得了關于學生在游戲中怎樣分配游戲時間的更詳細的信息。此外，如果階段探索的序列不是線性的，教師還可以搜集觀察到游戲的每一部分怎樣被訪問。

花費在每一階段的時間可以用來鑒定游戲中消耗大量時間的部分，而且如果結果是意料之外的時候還可以校正游戲設計（如重調難度、適應內容等）。我們提出兩種類型的痕跡來記錄這些階段怎樣被探索。

階段開始：這個痕跡是當階段開始時產生的。這個痕跡包含識別這個階段的一個ID。

階段結束：這個痕跡是當玩家結束一個階段時產生的。這個痕跡包含關于完成狀況的額外信息，比如成功或失敗。

（3）游戲中重要的變量

所有的游戲都使用變量去保持一些游戲的狀態。[6]通過追蹤這些變量，每個學生的游戲玩法都能重現。一個游戲可以包括數以千記的變量，但是只有少數在評估用途上是真正重要的。這些變量包含游戲的分數和完成游戲的機會等。一個產生的痕跡可以反映這些重要變量的最終價值，或者如果需要，還能反映他們的價值什么時候改變。隨著時間的流逝，變量的更新就代表了玩家的進步。通過監視，一系列相關變量隨著時間演變，我們可以觀察到玩家經歷的中間狀態。這個類型的痕跡可以扮演一種通配符去記錄各種類型的痕跡，幾乎游戲中發生的每一件事在一個變量程度上都能被識別。

（4）交互痕跡

先前在游戲情境中跟蹤的痕跡包含的數據與游戲邏輯相關，而且他們是游戲的引擎無意間產生的。但是當學生玩的時候，產生的大量數據是從他們與控制游戲的輸入設備（比如鼠標、鍵盤、控制器、操縱桿等）的直接交互中派生出的。

理想上，跟蹤者應該能搜集到每一次玩家的點擊，按鍵或者按鈕，并傳輸給后臺為了隨后的處理存儲起來。把所有的痕跡分組，甚至能重現整個游戲會話。

然而，為每一次交互存儲痕跡將消耗一定的資源，要求有效的頻寬和存儲的空間。大部分情況下，跟蹤痕跡的數量可以被減少到小部分的交互，而且它有足夠的力量去供給學習分析系統。因此，我們明確考慮了過濾的可能性，在給數據庫提交數據之前，不管是在客戶端還是服務器端，都要對數據有一定選擇。

無論如何，所有的輸入痕跡都應該包含產生它的設備（鍵盤、鼠標、控制器、操縱桿）、執行的活動（按按鈕、移動、點擊）、輸入的相關數據（按鍵代買、鼠標位置、控制器按鈕等）信息。

第一個問題就是怎樣把簡單的游戲和用戶交互的數據轉化成與教師相關并有用的評估信息。在這些痕跡上運用一般的網絡分析技術、分析工具可以產生出一般的包含游戲不可知信息的報告。例如：使用游戲痕跡可以知道有多少學生玩了游戲、多少人完成了、多少人在完成前退出。所有痕跡都包含一個時間戳，我們可以更好地計算一組學生中平均和最壞的完成時間。在退出游戲痕跡的情境中，我們可以識別用戶在哪一點停止了游戲。這個信息可以幫助推斷他們停止游戲的原因。當學生在同一點周期性地退出游戲，教師就可以指出一個游戲設計的問題或者一個技術錯誤，還可以找出一種教育內容上的缺陷或者是不能平衡的困難。

運用階段痕跡可以形成可視化的報告 （使用圖表）表現玩家是怎樣進入游戲結構的 （表現在一個有向圖中），使用時間戳顯示在所有階段花費的時間是怎樣分布的。這些報告也允許通過顯示過度消耗時間的階段來識別游戲設計的缺陷，或者對學生來說是困難的教育專題。如果玩家可以自由探索階段，也能形成所有階段的完成狀況的報告。

使用有意義變量的痕跡，我們可以為一些有趣的變量列出最后的價值。例如：如果游戲有分數的變量，或者一個追蹤第二目標的最后狀態的變量，每一個玩家的最終價值都將被展現出來。

使用輸入痕跡，我們可以部分地（或完整地、依靠輸入記錄的數量）重現游戲會話。轉而，結合這些痕跡和被階段痕跡記錄的信息，可以產生每一階段交互如何分布的報告。更具體地說，可以探究每個場景中熱圖的產生：它是通過聚集每一次鼠標點擊的坐標獲得的，然后在場景背景的上面把它們的位置可視化，這就允許識別屏幕上收到更多用戶注意的那些點。然而，盡管這些信息提供了對學生和游戲怎樣交互的理解，還提供一些相關的反饋，但它并不足以支持一個完整的評估過程，需要更特殊的報告來獲得對學生怎樣與材料進行交互和學習的理解。

前面的部分是受傳統網絡分析報告的啟發而描述了基本的基于簡單分析的報告方法。那些報告在所有的游戲中可以不用特別努力就自動產生。然而，教育評估是特別基于學生在確定的領域達到的目標。當某些條件達到了，一個目標就被認為實現了，而且這些條件大多依賴于每一個特定的游戲。然而，設計和搜集每一個游戲的特殊信息痕跡是不合適的，因為結果通常會很貴。

總之，追蹤簡單的數據是不夠的，而且追蹤增加的數據是依賴游戲的，因此代價更高一些。所以，我們提倡在先前描述的一般信息痕跡之上構建游戲特定的評估規則。我們的評估規則是以這個觀點為基礎的，作為一個起點，運用一系列“通用”的痕跡，我們定義了下列條件的類型：

時間：因為所有的痕跡都包含一個時間戳，可以為每一個階段或整個游戲設定最高時間閾限，并且通過比較實際完成時間和閾限自動為學生打分；還可以為游戲設置最小的閾限，游戲有一些重復的動作會使學生忙一陣子，閾限的分數將使學生提高其極限。例如，要完成游戲時間必須少于10分鐘；要完成“第二階段”必須少于30秒。

變量X的最終價值比Y的高或者低：環境在游戲的結尾檢查了一些變量的價值。X可以通過操作兩個或更多的變量被獲得，Y可以是可配置的值或者其他的變量。例如，“死亡次數”的值必須少于5次；變量“分數”必須大于1000；變量“目標1完成”必須是真的。

呈現的痕跡：一個特殊的痕跡生成于玩游戲的過程中，例如，“游戲結束”。

小組結果：教師可以為每個游戲定義最小成功率和程序預警，當最低成功率沒有達到時，他們也能為游戲界定學生假設的數量，且當完成任務的截止期限臨近時，如果這些數量沒有滿足，會被警告。通過分析小組結果，教師也能對評價系統進行測量。例如，如果獲得好成績的學生的數量非常少，時間閾限就可以放寬，并且自動獲得新的評估報告。

更復雜的條件可以通過結合這些邏輯運算符 “或、與、非”被定義。顯然這些報告規則不能被一般地制定：特殊的位置（A，B），或者價值（X，Y）都緊緊依賴于每個特殊的游戲。此外，為了匹配游戲的教育目標它們都必須仔細地被調整。然而，這些評估規則的信息源就是被一系列通用痕跡所廣泛覆蓋的事件，因此創造可以用于不同游戲的規則是可能的，并且只需要一點點的調整。

結合這些簡單的規則，可以定義復雜的目標去規定反映學生獲得了期望的教育目標的情況。教育目標可以是個人的，也可以是為小組設置的。

四、案例研究

文章《Application of Learning Analytics in educational videogames》中Lost in Space〈XML〉的案例很好地說明了兩步法的應用過程。

Lost in Space〈XML〉是一款為了學習基礎的XML可擴展標識語言和DTD文件類型的智力游戲，游戲分為難度遞增的幾個階段。在每一階段，學生必須在一個網格板上引導一架宇宙飛船從一個起點飛到一個蟲洞。他們必須碼出真實的XML代碼片段，然后才能發送到一個把代碼翻譯成游戲操作的解釋器來引導飛船。一些XML交互包括推進一個空間、旋轉、等待幾秒鐘或者射擊。[1]

當學生寫真實的XML文件時，我們想讓他們頻繁運用最近學到的知識，而且這些是評估數據的主要來源。我們設計這個案例來探索實時的可視化數據并生成復雜的分數，我們設置了三種評估的條件：

分數目標：集中于基于有意義變量的一般痕跡。特別是在可變分數上的變更的游戲報告，如果獲得了大于1000的值（最大分數3000），評估條件就被認為是成功的。

有效的XML文件：每一個會話游戲還暴露了一個使用正確的百分比XML片段的變量。如果正確XML片段的百分比最后高于75%這個評估規則就會被激活。

完成時間：這個規則用于測量完成整個游戲的時間，從第一階段開始到最后階段結束，結果應該少于30分鐘。

結合這些痕跡，教師就能很容易去閱讀報告并很快地驗證個人在游戲中的進步。

此外，為了測試這些痕跡怎樣實時地用于評估每一個學生的進步，測試的一個實時可視化工具還要報告當下的分數和每個學生成功完成的最新級別。

我們用來自網絡程序設計課程的37個學生測試了游戲，他們在教師看守下在一個電腦實驗室玩這個游戲，教師通過報告屏幕幫助并留意進步。

這個會話是一個對方法可用性和報告工具有效性的開放的測試，因為這個原因它并沒有像真正評估一樣有組織。然而94%的學生成功完成了游戲（只有兩個沒完成），81%的學生的分數超過了1000分。但是，只有24%的學生在30分鐘內完成了游戲。

然而，會話真正的目的不是獲得學生的評估，而是在真實的環境中嘗試這個評估方法。在這個意義上來說結果是有趣的，證明實時的可視化對教師的現場管理是一個很有價值的工具。

通過這個研究案例，我們測試了創造更復雜的評估工具的可能性。關于對學習的評估，我們已經建立了不同的可以運用一般痕跡作為數據資源的評估條件和目標。這個結果成功允許教師得到關于每個學生在游戲會話中怎樣表現的基本的反饋。然而，需要注意的是這些分數是試探性的，他們并沒有考慮到計算學生的官方成績。實時的跟蹤屏幕對教師是有用的，顯示學生的進步和識別那些有問題的學生，補救行動能接近學生和解釋為什么他們不能成功制定正確的解決方法。

五、總結和展望

本文中我們提出一種兩步法來應用學習分析技術支持教育游戲的評估。我們嘗試處理的主要問題是，當學習分析技術看起來有前途時，特別是在游戲中，它們應用于嚴肅游戲中是很難推廣的，規模是昂貴的而且很難組織。[7]當特有的學習分析方法集中于測量與網絡服務器（在完善的協議中運行）的交互時，游戲分析需要更復雜的過程去收集和分析信息，可能會導致很好的結果，但也會伴隨著高的復雜性和代價。

兩步法的具體內容是：第一層提出適用于大多數嚴肅游戲的對一般痕跡的簡單設置。繼而，一個附加的用來生成更詳盡報告的通過利用這些一般痕跡去洞察學生是怎樣玩耍和學習的評估層產生了。這些報告有三種用途：第一，對痕跡的研究允許開發者去平衡游戲的設計，在游戲中準確找出值得作者緊密關注的缺點；第二，設置評估條件和規則允許對成功指標的定義，最終可以被用做一個評分機制；最后，實時可視化的規定幫助教師洞察每個學生進步的過程，并提供一個干預的機會。

[1]ángel Serrano-Laguna,Javier Torrente,Pablo Moreno-Ger,Baltasar Fernández-Manjón:Application of Learning Analytics in educational videogames[J].Entertainment Computing(2014).

[2]李青,王濤.學習分析技術研究與應用現狀述評[J].中國電化教育,2012(8):129-133.

[3]張明娟.教育游戲在小學英語教學中的應用模式研究[D].曲阜師范大學,2009.

[4]ángel Serrano-Lagunaa,Javier Torrentea,Pablo Moreno-Gera,Baltasar Fernández-Manjóna:Tracing a little for big Improvements:Application of Learning Analytics and Videogames for Student Assessment[J].Procedia Computer Science 15(2012)203-209.

[5]I.Garcia,A.Duran,M.Castro,Comparing the effectiveness of evaluatingpractical capabilities through handson on-line exercises versus conventionalmethods,in:2008 38th Annual Frontiers in Education Conference,2008,pp. F4H-18-F4H-22.

[6]P.Moreno-Ger,J.Torrente,Y.G.Hsieh,W.T. Lester,Usability testing for serious games:making informed design decisions with user data,Adv.Human Comput.Interact.2012(2012)1-13(article ID 369637).

[7]K.Hullett,N.Nagappan,E.Schuh,J.Hopson,Data analytics for game development,in:Proceeding of the 33rd International Conference on Software Engineering-ICSE, 2011,p.940.

（編輯:王天鵬）

G40-058.1

：A

：1673-8454（2015）09-0014-04