基于數字徽章的在線學習過程評價設計研究

楊志亞 方海光

【摘 要】數字徽章的出現為在線學習評價提供了一種新的面向學習者體驗的補充認證方式。基于國內外已有研究成果，本研究試圖將數字徽章應用于在線學習過程評價。首先說明了基于數字徽章的在線學習過程，接著設計了基于數字徽章的在線學習過程評價指標，進而構建了基于在線學習過程評價指標的數字徽章體系，最后設計了數字徽章在Moodle學習平臺中的應用案例。

【關鍵詞】數字徽章；在線學習；學習過程評價；設計

【中圖分類號】G434 【文獻標識碼】A

【論文編號】1671-7384（2016）06-0032-05

問題的提出

傳統的在線學習評價過于關注學習結果，或者補充關注單一層次的評價點上的線性匯總，具有一定的片面性，也缺乏一定的深度，更缺少對學習者的興趣和激勵的關注，很難構造以學習者為中心的個性化學習環境。在線學習提供了跨時空的、交互方便的、彈性學制的教育方式，已成為人們學習的重要途徑之一。目前對在線學習過程的認證評價已得到多方的重視，由于學習成果認證過于死板，導致學習效果并不理想。以MOOC為例，其課程具有低通過率和高輟學率。調查結果顯示：MOOC課程的平均完成率低于7%。在線學習能否減少學習者的中途輟學率，能否保證學習者開展有效的學習，關鍵取決于在線學習系統能否提供適當的、個別化的、有效的學習支持服務。游戲化作為一種激勵用戶參與網絡交互的手段越來越普遍。在教育領域，基于游戲的元素，數字徽章已經被提出并用于評估、識別和驗證知識結構，被認為是改善和構建在線學習協作社區的有效途徑。

傳統的小紅花、獎狀等是實體的徽章，用于課堂教學或課外活動，評估學習者在特定方面的表現。數字徽章是傳統實體徽章的數字化。數字徽章正逐漸引起關注，或將成為未來4～5年主流采用的重大技術之一。國外對數字徽章的研究涉及多學段（從小學、高中到大學）、多主題，主要的研究內容為數字徽章在開放式網絡系統中的應用。例如，Mozilla Open Badges 1.0版本的開發，為數字徽章的創建、發布、認證提供了一個規范的技術架構，大大提升了數字徽章的可信度和可用度。相關研究表明：對于正式學習或者非正式學習，數字徽章作為一種獎勵機制，能夠激發學習者動機；數字徽章作為一種評價手段，可以預測學習者的未來成就。國內學者對數字徽章的相關標準規范進行了解讀，闡述了數字徽章的使用流程，并在網絡學習平臺中進行了應用。本研究討論的在線學習是指學習者在特定時間內，通過特定的網絡學習平臺，在助學教師指導下有組織、有明確學習目標的正式學習行為。數字徽章用于在線學習過程，用來激發學習者動機，評價學習者的學習成果，并預測學習者的未來成就。

基于數字徽章的在線學習過程評價

學習過程是獲得知識、技能和態度的過程，數字徽章作為一種評估手段，用于跟蹤、捕捉及展示學習過程。互聯網大數據時代，學生的很多學習行為都發生在網絡環境中，通常在學生察覺或者不察覺、主動或者被動的情況下被記錄在學習平臺或系統中。在線學習平臺或在線學習APP等系統中存儲著大量的學生活動和交互的日志數據，例如，登錄或退出平臺、閱讀、下載或上傳學習材料、參與測試、添加評論等。

（一）基于數字徽章的在線學習過程

基于數字徽章的在線學習過程是：第一步，學習者開始在線學習；第二步，在線學習平臺記錄一系列的學習行為數據；第三步，在線學習平臺處理記錄的學習行為數據，形成分析結果；第四步，將分析結果與在線學習過程評價指標進行比對，形成評價結果；第五步，根據評價結果頒發數字徽章給學習者；第六步，學習者向平臺發布展示請求，進行數字徽章展示；第七步，學習成果預測。一方面，在線學習平臺將數字徽章同步給教師，由教師進行預測；另一方面，由平臺的預測模塊（平臺中有此模塊）根據學習者展示的徽章進行預測，并將預測結果反饋給教師。

（二）在線學習過程評價維度

本研究結合在線學習的特點，從在線學習行為交互出發，通過分析技術從數據中獲取支持，在線學習過程評價包含四個維度，分別是：學習者與平臺的交互、學習者與教師的交互、學習者與學習者的交互、學習者與學習內容的交互。

1. 學習者與平臺的交互

通過對學習者的登錄時間以及退出時間進行數據分析，可以容易地判斷出學習者的在線學習時長，類似的學習頻率、鼠標點擊的頻率、眼睛移動的范圍也可以通過分析得出。這些數據都表征了學習者注意力的分配特點，對于捕獲學習者對學習資源、平臺使用等方面的偏好，都有一定的幫助作用。在傳統的課堂中，教師可以引導性地提升學習者的注意力，在虛擬的網絡教學環境中，教師可以根據網絡行為檢測數據來調整學習活動。學習注意力分配的特點，對于促進學習者的有效學習具有一定的意義。國內外相關研究表明，在網絡學習中引入數字徽章，能從一定程度上吸引學習者的注意力。

2. 學習者與教師交互

在網絡教學中，教師與學習者的交互主要表現為向教師發起提問，相對應的屬性有次數和內容。通過發起提問，一方面教師可以了解到學習者的疑難點；另一方面也可以了解學習者的學習態度。在傳統課堂中，教師會采取發起提問的機制作為獎勵。在線學習課程中也有必要對于積極的學習者進行獎勵，實時地以徽章的形式進行展示。

3. 學習者與學習者交互

虛擬的在線學習環境下，人與人之間的交流需要借助第三方的平臺。例如，贊同某學習者的觀點，可以在平臺中點贊。當學習者向教師發起提問時，其他學習者也可以深入思考，回復提問內容。通過回復提問的次數、質量、及時性等可以對活躍的學習者以及對課程學習做出貢獻的學習者給予一定的獎勵。

4. 學習者與學習內容交互

學習者與學習內容的交互是在線學習過程評價的重要指標。在線學習平臺可以監測學習者與學習內容相關的一系列行為，如學習者關心的主題、測試的完成時間、測試成績等。通過不間斷地捕捉、處理和報告學習數據，來實現數據的及時利用。

在線學習過程評價指標及其權重設計

上文中提及的四個維度從不同的角度來評價學習，因此學習者與平臺的交互、學習者與教師的交互、學習者與學習者的交互、學習者與學習內容的交互可以作為在線學習過程評價的四個一級指標，分別用T1、T2、T3、T4來表示。將一級指標進行分解，分別得到4個、2個、7個、11個二級指標，如表1所示。由于學習內容、學習對象的不確定性，本研究未對每一項二級指標設定評測標準。

1. 層次分析法

層次分析法是20世紀70年代初期美國運籌學家薩蒂提出的多目標決策方法，特別適用于難以完全定量分析的問題。其操作步驟如下：第一步，采用斯塔相對重要性等級表（同等重要——1，稍微重要——3，明顯重要——5，強烈重要——7，極端重要——9，兩個相鄰程度中間值——2，4，6，8），對指標進行兩兩比較，形成判斷矩陣；第二步，根據判斷矩陣，通過方根法計算各指標的權重值；第三步，對判斷矩陣進行一致性檢驗。

2. 基于在線學習過程一級評價指標的權重計算

本研究借助 “層次分析法模板-方根法” Excel程序，以一級指標為例，來評定各指標權重，其結果如表2所示。其中T1、T2、T3、T4的權重分別是0.07、0.15、0.19、0.59，CR=0.08<0.1，權重設置基本合理。本研究旨在介紹一種方法，實際上在一門在線學習課程中各指標權重的計算，需要由學科專家、在線學習專家等共同操作進行完成，可參照層次分析法來計算。

基于在線學習過程評價指標的數字徽章體系

深入挖掘評價指標，分析學習過程相關數據，能反映出學習者在過程中的一系列狀態。如學習注意力、學習態度、學習活躍度、學習貢獻度、學習興趣、學習能力。結合表1，從學習者各方面的表現出發，可以架構出如圖1所示的在線學習課程的數字徽章體系。

本研究將在線學習課程徽章分為A、B、C、D、E、F六類數字徽章。其中A類數字徽章代表學習注意力，由在線學習時長、鼠標點擊頻率、眼睛移動范圍3個指標進行表征；B類數字徽章代表學習態度，由向教師發起提問次數、在線學習頻率表征； C類數字徽章代表學習活躍度，由活躍學習者列表、回復提問（評論）次數、回復提問（評論）及時性表征；D類數字徽章代表學習貢獻度，由回復提問（評論）質量、上傳學習資料的頻率及質量表征；E類數字徽章代表學習興趣，由發起提問的內容和關注主題表征；F類數字徽章代表學習能力，由閱讀時長、作業成績、測試成績等8項指標表征。課程中利用數字徽章進行及時評價，可以給學習者和教師帶來一定的幫助。一方面，將可視化的數字徽章頒發給學習者，使學習者成為利用數據發展自我的主動學習者；另一方面，將可視化的數字徽章同步給教師，幫助教師預測學習者的學習成果。

應用案例

初中信息學奧賽作為信息技術的選修課程，旨在為具有學科特長和創新潛質的優秀學生提供幫助。由于程序設計類課程對學習者的計算思維要求較高，所以在課程實施過程中，其學習者通常是那些數學基礎好的學生。該課程的兩大核心分別是語法和算法，對于學習者而言，掌握語法不是難點，難點在于計算思維算法的構建。在傳統的課程上，盡管學生人數相對較少，但由于思維的跳躍性，教師很難完整捕捉到學習者的學習情況。所以此課程有必要借助于在線學習，來完整監測基于學習成果的過程。本研究以“初中信息學奧賽”課程為例，在Moodle平臺中創建了此課程。本課程歷時10周，以周為單位利用數字徽章來對學習者的在線學習過程進行評價。

結合基于在線學習課程的數字徽章體系，本課程創建了六大類徽章，用于多維度評價學習者的學習過程，如圖2所示。徽章創建完成后，要進行管理。每一類徽章對應的有：勛章狀態、授勛規則、獲得人和一系列動作。當學習者達到某徽章的標準時，在勛章被啟用后就會立即得到它；反之，徽章被鎖定時，即使達到標準也不可以頒發。如果課程啟用進度跟蹤，數字徽章的頒發規則可以選擇“完成活動”或 “完成課程”；反之，由角色（管理員、教師、無編輯權教師）手工授予。

在頒發徽章時要明確三點：（1）頒發哪一類徽章；（2）徽章頒發者；（3）徽章頒發對象。徽章頒發完成后，學習者可以進行展示。在該課程學習平臺可以展示兩類徽章，一類是站點徽章（可設置自動在個人資料展示榮獲的徽章），另一類是外部徽章（需要連接到徽章背包進行展示）。學習者可以下載徽章圖片，也可以分享徽章到外部網站。如果在學習過程中，學習者學習順利，六大維度評價都合格，那么每一周學習者會獲得6枚數字徽章，課程結束會獲得60枚徽章。每一枚徽章，對應有四類信息（獲得者詳情、授勛機構詳情、勛章詳情、有效期）。如果學習者在本周學習活動中，沒有獲取全部徽章，無論對于學習者還是教師，都是一個及時反饋。教師會根據可視化的徽章來給予學習者及時的指導；學習者會利用可視化的徽章來主動參與下一周的學習。

總結與展望

數字徽章是基于學生的學習成果對所學技能進行評估的手段，用于跟蹤、捕捉及展示學習過程，以它特有的電子形式，比傳統實體版本的徽章更易于保存和免于維護，成為一種新型的評估認證手段。本研究簡要探討了基于數字徽章的在線學習過程評價設計，從指標、徽章體系到案例，希望對后續研究者有所幫助。

基金項目：北京市教育科學“十二五”規劃重點課題 （ABA15008）