在線協作學習交互效果評價方法的實證研究*
——基于信息流的分析視角

于俊輝 鄭蘭琴

（北京師范大學 教育學部教育技術學院，北京100875）

在線協作學習交互效果評價方法的實證研究*
——基于信息流的分析視角

于俊輝 鄭蘭琴【通訊作者】

（北京師范大學 教育學部教育技術學院，北京100875）

協作學習的評價是計算機支持的協作學習領域的重要內容。文章把協作學習交互效果界定為小組共同的知識建構水平，運用基于信息流的協作學習評價方法對在線協作學習的交互效果進行評價，而定義總激活量、聚焦程度、深度三個指標可評價協作學習的交互效果。研究結果表明：三個指標均能有效反映協作學習的交互效果，說明基于信息流的協作學習評價方法適用于在線協作學習的評價。

協作學習；評價方法；信息流

引言

在協作學習中，交互是激發和產生共同知識的基本活動單元[1]。在交互中，學習者通過建立積極互動的正依賴關系來獲得良好的協作學習效果[2]。研究表明，對協作學習評價反饋可以有效地激勵學習者的參與積極性，提升學習者的個體責任感，增強學習者之間的正依賴關系，從而提高協作學習的交互效果[3]。Strijbos[4]指出，對協作學習的評價，學習過程的質量與學習結果同等重要。然而，目前大部分對協作學習的評價只關注學習結果，而忽視交互過程在協作學習中發揮的作用。形成性評價注重評價協作學習交互過程中的要素，通過內容分析，可以對學習者的認知、社交、動機進行全方位評價，因此其在協作學習評價領域得到越來越多的應用。目前相關協作學習過程的評價存在難以實現評價自動化、評價指標定義寬泛、評價指標繁雜、評價指標信效度低等問題。針對這些問題，本文著眼于協作學習的交互過程，在形成性評價的基礎上運用基于信息流的協作學習評價方法對在線協作學習開展評價。基于信息流的協作學習評價方法通過定義清晰的評價指標對特定領域知識實現半自動評價，通過計算小組知識激活總量來反映小組協同知識建構水平，進而評價協作學習的交互效果。基于信息流的協作學習評價方法適用于面對面的協作學習情境[5]，由于面對面與在線兩種協作學習情境下信息流輸出具有差異性，所以本文需進一步論證這種方法在在線協作學習情境中的有效性。

一文獻綜述

1 常見的協作學習評價方法

常用的協作學習評價方法可應用于不同的評價時機，具體如表1所示。其中，在協作學習過程中評價可以為學習者提供有效反饋，激發和維持他們協作學習的動機，提高學習效果[6]。但這個過程需借助有力的工具支持，提取、分析相應的過程數據，然后可視化反饋結果，使指導者輕松、及時地了解學習者的學習狀態，然后決定是否對協作學習進行干預；同時，借助反饋信息也可以提高學習者的覺知、反思和意義建構，從而幫助他們達到既定的學習目標[7][8]。在協作學習過程中及時開展評價是協作學習評價的發展趨勢，然而其對工具的開發有較高的要求，因此現階段的研究主要針對協作學習的過程數據獲取適當的評價指標。

表1 不同協作學習評價方法應用時機

2 形成性評價指標研究

形成性評價需借助協作學習的過程性數據，那么協作學習過程中要評價什么？協作學習過程中有哪些指標適合用來評價協作學習？這是形成性評價應用于協作學習中必然要考慮的問題。

我們從評價指標、指標類型、指標計算方法對不同研究者的研究進行分析，發現研究者評價指標的確定主要集中在認知結果的評價、社會交互的評價、參與動機的評價等方面，從而細化出特定維度或指標來衡量和考察協作學習過程。研究者提出的評價指標具有一定的個性，適用于特定情境，這使得評價方法的可移植性較差；同時，研究者定義的評價指標含義寬泛，新情境中的應用需重新對指標定義；再者，研究者缺乏對指標的信度效度檢驗，或者實證檢驗指標信度效度不高；最后，大部分研究提出的是評價模型，對指標的計算未能實現自動化，指標的量化也是依靠經驗，因此評價指標缺乏客觀性。針對以上問題，本文從群體知識建構的角度出發，通過信息流的分析方法，對在線協作學習的過程數據進行分析，確定評價指標，對協作學習效果展開評價，同時為了評價是否具有應用價值，我們對評價指標的信度進行實證檢驗。

二研究設計

1 研究問題

在在線協作學習情境下，從信息流的分析視角如何評價在線協作學習的交互效果？

2 研究假設

本研究假設以下三個指標可以有效評價在線協作學習的交互效果：

（1）總激活量

總激活量是一種反映協作學習中知識點社會性建構水平的抽象屬性。某個知識點被激活的次數越多，它的學習效果就越好。目標知識點的總激活量計算方法如公式1所示。

（2）聚焦程度

聚焦就是隨著時間持續激活某個知識點而產生的激活量越來越高的過程。交互過程中會呈現全局聚焦點和局部聚焦點。局部聚焦程度用激活量的平均增量和持續時間的乘積衡量，計算方法如公式2所示。

在公式2中，當Ci>1時，該知識點才為該時段的局部聚焦點；如果Ci<1，則該知識點并不是局部聚焦點。而全局聚焦程度的計算方法如公式3所示。

（3）深度

深度反映學習者與新舊知識發生聯系進而對知識進行細化的程度，可以用帶權路徑長度反應協作學習的深度。激活生成樹的帶權路徑長度定義為樹中所有目標知識點的權（Wi）與深度（Li）的乘積之和。深度的計算方式如公式4所示。

3 研究方法

本研究采用實證研究的范式進行，通過設計實驗任務，招募被試對象開展在線協作學習，然后收集協作學習過程數據，進行數據分析。任務設計以“教育心理學”課程中的問題解決和自我調節學習的相關知識為目標。招募被試的對象是研究者所在大學的研究生和本科生，要求學習過“教育心理學”課程。實驗4人一組，在實驗中每人一臺電腦，借MSN討論組在線開展協作學習，所有的被試均在實驗室環境下進行協作學習，彼此所處空間不同，不能進行面對面交流。在被試對象進行協作學習過程中，軟件會自動保存聊天記錄。實驗進行前后測檢驗，前后測試卷在專家評分后進行統計，其目的是用傳統的方法評價獲取協作學習的交互效果。本研究共招募被試158人，分成40組，每組3~4人。最終收集32組以問題解決設計任務的數據和8組以自我調節學習設計任務數據，因此，本研究的樣本數據是40組協作學習記錄和40組前后測成績。本研究的研究樣本是信息流所映射的帶激活量的知識網絡圖。

4 數據分析方法

基于信息流的交互分析方法，對收集的聊天記錄進行內容分析的具體步驟如下：

（1）繪制目標知識初始圖，如圖1所示。目標知識初始圖的繪制要依據協作學習的內容，參考教科書，按照繪制規范進行繪制。同時，在信息流切分的時候，因協作學習超出既定知識范圍的內容要隨時調整目標知識初始圖。

圖1 某一組的目標知識網絡圖

（2）進行信息流的切分，如圖2所示。信息項的表征格式采用IPLi<操作><表征形態><信息類型><知識網絡子圖>。切分信息流的規則一般為：信息貢獻者發生改變時進行切分，<操作>屬性發生改變時進行切分，<信息類型>屬性發生變化時進行切分，<知識網絡子圖>屬性發生變化時進行切分。

圖2 某一組的信息流切分圖

（3）形成帶有激活量的知識網絡圖，計算總激活量、聚焦程度、深度三個指標值，如圖3所示。指標值可以通過基于信息流的協作學習分析系統半自動計算出來。

圖3 某一組形成的帶有激活量的知識網絡圖

我們的分析過程由兩位分析者獨立完成，并對各自的信息項進行了信度校驗，一致性均達到90%以上，表明結果可信。其中不一致的信息項由兩位分析者面對面地經過討論協商解決。

為了完成對指標有效性的檢驗，我們在實驗過程中通過前后測，獲取學習者在線協作學習對協作學習任務認知前后水平的差別（即運用傳統的評價協作學習效果的方法）。專家評分后，計算小組前后測分數差總和的平均值M。然后，把計算的總激活量、聚焦程度、深度的指標值依次與傳統的協作學習效果評價值M做相關性檢驗，借助SPSS軟件，如果得到的檢驗結果P值小于0.05則表明指標有效。

三研究結果

總激活量、聚焦程度、深度三個指標反映協作學習的交互效果，其效度結果如下：

1 總激活量效度

表2 總激活量與前后測成績差平均值相關性分析

由表2可知，總激活量與前后測成績差平均值的相關系數r=0.43，p=0.005<0.01，所以指標總激活量在在線協作學習交互方式下有效。

2 聚焦程度效度

表3 聚焦程度與前后測成績差平均值相關性分析

由表3可知，聚焦程度與前后測成績差平均值的相關系數r=0.37，p=0.02<0.05，所以指標聚焦程度在在線協作學習交互方式下有效。

3 深度的效度

表4 深度與前后測成績差平均值相關性分析

由表4可知，深度與前后測成績差平均值的相關系數r=0.36，p=0.024<0.05，所以指標深度在在線協作學習交互方式下有效。

通過簡單線性回歸分析發現，總激活量能夠解釋協作學習交互效果19%的變異（β=.432，t=2.955，p=0.005），聚焦程度能夠解釋協作學習交互效果的13%（β=.365，t=2.419，p=0.020），深度能夠解釋協作學習交互效果的13%（β=.356，t=2.351，p=0.024）。綜上所述，指標總激活量、聚焦程度、深度三個指標在在線協作學習交互方式下均有效，且總激活量指標的有效性最高。

四結論

通過對基于信息流的協作學習評價方法的實證研究，以及對在線協作學習過程數據的分析，可以發現三個反映協作學習交互效果的指標均有效，說明基于信息流的協作學習方法可以有效反映協作學習中小組的知識建構水平，且指標定義清晰，借助工具實現半自動評價，故可以廣泛適用于特定知識領域的評價。但從目前研究的結果來看，三個指標對協作學習交互效果的解釋力較低。因此，未來的研究應致力于進一步完善基于信息流的協作學習評價方法，以發現對協作學習交互效果預測力更高的指標，并實現自動評價。

[1]劉黃玲子,朱伶俐,陳義勤,等.基于交互分析的協同知識建構的研究[J].開放教育研究,2005,(2):31-37.

[2]劉黃玲子,黃榮懷.協作學習評價方法[J].現代教育技術,2002,(1):24-29.

[3]MacdonaldJ.Assessingonlinecollaborativelearning:processandproduct[J].Computers&Education,2003,(4):377-391.

[4]Strijbos J W.Assessment of(computer-supported)collaborative learning[J].IEEE Transactions on Learning Technologies,2011,(1):59-73.

[5]鄭蘭琴,楊開城,黃榮懷.基于信息流的面對面協作學習交互分析方法的實證研究[J].中國電化教育,2013,(11):30-35.

[6]韓后,王冬青.促進有效學習的評價反饋系統及其應用[J].現代教育技術,2015,(2):100-106.

[7]Maldonado R M,Kay J,Yacef K,et al.An interactive teacher’s dashboard for monitoring groups in a multi-tabletop learning environment[C].Berlin:Springer-Verlag,2012:482-492.

[8]Verbert K,Govaerts S,Duval E,et al.Learning dashboards:An overview and future research opportunities[J]. Personal and Ubiquitous Computing,2014,18(6):1499-1514.

編輯：小西

Empirical on the Assessment of Group Performance in Online Collaborative Learning——Based on the Information Flow Approach

YU Jun-hui ZHENG Lan-qin[CorrespondingAuthor]

(School of Educational Technology,Faculty of Education,Beijing Normal University,Beijing,China 100875)

The assessment of collaborative learning is very important in the domain of computer supported collaborative learning(CSCL).In this paper,the performance of collaborative learning was defined to the mutual degree of collaborative knowledge building,which was assessed through collaborative learning assessment approach based on the information flow.In order to evaluate group performance,the total amount of knowledge activation,the degree of knowledge convergence,and the depth were proposed in this study.The result indicated that the three indicators and the assessment approach were effective and appropriate in evaluating online collaborative learning.

collaborative learning;assessment;information flows

2015年5月29日

G40-057

A【論文編號】1009—8097（2015）12—0090—06

10.3969/j.issn.1009-8097.2015.12.014

book=95,ebook=96

本文受國家社會科學基金教育學青年課題“基于大數據學習分析技術的大學生適應性調節技能的評價與干預研究”（項目編號：CCA140154）資助。

于俊輝，北京師范大學教育學部教育技術學院碩士研究生，研究方向是計算機支持的協作學習，郵箱yujunhuibnu@163.com。