在線學(xué)習(xí)空間數(shù)據(jù)驅(qū)動的學(xué)生評價指標(biāo)體系構(gòu)建*

繆 玲 張尚先 燕紫君

（1.廣東開放大學(xué)，廣東 廣州 510091；2.江門開放大學(xué)，廣東 江門 529000）

一、引言

人工智能、數(shù)據(jù)挖掘等現(xiàn)代信息技術(shù)推動了教育教學(xué)的創(chuàng)新發(fā)展，海量學(xué)生在在線學(xué)習(xí)空間里，通過媒體界面的操作交互、教學(xué)要素的信息交互與概念交互實(shí)現(xiàn)有意義的學(xué)習(xí)。這些學(xué)習(xí)過程交互行為數(shù)據(jù)、學(xué)習(xí)成效數(shù)據(jù)被記錄在信息空間里，形成多元的、海量的、動態(tài)的大數(shù)據(jù)。挖掘大數(shù)據(jù)獲得高價值信息，實(shí)現(xiàn)戰(zhàn)略化、政策性、智慧型管理是人們的必然選擇[1]，也是學(xué)校提升內(nèi)部治理的必經(jīng)之路。

基于學(xué)習(xí)大數(shù)據(jù)的教與學(xué)的評價已然是教育評價研究的熱點(diǎn)。美國投入了大量人力、物力、財力發(fā)展各級各類數(shù)據(jù)系統(tǒng)，推進(jìn)數(shù)據(jù)在教育評價與決策中的深度應(yīng)用，利用大數(shù)據(jù)探尋發(fā)展教育的新途徑與新思路[2]。鄭勤華等人[3]基于學(xué)習(xí)分析技術(shù)構(gòu)建學(xué)習(xí)者綜合評價參考模型，孫洪濤等人[4]收集學(xué)習(xí)環(huán)境數(shù)據(jù)、學(xué)習(xí)行為數(shù)據(jù)、學(xué)習(xí)評價數(shù)據(jù)和內(nèi)容語義數(shù)據(jù)等，從媒體技術(shù)、學(xué)習(xí)資源、學(xué)習(xí)活動、學(xué)習(xí)支持和聯(lián)通度等五個維度構(gòu)建了課程評價的模型。但是，已有評價模型并未在評價維度上達(dá)成統(tǒng)一認(rèn)識。

2021年，中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》，明確提出從結(jié)果評價、過程評價、增值評價和綜合評價等維度積極探索和改進(jìn)與新時代相匹配的育人評價方式，推進(jìn)教育過程和學(xué)習(xí)過程數(shù)據(jù)化和可量化。可見，在新時代教育評價理念的指導(dǎo)下，有必要基于在線學(xué)習(xí)空間數(shù)據(jù)，進(jìn)一步研究構(gòu)建學(xué)生評價指標(biāo)體系。

二、學(xué)生評價指標(biāo)的構(gòu)建

數(shù)據(jù)驅(qū)動的學(xué)生評價通過在線學(xué)習(xí)空間記錄的數(shù)據(jù)客觀地評價學(xué)生的學(xué)習(xí)過程、學(xué)習(xí)成效和學(xué)習(xí)發(fā)展，不再局限于考試成績結(jié)果和教師平時的主觀觀察印象[5]。在線學(xué)習(xí)空間數(shù)據(jù)驅(qū)動的學(xué)生評價則是根據(jù)既定的教學(xué)目標(biāo)，通過分析在線學(xué)習(xí)空間里學(xué)生學(xué)習(xí)產(chǎn)生的數(shù)據(jù)，對學(xué)生學(xué)習(xí)過程和學(xué)習(xí)結(jié)果進(jìn)行價值判斷，促使學(xué)生不斷自我完善。結(jié)合新時代教育評價堅(jiān)持“改進(jìn)結(jié)果評價、強(qiáng)化過程評價、探索增值評價”，本研究通過文獻(xiàn)調(diào)研、半結(jié)構(gòu)訪談、德爾菲調(diào)查問卷等方法，從表征學(xué)生在線學(xué)習(xí)過程、學(xué)習(xí)結(jié)果、學(xué)習(xí)增值等三個維度確定基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)。

（一）評價指標(biāo)的初步擬定

1 指標(biāo)因子的初步擬定

首先，從在線學(xué)習(xí)特性來說，學(xué)生突破物理空間的限制與教師、與其他學(xué)生在在線學(xué)習(xí)空間建立聯(lián)結(jié)，通過與媒體界面進(jìn)行操作交互、與教學(xué)要素進(jìn)行信息交互和概念交互，即通過交互實(shí)現(xiàn)有效學(xué)習(xí)。與此同時，“社會交互性”[6]“在線協(xié)作與交流”[7]“聯(lián)通度”[8]等成為在線學(xué)習(xí)學(xué)生成績或?qū)W習(xí)有效性評價指標(biāo)體系的一級指標(biāo)。由此，引入交互度作為表征學(xué)生在線學(xué)習(xí)過程的評價維度。

其次，由于在線學(xué)習(xí)中學(xué)生和教師處于時空分離狀態(tài)，僅僅通過交互情況較難實(shí)時掌握學(xué)生的學(xué)習(xí)過程和學(xué)習(xí)狀態(tài)，較難及時作出有針對性的干預(yù)措施。而學(xué)生在線學(xué)習(xí)行為的持續(xù)情況和活躍情況等能夠彌補(bǔ)在線學(xué)習(xí)過程評價的短板。“投入度”[9]“持續(xù)度”[10]等表示學(xué)生在線學(xué)習(xí)投入情況的維度成為表征學(xué)生學(xué)習(xí)過程的數(shù)量指標(biāo)。由此，引入投入度作為表征學(xué)生在線學(xué)習(xí)過程的評價維度。

再者，為表征學(xué)生在線學(xué)習(xí)結(jié)果引入完成度和有效度兩個評價維度。完成度是從在線學(xué)習(xí)活動完成的數(shù)量指標(biāo)來考量，即以課程要求的指定學(xué)習(xí)任務(wù)為標(biāo)準(zhǔn)對學(xué)生實(shí)際完成情況進(jìn)行評價；有效度則是從在線學(xué)習(xí)活動完成的質(zhì)量指標(biāo)來考量，即對學(xué)生參與課程學(xué)習(xí)活動的有效情況進(jìn)行評價。

最后，引入增值度作為表征學(xué)生在線學(xué)習(xí)增值的評價維度，考量學(xué)生學(xué)習(xí)過程或?qū)W習(xí)結(jié)果的變化情況。

2 數(shù)據(jù)指標(biāo)項(xiàng)的初步擬定

指標(biāo)因子是居于上層的理論維度，是學(xué)生評價維度的表征。數(shù)據(jù)指標(biāo)則是理論維度的表征，居于下層，能夠通過在線學(xué)習(xí)空間原始數(shù)據(jù)直接或間接獲取，是可測量的。本研究基于初步構(gòu)建的交互度、投入度、完成度、有效度和增值度等五個指標(biāo)因子，對在線學(xué)習(xí)空間原始可記錄的數(shù)據(jù)進(jìn)行分析，結(jié)合半結(jié)構(gòu)訪談，歸納分析得出21項(xiàng)數(shù)據(jù)指標(biāo)。

（二）德爾菲調(diào)查問卷的實(shí)施

德爾菲法是一種專家匿名反饋征詢法，是指以問卷的形式，按照系統(tǒng)的程序，采用匿名發(fā)表意見的方式，對一組特別選擇的專家進(jìn)行征詢。經(jīng)過兩輪或兩輪以上意見的征詢、歸納及修改，使意見趨于一致而得到研究結(jié)果。

首先，根據(jù)初步擬定的學(xué)生評價指標(biāo)設(shè)計了征詢問卷，征詢內(nèi)容以條目的形式呈現(xiàn)，請專家對條目“5表示非常適合、4表示比較適合、3表示一般適合、2表示比較不適合、1表示非常不適合”做出選擇；同時在每一條目下方或后方留有空格，以備專家填寫修改意見或添加其他內(nèi)容。

其次，選擇具有在線教學(xué)豐富經(jīng)驗(yàn)、熟悉在線學(xué)習(xí)者特征的一線教師，其能夠立足于在線學(xué)習(xí)學(xué)生和教師時空分離的特性從不同的角度對研究提供建設(shè)性意見。一般情況下，調(diào)查評估或預(yù)測的精度與調(diào)查對象數(shù)量呈函數(shù)關(guān)系，即調(diào)查對象人數(shù)越多，評估精度越高。但是，人數(shù)越多，調(diào)查越難組織，統(tǒng)計數(shù)據(jù)越大。本研究結(jié)合實(shí)際情況，選擇了17人。

最后，通過微信或郵件向選取的17人發(fā)放征詢問卷，共開展2輪。回收有效問卷后，依據(jù)調(diào)查結(jié)果及意見對指標(biāo)體系內(nèi)容進(jìn)行討論，并對部分條目進(jìn)行增添、修改與刪除。吸納第1輪問卷調(diào)查的修改意見，形成新的基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)體系。請專家對新的學(xué)生評價指標(biāo)體系的合適程度進(jìn)行5級評分。

（三）調(diào)查結(jié)果分析

1 第一輪調(diào)查結(jié)果

第1輪調(diào)查問卷結(jié)束后，從平均數(shù)、中位數(shù)、眾數(shù)、標(biāo)準(zhǔn)差對基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)因子、數(shù)據(jù)指標(biāo)進(jìn)行統(tǒng)計，以此判斷檢驗(yàn)指標(biāo)因子的適合程度。

指標(biāo)因子適合程度。五項(xiàng)指標(biāo)因子平均數(shù)均維持在4 0以上，中位數(shù)、眾數(shù)都均為4或4以上，表明指標(biāo)因子是“非常適合”或者“比較適合”的。并且，5項(xiàng)指標(biāo)因子的標(biāo)準(zhǔn)差均低于1 0，表明教師對指標(biāo)因子的適合程度具有比較相似的看法。盡管對指標(biāo)因子的合適程度比較認(rèn)同，但是，對指標(biāo)因子的主要內(nèi)涵描述提出了優(yōu)化建議，研究者根據(jù)反饋意見對其中3個指標(biāo)因子的描述進(jìn)行了修改。

數(shù)據(jù)指標(biāo)適合程度。21項(xiàng)數(shù)據(jù)指標(biāo)平均數(shù)低于4 0的有6項(xiàng)（其中有4項(xiàng)屬于第五項(xiàng)指標(biāo)因子），表明指標(biāo)因子的測量項(xiàng)不是“非常合適”，且標(biāo)準(zhǔn)差均低于1 0，表明教師對其判斷內(nèi)容基本一致。研究將該6項(xiàng)數(shù)據(jù)指標(biāo)刪除，并根據(jù)修改的指標(biāo)因子增加5項(xiàng)數(shù)據(jù)指標(biāo)。此外，對2項(xiàng)數(shù)據(jù)指標(biāo)項(xiàng)進(jìn)行了描述修訂。

2 第二輪調(diào)查結(jié)果

第二輪調(diào)查問卷仍舊從平均數(shù)、中位數(shù)、眾數(shù)、標(biāo)準(zhǔn)差四個統(tǒng)計量來進(jìn)行統(tǒng)計分析指標(biāo)因子和數(shù)據(jù)指標(biāo)，并與第一輪調(diào)查問卷的統(tǒng)計結(jié)果做對比。若第一輪和第二輪的平均數(shù)均達(dá)到4 00以上，且標(biāo)準(zhǔn)差維持在1 00以下，則認(rèn)為一致性檢測通過，此指標(biāo)因子可以作為學(xué)生評價維度，數(shù)據(jù)指標(biāo)可用來表征指標(biāo)因子。對于在第二輪調(diào)查問卷做過修改或新增項(xiàng)，僅考察第二輪調(diào)查結(jié)果，以此決定是否通過。

第二輪調(diào)查問卷結(jié)果顯示，各指標(biāo)因子的測量項(xiàng)平均數(shù)均達(dá)到4 0以上，中位數(shù)、眾數(shù)全部都為5，且標(biāo)準(zhǔn)差均在0 75以下，表明指標(biāo)因子、數(shù)據(jù)指標(biāo)一致性通過。因此，通過第二輪調(diào)查問卷，對基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)形成了較為一致性的意見，暫時可停止繼續(xù)調(diào)查。

至此，本研究通過兩輪征詢調(diào)查，獲得了基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)因子5項(xiàng)，分別為：交互度、投入度、完成度、有效度和增值度，數(shù)據(jù)指標(biāo)20項(xiàng)。其中交互度和投入度是對學(xué)生在線學(xué)習(xí)過程的表征，完成度和有效度是對學(xué)生在線學(xué)習(xí)結(jié)果的表征，增值度是對學(xué)生在線學(xué)習(xí)變化狀況的表征，其具體描述如表1所示。

表1 基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)因子描述

三、學(xué)生評價指標(biāo)權(quán)重分配的調(diào)查實(shí)施

本研究基于層次分析法分配學(xué)生評價指標(biāo)權(quán)重。層次分析法簡稱AHP，其核心是依據(jù)目標(biāo)，將問題劃分成有序的層次結(jié)構(gòu)，通過兩兩比較對各個層次中各個因素的相對重要性進(jìn)行確定，最后進(jìn)行綜合判斷，從而決定決策各因素相對重要性總的順序。其特別適用于無結(jié)構(gòu)特性的、多目標(biāo)、多準(zhǔn)則、多時期等的系統(tǒng)評價，比如學(xué)科群評價指標(biāo)體系[11]、目標(biāo)達(dá)成度評價指標(biāo)體系[12]等多個評價指標(biāo)體系的構(gòu)建均應(yīng)用層次分析法確定權(quán)重。層次分析法的調(diào)查實(shí)施一般有確定層次結(jié)構(gòu)模型、建立權(quán)重判斷矩陣、判斷思維一致性和計算評價指標(biāo)權(quán)重等步驟。

（一）層次結(jié)構(gòu)模型的建立

建立層次結(jié)構(gòu)模型是將復(fù)雜問題涉及的因素進(jìn)行分析，確定相互影響的因素和相互比較的因素，按其之間的相關(guān)關(guān)系繪制層次結(jié)構(gòu)圖。最高層是需要解決的問題或達(dá)到的目標(biāo)，即目標(biāo)層；中間層是考慮的因素，即準(zhǔn)則層；最低層是問題的備選方案，即方案層。根據(jù)前期已構(gòu)建的學(xué)生評價指標(biāo)層次級別及其關(guān)系，構(gòu)建出了權(quán)重分配的層級結(jié)構(gòu)模型（見圖1）：

圖1 基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)層次結(jié)構(gòu)模型

第一層是目標(biāo)層，即基于在線學(xué)習(xí)空間數(shù)據(jù)評價學(xué)生；第二層是準(zhǔn)則層，這一層是影響學(xué)生評價的指標(biāo)維度，即交互度、投入度、完成度、有效度、增值度；第三層是方案層，即表征各指標(biāo)因子的數(shù)據(jù)指標(biāo)項(xiàng)。

（二）權(quán)重判斷矩陣表的建立

首先，根據(jù)建立的層次結(jié)構(gòu)模型，制定學(xué)生評價指標(biāo)權(quán)重咨詢問卷。征詢內(nèi)容以條目的形式呈現(xiàn)，請教師對準(zhǔn)則層的指標(biāo)因子和方案層的數(shù)據(jù)指標(biāo)項(xiàng)的相對重要性進(jìn)行兩兩比較。兩兩比較采用五級標(biāo)度法，用1、3、5分別表示同等重要、比較重要、絕對重要，2、4則表示重要程度介于相鄰的兩個等級之間，具體如表2所示。

表2 五級標(biāo)度法說明

其次，邀請五位具有在線教學(xué)豐富經(jīng)驗(yàn)的一線教師和管理人員，通過微信或郵件向其發(fā)放征詢問卷。

最后，根據(jù)每位教師問卷填寫的指標(biāo)因子和數(shù)據(jù)指標(biāo)項(xiàng)兩兩比較的結(jié)果，轉(zhuǎn)換構(gòu)成多張權(quán)重判斷矩陣表。如果ai因素與aj因素的比較值為正數(shù)A，則在矩陣表里aij記為A；如果ai因素與aj因素的比較值為負(fù)數(shù)A，則在矩陣表里aij記為1/A。

例如，教師1表示：“交互度”分別與“投入度”“完成度”“有效度”“增值度”比較，比較值分別為1、1、-2、-2、-2；“投入度”分別與“完成度”“有效度”“增值度”比較，比較值分別為1、-2、-2、-2；“完成度”分別與“有效度”“增值度”比較，比較值分別為 1、2、2；“有效度”與“增值度”比較，比較值為1。因此構(gòu)建出如表3所示矩陣表。

表3 教師1對指標(biāo)因子的判斷矩陣

（三）思維一致性檢驗(yàn)及權(quán)重的計算

將每位教師兩兩比較的結(jié)果構(gòu)成的多張權(quán)重判斷矩陣表輸入數(shù)據(jù)科學(xué)分析平臺SPSSAU，利用其綜合評價的“APH層次分析”功能進(jìn)行計算，以求出每位教師一致性檢驗(yàn)數(shù)據(jù)指標(biāo)、指標(biāo)因子和數(shù)據(jù)指標(biāo)項(xiàng)的權(quán)重分配指標(biāo)。最后進(jìn)行幾何平均數(shù)處理，得出每項(xiàng)的權(quán)重。

在構(gòu)建權(quán)重判斷矩陣時，有可能會出現(xiàn)邏輯性錯誤，因此需要使用一致性檢驗(yàn)是否出現(xiàn)問題。一致性檢驗(yàn)使用CR值進(jìn)行分析，CR值小于0 1則說明通過一致性檢驗(yàn)，反之則說明沒有通過一致性檢驗(yàn)。如果數(shù)據(jù)沒有通過一致性檢驗(yàn)，需要檢查是否存在邏輯問題或再次咨詢調(diào)查對象，重新錄入判斷矩陣進(jìn)行分析，直至通過一致性檢驗(yàn)。本研究中，共有5項(xiàng)內(nèi)容在計算過程中出現(xiàn)一致性指數(shù)大于0 1，后經(jīng)重新錄入矩陣后，使得所有權(quán)重判斷矩陣一致性指數(shù)均在0 —— 0 1范圍之內(nèi)，一致性檢驗(yàn)通過。

綜上所述，本研究在權(quán)重分配的調(diào)查中，通過CR值分析發(fā)現(xiàn)有5項(xiàng)內(nèi)容在計算過程中出現(xiàn)一致性指數(shù)大于0 1，表示在填答過程中出現(xiàn)了一定的邏輯性錯誤，后經(jīng)溝通分析，一致性檢驗(yàn)才通過。本研究采用的是自填問卷的方法獲取數(shù)據(jù)信息。但是，教師在填答過程中可能受情緒、環(huán)境、邏輯等方面的干擾，或出現(xiàn)理解偏差，造成填答偏差，致使研究結(jié)果出現(xiàn)偏差。所以，在后續(xù)研究中，可以結(jié)合主觀測量和客觀測量方法，綜合運(yùn)用定量和定性研究，二者相互驗(yàn)證和比較，從而提高研究結(jié)果的可靠性。

四、學(xué)生評價指標(biāo)權(quán)重分配調(diào)查結(jié)果的討論

（一）指標(biāo)因子權(quán)重分配結(jié)果討論

每位教師對指標(biāo)因子的權(quán)重分配結(jié)果如表4所示，采用群體決策的方法，對全部專家的權(quán)重系數(shù)求均值，得出一級指標(biāo)的最終權(quán)重為：交互度21 89%，投入度14 35%，完成度20 16%，有效度 19 54%，增值度 24 07%。

表4 一級指標(biāo)因子權(quán)重分配結(jié)果匯總

整體上，將5項(xiàng)指標(biāo)因子的權(quán)重從大到小進(jìn)行排序，分別是增值度、交互度、完成度、有效度、投入度。可見，增值度權(quán)重值（24 07%）排名第一，明顯高于其他指標(biāo)因子，表明學(xué)生綜合評價非常注重其獲取在線學(xué)習(xí)成果的增值情況；交互度權(quán)重值（21 89%）排名第二，比排名第三的完成度的權(quán)重值多1 73%，表明學(xué)生綜合評價比較注重學(xué)生在學(xué)習(xí)過程中與學(xué)習(xí)資源、與教師、與其他學(xué)生的交互情況，即在線學(xué)習(xí)的學(xué)生評價比較注重學(xué)習(xí)過程的表現(xiàn)，這符合遠(yuǎn)程教育強(qiáng)調(diào)的教學(xué)交互理論；完成度（20 16%）、有效度（19 54%）二者的權(quán)重值相對居中，相差不大，且均屬于對學(xué)生在線學(xué)習(xí)結(jié)果的評價維度，表明學(xué)生綜合評價相對注重在線學(xué)習(xí)結(jié)果；投入度權(quán)重值（14 35%）排名第五，明顯低于其他指標(biāo)因子，表明其相對于其他四項(xiàng)指標(biāo)因子重要性相對較低。

個體上，教師對于指標(biāo)因子權(quán)重分配存在較大差異性。比如教師2和教師3分配的指標(biāo)因子權(quán)重從大到小排序，依次為：交互度、投入度、完成度、有效度、增值度。可見，二者均認(rèn)為表征在線學(xué)習(xí)過程評價的交互度和投入度非常重要，表征在線學(xué)習(xí)結(jié)果評價的完成度和有效度次之，而增值度所占權(quán)重分別為5 48%和5 01%，認(rèn)為學(xué)生在線學(xué)習(xí)變化情況和獲取的成果的重要性相對很低。但是，教師4和教師5分配的指標(biāo)因子權(quán)重從大到小的排序，依次為：增值度、有效度、完成度、投入度、交互度，這與教師2和教師3的排序結(jié)果完全相反。

綜上所述，一方面，根據(jù)整體結(jié)果，基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價不應(yīng)只過分注重結(jié)果評價、過程評價或增值評價，而應(yīng)強(qiáng)調(diào)三者相結(jié)合的綜合評價；另一方面，由于選取的調(diào)查對象存在潛在偏差，所調(diào)查的少數(shù)樣本無法代表整體的情況，從而導(dǎo)致研究所得結(jié)論不一定具有普遍性。所以，在后續(xù)研究和實(shí)際應(yīng)用中，需要進(jìn)一步擴(kuò)大調(diào)查樣本，使得指標(biāo)體系具有更高的使用范圍和更大的解釋能力。

（二）數(shù)據(jù)指標(biāo)項(xiàng)權(quán)重分配結(jié)果討論

繼續(xù)對數(shù)據(jù)指標(biāo)的權(quán)重分配進(jìn)行計算，最終數(shù)據(jù)匯總?cè)绫?和表6所示。

表5 基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)權(quán)重分配結(jié)果

表6 數(shù)據(jù)指標(biāo)平均權(quán)重結(jié)果分配

基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)包含20項(xiàng)數(shù)據(jù)指標(biāo)，其中指標(biāo)因子交互度設(shè)有3項(xiàng)數(shù)據(jù)指標(biāo)，平均權(quán)重為7 30%；投入度設(shè)有4項(xiàng)數(shù)據(jù)指標(biāo)，平均權(quán)重為3 59%；完成度設(shè)有4項(xiàng)數(shù)據(jù)指標(biāo)，平均權(quán)重為5 04%；有效度設(shè)有4項(xiàng)數(shù)據(jù)指標(biāo)，平均權(quán)重為4 86%；增值度設(shè)有5項(xiàng)數(shù)據(jù)指標(biāo)，平均權(quán)重為4 81%。

根據(jù)數(shù)據(jù)指標(biāo)平均權(quán)重從大到小排序指標(biāo)因子，分別為交互度、完成度、增值度、有效度、投入度。可見，一是數(shù)據(jù)指標(biāo)平均權(quán)重差別較大，最高為交互度，值為7 3%，即交互度所屬的數(shù)據(jù)指標(biāo)一項(xiàng)平均占總權(quán)重的7 3%，最低為投入度，值為3 59%，投入度所屬的數(shù)據(jù)指標(biāo)一項(xiàng)平均占總權(quán)重的3 59%；二是因?yàn)楦髦笜?biāo)因子的數(shù)據(jù)指標(biāo)項(xiàng)數(shù)不同，以致數(shù)據(jù)指標(biāo)平均權(quán)重排序與總權(quán)重排序發(fā)生了變化，主要總權(quán)重排名第一、第二、第三的指標(biāo)因子，平均權(quán)重排名分別為第三、第一、第二；三是部分指標(biāo)因子的平均權(quán)重排序和總權(quán)重排序未發(fā)生變化，即排名第四的有效度和排名第五的投入度。

具體到每項(xiàng)數(shù)據(jù)指標(biāo)的實(shí)際值，權(quán)重超過8%的數(shù)據(jù)指標(biāo)共有3項(xiàng)，分別是C1、C2、C17， 權(quán)重值分別為 8 64%、8 93%、8 16%。C1 和 C2均屬交互度指標(biāo)因子，C1表示有學(xué)習(xí)行為發(fā)生的模塊數(shù)占課程部署的模塊數(shù)的比例，反映的是學(xué)生與學(xué)習(xí)資源交互的廣度；C2表示在與教師交互網(wǎng)絡(luò)中的點(diǎn)度中心度，反映的是學(xué)生與教師直接聯(lián)系的多少。C17屬增值度指標(biāo)因子，表示獲取專業(yè)相關(guān)職業(yè)技能比賽獎項(xiàng)數(shù)，反映的是專業(yè)成果獲取情況。可見，在線學(xué)習(xí)過程中，學(xué)生應(yīng)更多地完成教學(xué)交互，特別是與教學(xué)資源的交互、與教師的交互，從而獲取專業(yè)相關(guān)的成果。

權(quán)重低于3%的數(shù)據(jù)指標(biāo)共有2項(xiàng)，分別為C19、C20，權(quán)重值分別為 2 65% 和 2 03%。C19和C20均屬于增值度指標(biāo)因子，C19表示獲取與課程相關(guān)的比賽獎項(xiàng)，C20表示獲取其他學(xué)習(xí)成果證明。增值度是總權(quán)重最高的指標(biāo)因子，但其數(shù)據(jù)指標(biāo)項(xiàng)有兩項(xiàng)排名最末，且明顯低于平均值（4 81%）。經(jīng)與部分教師訪談，認(rèn)為在實(shí)際教學(xué)中較少有C19表示的課程相關(guān)的比賽獎項(xiàng)，或者只有部分公共基礎(chǔ)類、通識類課程有相關(guān)比賽，該項(xiàng)指標(biāo)重要但是各課程賽項(xiàng)不均衡，其權(quán)重不應(yīng)占比過大。與此同時，學(xué)生所取得的其他學(xué)習(xí)成果證明也是學(xué)生學(xué)習(xí)情況的反映，但不是單一課程教學(xué)或?qū)I(yè)學(xué)習(xí)的增值結(jié)果，故其權(quán)重也不應(yīng)過大。

綜上所述，一方面數(shù)據(jù)指標(biāo)項(xiàng)權(quán)重分配結(jié)果為評價學(xué)生在線學(xué)習(xí)過程和成效給出了具體的方案策略；另一方面也注意到五項(xiàng)指標(biāo)因子對應(yīng)的數(shù)據(jù)指標(biāo)項(xiàng)不同，導(dǎo)致各數(shù)據(jù)指標(biāo)項(xiàng)的權(quán)重分配差距較大，有可能出現(xiàn)不科學(xué)的評價。所以，后續(xù)研究可以通過指標(biāo)體系的應(yīng)用增加其他指標(biāo)因子或調(diào)整數(shù)據(jù)指標(biāo)等擴(kuò)展指標(biāo)體系。研究變量的擴(kuò)展能夠更全面地考量學(xué)生情況，從而為教學(xué)提供更好的參考。

五、結(jié)語

本研究通過問卷調(diào)查、層次分析等過程，建立了包含5項(xiàng)指標(biāo)因子和20項(xiàng)數(shù)據(jù)指標(biāo)的基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)體系。該評價指標(biāo)為直接、有效地診斷學(xué)習(xí)提供了科學(xué)工具，進(jìn)而為學(xué)生學(xué)習(xí)成效的提升、教師教學(xué)水平的提高提供了有價值的參考。為進(jìn)一步提升指標(biāo)體系的價值，提出以下建議。

（一）完善指標(biāo)，推動評價科學(xué)化

《深化新時代教育評價改革總體方案》明確指出，教育評價事關(guān)教育發(fā)展方向，有什么樣的評價指揮棒，就有什么樣的辦學(xué)導(dǎo)向。同樣，基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生評價指標(biāo)體系也事關(guān)學(xué)生在學(xué)習(xí)空間的學(xué)習(xí)導(dǎo)向，直接影響學(xué)習(xí)的成效。根據(jù)上述研究分析結(jié)果，進(jìn)一步擴(kuò)展、完善基于在線學(xué)習(xí)空間數(shù)據(jù)的學(xué)生指標(biāo)因子和權(quán)重分配。在完善指標(biāo)的同時，可以進(jìn)一步探討各指標(biāo)因素之間的關(guān)系。探索教學(xué)過程評價指標(biāo)體系各個維度、各級指標(biāo)與教學(xué)效果的關(guān)系[13]，并進(jìn)行過程干預(yù)。不斷完善指標(biāo)，推動評價科學(xué)化，才能切實(shí)有效地發(fā)揮指揮棒的作用。

（二）收集數(shù)據(jù)，獲得全程多維證據(jù)

學(xué)生評價最終需要通過在線學(xué)習(xí)空間的客觀數(shù)據(jù)表征，即通過各類數(shù)據(jù)指標(biāo)的聚合完成綜合評價。這就需要在線學(xué)習(xí)空間能夠支持記錄和收集學(xué)生學(xué)習(xí)前期、中期、后期等不同階段反映學(xué)生學(xué)習(xí)發(fā)展的各種過程性、結(jié)果性、增值性證據(jù)。一方面，從不同角度、不同方面構(gòu)建的評價指標(biāo)體系包括詳細(xì)的數(shù)據(jù)指標(biāo)，在線學(xué)習(xí)空間數(shù)據(jù)應(yīng)該要能滿足其中數(shù)據(jù)指標(biāo)的需求。換句話說，數(shù)據(jù)指標(biāo)所需要的證據(jù)無法通過在線學(xué)習(xí)空間數(shù)據(jù)匯聚或計算得出是不可取的；另一方面，多維度、多方面收集學(xué)生學(xué)習(xí)發(fā)展數(shù)據(jù)，從而自下而上地研究、擴(kuò)展數(shù)據(jù)指標(biāo)，完善評價指標(biāo)體系，進(jìn)而更客觀、更公正地評價學(xué)生的整體表現(xiàn)。

（三）推廣應(yīng)用，提升教育教學(xué)質(zhì)量

通過自上而下評價指標(biāo)體系的不斷完善和自下而上數(shù)據(jù)指標(biāo)的不斷收集，二者持續(xù)升級迭代，為學(xué)生評價提供可靠的工具。通過推廣應(yīng)用評價指標(biāo)體系，更加真實(shí)全面地呈現(xiàn)學(xué)生學(xué)習(xí)的學(xué)習(xí)過程、學(xué)習(xí)質(zhì)量以及存在的問題，更加有效地提升教育教學(xué)質(zhì)量。推動學(xué)生評價科學(xué)、規(guī)范、有序地開展應(yīng)用，至少包括三方面：一是依據(jù)指標(biāo)體系直接評價學(xué)生學(xué)習(xí)成效，反映教師教學(xué)能力，實(shí)現(xiàn)評價指標(biāo)的直接應(yīng)用；二是通過評價結(jié)果反映的存在問題，推進(jìn)學(xué)生自我改進(jìn)、教師教學(xué)支持改進(jìn)以及教學(xué)管理者的教學(xué)決策改進(jìn)，進(jìn)而有針對性地解決問題；三是高等學(xué)校教育信息化已經(jīng)從原來的強(qiáng)調(diào)軟件服務(wù)和平臺服務(wù)轉(zhuǎn)變到強(qiáng)調(diào)數(shù)據(jù)服務(wù)的新型模式[14]。因此，借助指標(biāo)體系構(gòu)建大數(shù)據(jù)分析模型，助力學(xué)校信息化教學(xué)模式的構(gòu)建，助力大數(shù)據(jù)應(yīng)用平臺建設(shè)。