大數(shù)據(jù)時(shí)代下大學(xué)生學(xué)習(xí)評(píng)價(jià)指標(biāo)體系構(gòu)建研究

[摘 要] 為回歸教育本體，教者從實(shí)質(zhì)性評(píng)價(jià)角度出發(fā)更客觀地對(duì)學(xué)習(xí)者進(jìn)行評(píng)價(jià)，構(gòu)建一套大數(shù)據(jù)時(shí)代下的高校大學(xué)生學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，從而更科學(xué)地反映學(xué)習(xí)者的學(xué)習(xí)質(zhì)量。研究運(yùn)用德爾菲法確立、完善學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，通過多次專家調(diào)查討論確立了以學(xué)習(xí)態(tài)度、學(xué)習(xí)過程和學(xué)習(xí)效果為一級(jí)指標(biāo)，包含13個(gè)二級(jí)指標(biāo)和13個(gè)三級(jí)指標(biāo)的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，該指標(biāo)體系針對(duì)性強(qiáng)，結(jié)構(gòu)合理，具有較強(qiáng)的科學(xué)性和適用性。

[關(guān)鍵詞] 德爾菲法;學(xué)習(xí)評(píng)價(jià);評(píng)價(jià)指標(biāo)

MOOC、SPOC、在線學(xué)習(xí)、混合式學(xué)習(xí)等成為我們今天重要的課程形態(tài)和學(xué)習(xí)方式。與傳統(tǒng)環(huán)境下的學(xué)習(xí)相比，互聯(lián)網(wǎng)支持的在線學(xué)習(xí)有著巨大的發(fā)展前景和優(yōu)勢(shì)，甚至已成為學(xué)校教育教學(xué)方式的重要組成部分。隨著國家一流課程建設(shè)的不斷深入，教學(xué)模式發(fā)生著重要變化，教師更應(yīng)思考如何提高教學(xué)質(zhì)量。學(xué)習(xí)質(zhì)量是教育教學(xué)活動(dòng)的根本。有效的學(xué)習(xí)評(píng)價(jià)是教學(xué)活動(dòng)的重要組成部分，也是進(jìn)行教學(xué)決策的重要前提，而有效的學(xué)習(xí)評(píng)價(jià)依賴于全面、可靠的評(píng)價(jià)依據(jù)。因此，在已有研究的基礎(chǔ)上，探索傳統(tǒng)學(xué)習(xí)評(píng)價(jià)現(xiàn)狀及問題，構(gòu)建一套行之有效的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，對(duì)改善教學(xué)決策和實(shí)施個(gè)性化教學(xué)具有重要的指導(dǎo)意義。

一、學(xué)習(xí)評(píng)價(jià)現(xiàn)狀及問題

（一）評(píng)價(jià)指標(biāo)缺乏針對(duì)性

近年來，隨著課堂教學(xué)改革及教育評(píng)價(jià)改革的推進(jìn)，在教學(xué)過程中注重過程性評(píng)價(jià)、診斷性評(píng)價(jià)已成為眾多學(xué)者和一線教師的共識(shí)。但在具體實(shí)踐過程中，因理論過于復(fù)雜、缺乏針對(duì)性而與實(shí)踐割裂，一線教師無法有效踐行。大多數(shù)高校的評(píng)價(jià)指標(biāo)體系通用于工學(xué)、理學(xué)、文學(xué)、管理學(xué)等，未區(qū)分學(xué)生專業(yè)性質(zhì)，甚至出現(xiàn)長(zhǎng)時(shí)間不更新的現(xiàn)象。傳統(tǒng)學(xué)習(xí)評(píng)價(jià)所存在的問題在新理念的碰撞和滲透下逐漸顯現(xiàn)。在信息技術(shù)與教育不斷融合，我國高質(zhì)量教育建設(shè)不斷推進(jìn)的進(jìn)程中，學(xué)校必須融合新理念、新思想、新技術(shù)改變傳統(tǒng)學(xué)習(xí)評(píng)價(jià)現(xiàn)狀，優(yōu)化評(píng)價(jià)指標(biāo)體系，規(guī)范評(píng)價(jià)方法，發(fā)揮好評(píng)價(jià)指揮棒的作用，建立科學(xué)的教育導(dǎo)向，以更好地培養(yǎng)具有創(chuàng)新性、創(chuàng)造性的時(shí)代新人。

（二）評(píng)價(jià)結(jié)果缺乏科學(xué)性

傳統(tǒng)的學(xué)習(xí)評(píng)價(jià)結(jié)果通常以最終的考試分?jǐn)?shù)或優(yōu)秀、良好、合格和不合格的等級(jí)制呈現(xiàn)，無法具體地反映學(xué)生學(xué)習(xí)過程中存在的問題。針對(duì)不同的教學(xué)目標(biāo)，學(xué)生的完成度，學(xué)生在知識(shí)、方法、技能、實(shí)踐、思想等各方面的表現(xiàn)與差異都無法通過最終的結(jié)果展現(xiàn)出來，以致“唯分?jǐn)?shù)”等頑瘴痼疾嚴(yán)重影響著學(xué)習(xí)評(píng)價(jià)及教育導(dǎo)向的科學(xué)發(fā)展。此外，傳統(tǒng)的以教師為主的評(píng)價(jià)方式易使教師的主觀因素影響學(xué)習(xí)評(píng)價(jià)結(jié)果，使學(xué)習(xí)評(píng)價(jià)有失公正和客觀性。而隨著大數(shù)據(jù)、人工智能、學(xué)習(xí)分析等新一代信息技術(shù)在教育教學(xué)中的深度融合應(yīng)用，以及信息化學(xué)習(xí)環(huán)境的開發(fā)，學(xué)習(xí)者學(xué)習(xí)的全過程數(shù)據(jù)得以保留。我們通過對(duì)數(shù)據(jù)的深度分析，可以構(gòu)建出學(xué)習(xí)者畫像。新技術(shù)的參與及新的教學(xué)方式為學(xué)習(xí)評(píng)價(jià)從主觀走向客觀和科學(xué)提供了良好的契機(jī)和條件。《深化新時(shí)代教育評(píng)價(jià)改革總體方案》提出，要充分利用信息技術(shù)，提高教育評(píng)價(jià)的科學(xué)性、專業(yè)性、客觀性。可見，在學(xué)習(xí)評(píng)價(jià)指標(biāo)的制定過程中，充分考慮新一代信息技術(shù)的參與是實(shí)現(xiàn)教育評(píng)價(jià)科學(xué)性、專業(yè)性、客觀性的有效手段。

（三）評(píng)價(jià)實(shí)施重結(jié)果輕過程

傳統(tǒng)學(xué)習(xí)評(píng)價(jià)的實(shí)施大多重視結(jié)果而忽視評(píng)價(jià)過程，且缺乏對(duì)評(píng)價(jià)過程的監(jiān)管及具體的可操作的監(jiān)管措施。盡管教師在具體的評(píng)價(jià)實(shí)施環(huán)節(jié)可以充分根據(jù)課程特點(diǎn)采用合適的方法，極大地發(fā)揮教師的主動(dòng)性，增加課程評(píng)價(jià)方法的多樣化，但可操作的監(jiān)管措施的缺失會(huì)使評(píng)價(jià)結(jié)果的公正性和科學(xué)性受到懷疑。此外，部分學(xué)校的評(píng)價(jià)指標(biāo)不清晰，在推行過程中難以發(fā)揮以評(píng)促改的作用，以及評(píng)價(jià)的導(dǎo)向和激勵(lì)作用。學(xué)校過程監(jiān)督和監(jiān)管的缺失，還有可能帶來一定的負(fù)面效果，如教師只重視結(jié)果而忽視過程、評(píng)價(jià)不認(rèn)真，學(xué)生對(duì)結(jié)果不重視等。所以，在評(píng)價(jià)指標(biāo)的具體執(zhí)行階段，教育管理部門需要和一線教師共同完成。

二、學(xué)習(xí)評(píng)價(jià)指標(biāo)體系的構(gòu)建

（一）研究方法

研究采用德爾菲法。德爾菲法即根據(jù)一定的問題邀請(qǐng)相關(guān)領(lǐng)域的專家或有經(jīng)驗(yàn)的管理人員對(duì)某一問題進(jìn)行預(yù)測(cè)并最終達(dá)成一致意見的方法。德爾菲法有匿名性、反饋性和統(tǒng)計(jì)性等特點(diǎn)，根據(jù)德爾菲法的要求，專家或管理人員數(shù)量可以根據(jù)研究項(xiàng)目的大小和涉及面的寬窄而定，一般在8～20人。研究通過德爾菲法分析初步構(gòu)建的學(xué)習(xí)評(píng)價(jià)指標(biāo)的科學(xué)性和有效性，以構(gòu)建科學(xué)合理的學(xué)習(xí)評(píng)價(jià)指標(biāo)。

（二）研究過程

1.確定指標(biāo)體系。教育評(píng)價(jià)中的實(shí)質(zhì)性評(píng)價(jià)倡導(dǎo)根據(jù)評(píng)價(jià)對(duì)象本身的特性進(jìn)行評(píng)價(jià)，以真實(shí)反映評(píng)價(jià)對(duì)象的實(shí)質(zhì)特征。當(dāng)前，對(duì)學(xué)習(xí)者的評(píng)價(jià)，更多的是以成績(jī)等外部特征進(jìn)行的評(píng)價(jià)，忽略了學(xué)生學(xué)習(xí)與成長(zhǎng)的特點(diǎn)，忽略了人本質(zhì)特點(diǎn)的反映。回歸教育本體，大學(xué)具有教育性、學(xué)術(shù)性和服務(wù)性的特性。關(guān)于培養(yǎng)什么人的教育首要問題，習(xí)近平總書記在全國教育大會(huì)上指出，要培養(yǎng)德智體美勞全面發(fā)展的社會(huì)主義建設(shè)者和接班人。因此，研究將評(píng)價(jià)指標(biāo)劃分為學(xué)習(xí)態(tài)度、學(xué)習(xí)過程和學(xué)習(xí)效果三個(gè)維度，初步構(gòu)建了一個(gè)具有3個(gè)一級(jí)指標(biāo)、11個(gè)二級(jí)指標(biāo)的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系。其中，一級(jí)指標(biāo)學(xué)習(xí)態(tài)度重點(diǎn)考查學(xué)生對(duì)學(xué)校、教師、課程等的情感認(rèn)同，以及學(xué)生自身的紀(jì)律意識(shí)和學(xué)習(xí)投入度;學(xué)習(xí)過程主要考查學(xué)生在學(xué)習(xí)階段表現(xiàn)出的自主學(xué)習(xí)能力、溝通表達(dá)能力、協(xié)作學(xué)習(xí)能力、創(chuàng)新能力和實(shí)踐能力;學(xué)習(xí)效果主要考查學(xué)生的知識(shí)應(yīng)用、知識(shí)遷移和知識(shí)創(chuàng)新的程度。

2.遴選咨詢專家。德爾菲法專家一般在8～20人，入選標(biāo)準(zhǔn)：（1）本科及以上學(xué)歷;（2）副高以上職稱;（3）具有豐富的質(zhì)控經(jīng)驗(yàn);（4）積極性高，愿意填答問卷;（5）能保證參與多輪函詢。根據(jù)以上標(biāo)準(zhǔn)，研究最后選取15位專家，其中，教授6人，副教授9人。

3.設(shè)計(jì)咨詢問卷。為了更全面地了解專家及讓專家全面了解指標(biāo)體系，研究設(shè)計(jì)了專家個(gè)人信息問卷表、專家評(píng)價(jià)表及學(xué)習(xí)評(píng)價(jià)指標(biāo)體系表。

4.開展問卷調(diào)查。德爾菲法需要進(jìn)行開放式的首輪調(diào)研、評(píng)價(jià)式的第二輪調(diào)研、重審式的第三輪調(diào)研和復(fù)核式的第四輪調(diào)研四輪專家調(diào)研。問卷過程全部在問卷星平臺(tái)完成。每輪問卷發(fā)放和收回周期為7天，重點(diǎn)討論指標(biāo)體系的觀測(cè)點(diǎn)是否科學(xué)，指標(biāo)的解讀是否存在歧義。我們根據(jù)每一輪的建議和意見，對(duì)指標(biāo)體系進(jìn)行修改，作為下一輪調(diào)研的依據(jù)。

三、問卷調(diào)查結(jié)果與分析

（一）開放式的首輪調(diào)研結(jié)果與分析

我們根據(jù)初步設(shè)想的指標(biāo)體系進(jìn)一步完善各個(gè)子指標(biāo)的解釋，設(shè)計(jì)首輪調(diào)研問卷。調(diào)研問卷包括導(dǎo)語、指標(biāo)體系中各個(gè)子指標(biāo)的重要性和專家對(duì)指標(biāo)體系的熟悉程度量化打分表、專家基本情況介紹三部分。專家對(duì)指標(biāo)的重要性評(píng)分按照Liket量表，將重要性分為不重要、不太重要、一般、比較重要和非常重要五個(gè)等級(jí)，賦值為1、2、3、4、5。專家對(duì)指標(biāo)體系的熟悉程度分為非常熟悉、熟悉、一般、較不熟悉和非常不熟悉五個(gè)等級(jí)，分別賦值1.0、0.8、0.6、0.4、0.2。同時(shí)，我們將專家的判斷依據(jù)分為實(shí)踐經(jīng)驗(yàn)、理論分析、同行了解及專家直覺四個(gè)方面，量化值分別記為0.8、0.6、0.4、0.2，如表1所示。

第一輪共邀請(qǐng)了15位專家參與調(diào)研，專家基本信息如下：年齡方面，小于36歲的2人，36～40歲的7人，41～45歲的2人，46～50歲的2人，大于50歲的2人;學(xué)歷方面，本科1人，碩士研究生5人，博士研究生9人;高校工作時(shí)間方面，低于10年的4人，10～15年的4人，16～20年的3人，21年以上的4人;專業(yè)方面，研究心理學(xué)的2人，研究數(shù)學(xué)的4人，研究教育學(xué)的4人，研究計(jì)算機(jī)科學(xué)與技術(shù)的4人，研究工商管理的1人，研究化學(xué)及化學(xué)工程的1人。

第一輪問卷回收后，我們使用Excel 365對(duì)結(jié)果進(jìn)行分析，主要分析專家的積極系數(shù)、權(quán)威程度和意見協(xié)調(diào)程度。

1.專家積極系數(shù)。專家積極系數(shù)用專家問卷有效回收率和專家意見提出率表示。一般認(rèn)為，專家咨詢表回收率在70%以上則表明專家積極性較高。兩輪發(fā)出問卷共15份，收回共15份，回收率100%。其中，第一輪中有12位專家提出意見，專家意見提出率80%。這兩個(gè)數(shù)據(jù)表明專家非常重視。

2.專家權(quán)威程度。專家權(quán)威程度（Cr）由專家對(duì)指標(biāo)的判斷依據(jù)（Ca）和專家對(duì)指標(biāo)的熟悉程度（Cs）決定，一般認(rèn)為權(quán)威程度系數(shù)>0.7即可接受。專家的權(quán)威程度系數(shù)等于0.778，表明專家權(quán)威程度較高。

3.專家協(xié)調(diào)程度。專家協(xié)調(diào)程度反映了專家對(duì)全部指標(biāo)的協(xié)調(diào)程度、對(duì)信息重要性的意見集中程度，用Kendall’s W系數(shù)表示，系數(shù)越大，表明專家協(xié)調(diào)程度越高，結(jié)果越可靠。經(jīng)SPSS 20.0計(jì)算，第一輪咨詢協(xié)調(diào)系數(shù)為0.138，表明結(jié)果具有一定的價(jià)值。

4.專家意見和建議。通過對(duì)第一輪專家調(diào)研結(jié)果的統(tǒng)計(jì)分析可以看出，專家對(duì)現(xiàn)有指標(biāo)認(rèn)同度較高，共有12位專家提出了意見和建議，包括學(xué)生還應(yīng)具有舉一反三、主動(dòng)學(xué)習(xí)的能力;教師可利用網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)，讓學(xué)生講解某個(gè)知識(shí)點(diǎn)或習(xí)題，教師評(píng)價(jià)分析，加深學(xué)生印象;整體分類很清晰，學(xué)習(xí)態(tài)度板塊分類偏簡(jiǎn)單;自主獲取學(xué)習(xí)資源的能力很重要;增加對(duì)線上線下學(xué)習(xí)過程數(shù)據(jù)和學(xué)習(xí)結(jié)果考核的評(píng)價(jià);學(xué)習(xí)動(dòng)力、成就動(dòng)機(jī)也很重要等。

專家針對(duì)初步構(gòu)建的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系主要提出了三點(diǎn)建議，一是要重視學(xué)生的學(xué)習(xí)動(dòng)機(jī)，二是要注重學(xué)生的學(xué)習(xí)興趣，三是要結(jié)合線上線下資源對(duì)學(xué)習(xí)者進(jìn)行評(píng)價(jià)。因此，我們?cè)诔醪綐?gòu)建的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系基礎(chǔ)上增加兩個(gè)二級(jí)指標(biāo)，具體如表2所示。

（二）評(píng)價(jià)式的第二輪調(diào)研結(jié)果與分析

在第一輪指標(biāo)體系的基礎(chǔ)上，進(jìn)行第二輪調(diào)研。共發(fā)放 15份問卷，收回 15份，全部有效，專家積極度非常高;統(tǒng)計(jì)結(jié)果顯示咨詢協(xié)調(diào)系數(shù)為0.200，專家意見協(xié)調(diào)程度高于第一輪;變異系數(shù)都小于0.25，說明專家意見一致，經(jīng)檢驗(yàn)結(jié)果可信。統(tǒng)計(jì)結(jié)果如表3所示。

研究通過德爾菲法從學(xué)習(xí)態(tài)度、學(xué)習(xí)過程、學(xué)習(xí)效果三個(gè)維度確立了學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，以期改變傳統(tǒng)學(xué)習(xí)評(píng)價(jià)注重外部評(píng)價(jià)而忽略對(duì)學(xué)習(xí)者學(xué)習(xí)與成長(zhǎng)特點(diǎn)的考查的不足，促使學(xué)習(xí)評(píng)價(jià)能真正反映學(xué)習(xí)者在德智體美勞多個(gè)方面的學(xué)習(xí)成長(zhǎng)程度。

[基金項(xiàng)目]2020年度江西省教育科學(xué)“十三五”規(guī)劃資助項(xiàng)目“基于教育大數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)與決策支持研究”的階段性研究成果（項(xiàng)目編號(hào)：20YB250）。

[作者簡(jiǎn)介]徐新愛（1973— ），女，江西豐城人，南昌師范學(xué)院，教授，研究方向?yàn)閿?shù)據(jù)挖掘、計(jì)算機(jī)教育。

3417500338239