課程考核評(píng)價(jià)的數(shù)智賦能分析方法

摘"要：課程考核評(píng)價(jià)是教學(xué)過程中不可或缺的一環(huán)，它可以增強(qiáng)學(xué)生學(xué)習(xí)的成效，推動(dòng)教師教學(xué)能力的持續(xù)提升。工學(xué)一體化課程考核評(píng)價(jià)貫穿整個(gè)教學(xué)全過程，它分為過程性考核評(píng)價(jià)和終結(jié)性考核評(píng)價(jià)。利用SPSS軟件和數(shù)智算法對(duì)工學(xué)一體化課程考核評(píng)價(jià)回收的大量數(shù)據(jù)進(jìn)行處理，從而提供一套科學(xué)合理且行之有效的數(shù)據(jù)分析方法，讓考核評(píng)價(jià)的結(jié)果更加科學(xué)合理，教學(xué)反饋的信息更加完整準(zhǔn)確。教師可以通過評(píng)價(jià)反饋的信息，及時(shí)調(diào)整教學(xué)計(jì)劃和教學(xué)活動(dòng)方案，改進(jìn)教學(xué)方法和手段，讓工學(xué)一體化課程更好地滿足現(xiàn)代職業(yè)教育體系要求。

關(guān)鍵詞：SPSS；數(shù)智算法；課程評(píng)價(jià)；工學(xué)一體化

柯氏評(píng)價(jià)理論確定了職業(yè)教育學(xué)業(yè)評(píng)價(jià)的四個(gè)基本層次：課程結(jié)束時(shí)的滿意度評(píng)價(jià)；知識(shí)、技能和工作經(jīng)驗(yàn)的學(xué)習(xí)效果評(píng)價(jià)；學(xué)習(xí)者工作一段時(shí)間后的行為轉(zhuǎn)變?cè)u(píng)價(jià)和績(jī)效評(píng)價(jià)［12］。因此，工學(xué)一體化課程需要建立與之相適應(yīng)的評(píng)價(jià)機(jī)制。目前，工學(xué)一體化課程考核評(píng)價(jià)貫穿了整個(gè)教學(xué)全過程，其中，過程性考核方式分為學(xué)生自評(píng)表、學(xué)生互評(píng)表、教師評(píng)價(jià)表，終結(jié)性考核方式分為期末測(cè)試和滿意度調(diào)查。這些考核評(píng)價(jià)表和滿意度調(diào)查表會(huì)回收大量的數(shù)據(jù)，這些數(shù)據(jù)有的可以直觀反映出某些含義，但更多數(shù)據(jù)所“隱藏”的信息，需要利用數(shù)智算法，才能“挖掘”出來(lái)。本文將從以下兩個(gè)維度進(jìn)行說(shuō)明。

一、數(shù)據(jù)的有效性分析

回收的考核數(shù)據(jù)，如何判斷其數(shù)據(jù)是否真實(shí)可靠，可以使用信度分析。信度即可靠性（Reliability），它是指采用同樣的方法（問卷）對(duì)同一對(duì)象重復(fù)測(cè)量時(shí)所得結(jié)果的一致性程度。信度分析的目的就在于說(shuō)明樣本數(shù)據(jù)真實(shí)可信。

（一）信度分析的主要方法

（1）重測(cè)信度：它注重測(cè)量時(shí)間上的重復(fù)性，即對(duì)同一組被調(diào)查人員采用相同問卷，在不同時(shí)間點(diǎn)先后進(jìn)行調(diào)查，測(cè)量?jī)纱握{(diào)查結(jié)果之間的差異程度，只適用短期內(nèi)有效，如兩周內(nèi)。

（2）復(fù)本信度：運(yùn)用兩份內(nèi)容等價(jià)但題目不同的問卷對(duì)同一組被調(diào)查人員進(jìn)行調(diào)查。例如，使用試卷AB卷對(duì)同一批考生進(jìn)行測(cè)試，檢驗(yàn)考生成績(jī)是否可信。由于副本信度很難讓人同時(shí)做兩份內(nèi)容差不多的問卷，所以較少使用。

（3）評(píng)分者信度：不同評(píng)分者對(duì)相同對(duì)象進(jìn)行一致性評(píng)定，如結(jié)構(gòu)化面試。

（4）內(nèi)部一致性信度：反映問卷內(nèi)部問題之間的關(guān)系，檢查問卷的各個(gè)問題是否測(cè)量了相同的內(nèi)容或特質(zhì)。如果問卷的各個(gè)問題都與課程滿意度相關(guān)，那么這份問卷的內(nèi)部一致性就較高；但如果出現(xiàn)多個(gè)問題與課程滿意度無(wú)關(guān)，如校園滿意度、衛(wèi)生滿意度等，問題邏輯聯(lián)系或與主題不符，則問卷的內(nèi)部一致性就較差。

（二）內(nèi)部一致性信度分析說(shuō)明

內(nèi)部一致性信度通常使用Cronbach（克倫巴赫）α系數(shù)，α系數(shù)在0.9以上，則該問卷的信度甚佳；0.8～0.9表示信度不錯(cuò)；0.7～0.8則表示信度較好；0.6～0.7表示信度一般；0.6以下就要考慮重新編寫問卷了。

這種信度分析要求是量表問題，即問卷的各個(gè)問題選項(xiàng)是可以量化分等級(jí)的。例如問題選項(xiàng)：非常不滿意—不滿意—中立—滿意—非常滿意，五個(gè)選項(xiàng)可以分別被賦值1、2、3、4、5，這就是五級(jí)量表問題。

（三）數(shù)據(jù)的信度分析舉例

在某個(gè)云計(jì)算專業(yè)班級(jí)開展的“工學(xué)一體化”課程滿意度調(diào)查中，總共回收了25份有效問卷，因?yàn)樵O(shè)計(jì)的問題都是正向計(jì)分題，可以在Excel中直接對(duì)問題選項(xiàng)進(jìn)行數(shù)字化處理，賦值對(duì)應(yīng)關(guān)系為A5、B4、C3、D2、E1。

將Excel中數(shù)字化處理過的數(shù)據(jù)導(dǎo)入SPSS進(jìn)行信度分析，在SPSS界面選擇“分析—刻度—可靠性分析”，分析項(xiàng)為問題1—8，如圖2所示。

信度分析結(jié)果顯示，可靠性分析的克倫巴赫α系數(shù)為0.913，表示該滿意度調(diào)查問卷回收的數(shù)據(jù)真實(shí)可靠，是可信任的。

二、數(shù)據(jù)的內(nèi)涵規(guī)律分析

（一）多重響應(yīng)分析

多重響應(yīng)分析又稱多重應(yīng)答分析或者多選題應(yīng)答分析，在進(jìn)行問卷調(diào)查時(shí)，經(jīng)常會(huì)遇到一部分多選題，我們采用二分法記錄數(shù)據(jù)（以1/0表示已選/未選）。

1.SPSS多重響應(yīng)分析包括頻數(shù)分析和交叉分析兩部分［3］

（1）頻數(shù)分析：用來(lái)分析樣本中單個(gè)問題選項(xiàng)出現(xiàn)的頻率。

（2）交叉分析：用來(lái)分析樣本中某個(gè)選項(xiàng)與其他選項(xiàng)之間的關(guān)系。交叉分析結(jié)果是否具有統(tǒng)計(jì)學(xué)意義，可以增加卡方檢驗(yàn)。卡方檢驗(yàn)表中的皮爾遜卡方對(duì)應(yīng)的顯著性數(shù)值小于0.05，則表示具有統(tǒng)計(jì)學(xué)意義，是有效的。

2.頻數(shù)分析舉例

在該班的某個(gè)工學(xué)一體化課程的任務(wù)考核學(xué)生自評(píng)表中，對(duì)自評(píng)表中的各個(gè)問題選項(xiàng)進(jìn)行二分法處理，如圖3所示。

將Excel中二分法處理過的數(shù)據(jù)導(dǎo)入SPSS進(jìn)行頻數(shù)分析前準(zhǔn)備，SPSS界面選擇“分析—多重響應(yīng)—定義變量集”，在彈出的“定義多重響應(yīng)集”窗口，依據(jù)自評(píng)表中的8個(gè)問題，分別定義和添加8個(gè)多重響應(yīng)集的名稱和標(biāo)簽，如圖4所示。

關(guān)閉“定義多重響應(yīng)集”窗口后，開始進(jìn)行頻數(shù)分析，在SPSS界面選擇“分析—多重響應(yīng)—頻率”，在彈出的“多重響應(yīng)頻率”窗口，添加所有多重響應(yīng)集，點(diǎn)擊確定，多重響應(yīng)頻數(shù)分析結(jié)果中顯示，回收的學(xué)生自評(píng)表中，每個(gè)問題選項(xiàng)所選的數(shù)量和所占比例，如圖5所示。

3.交叉分析舉例

以學(xué)生自評(píng)表中的問題6為例，交叉分析如果學(xué)生自評(píng)扮演的是“領(lǐng)導(dǎo)者”的角色，則他在問題8中，即團(tuán)隊(duì)中的主要貢獻(xiàn)會(huì)是什么。在SPSS界面選擇“分析—多重響應(yīng)—交叉表”，在彈出的“多重響應(yīng)交叉表”窗口，將t6.1（領(lǐng)導(dǎo)者）添加進(jìn)“列”，將多重響應(yīng)集“團(tuán)隊(duì)貢獻(xiàn)”添加進(jìn)“行”，定義范圍分別填寫1和5，操作如圖6所示。

交叉分析結(jié)果顯示，如果該學(xué)生扮演的是“領(lǐng)導(dǎo)者”角色，則在問題8中，比較多的選擇是“t8.2完成了重要的任務(wù)部分”和“t8.5學(xué)習(xí)了新的知識(shí)和技能”。

（二）線性回歸分析

線性回歸分析是根據(jù)一個(gè)或一組自變量的變化情況預(yù)測(cè)與其相關(guān)的某隨機(jī)變量未來(lái)值的一種方法［3］。簡(jiǎn)而言之，就是研究多個(gè)自變量X對(duì)一個(gè)因變量Y的影響情況。根據(jù)自變量X的個(gè)數(shù)，可以稱為一元回歸或者多元回歸；如果回歸函數(shù)是一個(gè)線性函數(shù)，則稱為線性回歸。

1.多元線性回歸分析方程

y=b0+b1x1+b2x2+…+bnxn

在問卷調(diào)查分析中，可以假設(shè)問卷的每個(gè)問題為自變量X，問卷最終總評(píng)為因變量Y，通過多元線性回歸分析，可以發(fā)現(xiàn)哪些X對(duì)Y的正面影響大，哪些X對(duì)Y沒有影響甚至是負(fù)面影響。

2.多元線性回歸分析的前提

（1）因變量Y為定量數(shù)據(jù)；

（2）自變量X與因變量Y存在線性關(guān)系；

（3）自變量X之間不存在多重共線性，即X之間應(yīng)該彼此獨(dú)立；

（4）因變量Y的樣本觀測(cè)值之間相互獨(dú)立，殘差（樣本觀測(cè)值與擬合值之間的差）之間也相互獨(dú)立；

（5）殘差服從均值為0，方差為σ2的正態(tài)分布。

3.多元線性回歸分析舉例

在此次回收的課程滿意度調(diào)查問卷中，將問題1—7作為自變量X，將問題8的課程滿意度評(píng)分作為因變量Y，并進(jìn)行賦值，對(duì)應(yīng)關(guān)系為A100、B85、C70、D55、E40。將數(shù)據(jù)導(dǎo)入后，在SPSS界面選擇“分析—回歸—線性”，在彈出的“線性回歸”窗口，添加因變量與自變量，在“線性回歸：統(tǒng)計(jì)”對(duì)話框，除了默認(rèn)勾選外，建議勾選“共線性診斷”和“德賓沃森”，如圖7所示。

（1）共線性診斷：檢測(cè)自變量X之間彼此是否相關(guān)，如果兩個(gè)變量存在共線性，則兩個(gè)變量只起到一個(gè)變量的效果；

（2）德賓沃森檢驗(yàn)：檢測(cè)因變量Y的樣本觀測(cè)值之間的獨(dú)立性。

在“線性回歸：圖”中，設(shè)置好相應(yīng)參數(shù)：Y選擇“ZRESID”，表示標(biāo)準(zhǔn)化殘差；X選擇“ZPRED”，表示標(biāo)準(zhǔn)化預(yù)測(cè)值；最后勾選“直方圖”和“正態(tài)概率圖”。

多元線性回歸分析結(jié)果顯示：R方越接近1，說(shuō)明擬合程度越好，即樣本值非常接近預(yù)測(cè)值，通常不能低于0.36；德賓沃森值在0～4之間，越接近2，因變量Y的樣本值之間獨(dú)立性越好。回歸方程的顯著性檢驗(yàn)結(jié)果顯示：顯著性Siglt;0.05，表示回歸方程成立，自變量X對(duì)因變量Y的影響顯著。

從回歸方程的系數(shù)可以得出結(jié)論：?jiǎn)栴}3、問題7、問題2對(duì)課程滿意度Y的正面影響較大，問題1、問題5、問題4對(duì)課程滿意度Y的正面影響不大，而問題6對(duì)課程滿意度Y有負(fù)面影響。

結(jié)語(yǔ)

對(duì)工學(xué)一體化課程考核評(píng)價(jià)數(shù)據(jù)進(jìn)行信度分析、多重響應(yīng)分析和多元線性回歸分析，可以讓“工學(xué)一體化”課程考核實(shí)施的評(píng)估結(jié)果更加科學(xué)合理，教學(xué)反饋的信息更加完整準(zhǔn)確。教師可以通過評(píng)價(jià)反饋的信息，及時(shí)調(diào)整教學(xué)計(jì)劃和教學(xué)活動(dòng)方案，改進(jìn)教學(xué)方法和手段，完善考核評(píng)價(jià)方式，讓“工學(xué)一體化”課程更好地滿足現(xiàn)代職業(yè)教育體系要求。

參考文獻(xiàn)：

［1］孫小梅，周應(yīng)國(guó).本科層次職業(yè)教育專業(yè)課程開發(fā)：三維邏輯、應(yīng)然特征與實(shí)踐依循［J］.職業(yè)技術(shù)教育，2023（35）：2934.

［2］柯克帕特里克.如何做好培訓(xùn)評(píng)估：柯氏四級(jí)評(píng)估法［M］.3版.林祝君，馮學(xué)東，譯.北京：電子工業(yè)出版社，2015：2527.

［3］鄧維斌，周玉敏，劉進(jìn)，等.SPSS"23統(tǒng)計(jì)分析實(shí)用教程［M］.2版.北京：電子工業(yè)出版社，2017.

基金項(xiàng)目：2023年廣東省技工教育和職業(yè)培訓(xùn)省級(jí)課題——基于“東數(shù)西算”背景下《云計(jì)算技術(shù)應(yīng)用》專業(yè)工學(xué)一體化人才培養(yǎng)研究（課題編號(hào)KT2023019），主持人：李俊

作者簡(jiǎn)介：方武（1987—"），男，漢族，湖南邵陽(yáng)人，碩士研究生，講師，研究方向：云計(jì)算；陳英姿（1994—"），女，漢族，湖南衡陽(yáng)人，本科，講師，研究方向：軟件開發(fā)。

*通信作者：李俊（1985—"），男，漢族，廣東韶關(guān)人，碩士研究生，高級(jí)講師，研究方向：大數(shù)據(jù)。