基于大數據技術的高職學生多維評價體系的研究

趙 麗,柴造坡

(黑龍江生態工程職業學院 機電信息工程系,哈爾濱 150025)

繼2019年《國家職業教育改革實施方案》推出后,2020年10月13日中共中央、國務院印發《深化新時代教育評價改革總體方案》明確指出:“堅持科學有效,改進結果評價,強化過程評價,探索增值評價,健全綜合評價,充分利用信息技術,提高教育評價的科學性、專業性、客觀性。”[1]

大數據技術在各行業領域中的應用越來越廣泛,其在教學評價、學生評價中也將成為重要的工具。本文從《中國學生發展核心素養》出發,確定評價的一級指標、二級指標,同時采用多角度、多方法的評價方式,構造多維度評價模型,通過綜合評價指標加權的方式,進行數據分析與數據挖掘,形成學生的數字畫像,從而在學生的學業預警、就業升學等方面形成決策支持。

一、高職學生評價體系的現狀及存在的問題

目前,大多數高職院校對學生評價的依據是職業學校學生綜合素質測評方法,秉承以德智體美勞五育全面衡量的原則。學生綜合測評成績由基礎分數、加分項目、減分項目組成,其中基礎分數為學期各門課程的總和,加分項目為品行評定加分、大賽加分、社會實踐加分等項目,減分項目為學生所受處分累計結果。每學期進行一次綜合測評,測評結果作為學生評優及獎學金的依據。測評工作主要由學校學工部門負責,統計工作集中在開學初一次性完成。

1.評價維度及指標相對簡單

基于綜合素質測評方法的學生評價以課程成績作為主要衡量標準,德育、體育、文娛加分按級別累計,最終的得分將成為學生排名的依據。測評方法中的指標側重于權重和級別,在縱向上詳細的劃分,但在橫向上的覆蓋面有所不足,即存在維度缺失的情況,同時指標偏向層級劃分,此種方式便于計算,但在全面評價方面略顯單薄。

2.評價的作用具有局限性

綜合素質測評方式雖然能夠起到一定的衡量作用,但未考慮學生的差異性及增值評價,同時綜合素質測評傾向于結果評價,具有滯后性。綜合素質測評方式與本科學生的評價體系大致相仿,沒有體現職教的特點,學生的職業素養、崗位能力并不能從測評中得到有效評估,不能對就業起到指導作用。

二、注重增值和層次的評價體系

隨著國家對職業教育日益重視,越來越多的教育工作者開始深入研究如何評估學生在接受專業教育后的提升程度。其中,基于CIPP模式的評估體系注重培養學生的專業認知、團隊合作、實踐創新和職業技能[2],而基于AHP的綜合素質評估體系則注重多層次的評估。這兩種基于數學模型的評估都為課題研究提供參考。

1.基于CIPP模式的評價體系

CIPP模式由背景評價、輸入評價、過程評價、成果評價四部分組成,基本觀點是“評價目的不在于證明而在于發展改進”,注重評價對象的個體差異、進步幅度及評價主體的多元化,既著眼基礎更看重發展,既重共性更重個性[2]。在此模式下,更多的是考慮學生的增值評價,通過大量的指標調查學生的滿意度和能力增值水平,進而從專業信息處理維度、學術閱讀理解維度、領導組織協調維度、人際交往維度、組織創新維度、專業技能維度、職業領域遷移維度進行數據采集和分析,最終得出學生的增值評價。

2.基于AHP的綜合素質評價體系

AHP層次分析法可以幫助人們快速、準確地解決一些比較復雜、模糊的問題,尤其是在需要進行深入探究的情況下更加有效。層次分析法大致按四個步驟進行:第一步,建立遞階層次結構模型;第二步,構造出各個層次中的兩兩比較判斷矩陣;第三步,層次排序及一致性檢驗;第四步,層次總排序及一致性檢驗[3]。面向高等學校的AHP綜合素質評價體系一般會有總體評價目標,即核心能力評價,在總體評價目標下細化為一級指標和二級指標,在核心能力評價結果上每個指標產生的影響并不相同,所以需要確定指標的權重。

三、基于大數據技術的高職學生多維評價體系

基于大數據技術的高職學生多維評價體系的研究,參考CIPP模式評價體系中學生增值評價的維度,根據《中國學生發展核心素養》和基本要點,建立高職學生遞階層次結構評價體系,在核心能力評價的基礎上細化評價指標,同時采用直接評價和間接評價法,進行多角度、多方法評價,使評價結構更加嚴謹和準確。在數據處理上,本課題使用基于區分矩陣的DMNI算法進行數據凈化,并通過數據分析、挖掘、對比調整權重,使用基于神經元的BP算法訓練模型,不斷迭代從而優化模型,最終得出學生的數字畫像。

1.構建評價模型,做好評價體系結構

高職院校的評價體系側重于學生的學業成績、社會實踐、比賽等常規數據,數據相對單一,為了能夠更加客觀、科學地對學生進行評價,并對其實習就業能夠作出預測及指導,本課題目標研究構造了更加細致全面的評價體系結構,增加評價主體,加強過程評價,做到多角度、全方位評價,從而使評價更為科學化,能夠體現職業教育的特色,最終為學生崗位實習、就業及職業發展作出預測及導向,評價體系構建的具體思路及工作流程如圖1所示。

2.依據《中國學生發展核心素養》確定評價體系指標

由北京師范大學牽頭,多所高校共同參與的聯合課題組歷經三年研究后得出,《中國學生發展核心素養》以培養“全面發展的人”為核心,分為文化基礎、自主發展、社會參與三個方面,并綜合表現為人文底蘊、科學精神、學會學習、健康生活、責任擔當、實踐創新等六大素養,具體細化為國家認同等18個基本要點[4]。

根據國家對《中國學生發展核心素養》的描述及多方面調研的基礎上,本課題確定了評價體系的一級指標和二級指標,同時確定相應指標的權值,具體可見表1。

3.直接評價與間接評價相結合,提升評價的客觀性和準確度

相對單一的課程評價,本課題采用直接評價和間接評價的方式,將評價主體由教師延展至學生個體、企業導師、用人單位。同時,借助“1+X”證書、職業技能大賽、社會實踐等客觀事件,通過學生的參與度、完成情況,對學生進行評量,從而使評價體系更加客觀和完善,具體的評價方式及方法見圖2。

直接評價是通過專業課程、公共課程、職業認證、技能大賽等數據直接進行量化,數據客觀、及時;間接評價是通過用人單位、校友的反饋形成評價結果,評價相對主觀且具有一定的滯后性,但其在學生職業生涯發展中具有舉足輕重的作用。直接評價和間接評價相結合,可以彌補各自的不足,從而提升評價的客觀性和準確度,同時也使評價具有可持續性。

4.多渠道采集數據,加強過程評價,及時反饋評價結果

本課程研究的多維評價體系借助大數據采集技術拓寬數據采集的渠道。例如,專業課程任課教師可以通過課堂中學生實踐任務完成的情況、學生對提問的回應情況、課堂中的小測及學生完成當堂課作業的情況給出評定,使課程的過程評價更加具備實時性,對于學習上懈怠的學生能夠及時發現、及時預警,盡早發現學生在學業上存在的問題并予以糾正。

高職院校學生的崗位能力及職業素養相對抽象,在測評時難以量化,針對這樣的情況,多維評價體系在過程評價中加入專業技能指標、數字能力指標,通過實訓課程教師評價、企業導師評價等方式采集相應數據,結合“1+X”認證等評價組織對學生實踐能力的考核,形成學生職業能力圖譜,讓學生直觀了解自身在實踐能力上的優勢和劣勢,在對標相應崗位能力要求的基礎上有目的地進行提升,為崗位實習作好相應準備。

5.DMNI算法做好數據預處理

評價體系指標確定后,通過多渠道采集學生數據,其中學科考試成績、日常行為、生理健康指標等客觀數據結構簡單卻具備真實性,但心理評測、認知診斷等數據主管性較強,通常以問卷形式進行數據采集。如果學生態度不夠認真,隨機選擇選項,會導致評價結果不準確。針對這種情況,本課題采用DMNI算法,即在數據量較大時,先對數據進行預處理。如,對于屬性相容的記錄存放于集合A,對于屬性不相容的記錄存放于集合B,接下來對B建立區分矩陣,當兩條記錄的評測結果為不相容數據,加入同類的第三條數據,與屬性不相容的兩條數據進行屬性匹配,保留屬性相容的兩條數據,刪除與之不匹配的記錄,從而去除臟數據,讓評測的結果更加接近于真實情況。

6.使用專業數據分析軟件形成學生能力圖譜及數字畫像

圍繞學生、教師、學校、企業等多元主體,針對學生的綜合素質和個性化差異,多方位全方面采集數據。同時,在獲取數據后,通過DMNI算法去除臟數據,將預處理后的數據投入專業數據分析軟件,以權值作為標準調整相應閾值,即可得出學生能力圖譜。能力圖譜分對應一級指標,宏觀反映學生的思想道德素質、科學文化素質、職業技能素質、身心健康及創新創業能力,教師可以通過能力圖譜對學生作出更專業的就業導向;數字畫像對應二級指標,從更為細致的角度反映出學生差異性和各自的特點,以便于學生更好地對自身進行評價,從而在發展方向上作出更好的選擇。

7.生成數字畫像后,采用BP算法優化模型

為了提升數字畫像的準確度,本課題采用人工神經元中的BP算法訓練評價模型,采集2019級、2020級學生的就業實習數據,投入評價模型,通過數字畫像預測其就業趨勢,將其與學生真實的就業狀況和職業發展情況進行對比,并根據所得學生畫像分析其專業能力、身心成長狀況。如果評估體系實際輸出結果與真實結果不相符,則將輸出的誤差通過隱含層逐層反傳到輸入層,同時將誤差分攤到各層的各個單元中,從各層中得到誤差信號,作為調整各層即評估指標權值的依據。通過反復訓練,最終使評價系統的評價結果和趨勢預測與真實值達到較高匹配度,從而提升評價系統的準確性。

四、形成學生綜合成像體系,在學業及學生職業生涯中提供輔助決策

評價體系對學生進行的數據采集是全時空多方位的,學生的數字畫像可在學期中和學期末分時段形成,因此可根據數據預測學生可能出現的問題,從而及時發出預警,尤其在心理健康方面,學校可以及早進行疏導和督促,以避免嚴重后果的發生。

評價體系通過不同角度、多層面收集的數據,在不間斷持續分析的基礎上,能夠觀測學生的學業成長路徑以及思想、身心成熟情況,通過BP算法能夠形成收斂的趨勢,從而指導學生選擇更為適合的崗位,更好地服務學生就業及職業生涯發展。

五、結語

學生評價是教學過程中比較重要的環節,本課題研究基于國家對《中國學生發展核心素養》的描述確立了一級宏觀指標和二級微觀指標,在此基礎上構建評價體系。在評價體系確立后,利用大數據采集技術多途徑采集數據,多指標客觀衡量,DMNI算法去除無效數據,專業數據分析軟件生成可視化能力圖譜和數字畫像,在學生的學習過程中對學業成績和學生的身心健康進行監測,從而實現動態監測、及時預警。同時,課題組對畢業生進行回訪,通過問卷、座談方式得到學生的就業數據,結合就業質量評價,與評價系統得出的數字畫像相對比,通過BP算法訓練多維評價體系,使其能夠快速收斂,從而使學生的能力圖譜、數字畫像更為準確,教師可據此對學生進行崗位推薦,學生可據此其進行更好的自我認知,便于在崗位實習時作出正確的選擇。