基于學生畢業(yè)要求達成度評價的用戶畫像設計與分析

柯璟

[摘 要]大數(shù)據(jù)技術(shù)的飛速發(fā)展為教育信息化的改革與創(chuàng)新奠定了堅實的基礎，將數(shù)字化手段融入教學評價也成了教育質(zhì)量監(jiān)督的新趨勢。在教學數(shù)據(jù)環(huán)境下，將學生的個性描述和能力評價進行可視化呈現(xiàn)，形成基于學生畢業(yè)要求達成度評價的用戶畫像，對客觀評價學生的學習產(chǎn)出提供了切實可行的實施路徑，也為基于成果導向教學的持續(xù)改進提供了重要依據(jù)。

[關鍵詞]畢業(yè)要求;用戶畫像;能力評價

[基金項目]2020年度課題江蘇省教育科學“十三五”規(guī)劃《高校多維度評學體系研究》（D/2020/01/39）

[作者簡介]柯 璟（1982—），男，江蘇南京人，碩士，南京理工大學電子工程與光電技術(shù)學院助理研究員，主要從事高等教育研究。

[中圖分類號] TP391 [文獻標識碼] A [文章編號] 1674-9324（2020）45-00-04 [收稿日期] 2020-06-03

一、引言

隨著信息科學的興起，大數(shù)據(jù)（Big Data）技術(shù)已經(jīng)快速融入教育領域的變革和發(fā)展之中。在2015年的國際教育信息化大會上，習近平總書記提出了“推動教育變革和創(chuàng)新，構(gòu)建網(wǎng)絡化、數(shù)字化、個性化、終身化的教育體系”。近年來，教育部出臺多項相關政策和行動綱要也明確指出，要利用大數(shù)據(jù)等技術(shù)“為教師、教學管理人員等進行教學決策、改善教學計劃、提高教學質(zhì)量、保證教學效果提供參考依據(jù)”“完善教育管理信息化頂層設計，全面提高利用大數(shù)據(jù)支撐保障教育管理、決策和公共服務的能力”。

畢業(yè)要求（Graduate Attributes）作為工程教育認證中的重要一環(huán)，是對學生畢業(yè)時應該掌握的知識、技能以及執(zhí)業(yè)能力的具體描述。在大數(shù)據(jù)背景下，本文將用戶畫像的概念引入教學評價，基于畢業(yè)要求達成度嘗試對學生進行精準畫像，用數(shù)據(jù)說話，更為客觀和真實地表達學生的學習產(chǎn)出和學業(yè)達成情況，以此反饋教學效果，達到評學的目的。

二、用戶畫像在教學評價中的應用

（一）用戶畫像概述

用戶畫像（User Profiling）又稱數(shù)據(jù)畫像，是現(xiàn)代大數(shù)據(jù)技術(shù)的一種典型應用，針對用戶的行為模式、統(tǒng)計學特征、個性需求等不同維度的屬性進行標簽化，從而實現(xiàn)精準服務，在互聯(lián)網(wǎng)時代與信息服務行業(yè)已經(jīng)得到了較為寬泛的推廣。將用戶畫像應用于教育領域，通過對不同教育用戶進行各類維度的數(shù)據(jù)分析，使教育的實施者可以基于大數(shù)據(jù)模型精準、客觀地掌握每一個教學班、每一名學生的學習能力、知識結(jié)構(gòu)、學業(yè)表現(xiàn)、突出優(yōu)勢、存在短板等各方面的學習狀況，勾勒出關于學生用戶的個性化畫像[1]。

（二）用戶畫像用于教學評價的特點

用戶畫像概念的引入將傳統(tǒng)的經(jīng)驗驅(qū)動型教學評價模式變革為大數(shù)據(jù)平臺支持的數(shù)字化評學模式，使教學的評估、管理、決策彰顯科學性、合理性，主要表現(xiàn)在以下幾個方面。

第一，客觀評價。傳統(tǒng)的教學評價主要依賴于師生之間被動的評語和打分，往往受到主觀因素影響，不能準確地評價學生的學習效果，更無法實現(xiàn)對教學質(zhì)量的監(jiān)控與管理。通過挖掘教學數(shù)據(jù)和分析用戶畫像形成的教學評價，可以客觀、準確地反映出教師的教學效果以及學生的學習過程，并且整個評價的過程是主動性的，評價的結(jié)果是值得信賴的。

第二，科學規(guī)劃。通過用戶畫像的方式為學生聚類、分析，形成不同群體的畫像，根據(jù)不同學生能力培養(yǎng)上的差異化需求，分別規(guī)劃學習路徑，形成成長報告。專業(yè)和課程可根據(jù)不同的學生給出不同層次的教學目標和成效要求，讓每個學生都有符合自己個性化需求的培養(yǎng)套餐，真正做到因材施教，為實施精準教學奠定客觀基礎。

第三，反饋教學。利用用戶畫像結(jié)合實際教學情況進行分析，并把結(jié)論與建議及時傳遞給師生，不僅有助于提醒學生正確認識自己的學業(yè)狀況，也能夠促進教師不斷尋找最適合學生的教學方式，以提高學習者的學習效率、激發(fā)潛能，更有助于教學的實施者從教學設計、方案實施、質(zhì)量監(jiān)控等教學環(huán)節(jié)的各個方面建立長效的持續(xù)改進機制。

第四，重塑學生中心地位。以學生學習成效建立的用戶畫像來評價教學，真正意義上地體現(xiàn)了教學管理從“評教”到“評學”的轉(zhuǎn)變，使教學活動重新聚焦以學生為中心。教師能夠通過學生畫像，走出主觀認識的誤區(qū)，通過客觀的數(shù)據(jù)剖析學生能力培養(yǎng)的核心訴求，找準教學的立足點和發(fā)力方向，協(xié)助學生找到適合自己能力水平的學習通道。

三、畢業(yè)要求達成度體系的構(gòu)建

畢業(yè)要求是工程教育認證中的核心概念，畢業(yè)要求達成度評價基于學生課程體系中的各類考核數(shù)據(jù)，以學生的學習產(chǎn)出為導向，客觀、全面、系統(tǒng)地反映了人才培養(yǎng)的全過程，為勾勒出反映學生學習產(chǎn)出的用戶畫像提供了良好的理論依據(jù)。按照用戶畫像的構(gòu)建思路，遵循成果導向的教學設計理念，畢業(yè)要求達成度畫像模型如圖1所示。

（一）制定畢業(yè)要求劃分指標點

工程專業(yè)認證通用標準里明確指出，專業(yè)必須有明確、公開、可衡量的畢業(yè)要求，畢業(yè)要求應能支撐培養(yǎng)目標的達成，專業(yè)制定的畢業(yè)要求應完全覆蓋認證標準中的12條通用標準[2]?？梢钥吹?，標準對專業(yè)的畢業(yè)要求提出了“明確”“公開”“可衡量”“支撐”“全覆蓋”五個原則。同時，畢業(yè)要求應易于分解為可衡量的若干指標點，按照布魯姆教育目標分類法（Bloom's Taxonomy），遵循知識、素質(zhì)、能力逐級遞進的原則，形成人才培養(yǎng)的梯級推進的邏輯關系，既符合關聯(lián)性，又彰顯準確性[3]。

（二）課程體系支撐畢業(yè)要求

在成果導向的教學理念中，專業(yè)的培養(yǎng)目標由畢業(yè)要求支撐，而支撐畢業(yè)要求達成的是課程體系。將課程體系中每門課程對各項指標點的支持度賦予相應的權(quán)重，由2～5門課程支撐一個指標點，又由若干指標點支撐一項畢業(yè)要求，形成了課程體系與畢業(yè)要求的對應。在課程矩陣的頂層設計中，專業(yè)應對課程體系與畢業(yè)要求指標點的支撐關系統(tǒng)籌布局、準確定位、相互關聯(lián)、合理銜接，切實考慮畢業(yè)要求與課程內(nèi)容匹配度，做到所有的畢業(yè)要求都有相應的教學環(huán)節(jié)支撐，而完整的課程體系能夠覆蓋到專業(yè)全部的畢業(yè)要求。

（三）設計課程達成評價

課程達成評價是畢業(yè)要求達成評價的基礎，是從課程的視角對學生的學習成效進行評價以證明教學目標是否達成，其內(nèi)涵體現(xiàn)在課程教學大綱的設計和落實上。教學大綱中必須建立課程目標與相關畢業(yè)要求指標點的對應關系，實現(xiàn)課程內(nèi)容與課程目標的有效鏈接，并圍繞課程目標選擇有效的考核方式。課程達成度評價建立在畢業(yè)要求與課程支撐矩陣的基礎上，根據(jù)各教學環(huán)節(jié)的權(quán)重分配，開展考核，并計算出具體評價值。

（四）計算畢業(yè)要求達成度

在得到各門課程達成評價的基礎上，將支撐同一指標點的課程達成評價值累加，計算出該指標點的達成度，再匯總到相關畢業(yè)要求上，選取支撐同一畢業(yè)要求所有指標點達成度評價結(jié)果的最小值，作為該項畢業(yè)要求達成度的最終評價值，得出12項畢業(yè)要求的達成值。根據(jù)專業(yè)設置的達成度評價目標值，判定各項畢業(yè)要求是否達成，得到專業(yè)畢業(yè)要求達成與否的結(jié)論并繪制用戶畫像。

四、畢業(yè)要求達成度畫像結(jié)果與分析

（一）對學生的畢業(yè)要求達成度畫像

依照上述評價辦法，計算出我校電子信息工程專業(yè)兩位學生的畢業(yè)要求達成情況，圖2是基于他們畢業(yè)要求達成度評價的用戶畫像[4]。

從圖中觀察，兩位同學的12項畢業(yè)要求評價值均大于專業(yè)設置的目標值0.7，顯示該兩位同學的畢業(yè)要求全部達成。經(jīng)過分析對比，A同學的畢業(yè)能力達成度評價總體上是要高于B同學的，尤其表現(xiàn)在畢業(yè)要求能力4與能力5的差別上。其中，畢業(yè)要求4是考查學生“對復雜工程問題研究”的能力，畢業(yè)要求5是考查學生“針對復雜工程問題選擇和使用現(xiàn)代工具”的能力。圖3是對兩位同學的畢業(yè)要求4的分項指標點的達成情況的對比，不難看出B同學的每項指標都低于A，而木桶的最短板是指標點4.1。

根據(jù)本專業(yè)指標點與課程的對應矩陣，發(fā)現(xiàn)支撐指標點4.1的核心課程是DSP應用技術(shù)，對這門課程的課程目標達成情況較低正是B同學畢業(yè)要求4評價較低的癥結(jié)所在。對該門課程的整個班級課程達成度進行了分析，如圖4所示，班級的課程目標達成情況差強人意，平均課程達成度為0.72，大部分學生的達成度集中在0.65～0.75之間，還有15%的學生出現(xiàn)了掛科。DSP應用技術(shù)作為一門為電子信息類高年級本科生開設的專業(yè)課程，培養(yǎng)學生對電子系統(tǒng)的總體把握能力，自上而下的問題分析能力以及工程問題解決能力。課程指標點達成度分析結(jié)果說明相當一部分學生在復雜工程問題背景下對所學知識的應用能力還有所欠缺，這也與整體教學效果的主觀印象相吻合。

在教學實踐中我們發(fā)現(xiàn)，大部分學生都能夠完成簡單的工程基礎知識的數(shù)學計算，但由于對涉及專業(yè)的復雜概念理解不夠深入，在分析、處理復雜的系統(tǒng)性和綜合性問題時，部分學生表現(xiàn)的不盡如人意。DSP應用技術(shù)的課程達成度不高就是一個很好的例子。因此在專業(yè)的課程設置上，需進一步加強綜合能力培養(yǎng)，開展有針對性地專業(yè)強化訓練課程;在教學形式上，激勵學生充分利用開放實驗室資源以及圖書館資源擴展工程技術(shù)的知識面，加強理論與工程實際的結(jié)合;在教學方法上，鼓勵教師增加習題講解課時，并在講授理論性強的概念或公式推導時增加手寫板書比例，使學生對基礎知識的掌握從認識到精通。

（二）對專業(yè)的畢業(yè)要求達成度畫像

圖5給出的是我校電子信息工程專業(yè)畢業(yè)要求達成度的畫像。畫像結(jié)果顯示該專業(yè)12項畢業(yè)要求的評價值均大于專業(yè)設置的目標值0.7，故本專業(yè)學生畢業(yè)要求全部達成。從畫像結(jié)果上看，第7項能力和第12項能力專業(yè)達成度最高，接近0.8，說明這兩項能力的支撐課程達成度最高，能力培養(yǎng)的效果最好;而第5項能力則是專業(yè)培養(yǎng)中的薄弱環(huán)節(jié)。

為了檢驗課程成績畫像的準確性和可靠性，我們又采用了主觀定性的方法對專業(yè)畢業(yè)要求達成度進行了多維度評價分析。我們分別向用人單位和應屆畢業(yè)生發(fā)放調(diào)查問卷，邀請其定性評價12項畢業(yè)要求的達成情況，定性分析的選項分別為“完全達成”“較好達成”“基本達成”“部分達成”和“未達成”。將回收的23份用人單位評價有效樣本和82份畢業(yè)生自我評價有效樣本數(shù)據(jù)量化，形成用人單位評價畫像和畢業(yè)生能力自畫像，與根據(jù)成績定量評價的畢業(yè)要求達成度畫像進行疊加，得出三個維度的專業(yè)畢業(yè)要求達成度綜合畫像。畫像結(jié)果如圖6，三個維度的評價結(jié)果基本一致，相互間的差值低于10%，考慮到統(tǒng)計方法誤差和主觀認知的模糊性，可認為評價方法合理，評價機制可行。

畢業(yè)要求第1項到第5項考察的是學生對專業(yè)知識掌握能力。從專業(yè)三個維度的畫像來看，這部分的評價曲線差異較小，從整體上呈現(xiàn)出畢業(yè)要求用人單位的評價略微大于課程成績和畢業(yè)生自我評價的態(tài)勢。原因在于用人單位的評價是基于學生就業(yè)崗位的表現(xiàn)，而畢業(yè)生一定是被分配在與其知識能力特長相匹配的崗位上，而學生自我評價和課程綜合評價是基于整個專業(yè)課程體系的考量，因此評價值相對略低。

五、結(jié)語

基于學生畢業(yè)要求達成度評價的用戶畫像根據(jù)專業(yè)畢業(yè)要求指標點，借助信息技術(shù)打破傳統(tǒng)的經(jīng)驗型教育管理模式，對教學效果進行數(shù)據(jù)挖掘、提取、建模、聚類分析、勾勒畫像，徹底糾正了以往教學評價的空洞和盲目，很大程度提升了傳統(tǒng)教學評價的科學性和實用性。然而，對學生的畫像只是描繪教學情境和學習產(chǎn)出的一種方法和手段，其目的并不只是為了證明畢業(yè)要求的達成與否，而是促進了教與學的改進，一方面為學生的終身學習、職業(yè)規(guī)劃提供了決策參考，另一方面為教學管理者提供全面、客觀的教學質(zhì)量監(jiān)督，也為專業(yè)教學的培養(yǎng)計劃、教學大綱、師資隊伍以及課程建設的持續(xù)改進提供重要依據(jù)。

參考文獻

[1]于方，劉延申.大數(shù)據(jù)畫像—實現(xiàn)高等教育“依數(shù)治理”的有效路徑[J].江蘇高教，2019（3）：50-57.

[2]中國工程教育專業(yè)認證協(xié)會.2015工程教育認證工作指南[Z].2015.

[3]王永泉，胡改玲，段玉崗，等.產(chǎn)出導向的課程教學：設計、實施與評價[J].高等工程教育研究，2019（3）：62-68.

[4]蔡述庭，李衛(wèi)軍，章云.工程教育認證中畢業(yè)要求達成度的三維度評價實踐[J].高等工程教育研究，2018（2）：71-76.

Design and Analysis of User Profiling Based on the Evaluation of Students' Graduate Attributes

KE Jing

（School of Electronic and Optical Engineering， Nanjing University of Science and Technology，

Nanjing， Jiangsu 210094， China）

Abstract： The rapid development of big data technology has laid a solid foundation for the reform and innovation of the informationalization of education. The integration of digital means into teaching evaluation has also become a new trend in education quality monitoring. In the teaching data environment， students' personality description and ability evaluation are visualized， and the user profiling based on the evaluation of the graduate attributes of the students is formed， which provides a practical and feasible implementation path for objectively evaluating the students' learning output. It also provides an important basis for the continuous improvement of results-oriented teaching.

Key words： graduate attributes; user profiling; capability evaluation