基于改進(jìn)層次分析法的工程教育認(rèn)證課程畢業(yè)要求達(dá)成度評(píng)價(jià)

沙 金　鄭斯斯

基于改進(jìn)層次分析法的工程教育認(rèn)證課程畢業(yè)要求達(dá)成度評(píng)價(jià)

沙 金1鄭斯斯2

（1.廣東海洋大學(xué)機(jī)械與動(dòng)力工程學(xué)院，廣東 湛江 524088；2.惠州學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，廣東 惠州 516007）

工程教育認(rèn)證強(qiáng)調(diào)課程體系設(shè)置和考核緊密?chē)@學(xué)生畢業(yè)要求達(dá)成這一核心任務(wù)展開(kāi)，而作為考核畢業(yè)要求達(dá)成的基礎(chǔ)，課程達(dá)成度評(píng)價(jià)工作，在理論研究和具體實(shí)踐中均未形成統(tǒng)一、標(biāo)準(zhǔn)的方法。通過(guò)建立畢業(yè)要求指標(biāo)體系，設(shè)計(jì)重要程度統(tǒng)計(jì)表，簡(jiǎn)化傳統(tǒng)層次分析法判斷矩陣構(gòu)建過(guò)程，在分析各級(jí)指標(biāo)重要度基礎(chǔ)上得到課程目標(biāo)點(diǎn)貢獻(xiàn)度，準(zhǔn)確計(jì)算課程達(dá)成度，為測(cè)算畢業(yè)要求達(dá)成奠定基礎(chǔ)，并通過(guò)實(shí)例分析詳細(xì)說(shuō)明實(shí)施過(guò)程。該方法將定性評(píng)價(jià)轉(zhuǎn)化為定量評(píng)測(cè)，既體現(xiàn)專(zhuān)業(yè)特征又反映課程特色，且具有較強(qiáng)普適性，為認(rèn)證工作的順利開(kāi)展提供有益的參考與范式。

改進(jìn)層次分析法；工程教育認(rèn)證；課程畢業(yè)要求達(dá)成度

引言

自1989年由美國(guó)等6個(gè)國(guó)家民間工程專(zhuān)業(yè)團(tuán)體發(fā)起并簽署《華盛頓協(xié)議》以來(lái)，世界范圍內(nèi)逐步形成了以之為核心的工程教育專(zhuān)業(yè)認(rèn)證和工程技術(shù)人員職業(yè)資格認(rèn)證的國(guó)際協(xié)議體系，這也成為工程技術(shù)人員國(guó)際流動(dòng)的基礎(chǔ)[1]。中國(guó)的工程教育認(rèn)證最早始于1992年，教育部于2006年啟動(dòng)了工程教育專(zhuān)業(yè)認(rèn)證試點(diǎn)工作。

近年來(lái)，我國(guó)工程教育認(rèn)證體系發(fā)生了積極、顯著的變化，以考核教育成果對(duì)畢業(yè)要求的滿足程度為核心的質(zhì)量監(jiān)控體系不斷推進(jìn)高等教育的內(nèi)涵式發(fā)展[2]。以學(xué)生為中心、成果為導(dǎo)向前提之下的教育績(jī)效評(píng)估亟須解決如何判斷畢業(yè)生是否達(dá)到畢業(yè)要求所涉及的相應(yīng)能力這一問(wèn)題[3]。精準(zhǔn)計(jì)算具體課程畢業(yè)要求達(dá)成，是工程教育專(zhuān)業(yè)認(rèn)證的前提基礎(chǔ)，因此研究工程教育認(rèn)證過(guò)程中課程畢業(yè)要求達(dá)成度的評(píng)價(jià)方法，不但具有非常顯著的理論意義，而且具備十分重要的實(shí)踐價(jià)值。

1　研究現(xiàn)狀分析

為切實(shí)做好課程達(dá)成度的衡量工作，不少學(xué)者在理論層面進(jìn)行了較為深入的研究，各高校也從實(shí)踐角度采取了各具特色的舉措。

1.1　理論研究方面

王建龍等[4]對(duì)比分析了基于平均成績(jī)、知識(shí)點(diǎn)得分率的定量評(píng)價(jià)方法與采用問(wèn)卷調(diào)查、學(xué)生訪談的定性評(píng)價(jià)方法的優(yōu)缺點(diǎn)。張建樹(shù)等[5]運(yùn)用評(píng)分表分析法對(duì)實(shí)驗(yàn)教學(xué)及實(shí)踐性教學(xué)環(huán)節(jié)的達(dá)成度進(jìn)行評(píng)價(jià)。張國(guó)強(qiáng)等[6]以具體課程為例，利用公式對(duì)課程達(dá)成度進(jìn)行計(jì)算與分析。邱然鋒等[7]提出了依照分解指標(biāo)點(diǎn)—確定教學(xué)環(huán)節(jié)支撐—賦權(quán)重值—確認(rèn)評(píng)價(jià)依據(jù)—課程達(dá)成度評(píng)價(jià)—抽取樣本—明確課程關(guān)聯(lián)度值和權(quán)重值—分析得出評(píng)價(jià)結(jié)果的過(guò)程來(lái)計(jì)算達(dá)成度的方法。高相勝等[8]在構(gòu)建畢業(yè)要求與專(zhuān)業(yè)認(rèn)證通用標(biāo)準(zhǔn)對(duì)應(yīng)關(guān)系矩陣、畢業(yè)要求對(duì)培養(yǎng)目標(biāo)達(dá)成支撐矩陣和課程與畢業(yè)要求對(duì)應(yīng)關(guān)系矩陣的基礎(chǔ)上，對(duì)課程達(dá)成度的計(jì)算進(jìn)行了定性分析。蔡述庭[9]等將工程教育認(rèn)證標(biāo)準(zhǔn)中的12項(xiàng)畢業(yè)要求分解為若干便于評(píng)價(jià)的指標(biāo)點(diǎn)，采用直接評(píng)價(jià)與間接評(píng)價(jià)相結(jié)合的方法對(duì)畢業(yè)要求達(dá)成情況進(jìn)行評(píng)價(jià)。孫晶等[10]在建立畢業(yè)要求指標(biāo)點(diǎn)與課程支撐關(guān)系前提下，由課程評(píng)價(jià)中對(duì)指標(biāo)點(diǎn)達(dá)成度的評(píng)價(jià)值及其權(quán)值，計(jì)算指標(biāo)點(diǎn)達(dá)成度數(shù)值。吳新燁等[11]提出多參數(shù)分級(jí)評(píng)價(jià)機(jī)制對(duì)畢業(yè)要求達(dá)成度進(jìn)行評(píng)價(jià)。李擎等[12]以各課程所支撐的畢業(yè)要求指標(biāo)點(diǎn)權(quán)重為基礎(chǔ)，對(duì)畢業(yè)要求達(dá)成度進(jìn)行了計(jì)算。

1.2　實(shí)踐操作方面

目前高校較為一致的做法是：首先，根據(jù)各專(zhuān)業(yè)課程的不同特征，將其培養(yǎng)目標(biāo)及授課內(nèi)容與《中國(guó)工程教育專(zhuān)業(yè)認(rèn)證協(xié)會(huì)工程教育認(rèn)證標(biāo)準(zhǔn)》（以下簡(jiǎn)稱《標(biāo)準(zhǔn)》）中所規(guī)定的畢業(yè)要求進(jìn)行比對(duì)，形成相關(guān)課程的若干指標(biāo)點(diǎn)，用以體現(xiàn)相應(yīng)課程對(duì)于畢業(yè)要求達(dá)成的支撐；然后，對(duì)特定課程的各項(xiàng)指標(biāo)點(diǎn)設(shè)置權(quán)重或百分比，用以確定考核環(huán)節(jié)中關(guān)于該指標(biāo)點(diǎn)考核內(nèi)容所占總體考核內(nèi)容的比重；最后，根據(jù)學(xué)生考核實(shí)際得分計(jì)算出每一指標(biāo)點(diǎn)的完成情況，匯總得出該課程的畢業(yè)要求達(dá)成度，用以反映特定課程對(duì)于完成畢業(yè)要求的支持程度。盡管上述過(guò)程在認(rèn)證實(shí)踐中被廣泛接受并采用，但在指標(biāo)點(diǎn)權(quán)重設(shè)置的方法上，各高校的做法卻大相徑庭：有按照授課內(nèi)容所占學(xué)時(shí)進(jìn)行確定的，有依據(jù)課程性質(zhì)進(jìn)行決策的，有根據(jù)專(zhuān)業(yè)特色進(jìn)行判斷的，有依照任課教師經(jīng)驗(yàn)進(jìn)行分配的，等等。

綜上所述，對(duì)于工程教育認(rèn)證中課程畢業(yè)要求達(dá)成度評(píng)價(jià)問(wèn)題，無(wú)論是理論研究層面或是實(shí)踐操作領(lǐng)域均尚未形成統(tǒng)一、成熟和標(biāo)準(zhǔn)的方法，勢(shì)必給認(rèn)證高校帶來(lái)困惑，對(duì)認(rèn)證工作造成不便。針對(duì)于此，本文將設(shè)計(jì)一套基于改進(jìn)層次分析法的課程目標(biāo)點(diǎn)貢獻(xiàn)度計(jì)算方法，對(duì)具體課程的畢業(yè)要求達(dá)成度進(jìn)行定量評(píng)價(jià)，以期為工程教育認(rèn)證工作提供有益參考。

2　評(píng)價(jià)模型建立

2.1　畢業(yè)要求指標(biāo)體系建立

《標(biāo)準(zhǔn)》詳細(xì)規(guī)定了12項(xiàng)畢業(yè)要求，據(jù)此，本文將工程教育認(rèn)證中相關(guān)規(guī)定轉(zhuǎn)化為畢業(yè)要求指標(biāo)體系，如圖1所示。

圖1　畢業(yè)要求指標(biāo)體系

2.2　改進(jìn)層次分析法計(jì)算指標(biāo)項(xiàng)重要度

不同高校不同專(zhuān)業(yè)對(duì)于不同指標(biāo)點(diǎn)的側(cè)重難免存在差異，根據(jù)專(zhuān)業(yè)特征準(zhǔn)確分析各項(xiàng)畢業(yè)要求在本專(zhuān)業(yè)教育過(guò)程中的重要程度，成為精確計(jì)算畢業(yè)要求達(dá)成度的前提。

本文中指標(biāo)項(xiàng)重要度計(jì)算方法分為兩步進(jìn)行：第一步，完成各一級(jí)指標(biāo)對(duì)于達(dá)成畢業(yè)要求的權(quán)重計(jì)算；第二步，計(jì)算各一級(jí)指標(biāo)下轄的二級(jí)指標(biāo)對(duì)于該一級(jí)指標(biāo)的權(quán)重貢獻(xiàn)。使用傳統(tǒng)層次分析法，完成圖1所示所有判斷矩陣共需進(jìn)行108次兩兩對(duì)比，不但工作量巨大，而且極易產(chǎn)生不一致的情況，在具體實(shí)踐過(guò)程中的可操作性較差。為此，本文對(duì)傳統(tǒng)層次分析法進(jìn)行改進(jìn)，具體操作如下：

首先結(jié)合專(zhuān)業(yè)實(shí)際，完成表1和表2的填寫(xiě)（在各指標(biāo)點(diǎn)對(duì)應(yīng)位置打“√”）。

表1　指標(biāo)Y1-Y12重要度統(tǒng)計(jì)表

表2 指標(biāo)Hm-1至Hm-n重要度統(tǒng)計(jì)表

進(jìn)而，對(duì)各判斷矩陣的一致性進(jìn)行檢驗(yàn)，并計(jì)算各一級(jí)指標(biāo)對(duì)于達(dá)成畢業(yè)要求的權(quán)重K，以及各二級(jí)指標(biāo)對(duì)于實(shí)現(xiàn)其隸屬一級(jí)指標(biāo)的權(quán)重K。

改進(jìn)后的方法，僅需對(duì)12個(gè)一級(jí)指標(biāo)和37個(gè)二級(jí)指標(biāo)各進(jìn)行一次重要程度判斷，且避免了對(duì)比過(guò)程中因考慮一致性而帶來(lái)的判斷困難，在不降低判斷準(zhǔn)確性的前提下，有效減少判斷次數(shù)，并提升判斷的一致性。

2.3　課程目標(biāo)點(diǎn)貢獻(xiàn)度計(jì)算

課程能否有效支持相應(yīng)畢業(yè)要求指標(biāo)，是衡量課程體系是否達(dá)標(biāo)的主要判據(jù)，《標(biāo)準(zhǔn)》對(duì)于“支持”的解釋不但要求整個(gè)課程體系能夠支撐全部畢業(yè)要求，還要求每門(mén)課程能夠?qū)崿F(xiàn)其在課程體系中的作用。

課程目標(biāo)點(diǎn)的作用在于明確具體課程對(duì)畢業(yè)要求特定指標(biāo)項(xiàng)的支撐關(guān)系，將課程任務(wù)分解為若干教學(xué)目標(biāo)，并逐一建立各目標(biāo)點(diǎn)與相關(guān)畢業(yè)要求指標(biāo)的對(duì)應(yīng)聯(lián)系。為更加清晰地體現(xiàn)課程目標(biāo)點(diǎn)對(duì)畢業(yè)要求達(dá)成的貢獻(xiàn)度，本模型構(gòu)建三級(jí)（強(qiáng)（H）、中（M）、弱（L））三檔（高（＋）、中、低（－））關(guān)系衡量課程對(duì)畢業(yè)要求的支撐力度，并規(guī)定H+至L-（共9級(jí)）所對(duì)應(yīng)的支撐度分別為99%至11%（每級(jí)遞減11%）。以此為基礎(chǔ)，結(jié)合3.3的計(jì)算結(jié)果，便可計(jì)算出相應(yīng)課程各目標(biāo)點(diǎn)對(duì)于畢業(yè)要求的貢獻(xiàn)度，如公式（2）所示：

其中L表示該課程第目標(biāo)點(diǎn)對(duì)其所支撐的第個(gè)畢業(yè)要求二級(jí)指標(biāo)項(xiàng)的支撐度。

2.4　課程畢業(yè)要求達(dá)成度評(píng)價(jià)

課程的教學(xué)效果始終需要通過(guò)考核來(lái)體現(xiàn)，而畢業(yè)要求達(dá)成度也最終將以考核成績(jī)?yōu)榛A(chǔ)來(lái)反映。課程目標(biāo)點(diǎn)對(duì)畢業(yè)要求的支撐程度越高，其在考核中所占分?jǐn)?shù)應(yīng)當(dāng)越多，通過(guò)公式（3），可確定課程目標(biāo)點(diǎn)在考核中所占分?jǐn)?shù)比例P。

課程的畢業(yè)要求達(dá)成度則由公式⑷求出。

3　實(shí)例分析

某課程畢業(yè)要求達(dá)成度的具體計(jì)算過(guò)程如下。

步驟一，計(jì)算各畢業(yè)要求項(xiàng)重要度。根據(jù)專(zhuān)業(yè)辦學(xué)特色對(duì)畢業(yè)要求一級(jí)指標(biāo)項(xiàng)進(jìn)行重要度統(tǒng)計(jì)，填入表1，得到表3。

表3 XX專(zhuān)業(yè)畢業(yè)要求重要度統(tǒng)計(jì)表

依據(jù)各級(jí)指標(biāo)重要度統(tǒng)計(jì)結(jié)果，可得到一級(jí)指標(biāo)判斷矩陣Y。

對(duì)判斷矩陣進(jìn)行一致性檢驗(yàn)，一致率比率CRH小于0.1。畢業(yè)要求二級(jí)指標(biāo)項(xiàng)的重要度統(tǒng)計(jì)與一級(jí)指標(biāo)類(lèi)似（具體過(guò)程由于篇幅限制，本文進(jìn)行了省略）。各指標(biāo)權(quán)重，如表4所示。

表4　畢業(yè)要求各指標(biāo)項(xiàng)權(quán)重

步驟二，計(jì)算課程目標(biāo)點(diǎn)貢獻(xiàn)度。假設(shè)XX課程設(shè)置4個(gè)目標(biāo)點(diǎn)，每個(gè)目標(biāo)點(diǎn)支撐畢業(yè)要求的對(duì)應(yīng)指標(biāo)項(xiàng)及支撐力度如表5所示，將表4的計(jì)算結(jié)果以及2.4中對(duì)于三級(jí)三檔支撐力度的界定代入公式（2）和（3），計(jì)算得到該課程的各目標(biāo)點(diǎn)對(duì)于畢業(yè)要求的貢獻(xiàn)度。

表5　XX課程目標(biāo)點(diǎn)權(quán)重計(jì)算

步驟三，計(jì)算課程畢業(yè)要求達(dá)成度。通過(guò)筆試、作業(yè)、課程論文、實(shí)驗(yàn)、實(shí)習(xí)等形式對(duì)學(xué)生掌握各目標(biāo)點(diǎn)的情況進(jìn)行考核，得到不同目標(biāo)點(diǎn)學(xué)生的平均得分，依據(jù)公式（4）計(jì)算得到該課程的畢業(yè)要求達(dá)成度，如表6所示。

表6　XX課程畢業(yè)要求達(dá)成程計(jì)算

4　結(jié)束語(yǔ)

工程教育專(zhuān)業(yè)認(rèn)證要求課程體系的設(shè)置和考核緊密?chē)@學(xué)生畢業(yè)能力達(dá)成這一核心任務(wù)展開(kāi)，而課程達(dá)成度評(píng)測(cè)作為畢業(yè)要求達(dá)成度評(píng)價(jià)的基礎(chǔ)，是一項(xiàng)系統(tǒng)、復(fù)雜的工作，不僅決定認(rèn)證結(jié)果，更關(guān)乎人才培養(yǎng)質(zhì)量。本文所設(shè)計(jì)的基于改進(jìn)層次分析法的課程畢業(yè)要求達(dá)成度評(píng)測(cè)方法，將課程目標(biāo)點(diǎn)重要程度主觀評(píng)價(jià)與學(xué)生考核分?jǐn)?shù)客觀統(tǒng)計(jì)相結(jié)合，準(zhǔn)確反映課程設(shè)置對(duì)畢業(yè)要求的支撐力度，在精確計(jì)算教學(xué)效果對(duì)畢業(yè)要求達(dá)成程度的前提下，將專(zhuān)業(yè)特征和課程特色有機(jī)結(jié)合，有效簡(jiǎn)化評(píng)價(jià)過(guò)程，具備較強(qiáng)的理論可行性與實(shí)踐便捷性，且能夠適用于不同專(zhuān)業(yè)的不同課程需要，對(duì)國(guó)家認(rèn)證工作的順利開(kāi)展和高校認(rèn)證工作的積極準(zhǔn)備具有一定的參考意義和借鑒價(jià)值。但本文僅局限于討論具體課程的畢業(yè)要求達(dá)成情況，如何在此基礎(chǔ)上準(zhǔn)確評(píng)價(jià)專(zhuān)業(yè)教育畢業(yè)要求達(dá)成度，可成為下一步研究的方向。

[1]王玲，雷環(huán). 《華盛頓協(xié)議》簽約成員的工程教育認(rèn)證特點(diǎn)及其對(duì)我國(guó)的啟示[J]. 清華大學(xué)教育研究，2008(5): 88-92.

[2]蔣宗禮. 工程專(zhuān)業(yè)認(rèn)證引導(dǎo)高校工程教育改革之路[J]. 工業(yè)和信息化教育，2014(1): 1-12.

[3]李志義，朱泓，劉志軍，等. 用成果導(dǎo)向教育理念引導(dǎo)高等工程教育教學(xué)改革[J]. 高等工程教育研究，2014(2): 29-70.

[4]王建龍，李俊奇，張曉然，等. 工程教育專(zhuān)業(yè)認(rèn)證畢業(yè)要求達(dá)成度評(píng)價(jià)方法探討[J]. 中國(guó)現(xiàn)代教育裝備，2018(17): 41-44.

[5]張建樹(shù)，郭瑞麗. 工程教育認(rèn)證背景下課程達(dá)成度的評(píng)價(jià)改革[J]. 高教論壇，2016(6): 72-74.

[6]張國(guó)強(qiáng)，陳峻，王昊，等. 工程教育認(rèn)證背景下“交通控制與管理”課程達(dá)成度評(píng)價(jià)研究與實(shí)踐[J]. 東南大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)，2017，19(S2): 150-153.

[7]邱然鋒，邱然鋒，肖笑，等. 工程教育認(rèn)證畢業(yè)要求達(dá)成度的評(píng)價(jià)[C]. 高等科學(xué)與工業(yè)研究中心2017年第四屆高等教育技術(shù)與管理科學(xué)國(guó)際會(huì)議論文集，2017.

[8]高相勝，昝濤，王民. 工程教育認(rèn)證畢業(yè)要求達(dá)成度評(píng)價(jià)方法和步驟[J]. 教育教學(xué)論壇，2016(51): 206-208.

[9]蔡述庭，李衛(wèi)軍，章云. 工程教育認(rèn)證中畢業(yè)要求達(dá)成度的三維度評(píng)價(jià)實(shí)踐[J]. 高等工程教育研究，2018(2): 71-76.

[10] 孫晶，張偉，任宗金，等. 工程教育專(zhuān)業(yè)認(rèn)證畢業(yè)要求達(dá)成度的成果導(dǎo)向評(píng)價(jià)[J]. 清華大學(xué)教育研究，2017，38(4): 117-124.

[11] 吳新燁，王東東，高婧，等. 基于多參數(shù)分級(jí)機(jī)制的工程教育專(zhuān)業(yè)認(rèn)證畢業(yè)要求達(dá)成度評(píng)價(jià)研究[C]. 中國(guó)軟科學(xué)研究會(huì)2019年中國(guó)軟科學(xué)論文集，2020.

[12] 李擎，崔家瑞，楊旭，等. 面向工程教育專(zhuān)業(yè)認(rèn)證的自動(dòng)化專(zhuān)業(yè)持續(xù)改進(jìn)[J]. 高等工程教育研究，2019(5): 76-80，96.

Evaluation of Degree of Achievement of Graduation Requirements of Engineering Education Certification Course Based on Improved Analytic Hierarchy Process

Engineering education certification emphasizes that curriculum system setting and assessment are closely carried out around the core task of achieving students' graduation requirements. As the basis for assessing the achievement of graduation requirements, the evaluation of curriculum achievement has not formed a unified and standard method in theoretical research and specific practice. By establishing the graduation requirement index system, designing the importance statistical table, simplifying the construction process of the judgment matrix of the traditional analytic hierarchy process, obtaining the contribution degree of the curriculum target points on the basis of analyzing the importance of the indicators at all levels, accurately calculating the curriculum achievement degree, laying a foundation for calculating the achievement of graduation requirements, and explaining the implementation process in detail through example analysis. This method transforms qualitative evaluation into quantitative evaluation, which not only reflects professional characteristics, but also reflects curriculum characteristics, and has strong universality. It provides a useful reference and paradigm for the smooth development of certification work.

improved analytic hierarchy process; engineering education certification; degree of achievement of graduation requirements

G647

A

1008-1151(2022)02-0129-04

2021-11-28

廣東高校重點(diǎn)平臺(tái)和科研項(xiàng)目青年創(chuàng)新人才類(lèi)項(xiàng)目（2018KQNCX251）；廣東省研究生教育創(chuàng)新計(jì)劃項(xiàng)目（2019JGXM60）；湛江市科技攻關(guān)計(jì)劃項(xiàng)目（2019B01013）；廣東海洋大學(xué)科研啟動(dòng)資助項(xiàng)目（101502/R18014）；廣東海洋大學(xué)教育教學(xué)改革項(xiàng)目（580320073）；惠州學(xué)院2021年校級(jí)教學(xué)質(zhì)量與教學(xué)改革工程建設(shè)項(xiàng)目（X-JYJG2021047）。

沙金（1978－），男，河南鄭州人，廣東海洋大學(xué)機(jī)械與動(dòng)力工程學(xué)院講師，博士，研究方向?yàn)槲锪髋c供應(yīng)鏈管理、工業(yè)工程。

鄭斯斯，惠州學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院講師，博士，研究方向?yàn)槲锪髋c供應(yīng)鏈管理。