基于AHP的設(shè)計性實驗成績評分方法

楊風開, 程素霞

(華中科技大學(xué) 電氣與電子工程學(xué)院，武漢 430074)

0 引 言

隨著實驗教學(xué)改革的不斷深入，各種設(shè)計性實驗的比例越來越多。設(shè)計性實驗是指針對類似于科研課題的設(shè)計性題目，綜合利用多門課程的知識，進行以實驗為主的設(shè)計性學(xué)習過程。我院實驗教學(xué)中心的多門實驗課程，如信號與控制實驗、單片機原理及應(yīng)用實驗等，主要采用設(shè)計性實驗的方式進行教學(xué)[1-3]。設(shè)計性實驗主要具有以下特點：

(1) 實驗內(nèi)容開放。學(xué)生可以在實驗教材提供的設(shè)計性選題中，自主選擇設(shè)計性課題，也可以在大量查閱資料的情況下，自主提出能夠達到實驗教學(xué)目的的課題，設(shè)計性實驗的內(nèi)容具有較大的開放性，不受現(xiàn)成教材、實驗指導(dǎo)書的限制。

(2) 實驗時間開放。設(shè)計性實驗不需在限定的實驗課時內(nèi)完成，學(xué)生可以根據(jù)需要，自行預(yù)約實驗時間。

(3) 實驗空間的開放。設(shè)計性實驗，可以先后在多個實驗室完成，不局限于某個具體的實驗室，某些實驗學(xué)生甚至可以借用部分實驗設(shè)備，在寢室完成實驗內(nèi)容，比如單片機原理及應(yīng)用實驗，學(xué)生可以借用實驗開發(fā)板在寢室完成部分實驗。

設(shè)計性實驗對于人才的培養(yǎng)，對于提高學(xué)生的創(chuàng)新能力，無疑具有重要的作用，但是也給實驗成績的評定帶來了挑戰(zhàn)。傳統(tǒng)的實驗成績評定方法，大多基于考勤、實驗過程表現(xiàn)、實驗報告的質(zhì)量等方面來評定實驗成績[4-7]。設(shè)計性實驗因?qū)嶒瀮?nèi)容開放、實驗時間開放和實驗空間開放的特點，無法簡單地用傳統(tǒng)的實驗成績評定方法來評定實驗成績。

一些文獻對設(shè)計性實驗成績評定方法進行了大量有益的探討，對于提升設(shè)計性實驗成績評定的效果，具有積極的促進作用，但是仍存在一些空白及一些未能解決的問題[8-10]。主要體現(xiàn)在兩個方面：

(1) 不同的設(shè)計性課題，難度和工作量是有區(qū)別的，實驗成績也應(yīng)有所不同。現(xiàn)有研究提出的評分辦法，未解決不同課題之間的可比性問題。

(2) 設(shè)計性實驗成績評定的指標體系中，所設(shè)計的權(quán)重系數(shù)，大多為經(jīng)驗系數(shù)，人為因素影響較大。

為了使不同設(shè)計性題目之間的得分具有可比性，降低評分指標體系中的人為因素影響，提高實驗成績評分的合理性和科學(xué)性，本文提出了設(shè)計性實驗成績的層次分析法(AHP)評定方法。

1 實驗成績的評定原則

設(shè)計性實驗成績的評定，對于促進學(xué)生參與設(shè)計性實驗、培養(yǎng)學(xué)生將所學(xué)知識綜合應(yīng)用于工程項目的能力、提高學(xué)生的創(chuàng)新性，必須具有導(dǎo)向作用。因此，制定設(shè)計性實驗成績評定的指標體系，必須遵循以下幾項基本原則：

(1) 能力性原則。能力性原則，即能力優(yōu)先原則，是指在實驗成績評定時，優(yōu)先考慮能力的培養(yǎng)，特別是創(chuàng)新能力的培養(yǎng)。設(shè)計性實驗是在前人工作與經(jīng)驗的基礎(chǔ)上，通過研究所涉及的對象，對未知因素進行大膽探索的過程。設(shè)計性實驗大多具有科研課題的特性，存在一定的未知性，有些課題對于人類來說是有已知答案的，但是對于學(xué)生來說是未知的。科學(xué)研究是存在失敗風險的，學(xué)生在有限的時間內(nèi)，要完成預(yù)定的研究任務(wù)取得預(yù)期的結(jié)果，更是存在失敗的風險。如果設(shè)計性實驗像傳統(tǒng)實驗教學(xué)那樣，以實驗結(jié)果作為評定實驗成績的主要指標，不利于提高學(xué)生參與設(shè)計性實驗的積極性。因此，設(shè)計性實驗成績的評定，應(yīng)“不以成敗論英雄”，而是著重考察學(xué)生在設(shè)計和實驗的過程中所付出的努力以及所展現(xiàn)出的創(chuàng)新能力。

(2) 科學(xué)性原則。設(shè)計性實驗成績評定指標體系的制定，應(yīng)充分考慮各種實驗課題本身的重要性、創(chuàng)新性、困難度等，采用科學(xué)的分析方法進行定性分析，利用先進的算法進行量化，保證評分結(jié)果的合理性。

(3) 目標管理(SMART)原則。目標管理中的SMART原則[11]，對于設(shè)計性實驗成績評定指標體系的制定也適用。在制定指標體系時，應(yīng)保證指標具體可行、便于判別。量化的指標，應(yīng)簡明、清晰，易于為學(xué)生理解和接受，符合實驗教學(xué)規(guī)律和課程實際，學(xué)生經(jīng)過努力可以達到。成績評定的程序、方法等要科學(xué)明確，使成績評定的全過程科學(xué)客觀、便于實施。必須定期對指標體系進行校驗，以便于及時發(fā)現(xiàn)問題進行改進。

2 成績評定的AHP模型

AHP法是一種對定性問題進行定量分析的決策方法[12-13]，其特點是把復(fù)雜問題中的各種因素通過劃分為相互關(guān)聯(lián)的有序?qū)哟危脭?shù)學(xué)方法計算反映每一層次因素的權(quán)重，綜合各層次因素之間的相對權(quán)重得到總的量化評分。由于設(shè)計性實驗成績的評定具有綜合性和多準則性[14]，因此特別適用于AHP法。

2.1 成績評定的層次架構(gòu)

利用AHP法分析問題時，首先要對所分析的問題進行層次化，構(gòu)造一個多層次的結(jié)構(gòu)模型。在結(jié)構(gòu)模型中，各種因素按屬性及相互關(guān)聯(lián)度形成若干層次。上一層次的因素作為準則對下一層次的因素具有支配作用。基于AHP法原理構(gòu)建的設(shè)計性實驗成績評價的層次結(jié)構(gòu)模型如圖1所示。

圖1 設(shè)計性實驗成績評價的層次結(jié)構(gòu)

圖1中，頂層為目標層，只包含一個因素，也稱為目標指數(shù)。中間層包含了為實現(xiàn)目標所涉及的準則，分別為創(chuàng)新性、工作量和設(shè)計成果。底層為各中間層所支配的具體因素。

2.2 權(quán)重系數(shù)的確定

在評價目標明確的前提下，中間層各因素的重要性會直接影響設(shè)計性實驗的最終成績評定，因此需要先確定中間層各因素的權(quán)重系數(shù)[15]。權(quán)重系數(shù)通過引入AHP層次分析法構(gòu)造判斷矩陣來確定。AHP法權(quán)重系數(shù)確定的具體步驟如下：

(1) 根據(jù)層次架構(gòu)模型，設(shè)定影響最終評定的3個中間層因素的重要性指標分別為：創(chuàng)新性a1、工作量a2和設(shè)計成果a3。由專家對每兩個因素的重要性進行比較，分別構(gòu)造成對的判斷矩陣，用1-9標度法表示每兩個因素之間的相對重要程度。比如某評定專家認為在本次設(shè)計性實驗中創(chuàng)新性和工作量同等重要，則取a12=1；如果認為創(chuàng)新性比工作量重要，則取a12=5；如果認為在本次實驗中創(chuàng)新性遠比工作量重要，則取a12=9；若認為重要性介于上述之間，可以在以上的重要程度中間取剩余的值，如2、3、4、6、7、8，這樣就可以得到每兩個因素的相對重要程度值aij。根據(jù)“正互反性”，有aji=1/aij，可以分別得到其相應(yīng)aji，這樣就得到該層次模型的3階判斷矩陣U。

(2) 在實際判斷中，為避免個人主觀因素帶來的誤差，通常會邀請多位專家(一般為5位，可以為有經(jīng)驗的老師或有經(jīng)驗的學(xué)生)獨立進行判斷，分別構(gòu)建判斷矩陣，并取其平均值作為最終的判斷矩陣。

(3) 根據(jù)最終判斷矩陣U，計算矩陣的最大特征值以及相應(yīng)的特征向量，再進行一致性校驗。若不滿足一致性，則對判斷矩陣進行修改，直到滿足一致性要求。將滿足一致性要求的判斷矩陣U的特征向量進行標準化，得到權(quán)向量，即得到對應(yīng)于每個因素的權(quán)重值。按照上述方法計算的中間層各因素的權(quán)重系數(shù)見表1。

表1 中間層權(quán)重系數(shù)

底層因素的權(quán)重系數(shù)確定方法與中間層完全相同，在確定中間層權(quán)重系數(shù)后，再按相同的方法得到各底層因素的權(quán)重系數(shù)。

2.3 底層因素的評分方法

底層因素的評分是整個AHP分析法中的基礎(chǔ)性步驟。實驗成績評定層次架構(gòu)中的底層條件從不同角度反映了學(xué)生在該次設(shè)計性實驗中所做的工作，但是由于課題難度、創(chuàng)新性等因素都具有不同的實際意義，不具有橫向可比性，因此需要一種方法對所有的因素都能夠進行統(tǒng)一規(guī)范化處理，使其能夠進行橫向、縱向比較。將不可比較的因素轉(zhuǎn)化成在統(tǒng)一評分機制下進行評分的方法，即為底層因素評分法。

在眾多的底層因素評分法中，“德爾菲”專家評分法更加適用于設(shè)計性實驗成績的評定[16]。該方法以“德爾菲”背對背式評分為基礎(chǔ)，得出多份相互獨立而又全面的評分表，既可以保證成績的有效性，也可以保證成績的公正性。具體實施過程如下：

(1) 確定參與本次成績評定的專家人員。專家人員可由在實驗方面比較權(quán)威的老師擔任，也可以請有經(jīng)驗的學(xué)生、研究生擔任，且一般應(yīng)該不少于5人，征求各專家意見設(shè)計制作本次實驗的評分表，并向各專家解釋本次評分過程中的相關(guān)要求。

(2) 將底層因素評分表分發(fā)給每個專家進行打分。要求專家在每一底層因素注明自己的評分和意見；將各位專家第一次評分意見表匯總，加以整理后再次分發(fā)給各位專家，讓每一位專家結(jié)合其他專家的評分和意見修改自己的評分，并重新寫下自己的意見；將各專家的意見匯總并整理后再次反饋給專家。如此逐輪進行，直到各專家的評分不再改變。整個征詢過程中各個專家均匿名發(fā)表意見，避免專家評分意見受到外在因素影響，收集過程一般進行3輪左右。

(3) 對各專家的最終評分進行匯總整理，得到該次設(shè)計性實驗的底層因素評分表，每個專家可同時參與多個學(xué)生的實驗評分。

這種方法雖然過程比較繁瑣，耗時較長，但是得到的結(jié)果準確性高，且受個人主觀因素的影響較小，可以更加準確地反映學(xué)生在該次實驗中所付出的努力和所取得的效果。

3 應(yīng) 用

2016～2017學(xué)年，我院實驗教學(xué)中心在單片機原理及應(yīng)用等課程的設(shè)計性實驗教學(xué)中，采用所設(shè)計的AHP法對設(shè)計性實驗成績進行了量化評分，其中具有代表意義的部分學(xué)生的實際評分結(jié)果如表2所示。

表2 部分實際評分結(jié)果

將表2中的評分結(jié)果轉(zhuǎn)換為5級評分制，并與用傳統(tǒng)評分機制得到的評分結(jié)果作比較，結(jié)果如表3所示。

從表3可以看出，應(yīng)用AHP評分方法的成績評定拉開了檔次，更能反映學(xué)生在完成實驗時所做的工作。實際應(yīng)用結(jié)果表明，基于AHP的成績評定方法得到的成績更為科學(xué)、合理，有利于提升學(xué)生參與設(shè)計性實驗的積極性，有利于引導(dǎo)學(xué)生注重創(chuàng)新能力的培養(yǎng)。評分的結(jié)果受到了相關(guān)教師及學(xué)生的普遍認可。

表3 兩種評分結(jié)果的比較

4 結(jié) 語

構(gòu)建成績評定的3層次模型，應(yīng)用AHP分析方法確定各層因素的權(quán)重指標，并利用“ 德爾菲”專家評分法對底層因素進行評分，可以使設(shè)計性實驗成績的量化評分更加科學(xué)合理、公平公正。

本文所提出的設(shè)計性實驗成績評定方法，注重于實驗過程的工作量和創(chuàng)新性的考核，有利于提升學(xué)生參與創(chuàng)新實驗的積極性，有利于引導(dǎo)學(xué)生進行創(chuàng)新能力的培養(yǎng)。